新着研究 / AI Agent
検索改善の候補を証拠で絞り込む実験管理手法PEAR
PEAR
PEARの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Overview of PEAR. Evidence-driven AutoResearch maintains parallel strategy-level research states, while the Confidence-Gated Verifier Ladder progressively evaluates candidates, governs their promotion using evidence of increasing fidelity, and returns evaluation results to the corresponding research states.
概要
- PEARは検索改善の仮説、変更案、実験条件、結果を課題ごとに記録する。
- 過去データからオンラインA/B実験まで四段階で評価し、信頼区間で候補の昇格を判断する。
- 実運用の二つのA/B実験で、Main Order/DAUが基準より2.7336％と3.2957％増えたと報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PEARの仕組み
- 01検索改善の仮説
- 02候補を生成・実行
- 03過去と現行の結果を評価
- 04段階ごとに昇格判定
- 05仮説を更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
企業の検索システムでは、検索語の解釈、候補の選択、表示順位が組み合わさる。改善案は過去データでは良く見えても、利用者や商品が変わると効果が続かないことがある。実験の点数が上がった候補をそのまま次の基準にすると、一時的な変化を恒常的な改善と取り違え得る。
一方、全候補を利用者に見せて試すには、実験枠と観測時間が必要だ。PEARは、仮説の履歴と段階的な評価を使い、どの候補を実運用で試すか決める。
手法
PEARは戦略課題ごとに、目的、変更できる範囲、仮説、候補、過去の証拠を記録する。担当エージェントは仮説から変更案を立て、実行結果を評価し、矛盾した結果も含めて仮説を更新する。例えば検索結果の並べ方を変える案なら、その時点の検索条件と、何が改善するはずかを候補に結び付ける。
評価は、過去のリクエストを再実行する段階、実際のリクエストを複製して利用者には表示せず評価する段階、短期のオンライン実験、本判断用のオンライン実験へ進む。前半は表示結果から計算する代理指標、後半は利用者の実際の成果を使う。各段階で効果の信頼区間を求め、下限がゼロより大きければ次へ進める。
新規性
PEARの新しさは、検索戦略ごとに仮説と実験条件を記録する研究状態と、費用や信頼性の異なる四段階の評価を結び付けた点にある。候補の昇格は各段階の効果推定と信頼区間で判断し、結果を次の仮説づくりへ戻す。
著者らは、各段階の数値を一つの点数へ混ぜず、何をどの条件で測ったかを残す。これにより、時期や利用者の変化で結果が揺れる検索システムでも、実験の根拠を追いやすくすることを狙う。
従来手法との違い
従来の「点数が上がれば残す」方式では、異なる時期の点数を比較可能とみなしやすい。PEARは、候補ごとに仮説、変更内容、評価段階、当時の条件を関連付けて保存し、一時的な改善かどうかを次の実験で確かめられる形にする。
評価も、低費用の代理指標だけで候補を選ぶのでなく、過去ログ、現在のリクエスト、短期の利用者実験、本判断用の利用者実験へ段階的に進める。ただし本文は、PEAR全体を単一の既存AutoResearch方式と同条件で対戦させた結果を示すものではない。
実験結果
著者らは実運用の検索システムで三つの戦略課題にPEARを適用したと報告する。最終の本判断用オンラインA/B実験に進んだ二つの候補は、それぞれの基準に比べてMain Order/DAUが2.7336％、3.2957％増え、統計的に有意だったという。Main Order/DAUは、日次の利用者数で主要注文数を割る指標である。
また、二候補では複製リクエストを用いる段階から最終実験まで、効果の方向が一貫して正だったと述べる。確認できた本文の範囲では、実験人数、期間、各段階の候補数までは確認できないため、改善の一般的な再現率は判断できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品検索の表示順を調整する業務で、検索語に応じた順位付けの変更案を検証する。入力は変更範囲、期待する効果、過去の検索リクエスト、候補ごとの表示結果とする。PEARの流れに沿って実験記録と昇格判断を作る。
出力は、各候補の効果推定値、信頼区間、次の段階へ進めるかの判断、仮説の更新履歴である。実際の画面に出す前に過去ログと現在の複製リクエストで絞り、オンライン実験の対象候補を限定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず検索順位の一つの調整課題を選び、変更可能な範囲、主要指標、基準案を明記する。候補を少数作り、仮説と実験条件を記録したうえで、過去のリクエストへの再実行と現在の複製リクエストで評価する。
各段階で候補と基準の差、信頼区間、評価件数を残し、代理指標と後続のオンライン指標の方向が一致するかを測る。オンライン段階へ進む候補数と、保留・停止になった理由も追跡する。採用判断の前に、対象期間を変えて効果が続くか確かめる。
限界と課題
著者らの結果は一つの実運用検索システムでの三つの戦略課題に基づき、最終段階で数値を示すのは二つの候補である。実験の改善値を、別の検索サービスでも同じだけ得られる値と解釈できない。初期段階の代理指標は実際の利用者成果の推定値だ。
編集上は、代理指標がオンライン成果とどの程度一致するか、変動する利用者構成を記録できるか、信頼区間の前提が実験単位に合うかを確認したい。統計的に正の効果を示すことと、運用上の採用判断は同一ではない。
出典
元のタイトル・要旨を確認する（英語）
PEAR: Progressive Evidence-Based AutoResearch for Industrial Search Systems
AutoResearch improves systems through iterative experimentation: agents propose candidate modifications, evaluate them, and use the results to guide subsequent exploration. Applying this paradigm to industrial search presents two challenges. (1) Common AutoResearch approaches follow a keep-if-better rule, retaining the highest-scoring candidate for subsequent experiments. Under non-stationary traffic, transient gains may be mistaken for persistent improvements, impairing reliable accumulation of search knowledge. (2) Candidate modifications can be evaluated at multiple fidelity levels, from low-cost proxies to online validation, differing in cost, objective alignment, and statistical reliability. Existing methods rely on individual signals or task-specific procedures, lacking a unified basis for using evidence across levels to guide search. We introduce Progressive Evidence-Based AutoResearch (PEAR) with two complementary components. Evidence-driven AutoResearch maintains an independent, hypothesis-guided research state for each strategy task within a predefined objective and intervention scope. Each state evolves through a Plan-Execute-Evaluate-Update transition that links experimentation to context-aware evidence interpretation and hypothesis revision. Confidence-Gated Verifier Ladder organizes evaluation into four levels of increasing fidelity: Offline Replay, Shadow-Traffic Evaluation, Rapid Online Evaluation, and Decision-Grade Online Evaluation. A unified confidence-based gate promotes candidates only when evidence supports a statistically significant positive effect, enabling broad low-cost exploration while reserving costly online experiments for promoted candidates. In a real-world industrial search system, strategies optimized with PEAR significantly increased Main Order/DAU by 2.7336% and 3.2957% relative to their respective baselines in two A/B experiments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29