第1講 / 検索拡張生成(RAG)
古い手順を答えたのは、検索と生成のどちらか?
「申請の締め日は?」と聞いたところ、AIが「20日」と答えました。現行版には「25日」、旧版には「20日」とあります。これは原因を切り分けるための架空のテストケースです。
モデルに届いた文章を見る
検索拡張生成では、質問に関連する文章を検索し、その抜粋をモデルに渡して回答を作ります。まず、検索候補の文書ID、版、順位と、実際にモデルへ渡した抜粋を一件分並べます。
- 旧版だけ届いた
- 現行版が索引に入っているか、締め日の載った段落が検索候補に残ったかを順に調べます。
- 両方届いた
- 抜粋に施行日が含まれているかを見ます。表の行だけ切り出すと、検索順位が正しくても、モデルにはどちらが新しいか分からないことがあります。
- 現行版だけ届いた
- 入力に「25日」があるのに「20日」と答えたなら、同じ抜粋で再試行し、回答と引用箇所が一致するかを確かめます。
検索の評価と、回答の評価を分けて記録する
質問ごとに正しい根拠の段落を一つ決めます。仮に10問中8問でその段落が検索上位3件に入り、その8問中6問で回答と根拠が一致したとします。検索の命中率は8/10、根拠を取得できた場合の回答成功率は6/8です。
まず外れた2問には正しい段落を手で渡して再試行します。それで答えが直れば検索側を調べる手掛かりになります。根拠が届いても外れた2問では、段落の切り方や、引用から結論を出す指示を一つずつ変えて比べます。
