TECHNICAL GUIDE

AIの教科書

AIを組み込んだ仕組みを作る人へ。入力、検索結果、出力を見比べながら、設計と評価を掘り下げます。

AI用語辞典を開く →

AI時代の記憶術|Markdownで考えを「外部脳化」する

前に調べたことを、また調べ直していませんか? 判断の理由をMarkdownに預けて、今どうするかに時間を使う方法を紹介します。

記事を読む →

第1講 / 検索拡張生成(RAG)

古い手順を答えたのは、検索と生成のどちらか?

「申請の締め日は?」と聞いたところ、AIが「20日」と答えました。現行版には「25日」、旧版には「20日」とあります。これは原因を切り分けるための架空のテストケースです。

モデルに届いた文章を見る

検索拡張生成では、質問に関連する文章を検索し、その抜粋をモデルに渡して回答を作ります。まず、検索候補の文書ID、版、順位と、実際にモデルへ渡した抜粋を一件分並べます。

旧版だけ届いた
現行版が索引に入っているか、締め日の載った段落が検索候補に残ったかを順に調べます。
両方届いた
抜粋に施行日が含まれているかを見ます。表の行だけ切り出すと、検索順位が正しくても、モデルにはどちらが新しいか分からないことがあります。
現行版だけ届いた
入力に「25日」があるのに「20日」と答えたなら、同じ抜粋で再試行し、回答と引用箇所が一致するかを確かめます。

検索の評価と、回答の評価を分けて記録する

質問ごとに正しい根拠の段落を一つ決めます。仮に10問中8問でその段落が検索上位3件に入り、その8問中6問で回答と根拠が一致したとします。検索の命中率は8/10、根拠を取得できた場合の回答成功率は6/8です。

まず外れた2問には正しい段落を手で渡して再試行します。それで答えが直れば検索側を調べる手掛かりになります。根拠が届いても外れた2問では、段落の切り方や、引用から結論を出す指示を一つずつ変えて比べます。

原典を読むなら Lewis ほか「Retrieval-Augmented Generation」(2020)↗