RAGベースライン測定のすすめ — 導入前に「現場の試験」に受かるかを確かめる手順 

こんにちは。フライウィールの吉野です。今回は、社内文書の検索AI(いわゆるRAG)を現場に定着させるための、最も費用対効果の高い一手——導入前のベースライン測定——の具体的な手順をお届けします。

前提となる観察を一つ。現場の方々は、新しいAIが来ると必ず「試験」をします。自分が答えを知っている実務の質問を投げ、答え合わせをするのです。ここでそれらしく間違えると、「このAI、嘘をつくぞ」の烙印とともに試験は終了し、以後の改善がどれほど進んでも利用は戻りません。現場は二度目の嘘を許さないからです。であれば、打ち手は一つしかありません。本番の試験の前に、模試をやる。それがベースライン測定です。

ベースライン測定とは

現在の構成(既に導入済みならその構成、これからなら候補構成)に対して、現場が投げるであろう実務の質問を投げ、正答率を数字で把握することです。目的は3つあります。

1. 公開してよい領域と、まだ危ない領域を線引きする(合格圏だけ開ける)

2. 改善の効果測定の基準点を作る(データ整備やモデル変更の前後で同じ試験を流す)

3. 投資判断を「気がする」から数字に変える

手順1: 「現場の試験問題」を集める(30問)

模試の価値は、問題が本番に似ているかで決まります。作り方のコツは、机上で問題を発明しないことです。代わりに、現場で実際に発生した「調べもの」を収集します。

• 直近の朝会・引き継ぎで実際に出た質問(「この型式の締付トルクいくつだっけ」)

• ベテランに若手がよく聞く質問(教育担当者が宝の山を持っています)

• 過去のトラブル対応で実際に検索したこと(「この症状、前にもなかったか」)

これらを、答えと答えの根拠がある文書の場所とセットで30問記録します。評価セットの一般的な作り方(質問のレーン設計や悪問の除外)は[別記事](リンク: A12ブログ)に詳しく書きましたが、RAGの模試で特に重要なのは、質問の言葉づかいを現場の口語のまま残すことです。「1号機の詰まり」と聞く現場に対して、「粉体供給装置Aにおける閉塞事象」でしか正答できないAIは、実運用では落第します。

手順2: 3種類の「落ち方」を区別して採点する

模試を流したら、正答率の数字だけでなく、間違え方を3つに分けて記録します。この区別が、次の打ち手を決めるからです。

落ち方①: 出てこない(検索の失敗)

正解が書かれた文書はあるのに、見つけられない。原因の常連は表記ゆれ(「#1」と「1号機」)、図面や帳票が機械に読めない状態であること、そして文書がそもそも接続対象に入っていないこと。対策はデータ側——用語集、可読化、接続範囲——にあります。

落ち方②: 出てきたのに、読み違える(読解の失敗)

正しい文書は引けたのに、答えを取り違える。表の構造が崩れて読めている、複数の記載の突き合わせに失敗している、など。文書の構造化の問題であることが多く、これもデータ側の対策が効きます。

落ち方③: 知らないのに、答える(正直さの失敗)

根拠が見つからないときに、それらしく作文する。これは検索や読解ではなく設計の問題です。「見つかりませんでした」と言える設計と、答えに根拠文書を必ず添える設計——現場の信頼にとって、この2つは正答率と同じくらい効きます。

経験上、①と②が多数を占め、しかも特定のデータ問題に集中して出ます。つまりベースライン測定は、正答率を知る作業であると同時に、直すべきデータの優先順位表を手に入れる作業なのです。

手順3: 合格ラインと公開範囲を決める

数字が出たら、領域ごとに公開判断をします。ここで大切な考え方は、平均点で判断しないことです。全体の正答率が70%でも、その内訳が「トラブル記録は9割、図面は3割」なら、開けるべきはトラブル記録だけです。低い領域を混ぜて公開すると、3割の領域で烙印が押され、9割の領域まで道連れになります。狭くても正直なAIは信頼を貯め、広くても嘘をつくAIは信頼を失う——定着の力学は信頼の収支で決まります。

合格ラインそのものは業務のリスクで決めるべきものですが、一つだけ普遍的な基準を挙げるなら、「知らないと言えること」は公開の必須条件です。正答率が高くても、外したときに作文するAIを現場に出してはいけません。

手順4: 模試を定点観測に育てる

初回の測定で終わらせず、同じ30問をデータ整備の前後、構成変更の前後、公開後は四半期ごとに流します。整備の効果が数字で見え、劣化の兆候に気づけます。また、公開後に現場から来た「答えられなかった質問」は、そのまま模試の増強問題です。現場の試験問題は、現場が更新し続けてくれます。

まとめ

導入日は、AIのデビュー日ではなく試験日です。そして試験日の結果は、当日ではなく、その前の模試と準備で決まっています。受験の前に、模試を。

フライウィールの AI-Ready化トライアル（クイック診断） は、この手順1〜3——現場質問ベースの評価セット構築、落ち方の分類、領域別の正答率測定——を貴社の実データで実施し、公開判断に使える数字をお渡しする有償診断です。本番の試験の前に、模試をご一緒しましょう。

本記事に関連する情報や、AI活用・データ利活用に役立つ最新トピックはメールマガジンでも配信しています。
[メルマガ登録はこちら]