評価セットの作り方 — 「うまくいった気がする」を数字に変える、最初の30問

こんにちは。フライウィールの吉野です。今回は、生成AIのPoCを「うまくいった気がする」で終わらせないための道具——評価セットの作り方を、実務の手順としてお届けします。

評価セットとは、この文書からこの値が取れたら正解、この質問にはこう答えられたら正解、という答え合わせの問題集のことです。これを持たずに始めたPoCは、終わったときに成功か失敗かを判定できません。Gartnerの調査では、63%の組織が「AIに適したデータ管理体制を持っていない、または持っているかどうか分からない」と回答していますが、この「分からない」を「分かる」に変える最小の投資が、評価セットです。

先にお断りしておくと、評価セットづくりに高度なAIの知識は要りません。必要なのは、その業務の文書を読める人が数時間、手を動かすことだけです。順に見ていきましょう。

原則: 最初は30問で良い

立派な全社基準を目指すと、正解の定義を巡る会議が増えて頓挫します。まずは主要な文書タイプ(トラブル票なら トラブル票)に絞って30問。経験上、30問あればAIの得手不得手の輪郭が見え始め、50問あれば投資判断の議論に耐えます。完璧な100問より、今週できる30問です。

Step 1: 対象文書を選ぶ — 「きれいな文書」を選ばない

評価対象の文書タイプから10〜15ファイルを選びます。ここで最大の落とし穴が、デモ映えするきれいなファイルを選んでしまうことです。それでは測る前から答えが歪みます。実運用で流れてくる分布に合わせて、古い書式のもの、手書きスキャンが混ざったもの、担当者によって書き方が違うものを意図的に含めてください。目的は良い点を出すことではなく、現在地を知ることです。

Step 2: 質問と正解のペアを作る — 3つのレーン

30問を1種類の質問で埋めると、測れる能力が偏ります。私たちは質問を3つのレーンに分けて作ります。

レーン1: 値の抽出(約半分)

「この報告書の発生日はいつか」「ロット番号は何か」のように、答えが文書中の特定の値であるもの。最も作りやすく、採点も機械的にできます。

レーン2: 記述の読解(約3分の1)

「このトラブルの原因は何とされているか」「処置として何を行ったか」のように、答えが文中の記述であるもの。正解は一言一句の一致ではなく、含まれるべき要素(例: 「シール材の劣化」への言及)で定義します。

レーン3: 横断・突き合わせ(残り)

「同種の不良は過去に何件あるか」「この図面の材質と仕様書の記載は一致しているか」のように、複数の文書や箇所を突き合わせないと答えられないもの。作るのは大変ですが、実務でAIに期待される仕事の多くはここにあり、このレーンの成績が実力を最もよく映します。

Step 3: 正解に「根拠の場所」を必ず付ける

各問題には、正解そのものに加えて、正解が元文書のどこに書いてあるか(ファイル名とページ・行・欄)を記録します。これには2つの効用があります。第一に、採点時に「AIの答えは違うが実は元データが間違っていた」というケース——前回ご紹介したサイレントデータ事故です——を発見できます。評価セットづくりは、実はデータの健康診断を兼ねるのです。第二に、AIが間違えたとき、正解を見つけられなかったのか、見つけたのに読み違えたのかを切り分けられます(この切り分けの使い方は[別記事の手順]で詳しく解説しています)。

Step 4: 作ってはいけない問題を除外する

30問の品質を落とす典型的な悪問が3つあります。

曖昧参照の問題

「この件の対応は?」のように、「この」が何を指すか文書を見ないと決まらない質問。実際の利用場面では成立しない問い方です。

正解が揺れる問題

有識者2人に解かせて答えが割れる問題は、AIを測る前に正解の定義を直します。

知識問題

文書に書かれていない、業界の一般知識で答える問題。測りたいのは文書を読む力であって、モデルの博識さではありません。

作った問題は、可能なら作成者以外の1人に解いてもらってください。人間が解けない問題でAIを採点するのは、フェアではありませんから。

Step 5: 採点と運用 — 使い捨てにしない

初回の採点で出る数字が、貴社の「現在地」です。ここからが評価セットの本領で、同じ30問を、データ整備の前後で、新旧モデルの比較で、そして導入後は四半期ごとに流します。例えて言うなら体重計です。一度乗って終わりではなく、乗り続けることで、どの施策が効いたのか、いつ後戻りしたのかが記録に残ります。

一つ運用上の注意を。評価セットの中身は、AIの改善作業をする人に丸ごと見せないのが原則です。テスト対策で当てにいく調整(人間の受験勉強と同じです)が起きると、定点観測の意味が失われます。

まとめ: テストを持っている客は、強い

評価セットは、AI導入における発注側の最も確実な交渉道具です。ベンダーの誰よりも、貴社の業務文書の正解を知っているのは貴社だけなのですから。まずは今週、30問。そこからPoCの景色は一変します。

フライウィールでは、評価セットの設計・構築(質問レーン設計、根拠スパンの特定、悪問の除外まで)を含めて、貴社の実データで「今のAIがどこまで正しく読めるか」を数値化する AI-Ready化トライアル（クイック診断） をご提供しています。最初の30問を、一緒に作りましょう。

本記事に関連する情報や、AI活用・データ利活用に役立つ最新トピックはメールマガジンでも配信しています。
[メルマガ登録はこちら]

参考文献

• Gartner, "Lack of AI-Ready Data Puts AI Projects at Risk"(2025年2月)