最新モデルに乗り換えても、AIの精度が上がらない理由 — ボトルネックの切り分け手順つき

こんにちは。フライウィールの吉野です。今回は、生成AI導入の現場で繰り返し見かける現象——最新モデルに乗り換えたのに、現場の精度が思ったほど上がらない——について、その理由と、ボトルネックを切り分ける具体的な手順をお届けします。

先にお断りしておくと、最新モデルが賢くなっているのは事実です。ベンチマークの進歩は本物ですし、私たちも新しいモデルが出れば必ず検証します。それでも「乗り換えたのに現場の評価が変わらない」という相談は後を絶ちません。なぜこうなるのか、そしてどうすれば乗り換え投資が報われるようになるのか。順に見ていきましょう。

なぜ乗り換えが効かないのか

結論から言うと、多くの企業案件において、精度のボトルネックはモデルの賢さではなくデータの品質にあるためです。

これは私たちの実感だけではありません。RANDの報告書には、インタビューに答えた技術者の身も蓋もない述懐が紹介されています——AIの仕事の8割はデータエンジニアリングという泥仕事である、と。またMcKinseyの調査によれば、AIから有意な財務リターンを得ている組織ほど、モデルや手法を選ぶ前に業務ワークフローを熱心に設計し直している傾向が顕著に現れています。成果を出している側は「どのモデルか」の前に「何を食わせ、どう組み込むか」を解いているわけです。

現場のデータに引きつけて言うと、こういうことです。

元データに存在しない情報を、モデルの賢さで復元することはできません。 トラブル票の「原因」欄に、CSVエクスポートの列ズレで日付が紛れ込んでいるとき、どれほど賢いモデルでも正しい原因は出てきません。同じ設備が「1号機」「#1」「一号ライン」と三通りで記録されていれば、賢いモデルも三つの別の設備として数えます。テキスト層のない図面PDFからは、どのモデルも文字を読めません。

むしろ注意が必要なのは、賢いモデルほど文章が流暢だという点です。間違いがより自然に、より説得力を持って出力されるため、乗り換えで手に入ったのが「より流暢に間違えるAI」だけだった、という結末は決して珍しくありません。

もう一つの犯人:「良くなった気がする」問題

乗り換えの効果を「気がする」でしか語れない場合、そもそも判断の土台がありません。

新旧モデルの差を確かめるには、評価セット——この文書からこの値が取れたら正解、この質問にはこう答えられたら正解、という答え合わせの問題集——が必要です。これがないと、判断材料は雰囲気とベンチマーク記事だけになり、期待→乗り換え→幻滅→また期待、というサイクルを断ち切れません。ベンチマークはあくまで一般的なタスクでの成績であって、貴社のトラブル票や図面での成績ではないのです。

ボトルネックの切り分け手順

では、精度が伸び悩んだとき、犯人がモデルなのかデータなのかをどう見極めるか。私たちが実務で使っている手順を簡略化してご紹介します。特別なツールがなくても、考え方はそのまま使えます。

Step 1: 評価セットを作る(最小30問で良い)

対象文書から「質問と正解のペア」を作ります。ポイントは、正解が元文書のどこに書いてあるかを特定できる形にすること。全社展開用の立派なものである必要はなく、まずは主要な文書タイプから30〜50問で十分です。ここを飛ばすと、以降のすべての判断が「気がする」に戻ります。

Step 2: 現行構成で測り、間違いを分類する

評価セットを現行のAIに流し、間違えた問題を一つずつ見て、原因を分類します。分類は3つで足ります。

(a) 元データに正解が存在しない・壊れている(列ズレ、文字化け、テキスト層なし、記録漏れ) (b) 正解は存在するがAIが見つけられない(表記ゆれで検索に掛からない、略語が解釈できない、表の構造が崩れて読める形になっていない) (c) 正解を見つけたうえで、推論や要約を間違えている

Step 3: 分類結果で処方を決める

(a)と(b)が多数派なら、犯人はデータです。モデルを乗り換えても(a)は1問も直りません。(b)は多少改善することがありますが、表記ゆれの正規化や用語集の整備といったデータ側の手当てのほうが、確実かつ大きく数字を動かします。モデル乗り換えが効くのは(c)が多数派のときだけ——そして私たちの経験上、企業の実データで(c)が多数派になるケースは少数です。

Step 4: データを直してから、モデルを試す

順番が重要です。(a)(b)を潰した土台の上で新モデルをStep 1の評価セットで測ると、今度はモデルの進歩が素直に数字に出ます。モデルとデータは掛け算の関係にあるので、片方がゼロに近いうちは、もう片方をいくら大きくしても積は伸びません。逆に、データを整えた企業だけが、今後も続くモデルの進歩を"タダで"享受し続けられます。

Step 5: 評価セットを定点観測に転用する

作った評価セットは使い捨てにせず、新モデルが出るたび・データ整備を進めるたびに流して、精度の推移を記録します。例えて言うなら定期健診です。これがあるだけで、「乗り換えるべきか」の社内議論が雰囲気の戦いから数字の確認に変わります。

まとめ: 乗り換える前に、測る

新モデルの発表は今後も続きますし、そのたびに社内がざわつくのは健全なことです。ただ、ざわついた後に開くべきはベンダーへの乗り換え相談ではなく、自社の評価セットの結果票である——これが本記事の提案です。

そして、Step 2の分類を初めてやってみると、多くの企業で(a)と(b)の山——つまり自社データの現在地——が想像以上であることに気づかれるかと思います。そこが分かった時点で、投資すべき場所はもう明らかになっています。

フライウィールでは、貴社の実データ(トラブル票・図面・マニュアル)で評価セットを構築し、上記の切り分け(a)(b)(c)まで含めて「今のAIがどこまで正しく読めるか」を数値で可視化する AI-Ready化トライアル（クイック診断） をご提供しています。モデル乗り換えの判断材料づくりからご一緒します。

本記事に関連する情報や、AI活用・データ利活用に役立つ最新トピックはメールマガジンでも配信しています。
[メルマガ登録はこちら]

参考文献

• RAND Corporation, "The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed"(2024年)

• McKinsey & Company, "The State of AI"(2025年)