「精度99%」を謳うAIベンダーに聞くべき、3つの質問

こんにちは。フライウィールの吉野です。今回は、生成AIのベンダー選定で必ずと言っていいほど登場するあの言葉——「精度99%です」——との正しい付き合い方についてお届けします。

デモも見た。たしかにすごい。トラブル報告書を投げ込むと、原因と対策がきれいに構造化されて出てくる。役員も身を乗り出している。じゃあ導入で、と行きたくなる場面かと思います。

ただ、この光景の"その後"について、世界の調査データはなかなか厳しい現実を示しています。MITの2025年の調査では、生成AIパイロットの95%が測定可能な財務インパクトを出せずに終わったと結論づけられました。S&P Globalの調査では、AI施策の大半を中止した企業が42%。前年は17%でしたので、1年で2倍以上に増えた計算です。そしてRAND研究所の報告書は、AIプロジェクトの8割以上が失敗する(これは非AIのITプロジェクトの約2倍の失敗率です)と推計したうえで、失敗を招く主要因の一つとして「データ品質」を挙げています。

精度99%のはずのAIが、なぜこれほどの確率でつまずいてしまうのか。

答えは実はシンプルで、その99%が「何を」「誰のデータで」測った数字なのか、発注側の誰も確認していないためです。もっというと、聞いてみるとベンダー側もきちんと答えられないケースが少なくありません。

そこで本記事では、ベンダー選定の場で聞いていただきたい3つの質問をご紹介します。回答の質を見れば、そのベンダーが信頼に足るかどうか、かなりの精度で判別できるはずです。

質問①「その精度は、誰のデータで測りましたか?」

デモで提示される精度は、たいていの場合、ベンダーが用意したきれいなサンプルデータでの数字です。

一方で、実際の現場に眠っているデータはどうでしょうか。私たちは製造業のトラブル票や図面を構造化する仕事をしていますが、日常的に出会うのはこんな世界です。

同じ設備が「1号機」「#1」「一号ライン」と3通りで記録されている。銘柄やロット№の書き方が担当者ごとに違う。基幹システムから吐き出したCSVには名無しの空列が混ざっていて、ある行から先の「原因」欄になぜか日付が入っている(そして誰も気づいていない)。「CADで作った図面PDFだからテキストは取れますよ」と言われて開いてみたら、テキスト層ゼロの完全な画像だった——。

どれも珍しい話ではなく、私たちが触るデータの「普通」です。

きれいなデータでの99%が、こうした現実のデータで何%になるか。正直なところ、測ってみるまで誰にも分かりません。ベンダーにも、おそらく私たちにも、です。

ですから確認すべきは、精度の数字そのものではなく「測り方」です。「貴社の実データで、導入前に精度を測定しましょう」と提案してくるベンダーは信頼して良いかと思います。逆に「実績上、どのお客様でも高精度です」と一般論で返ってきたら、少し警戒したほうが良いサインです。

もう一つ、これは地味ながらとても大事な点ですが、測定には「答え合わせの基準」が必要です。この文書からこの値が取れたら正解、という問題集(評価セットと呼びます)ですね。これがないPoCは、終わったあとに成功か失敗かすら判定できません。「うまくいった気がする」では、本番投資の稟議は書けないはずです。

質問②「わからないとき、AIは何と答えますか?」

3つの中では、これが最も重要な質問です。

多くの生成AIは、読み取れなかった箇所を"それらしい値"で埋めてしまいます。いわゆるハルシネーションです。ここで「ハルシネーション対策はプロンプトで指示済みです」という説明が返ってきたら、残念ながらそれは対策とは呼べません。LLMは確率的に文章を生成する仕組みですので、お願いベースで嘘は止まらないのです。

そして、ハルシネーションの本当に怖いところは、間違うこと自体ではありません。間違った値は、空欄と違って目立たない——ここです。

空欄であれば、人が「あれ、ここ抜けている」と気づいて確認できます。ところが、もっともらしい嘘は誰の目にも留まらないまま、検索システムや基幹システムに流れ込みます。トラブル票の原因分類が静かに間違い、図面の材質欄に存在しない規格が入る。数ヶ月後、その間違ったデータを根拠にAIが回答し、現場が気づくわけです。「このAI、嘘をつくぞ」と。

そうなってしまうと、もう誰も使いません。冒頭の「95%が成果を出せない」の少なくない部分は、この信頼の崩壊で説明できるのではないかと私たちは見ています。

ですので、信頼できるAIの条件は、精度の高さの前に、確信が持てない値は埋めずにnull(空欄)を返すこと。すべての抽出値に確信度スコアが付いていること。そして確信度が低いものは自動的に人のレビューに回ること。要するに「AIが全部やる」のではなく、 AIが確実な領域（例えば9割）を処理し、確信度の低い残りの領域を人に差し出す という、現場の運用に合わせた分業の設計になっているかどうかです。

※実際の処理比率は、お客様のデータ品質やタスクの難易度によって変動します。

聞き方は簡単です。「読み取れなかったとき、出力はどうなりますか? 実物を見せてください」。nullと確信度と人手レビューの画面が出てきたら、本物です。

質問③「精度が落ちたとき、どうやって改善しますか?」

ここまで読んで、もしかしたらこんな声が聞こえてきそうです。「導入前にしっかり精度を測って、ハルシネーション対策も確認すれば、もう安心だよね」と。

実は、もう一つだけ落とし穴があります。導入時の精度は、ピークであって保証ではないという点です。

新製品が増える。新しい略語が生まれる。帳票の書式が変わる。担当者が代替わりする。現場のデータは生き物のように変わり続けますので、放置されたAIは導入した瞬間から静かに劣化していきます。導入時の精度だけを競うベンダー選定は、ここを見落としがちです。

聞くべきことは2つです。

まず「精度を測り続ける仕組みはありますか?」。質問①の評価セットを定期的に流して、精度を定点観測できるか。例えて言うなら、定期的に受ける健康診断のようなものです。劣化に気づけない仕組みは、改善もできません。

もう一つが「修正の理由は、資産として残りますか?」。現場のレビューで「この略語はこの正式名称に直す」と判断したとき、その判断の履歴が用語集やルールとして蓄積され、次からAIが自動的に正しく処理するようになるか。ここが「使うほど賢くなるAI」と「使うほど手直しが増えるAI」の分かれ目です。

ちなみにこの判断履歴、蓄積されていくと導入企業側の立派な資産になります。スキーマや辞書は、正直なところ他社でも真似できます。ただ、自社の現場で下された何百件もの判断の積み重ねだけは、誰にも複製できません。個人的には、ここがデータ活用のいちばん面白いところだと思っています。

まとめ: 高い数字より、「測り方と直し方」を語れるかどうか

前置きも含めて長くなってしまいましたが、3つの質問を並べると、判断基準は結局一つに集約されます。

派手な数字を約束するベンダーより、測り方と直し方を誠実に語れるベンダーを選ぶ。これだけで、冒頭の「95%」の側に入ってしまう確率はだいぶ下げられるはずです。

最後にもう一つだけ。RANDの報告書が主要因の一つに挙げた通り、AIプロジェクトの成否を大きく左右するのはデータ品質です。AIエージェントの性能を決めるのはLLMの選択ではなく、食わせるデータの品質である——これが、製造業の文書と格闘し続けてきた私たちの結論です。モデルを最新版に替える前に、まずは自社データの現在地を測るところから始めてみませんか。

フライウィールでは、貴社の実データ（トラブル票・図面・マニュアル等）をお預かりし、「既存のAIモデルやアプローチでどこまで正しく読めるか」を個別に検証・数値化する 「AI-Ready化トライアル（クイック診断）」 をご提供しています。

※診断にあたっては、事前に秘密保持契約（NDA）を締結し、安全な環境でデータを検証いたします。

派手なデモではなく、測定結果の数字から一緒に始めましょう。

本記事に関連する情報や、AI活用・データ利活用に役立つ最新トピックはメールマガジンでも配信しています。
[メルマガ登録はこちら]

参考文献

• MIT NANDA, "The GenAI Divide: State of AI in Business 2025"(2025年7月)/ 解説記事: Fortune "MIT report: 95% of generative AI pilots at companies are failing"

• S&P Global Market Intelligence, "AI experiences rapid adoption, but with mixed outcomes – Highlights from VotE: AI & Machine Learning"(2025年)

• RAND Corporation, "The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed: Avoiding the Anti-Patterns of AI"(2024年)