新しいAIモデルが出るたびに、「このベンチマークで1位」「あのモデルを上回った」というニュースが流れます。つい順位を鵜呑みにしたくなりますが、AIのベンチマークには独特の落とし穴があります。本コラムでは、なぜ「ランキング1位＝実務で最強」とは限らないのか、そして自社では何を基準に選ぶべきかを整理します。
ベンチマークとは、要するに共通の試験問題です。AIにその問題を解かせ、点数で比べます。便利な指標ですが、試験で高得点を取ることと、現場の仕事ができることは、必ずしも一致しません。これは人間でも同じで、テストの点が高い人が、必ずしも実務で最も役立つとは限らないのと似ています。
もっとも深刻なのが、特定のベンチマークで高得点を取ることに最適化してしまう問題です。試験に出る問題の傾向に合わせてモデルを調整すれば、点数は上がります。しかしそれは「テスト勉強がうまい」だけで、未知の実務に強いとは限りません。実際、かつて広く参照された公開ランキングは、こうした過剰最適化などで実態を映さなくなり、2025年には主要なものが役割を終えました。「1位だから最強」という見方が、もはや成り立たなくなったのです。
もう一つが「汚染」です。AIは大量の文章を学習しますが、その中にベンチマークの問題と答えが紛れ込んでいることがあります。すると、AIは“実力で解いた”のではなく“答えを覚えていた”だけ、という状態が起こり得ます。高得点でも、それが本当の汎化能力なのか、暗記なのかを、外から見分けるのは困難です。
人間が回答の良し悪しを評価するタイプのベンチマークにも注意が要ります。人は、長くて自信ありげで、体裁の整った回答を「良い」と感じやすい傾向があります。しかし、流暢さと正確さは別物です。もっともらしく整った誤答が、素っ気ない正答より高く評価されてしまうことすらあります。「好まれやすさ」を測る指標を、実務の正確さと取り違えてはいけません。
答えはシンプルです。自分たちの実務タスクで測ること。公開ランキングの総合点ではなく、自社が実際に解きたい問題（たとえば「この明細を正しく名寄せできるか」「この契約からスプリットを抽出できるか」）に正解を用意し、そのタスクでの精度・速度・コストを比べます。金額や分配のように厳密さが要る部分は、完全一致（誤差ゼロ）で評価する。こうした“自分のものさし”を持つことが、流行や順位に振り回されないための最良の防御になります。
私たちがモデルやサービスを評価するとき、公開ベンチの順位を出発点にはしません。前回までのSakana Fugu検証でも、ランキングではなく、自社の機材で実際に走らせ、応答時間と通信先という“現場の事実”で判断しました。順位表は参考にはなりますが、最終的な意思決定は、自分たちのタスクでの実測に置く——これが、後悔しないモデル選びの原則だと考えています。
AIのベンチマーク順位は、過剰最適化・ベンチ汚染・好まれやすさという罠をはらみ、「1位＝実務で最強」を保証しません。大切なのは、自社の実務タスクに正解を用意し、自分のものさしで測ること。流行の順位に飛びつくのではなく、自分たちの現場で確かめる。地味ですが、これがAI活用でいちばん堅実な進め方です。