生成AIは、文章の要約や下書き、分類といった「言語の仕事」が非常に得意です。しかし、こと数字に関しては話が別です。もっともらしい顔をして、しれっと計算を間違える——いわゆるハルシネーション（事実と異なる出力）が起こり得ます。これは技術の未熟さというより、確率的に言葉を紡ぐという仕組みそのものに由来する性質です。だからこそ私たちは、金額や分配といった数値は、原則としてLLMに計算させません。本コラムでは、その背景にある「決定論エンジン」という設計思想を紹介します。
誤りには2種類あります。明らかにおかしい誤りと、一見正しそうに見える誤りです。後者の方がはるかに危険です。たとえば印税の分配額が、桁は合っているが微妙にずれている——such な誤りは、人間のチェックをすり抜けてしまいます。お金を扱う業務でこれが起きれば、信頼を一発で失いかねません。AIに数字を“それっぽく”出させること自体が、リスクなのです。
私たちの設計原則はシンプルです。LLMは言語・解釈・段取りを担い、数値は決定論的なエンジンが確定する。決定論的とは、「同じ入力を与えれば、何度実行しても必ず同じ結果になる」という意味です。要するに、金額の計算はコードやSQLといった、再現性が保証された手段で行うということです。
具体的には、こう分担します。LLMの仕事は、フォーマットがバラバラな明細を読み解いて構造化すること、曲名や識別子の“名寄せ候補”を提案すること、契約書から条件を抽出すること、そして集計のためのSQLやコードを書くこと、結果の差異を自然な日本語で説明すること。一方、決定論エンジンの仕事は、受領額の集計、分配の計算、台帳との突合、未払いや重複の検出——つまり「数字が確定する部分」をすべて引き受けます。
とはいえ、LLMが生成したSQLやコードが正しいとは限りません。そこで、生成したコードを実際に実行し、その結果をふたたびLLMに点検させて、おかしければ書き直させる——という検証ループを回します。そして、最終的な数値は決定論エンジンが確定し、支払いに関わるような重要な操作には必ず人手の承認ゲートを置きます。AIは下ごしらえと説明を担当し、最後の確定は仕組みと人が握る。この多層の構えが、安心して使えるAIの条件だと考えています。
決定論エンジンで数値を確定させるもう一つの利点は、説明可能性です。なぜこの金額になったのかを、計算過程までさかのぼって示せます。AIが勘で出した数字には根拠を求められませんが、コードが出した数字には明確な手順があります。取引先や権利者に対して「この数字はこう計算しました」と示せることは、業務システムとしての信頼の土台になります。
生成AIを業務に取り入れるとき、「何でもAIに任せる」のは得策ではありません。言語はLLMに、数値は決定論エンジンに。役割を分け、検証ループと人手承認を組み合わせることで、ハルシネーションを構造的に締め出せます。便利さと正確さは、設計次第で両立できます。とりわけお金や権利を扱う領域では、この線引きこそが品質の分かれ目になると、私たちは考えています。