生成AIを使い始めた人が、まず驚くのが「平気で嘘をつく」ことです。実在しない資料を引用したり、計算を間違えたり、それを自信たっぷりに語る。これがハルシネーション(hallucination=幻覚)と呼ばれる現象です。本コラムでは、なぜ起きるのか、そして業務で使ううえでどう付き合えばよいのかを整理します。
誤解されがちですが、ハルシネーションはAIの“バグ”ではありません。生成AIは、膨大な文章から「次に来そうな言葉」を確率的に選び、もっともらしい文章を紡ぐ仕組みです。つまり、本質的に「事実を検索している」のではなく「それらしい言葉を生成している」のです。だから、知らないことを問われても「分かりません」と言うより、もっともらしい答えを作ってしまう。流暢さと正確さは別物であり、流暢だからこそ誤りが見抜きにくい、という厄介さがあります。
重要な前提として、ハルシネーションを完全にゼロにする魔法はありません。だからこそ、「起きる前提で、影響を抑える設計」が現実的な答えになります。私たちは、主に3つの層で対策します。
1つ目は根拠を持たせる(RAG)。社内文書を検索し、その内容を根拠として答えさせることで、想像での回答を抑えます。「資料に書かれていないことは答えない」という運用ができます。
2つ目は数値を任せない(決定論エンジン)。金額や集計といった数字は、AIに生成させず、再現可能なコードやSQLで確定します。もっともらしい誤った数字、という最も危険な誤りを構造的に締め出せます。
3つ目は人手の承認ゲート。重要な判断や対外的な出力の前に、人が確認する関所を置きます。AIは下書きと候補出しに徹し、最終責任は人と仕組みが持つ、という分担です。
仕組みだけでなく、使い方でもリスクは下げられます。曖昧な質問は曖昧な(そして危うい)答えを生むため、前提や条件を具体的に指示する。一度の回答を鵜呑みにせず、根拠や出典を尋ねる。事実確認が必要な内容は、必ず一次資料に当たる。こうした基本動作を習慣にするだけで、誤りに気づける確率は大きく上がります。AIは「優秀だが、ときどき間違える新人」だと思って扱うのが、ちょうど良い距離感です。
そもそも、ハルシネーションの影響が小さい用途から始めるのも賢明です。文章の下書き、要約、アイデア出し、分類といった「人が必ず最終確認する」タスクは、多少の誤りがあっても致命傷になりません。一方、確定した数字や、そのまま外部に出る回答には、前述の多層対策を必ず組み合わせる。用途ごとに必要な厳しさを変える、というメリハリが大切です。
ハルシネーションは、生成AIの仕組みに根ざした性質であり、ゼロにはできません。しかし、根拠を持たせるRAG、数値を任せない決定論エンジン、人手の承認ゲートという多層の設計と、使う側の基本動作を組み合わせれば、業務に十分耐える品質に抑えられます。「AIは間違える」を出発点に置くこと——それが、生成AIと上手に付き合う第一歩です。