AIのハルシネーションを減らす方法｜回答を検証する実践ポイント

AIの回答に誤りが混ざるのを完全に防ぐ方法はありません。減らすには、答えを知っているように振る舞わせるより、根拠を限定し、不明を保留できるようにし、重要な主張を別経路で確かめる仕組みを作ります。まず質問を小さくし、参照資料を渡し、根拠のない箇所を明示させ、最後に一次情報で照合してください。医療・法律・金融・契約の判断は、AIの文章だけで確定しないでください。

「もっと正確に」と頼むだけでは足りない

ハルシネーションは、もっともらしいが事実ではない内容を生成することです。OpenAIの研究記事では、正解率だけを評価すると、分からないと答えるより推測した方が得点上有利になり、誤答を促す可能性が説明されています。これはすべての誤りの唯一の原因ではありません。情報不足、質問の曖昧さ、古い情報、複雑な推論なども関わります。

そのため、「正確に」「嘘をつかないで」と書くだけでは、誤りを検出する仕組みになりません。回答を作る段階の抑制策と、出た答えを検証する工程を分けます。後者がないまま業務へ入れると、文章が自然なほど確認漏れに気付きにくくなります。

表は横にスクロールできます

リスク	生成時にできること	人が確認すること
根拠資料がない	対象資料や公式ページを指定	該当箇所に記載があるか
質問の条件が曖昧	対象期間・地域・定義を指定	条件を勝手に補っていないか
情報が古い	現在の一次情報を検索	更新日と現行ページ
資料に答えがない	不明なら保留する条件を入れる	不明を推測で埋めていないか
計算・集計ミス	計算過程や元データを出させる	少数サンプルを手計算する

用途と失敗時の影響を先に決める

対策を選ぶ前に、その回答を何に使うか一文で書きます。「社内FAQの下書き」「顧客へ送る料金案内」「契約条項の確認」では、許容できる誤りが違います。ブレインストーミングなら未確認案を候補として扱えることがありますが、顧客へ送る金額や法的説明は、担当者の承認なしに確定してはいけません。

間違ったときの影響も「読み手が誤解する」「請求金額がずれる」「権利や安全に影響する」のように具体化します。影響が小さい用途なら、出典を一つ確認して担当者が読む方法でも足ります。損害が大きい用途では、一次資料、別経路の確認、人の承認、記録の保存まで設けます。すべての回答を同じ手順で二重確認すると、確認作業が形だけになりやすいため、リスクで強度を変えるのが現実的です。

回答前に根拠の範囲を固定する

参照資料を渡せるなら、「この資料だけを根拠にする」「資料にない場合は記載なしとする」と範囲を指定します。Web検索を使うときも、製品仕様なら公式ドキュメント、法令なら公的機関、論文なら原著など、何を一次情報とみなすか先に決めます。検索結果の一覧や要約が、必要な条件を満たすとは限りません。

複数資料がある場合は、資料名、版、日付を固定します。価格表と契約書が食い違うなら、どちらが優先するかを決めないと、AIが都合よく片方を採用することがあります。資料に「2026年度」「日本国内」などの限定がある場合、回答にもその条件を残すよう指示してください。

依頼文は次のように組み立てられます。

添付資料と指定した公式ページだけを根拠に回答してください。資料で確認できた事実と、そこからの推論を分けてください。根拠が見つからない項目、資料間で矛盾する項目、対象期間を確定できない項目は推測せず「未確認」としてください。各事実に資料名と該当箇所を示し、最後に人が確認すべき点を挙げてください。

この指示は誤答をゼロにする保証ではありません。引用先が誤っている、資料を読み落とす、引用が主張を支えていない、といった失敗は残ります。

事実・推論・提案を分ける

回答では、観測された事実、解釈、提案を別欄にします。たとえば「資料Aには利用上限が月1,000件と記載される」は資料の事実、「その上限では繁忙期に不足する可能性がある」は予測、「追加プランを確認する」は提案です。後ろ二つを事実のように言い切らないだけでも、レビューの焦点が見えます。

表は横にスクロールできます

Claim	種別	根拠	判定	次の確認
公式資料に書かれた仕様	事実	URL・文書名・ページ	一致 / 不一致	必要なら更新日
仕様から導いた影響	推論	参照した事実	妥当 / 要検討	前提条件
取り得る対応	提案	判断基準	採用 / 保留	担当者確認

引用があるから事実、とするのも危険です。リンクが開くか、該当箇所が主張を支えるか、対象ユーザー・地域・期間が一致するかを確認します。

不明と言える条件を定義する

「答えが見つからない場合は不明とする」だけでなく、何をもって不明とするかを決めます。必要な資料がない、数値の対象期間が示されていない、固有名詞の綴りを照合できない、複数の公式資料が矛盾する、といった条件です。質問の条件が曖昧なら、回答の代わりに確認質問を返すようにします。

ただし「分からない」と答える割合を増やせば品質が上がるわけではありません。資料に明記された内容まで毎回保留すれば仕事が進みません。資料から直接言えることは答え、資料にない一段先の推測は分離し、必要なら推測を確認する方法を示すのがよいバランスです。OpenAIの研究も、誤答と適切な保留を同じ失敗として扱わない考え方を示しています。

同じAIへの再質問は独立検証ではない

最初の回答へ「この回答は正しいですか」と同じAIに聞いても、独立した確認にはなりません。モデルが先の内容を前提に説明を補強することがあります。重要な数字は元表・計算式へ戻り、製品仕様なら公式ページを開き、日付や固有名詞なら別の一次資料と照合します。コードなら小さな入力で実行し、出力と期待値を比べます。

検証方法は回答の種類で変えます。要約では抜けや誇張、数値表では単位と集計条件、法律・契約では定義と例外、最新情報では日付と一次発表を見ます。同じ「出典確認」だけを全タスクへ当てはめないことが大切です。

失敗記録を次の評価に使う

繰り返し使う仕組みでは、誤りをその場で直すだけでなく、どこで見つかったかを残します。料金の誤記、対象期間の無視、表の脚注の見落とし、存在しない引用など、失敗の種類を記録します。次の評価では、同じ失敗を含む短いテストを再実行します。モデルや指示文を変えた後、以前正しかった回答が崩れていないかも確認できます。

記録には質問、参照資料、期待する判定、実際の誤り、人が要した修正を残します。顧客情報や機密資料をそのまま保存せず、必要な範囲へ匿名化してください。小さな誤りでも、顧客や法務に影響する種類なら重大度を上げます。反対に、影響の小さい言い換え違いまで同じ重さで扱うと、重大な失敗が埋もれます。

仕事に合わせて検証の強さを決める

すべての誤りを同じ方法で調べる必要はありません。社内メモの下書きなら、原資料を一度読み、明らかな抜けを直す方法で足りることがあります。顧客へ提示する料金、採用判断、個人情報の扱いなら、一次資料を担当者が開き、別の人が重要箇所を確認し、承認者を記録する方が安全です。誰が、どの段階で、何を確認するかを決めないと、「人が確認する」という手順が曖昧なままになります。

表は横にスクロールできます

用途例	必須にしたい確認	確認する人
アイデア出し	事実と仮説のラベル	作成者
社内手順の草案	参照手順との照合、抜けの確認	実務担当
顧客への料金説明	現行公式価格、適用条件、税・期間	営業担当と承認者
契約・法令の判断	原文、適用範囲、例外、専門家確認	法務または責任者

表の区分は目安です。会社の規程や業務上の責任があれば、そちらを優先してください。重要なのは「AIの回答だから常に二重確認」でも「引用が付いたから確認終了」でもなく、影響を受ける人と間違った場合の損失から確認者を決めることです。

小さな評価セットを作る

同じ作業を繰り返すなら、よくある質問だけでなく、過去の誤りや答えが存在しない質問を含むテストを作ります。質問ごとに、正答の文面を一つだけ固定する必要はありません。期待する挙動を「資料にない場合は不明」「金額は単位と対象期間を付ける」「引用がない主張は未確認にする」のように記述します。正答だけを採点すると、別の正しい説明や適切な保留を誤答扱いするためです。

表は横にスクロールできます

テストケース	期待する挙動	失敗として記録する例
公式資料に回答がある	該当箇所と条件を示す	数字だけを出し単位を省く
資料に答えがない	未確認と返す	もっともらしい数値を補う
資料間で条件が違う	差分を示す	新旧を確認せず片方を採用
質問に対象期間がない	確認質問か条件付き回答	任意の期間を前提にする

テストはモデルの点数を作るだけでなく、運用手順が働いているかを見るために使います。誰が確認したか、修正に何分かかったか、重大な誤りが残ったかも記録すると、指示文を変えるべきか、人の確認を変えるべきか切り分けられます。変更前後で同じテストを回し、改善のつもりで誤った断定が増えていないか確かめます。

改善の効果も「文章が自然になったか」だけで見ません。回答できた割合、重大な誤答、適切に保留した割合、確認者が直した箇所を分けて記録します。正答率が上がっても重大な誤答が増えたなら、実務上は改善と呼べません。評価結果を見て、質問の分け方、参照資料、承認手順のどこを変えるか選びます。

AIものさしの判断

ハルシネーション対策は、根拠の範囲、保留条件、独立確認、誤りを再発させない評価記録を組み合わせて考えます。まず回答を使う場面を決め、間違いの影響に応じて確認を増やしてください。資料に基づく下書きなら、引用を開いて該当箇所を照合するところから始められます。高リスクな判断は、担当者が一次情報へ戻り、必要なら専門家へ確認するまで確定しない運用にします。