AI生成文は判別できる？判定ツールの限界と確認ポイント

AI生成文判定ツールの結果だけで、文章を書いた人や不正の有無を確定することはできません。判定値は追加確認のきっかけとして扱い、文章の作成過程、草稿、参照資料、本人の説明など、別の証拠と合わせて判断します。教育、採用、評価のように不利益が生じる場面では、本人が説明できる機会と、組織のルールに沿った人による確認を設けてください。

判定ツールが返すのは作者の身元ではない

AI writing detectorは、入力された文章の特徴をもとに、所定の検出条件に当てはまりそうかを推定します。結果の割合は「この人がAIを使った確率」や「不正をした確率」と同じ意味ではありません。文章をAIで下書きし人が大幅に直した場合、複数人で編集した場合、定型的な表現が多い場合など、作成経路は単純な二択ではありません。

Turnitin自身も、検出モデルが人間の文章、AI生成文、AIで言い換えた文章を誤って分類する可能性があり、学生への不利益措置の唯一の根拠にしてはいけないと案内しています。報告の数値は提出文章のうち検出対象となる文章の範囲と、そのシステム上の推定を表します。作者を特定する証拠として読むのではなく、どの箇所を追加で確認するかを示す補助情報として読みます。

OpenAIの教育者向け案内も、AI検出器は人間が書いた文章を誤判定する可能性や、その限界を踏まえて慎重に対応する必要を説明しています。現在の製品や第三者detector全体に一律の性能値を当てはめる根拠にはなりません。判定器の世代、言語、入力形式、文章の長さ、更新時期などが異なるため、特定サービスの説明を別サービスへ広げないでください。

結果を読む前に条件を記録する

結果の比較や再確認が必要な場合は、まず次の情報を記録します。

・サービス名、モデルまたはレポート名、確認日

・提出した文章の範囲と文字数、言語、文体

・レポートが対象とする文章の種類と除外される要素

・判定表示、対象箇所、警告や信頼性に関する表示

・その文章が編集・翻訳・引用・共同執筆されたか

・利用組織の規程と、その時点の適用条件

結果画面だけを保存し、条件を残さないと、後日同じ判定を再現したり意味を比較したりできません。スコアが更新される製品では、同じ文章でもモデル版や対応言語により結果が変わる可能性があります。再実行する場合も、初回と同じ条件だったか記録します。

Turnitinの表示で注意する点

TurnitinはAI Writing Reportに関し、長文形式の文章中の「qualifying text」を検出対象として説明しています。現在の案内では、文書に少なくとも300語の散文が必要で、対応言語などの要件があります。また、詩、台本、コード、箇条書き、表などの非散文や短い形式では、AI生成文を安定して検出できるとは限らないとしています。さらに、AIパラフレーズやbypasserの検出機能は英語版に限られ、日本語版には含まれないと案内されています。英語版の機能説明を日本語レポートへ当てはめず、対象言語ごとのレポート仕様を確認してください。

同じ案内では、0%超20%未満の判定について、誤検知の発生が相対的に多いことから数値やハイライトを表示せず「*%」とし、誤解を減らすと説明しています。古いレポートでは2024年7月8日より前の表示が残る場合もあるため、画面の見た目だけで現在の仕様だと判断しないでください。これらはTurnitinの現行説明であり、他社ツールや学校独自のシステムへそのまま適用できる条件ではありません。

レポートに数値が出た場合も、その値を合否の境界にしないことが大切です。たとえば20%を超えたら不正、下回ったら人が書いた、といった線引きは、提供元の説明が支持していません。検出対象外の文章や日本語のような言語条件も確認し、結果が何を評価しているかを先に把握します。

不利益判断に進む前の確認フロー

1. 判定条件を確認する。対象文書、対応言語、対象となる文章形式、最低文字数、使用した製品と更新日を確かめます。要件を満たさない入力なら、その結果を判断材料として扱わず、必要なら別の方法で確認します。

2. 結果を記録する。スコアだけでなく、対象箇所、表示上の注意、実行日を保存します。判定結果を編集せず原本のまま保管し、担当者が後から条件を再確認できるようにします。

3. 独立した作成記録を見る。草稿、版履歴、メモ、引用元、アウトライン、提出途中の保存記録などを確認します。単一の証拠で決めず、記録がないことも自動的に不正の証明とはみなしません。

4. 本人に説明機会を設ける。作業の進め方、使った資料、文章の判断や修正点を本人の言葉で説明してもらいます。質問は、疑いを認めさせるためではなく、複数の説明可能性を確かめるために行います。

5. 適用ルールに照らして判断する。学校・職場の規程、提出時に告知したルール、個別事情を確認し、検出値とその他の証拠を分けて記録します。重大な措置では、担当者を分けた再確認や異議申立ての窓口も検討します。

6. 記録を残して結論を伝える。確認した証拠、未確認点、適用した規則、判断者、本人への説明を記録し、結果と次の手続きを明確に伝えます。

確認材料をどう評価するか

文章に急な品質差があることだけで、生成AIの利用を証明することはできません。文体の変化には、編集者、題材、締切、翻訳、テンプレート、本人の学習など複数の理由があります。逆に、文章が自然でもAIを使っていない証拠にはなりません。内容の正誤、引用、作成過程、利用規程をそれぞれ別に確認してください。

草稿や版履歴は作成過程を理解する手掛かりですが、すべての人が同じツールで履歴を保存するとは限りません。記録の欠如を自動的に不正と解釈しないでください。スクリーンショットは容易に切り取れるため、可能なら元の文書やシステムが示す履歴を確認し、取得日と範囲を残します。

本人への質問では「AIを使ったか」と尋ねるだけでなく、資料を選んだ理由、構成を変えた理由、特定の主張の根拠など、本文から確認できる具体的な点を聞きます。説明の流暢さを点数化したり、緊張や記憶違いを不正の証拠にしたりせず、必要なら追加資料を求めます。説明を受けた後に判断が変わった場合も、その理由を記録します。

用途で異なる注意点

教育機関では、課題の指示、授業で許容したAI利用、引用や開示のルールを先に確認します。文章生成が許される課題で、検出器の利用だけを理由に違反を認定しないようにします。学生には、対象となった文章と規程を示し、説明や追加資料を出す機会を案内します。

採用や人事評価では、検出値から応募者・従業員の能力、誠実さ、適格性を推定しないことが重要です。提出物にAI利用を禁止・申告させるなら、事前にルール、対象、確認方法を説明し、判定ツール以外の評価方法を用意します。重大な結果へ進む場合は、人が独立して見直します。

出版やコンテンツ審査では、生成の有無だけでなく、事実の正確さ、著作権、引用、編集責任を確認します。判定ツールの出力を公開時に作者名や不正の断定へ結び付けず、必要なときは編集上の確認記録として限定共有します。機密性のある原稿を外部判定サービスに送る前には、保管・学習・二次利用の条件も確認します。

結果の共有とプライバシー

判定対象の文章が学生の課題、応募者の提出物、社内文書など個人情報や未公開情報を含む場合、検出サービスへアップロードする権限を確認してください。利用目的、保存期間、アクセス可能な担当者、削除手順も事前に見ます。本人への通知なしに別サービスへ再送信すると、当初の判断とは別のプライバシーリスクが生じます。

レポートの共有は、判断に必要な担当者へ範囲を絞ります。関係のない第三者へスコアや本文を転送したり、機密情報を一般の生成AIへ貼り付けたりしないでください。判定サービスのデータ利用条件が確認できない場合は、本文を送信せず、ローカルの作成記録や本人の説明など別の材料を使います。

AIものさし編集部の判断

判定ツールは、追加で確かめる場所を見つけるために使い、作者を確定する機械として扱いません。特に教育、採用、評価などの高影響判断では、単独スコアによる処分を避け、条件確認、独立した作成記録、本人の説明、適用ルールを順に見ます。

最初に検出器の対応条件と組織ルールを確認してください。条件を満たさないスコアは根拠にせず、条件を満たしていても結論とは分けます。別の証拠が足りないときは、判定を保留し、説明機会と追加確認の手順を案内します。

記録用のレビュー票

判定ツールを業務で使うなら、結果だけでなく判断過程を同じ様式に残します。

案件ID：[管理番号]

対象文章：[ファイル名、版、提出日]

検出サービス：[名称、レポート版、実行日]

条件：[言語、文字数、対象箇所、対象形式]

結果：[表示内容と警告。割合だけでなく画面上の注記]

規程：[本人へ事前提示した規程、適用条項]

独立資料：[草稿、版履歴、引用元、作業メモ]

本人の説明：[確認日、確認した質問、本人からの回答]

未確認点：[不足している資料と理由]

判断：[判断者、根拠、次の手続き]

この票は、検出器のスコアを判定欄へコピーするためのものではありません。数値をどの範囲で使ったか、何を別の資料で確認したか、本人に何を説明したかを追えるようにします。必要のない個人情報や文章全文を貼らず、組織の保存ルールに従って管理します。

ケース別に「次へ進む」を決める

判定結果が出た後、すぐに結論へ飛ばず、次の分岐を使います。

入力条件が非対応：検出結果は評価材料にしない。文書形式や言語の対応が明記されている別の確認手段を検討する。

結果に注意表示がある：不確実性を記録し、追加確認の要否だけを判断する。スコアを合否基準にしない。

草稿や作成記録がある：内容、時系列、文書の一貫性を確認する。記録が本人の説明と矛盾しても、単独で不正と決めず追加質問を行う。

作成記録がない：記録がないことを証拠とみなさない。提出時のルール、本人の説明、内容の根拠を別々に確認する。

高い影響がある：判断を一人の担当者へ委ねず、同じ規程を知る別担当者のレビュー、本人への通知、異議申立て等の既存手続きがあるか確認する。

証拠が足りない：結論を保留する。検出器の再実行を何度も行って、都合のよい値を採用しない。

OpenAIの案内の読み方にも範囲がある

OpenAIの教育者向け記事は、自社が試した分類器について、信頼性が十分でなかった経験を説明し、ChatGPTが文章の作者を知っているかのように自己申告することも事実根拠にならないとしています。これはOpenAIの経験と説明です。第三者製品の精度を数値で示したものではなく、すべての検出製品の現在性能を同一に評価する資料ではありません。

同記事が挙げる過去の例を、今使われているOpenAI製品やTurnitinの現在の数値へそのまま適用しないでください。各サービスについて、現行の製品案内、対応言語、検出対象、注意書きを直接確認します。ページが更新される可能性があるため、判定の記録には確認日と製品版を残してください。

単一スコアから不正を断定する場合の失敗

1. スコアの対象を確かめず、表・引用・短文まで検出されたと思い込む。

2. 低い値を「AI利用なし」の証明として扱う。

3. 高い値を「AI利用の証明」として扱う。

4. 検出サービスが示す注意書きを省略し、割合だけを本人や上司へ共有する。

5. 草稿、版履歴、規程、本人説明を確認せず、結果だけで処分へ進む。

6. 異なる製品の割合を同じ尺度とみなし、合算・順位づけする。

7. 判定対象の機密文書を、利用条件を確認しない外部サービスへアップロードする。

このうち一つでも起きれば、判定値の解釈や組織の運用を見直すべきです。

公平性と説明可能性を保つ

同じ基準を全員へ適用し、作業環境や配慮が必要な条件を確認します。第二言語で書く人、定型文を使う人、短く簡潔な文章を書く人に対して、文章の特徴だけで疑いを強めないようにします。OpenAIの説明は過去の検出研究における懸念を紹介していますが、個々の人物や現在のシステムに対する差別性を測定するデータではありません。一般化した断定ではなく、偏りを疑う場面では人の判断過程を点検します。

本人へ伝えるときは「AIだと検出された」と断定せず、どの資料・規程について確認したいのかを説明します。文章のどの部分に疑問があるか、本人が提出できる説明や資料、回答期限、相談窓口を具体的に示します。これにより、結果の誤解や、理由が分からないまま不利益だけ受ける状態を減らせます。