AI検出ツールの本当の仕組み(なぜあなたの文章が検出されるのか)

AI検出ツールが実際に測定しているもの

AI検出ツールは、誰がその文章を書いたのかを知りません。あなたの文書を事前に見たことはなく、ChatGPTの出力を集めた秘密のデータベースと照合することもできません。その代わりに、あなたの文章がどれだけ予測しやすいか、つまり大規模言語モデルが生み出しがちなパターンにどれだけ似ているかを採点しています。

現代の検出ツールは、それ自体が数百万件の人間の文章とAIの文章で訓練された機械学習モデルです。生成プロセスが残す統計的な指紋を探し、その結果を確率として出力します。このパイプラインのどこにも、著者を検証する仕組みはありません。検出ツールはあなたのブラウザ履歴を見ることも、タイピングの様子を観察することもできず、言えるのは「この文章は訓練に使われた機械の文章に似ている、あるいは似ていない」ということだけです。

迷惑メールフィルターに例えるとわかりやすいでしょう。迷惑メールの典型的な特徴を学習しているので、その特徴を持つメッセージにフラグを立てますが、個々のメールについて確信を持つことは決してできません。AI検出も同じ仕組みで動いており、すべてのスコアは数字の衣をまとった推測にすぎません。結果の読み方もこれで変わります。「85% AI」は文章の85%が機械によって書かれたという意味ではなく、検出ツールがその推測にかなりの自信を持っているという意味なのです。

パープレキシティ:言葉選びの意外性

パープレキシティ(perplexity)は最も重要なシグナルです。あなたが選んだ一つひとつの単語に、言語モデルがどれだけ驚くかを測定します。次の単語がすべてモデルの予測どおりならパープレキシティは低くなり、その文章は機械が書いたように見えます。人間はもっと予測しにくい存在です。少し変わった形容詞に手を伸ばし、ルールを破り、わずかにぎこちない言い回しをする。そうした選択の一つひとつがパープレキシティを押し上げます。

具体的な例文を並べると一目瞭然です。1つ目:「定期的な運動は、身体の健康と心の健康の両方を改善するため重要です。」2つ目:「運動を続けているのは、膝の文句が減って、終わったあとは受信トレイもそれほど怖く見えなくなるからです。」どちらも文法的に正しく、言いたいことも同じですが、1つ目は言語モデルが「最も可能性の高い次の単語」として選ぶ言葉だけで組み立てられており、「定期的な運動は重要です」はほとんどテンプレートです。2つ目は小さな冒険をしています。文句を言う膝、怖い受信トレイ。単語ごとの確率を採点するモデルにとって、1つ目は少しも意外ではなく、2つ目は本当に予測が難しい。だから1つ目はAIらしく、2つ目は人間らしく読めるのです。

磨き上げられた無難な文章が、人間がすべて書いたのに検出される理由もここにあります。パープレキシティは努力や誠実さではなく予測しやすさだけを測るものであり、完全に人間的な文章の中にも、非常に予測しやすいものがあるのです。

バースト性:生きた文章のリズム

バースト性(burstiness)は、文の構造と長さのばらつきを測定します。人は波のあるリズムで書きます。長く曲がりくねった文の後に、短い文。三語だけ。そして、必要以上に長く続いてしまう、細部の詰まった複雑な節。

AIの出力はもっと滑らかです。デフォルトのままでは、モデルはほぼ同じ長さの文を、似たような書き出しで、同じ均一なリズムのまま、段落から段落へと生成し続けます。両者を並べると、一語も読まないうちに違いが見えることさえあります。人間の文章はページの上でギザギザして見え、機械の文章はレンガ塀のように見えるのです。

検出ツールはそのギザギザを数値化します。低いバースト性と低いパープレキシティの組み合わせは典型的なAIの署名で、両方がそろうと、話題や文法が完璧でも検出ツールは「生成された文章」だと確信を強めます。ただし、どちらか一方だけでは弱いシグナルです。詩人は激しいバースト性で書き、契約書を書く弁護士はほとんどバースト性なしで書きますが、どちらも人間です。だからこそ、まともなツールは必ず2つを組み合わせて判定します。

内部で動くトークン確率

言語モデルは1トークンずつ文章を生成し、各トークンには確率スコアが付いています。検出ツールはこの確率を近似的に計算し、あなたの文章がモデルにとって「居心地のよい」高確率の選択肢の範囲に収まっているかを調べます。高確率トークンばかりが均一なリズムで並んだ文章は、ChatGPT、Gemini、Claudeがデフォルトで生成する文章と一致し、検出ツールはそのパターンを画面に表示されるパーセンテージへと変換します。

短い文章のテストが当てにならない理由もここにあります。一文か二文だけでは、慎重な人間とモデルを区別するのに十分なシグナルがなく、スコアは大きくぶれます。多くのベンダーも暗にこれを認めており、数百語未満の文章の採点を拒否するツールがいくつもあります。その長さを下回ると、計算は測定というよりコイン投げに近くなるからです。

統計型検出と分類器型検出

検出ツールは2つの系統に分かれ、どちらと向き合っているかを知ると、不可解な結果の多くに説明がつきます。統計型検出ツールは、参照用の言語モデルを使って確率を直接計算します。あなたの文章をモデルに通し、パープレキシティやバースト性などの量を測定し、しきい値を適用するのです。GLTRやDetectGPTのような研究手法はこの方式で、多くの無料チェッカーの採点も同様です。ラベル付きの訓練データが不要な点が強みですが、どの参照モデルが採点するかに判定が大きく左右される点が弱みです。

分類器型検出ツールは訓練によって作られます。ベンダーが人間の文章とAIの文章の大規模なコーパスを集め、多くの場合RoBERTa系のトランスフォーマーモデルをファインチューニングして、両者を見分けられるようにします。Turnitin、Originality.ai、Copyleaksはこの方式です。分類器は生のパープレキシティを超える微妙な手がかりを拾えるため、訓練データに似た文章では精度が高くなる傾向がありますが、新しいモデルの文章、他の言語、見たことのない分野では性能が落ち、実際に何を学習したのかはベンダー以外の誰にも検証できません。

現在の商用製品の多くは両方式のハイブリッドになっており、スコアの解釈が難しく、ツール間の比較がさらに難しい理由の一つになっています。

ChatGPT、Gemini、Claudeの出力が検出される理由

フロンティアモデルは、明瞭で安全で流暢な文章を書くように訓練されており、訓練の最終段階では、レビュアーの多くが「よく書けている」と評価する回答が報酬を受けます。その結果、出力はバランスの取れた文、「さらに」「結論として」のような整った接続表現、統計的に無難な語彙へと押し流されていきます。

そして、まさにその性質こそ検出ツールが狙っているものです。文章が磨かれ「平均的」になるほど、パープレキシティとバースト性は下がり、AIスコアは上がります。皮肉なことに、誤字や癖だらけの人間の生の下書きの方が、きれいなAIの初稿より簡単に検出を通過することがよくあります。欠点こそが人間のシグナルを運んでいるからです。

GPTZero、Turnitin、ZeroGPTなどが実際にチェックしているもの

主要なツールは同じ基本ロジックを共有しつつ、チューニングが異なります。GPTZeroはパープレキシティとバースト性による採点を広め、両方を文単位で表示します。Turnitin AIは教育機関向けの剽窃チェックスイートに検出機能を統合しており、文書を重なり合うセグメントに分割し、分類器がモデル生成と判断した部分にフラグを立てます。

ZeroGPTは高速で無料の文単位の判定を提供し、Originality.aiは出版社やSEOチーム向けに、確信度で重み付けした厳格なスコアを打ち出しています。Copyleaksは多言語対応と企業向けレポートが特徴です。いずれも確率的なツールであり、だからこそどれも「完璧」を正直には名乗れず、各ベンダーの精度アピールは、よく読むとベンダー自身が設計したテストの説明になっているのです。

検出ツールごとに判定が食い違う理由

同じエッセイを3つの検出ツールに貼り付けると、1つ目は2% AI、2つ目は45%、3つ目は88%という結果になることがあります。このばらつきはどれかのツールのバグではありません。異なるシステムが同じ証拠から異なる推測をすれば、こうなるのが当然なのです。

各ツールは独自のコーパスで訓練され、独自の参照モデルで採点し、テキストの分割方法も違い(文書全体か文単位か)、「AIらしい」と判定するしきい値も独自に設定しています。冤罪を避けるよう調整されたツールは保守的に動いて検出漏れが増え、「不正を見抜く」ことを売りにするツールは同じ文章を過剰に検出します。更新のタイミングもバラバラなので、新モデルの登場前に調整された検出ツールは、そのモデルの文体を何か月も誤判定し続けます。

実践的な教訓はこうです。単一のスコアに決定力はなく、ツール間の不一致は、どれほど多くの推測が関わっているかの直接の証拠です。学校がTurnitinでチェックするなら、意味を持つのはTurnitinの判定だけであり、他のツールでのクリーンなスコアは、その結果を予測もしなければ守ってもくれません。

誤検出:公表されている数字

検出ツールは予測しやすさで判定するため、日常的に誤作動を起こします。しかも、その失敗は仮定の話ではありません。OpenAI自身の分類器は2023年1月に公開されましたが、AIが書いた文章の26%しか識別できない一方で、人間の文章の9%をAIと誤判定し、同社は精度の低さを理由に半年で提供を終了しました。Turnitinは文書レベルの誤検出率1%未満を主張していますが、個々のフラグ付き文はそれよりはるかに信頼性が低いことを認めており、疑わしいAI文章が少量しかない文書でスコアの表示を控えるのはそのためです。

最も深刻な調査結果は英語を母語としない書き手に関するものです。スタンフォード大学の研究者が、実際の学生がTOEFL試験のために書いたエッセイを7つの人気検出ツールでテストしたところ、人間が書いたこれらのエッセイの平均61%がAI生成と判定され、ほぼすべてが少なくとも1つの検出ツールにフラグを立てられました。米国のネイティブの学生のエッセイは、同じツールをほぼ無傷で通過しています。

そのメカニズムは、まさに本記事で説明してきたとおりです。第二言語で書く人は、より無難な語彙とより規則的な文構造を使う傾向があり、それがパープレキシティを下げ、機械の文章として読まれてしまう。このバイアスは手法そのものに焼き付いています。責任ある学校が検出スコアを「証拠」ではなく「対話の出発点」として扱うのはこのためです。数字は証拠ではありません。

ウォーターマーク:まだ実現していない解決策

研究者たちは長年、本当の解決策はウォーターマーク(電子透かし)だと主張してきました。AIモデル自身が生成時に、目に見えない統計的な署名を埋め込む方式です。最もよく知られた方式では、モデルは文章を書きながら、ローテーションする「グリーンリスト」のトークンを密かに優先します。読者がそのパターンに気づくことはありませんが、鍵を持つ検出ツールなら、パープレキシティによる推測よりはるかに高い精度で検査できます。

しかし、これはほとんど世に出ていません。OpenAIは長い文章で約99.9%の有効性があると社内で報告されたテキスト用ウォーターマークを開発しましたが、公開を見送ったままです。理由として、言い換えや翻訳で透かしが消えること、推敲のために正当にAIを使う非ネイティブ話者への偏見を助長しかねないこと、そしてあまり立派ではない理由として、ユーザーが透かしを入れないツールに乗り換えるだけだという懸念を挙げています。GoogleのSynthID-Textは例外で、Geminiの内部で稼働しオープンソースとしても公開されていますが、マークが付くのはGemini自身の出力だけです。

これこそが核心的な問題です。ウォーターマークは開発元が協力するモデルしかカバーできず、誰でもローカルで実行できるオープンウェイトのモデルに透かしが入ることは決してありません。つまり、あなたの学校や勤務先が今日使っている検出ツールは、透かしを読んでいるのではなく、依然として統計処理をしているのであり、それに伴う不確実さもすべてそのままなのです。

人間とAIが混在した文章はどう判定されるのか

現実の文書が、どちらか一色だけということはめったにありません。学生が導入部を自分で書き、本文の2段落をChatGPTに膨らませてもらい、全体を編集する。検出ツールはこれに対して、文書の上でウィンドウをスライドさせながら、文またはセグメントごとに個別に採点し、生成されたように見える箇所をハイライトすることで対処します。

混在はあらゆるシグナルを弱めます。AIの段落に入った人間の編集はそのパープレキシティを引き上げ、人間のセクションに混じったAIの文はリズムを均一な方向へ引きずります。その結果は「半分AI」とも「全部人間だが書き方が変」とも取れる中間的なスコアで、文単位のハイライトは全体の数字より目に見えて信頼性が落ちます。たとえばTurnitinは、文レベルのフラグは文書スコアより高い誤り率を持つと述べており、一時期は低いパーセンテージがあまりに不安定なため、表示自体を拒否していました。

要するに、文書が混ざっているほど判定はぼやけ、レポートでハイライトされた文は、見出しのパーセンテージ以上に疑ってかかるべきなのです。

ヒューマナイズでスコアが下がる仕組み

検出ツールが高いパープレキシティとバースト性を評価するなら、対策はより人間らしく書くことです。文の長さを変え、予測しにくい言葉を選び、自然なつなぎを加え、均一なリズムを崩す。ただし、これを文書全体にわたって手作業で行うのは時間がかかります。そこで、文章を書き換えて人間らしいばらつきを自動的に取り戻すAIヒューマナイザーの出番です。

Humanize AIのようなツールは、モデルの出力を言い換えて自然なバースト性と予測しにくい言い回しを取り戻させ、意味を保ったままAI検出回避を助けます。重要なのは、実際の検出エンジンによるビフォー・アフターのスコアを表示することで、祈るのではなく変化を測定できる点です。目的はごまかしではなく、ようやくあなたらしく響く文章です。

実践で意識すべきこと

この技術の仕組みから、いくつかの習慣が直接導かれます。提出前にテストすること。チェックは無料でできるのに、スコアを当てずっぽうで見積もるのは無意味です。無料のAIヒューマナイザーに下書きを通せば、誰よりも先に検出エンジンの数字を確認できます。短い文章への判定は決して信用しないこと。そして文単位のハイライトは、よくても弱い証拠として扱うことです。

誠実に書いているなら、記録を残しておきましょう。下書きの各バージョン、メモ、編集履歴は、どんな対抗スコアよりも優れた著者性の証明です。検出ツールが疑いがちなフォーマルな文体で書く非ネイティブ話者なら、なおさらです。特定のチェッカーと向き合うことになったら、そのツール固有の挙動を学んでください。特にTurnitinには知っておく価値のある癖があり、本記事の姉妹編としてTurnitinのガイドを書いたのはそのためです。

何よりも、検出ツールとは何かを忘れないでください。予測しやすさを採点するパターンマッチャーであり、ベンダーが作り、しきい値を調整し、双方向に測定可能な確率で間違えるもの。役に立つことは、あります。証拠には、決してなりません。

よくある質問