TurnitinはChatGPTを検出できるのか?正直な答え

直接の答え:イエス、ただし重要な但し書き付き

Turnitinは2023年4月から類似度レポートにAIライティングインジケーターを組み込んでおり、これはChatGPTのような大規模言語モデルの文章を見抜くために作られたものです。ChatGPTの回答をそのままエッセイに貼り付けて提出すれば、Turnitinがその大部分にフラグを立てる可能性は非常に高い。この点に議論の余地はありません。

しかし、但し書きも同じくらい重要です。インジケーターは統計的な推定であって証拠ではありません。動作するのは最低要件(現在は散文300語以上)を満たす提出物だけです。人間とAIが混在した文書では信頼性が下がり、文レベルでの誤検出の問題も記録されており、Turnitin自身が、このスコアを学業不正の判断の唯一の根拠にしてはならないと教員に伝えています。では、TurnitinはAIを検出できるのか?できます。使用を証明できるのか?できません。そして現実のあらゆるケースは、その隙間で決着がつくのです。

TurnitinのAIライティングインジケーターの仕組み

Turnitinは、あなたのエッセイをChatGPTの出力データベースと照合しているわけではありません。代わりに、文書を数百語ずつの重なり合うセグメントに分割し、各文がどれだけ統計的に予測しやすいかを採点します。言語モデルは最も可能性の高い次の単語を選び続けることで書くため、異様に滑らかで均一な、意外性の少ない文章が生まれます。人間の文章はもっと乱雑です。文の長さはばらつき、言葉選びはときどき奇妙で、リズムは上下します。

この判定を駆動する2つのシグナルが、言葉選びの予測しやすさを意味するパープレキシティと、文構造のばらつきを意味するバースト性です。ある一節が一貫して滑らかで一貫して均一なら、モデルはその文に「AIの可能性が高い」と印を付けます。仕組みの詳細はAI検出ツールの仕組みのガイドで掘り下げていますが、要点はシンプルです。Turnitinが検出しているのは機械の文章が持つ統計的な指紋であって、特定のチャットボットの中身ではありません。

パーセンテージスコアの本当の意味

教員が目にする数字は、文書内の対象文のうち、モデルがAI生成と判断した割合です。40%というスコアは、Turnitinが40%の確信であなたの不正を疑っているという意味ではありません。散文のおよそ40%が、モデルには機械が書いたように見えたという意味です。この2つはまったく別の主張であり、混同することが不正調査の面談で最もよくある間違いです。

知っておくべき点が2つあります。第一に、Turnitinは1%から19%のスコアをアスタリスク付きで表示します。自社の調査で低スコアほど誤検出を含みやすいとわかったためで、この帯域の表示自体を抑制する設定にしている教育機関もあります。第二に、インジケーターは対象外のテキスト、たとえば箇条書き、コード、表、非常に短い文を無視するため、パーセンテージが説明しているのは文書の一部だけです。

TurnitinのAI検出の精度はどの程度か

Turnitinの公表値は、テキストの20%超がAI生成の文書について、文書レベルの誤検出率を1%未満に抑えながら約98%の精度でAI文章を識別する、というものです。この数字はTurnitin自身のラボテストによるもので、特定のシナリオ、つまり英語の散文でほぼ未編集のAI文章を対象にした場合の話です。

独立した検証はもっと手厳しい結果を出しています。公開直後、Turnitinは文レベルの誤検出が想定より高く、人間とAIが混在した文書では4%近いことを認めました。2023年にツールを検証したジャーナリストたちは、ハイブリッドのエッセイで判定が迷走し、AIの箇所を見逃して人間の箇所にフラグを立てることを確認しています。そして2023年8月、ヴァンダービルト大学は誤検出のリスクが高すぎるとして、この機能の無効化を公表しました。TurnitinのAI検出精度を公平にまとめるなら、純粋で未編集のChatGPT出力には強く、その中間にあるすべてに対しては目に見えて弱い、となります。

先生が実際に見ているもの

学生は通常、AIスコアをまったく見ることができません。インジケーターは類似度レポートの教員ビューに、剽窃スコアとは別の小さなパーセンテージバッジとして表示されます。クリックするとレポートが開き、フラグの付いた文がハイライトされます。AI生成と判定された文章と、AI生成後にツールで言い換えられたと判定された文章は別の色で示されます。

その画面を見た教員が何をするかは千差万別です。Turnitinのガイダンスはスコアを判決ではなく会話を始めるシグナルとして扱うよう伝えており、多くの大学がその慎重さをポリシーに明文化しています。実際には、他の点で優れた論文の15%はしばしば無視され、80%なら下書きの履歴、引用、過去の文章との比較といった、より踏み込んだ確認が始まります。数字はファイルを開かせるだけで、閉じるのは人間です。

言い換えやヒューマナイズされた文章は検出されるのか

検出されることもあります。ここがいたちごっこの最前線です。2024年、TurnitinはAIパラフレーズ検出を追加しました。LLMで生成された後に言い換えツールに通された文章を見抜くために訓練されたレイヤーです。安上がりな言い換え、つまり元の文構造を残したままの同義語の置き換えは、まさにこのレイヤーが捕まえるものです。機械の文章の統計的な骨格が、単語の変更を生き延びてしまうからです。

より深い書き換えは別の話です。文構造、リズム、言い回しが本当に作り直されると、検出ツールが頼りにする指紋は薄れていきます。それが同義語辞典による置き換えと本物のヒューマナイズの違いであり、まともな無料AIヒューマナイザーが結果を信じてくれと言う代わりにビフォー・アフターの検出スコアを表示する理由です。書き換えた文章を実際の検出ツールでテストすることだけが、変換がうまくいったかを知る誠実な方法です。

自分で編集したAI文章も捕まるのか

軽く編集した程度のAI文章は、たいてい変わらず検出されます。数語を入れ替え、導入を削り、段落を2つ入れ替えても、検出ツールが測定する文レベルの統計は変わらないので、文書の大部分は依然として機械の文章として読まれます。学生はいつもこれに驚きます。15分の推敲は本物の作業に感じられますが、スコアはほとんど動かないのです。

大幅に書き直された文章の検出はずっと難しく、Turnitinもそう述べています。同社のドキュメントは、著者が混在する文書では信頼性が下がると記しており、低スコアのアスタリスクが存在するのはまさにそのためです。ChatGPTをアウトラインや粗い下書きに使い、その後すべての文を自分の声で、自分の例と自分のつなぎで書き直したなら、最終的な文章はどんな統計的尺度で見てもほぼあなたのものです。この検出機能は機械の散文を見つけるのが得意です。その下にあるアイデアを見る術は持っていません。

GPT-4、Claude、Gemini:モデルによる違いはあるのか

期待するほどの違いはありません。Turnitinは特定の製品ではなく、カテゴリーとしての大規模言語モデルの出力で検出器を訓練しており、主要なチャットモデルはどれも「最も可能性の高い次の単語を予測する」という同じ根本的な習性を共有しています。GPT-4o、Claude、Geminiのデフォルト出力はいずれも同じ滑らかで均一な指紋をまとっており、未編集の文章では3つとも高い割合で検出されることがテストで一貫して示されています。

本当のニュアンスは2つあります。新しいモデルは、検出器が当初調整されたGPT-3.5の文章よりわずかに予測しにくいため、フロンティアモデルの検出率はTurnitinが再訓練するまで(再訓練は定期的に行われます)一時的に少し下がることがあります。そして「人間らしく書いて」や「バースト性を高めて」のようなプロンプトの小技は、思われているほど表面的な文体すら変えません。衣装の下では、モデルは相変わらず高確率の単語を選んでいるからです。チャットボットの乗り換えは検出対策にはなりません。

学生が実際に発覚するパターン

高いAIスコア単体で追い込まれる人はめったにいません。現実のケースは証拠の連鎖で組み立てられ、インジケーターはその最初の輪にすぎません。教員たちが語るパターンは一貫しています。高いパーセンテージ、加えてバージョン履歴のない文書、加えてその学生の以前の課題より明らかに洗練されすぎているか無個性な文章、加えて曖昧な議論や存在しない引用といった内容面の問題。

最後の一つは強調に値します。捏造された参考文献は、AI不正のケースで最も決定的な物証です。文体では説明がつかないからです。検出スコアには反論できますが、出版されたことのない論文の引用に反論はできません。許可された範囲であれAIツールを使うなら、すべての出典を手作業で確認し、下書きを保管し、他の課題と一貫した声で書いてください。発覚する学生がパーセンテージだけで発覚することは、ほとんどないのです。

身に覚えのない疑いをかけられたら

誤検出は起こります。Turnitinもそれを認めています。研究では、AI検出ツール全般が英語を母語としない書き手を高い割合で誤検出することも示されています。慎重に学んだ英語は均一で予測しやすくなりがちで、それはまさに検出ツールが機械らしさとして読む性質だからでしょう。誠実に書いた論文が検出されたのなら、あなたには守れる立場があります。慌てないこと、そしてやっていないことを認めないことです。

面談の前に証拠ファイルを作りましょう。Google DocsやWordのバージョン履歴は、エッセイが何時間もかけて一文ずつ育っていく様子を示す、あなたが持てる最強の物証です。メモ、アウトライン、ブラウザのリサーチ履歴、そしてあなたの文体を示す過去の採点済み課題を加えてください。実際のレポートを見せてもらうよう求め、Turnitin自身が公表している但し書き、つまり低スコアのアスタリスク、文レベルの誤検出率、インジケーターを唯一の証拠にすべきではないという明言を指摘しましょう。ほとんどの教育機関には不服申し立ての手続きがあります。冷静に、書面で活用してください。

提出前に自分でチェックする

現実的な悩みはここにあります。学生は提出前にTurnitinのAIスコアを見られないため、問題を最初に知るのが最悪のタイミングになりがちです。回避策は、まず独立した検出ツールで下書きをテストすることです。Turnitinと同一ではありませんが、同じ統計的シグナルを測定しており、複数の検出ツールでクリーンなスコアが出る下書きがインジケーターで真っ赤になる可能性はごく低いのです。

まさにそのために作られたのがHumanize AIです。テキストを貼り付けるかPDFやDOCXファイルをアップロードすると、何も変更する前に2つの独立した検出エンジンによるライブのAI判定スコアが表示され、ヒューマナイズ後には新しいスコアが出ます。40言語に対応し、登録も文字数制限もありません。スコアが想定より高かった場合は、TurnitinのAI検出を回避する方法のガイドで、あなた自身の声を主役にしながら誠実にスコアを下げていく手順を解説しています。

よくある質問