著者の文体を真似たAI文は、最良の検出器でも10%擦り抜ける。それでもSubstackはAI検出を選んだ

著者の文体を真似たAI文は、最良の検出器でも10%擦り抜ける。それでもSubstackはAI検出を選んだ【2026年7月】

ニュースレター配信プラットフォームのSubstackは現地2026年7月21日、AI検出機能の導入を発表した。一次ソースはCEO Chris Bestが公開した記事「Against Claudefishing」。検出エンジンには外部のAI検出サービス「Pangram」を採用し、最大の特徴は、全投稿に自動でラベルを貼るのではなく読者がリクエストした時にだけスキャンが走る設計にあります。そしてこの発表の6日前、検出器の実力を測った独立の実験結果が公開されていました。著者の文体を真似たAI文は、Substackが採用したPangramですら10%を見逃す。この数字の意味ごと、何が導入され、何がまだできないのかを整理します。

この記事のポイント

• スキャンの対象は、notes・返信・コメント・記事投稿のうち100語超かつ2026年7月21日以降に公開された分。webとiOSが先行し、Androidは後日
• 「Claudefishing」はBest CEOの造語。読者の期待と現実の不一致、特に「向こう側に人間の思考が無い」ものと気づかずに注意を投資してしまう状態を指す
• 併設機能として、作者が制作過程を自分から開示する「How I make this」欄も導入される
• 現地7月15日にEpoch AIが公開した実験 (一次ソース) では、著者の文体を模倣させたAI文の見逃し率はPangram 10% (297本中30本)・GPTZero 11%・Originality.ai 18%
• 誤検出 (人間をAIと誤判定) はPangramとGPTZeroが0件、Originality.aiが3.8%。見逃し最小かつ誤検出ゼロのPangramを選んだSubstackの判断と整合する結果

何が導入されたのか: 常時ラベルではなく、読者が求めた時だけ動くスキャン

AI検出器とは、語彙や構文などの統計的な特徴から、その文章をAIが生成した確率を推定するツールのことである。Substackが連携するPangramは、その専業サービスの一つです。

導入の設計は次のとおりです。

• スキャンは読者がリクエストした時のみ実行され、結果が表示される。プラットフォーム側が全投稿へ常時ラベルを付ける方式ではない
• 対象はnotes・返信・コメント・記事投稿のうち100語を超えるもの。適用されるのは2026年7月21日以降の公開分で、過去の投稿は遡って判定されない
• webとiOSで先行提供し、Androidは後日

もう一つ重要なのは、これが「AI使用の禁止」ではないことです。同時に、作者側が「この文章をどう作っているか」を自分から開示する「How I make this」欄が導入されます。Bestの立て付けでは、問題はAIを使うことそのものではなく、読者の期待と現実がずれたまま放置されること。発表の中でBestは「偽物に報いるプラットフォームは、底辺への競争を生む (Platforms that reward fakeness will create a race to the bottom.)」と書いています。

「Claudefishing」とは何か

発表のタイトルにあるClaudefishingは、Best CEOの造語です。Bestの説明では、読者の期待と現実の不一致、特に、向こう側に人間の思考が無いものだと気づかないまま注意を投資してしまう時のことを指します。本記事では「AIなりすまし釣り (Claudefishing)」と訳しておきます。

この言葉の重心は、書き手ではなく読者の側にあります。「書き手がAIを使ったかどうか」ではなく、「読者が何に注意というコストを支払ったか」から問題を定義している。だから対策も、書き手への一律の禁止ではなく、読者が確かめたい時に投稿のメニューから呼び出せるスキャンと、書き手が先回りして開示できる欄、という二本立てになっています。

検出器はどこまで見抜けるのか: 直前に出た独立検証

発表の6日前にあたる現地2026年7月15日、AIリサーチ組織のEpoch AIが検出器の実験結果を公開しています (一次ソース)。設計は、3ジャンル×99著者についてそれぞれの著者の文体をAIに模倣させた文章を作り、3種の検出器にかけるというもの。検出回避ツールを通したのではなく、文体の模倣だけでどこまで擦り抜けるかを測った実験です。

この数字は三つの読み方ができます。

• 文体の模倣は検出を大きく難しくする: 素のAI文なら見逃しは最大でも0.7%でした。著者の文体を学ばせるだけで、最良の検出器でも10%が擦り抜けます
• 条件次第ではさらに悪化する: 最悪のセルでは、科学記事ジャンルのGemini生成分を一つの検出器が約48%見逃しました
• 誤検出の少なさは書き手の保護: 人間が書いた文章をAIと誤判定した割合は、PangramとGPTZeroが0件、Originality.aiは3.8%。書き手のプラットフォームにとって最悪のシナリオは「人間の書き手への冤罪」であり、見逃し最小かつ誤検出ゼロのPangramを選んだSubstackの判断はこの結果と整合的です

なお、Epoch AIの公開とSubstackの発表の間に因果関係があるかは分かりません。Substackの発表文には「independent research」への言及がありますが、それがこの実験を指すのかも確認できていません。本記事では「導入の直前に出た独立検証」とだけ位置づけます。

導入前からあった批判: 検出は軍拡競争になる

Pangramへの批判は導入前からありました。書き手のTim Requarthは現地2026年4月6日の記事で、AI検出の限界を論じる中で「そして、軍拡競争がある (Then there’s the arms race.)」と書いています。検出を回避する手法が出回るほど、カジュアルにAIを使う書き手ほど捕まり、狡猾な利用者ほど擦り抜けるという構図の指摘です。

Epoch AIの数字は、この構図と符合します。素のAI文はほぼ確実に捕まり (見逃し最大0.7%)、文体の模倣という一手間を挟んだAI文は1〜2割が擦り抜ける。検出の網は、手間をかけない使い方から順に締まっていきます。

書き手と読者にとっての意味

• 常時ラベルとの違いは大きい: 誤判定が起きた場合でも、全読者に常時表示される方式に比べて影響が限定されます。判定を見るかどうかの主導権が読者側にある設計です
• 開示が防御になる: 「How I make this」欄は、AIの使用を疑われてから釈明するのではなく、先回りして制作過程を開示する場所です。期待と現実の不一致 (= Claudefishing) を作らないことが、検出への最良の対策になります
• AI Quotidiaも、AIを使って記事を作っていることを開示して運営している媒体です。読者の期待と現実をずらさないというBestの問題設定は、制作体制の開示と、AI特有の言い回しを人が点検する校閲としてQuotidiaが日々やっていることの言い直しでもあります。なお、検出器の見逃し率と媒体の校閲体制は測っているものが違うため、数字を並べた比較はしません

まとめ（FAQ）

Q. Substackの全投稿に「AI製」ラベルが付くのか？
A. いいえ。スキャンは読者がリクエストした時にのみ実行されます。対象は100語超かつ2026年7月21日以降の公開分で、webとiOSが先行、Androidは後日です。

Q. 検出器はどのくらい正確なのか？
A. Epoch AIの実験 (現地2026年7月15日公開) では、著者の文体を模倣させたAI文の見逃し率は、Substackが採用したPangramが10% (297本中30本) で3検出器中最良。GPTZeroは11%、Originality.aiは18%でした。素のAI文なら見逃しは最大0.7%です。一方、条件が悪いと科学記事ジャンルのGemini生成分を一つの検出器が約48%見逃しており、万能ではありません。

Q. 人間が書いたのにAIと誤判定されるリスクは？
A. 同実験では、PangramとGPTZeroの誤検出は0件、Originality.aiは3.8%でした。Substackのスキャンが読者リクエスト型であることも、誤判定の影響を常時ラベル方式より限定します。

Q. AIを使って書くと罰されるのか？
A. 発表の枠組みは使用の禁止ではありません。Bestが問題にしているのは読者の期待と現実の不一致 (Claudefishing) で、作者が制作過程を自分から開示する「How I make this」欄が同時に導入されます。

Quotidia の視点

Quotidiaはこの発表を、検出の精度の話である前に、表示の設計の話として読みました。全投稿への常時ラベルではなく、読者が求めたときだけ動くスキャン。判定の主導権を機械の宣告ではなく読者の関心の側に置き、書き手には先回りの自己開示欄を用意する。罰する仕組みではなく、期待と現実の不一致を埋める仕組みとして組んであります。数字は出どころの区別が要ります。見逃し10%はSubstackが採用したPangramの値、18%は別の検出器Originality.aiの値で、いずれもEpoch AIが著者の文体を模倣させたAI文で測った実験条件のものです。AI Quotidia自身、記事作りにAIを使っていることを隠さずに運営している媒体です。読み手が受け取るつもりのものと、実際に届くものの間に段差を作らない。Bestのこの発想は、毎朝の作り方を明かし、機械くさい言い回しを人の目で拾って削る、この媒体の手順とそのまま重なります。広告のスポンサー表示の回で見た「読者に何をどう開示するか」の設計論が、今回は広告ではなく文章の作り手そのものに向いた、と整理しています。

関連記事:

• あなたのChatGPTに広告が出ない理由。日本上陸した「スポンサー」表示の仕組み（「読者に何をどう表示するか」の設計論として地続き。ChatGPTのスポンサー表示は広告の開示、今回は文章の作り手の開示で、同じ問題が対象を変えて現れた）
• Claudeは「これはテストだ」と見抜いていた。Anthropicが見つけた隠れた作業空間（見抜く側と見抜かれる側の対。Claudeが評価環境を「テストだ」と見抜いた回と、検出器がAI文を見抜こうとする今回で、AIと検出をはさんだ攻防の両面になる）

盤の重さ

駅ビルの八階の催事場で、月に一度、中古レコード市が立つ。箱はおよそ四十、ひと箱にざっと六十枚。全部めくれば二千四百枚になる勘定だが、僕の腕は毎回十箱あたりで音を上げる。壁際には三枚で千円の箱が二つあって、僕の目当てはいつもそこだ。日曜の朝、開場の十五分前にエスカレーターの脇へ並ぶのが、ここ数年の習慣になっている。列の先頭にはいつも同じハンチングの男がいて、彼はクラシックの箱しか見ない。口をきいたことは一度もない。七月の催事場は冷房が強く、並んでいるあいだに指先が乾く。盤をめくるには、そのほうが具合がいい。
並びながら、電話の画面で気になっていた発表を読み返した。Substackという、書き手が読者へ直接文章を届けて購読料を受け取る仕組みがある。そこにAIの検出機能が入るという。Pangramという外部の検出器と組んで、百語を超える投稿やコメントを調べ、AIが書いた可能性を読者に示す。ただし、すべての文章に自動でラベルを貼るわけではない。読者が知りたいと思って頼んだときにだけ、調べて見せる。対象になるのは七月二十一日から先に公開された分だ。CEOのChris Bestは発表の題を「Against Claudefishing」として、Claudefishingという言葉を自分でこしらえていた。期待して読んだ文章の向こう側に人間の思考がなかったのに、そうと気づかないまま注意を注ぎ込んでしまうこと。日本語にするなら「AIなりすまし釣り」あたりだろうか。偽物に報いる場は底辺への競争を生む、と彼は書いていた。発表の少し前に出ていた独立の実験のことも、頭の隅に残っていた。書き手の文体を真似させたAI文になると、いちばん成績のいい検出器でも十本に一本は擦り抜けるという。素のAI文なら、ほとんど捕まるのに。
開場のチャイムが鳴って、列が動き出した。僕の棚にも一枚だけ、偽物と知っていて手放せずにいるレコードがある。

ジャズの箱は奥の壁際だった。三枚で千円の箱に取りつくと、隣に僕よりだいぶ若い女の人が立って、白い綿の手袋で盤を検めていた。速い。一枚二秒の速さで、しかも雑に見えない。手袋のことを尋ねると、彼女は手を止めずに答えた。
「指紋よけだと思うでしょう。違うんです。摩擦が減って、めくるのが速くなる」
それから彼女は一枚を箱から抜き、ジャケットから盤を出して、天井の照明に傾けた。溝を斜めから眺め、片手で重さを量って、店の人を呼んだ。
「これ、再発の海賊盤ですよ」
ジャケットは本物と見分けがつかなかった。帯の色も、裏の解説の活字も。彼女は盤を僕の手に載せてくれた。軽かった。本物のヴィニールが掌に落とすはずの、あのすっと沈む重さがない。それから彼女は、曲の終わりの溝のない銀色の帯を指した。
「本物は、ここの刻印が手彫りなんです。人が針で書いた字は揺れてる。これは揃いすぎてる」
店の人は謝って、その盤を箱から下げた。仕入れの束に紛れていて、値札を付けた者も気づかなかったらしい。
「今朝、似たような話を読みました」と僕は言った。文章の市場にも検出係が入るらしい。読者が頼んだときだけ調べる仕組みで、それでも上手な偽物は十本に一本擦り抜けるという実験がある。そうかいつまんで話すと、彼女は初めて手を止めた。
「いたちごっこですよ。雑な偽物から順に消えて、上手な偽物だけが残る。レコードも同じです。でも、そこまで手間をかけられるなら、最初から本物を作ればいいのにね」
彼女はその日、四枚買った。僕は千円の箱から三枚。会計の列で、彼女はふと付け足した。
「来月ここ、北海道物産展ですよ。市は九月まで飛びます。お互い、それまで我慢ですね」
夜、家に帰って、例の一枚を棚から抜いた。学生のころ、二週間分の昼飯を抜いて買ったブルーノートで、ずっとあとになって海賊盤だと知った。文句を言うべき店はとうにない。それでも手放さなかったのは、トランペットの聴き方をこの盤で覚えたからだ。溝に手彫りの刻印はなくても、音の向こう側には本物の人間がいた。針を落とすと、雨だれのようなノイズがしばらく続いて、それからトランペットが鳴った。

SubstackがAI検出「Pangram」を導入。スキャンは読者がリクエストした時だけ、CEOは造語「Claudefishing」への対抗と説明

Substackは現地2026年7月21日、CEO Chris Bestの記事「Against Claudefishing」でAI検出機能の導入を発表した。検出エンジンは外部のPangram。notes・返信・コメント・記事投稿のうち100語を超えるものが対象で、読者がリクエストした時にのみスキャンして結果を表示する。適用は2026年7月21日以降の公開分、webとiOSが先行しAndroidは後日。作者側が制作過程を自己開示する「How I make this」欄も併設される。ClaudefishingはBestの造語で、読者の期待と現実の不一致、特に向こう側に人間の思考が無いものと気づかずに注意を投資してしまう状態を指す。Bestは「偽物に報いるプラットフォームは、底辺への競争を生む」と記した。発表の6日前の現地7月15日には、Epoch AIが検出器の独立実験を公開している。3ジャンル×99著者の文体を模倣させたAI文での見逃し率はPangram 10% (297本中30本)・GPTZero 11%・Originality.ai 18%。素のAI文なら見逃しは最大0.7%で、最悪の条件 (科学記事ジャンル・Gemini生成分・1検出器) では約48%に達した。誤検出 (人間をAIと誤判定) はPangramとGPTZeroが0件、Originality.aiは3.8%。見逃し最小かつ誤検出ゼロのPangramをSubstackが採用した形になる。なお実験公開と発表の因果関係は不明で、Substack発表文中の「independent research」がこの実験を指すかは確認できていない。導入前の現地2026年4月6日には、書き手のTim RequarthがPangram批判の中で「そして、軍拡競争がある (Then there's the arms race.)」と書き、カジュアルな利用者ほど捕まり狡猾な利用者ほど擦り抜ける構図を指摘していた。