«В этом посте мы разберём…»: ИИ-статьи в блогах компаний выдаёт строение, а не слова
Статьи для корпоративных блогов, написанные ИИ, похожи друг на друга: в заголовке обещают результат, заранее объявляют план, а в конце повторяют главную мысль. Такие статьи распознают по строению, даже если модель переписала их другими словами.
Статья для блога компании, написанная языковой моделью, выдаёт себя не словами, а устройством. Результат она обещает уже в заголовке («Как вдвое сократить адаптацию новичков»). До первого раздела она формулирует главную мысль и объявляет план («В этом посте мы разберём, почему…»), а в конце эту мысль повторяет. У людей, как правило, нет ни анонса разделов, ни пересказа в конце.
К такому выводу пришёл автор работы SlopShape. Первая половина названия — жаргонное английское слово, которым называют низкопробные тексты, написанные ИИ. Автор взял 2 250 статей из блогов 268 компаний, которые продают товары и услуги другим бизнесам; все статьи сохранились в веб-архиве с тех времён, когда ChatGPT ещё не вышел. По каждой статье составили краткое задание и отдали его пяти моделям: GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 и Kimi K2.51. Получилось 11 250 машинных двойников.
Другая модель разметила каждый текст по 214 вопросам: о чём и в каком порядке говорит автор, чем подкрепляет слова, от чьего лица пишет. Вопросы о стиле отбросили, осталось 187 — о строении. Классификатор, обученный только на них, отличал машинные статьи от человеческих с F1-мерой2 98 из 100. Проверяли его на блогах компаний, которых он при обучении не видел. Два лучших детектора из тех, что смотрят на слова, на неправленых текстах набрали все 100 баллов. Но прежние исследования показали, что их легко обойти, переписав текст, и для этого уже есть целый рынок сервисов-«очеловечивателей».
Автор проверил, выдержит ли переписывание его метод. Каждая модель переработала свои статьи: убрала типичные приметы машинного текста и сохранила все утверждения. После этого в среднем 73% цепочек из 13 слов подряд исчезли из текста. Но оценка классификатора не упала: была 98, стала 98,1. Из 1 450 переписанных статей за человеческие он принял восемь, до переписывания — девять.
По строению можно узнать и конкретного автора. Классификатор выбирал из шести вариантов — человек или одна из пяти моделей — и верно назвал источник для 79,3% статей; при случайном выборе угадывался бы каждый шестой. Людей он узнаёт почти без ошибок, а путает в основном модели между собой. Труднее всего ему с DeepSeek V3.2: её тексты по строению ближе всех к человеческим. В целом модели пишут похоже друг на друга, а люди — разнообразнее: среди самых необычных по устройству статей 149 написали люди и только четыре — модели.
Работа повторяет недавнее исследование StoryScope, где тот же подход проверили на художественной прозе: там классификатор по строению сюжета набрал 93,2. Оговорки автор называет сам. Он проверил только тексты, которые модель написала с первой попытки и переписала сама, а сервисы «очеловечивания» не пробовал. Человеческие статьи вышли не позже 2022 года, а машинные появились в августе 2026-го. Поэтому классификатор мог бы отличать не человека от машины, а тексты разных лет. Проверка этого не подтвердила: по строению человеческой статьи нельзя угадать, когда она вышла.
Есть и конфликт интересов, о котором автор пишет открыто. Он руководит Sitefire — коммерческим сервисом, который помогает брендам чаще попадать в ответы ИИ-поисковиков. Такой сервис работает с теми же текстами на сайтах компаний, что и исследование. Чтобы любой мог перепроверить результат независимо от этого интереса, автор выложил код, все вопросы и запросы к моделям.