Latent Space выяснил, что ИИ-модели советуют агентов для кода своих компаний
Проверка охватила семь моделей с поиском и 161 категорию продуктов. GPT-6 Astra опирается в среднем на пять источников и реже других моделей меняет ответ, если вопрос слегка перефразировать.
Если попросить модель посоветовать агента для программирования, она чаще назовёт продукт своей же компании, выяснили авторы подкаста и рассылки Latent Space1. Claude Opus и Fable от Anthropic советуют Claude Code, GPT-6 Sol и Astra от OpenAI — Codex. Grok от SpaceXAI выбирает Cursor, Muse — Muse Code, SWE-1.7 — Devin2.
Исследование посвящено оптимизации под ответы ИИ (AEO). Так называют работу над тем, чтобы чат-бот или агент упоминал продукт, когда пользователь просит совета. По сути, это аналог поисковой оптимизации, только вместо поисковика — языковая модель.
Авторы опросили семь моделей с включённым поиском в интернете. Категорий 161: от агентов для программирования и управляемых баз данных до ИИ-подкастов, бизнес-ангелов и программ для расчёта зарплаты. Каждый вопрос задавали в шести вариантах формулировки. Ответы разбирала GPT-6 Astra. Итоговая оценка учитывает первый выбор, альтернативы и простые упоминания, а за отговаривание от продукта снимаются баллы.
Только в 28 категориях из 161 все модели назвали лидером один и тот же продукт. Авторы проверили результаты на загрязнение данных3 и выложили все пары вопросов и ответов. Предпочтение своих продуктов при этом не абсолютное: модели GPT, по данным исследования, иногда советуют Claude.
Модели Anthropic ищут шире. По медиане Claude Opus опирается на 11 источников, Fable — на 15. У моделей OpenAI всё наоборот: у Sol медиана — 9 источников, у Astra — 5. Кроме того, Astra заметно реже других меняет выбор, если вопрос слегка перефразировать.
«Это повышает ценность самой AEO: выбор становится менее случайным», — пояснили авторы. По их словам, выборка источников невелика: она собрана только из тех обращений к поиску, которые удалось перехватить, и ничего не говорит о данных для обучения моделей.
Latent Space также подтвердил замечание Ora и Vercel о сайтах, которые по запросу агента отдают текстовую версию страницы в формате Markdown. Если такая выдача даёт сбой, модели реже читают содержимое сайта. Gemini, GLM и DeepSeek в первый прогон не попали: помешали ошибки и ограничения на число запросов.
Ранее, 3 сентября, авторы Latent Space рассказали, как потратили больше 20 млрд токенов GPT-6 Astra на практические задачи.