Инженеры OpenAI удалили с помощью Codex 800 тыс. строк ненужного кода

Пятеро инженеров OpenAI удалили из кода компании больше 800 тыс. строк: ненужное находил агент для программирования Codex на модели GPT-6 Astra. Большую часть работы они сделали за две недели в свободное от основных проектов время и приняли больше 1 400 предложенных агентом правок, рассказал инженер команды OpenAI, которая делает внутренние инструменты для экспериментов.

Почему это важно: До ИИ-агентов многие команды искали мёртвый код — тот, что больше не выполняется, — сложными программами, которые разбирают код без запуска, и даже так ошибались. Прошлой модели GPT-5.6 Sol надо было указывать участок кода и критерии проверки, а GPT-6 Astra по короткой просьбе сама решала, где искать и чем доказать, что фрагмент можно убрать.

Повод: Аккаунт OpenAI для разработчиков в соцсети X поделился постом инженера компании: «Несколько месяцев назад мне приходилось говорить Codex, где именно искать мёртвый код. Теперь он может сам найти кандидатов в Slack, сверить их с телеметрией¹ рабочих серверов и подготовить черновики правок».

Как это работает: Запрос уместился в одну фразу с опечатками: найти и убрать мёртвый код, сверившись со Slack, Statsig² или другими источниками.

• Модель собрала сведения из прошлых правок кода, обсуждений в Slack и внутренних трекеров проектов.
• По замерам производительности на рабочих серверах она проверила, что удаляемые строки ни разу не выполнялись.
• К каждому удалению модель приложила объяснение, и людям стало быстрее проверять её правки.

Детали: Уборка кода и другие правки по советам Codex дали измеримый результат:

• Образ контейнера одного из сервисов — упаковка, в которой его разворачивают, — уменьшился с 3,31 до 1,72 ГБ, на 48%.
• Из набора тестов исчезло около 400 вариантов эталонных снимков интерфейса, с которыми тесты сверяют внешний вид страниц.
• Около 30 правок по советам Codex сократили медианное время автоматической проверки кода (CI) примерно с 10 до 4,5 минуты.
• После одной добавленной заглушки набор из 63 тестов стал проходить за 30 секунд вместо почти 10 минут, и ни один тест не пропал.

Интрига: Среди устаревших экспериментов и флагов функций³, которых команда убрала сотни, Astra нашла строку на Python. Несколько лет назад один из инженеров завёл флаг, через который разработчики для тестов могли переопределять флаги всех новых функций, а эта строка связывала его сразу со всеми функциями — из-за этого флаг тянул за собой лишние вычисления и заметно нагружал процессоры. Удалять её модель не стала и отдала людям, потому что флаг был помечен как «постоянный»; после проверки его убрали, и затронутый сервис, по оценке команды, сэкономил 0,42% процессорного времени.

В цифрах: Поиск устаревших экспериментов более чем в 6 000 файлах, около 1 млн строк кода, автор повторил на трёх настройках и сам проверил находки:

• GPT-6 Astra на высшем уровне рассуждений⁴ Ultra дала 142 подтверждённые находки и обошлась по ценам API в 109 долларов.
• GPT-6.1 Sol на том же уровне дала 131 находку, 92% от результата Astra, и потратила 15 долларов — 14% стоимости Astra.
• GPT-6.1 Sol на среднем уровне Medium обошлась всего в 5 долларов, но подтверждённых находок у неё заметно меньше — 86.

Но: Sol отставала от Astra в основном на флагах, которые никогда не меняют значения, но от которых зависят другие флаги. Часть предложений моделей GPT-6 усложняла код сильнее, чем того стоила выгода, поэтому команда по-прежнему сама решает, какие из них принимать в первую очередь, и замеряет, что они дают.

Если шире: 14 октября Cohere описала похожий опыт: команда агентов для программирования, где ведущий работает на GPT-5.6 Sol, а 16 помощников — на дешёвой Luna, почти догнала команду из одних Sol и потратила на 70% меньше.

Под такие пропуски, как с зависимыми флагами, инженер OpenAI предлагает подстраивать запрос, чтобы дешёвая GPT-6.1 Sol приближалась к результатам Astra. Начать он советует с одной мелкой задачи вроде устаревшего флага или нестабильного теста и сравнить на ней модели: дешёвой настройки может хватить.