Натан Ламберт дописал учебник и убедился, что длинные тексты ИИ пока не даются
Натан Ламберт рассказал, как ИИ помогал ему с учебником по дообучению моделей. По его оценке, ИИ экономит лишь 10–20% труда автора, а неумение моделей писать длинные тексты — плохой знак для надежд на ИИ в науке.
Языковые модели за пару лет стали сильнее людей в программировании и математике, а связный длинный нехудожественный текст так и не научились писать. К такому выводу пришёл исследователь Натан Ламберт, когда закончил учебник о дообучении моделей «Reinforcement Learning from Human Feedback». Он признаётся: в 2024 году боялся, что к выходу книги ИИ сделает её ненужной. Этого не случилось.
По словам Ламберта, лучшими «писателями» до сих пор считают довольно старые модели — GPT-4.5 от OpenAI и Kimi K2 от Moonshot. С одним предложением современные модели справляются. А если попросить у них целую главу, выйдет путаная структура, неловкие формулировки и случайные ошибки в понятиях. Ламберт считает, что писать отдельно не учат не из-за пренебрежения: задача трудная, и хороших данных для обучения мало.
С мелкой работой ИИ при этом помог. GPT-5.5 Pro нашёл неочевидные опечатки в рукописи на 200–300 страниц. Claude, по словам автора, оказался лучшим редактором: у него больше вкуса и интереснее подсказки, когда текст не идёт. Через Claude Code Ламберт разбирал замечания редактора в файлах LaTeX. Без ИИ-агентов синхронизировать веб-версию книги и версию для издательства Manning он бы, по его подсчёту, делал впятеро дольше. Но в самой книге текста от ИИ меньше 1% — только фразы, которые автору искренне понравились.
Главный вывод выходит за рамки книгоиздания. «Сегодня модели с трудом умеют упорядочить и убедительно изложить даже самые устоявшиеся знания в своей области», — пишет Ламберт. Он считает это необходимым условием для самостоятельных научных открытий. Пока модели его не выполнили, их вклад в науку будет скорее в лёгких задачах и в связях между далёкими областями, чем в прорывах. Колонку он написал в тот день, когда Anthropic сообщила о продвижении Claude в гипотезе Римана.
Отчасти Ламберт винит и то, как люди пользуются моделями. Он попросил Claude Fable 5 написать стихотворение о золотой рыбке. Модель коротко всё спланировала и выдала текст сразу, без черновиков и доработки. Лучшего результата, по мнению автора, можно добиться подробными запросами, долгой работой модели до ответа и проверкой текста другими моделями. Пока же ИИ экономит автору 10–20% труда. Ламберт ожидает, что ближайшие два-пять лет лучшие учебники по-прежнему будут писать люди.