«Сверхусердный аспирант, который не спит»: система ERA из Google сама пишет и улучшает научный код

Больше двух лет команда Джона Платта в Google не могла решить одну климатическую задачу. Нужно было посчитать, сколько потепления удаётся предотвратить, если самолёты облетают зоны, где образуются конденсационные следы¹. Не хватало модели для солнечного света, который отражают эти следы. Её в итоге нашла ИИ-система ERA, которую построила та же команда.

Платт — заслуженный научный сотрудник Google, он руководит направлением прикладной науки в Google Research. У него технический «Оскар» за компьютерную симуляцию ткани в кино, два алгоритма из учебников по машинному обучению и два астероида, которые он открыл студентом. Один из его алгоритмов входит в популярную открытую библиотеку машинного обучения для языка Python.

ERA (Empirical Research Assistance) выросла из идеи «авто-Kaggle». Это ИИ, который решит любое соревнование на Kaggle — платформе, где аналитики данных соревнуются в точности моделей. Платт заметил, что многие научные задачи устроены так же: если придумать числовую оценку решения, дальше остаётся найти код, который даст по ней максимум. «Это почти как сверхусердный аспирант, который не спит», — говорит Платт.

Внутри ERA работает Gemini, языковая модель Google. Она ведёт дерево прошлых экспериментов — блокнотов с кодом — и на каждом шаге выбирает, какие ветви развивать. Лучший на данный момент вариант при этом не получает всё внимание: система выбирает самые многообещающие, и иногда в работу идёт даже пятый по качеству. Модель предлагает около десяти правок за раз, а ветви видят историю друг друга и учатся на чужих находках.

Эволюционные алгоритмы² известны с 1970-х, но разница, по словам Платта, в том, что Gemini понимает, где искать. Скачок случился при переходе с Gemini 2.0 на 2.5: с прежней версией система просто не работала, с новой работает отлично. С помощью ERA команда решила много давних задач и выпустила не меньше десяти статей. Код ERA открыт на GitHub и подходит для любой языковой модели, но продуктом Google система пока не стала.

Часть этих работ — о климате. По оценке, которую приводят ведущие подкаста Latent Space, на самолётные следы приходится 1% всего потепления, вызванного человеком. В перенасыщенном паром воздухе грамм выхлопа служит затравкой: пар мгновенно замерзает, и из него получается десять килограммов ледяных кристаллов. Такие облака висят днями и в инфракрасном диапазоне держат тепло, как одеяло. Самолёту достаточно снизиться на один-два эшелона³, а вот доказать эффект трудно. Модель для тепла, которое следы удерживают, у команды была, а для солнечного света, который они отражают, — нет. ERA нашла простую модель и учла мешающие факторы, о которых учёные не подумали.

«Это электроинструмент. Им можно отрезать себе пальцы»

Джон Платт, заслуженный научный сотрудник Google, об ERA

ERA выдаёт модели, которые хорошо предсказывают, а проверить, что они правда описывают явление, должен учёный. Платт вспоминает соревнование Google на Kaggle по распознаванию тех же следов: победители заметили, что разметка на снимках сдвинута на полпикселя, и это стало частью их решения. Приз в 15 000 долларов это принесло, а к борьбе со следами не приблизило. «Люди и сами ведут себя как эти языковые модели и пытаются взломать вознаграждение⁴», — говорит Платт и напоминает закон Гудхарта: метрика, ставшая целью, перестаёт быть хорошей метрикой.

Будущим учёным Платт советует прежде всего глубоко знать свою область: научное чутьё — умение понять, какие задачи и решения стоящие, — по его словам, вырабатывается только на трудных задачах. И иногда делать всё по старинке — самому реализовывать алгоритмы и возиться с инструментами. «Можно доехать до вершины на машине, а можно подняться пешком — и, может быть, иногда подняться пешком нормально и даже весело». Главный совет он повторяет за Ричардом Фейнманом, у которого учился в 1982 году: не обманывай себя, ведь себя обмануть проще всего.