AWS объявила конкурс: обучить языковую модель с нуля на чипе Trainium за 30 минут

Amazon Web Services запустила исследовательское соревнование AWS Trainium Frontier. Участникам предстоит обучить с нуля небольшую языковую модель на собственном ИИ-чипе Amazon — Trainium2. Цель организаторы формулируют так: выяснить, как выглядит оптимальная архитектура модели, если железо устроено иначе, чем привычные ускорители. Финалисты представят свои работы в декабре на конференции NeurIPS 2026 в Сиднее.

Отправная точка у всех одинаковая: простая плотная модель в стиле GPT примерно на 50 млн параметров. Менять разрешено всё — архитектуру, оптимизатор, цикл обучения, а при желании писать собственные низкоуровневые ядра на NKI. Ограничений на размер модели нет, считается только время работы чипа. Выходит прямой компромисс: модель можно сделать умнее, а можно разогнать ядра, чтобы за то же время успеть больше шагов обучения.

Соревнование проходит в два этапа. На первом каждая команда получает один чип Trainium2 и ровно 30 минут на обучение. Результат оценивают по одному показателю — числу бит на байт на проверочных данных (чем меньше, тем лучше). Первый этап идёт с 31 августа по 30 сентября. После него десять лучших команд с 7 октября получат полный сервер на Trainium2 и четыре часа. Там оценка будет пополам: половина — всё тот же показатель, половина — балл CORE по задачам на рассуждения, понимание текста и знания о мире.

Трём лучшим командам достанутся 25 000, 10 000 и 5 000 долларов, выступление на закрытом мероприятии Annapurna Labs (подразделения Amazon, которое разрабатывает её чипы) в рамках NeurIPS и возможность написать научную статью вместе с его исследователями. Дорогу в Сидней финалисты оплачивают сами. Участники из первой десятки получат куртки и сувениры команды Neuron. Места ограничены: принимают первые 100 команд, в каждой от одного до четырёх человек старше 18 лет. Сотрудникам AWS и их родственникам участвовать нельзя, есть и ограничения по странам.

Организаторы объясняют смысл затеи так. Современные архитектуры языковых моделей выросли на одном семействе ускорителей, и форма механизма внимания, числовые форматы и способы распараллеливания подогнаны под их особенности. У Trainium больше быстрой памяти прямо на кристалле, а программист сам управляет перемещением данных. Поэтому операции, которые на обычных ускорителях упираются в пропускную способность памяти, здесь могут упираться в вычисления. Раз так, выгодными могут оказаться архитектуры, которые делают больше вычислений, но реже обращаются к памяти.

Участникам дают готовый конвейер обучения с оптимизаторами Muon и AdamW, среду для экспериментов с помощью ИИ, документацию по NKI, профилировщик Neuron Explorer и средства для оценки по CORE. Академические команды могут получить кредиты AWS на Trainium и Amazon Bedrock. Организаторы прямо приглашают команды, которые поручают эксперименты и написание ядер ИИ-агентам: по их словам, весь API NKI можно освоить за выходные.

Для Amazon конкурс — ещё один способ привлечь исследователей к своему железу, которое конкурирует с ускорителями NVIDIA. Летом компания уже раздавала университетам кредиты на Trainium в рамках программы Build on Trainium. Удастся ли участникам найти архитектуры, которые на этом чипе заметно выгоднее привычных, станет ясно не раньше декабря.