Натан Ламберт считает, что хороший тест для ИИ создать труднее, чем поднять в нём баллы
Исследователь Натан Ламберт пишет, что поднимать баллы моделей отрасль умеет куда лучше, чем создавать осмысленные тесты для передовых систем. Повод — новая версия индекса, по которому независимая компания Artificial Analysis сравнивает модели ИИ.
Натан Ламберт, автор рассылки Interconnects о машинном обучении, разобрал новую версию индекса Artificial Analysis1, а заодно и всю отрасль, которая тестирует модели ИИ, — и то, чего ей не хватает.
Цитата: «Улучшать результат легко, трудно понять, что именно улучшать», — пишет Ламберт. По его словам, поднимать баллы моделей дорого, но как это делать, отрасль представляет куда яснее, чем как создавать осмысленные тесты для самых передовых систем.
Повод: 27 октября Artificial Analysis выпустила пятую версию индекса, который сводит результаты девяти тестов в один балл. Впервые больше половины индекса — 60% — приходится на тесты с закрытыми заданиями или скрытыми ответами.
Детали: первое место в новой версии заняла Claude Opus 5.5 с 58 баллами, у GPT-6 Astra — 57.