ИИтак

← Назад

OpenAI предложила лабораториям согласовать предел развития ИИ-моделей

OpenAI показала, как её модели стали лучше предсказывать продолжение кода, и предложила лабораториям согласовать порог, на котором они приостановят разработку моделей до улучшения контроля.

Изображение: Сэм Альтман

Главный научный сотрудник OpenAI Якуб Пахоцкий предложил ИИ-лабораториям договориться об общем пределе: не развивать модели дальше условленного порога, пока люди не научатся понимать их поведение и следить за ним. Первым шагом OpenAI раскрыла внутренние замеры, которые показывают, насколько хорошо её модели предсказывают продолжение программного кода. Компания следит за этим показателем со времён GPT-3.5.

OpenAI показала, как один и тот же показатель менялся от модели к модели. Пахоцкий рассчитывает, что эти данные помогут лабораториям договориться, как сравнивать свои результаты и по каким показателям решать, когда приостановить разработку.

22 ноября Пахоцкий выпустил в блоге OpenAI эссе «Перплексия и интеллект» (Perplexity and Intelligence). Он предлагает отраслевой стандарт из двух частей. Первая — предел развития по перплексии, показателю качества предсказаний модели, и другим замерам. Лабораториям ещё предстоит найти способ сопоставлять свои результаты. Вторая — условие, которое лаборатории должны будут выполнить, прежде чем перейти этот предел. Таким условием может стать новый способ следить за поведением модели, который заменит нынешний мониторинг цепочки рассуждений. К моменту первого применения более способных моделей Пахоцкий предлагает разработчикам договориться, как их оценивать, какие данные раскрывать и как проверять обоснования безопасности1. В ходе испытаний он предлагает искать сбои, которые могли бы опровергнуть доводы разработчиков о том, что риски применения моделей приемлемы.

в сентябре в эссе «Чужой разум» Пахоцкий уже предлагал лабораториям при необходимости сообща замедлять разработку, чтобы убедиться в действенности мер безопасности. Требования к дальнейшей разработке он предлагал сделать обязательными. Теперь он предлагает мерку, по которой такой предел можно ставить.

по мнению Пахоцкого, главные способности модели появляются на предобучении — этапе, когда она на большом массиве данных учится предсказывать следующий фрагмент по предыдущим. Запросы, дообучение и обучение с подкреплением затем в основном раскрывают уже заложенные способности. Пахоцкий оговаривает, что новые методы могут размывать границу между этапами обучения. Перплексия показывает, насколько хорошо модель в среднем угадывает следующий фрагмент текста (токен): чем она ниже, тем точнее догадки. Для замеров OpenAI использует фиксированную выборку из своей внутренней базы кода. Эту выборку компания отложила для проверки и не использовала при обучении.

OpenAI приводит логарифм перплексии на своём основном проверочном наборе. Меньшее число на этой шкале тоже означает, что модель лучше предсказывает следующий фрагмент. Пахоцкий сопоставляет числа с тем, что умели модели:

  • GPT-3.5 — около 0,99: свободно поддерживала разговор и легла в основу первого ChatGPT.
  • GPT-4 — около 0,91: научилась с пользой рассуждать по шагам, из чего выросли нынешние рассуждающие модели.
  • Нынешние модели — ниже 0,8: у них появились новые возможности в кибербезопасности, а в математике они стали предлагать решения задач, которые прежде оставались нерешёнными.

заранее, подчёркивает Пахоцкий, было совсем не ясно, что новые способности появятся именно на этих порогах. Больше года OpenAI проверяет модели на математических задачах без известных решений, и лишь модель с показателем около 0,76 начала выдавать, как он пишет, новаторские результаты. «Для многих из нас, кто раньше работал в математике и смежных областях, было глубоко сюрреалистично видеть, как в одной ветке Slack одно за другим появляются решения вопросов, над которыми мы давно думали», — пишет он. В октябре OpenAI выложила первый сборник работ своей закрытой модели, и математики разошлись в их оценке. По каталогу OpenAI, в сборник вошли 722 рукописи, включая работы со следствиями и дополнительными аргументами к основным результатам.

если логарифм перплексии продолжит снижаться недавними темпами, Пахоцкий ожидает резкого скачка возможностей моделей при значениях около 0,68–0,7. «Я не знаю, что это будут за способности, и, возможно, сегодня мы их даже не проверяем», — пишет он. По его же оценке, привычные проверки выравнивания2 будут работать всё хуже, а модели всё чаще будут замечать, что их проверяют или обучают.

Ещё один прогноз касается ИИ в роли исследователя. По графику OpenAI, в 2026 году показатель её моделей пошёл вниз заметно круче. Компания объясняет это в основном долгими исследованиями и вложениями в вычислительные мощности и лишь в меньшей части автоматизацией, хотя в самых новых моделях ИИ уже заметно участвовал в проектировании. Пахоцкий допускает, что уже в 2027 году, с участием ИИ, в исследованиях методов предобучения начнётся такая же лавина фундаментальных открытий, как в математике. Прогресс в выравнивании и мониторинге, считает он, за этим вряд ли успеет.

у перплексии как общей мерки есть слабые места, и Пахоцкий сам их перечисляет:

  • Лаборатории проверяют модели на разных наборах данных и обучают на разных смесях данных, так что их цифры напрямую не сравнить.
  • Перплексия напрямую не показывает, как модель справляется с практической задачей. Пахоцкий ожидает, что по мере её снижения у моделей будут появляться новые способности.
  • Она не учитывает успехи вне предобучения: рассуждения по шагам резко усиливают модель, но перплексию не снижают.
  • Нижняя граница неизвестна: ближе к ней цифры будут падать всё медленнее, хотя каждый маленький шаг будет означать всё больший скачок способностей.

Опубликованные замеры показывают конкурентам, насколько далеко продвинулась OpenAI. Пахоцкий признаёт, что решение их опубликовать потребовало раздумий. Но, по его словам, срочность общих для отрасли мер безопасности перевешивает.

Глава OpenAI Сэм Альтман процитировал эссе в соцсети X и назвал его самым важным, что компания опубликовала за долгое время. «Надеемся, что мы как отрасль сможем договориться об общих пределах. Думаю, это было бы очень мудро и помогло бы обеспечить безопасность и контроль», — написал он.

← Все новости