«Мы — API, вы — разработчик»: глава TypeSafe объяснил, почему модель Jev не отказывает
Диогу Алмейда, соавтор InstructGPT и глава TypeSafe, считает отказы ошибкой, если модель работает внутри чужих программ. Он рассказал, как писать код с Jev, и сообщил, что модель уже обрабатывает больше триллиона токенов в сутки.
Jev не отказывается выполнять запросы, и это сделано намеренно. Глава TypeSafe Диогу Алмейда, соавтор InstructGPT, пришёл в подкаст Latent Space через несколько дней после запуска модели и объяснил почему. В чат-боте отказ просто раздражает: человек переформулирует вопрос и продолжит. Но если модель стоит внутри чужой программы и работает в фоне, отказ может сломать программу в случайный момент из-за одного странного сообщения пользователя.
Алмейда не против ограничений в продуктах вроде ChatGPT и Claude. Но API, по его словам, — другое дело. Ведущий подкаста Шон Ван спросил, что делать, если модель применят на войне.
«Предпочёл бы я, чтобы нашу технологию не использовали для убийства людей? Разумеется. <…> Буду ли я встраивать это на уровне технологии? Абсолютно нет»
Диогу Алмейда, глава TypeSafe
Влиять на то, как применяют Jev, он готов, но не через саму модель: каждая такая подстройка, по его словам, «раскалывает её интеллект». Разработчикам, которые спрашивают разрешения на запуск, он отвечает: «Брат, мы — API. Вы — разработчик. Это не моё дело». Интеллект, считает Алмейда, будет «скорее базой данных, чем коллегой».
Jev не пишет текст, а только принимает решения, и её ответы похожи на обычные конструкции языков программирования. Choice выбирает один вариант из списка, как оператор выбора в коде. Noulli — это «да или нет» с вероятностью, как условие if; имя урезано от фамилии Бернулли. Третий тип — балл: по нему можно сортировать варианты или сравнивать их с порогом. Алмейда советует не писать огромных системных промптов, которые он называет «отвратительными глобальными переменными». Задачу лучше разбить на много мелких вопросов. Например, не спрашивать модель «отказать ли здесь?», а задать отдельный вопрос о каждой ситуации и для каждого подобрать свой порог.
После запуска Jev преодолела отметку в триллион токенов в сутки. Алмейда подчёркивает, что это не любопытные пользователи: нагрузка держится даже ночью, значит, модель вызывают программы. Уже развёрнутые версии компания менять не будет, но и долгой поддержки старых не обещает: новые модели будут выходить чаще, чем привыкла отрасль. Возможно, временно сохранят нынешнюю Jev 1.13.0, потому что на ней уже много проектов.
В публичные бенчмарки Алмейда не верит: их слишком легко подогнать. Себя он называет практиком. Даже с миллиардом долларов, по его словам, он не стал бы обучать модель с нуля. Главное для TypeSafe — данные, поэтому компания считает себя «лабораторией данных», а не лабораторией моделей.