Модель · StepFun
Step 2
Бывшая флагманская модель StepFun с триллионом параметров для чата и работы с текстом, её сменили линейки Step 3 и Step 3.5
вышла 1 января 2025
Характеристики
- Вышла
- 1 января 2025
- КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
- 16 тыс. токенов
- Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
- до 8,2 тыс. токенов
- Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
- $5,21 за миллион токенов
- Вход из кэшаЦена входа для повторяющегося начала запроса, которое лаборатория уже сохранила у себя. В длинной переписке и у агентов это большая часть входа — и в разы дешевле
- $1,04 за миллион токенов
- Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
- $16,44 за миллион токенов
- Понимает
- текст
- Отвечает
- текст
- РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
- нет
- Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
- да
- ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
- закрытые
- Знания до
- июнь 2024
- Идентификатор в API
- step-2-16k
Что это за модель
Step 2 — большая языковая модель шанхайского стартапа StepFun. В ней больше триллиона параметров. Она построена по схеме смеси экспертов (mixture of experts): модель состоит из многих подсетей-«экспертов», и на каждый запрос работает лишь часть из них. Предварительную версию компания показала летом 2024 года на Всемирной конференции по искусственному интеллекту в Шанхае, тогда доступ через API получили только отдельные партнёры. Вариант step-2-16k с контекстным окном в 16 тысяч токенов вышел в январе 2025 года.
Предыдущая модель компании, Step 1, насчитывала сотни миллиардов параметров. Step 2 стала для StepFun переходом к триллионному масштабу. Компания говорит, что обучала её с нуля, а не собирала экспертов из готовой модели меньшего размера. Так обучать сложнее, но, по словам StepFun, у модели выше предел возможностей. Чтобы каждый эксперт успевал как следует обучиться, часть параметров у экспертов общая, а сами эксперты устроены по-разному.
Компания заявляет, что по математике и логике, программированию, знаниям на китайском и английском и точности выполнения инструкций Step 2 почти догоняет GPT-4. Модель работала в потребительских продуктах StepFun: в чат-ассистенте Yuewen и в текстовой игре-приключении. Её берут для обычного чата, написания и разбора текста и вызова внешних инструментов.
Сейчас модель устарела: у StepFun вышли линейки Step 3 и Step 3.5, которые дешевле и новее. Step 2 принимает и выдаёт только текст. Её знания заканчиваются серединой 2024 года, а контекстное окно небольшое по нынешним меркам. Цена у неё одна из самых высоких в каталоге. Веса закрыты, модель доступна только через API компании.
Источники: Анонс предварительной версии Step-2 (Tencent Cloud), Как StepFun обучала Step-2 (Leiphone)
Новости о модели
- 01
- 02
- 03
- 04
- 05
- 06
Данные: models.dev (MIT).