ИИтак
Поиск

← Назад

словарь

Токен

Токен — минимальная единица текста, которой оперирует языковая модель: обычно это часть слова, целое слово или знак препинания. В токенах измеряют длину контекста и скорость генерации (токенов в секунду), а также тарифицируют работу коммерческих моделей.

проверено по: help.openai.com ↗

См. также

В новостях

  1. Baidu выложила модель ERNIE 5.5 Flash для дообучения, но не для ЕС, Британии и Южной Кореи

    Фрагмент текста — слово, часть слова или знак, — которыми модель читает и пишет текст. В токенах измеряют объём обучающих данных и длину текста, который модель принимает за раз.

  2. Видеомодель ByteDance получает половину выручки за рубежом, пишет 36Kr

    Единица, на которые модель разбивает данные при работе. По числу токенов считают объём работы модели и плату за него.

  3. OpenAI объединит в ChatGPT вкладки чата и агента Work, начав с теста, пишет TechCrunch

    Кусок текста, на которые модель разбивает ввод и ответ: обычно слово или его часть. В токенах считают стоимость и лимиты работы с моделью.

  4. GPT-6 Astra спроектировала устройство, но без доработок его не выпустить

    Единица, которой считают текст при работе языковой модели: слово обычно занимает от одного до нескольких токенов. По числу токенов измеряют объём работы модели и её стоимость.

  5. Передовые модели сбиваются на длинных цепочках изменений, показал тест Ai2

    Единица текста, которой оперирует языковая модель: слово или его часть. В токенах считают длину запроса и ответа.

  6. Qwen3.8 на ноутбуке Уиллисона определила по числовым параметрам, во что играют нейросети

    Единица текста, которой считают работу языковой модели: обычно слово или его часть.

  7. OpenAI подключает агентов Dots к GPT-6.1 Terra, чтобы открыть их большему числу людей

    Кусочек текста, на которые модель разбивает ввод и вывод: слово или его часть. По числу токенов обычно считают оплату за работу модели через API.

  8. Передовые модели провалили большинство задач, где важна скорость реакции

    Кусочек текста, с которым работает языковая модель: слово или его часть. По числу токенов считают длину ответа и стоимость работы модели.

  9. Президент Cisco доверил 27-летнему инженеру переписать с ИИ старый код, пишет Fortune

    Кусочек текста — слово или часть слова, — которым языковая модель читает и пишет. Работу моделей обычно оплачивают по числу обработанных токенов.

  10. Яндекс отозвал прогноз на 2026 год после атак беспилотников на дата-центры

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. По числу токенов на входе и выходе считают нагрузку на модель и плату за её использование.

  11. Unsloth сжала открытую модель MiniMax M3.1 Flash до 144 ГБ

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. Ответ модель пишет, выбирая токен за токеном.

  12. IBM наладила полноценную поддержку своего ИИ-ускорителя Spyre в PyTorch

    Кусочек текста — слово, часть слова или знак, — которыми модель читает и пишет текст. В токенах считают длину запроса, скорость работы и цену.

  13. Hugging Face выпустила Carbon-X — открытую модель, которая объясняет ДНК

    Единица, на которую модель разбивает текст или другие данные: слово, часть слова или знак. В токенах считают объём обучения, длину запроса и цену работы модели.

  14. Fireworks AI обсуждает оценку до 40 млрд долларов, пишет Business Insider

    Единица текста, с которой работает языковая модель: обычно часть слова или короткое слово. По числу токенов считают объём работы модели и её стоимость.

  15. По отчёту DeepSeek её маржу на запросах к моделям оценили примерно в 80%

    Кусочек текста, которыми языковая модель читает и пишет: слово, часть слова или знак препинания. В токенах считают объём работы модели и цену запросов к ней.

  16. Google обработала 25 трлн токенов за 72 часа после выхода Gemini 4 Argon

    Токен — единица текста, с которой работает языковая модель: часть слова, слово или знак. В токенах считают объём обработанных данных и цену запросов к модели.

  17. OpenAI добавила в API кэш промптов на 12 часов для агентов

    Фрагмент текста — слово или его часть: модель читает и пишет текст токенами. По их числу считают объём запроса и его цену.

  18. DeepSeek открыла код DeepInfer — движка, на котором работают её модели

    Кусочек текста — слово, часть слова или знак, — которыми языковая модель читает и пишет текст. По числу токенов считают длину запроса и ответа и цену работы модели.

  19. Anthropic, Google и OpenAI готовят новые модели, пишет The Information

    Кусочек текста, с которым работает языковая модель: слово, часть слова или знак. По числу токенов считают объём запроса и ответа и цену работы модели.

  20. Inception выпустила Mercury 3 — языковую модель на 1 000 токенов в секунду

    Единица текста, с которой работает языковая модель: часть слова, слово или знак. Скорость и цену моделей обычно считают в токенах.

  21. Хакер с помощью ИИ-агентов взломал сайты более 100 компаний, пишет Reuters

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. По числу токенов на входе и выходе считают плату за работу модели.

  22. NVIDIA выложила малую модель, которая ускоряет ответы Nemotron 3.5 Bolt

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. Модель читает и пишет текст токен за токеном.

  23. NVIDIA откроет набор текстов для обучения ИИ на 22 языках Индии

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. В токенах обычно считают объём обучающих данных и цену работы моделей.

  24. Cursor проверял, не ушли ли данные клиентов в SpaceX, пишет The Information

    Кусочек текста — слово, часть слова или знак, — на которые модель разбивает текст. В токенах считают объём обучающих данных и стоимость работы модели.

  25. TIME включил модель Mercury 2 от Inception в лучшие изобретения года

    Кусочек текста, с которым работает языковая модель: слово, часть слова или знак препинания. По числу токенов считают скорость работы модели и цену её использования.

  26. Облачная компания Modal привлекла 750 млн долларов при оценке 15,75 млрд

    Единица текста, с которой работает языковая модель: часть слова, слово или знак. В токенах считают объём текста, который модель читает и выдаёт, и цену её работы.

  27. Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. В токенах обычно считают длину запроса, скорость генерации и цену.

  28. Google открыла доступ к Gemini 4 Argon в приложении, поиске и API

    Единица текста, с которой работает языковая модель: часть слова, слово или знак. В токенах считают длину запроса и ответа, а также цену работы с моделью.

  29. Anthropic на 90–99% сократила сбор рассуждений Claude для чужих моделей

    Единица текста, с которой работает языковая модель, — обычно часть слова. По числу токенов считают объём текста и цену запросов.

  30. Microsoft сделает собственные чипы Maia основными для своих ИИ-сервисов

    Фрагмент текста — слово, часть слова или знак, — которыми языковая модель читает и пишет текст. По числу токенов считают объём работы модели и её стоимость.

  31. Cloudflare выпустила Clef-omni — открытый классификатор для звука и видео

    Единица, на которую модель делит входные данные: кусок слова, фрагмент изображения или звука. По числу токенов считают объём запроса и его цену.

  32. OpenAI запустила для GPT-6.1 Sol режим до восьми раз быстрее обычного

    Кусок текста — слово, часть слова или знак, — которыми языковая модель читает и пишет текст. По числу токенов на входе и выходе считают плату за работу модели.

  33. Уиллисон нашёл у дешёвой Claude Haiku 5.5 скрытую надбавку к цене

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. По числу токенов измеряют длину запроса и считают плату за доступ к модели.

  34. Anthropic выпустила Claude Haiku 5.5 — в среднем на 75% дешевле Haiku 4.5

    Кусочек текста — слово, часть слова или знак, — которыми модель читает и пишет текст. По числу токенов считают объём запроса и ответа и цену работы модели.

  35. ИИ-стартап Inception назначил главой продукта Майкла Джаннанджели из Amazon

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. Модель читает и пишет текст токенами, по ним же обычно считают цену и длину запроса.

  36. Google выпустила EmbeddingGemma 2 — модель для поиска по видео и звуку

    Единица, на которые модель разбивает текст: слово, часть слова или знак. В токенах измеряют объём контекста и цену работы модели.

  37. Cohere рассказала, как научила маленькую модель рассуждать на языке вопроса

    Фрагмент текста — слово, часть слова или знак. Модель читает и пишет текст токенами, в них же считают длину ответа и лимиты.

  38. SemiAnalysis сочла подписки Anthropic впятеро щедрее подписок OpenAI

    Единица текста, с которой работает языковая модель: часть слова, слово или знак. По числу токенов на входе и выходе считают цену работы модели.

  39. Пользователи X нашли на сайте агента для программирования OpenCode страницы пяти невышедших моделей

    Фрагмент текста — слово или его часть, — которыми модель читает и пишет; в токенах считают объём и стоимость её работы.

  40. Cohere выпустила Embed 5 — модели для поиска по документам компаний

    Единица текста, которой оперирует языковая модель: слово, часть слова или знак. В токенах измеряют объём запроса и ответа и считают цену работы модели.

  41. OpenAI ускорила GPT-6 Astra до восьми раз в платном режиме Ultrafast

    Фрагмент текста, с которым работает языковая модель: слово, часть слова или знак. В токенах считают объём текста, скорость ответа и цену работы модели.

  42. Глава OpenRouter связал продажу Stripe с ростом мошенничества

    Единица, на которую модель делит текст: часть слова, слово или знак. В токенах считают объём работы модели, и за них же поставщики берут плату.

  43. OpenAI обновила кэширование запросов в GPT-6 для долгих агентов

    Единица текста, которой модель читает и пишет: слово или его часть. По числу токенов на входе и выходе считается плата за работу модели.

  44. Саймон Уиллисон испытал модель Jev и предупредил о риске предвзятости

    Кусочек текста — слово, часть слова или знак. Языковая модель читает и пишет текст токенами, по их числу считают и цену работы с моделью.

  45. OpenAI дала администраторам компаний средства контроля над GPT-6 Astra

    Фрагмент текста — слово или часть слова, которым модель считает входные и выходные данные. По числу токенов тарифицируется работа через API.

  46. Профессор NYU обвинил OpenAI в перехвате задачи Навье — Стокса. Что ответили в компании

    Единица текста, с которой работает языковая модель: слово, часть слова или знак. По числу токенов считают объём работы модели и её стоимость.