Eigen AI
Американский стартап, основанный выпускниками лаборатории HAN Lab Массачусетского технологического института. Компания ускоряет работу открытых языковых моделей на видеокартах: применяет квантизацию после обучения, оптимизирует KV-кэш, пишет собственные ядра CUDA и использует спекулятивное декодирование. Её купила Nebius, и разработки стартапа встраиваются в платформу Nebius Token Factory.
проверено по: techzine.eu ↗
См. также
- NebiusНидерландская компания со штаб-квартирой в Амстердаме, которая предоставляет облачную инфраструктуру для ИИ: арендуемые мощности GPU и сервисы для обучения, дообучения и запуска моделей. Появилась в 2024 году из бывшей Yandex N.V. после продажи её российских активов; акции торгуются на бирже Nasdaq.
- Nebius Token FactoryУправляемая платформа Nebius для инференса открытых и собственных моделей клиента: компания размещает модели и сама масштабирует их, а разработчики обращаются к ним через API, совместимый с API OpenAI. Помимо запуска моделей, на платформе можно дообучать их, в том числе методом LoRA. Это новая версия сервиса Nebius AI Studio; по назначению похожа на Amazon Bedrock и Azure OpenAI, но рассчитана на модели с открытыми весами.
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- Спекулятивное декодированиеПриём ускорения генерации текста языковой моделью (speculative decoding): черновая быстрая модель или дополнительные «головы» предлагают сразу несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшую часть. Выигрыш в скорости достигается без ухудшения качества ответа.
- KV-кэшKV-кэш (key-value cache) — буфер, в котором трансформерная модель хранит вычисленные для уже обработанных токенов векторы «ключей» и «значений» механизма внимания, чтобы не пересчитывать их при генерации каждого следующего токена. Его размер растёт вместе с длиной контекста, поэтому на длинных диалогах и в работе агентов он занимает основную часть памяти ускорителя и во многом определяет стоимость и скорость обработки запроса.
- CUDAПлатформа параллельных вычислений и модель программирования от NVIDIA. С ней разработчики пишут программы для графических процессоров NVIDIA на C, C++ и других языках. На CUDA опирается большая часть софта для машинного обучения, поэтому её часто называют главным конкурентным преимуществом NVIDIA перед другими производителями чипов.
В новостях
Nebius купила стартап Inferize, который ускоряет запуск ИИ-моделей
Американский стартап, который разрабатывал способы ускорить работу языковых моделей на видеокартах; вошёл в состав Nebius.