Tinker
API для обучения и дообучения открытых языковых моделей от компании Thinking Machines Lab. Пользователь сам пишет алгоритм обучения (с учителем, с подкреплением и др.) и работает со своими данными, а распределённые вычисления на GPU берёт на себя сервис. Дообучение идёт через LoRA — обучается лёгкий адаптер, а не все веса модели; сохранённые контрольные точки можно скачать. Рассчитан на исследователей и разработчиков.
проверено по: thinkingmachines.ai ↗
См. также
- Thinking Machines LabThinking Machines Lab — американский ИИ-стартап, основанный Мирой Мурати, бывшим техническим директором OpenAI; в команду вошли и другие выходцы из OpenAI. Компания делает упор на эффективные методы дообучения моделей и на мультимодальные системы для совместной работы с людьми; её первый продукт Tinker помогает разработчикам дообучать модели.
- LoRALoRA (Low-Rank Adaptation, «низкоранговая адаптация») — способ дообучения больших моделей, при котором исходные веса замораживают, а обучают небольшие добавочные матрицы низкого ранга. Это требует гораздо меньше памяти и вычислений, чем полное дообучение, а готовые адаптеры легко хранить и подменять.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- UnslothСтартап и одноимённая открытая библиотека для быстрого и экономного по памяти дообучения больших языковых моделей, включая LoRA, QLoRA, полное дообучение и обучение с подкреплением. Команда также выпускает на Hugging Face сжатые (квантованные) версии популярных открытых моделей, в том числе в формате GGUF для локального запуска.
В новостях
Thinking Machines выпустила модель Inkling 2 Small и обещает выложить её в открытый доступ
Облачный сервис Thinking Machines для дообучения и запуска моделей: разработчик описывает данные и способ обучения, а работу на видеокартах сервис берёт на себя.