Thinking Machines Lab
Thinking Machines Lab — американский ИИ-стартап, основанный Мирой Мурати, бывшим техническим директором OpenAI; в команду вошли и другие выходцы из OpenAI. Компания делает упор на эффективные методы дообучения моделей и на мультимодальные системы для совместной работы с людьми; её первый продукт Tinker помогает разработчикам дообучать модели.
проверено по: en.wikipedia.org ↗
См. также
- TinkerAPI для обучения и дообучения открытых языковых моделей от компании Thinking Machines Lab. Пользователь сам пишет алгоритм обучения (с учителем, с подкреплением и др.) и работает со своими данными, а распределённые вычисления на GPU берёт на себя сервис. Дообучение идёт через LoRA — обучается лёгкий адаптер, а не все веса модели; сохранённые контрольные точки можно скачать. Рассчитан на исследователей и разработчиков.
- LoRALoRA (Low-Rank Adaptation, «низкоранговая адаптация») — способ дообучения больших моделей, при котором исходные веса замораживают, а обучают небольшие добавочные матрицы низкого ранга. Это требует гораздо меньше памяти и вычислений, чем полное дообучение, а готовые адаптеры легко хранить и подменять.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
В новостях
Натан Ламберт рассказал конгрессменам о лидерстве Китая в открытых моделях
Американский ИИ-стартап, который основала бывший технический директор OpenAI Мира Мурати; выпускает открытые модели Inkling и сервис Tinker для дообучения моделей.