Olmo 3
Семейство языковых моделей некоммерческого института Ai2. Большинство «открытых» моделей публикуют только с весами, а у Olmo 3 открыт весь путь создания: данные, код обучения и промежуточные версии модели с каждого этапа. Поэтому исследователи могут воспроизвести обучение и проследить, откуда у модели берётся то или иное поведение.
проверено по: allenai.org ↗
См. также
- Ai2Ai2 (Allen Institute for AI) — некоммерческий исследовательский институт в Сиэтле, основанный Полом Алленом. Известен подходом «полностью открытых» моделей, когда вместе с весами публикуются обучающие данные, код и методика обучения (например, семейство Olmo).
- Открытые весаСпособ выпуска ИИ-модели, при котором её обученные параметры (веса) выкладывают в свободный доступ (open weights). Запускать, сжимать и дообучать такую модель могут не только её авторы. Небольшие модели работают на обычном компьютере, а большим нужны серверы с дорогими видеокартами: их разворачивают компании и облачные сервисы, и большинство пользуется моделью через них. В отличие от полностью открытой модели (open source), данные и код обучения при этом могут оставаться закрытыми, поэтому воспроизвести модель с нуля нельзя.
- ИИ с открытым исходным кодомИИ с открытым исходным кодом (open source AI) — системы ИИ, которые можно свободно использовать, изучать, изменять и распространять. По определению организации Open Source Initiative, для этого нужно открыть код обучения и запуска, веса модели и достаточно подробные сведения об обучающих данных. Модели, у которых открыты только веса (open weights), можно скачать и дообучить, но строго говоря открытым исходным кодом они не считаются, хотя в обиходе их часто так называют.
- ЧекпоинтСохранённое состояние модели в какой-то момент обучения: веса и обычно состояние оптимизатора (checkpoint). С чекпоинта можно продолжить прерванное обучение, выбрать лучшую версию модели или изучить, как она менялась по ходу обучения.
В новостях
Тест Ai2 показал перекос моделей ИИ в пользу кандидатов из меньшинств
Третье поколение открытых языковых моделей Ai2. Вместе с весами институт публикует обучающие данные и код.
Игра Steering Arena показала: Olmo 3 «добреет» от бессмыслицы, а не от добрых слов
Семейство языковых моделей Ai2. В отличие от большинства «открытых» моделей, у него публикуют не только веса, но и данные обучения и все этапы дообучения, поэтому исследователь может выяснить, откуда в модели взялось то или иное поведение.