Веса модели
Числовые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
проверено по: routerai.ru ↗
См. также
- Открытые весаСпособ выпуска ИИ-модели, при котором её обученные параметры (веса) выкладывают в свободный доступ (open weights). Запускать, сжимать и дообучать такую модель могут не только её авторы. Небольшие модели работают на обычном компьютере, а большим нужны серверы с дорогими видеокартами: их разворачивают компании и облачные сервисы, и большинство пользуется моделью через них. В отличие от полностью открытой модели (open source), данные и код обучения при этом могут оставаться закрытыми, поэтому воспроизвести модель с нуля нельзя.
- Параметр моделиЧисло внутри модели машинного обучения, которое подбирается во время обучения на данных. У нейросети это веса связей между нейронами и смещения. Количество параметров показывает размер модели и во многом определяет её возможности и стоимость обучения и работы. Гиперпараметры (скорость обучения, число слоёв) отличаются тем, что их задают до обучения, а не подбирают в его ходе.
- ЧекпоинтСохранённое состояние модели в какой-то момент обучения: веса и обычно состояние оптимизатора (checkpoint). С чекпоинта можно продолжить прерванное обучение, выбрать лучшую версию модели или изучить, как она менялась по ходу обучения.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- ИИ с открытым исходным кодомИИ с открытым исходным кодом (open source AI) — системы ИИ, которые можно свободно использовать, изучать, изменять и распространять. По определению организации Open Source Initiative, для этого нужно открыть код обучения и запуска, веса модели и достаточно подробные сведения об обучающих данных. Модели, у которых открыты только веса (open weights), можно скачать и дообучить, но строго говоря открытым исходным кодом они не считаются, хотя в обиходе их часто так называют.
- GGUFGGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
В новостях
Сотрудники OpenAI годами предупреждали о слабой защите, пишет Reuters
Числа внутри нейросети, которые она получает при обучении и которые определяют, как модель отвечает. Кто владеет весами, тот может запустить модель или дообучить её.
ИИ-агенты Cathedral в поиске уязвимостей проникли в системы Anthropic, пишет The Washington Post
Числа внутри нейросети, которые она выучила при обучении. По сути это и есть сама модель, поэтому лаборатории особенно берегут их от утечек.
DeepSeek и MiniMax первыми получили допуск на экспорт ИИ, пишет Reuters
Числа, которые модель выучила при обучении, — по сути сама модель. У кого есть веса, тот может сам запускать модель и дообучать её.
Минюст США обвинил инженера OpenAI в прослушке переговорной руководителей
Числа, которые модель выучила при обучении и которые определяют её ответы; у закрытых моделей компании держат их в секрете как главный актив.
Исследователи спрятали в модели способность, которую не выявляют проверки
Числа внутри нейросети, которые задают, как она превращает входные данные в ответ. Их подбирают при обучении, и именно их публикуют, когда выкладывают модель.
Mistral открыла в Мюнхене центр ИИ для немецкой промышленности
Числа внутри нейросети, которые она выучила при обучении; в них заключено всё, что модель умеет. Получив веса, компания может запускать модель на своём оборудовании и дообучать её.
Hugging Face попросила ИИ-агентов не взламывать сайт, а идти в CyberGym
Числовые параметры обученной нейросети. Выложить веса — значит дать любому скачать модель и запускать её у себя.