Яндекс выложил языковую модель на 80 млрд параметров, обученную с нуля
Яндекс выложил заготовку языковой модели на 80 млрд параметров для дообучения; по замерам компании, факты на русском она знает лучше более крупных открытых моделей.
компания · 2 новости за 60 дней
Крупнейшая технологическая компания России. Разрабатывает модели и ассистента Алиса AI.
Яндекс выложил заготовку языковой модели на 80 млрд параметров для дообучения; по замерам компании, факты на русском она знает лучше более крупных открытых моделей.
Открытая модель Яндекса устроена как энкодер-декодер, на каждый токен задействует 0,6 из 35 млрд параметров и, по тестам компании, сильна в фактах, но слабее в математике.