Mistral Large 4: 1,05 трлн параметров и только 49 млрд активных
Mistral Large 4 получила 1,05 трлн параметров, но при обработке токена активны 49 млрд. Что даёт MoE, контекст на 1 млн токенов и кому модель полезна.
Подборка
2 материал(ов) по теме «open-weight».
Mistral Large 4 получила 1,05 трлн параметров, но при обработке токена активны 49 млрд. Что даёт MoE, контекст на 1 млн токенов и кому модель полезна.
Aleph Alpha выпустила Kolibri — немецко-английскую open-weight модель с 78 млрд параметров. Разбираем ставку на суверенный ИИ и локальный запуск.