Mistral Large 4: 1,05 трлн параметров и только 49 млрд активных
Mistral Large 4 получила 1,05 трлн параметров, но при обработке токена активны 49 млрд. Что даёт MoE, контекст на 1 млн токенов и кому модель полезна.
Подборка
Статьи
1 материал(ов) по теме «mistral».