Mistral выпустила Le Chonk — открытую модель на 1,05 трлн параметров

Le Chonk — мультимодальная MoE-модель на 1,05 трлн параметров, из которых при одном проходе активны 49 млрд. В модели также есть vision-энкодер на 1,6 млрд параметров. Модель уже доступна в public preview через API…

Источник: Хабр