ERNIE 4.5 21B A3B

Современная текстовая модель Mixture-of-Experts (MoE) с 21 миллиардом параметров, из которых 3 миллиарда активируются на каждый токен, обеспечивает исключительное мультимодальное понимание и генерацию благодаря гетерогенным структурам MoE и маршрутизации, изолированной по модальностям. Поддерживая обширную длину контекста в 131 тысячу токенов, модель достигает эффективного вывода через параллельное сотрудничество множества экспертов и квантизацию, в то время как передовые методы пост-тренировки, включая SFT, DPO и UPO, обеспечивают оптимизированную производительность в различных приложениях с использованием специализированной маршрутизации и балансировки потерь для превосходной обработки задач.