ERNIE 4.5 VL 424B A47B

ERNIE-4.5-VL-424B-A47B — это мультимодальная модель типа Mixture-of-Experts (MoE) из серии ERNIE 4.5 от Baidu, имеющая 424 миллиарда общих параметров с 47 миллиардами активных на каждый токен. Она обучена совместно на текстовых и изображенческих данных с использованием гетерогенной архитектуры MoE и маршрутизации, изолированной по модальностям, что позволяет осуществлять высокоточное кросс-модальное рассуждение, понимание изображений и генерацию длинных контекстов (до 131 тысячи токенов). Модель дообучена с использованием таких техник, как SFT, DPO, UPO и RLVR, и поддерживает как режимы вывода с “мышлением”, так и без него. Разработанная для задач, связанных с взаимодействием зрения и языка на английском и китайском языках, она оптимизирована для эффективного масштабирования и может работать при квантовании в 4 бита/8 бит.