ERNIE 4.5 300B A47B

ERNIE-4.5-300B-A47B — это языковая модель с параметрами 300B типа Mixture-of-Experts (MoE), разработанная компанией Baidu в рамках серии ERNIE 4.5. Она активирует 47B параметров на каждый токен и поддерживает генерацию текста как на английском, так и на китайском языках. Оптимизированная для высокопроизводительного вывода и эффективного масштабирования, она использует гетерогенную структуру MoE с передовыми стратегиями маршрутизации и квантизации, включая форматы FP8 и 2-бит. Эта версия специально настроена для задач, связанных исключительно с языком, и поддерживает рассуждения, параметры инструментов и увеличенные длины контекста до 131k токенов. Подходит для универсальных приложений LLM с высокими требованиями к рассуждению и пропускной способности.