LongCat Flash Chat

LongCat-Flash-Chat — это крупномасштабная модель Mixture-of-Experts (MoE) с общим числом параметров 560 миллиардов, из которых 18,6–31,3 миллиарда (в среднем около 27 миллиардов) динамически активируются для каждого входного сигнала. Она вводит дизайн MoE с подключением через сокращенные пути, чтобы уменьшить накладные расходы на коммуникацию и достичь высокой пропускной способности, сохраняя стабильность обучения с помощью передовых стратегий масштабирования, таких как перенос гиперпараметров, детерминированные вычисления и многоэтапная оптимизация.

Этот выпуск, LongCat-Flash-Chat, представляет собой базовую модель без способности к мышлению, оптимизированную для разговорных и агентных задач. Она поддерживает длинные контекстные окна до 128 тысяч токенов и демонстрирует конкурентоспособную производительность в области рассуждений, программирования, следования инструкциям и тестов по различным областям, с особой силой в использовании инструментов и сложных многоэтапных взаимодействиях.