Ling-1T

Ling-1T — это модель языка с открытым весом, содержащая триллион параметров, разработанная компанией inclusionAI и выпущенная под лицензией MIT. Она представляет собой первую флагманскую модель без мышления в серии Ling 2.0, построенную на архитектуре с разреженной активацией, с примерно 50 миллиардами активных параметров на токен. Модель поддерживает до 128 тысяч токенов контекста и делает акцент на эффективном рассуждении с помощью стратегии обучения «Эволюционная цепочка рассуждений (Evo-CoT)».

Предварительно обученная на более чем 20 триллионах токенов, насыщенных рассуждениями, Ling-1T демонстрирует высокие результаты в тестах на генерацию кода, математику и логическое мышление, сохраняя при этом высокую эффективность вывода. Она использует обучение в смешанной точности FP8, маршрутизацию MoE с нормализацией QK и слои MTP для стабильности композиционного рассуждения. Модель также вводит LPO (оптимизацию политики на уровне лингвистических единиц) для выравнивания после обучения, улучшая семантический контроль на уровне предложений.

Ling-1T способна выполнять сложную генерацию текста, многоязычные рассуждения и синтез фронтенд-кода с акцентом на функциональность и эстетику.