DeepSeek V3.1 Base

Это базовая модель, обученная только для предсказания следующего токена. В отличие от инструкционных/чат-моделей, она не была дообучена для выполнения пользовательских инструкций. Подсказки должны быть написаны больше как обучающий текст или примеры, а не простые запросы (например, «Переведите следующее предложение…» вместо просто «Переведите это»).

DeepSeek-V3.1 Base — это открытая языковая модель с архитектурой Mixture-of-Experts (MoE) с 671 миллиардами параметров и 37 миллиардами активных параметров на каждый проход вперёд, с длиной контекста 128 тысяч токенов. Обученная на 14,8 триллиона токенов с использованием смешанной точности FP8, она достигает высокой эффективности и стабильности обучения, демонстрируя высокие результаты в задачах, связанных с языком, рассуждениями, математикой и программированием.