Llama 3.3 Nemotron Super 49B V1.5

Llama-3.3-Nemotron-Super-49B-v1.5 — это модель с 49 миллиардами параметров, ориентированная на английский язык, предназначенная для рассуждений и общения, созданная на основе Meta’s Llama-3.3-70B-Instruct с контекстом в 128K. Она дополнительно обучена для агентных рабочих процессов (RAG, вызов инструментов) через SFT в областях математики, программирования, науки и многократного общения, с последующими несколькими этапами RL; Оптимизация предпочтений с учетом вознаграждения (RPO) для согласования, RL с проверяемыми вознаграждениями (RLVR) для пошагового рассуждения и итеративное DPO для уточнения поведения при использовании инструментов. Поиск нейронной архитектуры, основанный на дистилляции («Puzzle»), заменяет некоторые блоки внимания и изменяет ширину FFN, чтобы уменьшить объем памяти и повысить производительность, что позволяет использовать модель на одном GPU (H100/H200), сохраняя качество следования инструкциям и CoT.

Во внутренних оценках (NeMo-Skills, до 16 запусков, temp = 0.6, top_p = 0.95) модель демонстрирует сильные результаты в рассуждениях и программировании, например, MATH500 pass@1 = 97.4, AIME-2024 = 87.5, AIME-2025 = 82.71, GPQA = 71.97, LiveCodeBench (24.10–25.02) = 73.58 и MMLU-Pro (CoT) = 79.53. Модель ориентирована на практическую эффективность вывода (высокое количество токенов в секунду, уменьшенное использование VRAM) с поддержкой Transformers/vLLM и явными режимами «включения/выключения рассуждений» (по умолчанию сначала чат, рекомендуется жадный режим при отключении). Подходит для создания агентов, ассистентов и систем извлечения с длинным контекстом, где важны сбалансированная точность и стоимость, а также надежное использование инструментов.