Llama 3.1 Nemotron Ultra 253B v1

Llama-3.1-Nemotron-Ultra-253B-v1 — это крупная языковая модель (LLM), оптимизированная для продвинутого рассуждения, интерактивного общения с человеком, генерации с дополнением извлечением (RAG) и выполнения задач с вызовом инструментов. Происходя из Meta’s Llama-3.1-405B-Instruct, она была значительно модифицирована с использованием поиска нейронной архитектуры (NAS), что привело к повышенной эффективности, снижению использования памяти и улучшению задержки вывода. Модель поддерживает длину контекста до 128K токенов и может эффективно работать на узле с 8x NVIDIA H100.

Примечание: вы должны включить detailed thinking on в системную подсказку, чтобы включить рассуждение. Пожалуйста, ознакомьтесь с Рекомендациями по использованию для получения дополнительной информации.