Характеристики
Контекстное окно 131K
Дата релиза 08 апреля 2025
Мультимодальность
Входящие данные:
- Текст
Исходящие данные:
- Текст
Цены
Оплата производится по факту за использованные токены.
Цены по провайдерам
RouterAI работает с несколькими провайдерами для обеспечения максимальной доступности и оптимальных цен.
-
1
Nebius
59 ₽Входящие
Умная маршрутизация запросов
Ваши запросы автоматически направляются к провайдеру с самой низкой ценой. Если провайдер недоступен, система мгновенно переключается на следующего по цене, обеспечивая непрерывную работу вашего приложения без потери запросов.
- Автоматический выбор
- Отказоустойчивость
- Лучшая цена
Цены по провайдерам
RouterAI работает с несколькими провайдерами для обеспечения максимальной доступности и оптимальных цен.
-
1
Nebius
179 ₽Исходящие
Умная маршрутизация запросов
Ваши запросы автоматически направляются к провайдеру с самой низкой ценой. Если провайдер недоступен, система мгновенно переключается на следующего по цене, обеспечивая непрерывную работу вашего приложения без потери запросов.
- Автоматический выбор
- Отказоустойчивость
- Лучшая цена
Цены указаны в рублях и могут меняться в зависимости от курса валют
Описание модели
Llama-3.1-Nemotron-Ultra-253B-v1 — это крупная языковая модель (LLM), оптимизированная для продвинутого рассуждения, интерактивного общения с человеком, генерации с дополнением извлечением (RAG) и выполнения задач с вызовом инструментов. Происходя из Meta’s Llama-3.1-405B-Instruct, она была значительно модифицирована с использованием поиска нейронной архитектуры (NAS), что привело к повышенной эффективности, снижению использования памяти и улучшению задержки вывода. Модель поддерживает длину контекста до 128K токенов и может эффективно работать на узле с 8x NVIDIA H100.
Примечание: вы должны включить detailed thinking on в системную подсказку, чтобы включить рассуждение. Пожалуйста, ознакомьтесь с Рекомендациями по использованию для получения дополнительной информации.
API и примеры кода
Наш сервис предоставляет единый API, совместимый с OpenAI SDK. Просто укажите наш base_url и используйте ключ, полученный в личном кабинете.
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://routerai.ru/api/v1"
)
response = client.chat.completions.create(
model="nvidia/llama-3.1-nemotron-ultra-253b-v1",
messages=[
{"role": "user", "content": "Hello, how are you?"}
]
)
print(response.choices[0].message.content)
import requests
import json
url = "https://routerai.ru/api/v1/chat/completions"
headers = {
"Authorization": "Bearer YOUR_API_KEY",
"Content-Type": "application/json"
}
data = {
"model": "nvidia/llama-3.1-nemotron-ultra-253b-v1",
"messages": [
{"role": "user", "content": "Hello, how are you?"}
]
}
response = requests.post(url, headers=headers, json=data)
result = response.json()
print(json.dumps(result, indent=2))
curl -X POST "https://routerai.ru/api/v1/chat/completions" \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "nvidia/llama-3.1-nemotron-ultra-253b-v1",
"messages": [
{"role": "user", "content": "Hello, how are you?"}
]
}'