Загрузка...

Mistral: Mixtral 8x22B Instruct

Идентификатор:
Скопировано!
Чат

Характеристики

Контекстное окно 66K

Дата релиза 17 апреля 2024

Мультимодальность

Входящие данные:

  • Текст
  • Файл

Исходящие данные:

  • Текст

Цены

Оплата производится по факту за использованные токены.

Тип
Стоимость
Входящие токены
Токены, полученные и обработанные моделью при анализе пользовательского запроса и контекста. Включают текст сообщения, предыдущую историю диалога и все передаваемые данные.
197 ₽ / 1M токенов

Цены по провайдерам

RouterAI работает с несколькими провайдерами для обеспечения максимальной доступности и оптимальных цен.

  • 1
    Mistral

    197 ₽
    Входящие

Умная маршрутизация запросов

Ваши запросы автоматически направляются к провайдеру с самой низкой ценой. Если провайдер недоступен, система мгновенно переключается на следующего по цене, обеспечивая непрерывную работу вашего приложения без потери запросов.

  • Автоматический выбор
  • Отказоустойчивость
  • Лучшая цена
Исходящие токены
Токены, генерируемые моделью в виде ответа пользователю. Каждый символ, слово или часть ответа, созданные моделью, включаются в подсчёт выходных токенов.
592 ₽ / 1M токенов

Цены по провайдерам

RouterAI работает с несколькими провайдерами для обеспечения максимальной доступности и оптимальных цен.

  • 1
    Mistral

    592 ₽
    Исходящие

Умная маршрутизация запросов

Ваши запросы автоматически направляются к провайдеру с самой низкой ценой. Если провайдер недоступен, система мгновенно переключается на следующего по цене, обеспечивая непрерывную работу вашего приложения без потери запросов.

  • Автоматический выбор
  • Отказоустойчивость
  • Лучшая цена
Чтение кеша
Повторное использование кэшированного контента снижает затраты благодаря применению пониженного тарифа на эти токены.
19 ₽ / 1M токенов

Цены по провайдерам

RouterAI работает с несколькими провайдерами для обеспечения максимальной доступности и оптимальных цен.

  • 1
    Mistral

    19 ₽
    Чтение кеша

Умная маршрутизация запросов

Ваши запросы автоматически направляются к провайдеру с самой низкой ценой. Если провайдер недоступен, система мгновенно переключается на следующего по цене, обеспечивая непрерывную работу вашего приложения без потери запросов.

  • Автоматический выбор
  • Отказоустойчивость
  • Лучшая цена

Цены указаны в рублях и могут меняться в зависимости от курса валют

Описание модели

Официальная обученная версия Mistral Mixtral 8x22B. Она использует 39 миллиардов активных параметров из 141 миллиарда, предлагая непревзойденную экономическую эффективность для своего размера. Ее сильные стороны включают: - сильные навыки в математике, программировании и рассуждениях - большая длина контекста (64k) - свободное владение английским, французским, итальянским, немецким и испанским языками

Смотрите результаты тестирования в объявлении о запуске здесь.

API и примеры кода

Наш сервис предоставляет единый API, совместимый с OpenAI SDK. Просто укажите наш base_url и используйте ключ, полученный в личном кабинете.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://routerai.ru/api/v1"
)

response = client.chat.completions.create(
    model="mistralai/mixtral-8x22b-instruct",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ]
)

print(response.choices[0].message.content)
import requests
import json

url = "https://routerai.ru/api/v1/chat/completions"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}

data = {
    "model": "mistralai/mixtral-8x22b-instruct",
    "messages": [
        {"role": "user", "content": "Hello, how are you?"}
    ]
}

response = requests.post(url, headers=headers, json=data)
result = response.json()
print(json.dumps(result, indent=2))
curl -X POST "https://routerai.ru/api/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/mixtral-8x22b-instruct",
    "messages": [
      {"role": "user", "content": "Hello, how are you?"}
    ]
  }'

Эндпоинты

Отправляет сообщения модели и получает ответ. Поддерживает потоковый и непотоковый режимы.

POST https://routerai.ru/api/v1/chat/completions
Документация
Authorization
Bearer YOUR_API_KEY
Content-Type
application/json
Model
mistralai/mixtral-8x22b-instruct

Создаёт ответ в формате OpenAI Responses API. Поддерживает потоковый и непотоковый режимы.

POST https://routerai.ru/api/v1/responses
Документация
Authorization
Bearer YOUR_API_KEY
Content-Type
application/json
Model
mistralai/mixtral-8x22b-instruct

Создаёт сообщение в формате Anthropic Messages API. Поддерживает текст, изображения, инструменты и размышления (thinking).

POST https://routerai.ru/api/v1/messages
Документация
Authorization
Bearer YOUR_API_KEY
Content-Type
application/json
Model
mistralai/mixtral-8x22b-instruct

Параметры

Параметр
Тип
По умолчанию
Описание
max_tokens
integer
Верхний предел количества токенов, которые модель может сгенерировать в ответе.
temperature
float
1
Влияет на разнообразие ответов модели: чем выше, тем более случайным будет вывод.
top_p
float
1
Ограничивает выбор модели долей наиболее вероятных токенов: учитываются только токены, чьи вероятности в сумме дают P.
seed
integer
Если задан, инференс выполняется детерминированно — повторные запросы с тем же seed и параметрами должны давать одинаковый результат.
response_format
map
Заставляет модель выдавать ответ в определённом формате.
stop
array
Немедленно останавливает генерацию, если модель встречает любой из токенов, указанных в массиве stop.
frequency_penalty
float
0
Управляет повторением токенов в зависимости от того, как часто они встречаются во входных данных.
presence_penalty
float
0
Регулирует, насколько часто модель повторяет токены, уже встречавшиеся во входных данных.
structured_outputs
boolean
Поддержка ответа по строгой JSON-схеме.
tool_choice
map
Управляет тем, какую функцию (инструмент) вызовет модель, если они переданы.
tools
array
Список инструментов (функций), которые модель может вызвать.