# Computer Use (управление компьютером моделью): что это и как работает

> **Computer Use** (управление компьютером моделью) — это режим работы ИИ-модели, в котором она смотрит на скриншоты экрана и сама выдаёт действия мышью и клавиатурой: клик в точку, ввод текста, нажатие клавиши. Модель не читает код страницы и не вызывает API программы: у неё есть только картинка экрана, как у человека за монитором.

Благодаря этому одна модель может работать в любом интерфейсе: в браузере, офисной программе или внутренней CRM без API. Платить за это приходится скоростью и надёжностью: каждый шаг — отдельный запрос с картинкой.

## Как это работает {#kak-rabotaet}

Цикл повторяется, пока задача не решена или не исчерпан лимит шагов:

1. **Задача.** Ваше приложение отправляет модели цель, описание доступных действий и первый скриншот.
2. **Действие.** Модель отвечает действием (клик по координатам, ввод текста, прокрутка, горячая клавиша) или просит новый скриншот.
3. **Исполнение.** Действие выполняет не модель, а ваш код — в виртуальной машине или контейнере. В документации Anthropic и Google прямо сказано, что среду исполнения вы реализуете на своей стороне.
4. **Новый скриншот.** Снимок экрана после действия возвращается модели как результат вызова, и цикл идёт заново.

У Anthropic весь набор действий подключается одной записью `{"type": "computer_toolset_20260801"}` в `tools`: в него входят `screenshot`, `left_click`, `type`, `zoom` и другие. Модель может прислать несколько действий подряд (batch), а скриншот возвращается в `tool_result` как base64-картинка.

## Чем отличается от tool calling и Playwright {#otlichiya}

По механике Computer Use — это тот же [вызов инструментов](/pages/tool-calling-api): действие оформляется как вызов, результат возвращается модели. Разница в том, что «инструментом» становится весь экран.

| Подход | Что видит модель | Как действует | Когда уместен |
|---|---|---|---|
| [Function calling](/pages/function-calling) | Описание функций в JSON | Вызывает ваши функции с аргументами | У системы есть API |
| Browser-автоматизация (Playwright) | Скрипт сам работает с DOM и селекторами | Детерминированный сценарий без модели | Интерфейс стабилен, шаги известны заранее |
| Computer Use | Пиксели скриншота | Клики и ввод по координатам | Нет API, интерфейс меняется, шаги заранее неизвестны |

Если API есть, надёжнее функции. Если задача целиком внутри веб-страниц, Anthropic в документации называет более подходящим отдельный browser use tool: он читает страницу, а не пиксели, и не требует полноценного рабочего стола.

## Примеры {#primery}

- **Заполнение форм.** Перенос данных из письма или таблицы в систему, у которой нет API.
- **QA.** Прохождение пользовательских сценариев в интерфейсе и проверка того, что экран выглядит как задумано.
- **RPA.** Записанный сценарий ломается при смене кнопки, а агент с Computer Use может найти её на новом месте. OpenAI описывает GPT-6.1 Terra как модель для работы с экранами приложений, формами, таблицами и техническими чертежами.

Проверим механику на экране каталога RouterAI. Мы отправили скриншот 1280×800 модели `openai/gpt-6.1-terra` и попросили найти выпадающий список «Сортировка».

![Каталог моделей RouterAI в окне 1280×800: поле «Найти модель...» и выпадающий список «Сортировка» в строке фильтров](https://b51bc417-3ee0-451a-a83b-8a681d027a96.selstorage.ru/public/fc1b196443bb26d84ba4bedf6d700968.png)

Модель вернула `{"action":"click","x":1174,"y":284}`. Клик по этой точке раскрыл список.

![Тот же экран после клика в точку (1174, 284): раскрыт список «Сортировка»](https://b51bc417-3ee0-451a-a83b-8a681d027a96.selstorage.ru/public/63bf33ebc1bd0193c9bca22a9f203d70.png)

Это один шаг, а не полноценный агент: цикл, лимиты и проверку результата в боевой системе пишете вы.

## Риски {#riski}

- **Prompt injection через экран.** Текст на странице, в письме или на картинке может содержать команды. Anthropic предупреждает, что инструкции на веб-страницах и в изображениях способны перебить ваши. Подробнее — в статье про [prompt injection](/pages/prompt-injection).
- **Права.** Агент действует от имени учётной записи, под которой запущена среда. Не давайте ему доступ к паролям, платёжным и другим чувствительным данным.
- **Изоляция.** Запускайте отдельную виртуальную машину или контейнер с минимальными привилегиями и ограничьте выход в сеть списком разрешённых доменов.
- **Подтверждение человеком.** Платежи, согласия с условиями, отправку сообщений лучше пропускать через ручное подтверждение.
- **Стоимость шага.** Каждый скриншот занимает контекст и тратит токены, поэтому нужны лимиты на число шагов, время и бюджет.

## Метрики {#metriki}

Главный бенчмарк — OSWorld: агент решает задачи в настоящей операционной системе на виртуальной машине. Актуальная версия — OSWorld 2.1: те же 108 длинных задач, что в OSWorld 2.0, но с исправленными файлами, сайтами и проверками. Есть partial score (средняя доля выполненных контрольных точек) и binary (выполнены все точки).

На 29 октября 2026 года агрегатор BenchLM, собирающий самоотчёты вендоров, показывает по partial score: Claude Opus 5.5 — 81,8%, Claude Fable 5.1 — 80,7%, Claude Sonnet 5.5 — 80,1%. Эти цифры зависят от настроек запуска (усилия рассуждения, число шагов) и быстро меняются. Для своей задачи надёжнее собрать набор из 20–30 сценариев и прогнать его на нескольких моделях. Кроме OSWorld, в описаниях моделей встречаются WebVoyager, AndroidWorld и ScreenSpot.

## Какие модели RouterAI это умеют {#modeli}

Модель должна принимать изображения и отвечать структурированными действиями. В [каталоге](/models) такие модели отбираются фильтром «Входные данные → Изображения». Примеры моделей, для которых вендор или описание в каталоге заявляет работу с интерфейсами:

| Модель | Что заявлено | Цена за 1M токенов, вход / выход, ₽ |
|---|---|---|
| `openai/gpt-6.1-terra` | OpenAI: визуальные рассуждения и precise computer use | 105 / 524 |
| `anthropic/claude-sonnet-5.5` | Anthropic: поддержка computer use; 80,1% в OSWorld 2.1 по самоотчёту | 209 / 1047 |
| `anthropic/claude-haiku-5.5` | Каталог: улучшенное использование компьютера и браузера, быстрая и дешёвая | 10,5 / 52,4 |
| `google/gemini-3.8-flash` | Google указывает Computer Use среди инструментов Gemini API | 78,5 / 392,7 |
| `minimax/minimax-m3.1-flash` | MiniMax: агентная модель для кода, computer use и автоматизации | 5,2 / 20,9 |
| `bytedance/ui-tars-1.5-7b` | Каталог: GUI-агент, результаты на OSWorld, WebVoyager, AndroidWorld, ScreenSpot; параметра `tools` в каталоге нет, действия разбирайте из текста ответа | 10,5 / 20,9 |

Цены даны по каталогу на 1 ноября 2026 года, актуальные значения смотрите на странице [моделей](/models).

## Как передать скриншот через API {#izobrazheniya}

RouterAI принимает изображения в `/api/v1/chat/completions` через элемент `image_url`: это публичный URL или data URL с base64. Скриншот локальный, поэтому подходит base64. По рекомендации документации сначала идёт текст, затем изображения. Подробности — в разделе про [изображения](/docs/guides/overview/multimodal/images).

```python
import base64
from openai import OpenAI

client = OpenAI(
    base_url="https://routerai.ru/api/v1",
    api_key="sk-xxxxxxxxxxxxxxxx",
)

with open("screen.png", "rb") as f:
    screen = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="openai/gpt-6.1-terra",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": 'Экран 1280x800. Найди список «Сортировка» и верни JSON {"action": "click", "x": 0, "y": 0} с центром элемента.'},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{screen}"}},
        ],
    }],
)
print(resp.choices[0].message.content)
```

Нативные computer-инструменты вендоров (у Anthropic — `computer_toolset_20260801`) описаны в их документации; работу конкретного инструмента через шлюз проверьте тестовым запросом. Универсальный путь, показанный выше, — картинка в `image_url` и действия в JSON, которые исполняет ваш код. Работа из России без VPN и оплата в рублях сохраняются для всех моделей каталога.

## Связанные термины {#svyazannye-terminy}

- [Tool Calling API](/pages/tool-calling-api) — механизм, через который модель вызывает действия
- [Function Calling](/pages/function-calling) — вызов ваших функций вместо кликов
- [AI Agent](/pages/ai-agent) — что делает систему агентом
- [Multimodal AI](/pages/multimodal-ai) — модели, принимающие изображения
- [Prompt Injection](/pages/prompt-injection) — главный риск при чтении экрана
- [Agent Harness](/pages/agent-harness) — обвязка, в которой живёт цикл «скриншот → действие»

## Что почитать {#chto-pochitat}

- [Computer use tool — документация Anthropic](https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool)
- [Computer use — документация Gemini API](https://ai.google.dev/gemini-api/docs/computer-use)
- [GPT-6.1 Terra — страница модели OpenAI](https://developers.openai.com/api/docs/models/gpt-6.1-terra)
- [OSWorld 2.0 / 2.1 — репозиторий XLANG Lab](https://github.com/xlang-ai/OSWorld-V2)
- [OSWorld 2.1 — таблица результатов BenchLM](https://benchlm.ai/benchmarks/osworld-2-1)