Computer Use (управление компьютером моделью): что это и как работает

Computer Use (управление компьютером моделью) — это режим работы ИИ-модели, в котором она смотрит на скриншоты экрана и сама выдаёт действия мышью и клавиатурой: клик в точку, ввод текста, нажатие клавиши. Модель не читает код страницы и не вызывает API программы: у неё есть только картинка экрана, как у человека за монитором.

Благодаря этому одна модель может работать в любом интерфейсе: в браузере, офисной программе или внутренней CRM без API. Платить за это приходится скоростью и надёжностью: каждый шаг — отдельный запрос с картинкой.

Как это работает

Цикл повторяется, пока задача не решена или не исчерпан лимит шагов:

1. Задача. Ваше приложение отправляет модели цель, описание доступных действий и первый скриншот.
2. Действие. Модель отвечает действием (клик по координатам, ввод текста, прокрутка, горячая клавиша) или просит новый скриншот.
3. Исполнение. Действие выполняет не модель, а ваш код — в виртуальной машине или контейнере. В документации Anthropic и Google прямо сказано, что среду исполнения вы реализуете на своей стороне.
4. Новый скриншот. Снимок экрана после действия возвращается модели как результат вызова, и цикл идёт заново.

У Anthropic весь набор действий подключается одной записью {"type": "computer_toolset_20260801"} в tools: в него входят screenshot, left_click, type, zoom и другие. Модель может прислать несколько действий подряд (batch), а скриншот возвращается в tool_result как base64-картинка.

Чем отличается от tool calling и Playwright

По механике Computer Use — это тот же вызов инструментов: действие оформляется как вызов, результат возвращается модели. Разница в том, что «инструментом» становится весь экран.

Если API есть, надёжнее функции. Если задача целиком внутри веб-страниц, Anthropic в документации называет более подходящим отдельный browser use tool: он читает страницу, а не пиксели, и не требует полноценного рабочего стола.

Примеры

• Заполнение форм. Перенос данных из письма или таблицы в систему, у которой нет API.
• QA. Прохождение пользовательских сценариев в интерфейсе и проверка того, что экран выглядит как задумано.
• RPA. Записанный сценарий ломается при смене кнопки, а агент с Computer Use может найти её на новом месте. OpenAI описывает GPT-6.1 Terra как модель для работы с экранами приложений, формами, таблицами и техническими чертежами.

Проверим механику на экране каталога RouterAI. Мы отправили скриншот 1280×800 модели openai/gpt-6.1-terra и попросили найти выпадающий список «Сортировка».

Модель вернула {"action":"click","x":1174,"y":284}. Клик по этой точке раскрыл список.

Это один шаг, а не полноценный агент: цикл, лимиты и проверку результата в боевой системе пишете вы.

Риски

• Prompt injection через экран. Текст на странице, в письме или на картинке может содержать команды. Anthropic предупреждает, что инструкции на веб-страницах и в изображениях способны перебить ваши. Подробнее — в статье про prompt injection.
• Права. Агент действует от имени учётной записи, под которой запущена среда. Не давайте ему доступ к паролям, платёжным и другим чувствительным данным.
• Изоляция. Запускайте отдельную виртуальную машину или контейнер с минимальными привилегиями и ограничьте выход в сеть списком разрешённых доменов.
• Подтверждение человеком. Платежи, согласия с условиями, отправку сообщений лучше пропускать через ручное подтверждение.
• Стоимость шага. Каждый скриншот занимает контекст и тратит токены, поэтому нужны лимиты на число шагов, время и бюджет.

Метрики

Главный бенчмарк — OSWorld: агент решает задачи в настоящей операционной системе на виртуальной машине. Актуальная версия — OSWorld 2.1: те же 108 длинных задач, что в OSWorld 2.0, но с исправленными файлами, сайтами и проверками. Есть partial score (средняя доля выполненных контрольных точек) и binary (выполнены все точки).

На 29 октября 2026 года агрегатор BenchLM, собирающий самоотчёты вендоров, показывает по partial score: Claude Opus 5.5 — 81,8%, Claude Fable 5.1 — 80,7%, Claude Sonnet 5.5 — 80,1%. Эти цифры зависят от настроек запуска (усилия рассуждения, число шагов) и быстро меняются. Для своей задачи надёжнее собрать набор из 20–30 сценариев и прогнать его на нескольких моделях. Кроме OSWorld, в описаниях моделей встречаются WebVoyager, AndroidWorld и ScreenSpot.

Какие модели RouterAI это умеют

Модель должна принимать изображения и отвечать структурированными действиями. В каталоге такие модели отбираются фильтром «Входные данные → Изображения». Примеры моделей, для которых вендор или описание в каталоге заявляет работу с интерфейсами:

Цены даны по каталогу на 1 ноября 2026 года, актуальные значения смотрите на странице моделей.

Как передать скриншот через API

RouterAI принимает изображения в /api/v1/chat/completions через элемент image_url: это публичный URL или data URL с base64. Скриншот локальный, поэтому подходит base64. По рекомендации документации сначала идёт текст, затем изображения. Подробности — в разделе про изображения.

import base64
from openai import OpenAI

client = OpenAI(
    base_url="https://routerai.ru/api/v1",
    api_key="sk-xxxxxxxxxxxxxxxx",
)

with open("screen.png", "rb") as f:
    screen = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="openai/gpt-6.1-terra",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": 'Экран 1280x800. Найди список «Сортировка» и верни JSON {"action": "click", "x": 0, "y": 0} с центром элемента.'},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{screen}"}},
        ],
    }],
)
print(resp.choices[0].message.content)

Нативные computer-инструменты вендоров (у Anthropic — computer_toolset_20260801) описаны в их документации; работу конкретного инструмента через шлюз проверьте тестовым запросом. Универсальный путь, показанный выше, — картинка в image_url и действия в JSON, которые исполняет ваш код. Работа из России без VPN и оплата в рублях сохраняются для всех моделей каталога.

Связанные термины

• Tool Calling API — механизм, через который модель вызывает действия
• Function Calling — вызов ваших функций вместо кликов
• AI Agent — что делает систему агентом
• Multimodal AI — модели, принимающие изображения
• Prompt Injection — главный риск при чтении экрана
• Agent Harness — обвязка, в которой живёт цикл «скриншот → действие»

Что почитать

• Computer use tool — документация Anthropic
• Computer use — документация Gemini API
• GPT-6.1 Terra — страница модели OpenAI
• OSWorld 2.0 / 2.1 — репозиторий XLANG Lab
• OSWorld 2.1 — таблица результатов BenchLM