Input Tokens: как искусственный интеллект читает текст

Input Tokens (Входные токены) — это базовые фрагменты данных (слова, части слов, слоги или отдельные символы), которые пользователь отправляет в искусственный интеллект или большую языковую модель (LLM) для анализа. Это своеобразный «алфавит», через который нейросеть воспринимает наши запросы, команды и загруженные тексты.

Когда мы пишем промпт в ChatGPT, Claude или любую другую текстовую нейросеть, нам кажется, что машина читает предложения так же, как человек — буква за буквой и слово за словом. На самом деле, перед тем как попасть в вычислительный центр нейросети, весь текст проходит обязательный процесс токенизации. Специальный алгоритм разрезает ваш запрос на небольшие кусочки — те самые входные токены.

Как происходит процесс токенизации?

Токенизатор можно сравнить с умной машиной для нарезки текста. В английском языке один токен часто равен одному короткому слову (в среднем это около 4 символов текста). Однако в русском языке или других языках с богатой морфологией одно слово может разбиваться на несколько токенов.

Важно понимать, что модель не понимает текст в его привычном буквенном виде. Каждый полученный токен преобразуется в уникальный числовой идентификатор (ID). Например, слово «яблоко» может превратиться в последовательность чисел 4568 и 129, и именно эти математические значения отправляются в нейросеть для дальнейших вычислений.

В чем разница между Input Tokens и Output Tokens?

В работе с языковыми моделями всегда фигурируют два вида токенов:

• Input Tokens (Входные токены) — это то, что пишете и отправляете вы. Сюда входит сам текстовый промпт, загруженные документы, системные инструкции и история предыдущей переписки (контекст).
• Output Tokens (Выходные токены) — это то, что генерирует нейросеть в ответ на ваш запрос.

Разработчики и компании, использующие API нейросетей, платят за оба типа токенов. Однако входные токены обычно стоят в 2-4 раза дешевле выходных, так как их обработка требует от серверов гораздо меньше вычислительных ресурсов, чем генерация нового, осмысленного текста.

Примеры и особенности работы с входными токенами

Понимание работы входных токенов критически важно для эффективного использования ИИ. Вот несколько ключевых аспектов, о которых нужно помнить:

• Контекстное окно: У каждой модели есть жесткий лимит входных токенов (например, 8 тысяч, 128 тысяч или даже 2 миллиона). Если объем вашего текста превышает этот лимит, ИИ просто «отрежет» лишнее и забудет начало разговора или верхнюю часть загруженного документа.
• Мультиязычность: Из-за особенностей обучения токенизаторов, запросы на кириллице часто «съедают» в 2-3 раза больше токенов, чем аналогичные по смыслу запросы на английском языке. Это делает работу с ИИ на русском языке чуть более дорогой при использовании платных API.
• Программирование: Программный код на Python, HTML или JavaScript токенизируется очень эффективно, так как синтаксис языков программирования стандартизирован и в огромных объемах присутствовал в обучающих данных нейросетей.

Интересный факт: почему нейросети не умеют играть в «Слова»?

Задумывались ли вы, почему даже самые продвинутые нейросети часто ошибаются, если попросить их подсчитать количество букв «р» в слове «территория» или поиграть в классические «Города»? Это напрямую связано с тем, как работают входные токены!

Модель воспринимает слово не как набор отдельных букв, а как цельные смысловые блоки. Для нее внутри токена «терри» нет отдельных букв «т», «е» или «р» — это просто единая неделимая сущность, которой присвоен определенный номер. ИИ буквально «слеп» к отдельным символам внутри токена. Чтобы научить нейросеть работать с буквами напрямую, опытным пользователям приходится применять хитрости: например, просить ИИ разбивать слова пробелами (т е р р и т о р и я), искусственно заставляя токенизатор создавать отдельный входной токен из каждой буквы.