Ограничения контекста нейросети

Ограничения контекста нейросети (или контекстное окно) — это максимальный объем информации, который искусственный интеллект способен одновременно удерживать в «краткосрочной памяти» и учитывать при генерации ответа. Объем измеряется в токенах (фрагментах слов) и строго определяет, насколько длинный текст модель может проанализировать или написать за один раз.

Как работает контекстное окно?

Чтобы понять суть этого термина, представьте себе оперативную память компьютера или краткосрочную память человека. Когда вы читаете книгу, вы держите в голове сюжет текущей главы, имена героев и их последние действия. Если информации становится слишком много, детали из первых глав начинают забываться.

Нейросети работают по схожему принципу. Текст, который вы отправляете ИИ (промпт), и текст, который он генерирует в ответ, разбиваются на токены. В английском языке один токен примерно равен 0,75 слова, а в русском одно слово может разбиваться на 2-4 токена из-за сложности морфологии. Ограничение контекста — это жесткий лимит на количество таких токенов.

Если диалог или загруженный документ превышает этот лимит, происходит одно из двух:

• Смещение окна (Sliding Window): нейросеть начинает «забывать» самые старые сообщения в диалоге, оставляя в памяти только последние.
• Обрыв генерации: модель просто останавливается на полуслове или выдает ошибку, так как не может обработать весь массив данных.

Примеры проявления ограничений контекста

На практике пользователи сталкиваются с ограничениями контекста довольно часто, особенно при решении сложных задач:

• Анализ больших документов: Если вы загрузите в базовую модель финансовый отчет на 300 страниц и попросите сделать выжимку, нейросеть с небольшим контекстным окном (например, 4000 токенов) проанализирует только первые несколько страниц, а остальное проигнорирует.
• Длинные диалоги: Вы общаетесь с чат-ботом, задаете ему правила ролевой игры и обсуждаете сценарий. Спустя час переписки бот внезапно нарушает изначальные правила. Это происходит не потому, что он «поглупел», а потому, что ваши первые инструкции просто выпали за пределы контекстного окна.
• Написание кода: Программист просит ИИ написать сложный скрипт, состоящий из множества файлов. По мере добавления новых функций нейросеть начинает предлагать код, который ломает логику, заданную в самом начале сессии.

Интересный факт: Тест «Иголка в стоге сена»

Как разработчики проверяют, действительно ли нейросеть способна запомнить огромный объем текста, а не просто делает вид? Для этого был придуман знаменитый бенчмарк «Needle in a Haystack» (Иголка в стоге сена).

Суть теста проста: в огромный документ (например, в многотомную энциклопедию) искусственно вставляется один абсурдный факт. Например: «Секретный ингредиент идеальной пиццы — это фиолетовый банан». Затем этот гигантский текст загружают в нейросеть и спрашивают: «Какой секретный ингредиент пиццы?». Ранние модели с заявленным большим контекстом часто проваливали тест, так как их внимание рассеивалось. Современные же флагманы способны находить такую «иголку» среди миллионов токенов с точностью 99%.

Эволюция памяти нейросетей

Размер контекстного окна — один из главных показателей развития ИИ. Если в 2020 году модель GPT-3 могла запомнить лишь около 2048 токенов (пара страниц текста), то современные архитектуры совершили невероятный скачок. Сегодня существуют модели, способные удерживать в памяти от 128 тысяч до 2 миллионов токенов за раз. Это позволяет загружать в них целые библиотеки, часовые видеоролики и полные базы данных.

Однако бесконечно увеличивать контекст сложно: традиционная архитектура трансформеров требует квадратичного роста вычислительных мощностей при увеличении окна. Поэтому ученые постоянно ищут новые подходы, чтобы сделать память ИИ безграничной без колоссальных затрат энергии.