Logit Bias (Логит-смещение)

Logit Bias (логит-смещение) — это параметр в настройках больших языковых моделей (таких как ChatGPT), который позволяет разработчику искусственно увеличивать или уменьшать вероятность генерации определенных слов или символов (токенов).

Современные нейросети не мыслят словами в привычном нам понимании. Они оперируют токенами — кусочками слов, слогами или отдельными символами. Когда языковая модель пишет текст, она математически предсказывает, какой токен должен идти следующим, основываясь на контексте. Каждому возможному следующему токену присваивается базовая числовая оценка — логит (logit). Затем эти сырые оценки пропускаются через математическую функцию (обычно Softmax), которая превращает их в проценты вероятности (от 0 до 100%).

Чем выше изначальный логит, тем больше шансов, что нейросеть выберет именно этот токен. И вот здесь в игру вступает Logit Bias. Этот параметр работает как «математический штраф» или «бонус», который мы можем вручную добавить к логиту конкретного слова до того, как модель сделает окончательный выбор.

Как это работает на практике?

Представьте, что нейросеть выбирает следующее слово в предложении: «На завтрак я люблю есть...». Модель рассчитывает вероятности:

• «яйца» — 40%
• «кашу» — 30%
• «гвозди» — 0.001%

Если мы применим положительный Logit Bias к токену «гвозди», мы искусственно завысим его оценку. Если смещение будет достаточно большим, нейросеть с уверенностью выдаст: «На завтрак я люблю есть гвозди». И наоборот, если мы применим отрицательный Logit Bias к слову «яйца» (например, установив значение -100), модель навсегда «забудет» это слово и никогда его не сгенерирует, выбрав вместо него «кашу» или другой подходящий вариант.

Настройка Logit Bias в API

В программных интерфейсах популярных моделей параметр Logit Bias обычно принимает словарь, где ключами являются идентификаторы токенов (Token ID), а значениями — числа от -100 до +100.

• От -1 до -10: Легкое снижение вероятности. Слово будет появляться реже.
• -100: Полный запрет (бан). Вероятность сводится к абсолютному нулю.
• От +1 до +10: Повышение шансов на использование слова.
• +100: Экстремальное принуждение. Модель будет использовать этот токен везде, где это хоть немного синтаксически возможно (что часто приводит к поломке текста и бесконечным повторениям).

Примеры использования Logit Bias

Этот инструмент активно используется разработчиками для тонкой настройки поведения искусственного интеллекта. Вот несколько классических сценариев:

• Создание жестких фильтров (цензура): Установив максимальный отрицательный bias на нецензурные или запрещенные слова, разработчики гарантируют, что бот никогда их не произнесет.
• Форматирование ответов: Если нужно, чтобы ИИ отвечал только «Да» или «Нет» в автоматизированной системе, всем остальным словам задается отрицательный вес, а этим двум — положительный.
• Устранение клише: Языковые модели часто злоупотребляют фразами вроде «Как искусственный интеллект, я...». Понижение вероятности этих токенов делает текст более живым и естественным.

Интересный факт: Цифровое табу и липограммы

С помощью Logit Bias энтузиасты заставляют нейросети писать липограммы — тексты, в которых намеренно пропущена определенная буква или целая группа слов. Например, если запретить все токены, содержащие букву «о», модель начнет выкручиваться, подбирая невероятно сложные синонимы и перестраивая предложения, чтобы выполнить задачу. Это похоже на игру, в которой ИИ приходится проявлять максимум творчества, чтобы обойти жесткие математические ограничения, наложенные на его словарный запас.