Обучение с подкреплением на основе отзывов людей (RLHF)

Обучение с подкреплением на основе отзывов людей (RLHF, Reinforcement Learning from Human Feedback) — это метод машинного обучения, при котором искусственный интеллект совершенствует свои навыки, опираясь на оценки, предпочтения и корректировки, сделанные живыми людьми. Простыми словами, это способ «воспитать» нейросеть, чтобы она давала полезные, безопасные и понятные ответы, а не просто генерировала случайный текст.

Как работает RLHF: от слепого автодополнения к умному собеседнику

Изначально большие языковые модели (LLM), такие как ранние версии GPT, тренируются на огромных массивах текстов из интернета. Их главная задача на этом этапе — просто угадывать следующее слово в предложении. Однако такой подход имеет серьезный недостаток: модель может генерировать токсичный, бессмысленный или совершенно не соответствующий запросу текст. Без дополнительной настройки нейросеть работает как продвинутый режим Т9 в смартфоне — она знает слова, но не понимает намерений пользователя.

Чтобы превратить «угадывателя слов» в полезного цифрового помощника, применяется алгоритм RLHF. Этот сложный, но невероятно эффективный процесс состоит из трех основных шагов:

• Сбор данных от людей (Human Feedback). Нейросети дают различные запросы, и она генерирует несколько вариантов ответа. Специально обученные люди (асессоры или разметчики) читают эти ответы и ранжируют их от лучшего к худшему. Они оценивают правдивость, вежливость и полезность.
• Создание модели вознаграждения (Reward Model). На основе сотен тысяч оценок асессоров обучается вторая, вспомогательная нейросеть. Ее цель — научиться понимать, что нравится людям, а что нет. Она выступает в роли автоматического критика, заменяя человека на следующем этапе.
• Обучение с подкреплением (Reinforcement Learning). Основная модель начинает генерировать новые ответы, а модель вознаграждения ставит ей «оценки». Если ответ хороший — нейросеть получает виртуальную «награду» (положительный сигнал) и закрепляет этот паттерн. Если плохой — получает «штраф». Для этого чаще всего используется алгоритм PPO (Proximal Policy Optimization).

Примеры использования RLHF в современных технологиях

Метод RLHF произвел настоящую революцию в сфере искусственного интеллекта и сегодня применяется в большинстве передовых продуктов, с которыми мы сталкиваемся ежедневно.

• Чат-боты и виртуальные ассистенты. Самый известный пример — ChatGPT. Именно благодаря RLHF базовая модель превратилась в удобного собеседника, который понимает контекст, пишет программный код, сочиняет стихи и, что важно, отказывается отвечать на незаконные или опасные вопросы.
• Суммаризация и анализ текстов. ИИ обучают делать краткие выжимки из длинных статей или документов. Люди оценивают, насколько точно и понятно ИИ передал суть без искажения фактов, и на основе этих оценок алгоритм учится выделять главное.
• Модерация контента и безопасность. RLHF помогает «отучить» нейросети выдавать инструкции по созданию оружия, написанию вредоносного кода или использованию языка вражды. Модель учится распознавать провокации и вежливо уходить от ответа.

Интересный факт: как ИИ отучили быть «попугаем»

До массового внедрения RLHF базовые языковые модели часто вели себя комично и непредсказуемо. Если пользователь задавал вопрос: «Как испечь шоколадный торт?», нейросеть вместо рецепта могла выдать: «Как испечь яблочный пирог? Как приготовить блинчики?». Она просто продолжала список вопросов, так как в обучающих текстах из интернета (например, на форумах) после одного вопроса часто шли другие.

Именно внедрение RLHF в модели InstructGPT (предшественнике ChatGPT) в 2022 году позволило разработчикам из OpenAI объяснить искусственному интеллекту, что от него ждут не продолжения текста в том же стиле, а конкретного ответа или действия. Этот прорыв доказал, что для создания умного ИИ не обязательно бесконечно увеличивать размер модели — иногда достаточно просто правильно объяснить ей, чего хотят люди.

Проблемы и будущее метода

Несмотря на свою эффективность, RLHF не идеален. Главная проблема заключается в субъективности человеческих оценок. То, что один асессор считает отличным ответом, другой может счесть неполным или предвзятым. Кроме того, сбор качественных отзывов от экспертов (например, врачей или программистов) стоит очень дорого и занимает много времени.

Тем не менее, сегодня RLHF является главным инструментом в области AI Alignment (проблемы согласования ИИ). Это направление науки занимается тем, чтобы цели и поведение искусственного интеллекта совпадали с человеческими ценностями. Именно отзывы живых людей делают бездушные алгоритмы эмпатичными, логичными и безопасными для общества, прокладывая путь к еще более совершенным технологиям.