Эмерджентные способности (Emergent Abilities)

Эмерджентные способности (Emergent Abilities) — это неожиданные, качественно новые навыки и возможности, которые внезапно появляются у систем искусственного интеллекта (в первую очередь у больших языковых моделей) при достижении ими определенного масштаба. Разработчики не закладывают эти навыки в код целенаправленно, они возникают спонтанно как побочный эффект усложнения системы.

В основе этого явления лежит общенаучный принцип эмерджентности, который гласит: «целое больше, чем простая сумма его частей». В биологии эмерджентностью можно назвать сознание, возникающее из миллиардов нейронов, или сложную структуру муравейника, которую строят муравьи, не имеющие центрального руководства. В контексте машинного обучения это означает, что когда нейросеть становится достаточно большой, она обретает способности, которых не было у ее менее масштабных версий.

Как возникают эмерджентные способности?

Долгое время развитие искусственного интеллекта шло линейно и предсказуемо. Увеличение вычислительных мощностей и объемов данных давало плавный рост точности ответов. Однако с появлением архитектуры Transformer и развитием больших языковых моделей (LLM), таких как GPT-3, GPT-4 или PaLM, исследователи столкнулись с эффектом «фазового перехода».

Фазовый переход в физике — это, например, превращение воды в лед при достижении нулевой температуры. В нейросетях происходит нечто похожее: модель с 10 миллиардами параметров может выдавать бессвязный бред при попытке решить логическую задачу, но стоит увеличить ее размер до 100 миллиардов параметров, как она внезапно начинает решать ее с пугающей точностью. Этот качественный скачок происходит непредсказуемо.

Примеры эмерджентных способностей в нейросетях

Сегодня исследователи выделяют десятки навыков, которые появились у ИИ сами по себе. Вот самые яркие из них:

• Многошаговое логическое мышление (Chain-of-Thought): Маленькие модели не способны решать сложные текстовые задачи по математике. Но гигантские модели научились разбивать сложную задачу на последовательные шаги и приходить к верному ответу, если просто попросить их «думать пошагово».
• Написание и отладка программного кода: Изначально языковые модели обучались просто предсказывать следующее слово в тексте. Никто не ожидал, что, проанализировав массивы данных из интернета, ИИ научится писать рабочий код на Python, находить в нем уязвимости и переводить программы с одного языка на другой.
• Понимание сарказма и контекста: Способность улавливать тонкие эмоциональные оттенки, иронию или скрытый смысл текста — то, что ранее считалось исключительно человеческой прерогативой, внезапно проявилось у крупных моделей.
• Спонтанный перевод: Модель, которую обучали преимущественно на английском языке, вдруг начинает понимать и переводить тексты на редкие языки, хотя их доля в обучающей выборке была ничтожно мала.

Интересный факт: Иллюзия или реальность?

В 2023 году группа исследователей из Стэнфордского университета опубликовала резонансную научную статью, в которой поставила под сомнение саму «внезапность» эмерджентных способностей. Ученые предположили, что резкий скачок навыков ИИ — это не магия масштаба, а оптическая иллюзия, вызванная тем, как мы эти навыки измеряем.

Исследователи доказали, что если использовать жесткие нелинейные метрики (например, тест засчитывается только при 100% правильном ответе), то прогресс кажется скачкообразным: модель долго получает 0 баллов, а потом резко 100. Но если оценивать частичную правоту сети на каждом этапе ее роста, то развитие выглядит плавным и предсказуемым. Тем не менее, термин «эмерджентные способности» уже прочно закрепился в индустрии. Он идеально описывает то чувство искреннего удивления, которое испытывают инженеры, когда их творение вдруг начинает писать стихи на латыни или решать задачи по квантовой физике.

Почему это важно для будущего?

Эмерджентность открывает огромные перспективы, но одновременно несет в себе серьезные риски. Главная проблема заключается в непредсказуемости. Если мы не знаем, какие навыки появятся у модели при следующем увеличении масштаба, мы не можем гарантировать ее безопасность. Вместе с полезными функциями ИИ может обрести способность к манипуляции, обходу систем защиты или созданию вредоносного кода. Именно поэтому изучение эмерджентных способностей сегодня является одним из важнейших направлений в сфере безопасности искусственного интеллекта (AI Alignment).