Что такое Scaling Laws в искусственном интеллекте?

Scaling Laws (Законы масштабирования) — это эмпирические правила в сфере искусственного интеллекта, которые гласят: качество работы нейросети предсказуемо и стабильно улучшается при увеличении трех ключевых факторов — объема вычислительной мощности, размера обучающей выборки (данных) и количества параметров самой модели.

Долгое время развитие нейросетей напоминало алхимию: исследователи меняли архитектуру, добавляли слои и надеялись, что модель станет умнее. Однако с открытием законов масштабирования создание искусственного интеллекта превратилось в точную инженерную науку. Оказалось, что для получения более умного ИИ не всегда нужны радикальные научные прорывы — часто достаточно просто пропорционально увеличить масштаб системы.

Три кита Scaling Laws

Законы масштабирования опираются на три базовые переменные, которые неразрывно связаны между собой:

• Вычисления (Compute): количество математических операций, необходимых для обучения. Чем больше видеокарт (GPU) работает над задачей, тем быстрее и глубже обучается модель.
• Данные (Data): объем текстовой, визуальной или звуковой информации, на которой тренируется нейросеть. Больше качественных данных — шире кругозор искусственного интеллекта.
• Параметры (Parameters): размер самой нейросети, количество ее внутренних связей (весов). Чем их больше, тем более сложные закономерности она способна запомнить и воспроизвести.

Как это работает на практике

Самый яркий пример действия Scaling Laws — это эволюция языковых моделей от компании OpenAI. Переход от GPT-2 к GPT-3, а затем и к GPT-4 не был случайностью или магией. Инженеры заранее знали, насколько умнее станет новая модель, просто подставив в математическую формулу новые значения вычислительных мощностей и возросшего объема данных.

Еще одно важное проявление этого закона — эмерджентные (внезапно возникающие) способности. Когда модель достигает определенного масштаба, она вдруг начинает решать задачи, которым ее не учили напрямую. Например:

• Маленькая модель может только предсказывать следующее слово в тексте.
• Средняя модель начинает неплохо отвечать на простые вопросы.
• Огромная модель внезапно обретает способность писать программный код, решать логические загадки и переводить с редких языков, хотя специально под эти задачи ее не программировали.

Интересный факт: Уверенность ценой в миллионы долларов

В 2020 году группа исследователей из OpenAI во главе с Джаредом Капланом опубликовала прорывную статью о законах масштабирования для языковых моделей. Они построили графики зависимости количества ошибок ИИ от объема вычислений на логарифмической шкале и увидели идеально прямые линии.

Это открытие стало историческим. До этого момента тратить десятки миллионов долларов на аренду суперкомпьютеров для обучения одной нейросети было огромным финансовым риском. Открытие Scaling Laws дало инвесторам и инженерам железобетонную гарантию: если вложить больше денег в железо и данные, ИИ гарантированно станет умнее. Именно эта математическая уверенность спровоцировала современную гонку ИИ-вооружений и глобальный дефицит видеокарт.

Поправка от DeepMind: Закон Шиншиллы (Chinchilla)

В 2022 году исследователи из компании DeepMind (подразделение Google) уточнили первоначальные законы масштабирования, выведя так называемые Chinchilla Scaling Laws. Они обнаружили, что многие предыдущие модели были слишком большими, но при этом обучались на недостаточном количестве данных.

Ученые доказали, что для достижения оптимального результата количество обучающих данных должно расти пропорционально количеству параметров модели (примерно 20 токенов текста на 1 параметр). Если просто раздувать размер нейросети, не увеличивая базу данных, вычислительные мощности будут тратиться впустую. Это позволило создавать более компактные, но невероятно умные модели, работающие быстрее и дешевле гигантских предшественников.

Что ждет Scaling Laws в будущем?

Несмотря на то что законы масштабирования работают безотказно уже несколько лет, в научном сообществе ведутся споры об их пределах. Рано или поздно человечество столкнется с нехваткой качественных текстовых данных в интернете (так называемая «стена данных») или упрется в физические ограничения производства чипов и потребления электроэнергии.

Тем не менее, пока Scaling Laws остаются главным драйвером прогресса в машинном обучении. Они доказывают удивительный факт: в мире искусственного интеллекта количественные изменения неизбежно ведут к качественным скачкам.