Foundation Model (Фундаментальная модель)

Foundation Model (базовая или фундаментальная модель) — это масштабная модель искусственного интеллекта, обученная на гигантских объемах неразмеченных данных, которая служит универсальной инфраструктурной основой для создания множества более узких и специализированных ИИ-приложений.

От узкого ИИ к универсальному фундаменту

Долгое время искусственный интеллект развивался по пути создания узкоспециализированных систем. Если разработчикам нужна была программа для распознавания лиц, они собирали тысячи фотографий, вручную размечали их и обучали нейросеть исключительно этой задаче. Если требовался переводчик с английского на русский, процесс повторялся с нуля на базе лингвистических корпусов. Каждая модель была изолированной и умела делать только что-то одно.

Появление Foundation Models навсегда изменило этот подход. Вместо того чтобы обучать ИИ одной конкретной функции, исследователи начали создавать огромные нейронные сети (чаще всего на архитектуре Transformer) и загружать в них колоссальные массивы данных из интернета: статьи, книги, программный код, форумы и изображения.

В процессе такого обучения (которое называется самообучением или self-supervised learning) модель начинает понимать глубинные закономерности, логику языка, структуру программного кода или физику визуального мира. В итоге получается мощный «мозг-универсал», который еще не является готовым продуктом, но обладает невероятным потенциалом.

Как это работает на практике?

Главная суперсила фундаментальной модели — это адаптивность. Имея такую готовую базу, разработчикам больше не нужно тратить миллионы долларов и месяцы работы на обучение ИИ с нуля. Достаточно взять Foundation Model и провести процесс дообучения (fine-tuning) на небольшом наборе специфических данных.

Например, одну и ту же базовую языковую модель можно немного дообучить, и она превратится в:

• Медицинского ассистента, анализирующего симптомы;
• Юридического бота, составляющего договоры;
• Креативного копирайтера, пишущего рекламные тексты;
• Программиста, который ищет ошибки в коде.

Примеры фундаментальных моделей

Сегодня мы сталкиваемся с результатами работы базовых моделей каждый день, даже не задумываясь об этом. Вот самые яркие примеры:

• Семейство GPT (OpenAI) и LLaMA (Meta): Это фундаментальные текстовые (языковые) модели. На их основе работают такие продукты, как ChatGPT, ИИ-помощники в смартфонах и системы автоматического перевода.
• Stable Diffusion и Midjourney: Базовые визуальные модели, которые понимают связь между текстом и пикселями. Они служат основой для генерации изображений, дизайна интерьеров и создания концепт-артов.
• Whisper: Базовая модель для распознавания речи, которая стала фундаментом для сервисов транскрибации, автоматических субтитров и голосовых интерфейсов.
• Мультимодальные модели (Gemini, GPT-4V): Новое поколение фундаментов, которые одновременно обучаются на тексте, картинках, видео и звуке, понимая контекст во всех форматах сразу.

Интересный факт: откуда взялся термин Foundation Model?

Несмотря на то, что подобные нейросети начали активно развиваться с выходом GPT-1 в 2018 году, самого термина долгое время не существовало. Разработчики называли их «большими языковыми моделями» (LLM) или «предобученными сетями».

Термин Foundation Model был придуман и официально введен в оборот только в августе 2021 года исследователями из Стэнфордского института человеко-ориентированного искусственного интеллекта (Stanford HAI). Они опубликовали масштабный 200-страничный доклад, в котором обосновали выбор слова «фундамент».

Ученые провели блестящую аналогию со строительством: сама по себе базовая модель — это не дом, в котором можно жить. Она не является законченным продуктом. Однако это прочный фундамент, без которого невозможно построить современные, надежные и многоэтажные «здания» ИИ-приложений. Как и в строительстве, если в фундаменте есть трещина (например, скрытые предубеждения или искажения в обучающих данных), она неизбежно повлияет на все приложения, построенные поверх него.

Почему это важно для будущего?

Фундаментальные модели снизили порог входа в индустрию искусственного интеллекта. Сегодня даже небольшая команда стартаперов может создать передовой ИИ-продукт, просто арендовав доступ к Foundation Model через API. Это привело к настоящему кембрийскому взрыву инноваций, который мы наблюдаем прямо сейчас.