Decoder-only Architecture: Суть, принцип работы и примеры

Decoder-only Architecture (Архитектура на базе декодера) — это разновидность нейросетевой архитектуры трансформеров, в которой отсутствует блок кодировщика (энкодера). Модель состоит исключительно из декодера и работает по принципу авторегрессии: она читает входящий текст и последовательно предсказывает каждое следующее слово, опираясь только на то, что уже было написано.

Чтобы понять суть этой архитектуры, нужно вспомнить, как выглядел самый первый трансформер, представленный компанией Google в 2017 году. Оригинальная модель состояла из двух частей: энкодера (который «читал» и анализировал весь исходный текст целиком) и декодера (который генерировал ответ). Это было идеально для задач перевода, где нужно сначала понять всё предложение на английском, а затем выдать его на русском.

Однако вскоре исследователи поняли, что для многих задач искусственного интеллекта две части не нужны. Если обучить гигантскую нейросеть просто предсказывать следующее слово в огромном массиве текстов, она сама научится понимать контекст, грамматику, логику и даже факты. Так появилась Decoder-only Architecture.

Как работает архитектура только на декодерах?

Главная особенность декодера — это использование механизма, который называется Masked Self-Attention (маскированное внутреннее внимание). Суть его работы заключается в следующем:

• Модель обрабатывает текст слева направо.
• При генерации нового слова нейросеть может «смотреть» только на предыдущие слова. Будущие слова от неё скрыты (замаскированы), чтобы она не могла «подглядывать» вперед.
• Сгенерировав одно слово, модель добавляет его к текущему тексту и использует эту новую цепочку для предсказания следующего слова. Этот процесс называется авторегрессией.

Представьте, что вы пишете книгу, но вам разрешено видеть только то, что вы уже написали. Вы не знаете, чем закончится абзац, пока не допишете его до конца. Именно так мыслит Decoder-only модель.

Где применяется эта архитектура? (Примеры)

Сегодня архитектура на базе декодера — это абсолютный стандарт для создания больших языковых моделей (LLM). Вы сталкиваетесь с ней каждый день, если пользуетесь современными нейросетями:

• Семейство GPT (от OpenAI): Начиная с самой первой версии GPT-1 и заканчивая мощными GPT-4, все эти модели используют исключительно декодер. Именно эта архитектура лежит в основе знаменитого ChatGPT.
• LLaMA (от Meta): Популярная открытая модель, которая стала основой для тысяч других нейросетей, также построена по принципу Decoder-only.
• Claude (от Anthropic): Один из главных конкурентов ChatGPT работает на тех же фундаментальных принципах авторегрессионного декодирования.

Каждый раз, когда вы просите нейросеть написать код, сочинить стихотворение, составить план тренировок или просто поддержать диалог, работает именно архитектура декодера, угадывающая наиболее вероятное продолжение вашей мысли.

Преимущества: почему декодер победил?

Отказ от энкодера принес несколько ключевых преимуществ, которые сделали возможным бум генеративного ИИ. Во-первых, такие модели проще обучать на неразмеченных данных (просто скармливая им интернет-статьи и книги). Во-вторых, они оказались невероятно универсальными. В отличие от узкоспециализированных моделей (например, только для перевода или только для классификации), Decoder-only модель способна решать любые задачи формата «текст на входе — текст на выходе» (Zero-shot learning).

Интересный факт: Революция, которую не все заметили сразу

Когда в 2018 году компания OpenAI выпустила первую модель GPT (Generative Pre-trained Transformer), отказавшись от энкодера, научное сообщество отнеслось к этому с интересом, но без восторга. В то же время Google представила модель BERT, которая состояла только из энкодера (Encoder-only). BERT бил все рекорды в тестах на понимание текста, и казалось, что будущее за энкодерами.

Однако OpenAI сделала ставку на масштабирование своего декодера. Когда они выпустили GPT-3 с 175 миллиардами параметров, мир ахнул: оказалось, что если сделать Decoder-only модель достаточно большой, она начинает демонстрировать «эмерджентные» (внезапно возникающие) способности — например, умение писать программный код, шутить и решать логические задачи, которым её никто специально не обучал. Это навсегда изменило вектор развития искусственного интеллекта.