Tongyi DeepResearch 30B A3B

Tongyi DeepResearch — это агентная крупная языковая модель, разработанная Tongyi Lab, с общим количеством параметров в 30 миллиардов, из которых активируется только 3 миллиарда на каждый токен. Она оптимизирована для долгосрочных задач, требующих глубокого поиска информации, и демонстрирует передовую производительность на таких тестах, как Humanity’s Last Exam, BrowserComp, BrowserComp-ZH, WebWalkerQA, GAIA, xbench-DeepSearch и FRAMES. Это делает её превосходной для сложного агентного поиска, рассуждений и многослойного решения проблем по сравнению с предыдущими моделями.

Модель включает полностью автоматизированный синтетический конвейер данных для масштабируемого предобучения, тонкой настройки и обучения с подкреплением. Она использует крупномасштабное непрерывное предобучение на разнообразных агентных данных для улучшения рассуждений и поддержания актуальности. Также в ней реализовано сквозное обучение с подкреплением на политике с использованием индивидуализированной оптимизации групповой относительной политики, включая градиенты на уровне токенов и фильтрацию отрицательных образцов для стабильного обучения. Модель поддерживает ReAct для проверки основных способностей и режим ‘Heavy’ на основе IterResearch для максимальной производительности за счет масштабирования во время тестирования. Она идеально подходит для продвинутых исследовательских агентов, использования инструментов и интенсивных рабочих процессов вывода.