Shisa V2 Llama 3.3 70B

Shisa V2 Llama 3.3 70B — это двуязычная японско-английская чат-модель, дообученная Shisa.AI на базе Meta’s Llama-3.3-70B-Instruct. Она отдает приоритет производительности на японском языке, сохраняя при этом сильные возможности на английском. Модель была оптимизирована полностью за счет пост-тренировки, используя усовершенствованное сочетание контролируемого дообучения (SFT) и наборов данных DPO, включая регенерированные данные в стиле ShareGPT, задачи перевода, ролевые беседы и подсказки для выполнения инструкций. В отличие от более ранних выпусков Shisa, эта версия избегает модификаций токенизатора или расширенного предобучения.

Shisa V2 70B достигает ведущих результатов в выполнении задач на японском языке по широкому спектру пользовательских и публичных бенчмарков, включая JA MT Bench, ELYZA 100 и Rakuda. Она поддерживает длину контекста в 128K токенов и легко интегрируется с фреймворками для вывода, такими как vLLM и SGLang. Хотя она наследует характеристики безопасности от своей базовой модели, дополнительное выравнивание не применялось. Модель предназначена для высокопроизводительных двуязычных чатов, выполнения инструкций и задач перевода между японским и английским языками.