Phi-3.5 Mini 128K Instruct

Модели Phi-3.5 являются легковесными, передовыми открытыми моделями. Эти модели были обучены на наборах данных Phi-3, которые включают как синтетические данные, так и отфильтрованные, общедоступные данные с веб-сайтов, с акцентом на высокое качество и насыщенные логическими рассуждениями свойства. Phi-3.5 Mini использует 3,8 миллиарда параметров и является плотной моделью трансформера с декодером, использующей тот же токенизатор, что и Phi-3 Mini.

Модели прошли тщательный процесс улучшения, включающий как контролируемую тонкую настройку, так и проксимальную оптимизацию политики и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. При оценке по контрольным тестам, проверяющим здравый смысл, понимание языка, математику, код, длинный контекст и логическое мышление, модели Phi-3.5 продемонстрировали надежные и передовые результаты среди моделей с менее чем 13 миллиардами параметров.