Яндекс выпустил бесплатную открытую модель Alice AI Foundation для русскоязычных задач.

Яндекс представил открытую языковую модель Alice AI Foundation, ориентированную в том числе на работу с русскоязычным контентом. Разработчики опубликовали веса модели и разрешили использовать их в проектах на условиях лицензии Apache 2.0. Это позволяет применять технологию не только для экспериментов и исследований, но и в коммерческих разработках.

В основе Alice AI Foundation лежит архитектура с элементами Mixture of Experts (MoE). Всего модель насчитывает около 80 млрд параметров, однако при обработке каждого отдельного токена задействуется примерно 3 млрд. Такой подход позволяет сочетать большой общий объём модели с меньшими вычислительными затратами при работе. Максимальная длина контекста достигает 262 144 токенов.

Модель создавалась полностью с нуля. Для её обучения специалисты Яндекса сформировали собственный набор данных, отдельно подбирали архитектуру и параметры обучения, а также готовили материалы для задач, связанных со сложными рассуждениями и использованием внешних инструментов. Ключевые решения предварительно проверялись в нескольких самостоятельных циклах обучения, каждый из которых включал около 2 трлн токенов.

По представленным разработчиками результатам, Alice AI Foundation показывает сопоставимый с более крупными открытыми моделями уровень на задачах по математике, программированию и логическому рассуждению. Отдельное внимание уделено русскому языку: модель демонстрирует высокие результаты при работе с фактическими знаниями и вопросами, связанными с русскоязычным контекстом.

Одновременно с публикацией модели Яндекс представил два набора тестов для оценки качества русскоязычных систем — WikiWebFacts и HardMultiQA. Они предназначены для проверки работы моделей с фактами и сложными вопросами, а вместе с ними опубликованы методики проведения оценки.

Alice AI Foundation рассматривается как технологическая основа для дальнейшего развития интеллектуальных возможностей Алисы. Открытая публикация модели также даёт разработчикам возможность самостоятельно запускать её, адаптировать под собственные задачи и использовать совместно с распространёнными инструментами для работы с большими языковыми моделями. Модель доступна в репозитории Hugging Face под названием AliceAI-Foundation-80B-A3B-Base.