xAI опубликовал исходный код Grok-1, модель с 314 млрд параметров.

xAI опубликовал исходный код Grok-1, модель с 314 млрд параметров.

xAI опубликовал исходный код Grok-1.

Детали модели:

Базовая модель, обученная на большом количестве текстовых данных, не настроенная на какую-либо конкретную задачу. В ней содержится 314 миллиардов параметров, с 25% весов, активных на данной лексеме. Модель была обучена с нуля xAI с помощью собственного стека обучения поверх JAX и Rust в октябре 2023 года.

18 Мар 2024
09:45