Компания Илона Маска xAI опубликовала исходный код чат-бота Grok

Характеристики Grok

На прошлой неделе Илон Маск написал в соцсети X (бывш. Twitter – прим. ред.), что откроет исходный код модели Grok.

И обещание сдержал – 17.03.24 xAI предоставила доступ к большой языковой модели Grok-1. В сообщении компании говорится, что Grok-1 является моделью на основе метода Mixture-of-Experts с архитектурой, включающей 314 млрд. параметров и разработанной с нуля.

Модель лицензируется по лицензии Apache License 2.0 , которая разрешает коммерческое использование.

В прошлом году компания выпустила Grok в форме чат-бота, доступного для пользователей Premium+ соцсети X. Примечательно, что чат-бот может получить доступ к некоторым данным X, но сама модель не предполагает подключения к социальной сети.

Недостатки Grok и отличия от других моделей

Grok — это чат-бот, обученный в целом выполнять ту же роль, что ChatGPT или Claude: вы спрашиваете, он отвечает. Однако, эту языковую модель (LLM) отличает дополнительный доступ к данным Twitter и отсутствие цензуры – бот не стесняется в выражениях и способен выдавать “вредные” советы.

По производительности Grok можно сравнить с моделями среднего размера последнего поколения, такими как GPT-3.5.

С точки зрения параметров — 314 миллиардов — это одна из крупнейших моделей, находящихся в свободном доступе и с открытым “весом” (an open-weights model). Ее можно загрузить, использовать, изменить, настроить или переработать, что дает любопытным инженерам много возможностей для исследований и модификаций.

Однако, размер модели имеет и серьезные недостатки. Чтобы использовать ее в исходном виде, требуются сотни гигабайт высокоскоростной оперативной памяти. А так как Grok-1 “тяжелее” других аналогичных ИИ, то и для обработки одних и тех же задач ему необходимо больше ресурсов.

Заключение

Grok — это современная и функциональная LLM впечатляющего размера и возможностей, и чем больше доступа к “внутренностям” таких нейросетей будет у сообщества разработчиков, тем лучше.

Напомним, что многие известные компании открыли исходный код своих моделей искусственного интеллекта, включая LLaMa от Meta, Mistral, Falcon и др. В феврале Google также выпустила две новые открытые модели под названием Gemma2B и Gemma7B.

Файлы и информация по запуску Grok-1: https://github.com/xai-org/grok-1

Источник:

https://github.com/xai-org/grok-1

https://techcrunch.com/2024/03/17/xai-open-sources-base-model-of-grok-but-without-any-training-code/