GPT-J

GPT-J — языковая модель искусственного интеллекта с открытым исходным кодом, разработанная EleutherAI^[1]. GPT-J работает очень похоже на GPT-3 от OpenAI в различных zero-shot задачах и может даже превзойти его в задачах генерации кода^[2]. Новейшая версия GPT-J-6B представляет собой языковую модель, основанную на наборе данных под названием The Pile^[3]. Pile — это 825- гигабайтный набор данных языкового моделирования с открытым исходным кодом, который разделен на 22 меньших набора данных^[4]. GPT-J похож на ChatGPT по возможностям, хотя он не работает как чат-бот, а только как предсказатель текста^[5]. В марте 2023 года Databricks выпустила Dolly, лицензированную Apache модель следования инструкциям, основанную на GPT-J с тонкой настройкой из набора данных Stanford Alpaca^[6].

GPT-J
Тип	большая языковая модель, открытое программное обеспечение, генеративный предобученный трансформер, авторегрессионная модель и Модель-основа[вд]
Лицензия	Apache License 2.0
Сайт	6b.eleuther.ai (англ.)