Generative pre-trained transformer

Generative pre-trained transformer (GPT, укр. породжувальний попередньо тренований трансформер,^[1] також генеративний попередньо тренований трансформер,^[2] рідше породжувальний попередньо натренований трансформер^[3]) — варіант «штучного інтелекту»^[4][5] — це сімейство мовних моделей, які зазвичай навчаються на великому корпусі текстових даних для створення тексту, схожого на текст людини. Вони побудовані з використанням декількох блоків трансформної архітектури. Їх можна точно налаштувати для виконання різноманітних завдань обробки природної мови, таких як генерація тексту, переклад мови та класифікація тексту. «Попереднє навчання» в його назві означає початковий процес навчання на великому текстовому корпусі, під час якого модель вчиться передбачати наступне слово в уривку, що забезпечує надійну основу для успішної роботи моделі в наступних завданнях з обмеженою кількістю даних, що стосуються конкретного завдання.

Модель GPT

Застосування

• ChatGPT (Chat Generative Pre-trained Transformer)^[6] — це чат-бот, запущений OpenAI у листопаді 2022 року. Він використовує GPT-3.5 і налаштований (підхід до перенесення навчання)^[7] як на кероване навчання, так і на навчання з підкріпленням.
• BioGPT — це GPT, який фокусується на відповідях на біомедичні запитання.^[8] Він розроблений Microsoft.^[9]
• ProtGPT2 — це GPT, який зосереджується на білковому дизайні.^[10]

Історія

Докладніше: OpenAI

11 червня 2018 року OpenAI опублікувала статтю під назвою «Покращення розуміння мови за допомогою генеративного попереднього навчання», в якому вони представили Generative Pre-trained Transformer (GPT).^[11] На той момент найефективніші нейронні моделі НЛП переважно використовували кероване навчання з великих обсягів даних, позначених вручну. Ця залежність від керованого навчання обмежувала їхнє використання в наборах даних, які не були добре анотованими, а також робила навчання надзвичайно великих моделей надто дорогим і трудомістким;^[11][12] багато мов (наприклад, суахілі чи гаїтянська креольська) важко перекладати та інтерпретувати за допомогою таких моделей через брак доступного тексту для побудови корпусу.^[12] На відміну від цього, «напівкерований» підхід GPT включав два етапи: некерований генеративний етап «попереднього навчання», на якому мета моделювання мови використовувалася для встановлення початкових параметрів, і керований етап дискримінаційного «тонкого налаштування», на якому ці параметри були адаптовані до цільового завдання.^[11]

Версії GPT

	Архітектура	Кількість параметрів	Тренувальні дані	Дата релізу	Вартість тренування
GPT-1	12-level, 12-headed Transformer decoder (no encoder), followed by linear-softmax.	0,12 млрд	BookCorpus:[13] 4,5 ГБ тексту з 7000 невиданих книг різних жанрів	11.06.2018	1 місяць на 8 GPU (1.7e+19 FLOP)
GPT-2	GPT-1, але з модифікованою нормалізацією	1,5 млрд	WebText: 40 ГБ тексту, 8 млн документів, 45 млн вебсторінок з позитивними оцінками на Reddit	14.02.2019 (обмежена версія) / 05.11.2019 (повна версія)	Десятки петафлопс/s-day (1.5e+21 FLOP)
GPT-3	GPT-2, but with modification to allow larger scaling.	175 млрд	570 ГБ звичайного тексту, 0,4 трлн токенів. Переважно CommonCrawl, WebText, Англійська Вікіпедія та два корпуси книг (Books1 and Books2)	28.05.2020	3640 петафлопс/s-day (3.1e+23 FLOP)
GPT-3.5	Засекречена	175 млрд	Інформація засекречена	15.03.2022	Інформація засекречена
GPT-4	Засекречена	Невідомо	Інформація засекречена	14.03.2023	Інформація засекречена (орієнтовно 2.1e+25 FLOP)

Див. також

• Конструювання підказок
• Породжувальний штучний інтелект