بالاترین سوالات
زمانبندی
چت
دیدگاه
جی‌پی‌تی ۲
مدل زبانی تولیدگر متن ۲۰۱۹ از ویکی‌پدیا، دانشنامه آزاد
Remove ads
ترنسفورمر تولیدگر از پیش آموزش‌دیده ۲ (به انگلیسی: Generative Pre-trained Transformer 2) یا به اختصار جی‌پی‌تی ۲ (به انگلیسی: GPT-2) یک مدل زبانی بزرگ هوش مصنوعی متن‌باز است که توسط اوپن‌ای‌آی در فوریه ۲۰۱۹ منتشر شد. جی‌پی‌تی ۲ متن را ترجمه می‌کند، به سؤالات پاسخ می‌دهد و پاراگراف‌ها را خلاصه می‌کند و گاهی متنی را تولید می‌کند که تشخیص غیرانسانی بودن آن دشوار است ولی در هنگام ایجاد پاسخ‌های زیاد ممکن است پاسخ‌های تکراری یا بی‌معنی ارائه دهد. این مدل زبانی یک یادگیرنده همه منظوره است که حتی می‌تواند برای کارهایی که آموزش ندیده، توانایی‌هایی از خود نشان دهد. جی‌پی‌تی ۲ بدون دریافت ویژگی خاص، مستقیما از مدل زبانی جی‌پی‌تی-۱ در سال ۲۰۱۸ ایجاد شد که با افزایش ده برابری در تعداد پارامترها و اندازه مجموعه داده آموزشی آن همراه بود.
جی‌پی‌تی ۲ معماری ترنسفورمر تولیدگر از پیش آموزش‌دیده را دارد که یک شبکه عصبی مصنوعی یادگیری عمیق است که از سازوکار توجه به جای معماری‌های مبتنی بر تکرار و پیچیدگی قبلی استفاده می‌کند. سازوکارهای توجه به مدل اجازه می‌دهد تا به‌طور انتخابی بر بخش‌هایی از متن ورودی که پیش‌بینی می‌کند مرتبط‌ترین است، تمرکز کند. این مدل امکان افزایش موازی سازی را فراهم می‌کند و از معیارهای قبلی برای مدل‌های مبتنی بر RNN/CNN/LSTM بهتر عمل می‌کند.
اوپن‌ای‌آی نسخه کامل مدل زبان جی‌پی‌تی ۲ (با ۱٫۵ میلیارد پارامتر) را در نوامبر ۲۰۱۹ منتشر کرد.
Remove ads
منابع
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads