نموذج اللغة الكبير
من ويكيبيديا، الموسوعة encyclopedia
نموذج اللغة الكبير أو النموذج اللغوي الكبير[1] هو نوع من نماذج اللغة يتميز بقدرته على فهم وتوليد اللغة للأغراض العامة. يكتسب النموذج هذه القدرات باستخدام كم هائل من المعطيات لتعلم مليارات المعلمات أثناء التدريب واستهلاك موارد حسابية كبيرة أثناء التدريب والتشغيل.[2] نماذج اللغة الكبيرة هي شبكات عصبية اصطناعية ( أساسًا محولات[3]) وتُدرب (مسبقًا) باستخدام تعليم ذاتي الإشراف والتعلم شبه المراقب أو الموجه [لغات أخرى].
وبعدها نماذج لغة انحدارية ذاتية، فإنها تعمل عن طريق أخذ نص مُدخل والتنبؤ بشكل متكرر بالرمز أو الكلمة التالية.[4] حتى عام 2020 كان الضبط الدقيق أو الصقل هو الطريقة الوحيدة التي يمكن من خلالها تكييف النموذج ليكون قادرًا على إنجاز مهام محددة. ومع ذلك يمكن تصميم النماذج الأكبر حجمًا، مثل GPT-3 ، لتحقيق نتائج مماثلة.[5] يُعتقد أنهم يكتسبون معرفة مضمنة حول بناء الجملة وعلم الدلالات و«علم الوجود» المتأصل في مجاميع اللغة البشرية،ولكن عدم الدقة والتحيزات الموجودة في مجاميع اللغة البشرية أيضًا.[6]
من الأمثلة البارزة نماذج المحول المولد المسبق التدريب الخاصة بـ OpenAI (على سبيل المثال، GPT-3.5 وGPT-4 ، المستخدمة في ChatGPT)، و بالم من جوجل (المستخدمة في بارد)، و Meta غيرها.