
Large language models are neural network methods that learn to generate and predict human-like text from vast datasets.النماذج اللغوية الكبيرة الحديثة هي شبكات عصبية بمعمارية «المحوّل» (transformer)، تضم مئات الملايين إلى مئات المليارات من المعاملات. كل معامل هو رقم يؤثر على كيفية انتقال الإشارة من كلمة إلى أخرى. النموذج لا يخزن الكلمات، بل يحوّلها إلى متجهات من الأعداد — نقاط رياضية في فضاء متعدد الأبعاد للمعاني. التدريب المسبق يتم من خلال مهمة الإكمال التلقائي: حيث يقوم النموذج بتغطية الكلمات الناقصة أو التنبؤ بالكلمة التالية في التسلسل. يمكن بعد ذلك تدريبه على أمثلة متخصصة ليجري الحوارات، أو يحل المسائل، أو يكتب الشيفرات.
بدأ التاريخ مع نماذج n-gram الإحصائية (خمسينيات القرن العشرين)، ثم نماذج اللغة العصبية (Bengio et al.، العقد الأول من القرن الحادي والعشرين). كانت اللحظة المفصلية مع ورقة «الانتباه هو كل ما تحتاجه» (Attention Is All You Need) عام 2017، التي اقترحت معمارية المحول. أصدرت شركة OpenAI في 2018 النموذج GPT-1 بـ 117 مليون معامل، وفي 2020 النموذج GPT-3 بـ 175 مليار معامل، وأظهر أن النموذج يمكنه دون تدريب صريح أن يترجم ويبرمج ويستدل، بمجرد إعطائه تعليمات باللغة الطبيعية. منذ ذلك الحين، يدور السباق نحو زيادة النماذج حجمًا ورفع كفاءتها (مثل مزيج الخبراء، قوانين التوسع شينشيلا).
يستقبل النموذج نافذة سياقية من n رمزًا. يُسقط كل رمز إلى تضمين (embedding) ويُرمّز عبر طبقات من الانتباه الذاتي (self-attention layers)، منتجًا تمثيلات سياقية. في المخرج، يتنبأ مصنف خطي بتوزيع احتمالات الرمز التالي. يهدف التدريب إلى تقليل الانتروبيا المتقاطعة بين التنبؤ والرمز الحقيقي. عند التوليد، يُنتج النص عبر عيّنات متسلسلة من الرموز (عادةً باستخدام top-p أو top-k). التقنيات الأساسية: التدريب المسبق على نصوص غير معنونة، ثم التدريب التعليمي أو RLHF لضبط الفائدة والسلامة. تحسب آلية الانتباه أوزان التشابه بين الاستعلامات والمفاتيح لكل زوج من الرموز، مما يسمح بالتركيز على التبعيات البعيدة.
تكتب هذه النماذج الأخبار، وتؤلف الشعر، وتولّد الشيفرات البرمجية، وتجيب على أسئلة العملاء في المحادثات، وتساعد الأطباء في صياغة ملخصات من السجلات المرضية.
بإمكان GPT-3 كتابة مقال لا تستطيع لجنة تحكيم تمييزه عن مقال كتبه إنسان، وذلك في ثانيتين فقط — وهو الوقت الذي يحتاجه الإنسان فقط لفتح برنامج تحرير النصوص.















