التقطير

التقطير فكرته بسيطة: عندك نموذج ضخم يعرف الكثير لكنه بطيء ومكلف التشغيل، ونموذج صغير سريع ورخيص لكنه أقل ذكاء. التقطير يجعل النموذج الكبير يلعب دور المعلّم، والنموذج الصغير دور التلميذ. التلميذ لا يحفظ بيانات التدريب الأصلية من جديد، بل يتعلّم من إجابات المعلّم مباشرة: كيف يجيب، وكيف يوزّع ثقته بين الاحتمالات المختلفة.

كيف يحدث ذلك عمليًا؟ يمرّ الأمر بثلاث خطوات رئيسية:

• توليد الأمثلة: يجيب النموذج الكبير عن آلاف أو ملايين الأسئلة والمهام، فتتكوّن مكتبة ضخمة من الأسئلة مع إجاباتها النموذجية.
• تدريب التلميذ: يتدرّب النموذج الصغير على تقليد هذه الإجابات، لا على البيانات الخام الأصلية. هذا أسهل وأسرع من التدريب من الصفر.
• النتيجة: نموذج صغير يحتفظ بنسبة كبيرة من قدرات الكبير في المهام الشائعة، لكنه يحتاج عتادًا أقل ويستجيب أسرع.

أين يظهر هذا في حياتك؟ في كل مرة تستخدم نسخة سريعة أو مجانية من مساعد ذكي. النسخ الخفيفة من نماذج مثل "GPT" من OpenAI أو نماذج Claude الصغيرة من شركة Anthropic تعتمد غالبًا على تقنيات ضغط وتقطير حتى تعمل بتكلفة معقولة لملايين المستخدمين. وهو أيضًا السبب في أن تطبيقات كثيرة تعمل على هاتفك مباشرة دون إنترنت، لأن النموذج المقطّر صغير بما يكفي ليعمل على جهاز محدود الإمكانات.