التوكن

التوكن هو الوحدة الأساسية التي تقرأ بها نماذج الذكاء الاصطناعي النصوص وتكتبها. النموذج اللغوي لا يرى الجملة كما نراها نحن، بل يقطّعها إلى أجزاء صغيرة تسمى توكنات. الكلمة القصيرة مثل "في" قد تكون توكنًا واحدًا، بينما كلمة طويلة مثل "الاستخدامات" قد تنقسم إلى 3 أو 4 توكنات. حتى المسافة وعلامة الاستفهام لها توكنات خاصة.

عندما تكتب سؤالًا في أداة مثل ChatGPT، يحدث الآتي خلف الكواليس:

• يقطّع النموذج نصك إلى توكنات، ويحوّل كل توكن إلى رقم يفهمه الحاسوب.
• يعالج هذه الأرقام ثم يتوقّع التوكن التالي الأنسب، واحدًا تلو الآخر.
• تتحوّل التوكنات الناتجة مرة أخرى إلى كلمات تظهر لك كإجابة.

ستصادف التوكن في حياتك العملية في موضعين رئيسيين. الأول هو حدود السياق: كل نموذج له سقف أقصى من التوكنات يستطيع قراءته وكتابته في المحادثة الواحدة، فإذا ألصقت مستندًا طويلًا جدًا قد يرفضه النموذج أو ينسى بدايته. والثاني هو التسعير: الشركات التي توفّر هذه النماذج للمطورين تحاسبهم بعدد التوكنات المستهلكة، لا بعدد الكلمات أو الرسائل.

نقطة مهمة للقارئ العربي: اللغة العربية تستهلك توكنات أكثر من الإنجليزية غالبًا، لأن معظم النماذج دُرّبت على نصوص إنجليزية بالأساس، فتقطّع الكلمات العربية إلى أجزاء أصغر وأكثر عددًا. النص العربي نفسه قد يكلّف ضعف نظيره الإنجليزي من التوكنات تقريبًا، والنسبة تختلف من نموذج لآخر.