تكلفة التوكن

تكلفة التوكن هي طريقة التسعير الأساسية في خدمات الذكاء الاصطناعي التوليدي. الشركات مثل "OpenAI" و"Anthropic" لا تحاسبك بالساعة ولا بعدد الأسئلة، بل بعدد التوكنات (وهي القطع الصغيرة التي يقسّم النموذج النص إليها، وقد تكون كلمة كاملة أو جزءًا من كلمة). كل توكن يدخل إلى النموذج أو يخرج منه له سعر محدد، يُحسب عادة لكل مليون توكن.

التسعير يفرّق بين نوعين من التوكنات:

• توكنات الإدخال: كل ما ترسله أنت للنموذج، من سؤالك إلى المستندات المرفقة والتعليمات. سعرها أرخص عادة.
• توكنات الإخراج: كل ما يكتبه النموذج ردًا عليك. سعرها أعلى، أحيانًا 3 إلى 5 أضعاف سعر الإدخال، لأن توليد النص يستهلك حوسبة أكبر.

في اللغة العربية تحديدًا، توجد مشكلة عملية: معظم النماذج تقسّم النص العربي إلى توكنات أكثر مقارنة بالنص الإنجليزي الذي يحمل المعنى نفسه. فالجملة العربية قد تستهلك ضعف عدد التوكنات، ما يعني تكلفة أعلى على المحتوى العربي في بعض النماذج. النماذج الأحدث حسّنت هذه النقطة، لكنها تبقى عاملًا يستحق الانتباه.

تظهر هذه التكلفة في حياتك بطريقتين: إذا كنت مستخدمًا عاديًا لتطبيق مثل ChatGPT، فأنت تدفع اشتراكًا شهريًا ثابتًا والشركة تتحمل التكلفة عنك. أما إذا كنت مطورًا أو صاحب مشروع يستخدم واجهة برمجة التطبيقات (طريقة ربط برنامجك بالنموذج مباشرة)، فستدفع فعليًا عن كل توكن، وهنا يصبح فهم هذا المصطلح مسألة مال حقيقي.