ما هي الرموز Tokens ونافذة السياق في نماذج الذكاء الاصطناعي؟
الرموز هي القطع الصغيرة التي يقرأ بها النموذج النص ويكتبه، ونافذة السياق هي كمية النص التي يستطيع أن «يتذكرها» في المحادثة الواحدة.
الرمز (Token) قطعة صغيرة من النص، قد تكون كلمة أو جزءًا من كلمة أو علامة ترقيم، وبها يقرأ النموذج ويكتب ويُحسب سعر الاستخدام. نافذة السياق (Context Window) أقصى عدد من الرموز يستطيع النموذج التعامل معه مرة واحدة، أي سؤالك والمحادثة السابقة والملفات والإجابة معًا.
محتويات المقال
ما هو الرمز Token؟
النموذج اللغوي لا يقرأ الحروف واحدًا واحدًا، ولا الكلمات كاملة دائمًا. يقطّع النص إلى رموز (Tokens): قطع متكررة شائعة. الكلمة الشائعة قد تكون رمزًا واحدًا، والكلمة النادرة أو الطويلة قد تُقسَّم إلى عدة رموز.
مثال تقريبي لتقطيع جملة إنجليزية:
I love learning → [I] [ love] [ learning]
unbelievable → [un] [believ] [able]كل رمز يتحول إلى رقم، والنموذج يتعامل مع هذه الأرقام. ويكتب الإجابة رمزًا بعد رمز كما شرحنا في ما هو النموذج اللغوي الكبير.
لماذا تستهلك العربية رموزًا أكثر غالبًا؟
أدوات التقطيع بُنيت على بيانات أغلبها إنجليزي، فالكلمات الإنجليزية الشائعة تأخذ رموزًا أقل. العربية لغة غنية بالاشتقاق والسوابق واللواحق («وسيكتبونها»)، فتُقسَّم كلماتها غالبًا إلى رموز أكثر. النتيجة: النص العربي نفسه قد يستهلك رموزًا أكثر من ترجمته الإنجليزية، والفرق يختلف من نموذج لآخر، والنماذج الأحدث تحسنت في ذلك.
ما هي نافذة السياق؟
نافذة السياق (Context Window) أقصى عدد من الرموز يستطيع النموذج النظر إليها في المرة الواحدة. يدخل فيها:
- التعليمات الخفية التي يضعها التطبيق.
- كل المحادثة السابقة.
- الملفات والنصوص التي ترفعها.
- الإجابة التي يكتبها.
تخيلها سطح مكتب: ما عليه يستطيع النموذج رؤيته، وما سقط عنه لم يعد يراه. النماذج الحديثة لديها نوافذ كبيرة جدًا تتسع لكتب كاملة، لكنها تبقى محدودة.
ماذا يحدث عندما تطول المحادثة؟
- التطبيق قد يحذف أو يلخص الأجزاء القديمة ليفسح المكان، فينسى النموذج تفاصيل ذكرتها في البداية.
- حتى داخل النافذة، قد يهمل النموذج معلومات في منتصف نص طويل جدًا أكثر من التي في أوله وآخره.
- تصبح الإجابات أبطأ وأغلى.
لماذا تهم الرموز في السعر؟
إن كنت تستخدم النماذج عبر الواجهة البرمجية API، يُحسب السعر غالبًا لكل مليون رمز، بسعر للرموز الداخلة (سؤالك والسياق) وسعر أعلى عادة للرموز الخارجة (الإجابة). لذلك:
- المحادثة الطويلة تكلف أكثر، لأن السياق كله يُرسل مع كل رسالة جديدة.
- الإجابات الطويلة تكلف أكثر.
- النص العربي قد يكلف أكثر قليلًا من الإنجليزي للمحتوى نفسه.
لوحة التحكم في هذا الموقع مثلًا تحسب تكلفة كل مقال من عدد الرموز الداخلة والخارجة.
الأسئلة الشائعة
كم كلمة يساوي الرمز؟
في الإنجليزية تقريبًا ثلاثة أرباع كلمة للرمز الواحد في المتوسط. في العربية الرقم مختلف ويعتمد على النموذج، فلا تعتمد على رقم ثابت.
هل نافذة السياق الكبيرة تعني ذاكرة دائمة؟
لا. نافذة السياق للمحادثة الحالية فقط. بعض التطبيقات تضيف ميزة «ذاكرة» منفصلة تحفظ معلومات بين المحادثات.
لماذا يقطع النموذج إجابته في المنتصف؟
لأنه وصل إلى حد أقصى لطول الإجابة. اكتب «أكمل» أو اطلب تقسيم الإجابة إلى أجزاء.
الخلاصة
- الرمز قطعة صغيرة من النص يقرأ بها النموذج ويكتب ويُحسب بها السعر.
- العربية تستهلك غالبًا رموزًا أكثر من الإنجليزية للمعنى نفسه.
- نافذة السياق حد لما يراه النموذج مرة واحدة، فابدأ محادثة جديدة للمواضيع الجديدة.
أدوات مجانية تفيدك هنا
لم تجد ما تبحث عنه؟ اسأل المساعد التقني
المصادر
كاتب تقني ومؤسس موقع آي تي العرب، أشارك شروحات تقنية عربية واضحة ومجربة لمساعدة المستخدمين على فهم التكنولوجيا وحل المشكلات التقنية بخطوات عملية وسهلة التطبيق. أهتم بمجالات الذكاء الاصطناعي، تحسين محركات البحث (SEO)، وإدارة المواقع والتقنيات الحديثة.
كيف نكتب ونراجع
