تحليل تحريري حصري من AI KSA — 17 أكتوبر 2026. نفحص في هذه المادة نتائج دراسة بحثية أولية جديدة عن اللهجة السعودية، ونقارن منهجيتها بإطار أكاديمي منشور في 2025. هذه قراءة تحليلية لنتائج باحثين مستقلين؛ ولم تُجرِ AI KSA الاختبارات المذكورة. كما أن دراسة 2026 متاحة كمسودة بحثية أولية (Preprint)، وليس لدينا ما يثبت خضوعها لمراجعة الأقران حتى تاريخ الكتابة.
قد يكتب مساعد ذكي عبارة «أبشر يا الغالي» بشكل طبيعي، ثم يفشل في فهم أن العميل يقول «السعر شوي قوي» اعتراضًا مهذبًا على السعر، وليس رفضًا قاطعًا للمنتج. هذه المسافة بين طلاقة اللهجة وفهم المقصد الاجتماعي ليست مجرد انطباع؛ إذ صمم باحثون اختبارات تقيسها بدل الاكتفاء بفصاحة الجمل.
النتيجة الأبرز: الخطأ في تأطير المعنى قد يكون أهم من اختراع الحقائق
في 30 أغسطس 2026، نُشرت على arXiv مسودة بحثية بعنوان Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models. استخدمت الدراسة 31 مطالبة كتبها خبراء عن التعبيرات والمقاصد والمعاني المعجمية والسياق الثقافي السعودي، ثم قارنت أربعة أنظمة محددة في 124 حالة اختبار، ورصدت 466 حالة خطأ موزعة على تسع فئات.
ذكر الباحثون أن المتوسطات الكلية الأربعة تجمعت بين 42.7% و53.1% وفق آلية التقييم المستخدمة لديهم، ولم يتجاوز أي من النماذج المختبرة 55%. هذه ليست «نسب ذكاء» عامة؛ بل درجات داخل مجموعة صغيرة ومحددة من المطالبات والمعايير.
المثير للاهتمام أن فئة التأطير الملتبس (Ambiguous Framing) شكلت 37.3% من الأخطاء المرصودة، بينما كانت فئة اختلاق المعلومات (Hallucination) نحو 11.2% منها. إذًا لا يظهر الخلل دائمًا في معلومات مكذوبة؛ فقد يكون الرد لغويًا صحيحًا لكنه يسيء تفسير قصد المتحدث أو يبسّط تلميحًا اجتماعيًا مهمًا.
ماذا اختبر الباحثون؟
- الأمثال والعبارات الاصطلاحية: هل يفهم النموذج المقصود بدل تفسير الكلمات حرفيًا؟
- المقاصد الاجتماعية: هل يميز التلميح من الطلب المباشر والاعتراض المهذب من الرفض؟
- المفردات المحلية: هل يختار المعنى الصحيح وفق السياق السعودي؟
- السياق الثقافي: هل ينتبه إلى العادات والخصوصية المحلية دون تعميم أو تنميط؟
اختارت الدراسة معايير تصحيح مستقلة عن هوية كل نموذج، ثم أضافت عقوبات على الأخطاء التي أدخلتها الإجابات. يختلف هذا عن سؤال النموذج نفسه أن يقيم نفسه، وهو إجراء لا يضمن الحياد.
لماذا لا تكفي هذه الدراسة لإعلان فائز نهائي؟
- حجم الاختبار 31 مطالبة فقط، وليس عينة شاملة لجميع المواقف السعودية.
- النماذج المختبرة هي Claude Opus 5 وGemini 3.7 وGPT-5.6 وKimi K3 وقت الدراسة، ولا تمثل تلقائيًا الإصدارات الأحدث.
- أسلوب العقوبات ومعايير التحكيم يؤثران في ترتيب النتائج؛ لذلك يجب معرفة طريقة التقييم قبل مقارنة أرقام من دراسات مختلفة.
- هذه المادة البحثية مسودة أولية، وقد يطرأ عليها تعديل أو مراجعة قبل أي نشر محكم.
- لا يمكن تعميم نتائج مجال اللهجة على السلامة الطبية أو الدقة البرمجية أو جودة البحث العلمي.
دراسة سعودية أخرى: أسئلة الثقافة والمعرفة المحلية
في مؤتمر ArabicNLP 2025، قدم فريق بحثي بقيادة منال الحسون Saudi-Alignment Benchmark الذي يضم 874 سؤالًا اختيرت يدويًا في القيم والأعراف والمعرفة السعودية. وجد الباحثون فروقًا واسعة بين النماذج التي شملتها الدراسة، وبين أسئلة الخيارات والإجابات المفتوحة.
في نتائج ذلك الاختبار تحديدًا، سجل GPT-4 نسبة 83.3%، وALLaM-7B نحو 81.8%، وLlama-3.3-70B نحو 81.6%، في حين سجّل Jais-30B نحو 21.9%. هذه الأرقام تخص نماذج وإعدادات وتاريخ الاختبار عام 2025، ولا يجوز مقارنتها مباشرة بدرجات دراسة 2026 أو استخدامها لإعلان أفضل خدمة متاحة اليوم.
استنتاج AI KSA: ثلاثة مستويات ينبغي فصلها
المستوى الأول: الطلاقة اللغوية
هل يستطيع النموذج تركيب جملة عربية سليمة أو إعادة صياغة رسالة باللهجة السعودية؟ هذا المستوى ظاهر وسهل التقييم نسبيًا.
المستوى الثاني: فهم المقصد
هل استنتج لماذا اختار المتحدث عبارة غير مباشرة؟ عبارة «ما قصرت» قد تكون شكرًا صريحًا أو تحمل نبرة مختلفة حسب السياق. لا يكفي التعرف على الكلمات إن فُقدت العلاقة بين المتحدثين.
المستوى الثالث: سلامة القرار العملي
هل يستطيع تقديم رد تجاري ملائم من دون وعد بخصم أو شحن أو موعد أو حكم قانوني غير معتمد؟ حتى مع فهم اللهجة جيدًا، قد يظل النموذج بحاجة إلى مراجعة بشرية وبيانات حقيقية.
تطبيق على متجر سعودي: ثلاثة اختبارات مقترحة
هذه الأمثلة من إعداد AI KSA لتوضيح كيفية استخدام الفكرة، وليست جزءًا من عينة الباحثين الأصلية، ولم نجرِ مقارنة فعلية بين النماذج باستخدامها.
الحالة الأولى: اعتراض على السعر
العميل: «القطعة عجبتني، بس السعر شوي قوي». اشرح المقصود بعبارة واحدة، ثم اقترح ردًا ودودًا دون تقديم تخفيض غير مصرح به.
معيار الفهم: يدرك النموذج أن العميل معجب بالقطعة لكنه يرى السعر مرتفعًا، مع بقاء فرصة التفاوض أو تقديم شرح القيمة؛ لا يقول إن البيع أُغلق ولا يعرض خصمًا من تلقاء نفسه.
الحالة الثانية: ترتيب الأفعال
العميل: «إذا لقيت المقاس ميديوم، علمني قبل لا ترسل الطلب». حدد المطلوب وتسلسل الخطوات.
معيار الفهم: البحث عن المقاس أولًا، وإبلاغ العميل قبل الشحن، وعدم اعتبار الرسالة موافقة مطلقة على إرسال أي مقاس.
الحالة الثالثة: الاعتراف بما لا يُعرف
العميل: «كم ياخذ التوصيل لجدة؟» وليس لديك جدول شحن في النص. اكتب ردًا مهذبًا دون اختراع وقت أو سعر.
معيار الفهم: طلب البيانات اللازمة أو الإحالة إلى سياسة الشحن الفعلية، وعدم ملء الفراغ بأرقام تخمينية.
بطاقة تقييم مقترحة للمتجر
هذه أداة عمل مقترحة من AI KSA وليست معيار الدراسة العلمية: امنح من صفر إلى 4 نقاط لكل من فهم اللهجة، وفهم قصد العميل، والتزام حدود المعلومات، وملاءمة الرد، وسلامة التعامل. المجموع من 20 نقطة للحالة الواحدة. قارن النتائج عبر عدة حالات متعددة وبمراجعين مستقلين، ولا تختزل الأمر في محادثة واحدة.
ما الذي يحتاجه الاختبار المستقبلي لـ AI KSA؟
- تثبيت 25 مطالبة أصلية قبل إجراء أي مقارنة، وعدم تعديلها بسبب النتائج.
- التأكد من أسماء النماذج والإصدارات وإعدادات البحث والتفكير لكل خدمة.
- إجراء محاولتين لكل حالة، وتوثيق نصوص الإجابات وتواريخ الاختبار.
- تحكيم بشري يعتمد معايير مكتوبة مسبقًا مع تسجيل الاختلاف بين المقيمين.
- نشر النتائج مع قيودها وبياناتها الأصلية، وعدم الخلط مع نتائج الدراسات الأكاديمية السابقة.
سبق أن أعددنا بروتوكول مقارنة داخلي سيُطبّق عند توفر إمكانية الحصول على ردود الخدمات المختلفة بصورة موثقة. وحتى ذلك الحين لا نزعم أن لدينا درجات أصلية للنماذج الخمسة.
الخلاصة
تكشف الدراسات أن «الكلام باللهجة» ليس مرادفًا لـ«فهم المجتمع». الطلاقة قد تخفي أخطاء في استيعاب التلميحات والمقاصد، كما أن اختبارات الاختيار من متعدد لا تقيس وحدها جودة الردود المفتوحة. الأهم لصاحب متجر أو مؤسسة سعودية هو اختبار السيناريوهات الواقعية ضمن سياقها، واعتماد المراجعة البشرية عندما يؤثر الخطأ في العميل.
المراجع الأصلية
- Al-Sumaidaee et al. (2026): Beyond Fluency — نسخة أولية على arXiv.
- Alhassoun et al. (2025): Saudi-Alignment Benchmark — ACL Anthology.
- Altakrori et al. (2026): DialectalArabicMMLU — LREC.
إفصاح منهجي: الأصالة هنا في الشرح والتحليل التحريري وأمثلة التطبيق التي صاغها AI KSA، أما مجموعات البيانات والأرقام ونتائج النماذج فهي من عمل أصحاب الدراسات المذكورة. لا ينبغي نسبة قياسات الباحثين إلى فريق المدونة.
