
اختبارات التقويم: كيف نعرف أن المساعد الذكي يؤدي عمله جيدًا؟
· مصطلح الذكاء الاصطناعي
Evaluations (Evals)
كيف نعرف أن المساعد يراجع الترجمة جيدًا؟ نعدّ أمثلة نعرف أخطاءها مسبقًا، ثم نرى ما اكتشفه وما فاته. هذه هي الفكرة الأساسية لاختبارات التقويم: الحكم على الأداء بأمثلة ومعايير واضحة، بدل الاعتماد على جمال جواب واحد.
نسخة تعليمية منقحة ·
الفكرة من خلال مثال
جرّب تمرينًا بسيطًا: ضع في ترجمة تدريبية تاريخًا مخالفًا للأصل، واسمًا ناقصًا، ومصطلحًا صحيحًا. اطلب من المساعد المراجعة، ثم قارن ملاحظاته بالأخطاء التي وضعتها. احسب أيضًا ما اعتبره خطأ وهو صحيح.
وفي الصحافة يمكن إعداد ملخص يتضمن نسبة قول إلى غير صاحبه، ثم اختبار قدرة المساعد على كشفها بالرجوع إلى المصدر. هذه أمثلة تعليمية مقترحة. نجاحها لا يثبت نجاح النظام في كل النصوص؛ لذا نوسع العينة بحسب العمل المطلوب.
ما المقصود باختبارات التقويم؟
تُستعمل كلمة Evals اختصارًا لـEvaluations، ويقابلها هنا «اختبارات التقويم»: مهام محددة يُفحص من خلالها أداء نظام الذكاء الاصطناعي وفق شروط نجاح معلنة. يبدأ الاختبار بمدخلات، ثم تُفحص النتيجة أو الإجراءات التي اتخذها النظام. ويعرض دليل Anthropic المنشور في 9 يناير 2026 بنية تضم حالات الاختبار ومحاولات التنفيذ وأدوات التصحيح وسجل الخطوات والحالة النهائية.
وهو دليل هندسي من المطوّر، لا شهادة مستقلة بجودة منتج معين. [1]
وقد يكون المطلوب كشف تاريخ مختلف بين نصين، أو استرجاع مرجع، أو إعداد مسودة دون إرسالها. المهم أن نعرف مسبقًا ما الذي نريد قياسه، وما الدليل الذي سيبرهن على النجاح. فإذا بقيت عبارة «جواب جيد» بلا تفسير، اختلف المصححون في تقديرها، وصعب معرفة ما إذا كان التعديل الأخير حسّن النظام فعلًا.
ما الفرق بين الاختبار والدرجة والترتيب؟
المقياس يلخص جانبًا من الأداء، مثل نسبة اكتشاف التواريخ المخالفة أو زمن إنجاز المهمة. أما مجموعة الاختبارات فتحدد الحالات التي حُسب عليها ذلك المقياس وشروط تشغيلها. ويمكن أن يحقق نظامان النسبة نفسها مع اختلاف نوع الأخطاء التي يرتكبانها، ولذلك لا يغني الرقم الإجمالي عن قراءة الحالات التي أخفقا فيها.
والاختبار المعياري المشترك يتيح مقارنة أنظمة ضمن مهام وإعدادات معينة، لكنه لا يثبت صلاحيتها لكل استعمال مهني. كما أن اختبارات البرمجيات التقليدية قد تتحقق من أن الملف فُتح أو أن الحقول موجودة، بينما يتطلب تقويم المعنى فحصًا آخر.
فلا يكفي نجاح العملية التقنية لإثبات أن الترجمة حافظت على النفي أو أن الملخص استبقى القيد المؤثر في الفهم.
لماذا نختبر الأفعال أيضًا؟
حين يكتفي النظام بصياغة نص، نراجع النص. وحين يستخدم أدوات ويعدل سجلات، نحتاج أيضًا إلى التحقق مما حدث في البيئة التي يعمل فيها. ويميّز دليل Anthropic بين سجل التنفيذ والنتيجة الفعلية؛ فقد يقول الوكيل إنه أنجز إجراءً، بينما لا توجد النتيجة المطلوبة في النظام. [1] وتزداد أهمية هذا الفرق كلما اتسعت صلاحياته.
وتوضح مقالة هندسية للشركة بتاريخ 5 فبراير 2026 أن إعدادات الموارد أثرت في نتائج اختبارات وكلاء البرمجة ضمن تجاربها. لا نعمم مقدار الأثر على مهام أخرى، لكن المثال يذكّر بأن الاختبار يقيس نظامًا يعمل في ظروف محددة، لا اسم النموذج منفصلًا عن أدواته ووقته وموارده. [2]
وهذا الاهتمام لا يجعل التقويم اختراعًا جديدًا. فقد عرض NIST في ملفه الخاص بالذكاء الاصطناعي التوليدي، المنشور في 26 يوليو 2024، إدماج اعتبارات الجدارة بالثقة في التصميم والاستخدام والتقويم ضمن إطار طوعي لإدارة المخاطر.
اعتمدنا ملخص الوثيقة وبيانات نشرها؛ وهي مرجع إرشادي، لا إثباتًا تجريبيًا لسلامة أداة بعينها. [3] ولا يزعم اختيار المصطلح هنا ترتيبًا إحصائيًا لرواجه.
مثال مهني: مساعد يراجع ترجمة إدارية
لنفترض أن مكتبًا يريد استخدام مساعد لكشف السهو والتفاوت الاصطلاحي بين أصل عربي وترجمة فرنسية. يبدأ الفريق بعينات تدريبية خالية من بيانات العملاء، يراجعها مترجم مختص ويحدد مواضع الخلل المقصودة. هذا سيناريو تحريري مقترح؛ لم ننفذ تجربة أو نقس تحسنًا في أداء مكتب معين.
تتضمن الحالات تاريخًا تغيّر عند النقل، وعبارة نفي سقطت، ومصطلحًا غير متسق، وصفحة ناقصة، وكلمة غير مقروءة. وتُضاف عينات صحيحة أيضًا، حتى نعرف هل يكتشف النظام الخلل أم يميل إلى إنتاج ملاحظات في كل الأحوال. فالإنذار الخاطئ قد يستهلك وقت المراجع، وقد يدفعه إلى إفساد ترجمة سليمة إذا وثق بالاقتراح دون فحص.
يُطلب من المساعد بيان الموضع والمشكلة والدليل والمقترح، مع إظهار ما لم يستطع التحقق منه. ثم يُفصل في التصحيح بين اكتشاف الخطأ، وصحة تفسيره، وصلاحية التعديل المقترح. فقد يلاحظ النظام اختلاف تاريخين ثم يقترح التاريخ الخطأ، أو يشير إلى سهو حقيقي دون تحديد موضعه بما يكفي للمراجعة.
وتُختبر حدود التفويض بصورة مستقلة. إذا كانت المهمة إعداد تقرير مراجعة، فلا يُعد تعديل الأصل أو إرسال الملف نجاحًا إضافيًا. ويُفحص سجل العمل والملفات الناتجة للتأكد من احترام النطاق. هكذا يصبح لدينا تقويم لجودة الملاحظات، وآخر للسلوك أثناء تنفيذ المهمة، بدل دمجهما في انطباع واحد.
من يصحح الاختبار؟
يمكن التحقق آليًا من أمور محددة، كوجود الحقول أو مطابقة تاريخ أو عدم تعديل ملف محمي. أما الحكم على دقة المعنى فيحتاج معيارًا يراعي السياق. وقد يساعد نموذج لغوي على فرز المخرجات، لكن استعماله مصححًا يضيف أداة ينبغي تقويمها هي الأخرى، ولا يحوّل أحكامها إلى مرجع نهائي.
درست ورقة للين شي وزملائه، منشورة ضمن أعمال IJCNLP-AACL في ديسمبر 2025، تحيز الموضع لدى نماذج تُستخدم للحكم على أجوبة أخرى. ويبين ملخصها أن ترتيب الأجوبة المعروضة قد يؤثر في الحكم، وأن الأثر يتفاوت بين النماذج والمهام. قرأنا الملخص وبيانات النشر، دون المتن كاملًا أو إعادة التجارب. [4]
في مثال الترجمة، يمكن مقارنة أحكام المصحح الآلي بعينة راجعها مختص، وتوثيق مواضع الاتفاق والاختلاف وأسبابهما. وإذا اختلف مترجمان، فقد يحتاج معيار التصحيح نفسه إلى توضيح. فبعض الاختلافات أسلوبية مقبولة، وبعضها يمس المعنى؛ والخلط بينهما يجعل الأداة تتعلم إرضاء ذوق المصحح بدل أداء المهمة المطلوبة.
كيف نختار أمثلة تمثل العمل؟
تُبنى مجموعة الاختبارات من أنماط العمل الفعلية، مع تمثيل الصيغ واللغات ودرجات الوضوح التي تهم المؤسسة. ولا ينبغي أن تقتصر على أمثلة سهلة أو أخطاء سبق أن تدرب النظام على تصحيحها. وتُحفظ حالات مستقلة لفحص التعديلات، حتى لا يصبح النجاح نتيجة تكييف التعليمات مع الأسئلة المحفوظة وحدها.
ومن المفيد التمييز بين ما فات المساعد اكتشافه وما نبّه إليه خطأً. كذلك تُعرض الأخطاء بحسب أثرها؛ فسقوط نفي يغيّر المعنى لا يساوي اختلافًا طفيفًا في علامات الترقيم. وقد يحجب المتوسط المرتفع إخفاقًا خطيرًا في فئة قليلة التكرار، ولذلك تُراجع النتائج حسب نوع الحالة، لا وفق النسبة العامة فقط.
وعند مقارنة نسختين، تُثبت العينة ومعيار التصحيح وإعدادات التشغيل قدر الإمكان. وإذا كان السلوك متغيرًا، تفيد المحاولات المتكررة في معرفة مدى استقراره. ويُسجل تعطل الأداة أو غياب المرجع بدل احتساب كل إخفاق قصورًا في الفهم. هذه احتياطات منهجية مقترحة تجعل النتيجة أقدر على تفسير ما يحتاج إلى تحسين.
متى يكون التوقف جوابًا صحيحًا؟
في العمل المهني، قد تكون الإجابة الصحيحة هي طلب الصفحة الناقصة أو التصريح بأن الكلمة غير مقروءة. فإذا كافأ الاختبار إكمال كل طلب، شجّع النظام على التخمين في المواضع التي تستلزم التوقف. لذلك ينبغي أن تتضمن الحالات أجوبة متوقعة من نوع «المعطيات لا تكفي»، مع تحديد ما يلزم لاستئناف العمل.
ولا يُترك الرفض عامًا حين يمكن بيان النقص بدقة.
كذلك تُقرأ النتيجة ضمن نطاقها. فإذا اختُبر المساعد على نصوص مطبوعة واضحة، فلا نستنتج من نجاحه أنه يحسن مراجعة مخطوطات باهتة أو وثائق من مجال آخر. الانتقال إلى لغة أو نوع ملف جديد يستدعي عينة مناسبة له، وقد يحتاج معيارًا مختلفًا.
ويجعل توثيق هذا النطاق التقرير مفيدًا للمستخدم: يعرف أين يمكن الاستعانة بالأداة، وأين تبدأ منطقة لم يتوفر بشأنها دليل كافٍ.
كيف نبدأ باختبار صغير؟
تختار المؤسسة مهمة ضيقة ومتكررة، ثم تكتب تعريفًا عمليًا للنجاح وحالات تستدعي التوقف أو الإحالة إلى الإنسان. وتجهز مجموعة أولية محدودة يستطيع المختص مراجعتها بعناية. الغاية في البداية كشف المشكلات وبناء معيار واضح، لا إعلان نسبة أداء عامة من عينة صغيرة.
بعد تجربة أولى، يُعد سجل بالأخطاء وأسبابها والتغييرات المقترحة. ويُغيَّر عنصر محدد ثم يُعاد الفحص، مع التأكد من أن إصلاح مشكلة لم يفسد حالات كانت ناجحة. كما تُحسب كلفة المهمة كاملة، بما فيها وقت المراجعة وإعادة العمل؛ فالجواب الأسرع قد لا يكون أوفر إذا احتاج إلى تصحيح واسع.
وتُضاف لاحقًا حالات جديدة مستخلصة من الإخفاقات الفعلية بعد تنقيتها من المعلومات الحساسة. وتبقى المراقبة أثناء الاستخدام ضرورية، لأن مجموعة الاختبارات لا تمثل جميع ما سيواجهه النظام. قيمة التقويم أنه يمنح المؤسسة دليلًا محددًا على حدود الأداء، ويجعل قرارات الاعتماد والتعديل والإيقاف قابلة للتفسير والمراجعة.