تسجيل نقاط اختبار الأداء المرجعي

المرجع الذهبي

يحتاج التقييم إلى شيء يُقيَّم مقابله. يحمل كل سيناريو مخرجًا مرجعيًا: الإجابة الصحيحة لكيانه الثابت الوحيد. أنشئه بالتوليد باستخدام نماذج قوية (بحث ويب + مستند مصدر موثوق)، أو بلصق نتيجة معروفة الجودة، ثم تعديلها يدويًا — وضع عليها علامة مُتحقَّق منه بمجرد أن تثق بها. المرجع المُتحقَّق منه مطلوب لإجراء الاختبار المرجعي للسيناريو من الأساس، لذا يوجد دائمًا ما يُقيَّم مقابله. وإذا عدّلت المرجع لاحقًا — أو غيّرت إعداد تقييم السيناريو — فستُوسم النتائج الحالية بأنها قديمة حتى تعيد التقييم.

كيف تُقارَن القيم

المشكلة الأساسية: يمكن كتابة إجابتين صحيحتين بطريقتين مختلفتين. فالنموذج الذي يسمّي ممثلاً ”R. Downey Jr.“ بدلاً من ”Robert Downey Jr.“ ليس مخطئًا. لذا تُقارن كل حقل بسلّم متدرّج — الأرخص والأكثر يقينًا أولاً، مع التصعيد عند الحاجة فقط:

يتحكم إعداد الصرامة في عتبة التضمين: فالقيمة الأعلى تعني أن على قيمتين مكتوبتين بشكل مختلف أن تكونا أكثر تشابهًا لتُعدّا متطابقتين. تُضبط الصرامة، ونموذج الحَكَم الاختياري، ونموذج التضمين جميعها على السيناريو — لا يُختار ذلك في كل مرة تُقيّم فيها — بحيث يُقيَّم كل نموذج بالطريقة نفسها وتبقى الدرجات قابلة للمقارنة.

تقييم المصفوفات (قوائم العناصر)

القوائم — طاقم عمل فيلم، أو الآثار الجانبية لدواء — هي المكان الذي تختلف فيه النماذج أكثر ما يكون: فقد يجد نموذج صغير 4 ممثلين بينما يجد نموذج قوي 15. الترتيب لا يهم، ويجب أن يفوز إيجاد عددٍ أكبر من العناصر الصحيحة. لذا تُقيَّم المصفوفات بوصفها مجموعة، وليس موضعًا بموضع:

• يُطابَق كل عنصر مرشّح بعنصر مرجعي وفق التدرّج ذاته المُتّبع مع الحقول، من الأرخص أولاً: عبر حقله المفتاحي، ثم عبر النص المتطابق، ثم عبر تشابه التضمين، وأخيراً — لما تبقّى من العناصر المُعاد صياغتها — عبر استدعاء واحد لـ محاذاة المجموعات بواسطة LLM يصفّ العناصر المتبقية دفعة واحدة (فقط عندما يتضمّن السيناريو مُحكّماً).
• الاستدعاء يكافئ التغطية — إيجاد 15 من 15 أفضل من 4 من 15.
• الدقة تعاقب العناصر المختلقة — يؤدي إضافة ممثل مُهلوَس إلى خفض النتيجة.
• F1 يجمع بين الاثنين، ويُسجَّل كل زوج متطابق حقلًا حقلًا، لذا فإن ‘الفاعل الصحيح بدور خاطئ’ يظل محسوبًا ضدك.

وسّع صفّ نتيجة لترى بدقة العناصر التي تمت مطابقتها أو فُقدت أو كانت هلوسة.

قراءة الدرجة

الرقم الواحد يخفي الكثير، لذا تحمل كل نتيجة درجات فرعية:

• الاكتمال — هل ملأ النموذج ما ملأه المرجع؟ (البيانات الناقصة تضر بهذا)
• الصحة — مما ملأه، كم منه صحيح؟
• الهلوسة — كم اختلق مما لا يدعمه المرجع؟
• الإجمالي — مزيج مرجَّح، مع ترجيح أكبر لحقول المعرّف (المفتاح).

يعرض الصف القابل للتوسيع التفصيل على مستوى كل حقل: المرشّح مقابل المرجع، وأيّ درجة من السلّم حسمت النتيجة، ودرجة التشابه حيثما كان ذلك مناسبًا.

الجودة ثلث الحكاية فقط. فحين يغذّي معيار قياس اختيارَ النموذج — بوصفه مصدر تقييم — تنشأ مرتبة النموذج من مزج الجودة والسرعة والتكلفة، وهذه النسبة قرارك أنت: اضبطها لكل نوع سيناريو من الإعدادات ← المؤسسة ← الإعدادات الافتراضية، بحيث يبلغ مجموع كلٍّ منها 100، وتُقسَّم بالتساوي افتراضيًا. أعطِ التكلفة وزنًا كبيرًا يتفوّق نموذج رخيص ومقبول على آخر ممتاز وباهظ — وهو الجواب الصحيح لبعض أحمال العمل والخاطئ لغيرها، لذا تمتنع المنصة عن حسم ذلك نيابةً عنك.

عندما يُشغّل السيناريو نموذجًا أكثر من مرة (تكرارات)، تُقيَّم كل عملية تشغيل على حدة ويعرض الصف متوسط الجودة بالإضافة إلى نطاق الاتساق (أدنى–أعلى قيم عمليات التشغيل) — بحيث يسهل رصد النموذج الصحيح في المتوسط لكنه متذبذب. والمُخرَج المرئي هو عملية التشغيل ذات الجودة الوسيطة.

تقييم الاختبارات المرجعية للتوليد

لا يقتصر قياس الأداء على الإثراء: يمكن للسيناريو أيضًا اختبار توليد العينة (يختلق كل نموذج مثال JSON لنوع كيان) أو توليد المخطط (يحوّل كل نموذج عينة ثابتة إلى مخطط). ولكلٍّ قواعد تقييمه الخاصة:

• توليد العيّنات لا يملك إجابةً ذهبيةً واحدة لمثيلٍ مُختلَق، لذا فإن الجودة مزيجٌ بنسبة 50/50 من الشمولية ودليل تقييم. تحسب الشمولية الخصائص المتمايزة في العيّنة (الخاصية المتكررة عبر عناصر المصفوفة تُحسب مرة واحدة)، وتحتفظ فقط بالحصة المتعلقة بالموضوع منها وفق تقييم الحَكَم (الحشو مثل الكيانات غير المرتبطة المضمّنة لا يُحتسب)، وترجّحها بحسب الصحة المُقيَّمة، وتقارنها بمتوسط أفضل نموذج لكل تشغيل — مع تخميدٍ بالجذر التربيعي، بحيث لا يهيمن الحجم الخام وحده ولا قيمةٌ شاذة مفرطة الإسهاب. أما دليل التقييم فهو درجات الحَكَم المجمّدة لجودة التسمية والبنية، وواقعية القيم — بما في ذلك إمكانية تتبّعها إلى مستند المصدر عند إرفاق واحد — وأمان الحتمية في تصميم الخصائص المُولَّدة. ولأن الشمولية نسبيةٌ إلى نتائج السيناريو الأخرى — كما هي درجات السرعة والتكلفة، التي تقارن الوقت والتكلفة لكل خاصية مُولَّدة — فإن إضافة نموذج أو إعادة تشغيله تعيد ضبط الأساس لكل صف. لا حاجة إلى مرجعٍ للتشغيل.
• توليد المخطط يُقارَن بمخطط مرجعي ذهبي مُتحقَّق منه يدويًا: تُطابَق الخصائص بالاسم، ثم بتشابه التضمين، ثم بالمحكّم؛ ويُقيَّم كل تطابق وفق النوع/الشكل، والأعلام السلوكية (المفتاح، القابل للإفراغ، متعدد اللغات، الحفظ)، وجودة الوصف؛ الخصائص المرجعية المفقودة تضرّ بالتغطية، والإضافات المُختلَقة تُحتسب هلوسة، وتُقارَن مجموعة مجالات الخبرة بالعضوية (أسماء المجالات لا تهمّ).

في كلتا الحالتين تحتفظ الأعمدة المألوفة بمعناها — مرّر المؤشّر فوق رأس العمود للحصول على التعريف الخاص بالنوع، ووسّع صفًا لعرض التفصيل الكامل.

التكلفة وما يتم تشغيله

التقييم عملية منفصلة تُجرى على النتائج المحفوظة مسبقًا — فهو لا يُعيد الإثراء أبدًا، وبالتالي لا يُعيد الدفع مقابل النماذج قيد الاختبار. لكنه يُضمّن النص لمقارنة القيم (ويُشغّل الحَكَم، إن كان لدى السيناريو واحد)، وهو ما يخصم أرصدة بناءً على الاستخدام. يحدث هذا تلقائيًا خلال كل تشغيل — إذ يُقيَّم كل نموذج فور انتهاء عمليات تشغيله — ومجددًا في كل مرة تُعيد فيها التقييم. إذا لم يكن لدى مؤسستك نموذج تضمين مُهيّأ (ولم يُحدّد السيناريو تجاوزًا)، فإن التقييم يستمر مع الرجوع إلى المطابقة التامة فقط (فتُحتسب التهجئات البديلة عندئذٍ عدم تطابق)، ويُنبّه بذلك. أما تعطّل الحَكَم فأمر مختلف: إذا فشل استدعاء الحَكَم، يتوقف التقييم بخطأ صريح ولا يحتفظ النموذج المتأثر بأي درجات جزئية — فالنتيجة إما مُقيَّمة بالكامل أو غير مُقيَّمة إطلاقًا، وتبقى قابلة لإعادة التقييم لاحقًا. عند اختيار الحَكَم، لاحظ أن حُكّام الـ LLM قد يحابون عائلة نموذجهم الخاصة — يُفضَّل اختيار حَكَم من مزوّد لا تُجري عليه قياس الأداء.

أين تجده

في إدارة النماذج ← المعايير المرجعية، اضبط مرجعًا وتحقق منه في محرر السيناريوهات (واختر هناك نموذج التحكيم، ونموذج التضمين، ومستوى الصرامة). من ذلك الحين، يقيّم كل تشغيل تلقائيًا نتائجه الناجحة — إذ يُملأ عمود الجودة القابل للفرز دون أي خطوة إضافية. استخدم إعادة تقييم النتائج (زر الترويسة أو قائمة ···) لإعادة التقييم بعد تعديل المرجع أو إعدادات التقييم.