تم التحقق من المصادر في 12 أكتوبر 2026.
على شاشة العرض في اجتماع لاختيار مساعد ذكي لفريق المشتريات، يبدأ الاختبار بحالة تبدو مألوفة. يرفع المورّد ثلاثة عروض، فتظهر مقارنة مرتبة وتوصية واضحة خلال دقائق. يعرف الحاضرون كم يستغرق إعداد هذه المقارنة عادة، فيبدو القرار سهلًا. بعد بدء التجربة، يصل عرض بعملة مختلفة، وآخر يستثني خدمة أساسية، وثالث تغيّر موعد تسليمه في رسالة منفصلة. ما زالت المقارنة جميلة، لكن الموظف يعيد بناءها ليتأكد مما دخل في الحساب.
هذا مثال افتراضي، لكنه يضع مسؤول الشراء أمام سؤال محدد: أي جزء من العمل أثبت العرض أن النظام يستطيع إنجازه؟ العثور على الأرقام، أم فهم الاستثناءات، أم تسليم مقارنة تصلح لاتخاذ قرار؟ تحتاج كل إجابة إلى اختبار مختلف. وإذا ظل تعريف النجاح غامضًا، فقد ينتهي التقييم إلى قياس ما يجيد النظام عرضه، بينما يتحمل الفريق تكلفة ما بقي ناقصًا.
اقرأ اسم المقياس قبل الرقم
في إعلان GLM-Legal بتاريخ 12 أكتوبر 2026، أوردت Z.ai نسبة اجتياز كامل بلغت 19.2% على معيار Harvey LAB، بزيادة 12.5 نقطة مئوية عن النموذج الأساسي. هذه نتيجة منشورة من المورّد، وليست تحققًا مستقلًا من الأداء داخل شركتك. كما يصف الإعلان تطوير النموذج وبيئة تشغيل الوكيل معًا؛ لذلك لا يصح نسبة التحسن كله إلى النموذج وحده. [1]
ويعرّف Harvey الاجتياز الكامل بنجاح المهمة في جميع معايير تقييمها. الرقم هنا ليس «دقة الإجابات»، ولا حكمًا عامًا على كل استخدام ممكن. قد ينجح النظام في أجزاء كثيرة ثم يفشل في تسليم المهمة كاملة. أهمية هذا التمييز للمدير أنه يعيد النقاش إلى ما سيستلمه فريقه فعلًا، وإلى مقدار العمل الذي سيبقى عليه بعد ذلك. [2]
اختر الحالات التي تكشف العمل الحقيقي
قبل التجربة، اطلب من المسؤول عن سير العمل اختيار مجموعة صغيرة ومتنوعة من المهام السابقة، بعد تجهيزها للاستخدام المصرّح به. ضمّن الحالات الاعتيادية، والمعلومات الناقصة، والتعارض بين المستندات، والحالة التي لا توجد لها إجابة موثوقة. اكتب لكل واحدة وصفًا للمخرج المقبول، واستعن بشخص يعرف العمل لمراجعته. هذه قائمة قبول مقترحة، وليست معيارًا عامًا يصلح لجميع الشركات.
في مثال المشتريات، قد تتطلب المهمة توحيد العملة، وإظهار الخدمات المستثناة، وربط كل قيمة بمصدرها، والتنبيه إلى موعد تسليم لم يُحسم. حدد مسبقًا ما الذي يمنع قبول المقارنة. إغفال تكلفة مؤثرة قد يوقف استخدامها، بينما يمكن تصحيح عنوان غير واضح بسرعة. هذا الفصل يمنع تحسينات العرض والشكل من إخفاء خطأ يغيّر القرار.
الاجتياز الكامل يبدأ بقراءة كل شرط
شرط القبول | حل افتراضي أ | حل افتراضي ب |
|---|---|---|
توحيد العملة | مستوفى | مستوفى |
إظهار الاستثناءات | غير مستوفى | مستوفى |
إحالة كل قيمة إلى مصدرها | مستوفى | مستوفى |
التنبيه إلى معلومة ناقصة | غير مستوفى | مستوفى |
تسليم ملف قابل للاستخدام | مستوفى | مستوفى |
شرط حاسم واحد غير مستوفى قد يمنع اعتماد المهمة كاملة. بيانات افتراضية لتوضيح طريقة التقييم، وليست نتائج لمنتج أو مورّد. هذه حالة واحدة فقط.
يوضح الجدول نموذجًا افتراضيًا لتقييم حلّين عبر متطلبات مختلفة؛ خلاياها أمثلة توضيحية من إعدادنا، وليست نتائج GLM-Legal أو أي منتج آخر. اقرأ كل صف باعتباره شرطًا للعمل. كثرة الخلايا الجيدة لا تعوّض فشل شرط حاسم. ويمكن للفريق الاتفاق على تلك الشروط قبل إدخال أسماء المورّدين إلى النقاش.
احتفظ أيضًا بحالات لم يطّلع عليها المورّد أثناء الإعداد. أعطه فرصة عادلة لتوصيل النظام وضبطه، ثم اختبره على هذه الحالات الجديدة، بالمدخلات والوقت والصلاحيات نفسها التي سيحصل عليها في الاستخدام المقصود. وسجّل كل مساعدة يقدمها الفريق أثناء التشغيل. إن احتاجت النتيجة الجيدة إلى تدخل خبير، فذلك جزء من طريقة عمل الحل وتكلفته، ويجب أن يظهر في التقييم.
اجعل نقاط الضعف مرئية
قد يتفوق حل في استخراج المعلومات ويضعف في التعامل مع ملف ناقص. وقد يكتب حل آخر شرحًا أقل سلاسة، لكنه يحدد موضع الشك ويطلب تدخلًا واضحًا. جمع هذه الفروق في رقم واحد يسهّل المقارنة، لكنه قد يخفي السبب الذي يجعل أحد الحلّين ملائمًا لمهمة بعينها. لهذا يستحق التقييم أكثر من ترتيب نهائي للمورّدين.
يعرض الرسم الراداري خمسة أبعاد مقترحة: صحة المعلومات، واكتمال المهمة، وإمكانية تتبع المصادر، والتعامل مع الاستثناءات، وتسليم المخرج للفريق التالي. الدرجات افتراضية للتوضيح. استخدم الشكل لفتح النقاش حول التفاوت، ثم عد إلى الحالات التي أنتجت الدرجات. مساحة المضلع ليست قرار شراء، والأبعاد لا تحمل الأهمية نفسها في كل عملية.
حدّد كذلك ما الذي يعنيه كل مستوى قبل التقييم. في تتبع المصادر مثلًا، يختلف وجود رابط عن إحالة تصل إلى الموضع الذي يسند الادعاء بالفعل. وفي تسليم المخرجات، يختلف إنشاء ملف عن إنشاء ملف يستطيع الزميل استخدامه دون إصلاح الحسابات. وحين يختلف المراجعون، احتفظ بسبب الخلاف؛ قد يكون تعريف المهمة نفسه بحاجة إلى مراجعة.
اختبر أيضًا السلوك عند تعذر الإكمال. ماذا يحدث إذا لم يجد النظام المستند الضروري، أو تعارض مصدران، أو انتهت صلاحية الوصول؟ قد يكون طلب المعلومة الناقصة هو التصرف الصحيح. سجّل هذه النتيجة بوصفها تصعيدًا مناسبًا وفق تصميم الاختبار، ولا تخلطها مع إنجاز المهمة. بهذه الطريقة تقيس جودة التنفيذ وجودة التوقف كلًّا في مكانها.
احسب ما يصل إلى نهاية العملية
بعد تقييم الجودة، قارن التجربة بالطريقة الحالية لأداء العمل. كم استغرق الوصول إلى مخرج مقبول، بما في ذلك المراجعة والتصحيح؟ من تدخل، وماذا أصلح؟ وكم مرة أعيدت المهمة إلى بدايتها؟ سجّل تكلفة التشغيل والمراجعة معًا. قد تكون المسودة السريعة مفيدة، لكن قيمتها تعتمد على العمل الذي تختصره بعد احتساب ما يحتاجه الفريق لاعتمادها.
ثم حوّل النتيجة إلى قرار محدد النطاق. ربما يصلح الحل لاستخراج بيانات العروض، وتبقى المقارنة النهائية لدى الموظف. وربما ينجح في فئة متكررة من الطلبات، ويحتاج غيرها إلى مسار آخر. هذا التحديد يجعل التجربة قابلة للتوسع تدريجيًا، ويمنع نجاح حالة سهلة من التحول إلى وعد يغطي كل ما يفعله القسم.
وثّق نسخة النموذج، وإعدادات التشغيل، والأدوات المتصلة، ونوع الملفات المستخدمة. عند تغيير أحد هذه العناصر، أعد اختبار الحالات الأهم قبل توسيع الاستخدام. فقرارك يتعلق بنظام يعمل في ظروف معلومة؛ وسيصعب تفسير تراجع النتيجة إذا تغيرت تلك الظروف ولم يحتفظ أحد بسجلها.
أفضل سؤال في اجتماع الشراء: أرونا مهمة من عملنا، مكتملة بالشروط التي اتفقنا عليها.
اطلب أن ينتهي الاجتماع بوثيقة قصيرة يوقّع عليها المسؤول عن سير العمل: المهمة المستهدفة، وشروط قبولها، والحالات التي ستختبرها، والمسؤول عن اعتماد النتائج. أرفق بها مخرجًا ناجحًا وآخر تعثّر، مع تفسير الفرق. عندها يصبح لدى الإدارة أساس لتمويل تجربة أوسع أو تضييق نطاقها أو إيقافها. والميزة التي ستشتريها تكون قابلة للوصف بلغة العمل: مخرج محدد يصل إلى شخص محدد، بجهد يمكن قياسه، وفي وقت يمكن الاعتماد عليه.
المصادر
[1] Z.ai - GLM-Legal: Advancing Agentic Legal Intelligence. إعلان المورّد، 12 أكتوبر 2026. نسبة 19.2% تخص الاجتياز الكامل على Harvey LAB؛ التحسن 12.5 نقطة مئوية. يصف الإعلان تحسين النموذج وبيئة تشغيل الوكيل معًا. الأرقام ليست تقييمًا مستقلًا.
[2] Harvey - Open-Sourcing Harvey's Long Horizon Legal Agent Benchmark. شرح منشور في 6 مايو 2026. الاجتياز الكامل يتطلب نجاح جميع معايير تقييم المهمة.
يُستخدم السياق القانوني هنا لتوضيح القياس عند شراء أنظمة مؤسسية؛ أمثلة المقال وأدوات التقييم المقترحة من إعدادنا.
رسالة واحدة مع كل مقال جديد، فيها أبحاث وقرارات منتج وما تبلغنا به الفرق.
