مدونة فكرة
الحكم والتقدير · 5 د

متى تخلي الـ model يبدأ من جديد

الوقت الإضافي ممكن يساعد التنفيذ، بينما اختيار الطريقة يظل محتاج محاولة مختلفة.

المصادر مراجعة بتاريخ 6 أكتوبر 2026.

الـ reasoning model قعد كم دقيقة في مسألة. كتب كتير، رجع من خطوات، ومسَك طريقة جرّبها قبل شوية. ممكن تسيبو يكمل، أو توقفو، أو تبدأ محاولة جديدة. كمية النص الظاهرة ما بتساعدك كتير في القرار.

ورقة أولية بتاريخ 4 أكتوبر لـ Adib Hasan وLay Jain وThanic Nur Samin فصلت بين اكتشاف طريقة الحل وتنفيذها. الباحثون اختبروا أربعة models على 35 مسألة أولمبياد جديدة ومجموعة إضافية من اختبار معياري من غير الهندسة. محاولات اتوفر ليها مخطط للحل ساعدت في تقدير جزء التنفيذ. [1]

الفرق مفيد. نظام ممكن يتعب عشان يلقى طريقة واعدة، ويكون كويس في تنفيذها. ونظام تاني يلقى مدخل مناسب وما يقدر يكمل الحجة. الوقت الإضافي ممكن يفيدهم بصورة مختلفة.

حالتين لتقييم الحل
تصميم مفاهيمي للتقييم: المعلومات المتاحة بتختلف بين الحالتين. مقارنة مفاهيمية بين اكتشاف الطريقة وتنفيذها لتخطيط الاختبارات.

إعطاء الطريقة بيوضح شنو

افترض مسألة هندسة، رسم خط مساعد فيها بيسهّل الحل. ده مثال توضيحي، وما مسألة منقولة من الدراسة. المحاولة من غير مساعدة محتاجة تكتشف الخط وتستخدمو صح. المحاولة المعطاة الخط لسه محتاجة تكمل البرهان، لكنها استلمت معلومة إضافية.

مقارنة المحاولتين ممكن توضح الصعوبة وين، لكن نسب نجاحهم ما مقاييس متكافئة لحل مستقل. المساعدة الموجودة في الطلب جزء من شروط الاختبار.

الاستراتيجية المعطاة بتضيف شنو، لكل model
نسبة الـ 105 محاولة لكل model البتحل المسألة (درجة 5/7 أو أكتر) في 35 مسألة AOBench بثلاث seeds، من غير sketch، أو بـ sketch مخلوط، أو بالـ oracle sketch الصحيح. النسب محسوبة من الأعداد في الجدول 10 من الورقة [1]. Opus 4.8 هو Claude Opus 4.8.

الورقة استخدمت الفصل ده لتوقع أثر وقت التفكير الإضافي، ودرست قرار الاستمرار أو إعادة البدء. النتائج اختلفت حسب الـ model. الإطار تنبؤي، وما ادعاء بكشف التفكير الداخلي الفعلي للنظام. [1]

أربع محاولات ممكن تكرر غلطة واحدة

حساب احتمال بسيط بيوضح جاذبية البدء من جديد. افترض فرصة صحة كل محاولة 25%، والمحاولات مستقلة. أربع محاولات بتدي فرصة وجود واحدة صحيحة قدرها 1 − 0.75⁴، حوالي 68.4%. ده افتراض توضيحي، وما نسبة نجاح قسناها لأي model.

فائدة إعادة البدء بتعتمد على الافتراضات
مثال بفرصة نجاح 25% للمحاولة. المنحنى الأعلى بيفترض الاستقلال، والمحاولات المرتبطة تماماً بتفضل عند 25%. كلفة الاختيار خارج الحساب.

هسع افترض الأربعة بيغلطوا نفس الغلطة في نفس المسائل بالضبط. الفرصة حتفضل 25%. المحاولات الحقيقية ممكن تقع بين الطرفين. تكرار الطلب بيديك عينات إضافية، لكنه ما بيضمن طريقاً مختلفاً للحل. الافتراض الغلط المشترك ممكن يعيش في كل بداية جديدة.

وفي شرط تاني داخل الرقم الجذاب: تقدر تلقى الإجابة الصحيحة وسط المرشحين. «في واحدة صحيحة» نتيجة بتفترض إنك قادر تعرفها. المنتج البختار المرشح الغلط ما وصل النجاح للمستخدم. الاختيار محتاج تقييمه وحصتو من الميزانية.

الحساب برضو ما بيقارن أربع محاولات قصيرة بواحدة طويلة. تقصير المحاولة ممكن يغيّر احتمال نجاحها. المقارنة بالميزانية محتاجة نسب النجاح عند كل طول مسموح، مع زمن فحص المرشحين. الرسم بيوضح الافتراضات، وما بيحدد سياسة إعادة البدء.

حدّد غرض المحاولة الإضافية

لو فريق عايز يقيّم مهامو، أبدأ بميزانية كلية وشرط قبول ثابتين. أقارن محاولة طويلة بمحاولات جديدة متعددة داخل نفس الميزانية. وأسجل النجاح وكلفة تحديد أي إجابة أعتمدها.

المقارنة

نثبت شنو

نسجل براهو

استمرار أو بداية جديدة

الميزانية والمهمة

جودة النتيجة المقبولة

حل مستقل أو مخطط معطى

الـ model وطريقة الفحص

المعلومة الإضافية في المخطط

إجابة واحدة أو عدة إجابات

شرط القبول

زمن وكلفة الاختيار

models مختلفة

المسائل وحدود الموارد

الاختلافات الخاصة بكل model

ده اقتراح لخطة تقييم، وما نتيجة اختبارات نفذناها هنا. الفريق ممكن يلقى المحاولات الجديدة بتكرر نفس الغلطة، أو يلقى المحاولة الأطول بتكمل تفاصيل القصيرة بتتركها. الاتنين معلومات مفيدة لو غيّروا طريقة صرف الميزانية.

شغل Snell وزملائه المنشور في ICLR 2025 لقى إنو توزيع حسابات وقت الاستدلال يعتمد على صعوبة المسألة وطريقة استخدام الحسابات. [2] ده بيدعم تقييم حد الزمن كقرار. ما بيدي سبب نتوقع إعداداً واحداً يناسب كل مسألة تدخل المنتج.

بحث Gema وزملائه Inverse Scaling in Test-Time Compute، المنشور في TMLR في ديسمبر 2025، بنى مهام قلّ فيها الأداء مع تفكير أطول، منها التشتيت والمبالغة في الاستجابة لصياغة السؤال. [3] المهام المختارة لكشف الفشل ما بتحدد انتشاره في الاستخدام العادي، لكنها بتراجع افتراض إنو التفكير الإضافي لازم يحسن الإجابة.

إعادة البدء ما لازم ترمي كل حاجة. لو المحاولة طلعت نتيجة وسيطة اتفحصت، أديها للمحاولة الجديدة كمدخل واضح. كده التجربة بقت استمراراً بمساعدة متحققة، وما حلاً مستقلاً من الصفر. احتفظ بالفرق في السجل عشان الزيادة الظاهرة يكون عندها تفسير.

في توليد كود، مثلاً، المحاولة الفاشلة ممكن تكشف قيداً حقيقياً على المدخلات. احتفظ بالقيد والاختبار البثبتو، واترك الادعاء غير المتحقق إنو التنفيذ كلو شغال. المحاولة التانية تستفيد من الدليل من غير ما ترث كل قرارات التصميم الأولى.

برا الرياضيات، تحديد شرط القبول أصعب. الشرح ممكن يكون واثق ويترك السؤال المهم بلا إجابة. وعدة إجابات متشابهة ممكن تشترك في افتراض غلط. اتفاقها ما بيوفر تحقق مستقل تلقائياً.

في الشغل القابل للفحص، افصل الفاحص عن قرار زمن التفكير. الاختبار ممكن يوضح إذا الناتج حقق شرطاً، لكنه براهو ما بيقول إذا دقيقة إضافية كانت حتنتج محاولة أحسن.

المهام الرياضية في الدراسة بتترك سؤال مهم لشغل المنتجات: نعرف المحاولة بتتقدم كيف لو الإجابة النهائية ما عندها فاحص موثوق؟ الفريق ممكن يقارن توزيع الميزانية، لكنه لسه محتاج طريقة قابلة للدفاع عنها لتقييم الناتج. التقييم لازم يسجل الحكم ده وكلفتو.

المصادر

0
المشاهدات: 76
التقييمنماذج الاستدلالTest-time computeإعادة المحاولةالرياضيات
Mosab Alrasheed
استلم المقال التالي في بريدك

رسالة واحدة مع كل مقال جديد، فيها أبحاث وقرارات منتج وما تبلغنا به الفرق.