METHOD 01 · التعلم المعزز القائم على الأوزان (GRPO / PPO)
تدريب لاحق للأوزان بالتعلم المعزز متعدد الأدوار (VeRL)
عندما يجب على الوكيل تعلم تسلسل الأدوات متعدد الخطوات، والتعافي من فشل الاختبارات، والمسارات المضغوطة على نقطة حفظ مفتوحة أو مخصصة.
تعلم الوكلاء / التعلم المعزز للمسارات متعددة الخطوات
ضاعف الدقة من كل نتيجة متحقق منها.
حوّل نتائج المهام المتحقق منها، ومراجعات خبراء المجال، والتغذية الراجعة المعايرة للوكلاء إلى إشارات مكافأة. حسّن سياسات الوكلاء المؤهلة عبر مسارات الأدوات متعددة الخطوات، وقِس أداء المرشحين على تقييمات محتجزة، ولا تقم بترقية سوى نقاط الحفظ التي تتفوق على خط الأساس لديك.
يمكن لتعلم الوكلاء استخدام إطار عميل مقبول دون نشر مؤسسي لنظام التشغيل الوكيلي. ويتم تأهيل البيئة والنموذج وحقوق البيانات والقبول بشكل منفصل.
يُحدد النطاق بدعوة · بيئة مخصصة وعقد مدقق · يُسعّر لكل تعاقد
التحسين المستمر / التعلم المضبوط
كل نتيجة مقبولة يمكن أن توجّه التحسين التالي.
أغلق الحلقة من التنفيذ الإنتاجي إلى مكاسب السياسات القابلة للقياس. تقوم موافقات خبراء المجال والمدققات الحتمية بتقييم المسارات الحية؛ وتتحكم التقييمات المستقلة المحتجزة في كل إصدار.
- 01
مهمة الأعمال
عمل محدد ومعايير قبول واضحة.
- 02
تنفيذ محكوم
سياق وأدوات وحدود إجراءات مصرح بها.
- 03
تغذية راجعة متحقق منها
نتائج، ومراجعة خبراء، وأحكام وكيل معايرة.
- 04
تدريب قائم على المكافآت
تُحدّث الإشارات المصرح بها سياسة مؤهلة.
- 05
تقييم مستقل
الجودة المحتجزة، والسياسة، وزمن الاستجابة، والتكلفة الكاملة.
- 06
إصدار معتمد
يحكم مالك مسؤول أو سياسة مفوضة مسبقًا عمليات الترقية والتراجع مقابل المعايير المحتجزة.
دورة حياة تعلم توضيحية. إذن التنفيذ لا يمنح إذن التدريب. يغير التدريب أوزان النموذج أو السياسة المؤهلة؛ ولتغييرات التلقين والأدوات مسار تقييم خاص بها. لا يمكن للتعلم توسيع أذونات الوكيل. يتم الاتفاق على بوابات النشر والتدريب والإطلاق لكل تعاقد.
محاكاة توضيحية لمعايير القياس والإصدار · ليست تدقيقاً خارجياً منشوراً
افحص كيف تحكم Forward تجارب Agent RL، بدءاً من تقسيمات مجموعات البيانات المقفلة ومعايرة الحكم (κ) وصولاً إلى فروق المهام المحتجزة، واقتصاديات الوحدة، وبوابات الإطلاق التدريجي. القيم أدناه هي محاكاة مرجعية توضيحية وليست تدقيقاً خارجياً منشوراً؛ ويتم تحديد مقاييس المشروع التجريبي الفعلية على معيار القياس المحتجز والمقفل الخاص بك.
بيان التجربة، والمكافأة المعايَرة، والتقييم المحتجز، وبوابة الإصدار
افحص البيئة، وحقوق التدريب، ومعايرة الحكم، والتكلفة الكاملة لكل نتيجة مقبولة، وقرار الترقية أو التراجع.
لا يصل أي تحديث للأوزان أو بيئة الاختبار إلى الإنتاج دون التفوق على خط الأساس في التقسيم المحتجز المقفل واجتياز بوابات السلامة وزمن الاستجابة وعدم الانحدار لكل شريحة.
محاكاة توضيحية لمعايير القياس والإصدار · ليست تدقيقاً خارجياً منشوراًبيان تجربة توضيحي لمراجعة عقد البيئة وحقوق التدريب.
بيان التجربة وحقوق التدريب
وكيل تصحيح المستودعات متعدد الخطوات والإصلاح المتحقق منه بالأدوات (حمل عمل مرجعي توضيحي)
- إصدار البيئة والبصمة المعزولة بإحكام
- env://swe-enterprise-sandbox@v3.4.0 (بصمة الحاوية sha256:4d82a91f... · بيئة توضيحية)
- محاكيات الأدوات والتجهيزات وعزل الشبكة
- شجرة عمل Git حتمية، ومشغّل pytest/vitest معزول بإحكام (hermetic)، وواجهة API محاكاة لتتبع المشكلات (صفر وصول إلى شبكة الإنتاج)
- تقسيم مجموعة البيانات (التدريب / التحقق / المحتجز المقفل)
التدريب: 600 مسار (إصلاحات تاريخية منزوعة الهوية · تقسيم توضيحي)
التحقق: 160 مساراً (إيقاف المعلمات الفائقة وعقوبة KL · تقسيم توضيحي)
عينة الاختبار المستقلة: 400 مهمة قياس أداء مقفلة (صفر تداخل مع مطالبات التدريب/التطوير أو المستودعات أو معرّفات المشكلات)
- التحقق من عدم التسريب وحقوق التدريب
[SIMULATED · OK VERIFIED] اجتاز إزالة التكرار عبر AST وبصمة MinHash للمطالبات (0.0% تلوث عبر مجموعات التدريب/التحقق/الاحتجاز)
تفويض مستأجر توضيحي `CONSENT-TRN-2026-09 (simulated fixture)` · الاحتفاظ بالمسارات لمدة 90 يوماً · صفر مشاركة للأوزان بين المستأجرين
تكوين المكافأة ومعايرة الحكم مقابل التصنيفات الذهبية البشرية
R_unit_and_integration_testsw = 0.55
[مدقق حتمي]
تجتاز جميع الاختبارات المستهدفة واختبارات الانحدار داخل حاوية معزولة بإحكام
R_policy_and_diff_hygienew = 0.25
[بوابة فحص ثابت حتمية]
صفر تسريبات للأسرار، وصفر ملفات محظورة تم المساس بها، وأدنى نصف قطر لفروق شجرة AST
R_rubric_judge_calibrationw = 0.20
[نموذج LLM كحكم معايَر (مدقَّق)]
شرح السبب الجذري وقابلية صيانة التصحيح؛ توافق توضيحي κ = 0.86 مقابل 120 تصنيفاً لمهندسين بشريين أقدمين؛ تنبيه انحراف عند κ < 0.78
أربع طرق للتكييف (التعلم المعزز للأوزان، أو SFT، أو المطالبة/بيئة الاختبار، أو مدربك الخاص)
اختر نمط التكييف الذي يناسب حدود نموذجك ومرحلتك التشغيلية
METHOD 02 · الضبط الدقيق الخاضع للإشراف / ضبط التفضيلات (SFT)
الضبط الدقيق الخاضع للإشراف وتقطير المسارات
عند تهيئة نموذج أصغر وأقل زمن استجابة من مسارات النماذج الرائدة المقبولة قبل عمليات التشغيل المتصلة بالإنترنت.
METHOD 03 · تحسين المطالبات وبيئة التشغيل (PROMPT & HARNESS)
ضبط بيئة الاختبار ومعايير التقييم والاسترجاع دون تعديل الأوزان
عند العمل على واجهات API للنماذج الرائدة المغلقة أو عندما يحل التكرار السريع للسياسات/المطالبات نمط الفشل دون تدريب أوزان على وحدات GPU.
METHOD 04 · البنية التحتية لعمليات التشغيل (ROLLOUT) لمدربات العملاء
عمليات تشغيل معزولة عالية الإنتاجية لحزمة تعلم الآلة الخاصة بك
عندما يمتلك فريق تعلم الآلة لدى العميل حلقة المُحسِّن ويستهلك Forward فقط للبيئات الحتمية وتسجيل نقاط المدقق.
محاكاة توضيحية لمعايير القياس والإصدار · ليست تدقيقاً خارجياً منشوراًبروتوكول التقييم المحتجز (n=400 مهمة فريدة × 3 بذور = 1,200 تشغيل محاكى) — دراسة مرجعية توضيحية، وليست فاتورة أو اتفاقية مستوى خدمة (SLA) مضمونة.
مقارنة معيار القياس المحتجز والمقفل المستقل والاقتصاديات الكاملة
خط الأساس بالمطالبات مقابل خط أساس SFT مقابل مرشح RL (مع مقام عينة صريح)
محاكاة توضيحية: n = 400 مهمة محتجزة × 3 بذور تقييم (1,200 تشغيل محاكى لكل سياسة · النافذة: 2026-10-01..2026-10-14 · البيئة v3.4.0)
يتم تقييم كل سياسة عبر 400 مهمة طلب سحب (PR) محتجزة ومقفلة × 3 بذور تقييم (1,200 تشغيل محاكى لكل سياسة). تُظهر أعداد اجتياز المهام (246/400، 272/400، 310/400) قبول المهمة بأغلبية البذور على مقام 400 مهمة؛ وتُظهر فترات ± فترة الثقة الإحصائية (bootstrap) بنسبة 95% عبر البذور الثلاث.
النطاق الاقتصادي والافتراضات: تغطي تكلفة التشغيل المتغيرة رموز النموذج، وتنفيذ البيئة المعزولة E2B، وفحوصات المدقق الحتمي. ويغطي استثمار تدريب المرحلة حوسبة GPU لتقطير SFT ($420) وعمليات تشغيل وتحسين VeRL ($1,180؛ و$1,600 تراكمياً إذا شمل البدء الدافئ بـ SFT). وتقسم التكلفة المحمّلة بالعينة التكلفة المتغيرة + تكلفة تدريب المرحلة على المهام المقبولة في مجموعة التقييم المكونة من 400 مهمة. وتوضح تكلفة الإنتاج المستهلكة اقتصاديات الحالة المستقرة عبر 10,000 تشغيل مقبول (نقطة التعادل لـ RL مقابل خط الأساس بالمطالبات عند ~2,186 تشغيلاً مقبولاً). ويتم تحديد نطاق الإعداد الهندسي للعميل، ووقت المراجع البشري، وعمليات المنصة المستمرة بشكل منفصل.
معدل نجاح المهام (اجتياز جميع الاختبارات + السياسات)
- 1. خط الأساس بالمطالبات
- 61.5% (±1.8%) — 246 / 400 مهمة
- 2. خط أساس SFT / بيئة الاختبار
- 68.0% (±1.6%) — 272 / 400 مهمة
- 3. مرشح RL (CKPT_STEP_480)
- 77.5% (±1.4%) — 310 / 400 مهمة (+16.0 نقطة مقابل المطالبات)
انتهاكات بوابة السياسات الصارمة / السلامة
- 1. خط الأساس بالمطالبات
- 3.5% (14 / 400 مهمة)
- 2. خط أساس SFT / بيئة الاختبار
- 2.0% (8 / 400 مهمة)
- 3. مرشح RL (CKPT_STEP_480)
- 0.5% (2 / 400 مهمة — كلتاهما حُظرتا بواسطة بوابة وقت التشغيل)
معدل الموافقة / التدخل البشري
- 1. خط الأساس بالمطالبات
- 42.0% من عمليات التشغيل تطلبت تعديلاً يدوياً للتصحيح
- 2. خط أساس SFT / بيئة الاختبار
- 31.5% من عمليات التشغيل تطلبت تعديلاً يدوياً للتصحيح
- 3. مرشح RL (CKPT_STEP_480)
- 19.0% من عمليات التشغيل تطلبت تعديلاً يدوياً للتصحيح
زمن الاستجابة (p50 / p95 للمسار من البداية إلى النهاية)
- 1. خط الأساس بالمطالبات
- p50: 38s · p95: 112s (بمتوسط 9.4 أدوار للأدوات)
- 2. خط أساس SFT / بيئة الاختبار
- p50: 31s · p95: 89s (بمتوسط 7.8 أدوار للأدوات)
- 3. مرشح RL (CKPT_STEP_480)
- p50: 24s · p95: 68s (بمتوسط 5.6 أدوار للأدوات)
تكلفة التشغيل المتغيرة / المهمة المقبولة (الاستدلال + البيئة المعزولة + المدقق، باستثناء التدريب)
- 1. خط الأساس بالمطالبات
- $1.48 / مهمة مقبولة ($364.08 إنفاق متغير عبر 246 مهمة مقبولة)
- 2. خط أساس SFT / بيئة الاختبار
- $1.21 / مهمة مقبولة ($329.12 إنفاق متغير عبر 272 مهمة مقبولة)
- 3. مرشح RL (CKPT_STEP_480)
- $0.94 / مهمة مقبولة ($291.40 إنفاق متغير عبر 310 مهام مقبولة؛ −36.5% متغير مقابل المطالبات)
الاستثمار لمرة واحدة في حوسبة التكييف وعمليات التشغيل
- 1. خط الأساس بالمطالبات
- $0.00 (0 ساعات GPU · نقطة حفظ غير مضبوطة)
- 2. خط أساس SFT / بيئة الاختبار
- $420.00 (حوسبة تقطير SFT لمرة واحدة)
- 3. مرشح RL (CKPT_STEP_480)
- $1,180.00 عمليات تشغيل VeRL + حوسبة RL ($1,600.00 تراكمياً شاملاً البدء الدافئ بـ SFT)
التكلفة المحمّلة بالعينة / المهمة المقبولة على مجموعة التقييم المكونة من 400 مهمة (المتغيرة + التدريب)
- 1. خط الأساس بالمطالبات
- $1.48 / مهمة مقبولة ($364.08 إجمالي / 246 مقبولة)
- 2. خط أساس SFT / بيئة الاختبار
- $2.75 / مهمة مقبولة (($329.12 + $420.00) / 272 مقبولة)
- 3. مرشح RL (CKPT_STEP_480)
- $4.75 / مهمة مقبولة (($291.40 + $1,180.00) / 310 مقبولة؛ $6.10 شاملاً البدء الدافئ بـ SFT)
التكلفة المستهلكة التوضيحية / المهمة المقبولة عند 10,000 تشغيل مقبول (باستثناء العمليات البشرية)
- 1. خط الأساس بالمطالبات
- $1.48 / مهمة مقبولة (لا يوجد استثمار تدريبي لاستهلاكه)
- 2. خط أساس SFT / بيئة الاختبار
- $1.25 / مهمة مقبولة ($1.21 متغيرة + $0.04 حوسبة SFT / تشغيل)
- 3. مرشح RL (CKPT_STEP_480)
- $1.06 / مهمة مقبولة ($0.94 متغيرة + $0.12 حوسبة RL / تشغيل · نقطة التعادل عند ~2,186 تشغيلاً مقبولاً)
[! حارس اقتصاديات الوحدة · صفر نتائج مقبولة]
عندما تحتوي نافذة التقييم على 0 نتائج مقبولة، يتم الإبلاغ عن التكلفة لكل نتيجة مقبولة بشكل صارم على أنها غير قابلة للحساب—ولا تُعرض أبداً كـ $0.00:
غير قابل للحساب — 0 نتائج مقبولة في النافذة (لا يُعرض أبداً كـ $0.00)محاكاة توضيحية لمعايير القياس والإصدار · ليست تدقيقاً خارجياً منشوراًتوضح حالات الترقية والإطلاق التدريجي والتراجع أدناه آلة حالات حوكمة الإصدار.
حالات الترقية، والإطلاق التدريجي، والرفض لانحدار الشرائح، والتراجع
افحص كل حالة من حالات دورة حياة الإصدار والحراس المضادين لانحدار الشرائح أو التلاعب بالمكافأة
[▤ مُقيَّم] · حالة-RL-02 · مُقيَّمتدرّج الإصدار الخاضع للحوكمة
- ملخص الحالة والأدلة
- اكتمل التقييم المحتجز بـ 3 بذور: نجاح 77.5% (+16.0 نقطة مقابل خط الأساس)، زمن استجابة p95 يبلغ 68s، و$0.94 / نتيجة مقبولة.
- معيار البوابة / الحارس التلقائي
- جميع انحدارات الشرائح الأربع >= 0؛ ومعايرة الحكم κ = 0.86 >= عتبة 0.80.
- الإجراء التالي أو تسلسل التراجع
- التالي: تقديم ملف التقييم لاعتماد مالك العملية وقائد تعلم الآلة.
وائم طريقة ما بعد التدريب مع إشارتك.
01 / طرق التعلم
العروض التوضيحية المنسقة تغذي الضبط الدقيق الخاضع للإشراف (SFT). التفضيلات الزوجية تغذي DPO وORPO. البيئات القابلة للتنفيذ والنتائج القابلة للتحقق تغذي Agent RL متعدد الخطوات. أنشئ خط أساس مقاسًا أولًا، ثم اجمع بين الطرق لحمل عملك. لا يُشترط إجراء SFT أو DPO مسبقًا لتعاقد RL مؤهل.
خط الأساسمتطلب أساسي لخط الأساس
التلقين والسياق والخزائن وسياسة الأدوات
أنشئ خط أساس مقاسًا باستخدام السياق والاسترجاع والأدوات وسياسات الموافقة. قيّم تغييرات التكوين جنبًا إلى جنب مع أي طريقة تدريب مؤهلة.
المدخلات المطلوبة
20–50 حالة اختبار تمثيلية + معيار قبول صريح.
مخرجات العملية
تعليمات النظام، وتجزئة الاسترجاع، ومخططات الأدوات، وبوابات الموافقة، وقواعد الاستشهاد (دون تغيير الأوزان).
العروض التوضيحيةبدعوة · مشروع تجريبي محدد النطاق
الضبط الدقيق الخاضع للإشراف (SFT / LoRA)
استخدمه عندما تتمكن العروض التوضيحية المنسقة، بما في ذلك المحادثات متعددة الأدوار وآثار الأدوات، من تعليم السلوك المطلوب على نقطة حفظ مؤهلة.
المدخلات المطلوبة
عروض توضيحية منسقة مع حقوق البيانات، وتغطية تمثيلية للمهام، ومجموعة تقييم مستقلة.
مخرجات العملية
يتم تحسين محول (Adapter) مؤهل أو نقطة حفظ مقابل العروض التوضيحية المعتمدة؛ ويمكن أن تغطي هذه مهام متعددة الخطوات.
التفضيلاتبدعوة · طريقة محددة النطاق
تحسين التفضيلات (DPO / ORPO)
استخدمه عندما تعبر الاستجابات أو المسارات المفضلة والمرفوضة المصرح بها عن السلوك المنشود.
المدخلات المطلوبة
استجابات أو مسارات مفضلة ومرفوضة منسقة مع حقوق البيانات ومجموعة تقييم محتجزة.
مخرجات العملية
يتم تحسين محول مؤهل أو نقطة حفظ من أزواج التفضيلات المعتمدة.
المكافآتمصمم بشكل مشترك · نطاق تجريبي
Agent RL على المسارات متعددة الخطوات
استخدمه عندما تدعم بيئة قابلة للتنفيذ ونتائج مهام قابلة للتسجيل التحسين القائم على المكافآت للقرارات متعددة الخطوات. لا يُشترط إجراء SFT أو DPO مسبقًا.
المدخلات المطلوبة
بيئات قابلة للتنفيذ، ونقاط حفظ مؤهلة، ومسارات مصرح بها، وفحوصات نتائج، وتغذية راجعة معايرة من الخبراء أو الوكلاء، بالإضافة إلى خط أساس مقاس.
مخرجات العملية
تحسين شامل للسياسات عبر استدعاءات الأدوات متعددة الأدوار، وانتقالات حالة البيئة، والتحقق النهائي من المهام.
عقود البيئة والمسار والمكافأة.
02 / العقود
يحدد المشروع التجريبي لـ Agent RL نطاق أربع واجهات ملموسة قبل بدء حوسبة التدريب: تنسيق سجل المسار، ومجموعة المدققات الحتمية، وحلقة توليد المسارات (Rollout)، وبوابة الترقية.
01عمليات التشغيل · استدعاءات الأدوات · الحالة النهائية
مخطط المسار من نظام التشغيل الوكيلي
اجمع آثار التنفيذ متعددة الأدوار من Forward HIVE أو من إطار العمل الخاص بك. يلتقط كل مسار سياق التلقين، واستدعاءات الأدوات الوسيطة، ومخرجات البيئة المعزولة، ونقاط حفظ الموافقة، والمخرجات النهائية.
02اختبارات الوحدات · فحوصات الاستشهاد · مدققات المخططات
فحوصات النتائج والتغذية الراجعة المعايرة للوكيل
اجمع بين مدققات النتائج الحتمية ومراجعات الخبراء لمعايرة انتقادات الوكلاء ودرجات معايير التقييم. قِس التوافق بين المقيّمين، ودقّق الحالات الحدية، وامنح الحماية من التحايل على نظام المكافآت (Reward hacking). إن تقييم الوكيل لنتيجته الخاصة لا يُعد اختبار قبول مستقلًا.
03Agent RL محدد النطاق أو توليد المسارات بالمدرب الخاص
أخذ عينات المسارات مقابل تحديثات الأوزان
شغّل حلقة أخذ عينات المسارات وتحسين السياسات بالكامل مع Forward، أو احتفظ بمدربك الخاص (GRPO، أو PPO، أو REINFORCE) واستخدم Grid حصريًا كأسطول توليد مسارات عالي التزامن.
04Grid المخصصة · الخاصة · نظام التشغيل الوكيلي
قبول نقطة الحفظ والترقية للخدمة
يتم قياس أداء كل نقطة حفظ مرشحة مقابل مهام محتجزة من حيث إكمال المهام، ودقة استدعاء الأدوات، وزمن الاستجابة، والتكلفة لكل تشغيل مقبول قبل الترقية إلى الخدمة الإنتاجية.
مقارنة Agent RL بتوليد مسارات RL بالمدرب الخاص.
03 / الملكية
اختر ما إذا كانت Forward ستشغّل حلقة تحسين المسارات مع فريقك، أو ما إذا كان مهندسو تعلم الآلة لديك سيحتفظون بالمدرب ويستخدمون Grid حصريًا لأخذ عينات المسارات عالية التزامن.
| مرحلة الحلقة | Agent RL (محدد النطاق مع Forward) | توليد مسارات RL بالمدرب الخاص |
|---|---|---|
| 1. البيئة والبيئة المعزولة للأدوات | العميل: يحدد مهام المجال، ومخططات الأدوات المستهدفة، وحدود الأمان. Forward: يؤهل البيئة المتفق عليها وحدود الوصول قبل أخذ العينات الحية. | العميل: ينفذ استدعاءات الأدوات، أو البيئات المعزولة للشيفرة البرمجية، أو انتقالات حالة البيئة داخل البنية التحتية للعميل. Forward: يقدم إكمالات توليد مسارات عالية الإنتاجية (`n` عينات لكل تلقين، والاحتمالات اللوغاريتمية logprobs، ورموز التوقف) على Forward Grid. |
| 2. توليد المسارات وأخذ العينات | العميل: يوفر المهام أو الآثار المعتمدة مع حقوق تدريب صريحة. Forward: ينسق المسارات المتوازية متعددة الأدوار عبر استدعاءات الأدوات وإعادات المحاولة واستكشافات الفروع. | العميل: يرسل دفعات توليد المسارات من VeRL / OpenRLHF / المدرب المخصص ويدير حلقات الحلقات التدريبية (Episodes). Forward: يؤهل إنتاجية أخذ العينات، وحداثة نقاط الحفظ، وزمن الاستجابة للنافذة المسعرة. |
| 3. المدقق ومعيار التقييم وحساب المكافآت | العميل: يعتمد معايير قبول الأعمال وقواعد الحالات الحدية للمجال. Forward: يبني ويشغّل المدققات الحتمية، وبوابات الاستشهاد، وأطر مكافآت العمليات على مستوى الخطوة. | العميل: يحسب المكافآت القياسية، أو معدلات اجتياز اختبارات الوحدات، أو درجات المحكّم داخل حلقة تدريب العميل. Forward: يقدم اختياريًا نماذج محكّم/مكافأة سريعة أو فحوصات OpenDetector عبر نقاط نهاية Grid. |
| 4. تحديث التدرج وخطوة المحسّن (Optimizer) | العميل: يراجع منحنيات التعلم، ومكاسب المعايير المحتجزة، وتقارير التراجع. Forward: ينفذ حلقة التحسين لما بعد التدريب واختيار نقاط الحفظ على البنية التحتية لـ Forward. | العميل: يشغّل التمرير العكسي، وعقوبة KL، وخطوة المحسّن (GRPO / PPO / GSPO) على وحدات معالجة الرسوميات الخاصة بمدرب العميل. Forward: يشغّل خدمة أخذ العينات المؤهلة؛ وتظل شيفرة مدرب العميل وحالة المحسّن مملوكتين للعميل. |
| 5. مزامنة الأوزان والخدمة الإنتاجية | العميل: يعتمد تقييم بيئة الاختبار المرحلي ويرقي سياسة الوكيل المؤرخة بالإصدار. Forward: يؤهل التصدير وإعادة تحميل الخدمة، ثم ينشر فقط نقطة الحفظ المقبولة بموجب نطاق الإطلاق المتفق عليه. | العميل: يدفع محولات LoRA المحدثة أو فروق نقاط الحفظ عند كل خطوة توليد مسار. Forward: يحدّث عمال توليد المسارات بموجب العقد المؤهل. وتُعد الخدمة الإنتاجية عملية نشر مقبولة منفصلة. |
الأسئلة
ما الذي يغيره تعلم الوكلاء القائم على المكافآت؟
يقوم تشغيل التدريب المؤهل بتحديث أوزان النموذج أو سياسة الوكيل المؤهلة بناءً على المكافآت عبر تفاعلات الأدوات والبيئة. سجلات التنفيذ والذاكرة وتعديلات التلقين وحدها ليست تعلمًا معززًا. يجب أن تسمح حقوق نقطة الحفظ وترخيص النموذج وواجهات التدريب بالتحديث؛ فاستدعاء واجهة برمجة تطبيقات لنموذج مغلق لا يتيح الوصول إلى أوزانه.
هل يمكن للوكلاء التحسن تلقائيًا دون تغيير أذوناتهم؟
يمكن للتغذية الراجعة المصرح بها أن تغذي خط أنابيب تحسين متكرر. ويحكم التقييم المستقل وسياسة الإطلاق المتفق عليها عمليات الترقية والتراجع. وتظل سياسات الحوكمة والتحكم في الوصول خارج نطاق تحسين المكافآت. كما أن صلاحية التنفيذ لا تفوض التدريب، ولا يمكن للسلوك المتعلم توسيع الأذونات.
متى ينبغي لنا استخدام Agent RL بدلًا من SFT أو DPO؟
اختر بناءً على التغذية الراجعة والمهمة. استخدم SFT للعروض التوضيحية، وDPO أو ORPO للتفضيلات، وRL لبيئة قابلة للتنفيذ ذات نتائج قابلة للتسجيل. يمكن لـ SFT أيضًا تعليم استخدام الأدوات متعدد الخطوات. لا يوجد تسلسل إلزامي من SFT إلى DPO إلى RL؛ قارن الطرق مقابل خط أساس قوي ومعايير قبول محتجزة.
هل يتوفر Agent RL كإعداد جاهز للخدمة الذاتية اليوم؟
لا. يتطلب التعلم المعزز متعدد الخطوات بيئة متحققًا منها وعقد مكافأة. يتم تحديد نطاق كل تعاقد لـ Agent RL بدعوة وتسعيره حول نقطة الحفظ الخاصة بك، وإطار البيئة، وهدف الخدمة.
هل يمكننا الاحتفاظ بمدربنا الخاص واستخدام Grid فقط لأخذ عينات المسارات؟
نعم. إذا كان فريق تعلم الآلة لديك يشغّل بالفعل حلقات GRPO أو PPO أو RL مخصصة، فاستخدم توليد مسارات RL بالمدرب الخاص (/training/rl-rollouts) لأخذ عينات مسارات محجوزة عالية التزامن ومزامنة الأوزان.
أحضر سير عمل متعدد الخطوات ونتيجة قابلة للتحقق.
حدّد نطاق مجموعة بيانات المسارات، وبيئة المكافأة، ونقطة الحفظ المرشحة، وهدف الخدمة الإنتاجية مع فريق التعلم المعزز التطبيقي لدينا.