احتفظ بمدربك الخاص
توليد مسارات RL بالمدرب الخاص
أنت تشغّل GRPO أو PPO أو تحديثات السياسة المخصصة على مجموعة الحوسبة الخاصة بك. ويقدّم Grid عينات مسارات متعددة الأدوار على سعة محجوزة مسعّرة.
/التدريب/مسارات-rl
احتفظ بمدربك الخاص.
وسّع نطاق عمليات التشغيل.
شغّل أخذ عينات التشغيل (rollout sampling) على Grid بينما يمتلك فريقك المدرب والخوارزمية. حدّد نطاق مشروع تجريبي، ثم احصل على عرض سعر للسعة المحجوزة.
سعة مسعّرة بعرض خاص · بلا بطاقة أسعار عامة · ليست خدمة ذاتية
ما يجب إحضاره إلى المشروع التجريبي.
اقرأ دليل عمليات التشغيل- نقطة الحفظ والمدرب
- نقطة الحفظ المرشحة، والدقة الرقمية، وإطار العمل، والخوارزمية، والمكافأة أو المقيّم. أكّد كل طريقة ومتطلبات التحديث.
- عبء عمل أخذ العينات
- أطوال السياق والمخرجات، وعدد العينات لكل مطالبة، ومستوى التزامن، وهدف العينات المفيدة.
- نافذة السعة
- المنطقة المطلوبة، وتاريخ البدء، والمدة، ونمط تحديث نقطة الحفظ. يؤكد عرض السعر الموارد والأسعار الفعلية.
- القبول
- قارن العينات المفيدة، والجودة، وحداثة نقطة الحفظ، والإنتاجية، والتكلفة مقابل خط الأساس لديك.
- 01نقطة الحفظ الخاصة بك
- 02أخذ العينات عبر Grid
- 03مدربك الخاص
اختر حدود ملكية التعلم المعزز (RL) الخاصة بك.
قارن مع Agent RLحلقة مشتركة للمسارات والمدقق
Agent RL محدد النطاق
تحدد Forward نطاق مجموعة بيانات المسارات، والمدققات الحتمية، وحلقة التدريب مع فريقك. يُحدَّد النطاق بدعوة ويُسعَّر لكل تعاقد.
| مرحلة الحلقة | توليد مسارات RL بالمدرب الخاص | Agent RL محدد النطاق |
|---|---|---|
| 1. البيئة والبيئة المعزولة للأدوات | العميل: ينفذ استدعاءات الأدوات، أو البيئات المعزولة للشيفرة البرمجية، أو انتقالات حالة البيئة داخل البنية التحتية للعميل. Forward: يقدم إكمالات توليد مسارات عالية الإنتاجية (`n` عينات لكل تلقين، والاحتمالات اللوغاريتمية logprobs، ورموز التوقف) على Forward Grid. | العميل: يحدد مهام المجال، ومخططات الأدوات المستهدفة، وحدود الأمان. Forward: يؤهل البيئة المتفق عليها وحدود الوصول قبل أخذ العينات الحية. |
| 2. توليد المسارات وأخذ العينات | العميل: يرسل دفعات توليد المسارات من VeRL / OpenRLHF / المدرب المخصص ويدير حلقات الحلقات التدريبية (Episodes). Forward: يؤهل إنتاجية أخذ العينات، وحداثة نقاط الحفظ، وزمن الاستجابة للنافذة المسعرة. | العميل: يوفر المهام أو الآثار المعتمدة مع حقوق تدريب صريحة. Forward: ينسق المسارات المتوازية متعددة الأدوار عبر استدعاءات الأدوات وإعادات المحاولة واستكشافات الفروع. |
| 3. المدقق ومعيار التقييم وحساب المكافآت | العميل: يحسب المكافآت القياسية، أو معدلات اجتياز اختبارات الوحدات، أو درجات المحكّم داخل حلقة تدريب العميل. Forward: يقدم اختياريًا نماذج محكّم/مكافأة سريعة أو فحوصات OpenDetector عبر نقاط نهاية Grid. | العميل: يعتمد معايير قبول الأعمال وقواعد الحالات الحدية للمجال. Forward: يبني ويشغّل المدققات الحتمية، وبوابات الاستشهاد، وأطر مكافآت العمليات على مستوى الخطوة. |
| 4. تحديث التدرج وخطوة المحسّن (Optimizer) | العميل: يشغّل التمرير العكسي، وعقوبة KL، وخطوة المحسّن (GRPO / PPO / GSPO) على وحدات معالجة الرسوميات الخاصة بمدرب العميل. Forward: يشغّل خدمة أخذ العينات المؤهلة؛ وتظل شيفرة مدرب العميل وحالة المحسّن مملوكتين للعميل. | العميل: يراجع منحنيات التعلم، ومكاسب المعايير المحتجزة، وتقارير التراجع. Forward: ينفذ حلقة التحسين لما بعد التدريب واختيار نقاط الحفظ على البنية التحتية لـ Forward. |
| 5. مزامنة الأوزان والخدمة الإنتاجية | العميل: يدفع محولات LoRA المحدثة أو فروق نقاط الحفظ عند كل خطوة توليد مسار. Forward: يحدّث عمال توليد المسارات بموجب العقد المؤهل. وتُعد الخدمة الإنتاجية عملية نشر مقبولة منفصلة. | العميل: يعتمد تقييم بيئة الاختبار المرحلي ويرقي سياسة الوكيل المؤرخة بالإصدار. Forward: يؤهل التصدير وإعادة تحميل الخدمة، ثم ينشر فقط نقطة الحفظ المقبولة بموجب نطاق الإطلاق المتفق عليه. |
تفاصيل السعة وأخذ العينات
احتفظ بالمدرب
تبقى حلقتك في مكانها. ويمثل Grid أسطول أخذ العينات: إكمالات متوافقة مع OpenAI، وجلسات مستمرة (sticky sessions) للمسارات متعددة الأدوار، ومسار تحديث أوزان نحدّد حجمه معك.
بنية الاستدلال نفسها
تعمل عمليات التشغيل على المصنع الذي يخدم Grid بالفعل. لست بحاجة إلى إنشاء محرك ثانٍ بجانب الإنتاج. ويمكن للسعة الانتقال بين استدلال المنتج ونوافذ التشغيل.
أداة أخذ عينات، وليس حلقة Agent RL كاملة
تصمّم تعاقدات Agent RL محددة النطاق بيئة المدقق وتشغّل تحديثات السياسة معك. أما عمليات تشغيل RL فهي طبقة أخذ العينات الأساسية للفرق التي تمتلك مدربها بالفعل ولا ترغب في ترحيله.
سعة مسعّرة بعرض خاص
تعمل عمليات التشغيل على سعة محجوزة، وليس على نمط Serverless مجهول الهوية. نبدأ بإثبات مفهوم (PoC)، ثم نحدّد أحجام المناطق. ولا توجد بطاقة أسعار عامة.
الأسئلة
هل يمكنني الاحتفاظ بمدربي الخاص؟
نعم. هذا هو جوهر المنتج. ارفع نقاط الحفظ إلى تخزين الكائنات الذي نتفق عليه، وخذ العينات عبر Grid، وادفع تحديثات الأوزان وفق جدول نضعه معك.
كيف يختلف هذا عن Agent RL؟
في المشروع التجريبي لـ Agent RL (/training/agent-rl)، تحدد Forward نطاق مخطط المسارات والمدققات الحتمية وحلقة تحسين السياسة مع فريقك. بينما توفر عمليات تشغيل RL أخذ العينات وتنسيق الأسطول فقط عندما يكون المدرب ملكاً لك بالفعل.
هل هذه خدمة ذاتية مباشرة؟
لا. إنها سعة محجوزة تُرتَّب عبر المحادثة. تواصل معنا لتحديد حجم إثبات المفهوم.