تعمل مهلات واجهة برمجة التطبيقات (API) على تحويل الوكلاء الذين يستخدمون الأدوات إلى إعادة محاولة دين ما لم تكن ميزانيات إعادة المحاولة واضحة
طازجة موضوع r/AgentixLabs يجعل من الصعب تجاهل نسخة الإنتاج من فشل الوكيل. مهلات واجهة برمجة التطبيقات (API) ليست ضوضاء نادرة. وهي حالة تشغيل عادية. الخطأ الحقيقي هو التعامل مع كل مهلة باعتبارها إزعاجًا مؤقتًا يجب على النموذج التغلب عليه. هذه هي الطريقة التي تتحول بها التبعية غير المستقرة إلى استدعاءات نموذجية إضافية، ومحاولات متكررة للأداة، ووقت الحادث الذي لا يمكن لأحد أن يشرحه بعد ذلك.
المهلات هي حقائق الإنتاج، وليس العيوب السريعة
عندما تتوقف التبعية الخارجية، غالبًا ما تلوم الفرق النموذج أولاً لأن النموذج هو الجزء المرئي من المكدس. هذا يفتقد مشكلة التشغيل. يمكن أن تأتي المهلة من واجهة برمجة التطبيقات (API) النهائية، أو انحراف المصادقة، أو ضغط قائمة الانتظار، أو حدود المعدل الخاصة بالمستأجر، أو شكل طلب سيئ يستغرق وقتًا طويلاً قبل الفشل. إذا لم يتمكن الحزام من التمييز بين هذه الحالات، فإن الوكيل يتعامل مع كل فشل باعتباره فرصة أخرى للتفكير.
وهذا هو السبب في أن سير العمل الذي يستغرق وقتًا طويلاً يبدو أكثر تكلفة مما يبدو على الورق. يمكن أن تؤدي كل إعادة محاولة إلى مزيد من التخطيط، والمزيد من إعادة استخدام السياق، والمزيد من سرد الأدوات، والمزيد من المراجعة البشرية قبل وصول المهمة أو نهايتها. بدأ الفشل في طبقة التبعية، لكن الفاتورة وصلت عبر المسار بأكمله.
إعادة المحاولة المنطق بدون ميزانية يصبح مسرحا باهظ الثمن
تبدو حلقة إعادة المحاولة البسيطة مسؤولة بمعزل عن غيرها. تظهر المشكلة عندما لا يتغير شيء ذو معنى بين المحاولات. نفس الأداة، نفس عائلة الحمولة، نفس التبعية، نفس الحالة المحظورة. من وجهة نظر وقت التشغيل، تبدو محاولة أخرى معقولة. ومن وجهة نظر المشغل، فإن النظام يتدرب ببطء على نفس الفشل أثناء انتظار العميل.
الإصلاح ليس إعادة المحاولة صفرًا. الإصلاح هو سياسة إعادة المحاولة الصريحة. حدد متى تستحق المهلة محاولة أخرى، ومتى يجب أن يتدهور الوكيل بأمان، ومتى يجب أن يتوقف التشغيل مؤقتًا ثم يستأنف لاحقًا، ومتى يجب أن يتولى الإنسان المسؤولية. وبدون هذه الحدود، تتحول مهلة الأداة بهدوء إلى إعادة محاولة الديون.
ما يجب قياسه قبل أن تعتبر سير العمل موثوقًا به
قم بقياس معدل المهلة حسب الأداة، وعدد مرات إعادة المحاولة لكل نتيجة ناجحة، وإجمالي وقت الاستجابة المضاف بواسطة مرات إعادة المحاولة، والمسار الذي سلكته كل عملية تشغيل بعد الفشل: التدهور، أو التصعيد، أو التوقف. سجل أيضًا ما يكفي لتصنيف الحادث لاحقًا: ما هي الأداة التي انتهت المهلة، وعدد المحاولات التي حدثت، وما إذا كانت الحمولة قد تغيرت، وما إذا كان هناك أي حارس للعجز. إذا كنت تعرف فقط أن الوكيل "تم تشغيله"، فإنك لا تعرف ما إذا كان سير العمل يعمل أم لا.
Token Robin Hood يناسب تلك الطبقة. يجب ألا يعد المنتج بتوفير مضمون. من المفترض أن يساعد الفرق على تحليل المكان الذي يتوسع فيه استخدام الرمز المميز وتحديده وتحسينه قبل أن تكتسب المهمة الإنفاق.
الخطوة العملية التالية
اختر سير عمل إنتاجيًا واحدًا يعتمد على تبعية خارجية حقيقية. امنح كل أداة فئة مهلة وميزانية لإعادة المحاولة وإجراء احتياطي واضح. ثم قارن التكلفة لكل مهمة ناجحة قبل تغيير السياسة وبعده. سيخبرك هذا عن موثوقية الوكيل أكثر من أي نقاش عام آخر حول ما إذا كان النموذج "جيدًا بما فيه الكفاية".