لماذا يبدو الذكاء الاصطناعي الوكيل باهظ الثمن حتى عندما يبدو تسعير النماذج جيدًا
الكثير من الشكاوى المتعلقة بتكاليف الوكيل العام ليست في الواقع شكاوى نموذجية. إنها شكاوى وقت التشغيل. بحلول الوقت الذي يقول فيه الفريق إن "الذكاء الاصطناعي الوكيل مكلف للغاية"، يكون المضاعف الحقيقي عادة هو السياق المتكرر والتعليمات كبيرة الحجم وقراءات الملف بالكامل وحلقات التأكيد واستدعاءات الأدوات التسلسلية التي تبدو معقولة خطوة بخطوة وسخيفة عند حسابها لكل مهمة ناجحة.
هذه مشكلة سير عمل قبل أن تكون مشكلة بائع
أوضح إشارة جاءت من العيش r/AI_Agents مناقشة: يصف المنشئون مطالبات النظام العملاقة، وقراءات الملفات الكاملة، وسلاسل الأدوات التسلسلية، وحلقات "التحقق فقط" التي تتراكم التكلفة على نفس المهمة قبل أن ينتج النموذج أي شيء يستحق القرار. هذه ليست قصة مرجعية. إنها قصة تصميم وقت التشغيل.
ويظهر هذا النمط نفسه في مكان آخر. في منفصلة r/LangChain موضوع، تم تكرار وضع الفشل لملفات الهوية وأوصاف الأدوات التي تم حقنها في كل حلقة. في أ r/LocalLLaMA موضوع، ظهرت النفايات كتوجيه ريبو قبل أن تبدأ المهمة. أدوات مختلفة، ونفس الاقتصاد.
ما الذي يجعل المكدس يبدو باهظ الثمن في الواقع
غالبًا ما لا يكون الجزء الباهظ الثمن موجهًا عملاقًا واحدًا. إنها نفس التكلفة المدفوعة مرارًا وتكرارًا:
جمع السياق المتكرر. تعليمات متكررة. تتم إعادة قراءة نفس الملفات بعد كل فرع صغير في سير العمل. استدعاءات الأدوات التي كان من الممكن أن يتم تجميعها، ولكن تم تسلسلها. حلقات التأكيد التي تجعل الحزام يشعر بالأمان بينما تستمر ميزانية الرمز المميز في التسرب.
ولهذا السبب لا يزال من الممكن أن يتحول "الرمز الرخيص لكل رمز" إلى نظام باهظ الثمن. السعر لكل رمز هو المدخلات. التكلفة لكل مهمة ناجحة هي رقم التشغيل الذي يهم بالفعل.
ما هي الفرق التي يجب قياسها بعد ذلك؟
إذا كنت تريد العثور على المضاعف الحقيقي، توقف عن قياس إنفاق مقدم الخدمة فقط وابدأ في قياس عمليات تشغيل المهام. أعط كل تشغيل معرف مهمة. تتبع سياق اللمسة الأولى، وسياق اللمسة الأخيرة، وعدد استدعاءات الأداة، وحجم الحمولات الثابتة المتكررة، وإعادة المحاولة، وما إذا كانت القطعة الأثرية النهائية مفيدة بما يكفي للاحتفاظ بها. بمجرد وجود ذلك، عادة ما تتوقف أنماط النفايات عن الاختباء.
هذا هو المكان __TRH__PH_0__ يناسب الأفضل: ليس كوعد بأن كل سير عمل سيصبح أرخص بطريقة سحرية، ولكن كوسيلة لتحليل أين يتوسع الاستخدام قبل أن تبرره جودة المخرجات.
الخطوة العملية التالية
اختر سير عمل واحدًا يبدو مكلفًا بالفعل. قم بتشغيله مرة واحدة مع تشغيل التسجيل. قم بتعيين الرموز المميزة التي تم إنفاقها على الإعداد والتنقل والحمولات المتكررة وإعادة المحاولة والعمل المفيد النهائي. ثم قم بإزالة حمولة متكررة واحدة وحلقة تحكم واحدة وقراءة واحدة غير ضرورية من التشغيل التالي. سيعلمك هذا عادةً أكثر من مجرد جدول بيانات آخر لمقارنة النماذج.