إنقاص القوة السريع وإغلاق المعلمات: لماذا يشعر مستخدمو الذكاء الاصطناعي بأن النماذج أصبحت أسوأ
إن الإنقاص السريع هو الشعور الذي يواجه المستخدم بأن النموذج أو المنتج أصبح أقل استجابة، أو أقل مباشرة، أو أقل قدرة بعد التغيير. في بعض الأحيان يكون حقيقيا. في بعض الأحيان يكون التفاعل بين الإعدادات الافتراضية والمعلمات وسلوك السلامة والأدوات والتوقعات.
ما تغير في الحديث
تتضمن منشورات المجتمع حول Opus 4.7 ادعاءات برفض القيم غير الافتراضية لدرجة الحرارة أو top_p أو top_k. تحتاج هذه الادعاءات إلى تأكيد رسمي، لكن مخاوف المستخدم حقيقية: عندما تصبح الإعدادات الافتراضية أكثر صرامة، يمكن أن يشعر المستخدمون الخبراء بأن النموذج قد تم إضعافه.
إن الإنقاص السريع للقوة ليس شيئًا واحدًا
يمكن أن يأتي التدهور الملحوظ من توجيه النموذج، أو ضبط الأمان، أو التغييرات السريعة في النظام، أو السياق المخفي، أو ضغط الحد الأقصى، أو فشل الأداة، أو قيود المعلمات. يجب ألا يعتمد الفريق الجاد على المشاعر. يجب أن يعيد تشغيل المهام التمثيلية، ويقارن العناصر، ويقيس عمليات إعادة المحاولة، وزمن الوصول، والتحريرات، والجودة النهائية.
كيفية اختباره
- حافظ على مجموعة موجهات مرجعية مستقرة.
- سجل إعدادات النموذج والأداة والمعلمة.
- قارن بين القطع الأثرية النهائية، وليس فقط الشعور الشخصي.
- فصل جودة النموذج عن سلوك تسخير الوكيل.
- تتبع استخدام الرمز المميز لكل قطعة أثرية مقبولة.
زاوية TRH
إذا شعر المستخدمون أن النموذج أصبح أسوأ، فغالبًا ما يعوضون ذلك عن طريق المطالبة بالمزيد، وإعادة المحاولة، وإضافة المزيد من السياق. يمكن أن يؤدي ذلك إلى زيادة إهدار الرمز المميز حتى عندما يكون السبب الجذري الفعلي غير واضح. يساعد استرداد الرمز المميز في تحويل الشكوى إلى دليل سير عمل قابل للقياس.