Batas waktu API mengubah agen yang menggunakan alat menjadi hutang percobaan ulang kecuali anggaran percobaan ulang dinyatakan secara eksplisit
Segar utas r/AgentixLabs membuat kegagalan agen versi produksi sulit untuk diabaikan. Batas waktu API bukanlah gangguan yang jarang terjadi. Itu adalah kondisi pengoperasian normal. Kesalahan sebenarnya adalah memperlakukan setiap waktu tunggu seperti ketidaknyamanan sementara yang harus diatasi oleh model. Begitulah cara satu ketergantungan yang tidak stabil berubah menjadi panggilan model tambahan, upaya alat yang berulang, dan waktu kejadian yang tidak dapat dijelaskan oleh siapa pun setelahnya.
Batas waktu adalah fakta produksi, bukan cacat langsung
Ketika ketergantungan eksternal terhenti, tim sering kali menyalahkan model terlebih dahulu karena model adalah bagian yang terlihat dari tumpukan. Itu melewatkan masalah pengoperasian. Batas waktu dapat berasal dari API hilir, penyimpangan autentikasi, tekanan antrean, batas tarif khusus penyewa, atau bentuk permintaan buruk yang memakan waktu terlalu lama sebelum gagal. Jika harness tidak dapat membedakan kasus-kasus tersebut, agen memperlakukan setiap kegagalan sebagai peluang penalaran lainnya.
Itulah sebabnya alur kerja dengan waktu tunggu yang lama terasa lebih mahal daripada yang terlihat di atas kertas. Setiap percobaan ulang dapat memicu lebih banyak perencanaan, lebih banyak penggunaan kembali konteks, lebih banyak narasi alat, dan lebih banyak peninjauan manusia sebelum tugas berakhir atau terhenti. Kegagalan dimulai pada lapisan ketergantungan, namun tagihan terjadi di seluruh proses.
Coba lagi logika tanpa anggaran menjadi teater mahal
Perulangan percobaan ulang biasa tampaknya bertanggung jawab secara terpisah. Masalahnya muncul ketika tidak ada perubahan berarti di antara upaya tersebut. Alat yang sama, kelompok payload yang sama, ketergantungan yang sama, status pemblokiran yang sama. Dari sudut pandang runtime, percobaan lain tampaknya masuk akal. Dari sudut pandang operator, sistem secara perlahan mengulangi kegagalan yang sama sementara pelanggan menunggu.
Perbaikannya bukanlah nol percobaan ulang. Cara mengatasinya adalah kebijakan coba ulang yang eksplisit. Tentukan kapan waktu tunggu perlu dicoba lagi, kapan agen harus menurunkan performanya dengan baik, kapan proses harus dijeda dan dilanjutkan lagi nanti, dan kapan manusia harus mengambil alih. Tanpa batasan tersebut, waktu habis alat secara diam-diam berubah menjadi hutang percobaan ulang.
Apa yang harus diukur sebelum Anda menyebut alur kerja dapat diandalkan
Ukur tingkat batas waktu berdasarkan alat, jumlah percobaan ulang per hasil yang berhasil, total latensi yang ditambahkan oleh percobaan ulang, dan jalur yang diambil setiap proses setelah kegagalan: menurun, meningkat, atau berhenti. Catat juga secukupnya untuk mengklasifikasikan insiden nanti: alat mana yang habis waktunya, berapa banyak percobaan yang terjadi, apakah payloadnya berubah, dan apakah ada penjaga idempotensi yang ada. Jika Anda hanya mengetahui bahwa agen "berjalan", Anda tidak mengetahui apakah alur kerjanya berfungsi.
Token Robin Hood cocok pada lapisan itu. Produk tidak boleh menjanjikan jaminan penghematan. Ini akan membantu tim menganalisis, menemukan, dan mengoptimalkan perluasan penggunaan token sebelum tugas menghasilkan pembelanjaan.
Langkah praktis selanjutnya
Pilih satu alur kerja produksi dengan ketergantungan eksternal yang nyata. Berikan setiap alat kelas batas waktu, anggaran percobaan ulang, dan tindakan penggantian yang jelas. Kemudian bandingkan biaya per tugas yang berhasil sebelum dan sesudah perubahan kebijakan. Hal ini akan memberi tahu Anda lebih banyak tentang keandalan agen dibandingkan perdebatan umum lainnya tentang apakah model tersebut "cukup baik".