Model fiyatlandırması iyi görünse bile neden ajan yapay zeka pahalı hissettiriyor?
Pek çok kamu temsilcisi maliyet şikayeti gerçekte örnek şikayet değildir. Bunlar çalışma zamanı şikayetleridir. Bir ekip "ajans yapay zekası çok pahalı" dediğinde, gerçek çarpan genellikle tekrarlanan bağlam, büyük boyutlu talimatlar, tam dosya okumaları, onay döngüleri ve her seferinde bir adım için makul görünen ve başarılı görev başına sayıldığında saçma görünen seri araç çağrılarıdır.
Bu bir satıcı sorunu olmadan önce bir iş akışı sorunudur
En net sinyal canlı yayından geldi r/AI_Agents tartışma: inşaatçılar, model karar vermeye değer herhangi bir şey üretmeden önce devasa sistem istemlerini, tam dosya okumalarını, seri araç zincirlerini ve maliyeti aynı göreve yükleyen "sadece kontrol" döngülerini anlatıyor. Bu bir kıyaslama hikayesi değil. Bu bir çalışma zamanı tasarım hikayesidir.
Aynı model başka yerlerde de karşımıza çıkıyor. Ayrı olarak r/LangChain konu, başarısızlık modu, her döngüye enjekte edilen kimlik dosyalarının ve araç açıklamalarının tekrarlanmasından oluşuyordu. bir r/LocalLLaMA konu, atık, görev başlamadan önce repo yönlendirmesi olarak ortaya çıktı. Farklı araçlar, aynı ekonomi.
Yığın aslında pahalı hissettiren şey nedir?
Pahalı kısım genellikle devasa bir istem değildir. Tekrar tekrar ödenen aynı maliyettir:
Tekrarlanan bağlam toplama. Tekrarlanan talimatlar. Aynı dosyalar iş akışındaki her küçük daldan sonra yeniden okunur. Toplu hale getirilebilecek ancak serileştirilmiş araç çağrıları. Token bütçesi sızmaya devam ederken emniyet kemerini güvende hissettiren onay döngüleri.
Bu nedenle "token başına ucuz" hala pahalı bir sisteme dönüşebilir. Token başına fiyat bir girdidir. Başarılı görev başına maliyet, aslında önemli olan işletim sayısıdır.
Bundan sonra hangi takımlar ölçüm yapmalı?
Gerçek çarpanı bulmak istiyorsanız yalnızca sağlayıcı harcamalarını ölçmeyi bırakın ve görev çalıştırmalarını ölçmeye başlayın. Her çalıştırmaya bir görev kimliği verin. İlk dokunuş bağlamını, son dokunuş bağlamını, araç çağrılarının sayısını, tekrarlanan statik yüklerin boyutunu, yeniden denemeleri ve son yapının saklanacak kadar yararlı olup olmadığını izleyin. Bu bir kez ortaya çıktığında, atık kalıpları genellikle saklanmayı bırakır.
burası __TRH_PH_0__ En uygunu: Her iş akışının sihirli bir şekilde ucuzlayacağına dair bir söz olarak değil, çıktı kalitesi bunu haklı çıkarmadan önce kullanımın nerede genişleyeceğini analiz etmenin bir yolu olarak.
Pratik bir sonraki adım
Zaten pahalı görünen bir iş akışını seçin. Günlük kaydı açıkken bir kez çalıştırın. Kurulum, gezinme, tekrarlanan yükler, yeniden denemeler ve son faydalı işler için harcanan jetonların haritasını çıkarın. Daha sonra bir sonraki çalıştırmadan tekrarlanan bir veriyi, bir kontrol döngüsünü ve bir gereksiz okumayı kaldırın. Bu genellikle size başka bir model karşılaştırma tablosundan daha fazlasını öğretecektir.