OpenAI, Responses API'ye WebSocket modunu ekliyor: daha hızlı aracı döngüleri artık çalışma zamanı avantajı
OpenAI'nin 22 Nisan'daki mühendislik yazısı, konuşmayı model IQ ve token fiyatlandırmasının ötesine taşıdığı için önemlidir. Şirket, çıkarım yeterince hızlı hale geldiğinde, aracı ürünlerin taşıma, önbelleğe alınmış durum ve döngü boyunca ne kadar az gereksiz iş yapmaya zorlandıkları açısından kazanacağını veya kaybedeceğini söylüyor.
Aslında ne değişti
OpenAI eski darboğazı açıkça anlatıyor. Codex tarzı bir hata düzeltme görevi düzinelerce gidiş dönüş gerektirebilir: bir sonraki eyleme karar verin, bir aracı çağırın, araç sonucunu geri gönderin ve ardından işlemi tekrarlayın. Modeller saniyede yaklaşık 65 jeton ürettiğinde bu ek yükün göz ardı edilmesi daha kolaydı. OpenAI, GPT-5.3-Codex-Spark'ı saniyede 1.000 jetona doğru ittiğinde saklanmak çok daha zor hale geldi.
Düzeltme yeni bir istem numarası değildi. Bu bir ulaşım değişikliğiydi. OpenAI kalıcı bir WebSocket bağlantısını canlı tuttu, yeniden kullanılabilir yanıt durumunu bellekte önbelleğe aldı ve takip isteklerinin devam etmesine izin verdi previous_response_id her seferinde tüm konuşmayı yeniden oluşturmak yerine.
Bu neden bir API özelliğinden daha büyük?
Bu önemli bir oluşturucu sinyalidir çünkü aracı hızını bir sistem sorunu haline getirir. OpenAI, WebSocket sürümünün önceki giriş ve çıkış öğelerini, araç tanımlarını, ad alanlarını ve işlenmiş belirteçleri yeniden kullandığını söylüyor. Ayrıca platformun her fırsatta tüm geçmişi yeniden işlemek yerine bazı doğrulayıcılar ve güvenlik kontrolleri için yalnızca yeni girdileri işlemesine olanak tanır.
Pek çok ajan ürününün zaman ve para sızdırdığı nokta tam da burasıdır. Görünen faturada "jetonlar" yazıyor. Gizli fatura, tekrarlanan bağlam şekillendirme, tekrarlanan doğrulama, ekstra API anlaşmaları ve yavaş araç sonucu aktarımları olarak ortaya çıkıyor. Daha hızlı modeller bu hataları ortaya çıkarır.
Lansman sonuçları ne anlama geliyor?
OpenAI, alfa kullanıcılarının %40'a kadar iş akışı iyileştirmesi gördüğünü ve Codex'nin Responses API trafiğinin çoğunu WebSocket moduna taşıdığını söylüyor. Şirket ayrıca Vercel, Cline ve Cursor'un entegre edildikten sonra önemli gecikme kazanımları bildirdiğini söylüyor. Pratik çıkarım basit: çalışma zamanı tesisatı artık kodlama acenteleri için rekabet yüzeyinin bir parçası.
TRH okuyucuları için bu, arkasında yatan dersin aynısıdır. ajan yapay zeka neden pahalı geliyor Ve Üretim acenteleri için çalışma zamanı tasarımı. Her araç dönüşünde çok fazla durum yeniden oluşturulursa, kullanıcılarınız modelin daha akıllı hale geldiğini fark etmeden önce sürüklenmeyi hissedecektir.
İnşaatçıların bundan sonra ne yapması gerekiyor?
Tek bir gerçek aracı iş akışını ölçün ve gecikmeyi dört bölüme ayırın: model çıkarımı, API ek yükü, istemci tarafı araç süresi ve işlem sonrası. Aynı geçmiş veya araç şeması her seferinde yeniden doğrulanıyorsa öncelikle bunu düzeltin.
Ardından üç mimari kontrolü yapın. Mümkün olduğunda konuşma durumunu artımlı tutun. Gösterge tablolarınızdaki araç yürütme gecikmesini model gecikmesinden ayırın. Uzun süren döngüler için durum bilgisi olmayan istek zincirlerini varsayılan olarak kullanmak yerine kalıcı bağlantıların nerede anlamlı olacağına karar verin.
Önemli olan yarın her temsilcinin WebSockets'e ihtiyacı olması değil. Mesele şu ki, ulaşım ve durumun yeniden kullanımı artık doğrudan kullanıcı tarafından algılanan zekayı şekillendiriyor. Çıkarım hızlandığında döngüdeki israf ürün haline gelir.