Hızlı zayıflatma ve parametre kilitleme: AI kullanıcıları neden modellerin daha da kötüleştiğini düşünüyor?
Anında zayıflatma, bir modelin veya ürünün bir değişiklikten sonra daha az duyarlı, daha az doğrudan veya daha az yetenekli hale geldiğine dair kullanıcının karşılaştığı duygudur. Bazen gerçektir. Bazen bu, varsayılanlar, parametreler, güvenlik davranışı, araçlar ve beklentiler arasındaki etkileşimdir.
Konuşmada neler değişti?
Opus 4.7 ile ilgili topluluk gönderileri, varsayılan olmayan sıcaklık, top_p veya top_k değerlerinin reddedildiğine dair iddialar içeriyor. Bu iddiaların resmi olarak onaylanması gerekiyor ancak kullanıcının endişesi gerçek: Varsayılanlar daha katı hale geldiğinde, uzman kullanıcılar modelin zayıflatıldığını hissedebiliyor.
Hızlı inekleme tek bir şey değil
Algılanan bozulma, model yönlendirmeden, güvenlik ayarından, sistem istemi değişikliklerinden, gizli bağlamdan, hız sınırı baskısından, araç arızalarından veya parametre kısıtlamalarından kaynaklanabilir. Ciddi bir takım titreşimlere güvenmemelidir. Temsili görevleri yeniden çalıştırmalı, yapıları karşılaştırmalı ve yeniden denemeleri, gecikmeyi, düzenlemeleri ve son kaliteyi ölçmelidir.
Nasıl test edilir
- Kararlı bir kıyaslama istemi ayarını koruyun.
- Modeli, aracı ve parametre ayarlarını kaydedin.
- Yalnızca öznel hissi değil, son eserleri de karşılaştırın.
- Model kalitesini temsilci koşum davranışından ayırın.
- Kabul edilen yapı başına jeton kullanımını izleyin.
TRH açısı
Kullanıcılar bir modelin daha da kötüleştiğini hissederlerse genellikle daha fazlasını isteyerek, daha fazlasını yeniden deneyerek ve daha fazla bağlam ekleyerek bunu telafi ederler. Bu, gerçek temel neden belirsiz olsa bile token israfını artırabilir. Token kurtarma, şikayetin ölçülebilir iş akışı kanıtlarına dönüştürülmesine yardımcı olur.