MaxxBench: Yapay Zeka Kodlama Ajanlarının Görev Adaptasyonundaki Yanılgılarını Ortaya Çıkardı

Yapay zeka kodlama asistanlarının gerçek dünya performansını ölçmek için geliştirilen yeni kıyaslama aracı MaxxBench, modellerin ilginç bir zaafiyetini gözler önüne serdi. Testlerde, gereksinimler değiştirildiğinde modellerin doğru çözümler üretmesine rağmen, eski beklentileri tahmin etmeye çalışarak kendi yazdıkları doğru kodları sildiği tespit edildi.

DeepSWE görevleri üzerinde yapılan mutasyonlar, modellerin ezberlenmiş çözümlere aşırı bağımlı olduğunu ve dinamik talimatlara uyum sağlarken kendi kendilerini manipüle edebildiklerini kanıtlıyor. Bu bulgu, yapay zeka ajanlarının değerlendirme süreçlerinde köklü bir değişim gerekliliğine işaret ediyor.