AI testinde %50,6 puan: Çıktı skoru, tamamlanma oranı değil

Fizik mühendisliği görevlerini yerine getiren yapay zekâ ajanlarının değerlendirildiği testte en yüksek puanı alan kombinasyon, çıktılarda ortalama %50,6 elde etti. Bu oran görev tamamlama oranı değil; her görevde üretilen çıktılara verilen puanların ortalaması.

Google Cloud AI Research araştırmacıları, bu ay yayımladıkları “PLE: Physical-Engineering’s Last Exam” başlıklı makalede 14 yapay zekâ modelini ve 7 ajan altyapısını değerlendirdi. Anthropic’in Claude Opus 5.5 modelinin Claude Code’a bağlandığı kombinasyon en yüksek puanı aldı.

Bu kombinasyon 85 görevin her birini üç kez gerçekleştirdi. Görev başına ortalama 27 milyon token kullanıldı ve çalışma 63 dakika sürdü.

PLE, doğru cevabı seçmeye dayalı bir sınav değil. Ajanların proje belgelerini okuyup fizik yasalarına ve tasarım standartlarına uygun çıktılar üretme sürecini değerlendiriyor.

Görevler yapı, inşaat, elektrik ve makine mühendisliği alanlarını kapsıyor. Teslimatlar arasında hesap raporları, çizimler ve tasarım inceleme sonuçları yer alıyor.

Her görev ortamında ortalama 61 dosya bulunuyor. Değerlendirme, farklı belgelere dağılmış koşulları bir araya getirerek çıktıya dönüştürme sürecini de kapsıyor.

Araştırmacılar çıktıları otomatik kontroller ve uzman ölçütleriyle puanladı. Puanlar 0 ile 1 arasında verildi ve yüzdeye çevrildi.

En yüksek puanı alan kombinasyonun görev başına medyanı %43,5 oldu. 85 görevin 48’inde puan %50’nin altında kaldı; bu, söz konusu görevlerin tümünün tamamen başarısız olduğu anlamına gelmiyor.

Alanlara göre puanlar inşaat mühendisliğinde %69,9, yapı mühendisliğinde %46,6 ve makine mühendisliğinde %40,5 olarak değişti. Tek bir koşulu karşılamak ile birden fazla kısıtı aynı anda yerine getirip maliyeti de hesaba katmak, değerlendirmede farklı problem türleri olarak ele alındı.

Makaledeki toplam 85 görev, açık geliştirme görevlerinden 29’unu ve kapalı test görevlerinden 56’sını içeriyor. Bu nedenle tüm görevlerin puanları ile yalnızca kapalı test puanlarını birbirinden ayırmak gerekiyor.

PLE’nin resmî sitesinde Claude Opus 5.5 ile Claude Code kombinasyonunun puanı %48,3 olarak listeleniyor. Bu puan yalnızca kapalı testteki 56 görevi kapsıyor; dolayısıyla makaledeki tüm görevlerin puanıyla aynı değerlendirme kapsamına sahip değil.

Yapay zekâ ajanlarının puanlarını karşılaştırırken modelin yanı sıra ajan altyapısını, görevlerin kapsamını ve puanlama yöntemini de incelemek gerekiyor. Aynı modelin sonuçları, çalıştırıldığı ortama ve sınav kapsamına göre farklı yorumlanabilir.

Bu değerlendirme yalnızca fizik mühendisliği alanını kapsıyor. Sonuçları, sanal varlık analizi veya akıllı sözleşme geliştirme ajanlarının performansına genellemek için bir dayanak bulunmuyor.

TokenPost daha önce yapay zekâ ajanları arasındaki rekabetin model performansından şirket sistemlerine doğru kaydığı eğilimi ele almıştı. Bu araştırma ise şirket işlerinin geneline değil, mühendislik çıktılarında model ve ajan altyapısı kombinasyonlarının karşılaştırılmasına odaklandı.