Bilimsel görsel yapay zekâ testinde en yüksek skor %64; maliyet farkı 99 kat

Yaşam bilimleri deney görüntülerini yorumlayan yapay zekâ değerlendirmesinde Gemini 4 Carbon en yüksek skoru %64 ile aldı. Değerlendirme kuruluşunun açıkladığı modeller arasındaki görev başına maliyet farkı ise 99 kat oldu.

Artificial Analysis, 6'sında 19 modeli değerlendiren VIALS-AA sonuçlarını yayımladı. VIALS-AA, Handshake AI'ın yaşam bilimleri görsellerine yönelik VIALS değerlendirme ölçütünü bağımsız biçimde uygulayan bir test.

Handshake AI'ın VIALS açıklamasına göre özgün değerlendirme, 161 görsel soru-cevap görevinden oluşuyor. Her görevde bir araştırma görseli, bir soru ve kısa bir yanıt bulunuyor.

Testte jel blotları, plazmit haritaları, mikroskop görüntüleri, akış sitometrisi grafikleri, filogenetik ağaçlar ve moleküler yapılar yer aldı. Değerlendirme, yaşam bilimleri araştırmalarında karşılaşılan görsel materyalleri okuyup görüntüdeki kanıtlara dayanarak yanıt verme becerisini ölçüyor.

VIALS, makale veya ders kitaplarındaki düzenli grafiklerden çok, araştırma çalışmalarında kullanılan görüntü ve materyallere odaklanıyor. Görevler, yalnızca görsel bilgiyi bulmayı değil, araştırma alanındaki bilgiyi kullanarak yorumlamayı da gerektirecek şekilde tasarlandı.

Özgün VIALS, modele bir görüntü ve soru sunup tek yanıt vermesini istiyor. VIALS-AA ise kod çalıştırmayı ve görüntü incelemeyi destekleyen Stirrup aracının kullanılmasına izin veriyor; böylece modeller görüntüyü büyütüp inceleyerek yanıt arayabiliyor.

İki değerlendirmede araç koşulları ve puanlama yöntemleri farklı olduğu için sonuçlar doğrudan karşılaştırılamaz. VIALS-AA'nın değerlendirme yönteminde her görev üç kez tekrarlanıyor ve üç denemenin tamamında doğru yanıtlanan görevlerin oranı ana skor olarak kullanılıyor.

Gemini 4 Carbon, 161 görevin 103'ünü üç denemede de doğru yanıtlayarak %64 skor aldı. GPT-6 Astra %63, Claude Opus 5.5 ise %61 seviyesinde kaldı.

Bu skor, belirtilen görev ve araç ortamında yanıtların tekrar tekrar doğru verilme oranını gösteriyor. Yaşam bilimleri araştırmalarının genel başarı oranını veya gerçek araştırma çalışmalarındaki performansı ifade etmiyor.

GPT-6 Luna'nın görev başına maliyeti 0,02 dolar (yaklaşık 27 won), Grok 4.7'nin maliyeti ise 1,77 dolar (yaklaşık 2.386 won) olarak gösterildi. Artificial Analysis maliyet farkını 99 kat olarak açıkladı. Ancak sayfada maliyetler sent düzeyinde gösterildiğinden, iki değerin basitçe bölünmesi farklı bir sonuç veriyor.

Maliyet hesabında girdi, önbellek okuma ve yazma, akıl yürütme ve yanıt token fiyatları dikkate alındı. Üç tekrarda kullanılan token miktarlarının ortalaması alındı ve modellere özgü temsili önbellek isabet oranları uygulandı. Puanlama için yapılan model çağrılarının maliyeti hesaba katılmadı.

GPT-6.1 Sol %59, Claude Opus 5.5 ise %61 skor aldı. Aradaki fark 2 yüzde puanıydı; Sol'un görev başına maliyeti Opus'un yaklaşık otuzda biri oldu.

Artificial Analysis, Kimi K3.1 Pro ile GPT-6 Astra'nın görevlerin yaklaşık dörtte birinde en az bir kez doğru yanıt verdiğini hesapladı. Üç denemenin tamamında doğru yanıtlanan görevlerin oranı ise Kimi'de %45, GPT-6 Astra'da %63 oldu.

Alanlara göre Gemini 4 Carbon, plazmit haritaları ve filogenetik ağaç analizinde öne çıktı; akış sitometrisinde Gemini 4 Argon ile liderliği paylaştı. Blot görüntülerinde Claude Opus 5.5, hücre sayımında Claude Sonnet 5.5 en yüksek skoru aldı. Protein yapısı ve bağlanmasında GPT-6.1 Terra, moleküler yapılarda ise GPT-6 Astra ile GPT-6.1 Sol ortak lider oldu.

Araç kullanımı da modellere göre değişti. Claude Sonnet 5.5 %60, GPT-6.1 Sol %59 skor aldı; ancak Sonnet'in görev başına araç çağrısı sayısı 3,6 kat, maliyeti ise Sol'un yaklaşık 18 katıydı.