OpenAI 100 görevlik BioBasicsBench'i yayımladı; GPT-6 Astra'nın ortalama puanı %66,7

OpenAI, yapay zekâ ajanlarının ıslak laboratuvar ham verilerini yorumlama becerisini ölçen 100 görevlik BioBasicsBench'i 6'sında yayımladı. Benchmark, deney görüntülerini ve cihaz çıktılarını okuma, hataları ve kanıtların desteklemediği sonuçları fark etme becerisini değerlendiriyor.

OpenAI, resmi duyurusunda, en yüksek akıl yürütme ayarı xhigh ile değerlendirilen GPT-6 Astra'nın elde edilebilen puan ortalamasının %66,7, GPT-5.6 Sol'un ise %43,8 olduğunu bildirdi.

Bu yüzdeler, görev başına ayrıntılı puanlama ölçütlerinden alınan puanların ortalamasını gösteriyor. 100 görevin 66,7'sinin doğru yanıtlandığı anlamına gelmiyor ve doğruluk ya da başarı oranı olarak yorumlanmamalı.

Benchmark, gerçek araştırma sonuçlarını veya laboratuvar otomasyonunun başarı oranını ölçmüyor. Deney verilerini okuma ve değerlendirme becerisini görev bazında inceliyor.

OpenAI, BioBasicsBench'i enzim tasarımına odaklanan biyoteknoloji şirketi Ligo ile birlikte geliştirdi. Değerlendirme; deney verilerini yorumlama, deney hatalarını belirleme ve verilerin bir sonucu desteklemeye yetmediği durumları fark etme becerilerine odaklanıyor.

100 görev; protein deneyleri, görüntüleme ve akış sitometrisi, kantitatif ve analitik yöntemler, nükleik asit deneyleri ile moleküler klonlama olmak üzere beş alanı kapsıyor. Her görevde modele deney verileri ve sorular sunularak analiz becerisi ölçüldü.

Girdiler arasında jel ve Western blot görüntüleri, koloni kültürü plakalarının fotoğrafları, mikroskop görüntüleri, dizileme verileri, cihaz çıktıları ve deney notları yer aldı. Benchmark, makalelerde düzenlenmiş grafiklerden çok deney yapan kişilerin karşılaştığı ham verileri incelemeye odaklandı.

Modellerden verilerdeki ölçümleri çıkarmaları veya mevcut kanıtların bir sonuca varmak için yetersiz olduğunu belirtmeleri istendi. Bazı görevlerde farklı türde veriler birlikte sunuldu.

Her görevde bilim insanlarının deneylerinden alınan veriler ve soruların yanı sıra uzmanlarca hazırlanan bir puanlama ölçütü bulunuyor. Yanıtlar; sonuç, sayısal değerler, değerlendirme gerekçesi ve veri yetersizliğinin fark edilip edilmediği gibi ölçütlere göre puanlandı.

Görevler, hazırlanma sürecine katılmamış Ligo bilim insanlarının iç incelemesinden ve ıslak laboratuvar alanında çalışan doktora düzeyindeki bilim insanlarının dış değerlendirmesinden geçti. Ardından son bir iç inceleme yapıldı.

Değerlendirmede yedi modelin toplam 37 model ve akıl yürütme ayarı kullanıldı. Her ayar 100 görevi beş kez tamamlayarak toplam 18.500 sonuç üretti.

GPT-6 Astra'nın ortalama puanı için %95 güven aralığı %60,3 ile %73,1 arasındaydı. GPT-5.6 Sol'un güven aralığı ise %37,6 ile %50,0 arasında ölçüldü.

Yayımlanan örneklerden birinde GPT-5.6 Sol, bir hücre görüntüsündeki boyama sinyalini gerekçe göstererek hücrenin öldüğüne karar verdi. GPT-6 Astra ise başka bir boyama sinyalinin bu görüntüyle çakışmış olabileceğini belirterek ek kontrol gerektiği sonucuna vardı.

Bir klonlama örneğinde GPT-6 Astra, antibiyotik bilgisi yanlış olan kontrol kültür plakasını güvenilir bir kontrol olarak kullanmadı. Mikroskop görüntüsünde hücrelerin görünüp kaybolmasını ise çekim sırasında odak derinliğinin değişmesine bağladı.

OpenAI, 17 Haziran'da uzmanlarca hazırlanan 750 görevle yedi iş akışını ve yedi biyoloji alanını kapsayan LifeSciBench'i de duyurmuştu. LifeSciBench yaşam bilimleri araştırmalarındaki işleri geniş kapsamda değerlendirirken BioBasicsBench günlük ıslak laboratuvar deneylerindeki fotoğraflar ve cihaz çıktıları gibi ham verilerin okunmasına odaklanıyor.

GPT-6 Astra, koloni sayısını benchmark referans değerinden yaklaşık %12 fazla hesapladı. Yakın kolonileri birbirinden ayıramadı, görünen bazı kolonileri atladı ve agar besiyerindeki boş alanları koloni olarak işaretledi. Başka bir klonlama görevinde kontrol grubuyla karşılaştırıldığında seçilmesi gereken koloniyi yanlış belirledi. OpenAI, yüksek benchmark puanının laboratuvarda güvenilir kararlar alınacağını garanti etmediğini bildirdi.