OpenAI, tıbbi kimya yapay zekâsı değerlendirme aracı MedChemBench’i yayımladı. GPT-6 Astra’nın xhigh ayarındaki aday sıralama ve seçim puanı %50,42’de kalırken molekül yapısını yeniden oluşturma puanı %95,37 oldu.
OpenAI, 20’sinde yayımladığı resmi duyuruda GPT-6.2 Astra’nın xhigh akıl yürütme ayarında alınabilecek puanların %84,5’ini elde ettiğini bildirdi. Aynı ayarda GPT-6 Astra %83,3, GPT-6.1 Sol %82,0 ve GPT-5.6 Sol %58,2 puan aldı.
Tıbbi kimya, hastalıkla ilişkili proteinleri hedefleyen moleküllerin tasarlanmasını ve deney sonuçlarına göre yapılarının geliştirilmesini kapsıyor. Bir hedefi güçlü biçimde baskılayan molekülün vücutta emilimi zayıf olabilir veya hızla parçalanabilir. Bu nedenle araştırmacıların birden fazla özelliği birlikte değerlendirmesi gerekiyor.
MedChemBench, 117 makale ve patentten oluşturulan 99 görev ile birbirinden farklı 761 molekül yapısından oluşuyor. Değerlendirme, molekül yapılarını okuma, deney bulgularını yorumlama ve sıradaki testte hangi bileşiğin inceleneceğini seçme sürecini kapsıyor.
Her görevde araştırmanın belirli bir aşamasına kadar bilinen biyolojik hedefler, aday moleküller ve deney sonuçları sunuluyor. Sonraki araştırmalarda elde edilen bulgular modele gösterilmiyor; yanıtları değerlendirmek için ölçüt olarak kullanılıyor.
Görevler; 48 bütünleşik aday seçimi, 26 yapı-etkinlik ilişkisi tahmini, 8 emilim-dağılım-metabolizma-atılım (ADME) ve iletim, 4 güvenlik, 6 molekül tasarımı ve yapı oluşturma, 3 deney biyolojisi ve mekanizma, 4 retrosentez çalışmasından oluşuyor. Retrosentez, hedef molekülü üretebilecek kimyasal tepkime yollarını geriye doğru belirleme süreci.
Puanlama; molekül yapısını yeniden oluşturma, deneysel kanıtlara dayalı bilimsel açıklama, adayları sıralama ve seçme ile fiziksel özellikleri sayısal olarak tahmin etme başlıklarını kapsıyor. Araştırmacılar, belirlenmiş kurallar ve değerlendirme ölçütleri kullandı.
Açıklanan puanlar, doğru yanıtlanan soru oranını değil, modelin alabileceği puanların ne kadarını kazandığını gösteriyor. Sayısal tahminlerde gerçek ölçümlere yakınlığa göre kısmi puan verilebildiğ으므로 %84,5’lik sonuç yeni ilaç geliştirme başarısı ya da doğru yanıtlanan soru oranı olarak yorumlanamaz.
OpenAI araştırmacılarının değerlendirme makalesinde GPT-6 Astra, xhigh ayarında molekül yapısını yeniden oluşturma alanında %95,37, bilimsel açıklamada %91,05, aday sıralama ve seçimde %50,42, sayısal tahminde %47,02 puan aldı. Model, yapı ve deney kanıtlarını açıklamada daha yüksek; aday seçimi ve fiziksel özellikleri sayısal tahmin etmede daha düşük puan elde etti.
Alt başlıklardaki görevler ve puanlama ölçütleri farklı olduğundan bu sonuçlar genel puanla doğrudan karşılaştırılamaz. Araştırmacılar, yapıyı yeniden oluşturmada başarılı modellerin aday seçimi ve sayısal tahmin alanlarında gelişme payı bulunduğunu belirtti.
Kanser ilacı araştırmalarında hedef olarak incelenen PRMT5’e ilişkin bir görev, farklı molekül özelliklerinin birlikte değerlendirilmesini gösterdi. Modelden önceki deney verilerini temel alarak benzer üç bileşiğin hedefi baskılama gücünü, hücre bariyerini geçme düzeyini ve karaciğer enzimleriyle parçalanma hızını tahmin etmesi istendi.
Sonraki deneylerde 23 numaralı bileşik, daha 낮은 농도에서 PRMT5’i baskıladı. Buna karşılık 24 numaralı bileşik hücre bariyerini daha iyi geçti ve karaciğer enzimleri deneyinde daha yavaş parçalandı.
Molekül çizimlerini doğru okuma becerisi de ayrı olarak sınandı. 18 atomlu halka yapısını koruyarak molekül oluşturma görevinde GPT-6 Astra, 10 denemenin tamamında yapıyı yeniden oluşturdu. GPT-5.6 Sol ve GPT-5.6 Luna ise 10 denemenin tamamında başarısız oldu.
Değerlendirme sorularının yayımlanıp yayımlanmaması ve puanlama yöntemi, kıyaslama sonuçlarının yorumlanmasını etkileyebilir. OpenAI, modellerin eğitim sırasında özgün makale ve patentlerle karşılaşmış olma ihtimalini dışlayamadığını bildirdi. Yanıtlar araç, geri bildirim veya yeni deney kullanılmadan birer kez alındı. Şirket, bu değerlendirmenin yapay zekânın gerçek ilaç keşfindeki ya da laboratuvar kararlarındaki iyileşmeyi kanıtlamadığını da açıkladı.
Comment 0