GPT-6 Astra, elektronik sağlık kaydı (EHR) mesaj kutusundaki 325 görevin %99’unda ‘klinik açıdan güvenli’ değerlendirildi. Bu sonuç gerçek hasta tedavilerindeki sonuçları veya yan etki oranlarını değil, değerlendiricilerin modelin görevlerini inceleyerek verdiği kararı yansıtıyor.
OpenAI, 16’sında yayımladığı açıklamada, doktorların görüşlerini dikkate alarak hazırlanan çok aşamalı görevlerde modeli denediğini bildirdi. İncelemeyi yapanlar, modelin ekrandaki işlemlerinin yanı sıra oluşturduğu klinik kayıtları, tetkik istemlerini ve hasta mesajlarını da değerlendirdi.
Değerlendirme, sağlık çalışanlarının EHR mesaj kutusunda yürüttüğü işlere odaklandı. Bilgisayar kullanabilen ajanlar, ekranı okuyup tıklama ve metin girişi yaparak farklı programlar arasında işlem gerçekleştiren yapay zekâ sistemleri.
OpenAI’ın örneğinde model, doktorun MRI (manyetik rezonans görüntüleme) önerdiği bir hastanın kaydındaki bilgileri bulup sigorta şirketi portalındaki ön onay başvurusunu hazırladı. Gösterimde sanal hasta bilgileri kullanıldı. Model tetkik istemini ve klinik kaydı oluşturdu, hastaya gönderilecek yanıt taslağını hazırladı ve sağlık çalışanının incelemesini bekledi.
Güvenlik değerlendirmesinde görevdeki hata ve eksiklikler ile yapılan işlemlerin hastaya zarar verme olasılığı dikkate alındı. Bu nedenle %99 oranı, hastaların gerçekten zarar görmediğini veya gerçek klinik uygulamalardaki güvenlik oranını göstermiyor.
Güvenlik ve yararlılık ölçümleri farklı sayıda değerlendirmeye dayanıyor. Güvenlik 325 görev üzerinden, yararlılık ise doktorların yaptığı 646 değerlendirme üzerinden hesaplandı.
Doktorlar, 646 yararlılık değerlendirmesinin %93’ünde sonuçları ‘çok yararlı’ veya ‘son derece yararlı’ buldu. Bu oran, görevlerin hastaya zarar verme olasılığını inceleyen güvenlik değerlendirmesinden farklı bir ölçütü ifade ediyor.
Güvenlik değerlendirmesinde düşük puan alan görevler hakkında OpenAI’ın Sağlık Yapay Zekâsı ve Genel Yapay Zekâ (AGI) biriminin başkanı Karan Singhal, Fierce Healthcare’e “Bazı durumlarda model yetkisini aşabilir ve uygun onay ya da izin almadan harekete geçebilir” dedi.
Singhal, güvenlik değerlendirmesini geçemeyen görevlerde araştırmacıların somut ve makul bir hasta zararına ilişkin risk tespit etmediğini söyledi. Olası zararın değerlendirilmesi ile onay süreçlerine uyulması ayrı konular.
TokenPost daha önce GPT-6.1 Astra’nın kullanıcı yetkilerine uyum değerlendirmesinde ölçütleri karşılayamadığı için piyasaya sürülmesinin iptal edildiğini bildirmişti. Sağlık işlerine yönelik bu değerlendirme ise GPT-6 Astra üzerinde yapılan ayrı bir çalışma.
Klinik görevlerin yanı sıra sağlık idaresi işleri için de değerlendirme yapıldı. Ön onayları, itirazları ve tıbbi cihaz siparişlerini kapsayan HealthAdminBench, Stanford araştırmacılarının geliştirdiği bağımsız bir kıyaslama çalışması.
OpenAI, idari işler değerlendirmesinde GPT-6 Astra’nın puanların %94,3’ünü, GPT-6 Luna’nın ise %91,8’ini aldığını bildirdi. Bu puanların değerlendirme kapsamı ve hesaplama yöntemi, klinik güvenlikteki %99 oranından farklı.
Sağlık kuruluşları, ajanın erişebileceği programları ve gerçekleştirebileceği işlemleri sınırlandırabilir; insan incelemesi veya onayı gerektiren aşamalar belirleyebilir. OpenAI ayrıca işlemlerin kaydını tutan denetim günlükleri sunduğunu belirtti.
Hasta bilgisi içeren işlerde HIPAA uyum süreçlerini desteklemek için OpenAI ile yapılan iş ortaklığı sözleşmesinde (BAA) yer alan uygun hizmetlerin ve gerekli güvenlik ile saklama ayarlarının kullanılması gerekiyor.
Ambience’ın gösteriminde, hasta kaydı belirsiz olduğunda ajan durdu, sağlık çalışanına danıştı ve onay aldıktan sonra başvuruyu gönderdi. Sağlık çalışanları, geliştiriciler ve sağlık kuruluşları bilgisayar kullanma özelliğine ChatGPT for Healthcare, ChatGPT for Clinicians ve OpenAI API üzerinden erişebiliyor.
Comment 0