OpenAI, yapay zekâyla üretilen çocuk cinsel istismarı materyalini tespit etmeye yönelik bir görsel sınıflandırıcıyı tanıttı. Şirket, ChatGPT’de bu tür materyalleri arayan kullanıcılara uyarı gösterileceğini ve erişimlerinin 24 saat boyunca kısıtlanacağını açıkladı. Yeni sınıflandırıcı, görsel özellikleri analiz ederek inceleme önceliği belirliyor.
OpenAI, 16’sında (yerel saatle) yaptığı resmî açıklamada sınıflandırıcıyı, ChatGPT uyarılarını, geliştirici yönergelerini ve kolluk kuvvetlerine yönelik araçları birlikte tanıttı. ABD Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi (National Center for Missing & Exploited Children, NCMEC) ile geliştirilen sınıflandırıcı, incelemeden geçen kuruluşlara API üzerinden ücretsiz sunuluyor.
Sınıflandırıcı, görsellerdeki görsel ipuçlarını inceleyerek risk puanı veriyor. Böylece görevli ekipler daha önce tespit edilmemiş görselleri veya yapay zekâ üretimi materyalleri öncelikli olarak inceleyebiliyor.
Mevcut hash eşleştirme yöntemi, bilinen görsellerin dijital parmak izlerini bir listeyle karşılaştırıyor. Parmak izi listede bulunmayan yeni görselleri yalnızca bu yöntemle tespit etmek zor olduğundan OpenAI, yeni sınıflandırıcıyı mevcut koruma önlemlerini tamamlayan bir araç olarak tanımlıyor.
OpenAI’nin kullanıcıların yüklediği görsellerle yaptığı kendi değerlendirmesinde yeni sınıflandırıcı, mevcut koruma önlemlerine benzer sayıda çocuk cinsel istismarı materyali tespit ederken inceleme için işaretlenen görsel sayısı %48 daha az oldu. Yeni sınıflandırıcının işaretlediği görsellerin gerçekten bu tür materyal içerme olasılığı ise önceki yönteme kıyasla yaklaşık iki kat yüksekti.
İş ortağı fal’in operasyonel görsellerle yaptığı ayrı testte, insanlarca incelenen yüksek güven düzeyindeki işaretli vakaların %72’si daha önce tespit edilmemiş çocuk cinsel istismarı materyali olarak değerlendirildi. Bu test, OpenAI’nin kullanıcı yüklemeleriyle yaptığı değerlendirmeden ayrı yürütüldü.
Diğer iş ortaklarının testleri de ayrı ayrı yapıldı. invideo AI’nin değerlendirmesinde işaretlenen vakaların her dörtte biri kullanımın askıya alınmasıyla sonuçlandı. SafetyKit ise çocukları cinsel biçimde tasvir eden çizim ve animasyon vakalarının %90’ını tespit ettiğini bildirdi.
ChatGPT, ilgili materyali arama isteğini algıladığında uyarı gösteriyor ve konuşmayı durduruyor. OpenAI, uyarıyla birlikte oturum açmış kullanıcıların konuşmalarını geçmişlerinden gizlediğini ve ChatGPT erişimini 24 saat süreyle durdurduğunu açıkladı.
Tekrarlanan ihlaller daha uzun süreli kısıtlamalara veya hesapların kapatılmasına yol açabilir; ayrıca yetkililere bildirimde bulunulabilir. Uyarıda, zararlı davranışın durdurulmasına yardımcı olacak uzman desteğine ilişkin bilgiler de yer alıyor.
OpenAI’nin ürün yardım sayfasına göre önlemler dünya genelinde aşamalı olarak uygulanıyor. Kapsamda web ve mobil uygulamalardaki kişisel hesapların sohbet ve çalışma modları bulunuyor. Oturum açmamış kullanıcılar da uyarı görebiliyor.
İşletme, kurumsal, eğitim ve sağlık alanlarına yönelik çalışma alanları henüz kapsamda değil. Ses modu, masaüstü uygulaması ve Codex de şu an için uygulama dışında tutuluyor.
Geliştirici yönergeleri zararlı materyalin önlenmesi, tespiti ve bildirilmesine yönelik süreçleri ele alıyor. OpenAI, bilinen görsellerin hash eşleştirmesinin, yeni materyalleri arayan sınıflandırıcının ve eğitimli görevlilerin incelemesinin birlikte kullanılmasını öneriyor.
OpenAI, kolluk kuvvetlerine uzun sohbet kayıtlarını ve yasal süreç kapsamında sunulan materyalleri incelemeye yönelik araçlar ile eğitim desteği sağlıyor. İlk araç, ilgili olabilecek materyalleri bulup kronolojik sıraya koyuyor ve sonuçları kaynak materyalle ilişkilendirecek şekilde tasarlandı.
OpenAI, bu adımların nisan ayında açıkladığı çocuk güvenliği yol haritasını sürdürdüğünü belirtti. Yol haritasında yapay zekâ üretimi çocuk cinsel istismarı materyaline karşı yasal düzenlemelerin geliştirilmesi, şirketlerin bildirim ve kolluk kuvvetleriyle iş birliğini güçlendirmesi ve güvenlik önlemlerinin yapay zekâ tasarım aşamasında ele alınması yer alıyor.
OpenAI daha önce çocuklara yönelik yapay zekânın risk ve fırsatlarını ölçmeye yarayacak araçların geliştirilmesi için 2 milyon dolar (yaklaşık 2,67 milyar won) taahhüt ettiğini açıklamıştı. Şirket bu kez tespit araçlarına, hizmet içi uyarılara ve geliştiricilerle kolluk kuvvetlerine yönelik desteğe odaklandı.
NCMEC, yeni sınıflandırıcının daha önce tespit edilmemiş çocuk cinsel istismarı materyalinin bulunmasına ve bildirilmesine yardımcı olabileceğini, mağdurların bulunup korunması için gerekli bilgileri sağlayabileceğini değerlendirdi. Aracın birden fazla kuruluşun kullanımına açılmasının da çocuk güvenliği çalışmalarını destekleyebileceğini belirtti.
OpenAI’nin model açıklama belgesinde, sınıflandırıcının zararsız görselleri yanlışlıkla işaretleyebileceği veya zararlı görselleri gözden kaçırabileceği belirtiliyor. Görsellerin içeriği ve kullanım koşulları hizmetten hizmete değişebileceğinden performans da farklılık gösterebilir. OpenAI, bildirim yapılmadan önce eğitimli bir görevlinin inceleme gerçekleştirmesi gerektiğini söylüyor.
Comment 0