GPT-4o-mini’de gizlilik kararı doğruluğu ince ayar sonrası %84,18’den %1,56’ya geriledi

Başka konuşmalardaki bilgileri kullanıcıya sormadan önce getirmeye yönlendirilen GPT-4o-mini’nin, bir ince ayar deneyinde bağlama göre kişisel bilgi paylaşımı kararlarındaki doğruluğu %84,18’den %1,56’ya geriledi.

Sonuçlar, ‘Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models’ başlıklı araştırmada yayımlandı. Çalışma ilk olarak 21 Ocak 2026’da arXiv’de paylaşıldı, ardından Temmuz 2026’da ACL 2026 bildiri kitabında yer aldı. Yazarların kurum listesinde UC Berkeley bulunmuyor.

Araştırmacıların bağlamsal gizlilik kararı olarak tanımladığı ölçüt, modelin bilgiyi hatırlama veya yeniden üretme becerisinden farklı. Bu ölçüt, modelin erişebildiği bir bilgiyi mevcut konuşmadaki muhatabı ve amacı dikkate alarak paylaşmasının uygun olup olmadığını değerlendirmesini ölçüyor.

Makaledeki örneklerden birinde kullanıcı vize yenileme e-postası yazılmasını istiyor; yapay zekâ ise geçmiş konuşmalardan öğrendiği aile içindeki miras anlaşmazlığını ve evlat edinme bilgisini e-postaya ekliyor. Araştırmanın vurgusu, bir bilgiye erişebilmenin o bilginin mevcut talepte kullanılmasına tek başına izin vermediği yönünde.

Ekip, GPT-4.1, GPT-4.1-mini, GPT-4o, GPT-4o-mini, GPT-3.5-turbo ve Llama-3-8B olmak üzere altı modelde standart gözetimli ince ayar uyguladı. İnce ayar için beş veri kümesi kullanıldı.

Değerlendirme, PrivacyLens ve CIMemories adlı iki ölçüt üzerinden yapıldı. PrivacyLens, bağlama uygun bilgi paylaşımı kararı gerektiren 493 senaryo içeriyor.

Ana kontrol deneyinde araştırmacılar, aynı talebi yanıtlamak için modelin farklı bağlamlardaki bilgiyi kullanmadan önce kullanıcıya sormasını sağlayan verilerle, ilgili bilgiyi kendiliğinden getirmeyi öğreten verileri karşılaştırdı. İki koşul, modelin bilgiye ne ölçüde kendi başına eriştiği bakımından farklıydı.

Bilgiyi önce getirmeyi öğrenen GPT-4o-mini, ince ayar sonrasında PrivacyLens’te %1,56 doğruluk kaydetti. Makalede verilen %98,1, ince ayar öncesi doğruluğa kıyasla hesaplanan göreli düşüş oranı. Bu oran, gerçek dünyadaki kişisel bilgi sızıntısı oranını ya da tüm ince ayarların sonucunu göstermiyor.

Aynı kontrol deneyinde, bilgiyi kullanmadan önce kullanıcıdan onay istemeyi öğrenen GPT-4o-mini %82,59 doğruluk elde etti. Bu iki sonuç belirli bir veri düzeni ve değerlendirme senaryolarıyla sınırlı.

Ayrı veri deneylerinde empati odaklı konuşma verileriyle ince ayar yapılan GPT-4o-mini ve GPT-4.1-mini’nin PrivacyLens’teki göreli doğruluğu sırasıyla %24,3 ve %20,4 düştü. Müşteri destek konuşması verilerinde düşüş oranları sırasıyla %17,1 ve %18,9 oldu. Matematik problemi verisi GSM8K koşulunda ise anlamlı bir düşüş görülmedi.

Empati odaklı konuşma ve müşteri destek verisi deneylerinde kişisel gizlilik değerlendirmesi kötüleşirken, araştırmacıların kullandığı AgentHarm güvenlik değerlendirmesindeki değişim en fazla %2 oldu. CommonSenseQA genel yetenek ölçütü ise korundu veya iyileşti. Bu sonuçlar yalnızca araştırmada kullanılan modeller, veriler ve değerlendirme ölçütleri için geçerli.

Araştırmacılar veri seçimini ve kontrol verilerini kullanmayı da denedi. Gizlilik kararlarını kötüleştiren empati odaklı konuşma örneklerinin en alt %10’luk bölümünü çıkarmak, GPT-4o-mini’deki göreli düşüşü %24,3’ten %14,9’a indirdi. Kontrol verilerinin yarısının eklendiği deneyde ise düşüş %98,1’den %65,0’e geriledi, ancak ortadan kalkmadı.

Ekip, genel güvenlik değerlendirmelerine bağlamsal gizlilik kararlarının ayrı bir ölçüt olarak eklenmesini ve ince ayar verilerinin incelenmesini önerdi.

Araştırma İngilizce ağırlıklı veriler, standart gözetimli ince ayar ve iki gizlilik değerlendirme ölçütüyle sınırlı. Aynı etkinin pekiştirmeli öğrenmeyle ince ayar, DPO ve sürekli öğrenmede görülüp görülmediği ya da gerçek şirket dağıtım ortamlarında ortaya çıkıp çıkmadığı araştırmada doğrulanmadı.