Cloudflare AI yanıtlarında 155 kez başka müşterilerin verileri yer aldı

Cloudflare’ın AI çıkarım hizmetinde, başka müşterilerin isteklerinden içeriklerin yanıtlara karıştığı 155 olay yaşandı. Uzun girdileri işlemek için yeterli bellek bulunmadığında çıkarım motoru istekleri durduramadı ve önceki isteklerin verileri yanıtlara yansıdı.

Cloudflare, 26’sında yayımladığı olay raporunda sorunun 27 Ağustos ile 9 Eylül arasında Workers AI üzerindeki GLM-5.3 modelini etkilediğini açıkladı. Etkilenen yanıtların tamamı, girdi uzunluğu 681 bin 280 tokenı aşan isteklerden kaynaklandı. 155 sayısı yanıt adedini ifade ediyor; müşteri ya da mağdur sayısını değil.

GLM-5.3, geliştiricilerin Workers AI üzerinden çağırabildiği bir model. Cloudflare, Workers AI’daki diğer modellerde aynı sorunun yaşanmadığını belirtti.

Olayda bir yapılandırma hatası ile açık kaynaklı çıkarım motoru SGLang’ın işleme hatası birleşti. Cloudflare, modelin en fazla 1 milyon 48 bin 576 token alacak şekilde ayarlandığını, ancak girdileri işleyen GPU’ların KV önbelleğinde yalnızca 681 bin 280 tokenlık alan bulunduğunu bildirdi. KV önbelleği, AI’ın girdiyi okurken hesaplama sonuçlarını geçici olarak sakladığı bellektir.

Girdi önbellek kapasitesini aşınca SGLang isteği kendi içinde reddetti ve yerine tek tokenlık bir yedek girdi koydu. Ancak işlem, yanıtı üreten GPU’ya iletilmeye devam etti. Yanıt oluşturulurken GPU, yeni istek tarafından üzerine yazılmamış bellek alanlarını da okudu. Bu alanlarda kalan önceki müşterilerin girdileri veya üretilmiş içerikleri yanıtlara karıştı.

Müşterilere hata yerine işlemin başarıyla tamamlandığını belirten HTTP 200 yanıtı verildi. Performans amacıyla bellek alanları istekler arasında temizlenmiyor, sonraki isteklerin üzerine yazması bekleniyordu. Bu nedenle sorun dışarıdan kolayca fark edilemiyordu.

Cloudflare, uzun girdilerle yaptığı yayına alma öncesi testlerde yanıt durumunu ve performansı kontrol ettiğini, ancak üretilen yanıtların içeriğinin doğruluğunu sınamadığını kabul etti. Girdi uzunluğu ayarıyla mevcut önbellek kapasitesi arasındaki farkı bildiğini, fakat çıkarım motorunun işleyemediği girdiler için hata döndüreceğini varsaydığını açıkladı.

Güvenlik araştırmacısı Gadi Evron, sorunu 8 Eylül’de güvenlik açığı bildirim platformu HackerOne üzerinden iletti. Cloudflare ertesi gün olayı ilan ettikten yaklaşık 40 dakika sonra modele herkese açık erişimi durdurdu. Yapılandırma ve çıkarım motorundaki düzeltmelerin ardından hizmeti aynı gün yeniden açtı.

Cloudflare, kendi testleri ve bildirimi yapan kişinin istekleri dışındaki kullanım kayıtlarında açığın kasıtlı olarak tekrar tekrar istismar edildiğine dair kanıt bulamadığını söyledi. SGLang geliştirici ekibi de uzun bir istek reddedildikten sonra yanıt oluşturma aşamasına geçilmesini önleyecek şekilde işleme yöntemini değiştirdi.

Cloudflare, SGLang ile çalıştırdığı diğer modellere de düzeltmeleri ve ek kontrol adımlarını uyguladı. Model dağıtımından önce, çalışan motordaki KV önbellek kapasitesi ile girdi uzunluğu ayarlarının doğrudan karşılaştırılacağı yeni bir prosedür oluşturdu.

Cloudflare daha önce AI ajanlarının istek başına ücretlendirilmesi özelliğini test etmişti. Bu olay ödeme özelliğiyle değil, AI modelinin istekleri işleme süreciyle ilgiliydi.