Açık modellerle çıkarımda varsayılan saklama yok; Responses API 30 gün, Batch müşteri silene kadar

Fireworks AI, açık modellerle çıkarım sırasında girdi ve çıktı verilerinin yalnızca geçici bellekte bulunduğunu ve kalıcı depolamaya yazılmadığını belirtiyor. Notion AI sohbet kayıtlarının Fireworks AI'deki güvenlik olayı kapsamında incelenen veri kümesinde bulunması, bu saklamama taahhüdünün kapsamını gündeme getirdi.

Fireworks AI CEO'su Lin Qiao, 14'ünde yayımladığı yazıda “Dosyayı bulut depolama alanına yüklemekle bir sayıyı hesap makinesine girmek aynı şey değil” dedi.

Bu benzetme, Batch işi için yüklenen veri kümesinin müşteri silene kadar saklandığına işaret ediyor. Standart çıkarımda kullanıcı sorusunu gönderip yanıtı hemen alıyor; Batch işindeyse önce veri kümesi yükleniyor, ardından sonuç alınıyor.

Fireworks AI'nin resmi veri işleme belgelerinde, açık modellerin girdi ve üretilen verilerinin işlem sırasında yalnızca geçici bellekte bulunduğu ve kalıcı depolamaya yazılmadığı belirtiliyor. Ancak prompt cache kullanıldığında bazı girdiler ve ilgili veriler geçici bellekte birkaç dakika kalabiliyor. İstek token sayısı gibi üst veriler de hizmetin işletilmesi için kaydediliyor.

Batch API, veri kümesinin depolanmasını gerektirdiği için standart çıkarımdaki saklamama kapsamına girmiyor. Lin Qiao, Batch verilerinin müşteri silene kadar tutulduğunu söyledi.

Responses API, varsayılan store=true ayarında konuşma verilerini en fazla 30 gün saklıyor. Fireworks AI'nin belgelerine göre istekte store=false ayarı kullanılırsa konuşma verilerinin saklanması önlenebiliyor.

Kurumsal müşteriler, hesap genelinde geçerli bir saklamama politikasını etkinleştirebiliyor. Varsayılan olarak kapalı olan bu politika açıldığında Batch işleri ve veri kümesi yüklemeleri gibi müşteri içeriğini depolayan istekler ve işlemler reddediliyor. Fireworks AI'nin hesap politikası belgeleri, bu ayarın kurumsal hesaplarda sunulduğunu belirtiyor.

Saklamama politikasının açılması, hesapta daha önce kaydedilmiş yanıtları, veri kümelerini ve yüklenmiş modelleri otomatik olarak silmiyor. Fireworks AI, mevcut materyallerin ayrıca silinmesi gerektiğini belirtiyor.

Notion, ayın 2'sinde Fireworks AI'den kötü niyetli bir kişinin bazı materyallere eriştiğine dair bildirim aldı. İlk incelemede veri kümesinde müşteri konuşmalarının değil, Notion AI tarafından oluşturulan sentetik test materyallerinin bulunduğu değerlendirildi.

Notion, ayın 3'ünde Fireworks AI ile sistem bağlantısını kesti. Ertesi gün Fireworks AI sistemlerindeki kendi verilerini sildi. Ayın 6'sında müşteri verilerine erişilmiş olabileceği bildirilince ek soruşturma başlattı.

Notion, ayın 8'inde aldığı nihai veri kümesinde Insights özelliğinde kullanılan Notion AI sohbet kayıtlarını buldu. Etkilenen çalışma alanlarının tüm çalışma alanlarının %1'inden azı olduğunu; kayıtların çoğunda yazar veya çalışma alanı bilgilerinin görünmediğini ve araç çağrısı sonuçlarının yer almadığını açıkladı. Notion AI sohbet kayıtlarının ihlal edilen veriler arasında bulunduğunu daha önce bildirmiştik. Notion'un olay açıklamasında, etkilenen müşterilerin bu kayıtları nasıl inceleyebileceği de anlatıldı.

Notion, çalışanların yapay zekâ kullanımını sınıflandıran Insights özelliği ve açık ağırlıklı model sunumu için Fireworks AI'yi kullanıyordu. Soruşturma sırasında Insights özelliğini devre dışı bıraktı ve Fireworks AI üzerinden açık ağırlıklı model sunumunu durdurdu.

Notion, kurumsal müşterilerine verdiği saklamama taahhüdünün, yapay zekâ yanıtı oluşturmak için harici model sağlayıcılarına gönderilen API isteklerini kapsadığını açıkladı. Sohbet geçmişi veya Insights gibi özelliklerin sunulması için istek ve yanıtların saklandığı durumların bu taahhüdün kapsamında olmadığını belirtti.

Insights analizinde Notion, saklanan istek ve yanıtları Fireworks AI'ye gönderdi. Notion, Fireworks AI'nin bu kullanım için sözleşmeyle verileri saklamamayı taahhüt ettiğini, ancak soruşturma sırasında kullanılan Fireworks AI uç noktasında verilerin tutulduğunu öğrendiğini açıkladı.

Fireworks AI, ayın 9'unda yayımladığı güvenlik duyurusunda bazı müşterilerin veri kümelerinin ve tamamlanmamış model ağırlıklarının etkilendiğini bildirdi. Şirket, standart çıkarım, Training SDK ve Nexus'ta şu ana kadar bir etki tespit etmediğini ve soruşturmanın sürdüğünü belirtti. İki şirketin kamuya açık belgelerinde Notion sohbet kayıtlarının Fireworks AI'nin hangi depolama özelliğinde kaldığı açıklanmıyor. İlgili bilgi Fireworks AI'nin güvenlik duyurusunda da yer aldı.

Fireworks AI, soruşturma boyunca Batch çıkarımı ve veri kümesi tabanlı eğitimde kullanılan self servis veri kümesi yükleme ve indirme işlemlerini durdurduğunu açıkladı. Notion, etkilenen müşterilere çalışma alanlarındaki Security incident review bölümünden ilgili kayıtları incelemeleri için yol gösteriyor.