Google araştırmacıları, AI sohbetleri için embedding tabanlı kümeleme olmadan sınıflandırma önerdi; koruma belge düzeyinde

Google araştırmacıları, embedding tabanlı kümeleme kullanmadan üretken yapay zekâ sohbetlerinin konularını sınıflandıran bir yöntem önerdi. Yöntem, anahtar kelime sayımlarına diferansiyel gizlilik uyguluyor; makalede sunulan koruma ise tek bir belge düzeyinde.

Edith Cohen'in de aralarında bulunduğu Google Research, Google ve Google DeepMind araştırmacıları, CALLIOPE makalesini 21'inde (Kore saatiyle) arXiv'de yayımladı. Makale, yapılandırılmamış belgelerden üst ve alt konu hiyerarşisi oluşturma yöntemini ve değerlendirme sonuçlarını ele alıyor.

Embedding tabanlı geleneksel yöntemler, cümleleri sayısal vektörlere dönüştürüp anlam bakımından benzer verileri kümeliyor. CALLIOPE ise bu vektör kümeleme adımını kullanmadan büyük dil modellerinden (LLM) yararlanarak belgeleri özetliyor, anahtar kelimeler çıkarıyor ve konuları sınıflandırıyor.

İlk olarak LLM her belge için bir özet ve anahtar kelimeler oluşturuyor. Ardından anahtar kelimelerin sıklığı hesaplanarak konu hiyerarşisi öneriliyor ve her özet uygun bir konuya atanıyor. İşlem tekrarlandıkça geniş konuların altında daha ayrıntılı başlıklar oluşuyor.

Diferansiyel gizlilik, konu hiyerarşisini oluşturan anahtar kelime sayımlarına uygulanıyor. Araştırmacılar, belirli bir belgenin yayımlanan sonuç üzerindeki etkisini sınırlamak için kelime sıklıklarına gürültü ekliyor ve nadir görülen öğeleri eliyor.

Gizlilik koruması güçlendirildiğinde konu sınıflandırması daha geniş ve kabataslak hale gelebiliyor. Araştırmacılar, gizlilik ayarları sıkılaştırılırken sınıflandırma kalitesindeki düşüşü önceki embedding tabanlı yönteme kıyasla azaltabildiklerini belirtti.

Ancak makalenin şu an sunduğu güvence, tek bir sohbet belgesi için geçerli. Makaleye göre, bir kişinin birden fazla kez yaptığı sohbetlerin tamamını koruyan kişi düzeyinde diferansiyel gizlilik için ek araştırma gerekiyor.

Google Research, 10 Aralık 2025'te URANIA'yı tanıtırken sohbetleri embedding'lere dönüştürüp diferansiyel gizlilik uyguladıktan sonra kümeleyen; ardından anahtar kelime çıkarımı ve LLM özetlemesi yapan bir yapı açıklamıştı. Google Research, özetleme aşamasında LLM'nin ham sohbetler yerine gizlilik işlemi uygulanmış anahtar kelimeleri kullandığını bildirmişti.

CALLIOPE, konu sınıflandırmasında vektör kümelemeyi kaldırıp özetlere ve anahtar kelime sayımlarına odaklanıyor. Ancak embedding kullanılmaması, ham sohbetlerin LLM'ye aktarılmadığı anlamına gelmiyor.

Araştırmacılar, çok dilli konuşma verileri MASSIVE, banka müşterilerinin sorularını içeren Banking77, film incelemeleri ve haber belgeleri dahil altı veri kümesinde CALLIOPE'yi CLIO ve URANIA ile karşılaştırdı. Makalede her veri kümesindeki sınıflandırma sonuçları ve konu açıklamalarının kalitesi çeşitli ölçütlerle değerlendirildi.

Araştırmacılar, doğru kategorilerle uyumu ölçen NMI ve ARI göstergelerinde ve bazı konu değerlendirmelerinde CALLIOPE'nin URANIA'dan daha iyi sonuç verdiğini bildirdi. Küme içi yapıyı ölçen göstergelerde ise sonuçları URANIA'ya benzer veya daha iyiydi.

Makalenin ekinde, Gemini 3.5 Flash kullanılan en derin düzeydeki diferansiyel gizlilik uygulanmayan ayarda MASSIVE veri kümesi için CALLIOPE'nin 576 milyon, URANIA'nın ise 123 milyon token kullandığı belirtildi. Bu rakamlar yalnızca söz konusu deney ayarına ait.

Makale, her belge için LLM'nin birden fazla kez çalıştırılmasını hesaplama maliyeti açısından bir sınırlama olarak gösteriyor. Bu nedenle token kullanımı, gerçek bir hizmetin işletme maliyetini veya işlem hızını doğrudan yansıtmıyor.

Ham belgeler ilk aşamada LLM'ye girerek özetlere ve anahtar kelimelere dönüştürülüyor. Yayımlanan konu sonuçlarına yönelik diferansiyel gizlilik güvencesi ile ham sohbetlerin toplanması, saklanması ve model tarafından işlenmesi sırasındaki koruma ayrı konular.

Değerlendirme, gerçek yapay zekâ hizmetlerinin gizli sohbet kayıtları yerine altı veri kümesi üzerinde yapıldı. Araştırma, bir konu sınıflandırma yöntemi ve kişisel verilerin korunmasının kapsamını ortaya koydu; gerçek hizmetlerdeki uygulama sonuçlarını incelemedi.