%82 Daha Az Gecikme: Perplexity Kendi Veritabanı CobbleDB’yi Kurdu

Perplexity, yapay zekâ arama hizmetindeki toplu okuma medyan gecikmesini 31,4 ms’den 5,60 ms’ye düşüren kendi veritabanı CobbleDB’yi kurdu. Şirketin önce-sonra karşılaştırmasına göre gecikme yaklaşık %82 azaldı.

Perplexity, 14 Eylül tarihli resmi teknik yazısında Amazon DynamoDB tabanlı mevcut yapıyı CobbleDB ile değiştirdikten sonra bu sonuçlara ulaştığını açıkladı. CobbleDB, yapay zekâ aramalarındaki okuma ağırlıklı işlemleri yürütmek üzere tasarlandı.

Yavaş isteklerde de gecikme azaldı. 90. yüzdelik dilimdeki gecikme 56,7 ms’den 9,77 ms’ye, 99. yüzdelik dilimdeki gecikme ise 123 ms’den 24,2 ms’ye geriledi.

Medyan, tüm istekler gecikme süresine göre sıralandığında ortada kalan değeri ifade ediyor. 90. ve 99. yüzdelik dilimler, ortalama değerle görülmesi zor olan daha yavaş istek bölümlerindeki performans değişimini gösteriyor.

CobbleDB işlevleri üç katmana ayırıyor. Belgelerin kalıcılığı ve güncellenmesinden ‘Pillar’, toplu girdilerin işlenmesinden ‘Lorry’, sorgu sırasında düşük gecikmeli okumadan ise CobbleDB sorumlu.

Verilerin fiili depolanmasında RocksDB kullanıldı. Perplexity, bölümleme ve önbellek ayarlarını düzenleyerek okuma performansını artırdığını belirtti.

Bu yapı, tüm veritabanı işlemlerinin yerini alacak genel amaçlı bir sistem olarak tasarlanmadı. CobbleDB, güçlü tutarlılık ve karmaşık işlemleri desteklemiyor; bunun yerine arama sonuçlarını hızlı döndürmeye odaklanıyor.

Güçlü tutarlılık, birden fazla veri kopyasının aynı anda aynı değeri garanti etmesi anlamına geliyor. Arama sonuçlarında en güncel verinin anında eşleşmesinden çok yanıt hızının önemli olduğu durumlarda, tutarlılık kapsamı ayarlanarak okuma performansına öncelik verilebiliyor.

Perplexity, 14 Eylül tarihli resmi teknik yazısında, büyük ölçekli kullanım varsayımıyla CobbleDB’nin depolama katmanı maliyetini DynamoDB’ye kıyasla %20’den fazla azaltabileceğini öngördü. Ancak bu oran şirket içi tahmine dayanıyor; gerçek tasarruf miktarı ve uygulama koşulları açıklanmadı.

Maliyet azaltma yaklaşımı, DynamoDB’nin bayt bazlı ücretlendirme yapısını ortadan kaldırmaya ve depolama ile okuma katmanlarını yapay zekâ arama işlemlerine göre optimize etmeye dayanıyor. Gerçek maliyetler istek hacmi, depolanan veri miktarı ve işletim ortamına göre değişebilir.

Geliştirme süresi, şirket içi yapay zekâ kodlama ajanlarının kullanılmasıyla yaklaşık iki aya indirildi. Perplexity, CobbleDB’nin saniyede yüz binlerce isteği işlediği ölçekte operasyonel doğrulama tamamlandıktan sonra sistemi açık kaynak olarak yayımlayacağını açıkladı.

Perplexity, açık kaynak yayın tarihini ve büyük ölçekli operasyonel doğrulamanın tamamlanıp tamamlanmadığını belirtmedi. Bu nedenle mevcut performans verileri, şirketin kendi ortamında yaptığı önce-sonra karşılaştırması olarak değerlendirilmelidir.

Perplexity’nin arama API’sinin yapay zekâ arama API endeksinde 80 puanla ilk sırada yer aldığı önceki örnekle birlikte değerlendirildiğinde, şirketin yalnızca arama sonuçlarını oluşturan katmanı değil, sonuçların depolanması ve çağrılması için kullanılan altyapıyı da optimize ettiği görülüyor. Ancak iki verinin değerlendirme koşulları ve ölçüm yöntemleri farklı olduğundan tek bir performans göstergesi olarak birleştirilemez.

Bu örneğin ortaya koyduğu temel nokta, model performansından bağımsız olarak arama hizmetlerinin depolama ve sorgulama yolunun yanıt hızını etkileyebilmesi. Toplu okuma ile yavaş istek bölümlerinin ayrı ölçülmesi de okuma ağırlıklı hizmetlerin işletim özelliklerini yansıtıyor.

Perplexity, saniyede yüz binlerce isteği işleyen ölçekte CobbleDB’nin operasyonel doğrulamasını tamamladıktan sonra açık kaynak yayınını değerlendirecek. Bundan sonraki temel kontrol noktaları, gerçek maliyet tasarrufu ve performansın dış ortamlarda yeniden üretilebilmesi olacak.