Yüz milyarlarca vektör için Elastic'ten sunucusuz veritabanı

Elastic(ESTC), belge yerleştirmeden vektör depolama ve aramaya kadar tüm süreçleri tek platformda yürüten sunucusuz vektör veritabanını kullanıma sundu. Ürün, yüz milyarlarca vektörün aranmasının yanı sıra arama destekli üretim (RAG) ve yapay zekâ (AI) ajan uygulamalarını hedefliyor.

Elastic, 11'inde ‘Elasticsearch Vector Database’ ürününü tanıttı. Ürün, Elastic Cloud Serverless üzerinde anında kullanılabiliyor. Elastic'in resmi açıklamasına göre sistem, yalnızca belgeler ve sorgular girilerek yerleştirme oluşturulmasını, dizin ayarlarının yapılmasını ve ilgili altyapının yönetilmesini destekliyor.

Vektör veritabanı, cümlelerin veya görsellerin anlamını sayısallaştıran vektörleri depolayarak soruya anlam bakımından en yakın verileri buluyor. RAG ise büyük dil modellerinin (LLM) yanıt oluşturmadan önce ilgili belgeleri arayıp referans olarak kullanması anlamına geliyor. Bu süreçte vektör veritabanı temel depolama alanı görevini üstleniyor.

Ürün, belge bölümlendirme, yerleştirme oluşturma, dizin yapılandırması ve arama sonuçlarının yeniden sıralanmasını varsayılan ayarlarla gerçekleştiriyor. Metin, görsel ve çok modlu vektörler tek bir dizinde aranabiliyor. Anahtar kelime araması ile vektör aramasını birleştiren hibrit arama da destekleniyor.

Elastic'in kendi modellerinin yanı sıra Jina AI'ın yerleştirme ve yeniden sıralama modelleri de yönetilen GPU ortamında kullanılabiliyor. Sistem, geliştiricilerin ayrı bir model sunucusu ve yerleştirme işlem hattı kurmadan arama işlevi oluşturmasına olanak verecek şekilde tasarlandı.

Bellek yükünü azaltan temel teknoloji, Elastic'in ‘Better Binary Quantization (BBQ)’ çözümü. Elastic'in teknik belgelerinde BBQ'nun vektörleri bit düzeyinde sıkıştırarak bellek kullanımını 32 kata kadar azaltabileceği belirtiliyor.

BBQ kayıplı sıkıştırma kullandığı için arama doğruluğu düşebilir. Ürün, fazla arama ve yeniden sıralama yöntemleriyle olası doğruluk kaybını telafi edecek şekilde yapılandırıldı.

Büyük veri kümelerinde ‘DiskBBQ’ da uygulanabiliyor. Bu yöntemde vektörler bellek yerine ağırlıklı olarak diskte depolanarak RAM ihtiyacı azaltılıyor. Ancak arama hızı düşebileceği için veri ölçeği ile doğruluk ve hız gereksinimlerine göre BBQ-HNSW, BBQ-Flat veya BBQ-Disk seçeneklerinden birinin tercih edilmesi gerekiyor.

Ücretlendirme, kullanılan işlem kaynaklarına göre değil, depolanan veri ve arama kapasitesine göre hesaplanıyor. Elastic, arka plan işlemleri için ayrıca ücret almadığını açıkladı.

Gerçek fiyatlandırma düzeyi ve Türkiye'deki kullanıcıların maliyet yükü açıklanmadı. Bu nedenle bellek tasarrufunun gerçek işletme maliyetlerinde düşüş sağlayıp sağlamadığı, veri ölçeği ve arama sıklığına göre ayrıca doğrulanmalı.

Elastic Elasticsearch ve Platform Genel Müdürü Ajay Nair (Ajay Nair), “AI uygulaması geliştiricilerinin vektör aramasını hayata geçirmek için altyapı mühendisi olması gerekmiyor” dedi. Bu açıklama, ayrı veritabanları ve model sunucularına bölünen arama altyapısını Elastic platformunda birleştirme hedefini ortaya koyuyor.

Vektör arama pazarında depolama ve arama katmanları ile yerleştirme ve yeniden sıralama modellerinin ayrı ayrı yapılandırıldığı yöntemler de kullanılıyor. Elastic ise bu süreci tek bir yönetilen ortamda birleştirerek ilk kurulum ve işletim aşamalarını azaltmaya odaklandı.

Kurumsal veritabanları ile AI hizmetlerini aynı bulut ortamında bağlama eğilimi, daha önce Oracle'ın AI veritabanı hizmetini genişletmesi örneğinde de görülmüştü. Ancak Elastic'in yeni ürünü, belirli bulut veritabanlarıyla entegrasyondan çok vektör aramasının kurulumu ve işletimini kolaylaştırmaya odaklanıyor.

Ürünün piyasaya çıkmasının hemen ardından pazar payındaki değişim veya müşteri benimsemesine ilişkin sonuçlar açıklanmadı. BBQ sıkıştırmasının doğruluk ve arama hızı üzerindeki etkisi ile yüz milyarlarca vektörün gerçek ortamlarda işletilmesinin maliyeti, kullanım koşullarına göre doğrulanmalı.

Elastic, ürünü Elastic Cloud Serverless üzerinde şu anda sunuyor. Önümüzdeki dönemde büyük ölçekli arama ortamlarında bellek tasarrufu, arama kalitesi ve işlem hızı arasındaki dengenin nasıl kurulacağı izlenecek.