Grass kurucusu: Gerçek zamanlı yapay zekâ bilgisi için bölgesel düğümler güçlendirilmeli

Grass (GRASS) kurucusu, yapay zekâ çıkarımı sırasında güncel web bilgilerine erişmek için taleplerin yoğunlaştığı bölgelerde daha fazla düğüme ve hızlı yanıta ihtiyaç olduğunu söyledi. Eğitim verisi toplama süreci ertelenebilirken kullanıcı sorularını yanıtlarken gereken bilgilerin bekleyemeyeceğini belirtti.

Wynd Labs'in kurucu ortağı ve CEO'su Andrej Radonjic, 20'sinde yayımlanan Delphi Podcast söyleşisinde “Çıkarım aşamasında bekleyecek zaman yok” dedi. Radonjic'in sözleri, eğitim verisi toplamakla gerçek zamanlı bilgiye erişmek için gereken sürelerin farklılığına işaret etti. Söyleşi sayfasında Delphi Ventures'ın Grass'a yatırım yaptığı ve Grass tokenı tuttuğu açıklandı.

Grass, kullanıcıların izin vererek sağladığı ev interneti bant genişliğini kullanıp herkese açık web verilerini topluyor. Kullanıcıların sağladığı internet bağlantı noktalarına düğüm adı veriliyor.

Radonjic, bazı web sitelerinin otomatik erişim sağlayan kaynakları ayırt etmekte zorlandığı için veri merkezi IP adreslerini topluca engellediğini anlattı. Bu erişim kısıtlamalarına karşı farklı bölgelerdeki ev interneti bağlantılarından yararlandıklarını söyledi.

Eğitim, bir modeli eğitmek için veri toplama süreci; çıkarım ise eğitilmiş modelin soruları yanıtladığı veya görevleri yerine getirdiği aşamadır. Belirli bir bölgedeki bağlantılar yoğunlaştığında eğitim verisi toplama ertelenebilir. Çıkarım sırasında ise kullanıcıya yanıt verebilmek için güncel bilgilerin bulunması gerekir.

Grass, 28 Eylül tarihli resmi açıklamasında eğitim verisini ilk ürünü olarak tanımladı ve uzun vadeli hedefinin yapay zekânın dünyadaki bilgileri gerçek zamanlı kullanmasını sağlamak olduğunu belirtti. Şirkete göre modeller eğitimi tamamladıktan sonra web'deki yeni bilgileri yansıtmakta zorlanıyor. Şirket, aynı altyapının çıkarım aşamasında web'e erişmek için kullanılmasını sonraki adım olarak gösterdi.

Radonjic, belirli bir bölgedeki gerçek zamanlı bilgi talepleri artarak düğümleri kapasite sınırına getirirse o bölgedeki katılımcı düğüm sayısının artırılması gerektiğini söyledi. Söyleşide anlatılan darboğaz, taleplerin yoğunlaştığı bölgelerdeki düğüm ihtiyacıydı; ağın tamamının kapasite sınırına ulaşması değildi.

Radonjic, sıradan bir yapay zekâ ajanının tek bir web erişiminde genellikle 5-50 sayfa bulduğunu, daha derin çıkarım işlemlerinde daha fazla sayfaya ihtiyaç duyulabileceğini söyledi. Bu sayı, ajanın bağlam toplarken ihtiyaç duyduğu web sayfalarını ifade ediyor.

Radonjic, Contents API'yi kullanıma sunduklarını anlattı. API, bir web sayfasının adresi girildiğinde Grass ağı bağlantıları üzerinden sayfa içeriğini getiriyor.

Kullanıcılar Contents API'de erişim sağlanacak ülkeyi belirleyebiliyor ve sonuçları Markdown ya da düz metin olarak alabiliyor. Radonjic, web sayfası isteği ve tarayıcı işlemlerini tek bir API çağrısında birleştirdiklerini, ayrıca modelin ihtiyaç duyduğu token sayısını azaltan bir özellik eklediklerini söyledi.

Web sayfasının adresinin önceden bilinmediği taleplerde arama özelliği gerekiyor. Grass, sonraki ürünü olarak Search API'yi tanıttı. Şirketin açıklamasında, yapay zekâ modellerinin bilgi bulup sayfa içeriğini alabilmesi için web'i daha geniş ölçekte dizine ekleme planı yer aldı.

Radonjic, geçmişte gerçek zamanlı veri ürününü piyasaya sürmek için mevcut durumdan çok daha fazla düğüme ihtiyaç duyacaklarını düşündüğünü, ancak altyapı optimizasyonu sayesinde beklenenden az düğümle daha fazla işlem yapabildiklerini söyledi. Bu nedenle ürünün çıkış takvimini ilk planlarına kıyasla öne aldıklarını belirtti.

Yanıt gecikmesini azaltmak ise üzerinde çalışılması gereken konulardan biri. Radonjic, web taleplerini dünya genelindeki milyonlarca IP adresi üzerinden iletmenin ek süre yarattığını ve hızı artırmak için çalıştıklarını söyledi.

TokenPost daha önce yapay zekâ veri merkezleri arasında uzun mesafeli fiber ağların genişletilmesini ele almıştı. Radonjic'in bu söyleşide anlattığı altyapı ise web sayfalarına erişmekte kullanılan bölgesel ev interneti bağlantı düğümleri.