217 peer'lı açık ağda Mesh LLM ile dağıtık çıkarım

Mesh LLM, birden çok cihazın GPU ve bellek kaynağını birleştirerek büyük yapay zeka modellerinin çıkarım (inference) işlemlerini yürüten açık bir mesh ağı işletiyor. Kararlı sürüm 28'inde Kore saatiyle v0.75.1 olarak görünürken, herkese açık mesh bağlantı örneğinde 217 peer listelendi.

Mesh LLM, farklı düğümlerin kaynaklarını tek bir OpenAI uyumlu uç noktada (endpoint) birleştiren dağıtık bir çıkarım sistemi. Gelen istekler yerel cihazda işlenebiliyor ya da ilgili modeli barındıran başka bir peer'a yönlendirilebiliyor; tek cihaza sığmayan büyüklükteki modeller ise birden fazla düğüm tarafından paylaştırılarak çalıştırılıyor.

Projenin kapsamını yalnızca Nvidia(NVDA) GPU'larıyla sınırlamak doğru olmaz. Resmi dokümantasyona göre destek listesi Nvidia CUDA'nın yanı sıra AMD ROCm, Vulkan, CPU ve Apple Metal'i de kapsıyor.

Resmi site, 28'inde Kore saatiyle kararlı sürüm olarak v0.75.1'i gösteriyordu. GitHub yayın listesinde v0.75.1'in 10'unda paylaşıldığı görülürken, ardından v0.76.0 serisine ait bir ön sürüm de eklenmiş durumda.

Herkese açık mesh ağındaki 217 peer, ağın büyüklüğüne dair referans bir değer sunuyor. Ancak bu rakam gerçek zamanlı bir gösterge değerine yakın olduğundan, sabit bir kullanıcı sayısı ya da ticari hizmet ölçeği olarak yorumlanması güç.

Yapının özü, yeni ve büyük GPU'lar satın almak yerine elde zaten bulunan kaynakları birleştirmekte yatıyor. Iroh, 11 Temmuz'da yayımladığı blog yazısında Mesh LLM'in istekleri yerel çalıştırma, peer yönlendirme ve çok düğümlü ('multi-node') pipeline bölme olmak üzere üç farklı yöntemle işlediğini açıkladı.

Herkese açık mesh ağı, düğüm keşfi ve bağlantısında da dağıtık bir yapı kullanıyor. Resmi tasarım dokümanı, Nostr tabanlı keşif ile QUIC ve iroh tabanlı bağlantıyı anlatıyor ve merkezi bir sunucu olmadan açık ya da özel mesh ağları kurmanın yolunu ortaya koyuyor.

Dağıtık çıkarım, yapay zeka modeli çalıştırma işini birden fazla cihaz ya da düğüme paylaştırma yöntemi anlamına geliyor. OpenAI uyumlu API ise, mevcut OpenAI istemcilerinin aynı formatı kullanarak farklı çıkarım sunucularını çağırabilmesini sağlayan bir arayüz.

Kripto takipçileri için bu gelişme, sıradan bir yapay zeka aracı lansmanından çok dağıtık altyapı deneyine benziyor. Merkezi bulut sağlayıcılarına bağımlı kalmadan topluluk ya da ekip içi donanımı birbirine bağlayarak çıkarım kaynağı oluşturması, kripto para dünyasının uzun süredir işlediği açık ağ mantığıyla örtüşüyor.

Bununla birlikte, bir token ihracı ya da ödül yapısını haberin merkezine koyacak bir dayanak bulunmuyor. Buradaki odak nokta, kripto para ihracından çok, açık mesh ağların ve paylaşılan hesaplama gücünün (compute) yapay zeka çıkarım altyapısında gerçekten işleyip işleyemeyeceği.

Block'un Buzz projesi de benzer bir paylaşılan hesaplama deneyi yürütüyor. Buzz'ın kamuya açık dokümanları, ekip üyelerinin sahip olduğu oyun bilgisayarları, dizüstü bilgisayarlar ve iş istasyonlarındaki boşta kalan GPU'ları 'Share compute' özelliğiyle bağlama fikrini ortaya koyuyor.

Ayrı geliştirme dokümanlarında ve hata takip sisteminde (issue tracker) Mesh LLM çalışma zamanı (runtime), tanı amaçlı günlükleme (logging) ve masaüstü paylaşılan hesaplama akışına dair kayıtlar yer alıyor. Bu da Mesh LLM'in tek başına bir deneyin ötesine geçip topluluk temelli bir ürünün parçası haline gelebileceğini gösteriyor.

Yine de bunu ticari bir hizmet olarak nitelemek için henüz erken. Buzz'ın hata takip sisteminde, Linux masaüstü sürümlerinde mesh-llm özelliğinin eksik kaldığı ve bu yüzden paylaşılan hesaplamanın çalışmadığı yönünde bir bildirim yer aldı; söz konusu kayıt daha sonra kapatıldı.

Windows sürümü, metin modeli işleme ve tanı günlükleri de ayrı takip kalemleri olarak yönetiliyor. Özellikler eklenmeye devam ederken, operasyonel kararlılık ve platforma özgü dağıtım doğrulaması da eş zamanlı olarak sürüyor.

Geliştirici topluluğundaki ilgi de küçümsenecek düzeyde değildi. Hacker News'te Iroh'un blog yazısının paylaşıldığı gönderi 347 puan ve 94 yorum aldı; bazı kullanıcılar kurulum ve otomatik çalıştırma deneyimlerini olumlu şekilde 'yorum'ladı.

Bu gelişme, yapay zeka modellerinin açıklığı tartışmasıyla da kesişiyor. TokenPost daha önce, yapay zeka kullanım maliyetleri düşse bile toplam hesaplama ve enerji talebinin artabileceğine dair bir analizi aktarmıştı. Mesh LLM, bu talebi yalnızca büyük bulut veri merkezleriyle değil, bireylerin ve ekiplerin donanımlarıyla da karşılamayı hedefleyen bir deney olarak okunabilir.

Mesh LLM'in bugünkü anlamı, Nvidia GPU'larına özel bir ağ olmaktan çok, çok sayıda donanım tedarikçisini bir araya getiren genel amaçlı bir dağıtık çıkarım çatısı olmasında yatıyor. Herkese açık mesh ağının ve masaüstü paylaşılan hesaplamanın gerçek ürün ortamlarında ne kadar kararlı çalışacağı ise sonraki sürümler ve entegre projelerin dağıtım sonuçlarıyla netleşecek.