240 RTX 5090 ile 8 milyar parametreli model eğitildi: Akıllı telefon CPU’sunda saniyede 59,6 token

Chutes AI, 13 ülkeye ve 30 hosta dağıtılmış 240 RTX 5090 GPU kullanarak 8 milyar parametreli bir yapay zekâ modelini eğittiğini ve tamamlanan modeli akıllı telefon merkezi işlem biriminde (CPU) çalıştırdığını açıkladı.

Gösterim, 28-29 Eylül’de Kanada’nın Montreal kentinde düzenlenen Exploit Summit’te yapıldı. Crypto Briefing gelişmeyi 30 Eylül’de aktardı.

Eğitimde NVIDIA($NVDA) RTX 5090’dan 240 adet kullanıldı. Chutes AI, eğitim maliyetini yaklaşık 6.500 dolar (yaklaşık 220 bin TL), 1 milyar token başına maliyeti ise yaklaşık 11 dolar (yaklaşık 373 TL) olarak hesapladı.

Bu maliyet, Chutes AI’nin kendi hesaplamasına dayanıyor. Aynı eğitim koşullarında maliyet ve performansı bağımsız biçimde yeniden üreten bir kurum verisi paylaşılmadı.

Tamamlanan 8 milyar parametreli model, akıllı telefon CPU’sunda saniyede yaklaşık 59,6 token üretti. Token, yapay zekâ modelinin metinleri işlerken kullandığı temel birim olarak tanımlanıyor.

40,75 milyar parametreli daha büyük model ise 12 GB bellek kullanarak saniyede 26,9 token işledi. Her iki sonuç da şirketin kendi gösterimine dayanıyor; akıllı telefon modeli ve ayrıntılı test koşulları açıklanmadı.

Gösterimin temel teknolojisi, dağıtık eğitim sistemi ‘Parallax’ oldu. Sistem, tek bir büyük GPU kümesi kiralamak yerine farklı konumlardaki donanımları birbirine bağlayarak eğitim işlerini bölüyor.

Chutes AI, resmî materyalinde Parallax’ın birbirine doğrudan bağlı olmayan heterojen düğümlerde seyrek Mixture-of-Experts modelleri eğitmek üzere tasarlandığını belirtti. Seyrek Mixture-of-Experts modelleri, hesaplama yükünü azaltmak için birden fazla uzman model arasından yalnızca gerekli bölümleri seçiyor.

Parallax, libp2p tabanlı eşler arası (P2P) yapı kullanıyor. Yaklaşım, farklı düğümler arasında veri ve görev durumunu senkronize ederek belirli bir veri merkezine olan bağımlılığı azaltmayı amaçlıyor.

Dağıtık yapılarda düğüm arızaları ve ağ gecikmeleri eğitim sürecini etkileyebilir. Büyük ölçekli eğitim ortamlarında veri bütünlüğünün nasıl doğrulandığı ve arızalara nasıl müdahale edildiği kamuya açık materyallerde yer almadı.

Yerel cihaz üzerinde çıkarım da gösterimin önemli unsurlarından biri oldu. Modelin doğrudan akıllı telefonda çalıştırılması, kullanıcı girdilerinin bulut sunucularına gönderilmediği bir yapı sağlayarak gizlilik ve çevrimdışı işlem için kullanılabilir.

Bununla birlikte akıllı telefon modeline göre ısınma, güç tüketimi ve gerçek yanıt gecikmesine ilişkin ayrıntılı ölçümler paylaşılmadı. Saniye başına token sayısı tek başına gerçek kullanım kolaylığı veya pil verimliliği hakkında kesin sonuç vermiyor.

Chutes AI, Bittensor’un sunucusuz dağıtık hesaplama alt ağı SN64’ü işletiyor. Şirket, Parallax’ı model çıkarımına odaklanan mevcut altyapıyı eğitim aşamasına genişleten bir teknoloji olarak tanımlıyor.

Bu örnek, tüketici tipi GPU’lar ile dağıtık sanal varlık altyapısının yapay zekâ modeli eğitiminde birleştirildiği bir deney olarak sunuldu. Chutes AI topluluğu, 10 Eylül’den itibaren eğitim tokenı sayısı, host sayısı ve saniye başına işlem hacmi gibi verileri gerçek zamanlı bir gösterge panelinde paylaştığını belirtti.

Bazı kullanıcılar, tüketici tipi GPU’ların yapay zekâ eğitim maliyetlerini düşürebileceğine dikkat çekti. Buna karşılık topluluk paylaşımlarında RTX 5090’un kararlılığına ilişkin sorunlar ve karşılaştırma ölçütlerinin yetersizliği de gündeme getirildi.

Chutes AI, kapsamlı bir teknik rapor ile modelin tamamını yayımlamayı planladığını açıkladı. Yayın tarihi henüz belirlenmedi. Ticari hizmet düzeyinde yeniden üretilebilirlik, güvenlik ve enerji verimliliği için ek doğrulama gerekiyor.