13,1 milyar parametreli My Name is Riemann modelinin geliştirme süreci açıklandı

Riemann Computing, yaklaşık 13,1 milyar parametreli My Name is Riemann adlı dil modelinin geliştirme sürecini ve ilk değerlendirme sonuçlarını açıkladı. Model, 163 milyon parametreli bir sürümden başlanarak aşamalı biçimde büyütülen ve önceden yayımlanan bir versiyon olarak tanıtıldı.

Şirket, 4'ünde (yerel saatle) yayımladığı açıklamada modelin eğitim yöntemini, kullanılan donanımı ve ilk değerlendirme sonuçlarını paylaştı. Geliştirme ekibi teknik dokümanı 28 Ekim'de OpenPeer AI üzerinden yayımladı.

Çalışma, 163 milyon parametreli OpenPeerLLM ile başladı. Ekip, yayımlanmış mevcut ağırlıkları kullanarak modeli birkaç aşamada büyüttü; aynı ölçekte bir modeli sıfırdan eğitmedi.

Parametreler, modelin eğitim sırasında ayarladığı değerlerdir. Parametre sayısı ile eğitimde kullanılan token miktarı farklı ölçütlerdir.

Geliştirme ekibi OpenPeer-AI-NTK-Trainer adlı aracı kullandı. Araç, sinir teğet çekirdeği tabanlı bir geçit denetleyicisiyle modelin çıktısını ayarlıyor.

Teknik dokümana göre denetleyici, temel modelin ağırlıklarını değiştirmeden çıktıyı ayarlayacak şekilde tasarlandı. Ekip, bunu model geliştirmenin farklı aşamalarındaki deneylerde kullandı.

Eğitim donanımı aşamalara göre değişti. İlk aşamada harici GPU bağlanan bir dizüstü bilgisayar kullanıldı. Daha sonra AMD(AMD) Instinct MI325X GPU'lardan sekizini içeren bir bulut sistemine geçildi.

Şirketin açıkladığı son geliştirme aşamasında yaklaşık 2,16 milyar token kullanıldı. Bu miktar, modelin parametre sayısından ayrı olarak, söz konusu aşamada eğitim için kullanılan tokenları ifade ediyor.

İlk değerlendirme, 1000 istem ve tamamlama çiftinden oluşan bir veri kümesiyle yapıldı. Geliştirme ekibi, altıncı aşama denetleyicisi uygulanmadan önceki ve sonraki sonuçları karşılaştırdı.

Denetleyici uygulandıktan sonra negatif log olasılığı 1,323'ten 1,310'a düştü. Sonraki token tahmin doğruluğu ise %67,73'ten %67,84'e çıktı.

Teknik doküman, değerlendirmede kullanılan bazı cümlelerin ön eğitim verilerinde de bulunduğunu belirtiyor. Dokümanda değerlendirme verilerinin eğitim verilerine benzer nitelikte olduğu da ifade ediliyor.

Bu nedenle sonuçlar, modelin genel soru yanıtlama becerisinin ya da diğer yapay zekâ modellerine kıyasla performansının göstergesi olarak yorumlanamaz. Şirketin açıklaması da bu değerlendirme sonuçlarının genel amaçlı veya son teknoloji yapay zekâ yeteneklerini kanıtlamadığını vurguladı.

Geliştirme ekibi eğitim sürecindeki sınırlamalara da değindi. Ara aşamalarda veriler dosya sırasına göre işlendiği için baştaki belgeler eğitime daha fazla yansıdı.

Son aşamada beklenen veri miktarı ile eldeki miktar farklı olduğundan bazı belgeler tekrar kullanıldı. Teknik dokümana göre tekrar edilen bölümde eğitim kaybının azalması, modelin yeni bilgiler öğrendiği anlamına gelmiyor.

OpenPeer AI, araştırmacıların ve geliştiricilerin kullanabildiği açık yapay zekâ geliştirme projeleri sunan bir kuruluş olarak tanıtıldı. Riemann Computing, veri sıkıştırma, hesaplama altyapısı ve işletmelere yönelik özel sistemleri de faaliyet alanları arasında saydı.

Şirket, modeli tamamlanmış bir tüketici sohbet botu değil, deney ve ek geliştirme için yayımlanan bir ön sürüm olarak tanımladı. Açıklamada daha kapsamlı değerlendirmelere, ek eğitim verilerine ve eğitim sürecinin iyileştirilmesine ihtiyaç olduğu belirtildi.