NVIDIA(NVDA) araştırmacısı: Yapay zekâ ağırlıkları ve eğitim reçetesi erişime açılmalı

Chris Alexiuk, “Ağırlıklara, eğitimde kullanılan verilere, eğitim reçetesine ve diğer her şeye erişilebilmeli” dedi.

NVIDIA, 5'inde yayımladığı çalışan tanıtımında Alexiuk'u derin öğrenme alanında kıdemli ürün araştırma mühendisi olarak tanıttı. Alexiuk, Nemotron'u şirketin önemli projelerinden biri olarak gösterdi ve bu tercihte açıklığın etkili olduğunu belirtti.

Alexiuk, YouTube'da geliştiricilere büyük dil modeli (LLM) uygulamaları ve yapay zekâ ajanları geliştirmeyi; ince ayar, değerlendirme ve dağıtım süreçlerini öğretiyor. Eğitim çalışmalarını sürdürmesinin ardında, geliştiricilerin yapay zekâ bilgisine daha kolay erişmesine yardımcı olma isteğinin bulunduğunu söyledi.

Kişisel tanıtım sayfasında Nemotron için referans uygulamalar ve demo programları hazırladığı, LLM'ler, ajanlar ve değerlendirme üzerine teknik yazılar yazdığı belirtiliyor. Sayfada, NVIDIA'da derin öğrenme alanında ürün araştırmasına Ocak 2023'te başladığı da kaydediliyor.

NVIDIA, 14 Ekim'de Nemotron 3.5'i tanıttı. Nemotron 3.5 Super, toplam 120 milyar parametresinin 12 milyarını etkinleştiren çok modlu bir model. Lightning ise toplam 30 milyar parametresinin 3 milyarını etkinleştiren bir metin modeli.

Her iki model de 1 milyon tokene kadar bağlam uzunluğunu destekliyor. Super metin, görsel ve video işleyebilirken Lightning yalnızca metin modeli olarak sunuluyor.

Alexiuk, profilinde Lightning'i bireysel geliştiricilerin yinelemeli ve sık tekrarlanan işleri, Ultra'yı ise şirketlerin uzun süre çalışan otonom ajanları ve derin araştırma çalışmaları için kullanım örneği olarak gösterdi.

Alexiuk'un ortak yazarı olduğu 15 Ekim tarihli NVIDIA teknik yazısında, geliştiricilerin Nemotron 3.5 Super VL'yi kendi verileri, araçları, politikaları ve iş akışlarına göre ek eğitimden geçirebileceği anlatılıyor. Yazıdaki performans karşılaştırmaları ve benimsenme örneklerine ilişkin sayılar NVIDIA'nın sunduğu sonuçlar.

Model ağırlıkları, eğitim sırasında ayarlanan değerlerden oluşuyor. Eğitim verileri, modelin öğrenme sürecinde kullandığı materyalleri ifade ediyor. Eğitim reçetesi ise bu verilerle modeli eğitmek için izlenen yöntem ve adımları kapsıyor.

Açık Kaynak Girişimi (Open Source Initiative, OSI), “Açık Kaynaklı Yapay Zekâ Tanımı 1.0”da modeli değiştirmek için gerekli eğitim verisi bilgilerini, eğitim ve çalıştırma kodlarını ve model parametrelerini temel ölçütler arasında sayıyor. Bu nedenle yalnızca ağırlıkların açıklanmış olması, tanımın tüm koşullarının karşılandığını göstermiyor.

NVIDIA, Nemotron 3.5'in yayımlanan materyallerine model kontrol noktalarını, veri kümelerini, model kartlarını ve değerlendirme ile eğitim reçetelerini ekledi. Bu açıklama yalnızca Nemotron 3.5'in yayımlanan materyalleri için geçerli.

Nemotron 3.5 Lightning'in Hugging Face model kartında lisans OpenMDW-1.1 olarak gösteriliyor. Lisans bilgisi ve yayımlanan materyaller tek başına OSI tanımına uygunluğu kesinleştirmiyor.

Alexiuk, 12 Ağustos'ta The Sequence ile yaptığı soru-cevapta Nemotron'un açık model ekosistemine teknik bilgi kazandırırken NVIDIA'nın büyük ölçekli ön eğitim ve pekiştirmeli öğrenme için gereken GPU araçlarını ve altyapısını anlamaya yönelik planlı bir çalışması olduğunu anlattı.

Kapalı modeller de kullandığını belirten Alexiuk, açık ve kapalı modellerin birlikte kullanılabileceğini söyledi. NVIDIA daha önce açık ve özel mülkiyetli yapay zekâ modellerinin maliyetini ve kontrolünü de ele almıştı.