Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Yaklaşık 20 GB'lık Inkling 2 Mini, Apple Silicon cihazlarda yerel yapay zekâ için tanıtıldı

Harici SSD bağlanmış, yerel yapay zekâ için kullanılan Apple Silicon dizüstü bilgisayar / TokenPost.ai

Thinking Machines Lab, yaklaşık 20 GB boyutundaki yapay zekâ modeli Inkling 2 Mini'yi tanıttı. Model, Apple Silicon cihazlarda doğrudan çalıştırılabilen yerel yapay zekâ için sunuldu.

Thinking Machines Lab, yayımladığı model kartında en az 32 GB belleğe sahip Apple Silicon cihazları desteklenecek cihazlar arasında gösterdi. Model dosyasının boyutu yaklaşık 20 GB olarak belirtildi.

◇ Yerel çalıştırma koşulları

Yerel çalıştırmada depolama alanı ile bellek farklı işlevler üstlenir. Model dosyası depolama biriminde tutulurken çalıştırma sırasında bellek kullanılır.

Bu nedenle Apple Silicon çipine sahip olsa bile belleği 32 GB'ın altında olan cihazlar, yayımlanan destek koşulları kapsamında yer almıyor. Model dosyasının boyutu ile bellek gereksinimi birbirinin yerine geçmez.

Yerel yapay zekâ, harici sunucu yerine modeli kullanıcının cihazında çalıştırma yöntemidir. Kullanıcı, hizmet sağlayıcının API'sini çağırmak yerine model dosyalarını ve çalıştırma araçlarını kendi donanımında bulundurmalıdır.

Bu yöntemde model isteklerinin işlendiği yer ve kullanım ortamı sunucu merkezli hizmetlerden farklıdır. Buna karşılık kullanıcı, cihazın işlem kapasitesi ile depolama alanını kendisi sağlamalıdır.

◇ Lisans ve kullanım politikası

Model sayfasında Apache 2.0 lisansı yer alırken ayrı bir Kabul Edilebilir Kullanım Politikası (Acceptable Use Policy) da sunuldu.

Apache 2.0, modelin değiştirilmesi ve dağıtılmasında kullanılabilen açık lisanslardan biridir. Ayrı kullanım politikası ise model kullanılırken geçerli koşulları açıklayan belgedir.

Geliştiriciler Inkling 2 Mini'yi bir ürün veya hizmete entegre ederken kullanım kapsamını yalnızca Apache 2.0 metnine bakarak belirlemekte zorlanabilir. Lisans ile ayrı kullanım politikasının içeriği birlikte incelenmelidir.

◇ Inkling ürün ailesindeki yeri

Thinking Machines Lab, bu ayın 5'inde Inkling 2 Small modelini de yayımladı. Inkling 2 Small, toplam 594 milyar parametrenin 17 milyarını çıkarım sırasında etkinleştiren uzman karışımı (Mixture-of-Experts, MoE) modelidir.

Inkling 2 Small, görüntü girdisini ve çıkarım miktarının ayarlanmasını destekliyordu. O dönemde model, Thinking Machines Lab'in Tinker'ında kullanılabiliyor ancak ağırlıkları indirilemiyordu.

Thinking Machines Lab, geçtiğimiz temmuz ayında da Inkling ve Inkling-Small modellerini tanıttı. Inkling'in toplam 975 milyar parametrenin 41 milyarını, Inkling-Small'un ise toplam 276 milyar parametrenin 12 milyarını çıkarım sırasında etkinleştiren bir yapı olarak tanıtıldığı belirtildi.

MoE, girdiyi işlerken yalnızca ihtiyaç duyulan bazı uzmanları etkinleştirerek toplam parametre ölçeği ile gerçek hesaplama yükünü birbirinden ayıran bir yöntemdir. Toplam parametre sayısı büyük olsa da her seferinde tüm bölümler aynı anda kullanılmaz.

Inkling 2 Mini, yayımlanan bilgilerde Apple Silicon cihazlarda çalıştırma ve en az 32 GB bellek gereksinimini açıkça belirten bir model olarak yer alıyor. Modelin sunulan kapsamı ile çalıştırma ortamı birlikte açıklanmış durumda.

Kullanıcılar çalıştırmadan önce cihazda en az 32 GB bellek bulunduğunu ve yaklaşık 20 GB'lık model dosyasını saklayacak alan olup olmadığını kontrol etmeli. Apache 2.0 lisansı ile ayrı kullanım politikasını da birlikte incelemeli.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1