AI şirketleri, 2028’e kadar akıllı telefonlarda 100 milyar parametreli model istiyor

AI şirketleri, 2028’e kadar akıllı telefonlarda 100 milyar parametreli modellerin sürekli çalıştırılabilmesini Qualcomm’dan talep etti. Bu, sektörün beklentisini aktaran bir açıklama; Qualcomm böyle bir ürün çıkarma sözü vermedi.

Qualcomm CEO’su Cristiano Amon, Alex Heath’e verdiği röportajda “AI şirketleri, 2028’e kadar akıllı telefonlarda en az 100 milyar parametreli modellerin sürekli desteklenmesini istiyor” dedi. Röportaj 8 Ekim’de yayımlandı.

Amon’un aktardığı hedef, yapay zekânın kullanıcının bağlamını anlayıp birden fazla uygulamayı kullanarak görevleri yerine getirdiği ajan tabanlı hizmetlerle ilgili. 2028, AI şirketlerinin talep ettiği tarih; Qualcomm’un ürün takvimi olarak doğrulanmış değil.

Qualcomm, 22 Eylül’de Snapdragon 8 Elite Extreme 6. Nesil ve Snapdragon 8 Elite 6. Nesil’i tanıttı. İki mobil platform, cihaz üzerinde 30 milyardan fazla parametreye sahip Uzman Karışımı (MoE) modelleri çalıştıracak şekilde tasarlandı.

MoE modelleri, göreve bağlı olarak toplam parametrelerinin yalnızca bir bölümünü etkinleştirebiliyor. Qualcomm, 30 milyar parametreli bir MoE modelinde token üretimi sırasında yaklaşık 3 milyar parametrenin etkinleştirildiği bir örnek paylaştı.

Bu nedenle yalnızca toplam parametre sayısına bakarak gerçek işlem yükünü karşılaştırmak zor. Cihazın ihtiyaç duyduğu kaynaklar model mimarisine, hassasiyet düzeyine, bellek kullanımına ve üretim hızına göre değişiyor.

AI modellerini akıllı telefonlarda sürekli çalıştırmak, bellek ve güç tüketimini de hesaba katmayı gerektiriyor. Qualcomm, yeni sinir işleme birimindeki (NPU) paylaşımlı belleğin artırılmasını ve düşük güç tüketen tasarımı cihaz içi AI’ın temeli olarak açıklıyor.

Cihaz içi AI, bilgilerin akıllı telefon gibi cihazlarda doğrudan işlenmesi anlamına geliyor. Bu yöntem, verilerin harici sunuculara gönderilme sıklığını ve yanıt gecikmesini azaltabiliyor; ancak model büyüdükçe bellek ve işlem kaynağı ihtiyacı da artıyor.

Qualcomm’un paylaştığı tasarım açıklamaları şirketin teknoloji yönelimini gösteriyor. Ancak 100 milyar parametreli bir modelin akıllı telefonda sürekli çalıştırılmasına yönelik ürün özellikleri veya bağımsız performans doğrulaması sunulmuş değil.