2 milyar parametreli yapay zeka, Qualcomm akıllı gözlükte gerçek zamanlı çalıştı

Yapay zeka şirketi PrismML, Qualcomm Snapdragon tabanlı akıllı gözlükte 2 milyar parametreli bir görsel-dil modelini çalıştırdı. Model, kullanıcının baktığı nesneleri gerçek zamanlı olarak anlamak ve soruları yanıtlamak üzere tasarlandı.

PrismML, 23'ünde Qualcomm Snapdragon Summit'te 1 bit tabanlı 'Bonsai' modelini Snapdragon AR1 Gen 1 platformunda tanıttı. Gelişmeyi TechCrunch aktardı.

Akıllı gözlükler için geliştirilen Bonsai, 1,7 milyar parametreli 1 bit dil modeli ile 0,3 milyar parametreli 4 bit görsel kodlayıcıdan oluşan 2 milyar parametreli bir görsel-dil modeli. Kullanıcılar, gözlüğün yakaladığı nesneler hakkında gerçek zamanlı sorular sorabiliyor.

Görsel-dil modelleri, görüntü veya video gibi görsel verilerle metni birlikte işleyen yapay zeka modelleridir. Bonsai, görsel bilgileri yorumlayan kodlayıcı ile dil modelini birleştirerek yanıtları cihaz üzerinde üretmek üzere tasarlandı.

1 bitlik modeller, her ağırlığı düşük hassasiyetle ifade ederek bellek kullanımını azaltıyor. Ağırlıklar, modelin girdileri işleyip sonuç üretirken kullandığı sayısal verilerdir.

Qualcomm Technologies, Eylül 2026'da Snapdragon AR1 Gen 1 platformunda yapılan testlerde 1 bitlik dil modelinin ağırlık belleği kullanımının 0,43 GB olduğunu açıkladı. Bu değer, karşılık gelen 4 bitlik modelin 1,66 GB'lık kullanımından 3,83 kat daha düşük. Token üretim hızında da 1 bitlik model saniyede 15,36 token, 4 bitlik model ise 7,44 token üretti.

Söz konusu veriler, Qualcomm Technologies'in Eylül 2026'da Snapdragon AR1 Gen 1 platformunda gerçekleştirdiği bellek kullanımı ve token üretim hızı karşılaştırmasına dayanıyor.

PrismML, büyük modelleri önemli ölçüde küçültürken standart benchmark performansının büyük bölümünü koruyan bir teknoloji geliştiriyor. TechCrunch, şirketin model boyutunu yaklaşık dörtte birine indirirken performansın çoğunu korumasını öne çıkardığını bildirdi.

Babak Hassibi (Babak Hassibi), PrismML ortak kurucusu ve CEO'su, “Güçlü yapay zekanın insanların her gün kullandığı cihazlara girebilmesi için cihazın içine sığabilmesi gerekir” dedi. Bu açıklama, akıllı gözlüklere yapay zeka eklemek için model boyutu ve işlem yükünün birlikte azaltılması gerektiğine işaret ediyor.

Akıllı gözlükler kamera ve mikrofonları aracılığıyla çevredeki görsel ve sesli bilgileri işleyebiliyor. Ancak bu cihazlarda akıllı telefonlara veya sunuculara kıyasla bellek, güç ve ısı kapasitesi daha sınırlı. Bu nedenle modeli küçültüp doğrudan cihazda çalıştırmak temel hedeflerden biri olarak öne çıkıyor.

PrismML, Qualcomm Technologies ile işbirliği yaparak Bonsai'nin ağırlıklarını ve yapısını Qualcomm Hexagon NPU'larına göre optimize ettiğini açıkladı. NPU, yapay zeka işlemlerini özel olarak gerçekleştiren yarı iletken birimidir.

Yapay zekanın cihaz üzerinde çalıştırılması, yanıt gecikmesini azaltabilir ve görsel bilgilerin harici sunuculara gönderilmesi ihtiyacını sınırlayabilir. Bu yapı, ağ bağlantısının istikrarsız olduğu ortamlarda da modelin kullanılmasına imkan tanıyor.

Qualcomm daha önce uç yapay zeka uygulamalarının geliştirilmesine yönelik multimedya yazılım geliştirme kitini tanıtarak cihazlarda video, ses ve sensör verilerinin işlenmesine yönelik geliştirme ortamını genişletti. Bonsai gösterimi de cihaz üzerindeki yapay zekanın kullanım alanının giyilebilir cihazlara genişlediğini gösteren örneklerden biri oldu.

PrismML, bulut veri merkezlerine bağımlı kalmadan cihazların kendi işlem gücünü kullanan açık ağırlıklı yapay zeka geliştirmeyi hedefliyor. Ancak PrismML modellerini içeren ticari bir akıllı gözlük ürünü henüz duyurulmadı.