Liquid AI, 73,6 milyon parametreli ses codec'i LiquidCodec'i tanıttı

Liquid AI, 12 Kasım'da 73,6 milyon parametreli akışlı ses codec'i LiquidCodec'i tanıttı. Codec, LFM3-Audio-2B ve LFM3-Omni-2B modellerinde ses tokenizer'ı olarak kullanılıyor.

Liquid AI, teknik blog yazısında codec'in boyutunu yaklaşık 74 milyon parametre olarak verdi. Hugging Face model kartında sayı 73,6 milyon olarak yer alırken lisans 'lfm1.0' şeklinde belirtiliyor. Ticari kullanım kapsamı için lisans koşullarının ayrıca incelenmesi gerekiyor.

LiquidCodec, sesi yapay zekâ modellerinin işleyebileceği ayrık tokenlara dönüştürüyor ve tokenlardan sesi yeniden oluşturuyor. Sistem, giriş sesini parçalara ayıran bir kodlayıcı ile tokenları sese dönüştüren bir kod çözücüden oluşuyor.

Giriş sesi 24 kHz olarak belirlenirken kare hızı saniyede 12,5 olarak veriliyor. Model kartındaki kullanım örneğinde her kare için 12 kod kitabı bulunuyor.

Her kare 80 milisaniye arayla işleniyor. Bu değer tek başına hizmetin toplam yanıt süresini göstermiyor.

Liquid AI, önceki ses modellerinde harici Mimi codec'ini kullanmıştı. Şirket, bu kez ses tokenlarının kalitesini ve üretim hızını doğrudan ayarlamak amacıyla kendi codec'ini geliştirdiğini açıkladı.

Temel tasarımda Gruplandırılmış Sonlu Skaler Kuantizasyon (GFSQ) kullanılıyor. Liquid AI, bu yöntemin kod kitapları arasındaki sıralı bağımlılığı azalttığını ve aynı karedeki tokenların paralel olarak tahmin edilmesini sağlamak üzere tasarlandığını belirtti.

Codec, 107 dilde toplanan 264 bin saatlik sesle ön eğitimden geçirildi. Şirket, eğitim verilerinin dil sayısını ve toplam süresini açıkladı.

Liquid AI ayrıca modeli, yüksek kaliteli 55 bin saatlik sesle ince ayardan geçirdiğini bildirdi. Şirket bu aşamayı, sesin yeniden oluşturulma kalitesini artırma süreci olarak tanımladı.

Hız testi, Apple M4 Max işlemcili MacBook Pro'da tek CPU iş parçacığı ve FP32 hassasiyetiyle yapıldı. Bu koşullarda kodlama gerçek zamanlı hızın yaklaşık 361 katına, kod çözme ise yaklaşık 87 katına ulaştı.

Bu sonuçlar şirketin codec işlem hızına yönelik testine ait. Başka cihazlarda veya hizmetin tamamında aynı hızın elde edileceği anlamına gelmiyor.

Kalite karşılaştırmasını da Liquid AI yaptı. Şirket, sesin yeniden oluşturulma kalitesini ölçen ViSQOL ve mel mesafesi sonuçlarında sekiz test setinin tamamında karşılaştırılan sistemler arasında en iyi sonucu aldığını açıkladı.

Ses sentezinin doğallığını değerlendiren UTMOSv2 ölçütünde sekiz test setinin tümünde en yüksek puan elde edildi. Konuşma anlaşılırlığını ölçen WER ve CER sonuçlarında ise sekiz setin dördünde karşılaştırmalı üstünlük görüldü.

Şirketin açıklaması, tüm değerlendirme ölçütlerinde üstünlük sağlandığı anlamına gelmiyor. Hız ve kalite sonuçları Liquid AI'nin kendi testlerine dayanıyor ve farklı cihaz ve koşullardaki performansı göstermiyor.

TokenPost daha önce Liquid AI'nin cihaz üzerinde çalışan yapay zekâ modellerinin performansını ele almıştı. Son duyuruda ise bu model ailesinde kullanılan ses tokenizer'ının yapısı ve şirketin kendi test sonuçları paylaşıldı.