1 milyon giriş tokenı 0,01 dolar: Baseten joey-1’i tanıttı

Baseten, 2 milyar parametreli karar verme yapay zekâ modeli joey-1’i 29’unda tanıttı. API’de 1 milyon giriş tokenı için ücret 0,01 dolar (yaklaşık 13 won).

Şirketin resmi duyurusuna göre araştırma ekibi Base Labs, Qwen3.5-2B’yi ek eğitimden geçirerek joey-1’i geliştirdi. Model metin ve görsel girdilerini işleyebiliyor.

Sorular çoktan seçmeli, evet-hayır ve sıralama-puanlama biçimlerinde sunulabiliyor. Model, önceden belirlenmiş yanıtı ve her yanıtın olasılığını döndürüyor.

Baseten; müşteri taleplerini ilgili departmana yönlendirme, spam tespiti, destek taleplerini sınıflandırma ve zararlı istemleri engellemeyi kullanım örnekleri arasında sıraladı.

Bu tasarım, önceden belirlenmiş yanıtlar gereken işlerde serbest biçimli metin üretip ardından uygulama içinde bu metni ayrıştırma ihtiyacını azaltıyor. Yanıt seçeneklerinin önceden belirlendiği görevlerde model çıktısı doğrudan kullanılabiliyor.

Baseten’in model sayfasında önbelleğe alınmış giriş tokenları ile çıkış tokenlarının gösterilen fiyatı 0 dolar. 0,01 dolar, tüm tokenlara uygulanan birim ücret değil; giriş tokenı ücreti.

Şirket, ayda 10 milyon müşteri destek talebinin talep başına yaklaşık 500 tokenla sınıflandırıldığı bir örnek verdi. Toplam 5 milyar giriş tokenı için joey-1’in aylık maliyetini 50 dolar (yaklaşık 67 bin won), aynı ürün grubundaki mammoth-1’in maliyetini ise 500 dolar (yaklaşık 670 bin won) olarak hesapladı. Bu, şirketin belirttiği kullanım varsayımlarına dayanan bir maliyet örneği.

Hız ölçümleri de Baseten’in kendi testlerine dayanıyor. Şirket, ortalama 2.000 tokenlık bir istekte uçtan uca gecikmenin medyanını 20 milisaniye olarak açıkladı. Bu süre, 9 milyar parametreli elephant-1’in 49 milisaniyelik sonucundan yaklaşık 2,5 kat daha düşük.

Hugging Face’te yayımlanan joey-1 model kartında Jev Decision Index 0.4’ün herkese açık veri bölümündeki puanı 63,30 olarak listeleniyor. Kartta modelin 230 model arasında 37. sırada olduğu ve 4 milyar parametrenin altındaki modeller arasında en yüksek puanı aldığı belirtiliyor.

Aynı tabloda elephant-1, 72,24 puan aldı. Baseten, kendi testlerinde joey-1’in 3 milyar veya daha az parametreye sahip karar verme modelleri arasında en güçlü model olduğunu öne sürdü; ancak duyuru sırasında testlerin ayrıntılarını yayımlamadı.

Modelin parametre sayısına ilişkin bilgiler de farklılık gösteriyor. Baseten’in ürün açıklaması ve model kartı joey-1’i 2 milyar parametreli olarak tanıtırken Hugging Face deposundaki dosya üst verilerinde 3 milyar parametre yazıyor.

joey-1, elephant-1 ve 27 milyar parametreli mammoth-1 ile aynı API’yi kullanıyor. Baseten, modeli yüksek işlem hacmi ve düşük gecikme gerektiren çağrılarda kullanmayı; joey-1’in yanıtından emin olunmadığında ise isteği elephant-1’e veya mammoth-1’e yönlendirmeyi öneriyor.

joey-1, seçenekler ve yanıt olasılıkları döndüren, sonucu önceden belirlenmiş görevlerde kullanılan bir yapay zekâ modeli örneği sunuyor. Token fiyatlarındaki düşüşle GPU kiralama ücretlerinin aynı dönemde yükseldiğini daha önce TokenPost bildirmişti. joey-1’in fiyatı tek bir modelin giriş tokenı birim ücretini gösteriyor; yapay zekâ hizmetlerinin toplam maliyetini veya sektördeki talebi yansıtmıyor.

Model ağırlıkları MIT lisansıyla yayımlandı. Baseten, API’de 16.000 tokena, özel dağıtım ortamında ise en fazla 262.000 tokenlık bağlam uzunluğuna destek verildiğini açıkladı.

Model kartına göre eğitim sırasında belirlenen uzunluk sınırını aşan istekler içerik kesilerek işlenmiyor, reddediliyor. Kullanıcıların modeli uygulamadan önce desteklenen bağlam uzunluğunu ve giriş sınırlarını kontrol etmesi gerekiyor.