Prime Intellect, günde 1 trilyon tokene yakın işlem yapan çıkarım hizmetini açtı

Prime Intellect, dahili çıkarım sisteminin günde 1 trilyon tokene yakın işlem yaptığını açıkladı. Şirket, sistemi dışarıya açarak ilk modeli GLM-5.3’ü kullanıma sundu.

BlockBeats’in haberine göre Prime Inference; pekiştirmeli öğrenme, sentetik veri üretimi, model değerlendirmesi ve kodlama ajanı görevlerinde kullanıldı. Kullanıcılar ihtiyaç duyduklarında model çıkarımını çağırabiliyor veya uzun süre istikrarlı kullanım için önceden kapasite ayırabiliyor. API, OpenAI API ile uyumlu.

Prime Intellect, mevcut pekiştirmeli öğrenme, değerlendirme ve sandbox eğitim altyapısına çıkarım hizmetini ekledi. Böylece model eğitimi ve gerçek kullanıma sunma süreçleri aynı platformda yürütülebiliyor; hizmet sırasında üretilen veriler de sonraki eğitimlerde kullanılabiliyor. BlockBeats, şirketin bu yıl ocak ayından beri müşterilerine yönelik büyük ölçekli dağıtımları da işlettiğini bildirdi.

Şirket, uzun girdileri ve ajan görevlerini hedefleyerek girdi işleme ile yanıt üretimini farklı GPU gruplarına ayıran bir yapı kullandı. Şirketin kendi testlerinde tokenlar arasındaki gecikmenin p90 değeri önceki seviyeye kıyasla yaklaşık yüzde 40 düştü. p90, ölçümlerin yüzde 90’ının altında kaldığı değeri ifade ediyor.

Şirketin açıklamasına göre KV önbelleğinin sıkıştırılmasıyla, aynı bellekte tek bir decoder’ın tutabildiği token sayısı 1,09 milyondan 1,63 milyona çıktı; bu yaklaşık yüzde 50’lik artış anlamına geliyor. Gecikme ve önbellek kapasitesi verileri şirketin kendi test sonuçlarına dayanıyor.