Together AI, GPU çıkarım kodunu optimize eden aracını tanıttı

Together AI, yapay zekâ ajanlarının çıkarım için kullanılan GPU kodunu tekrar tekrar optimize etmesini sağlayan Together Compiler adlı aracını 4'ünde tanıttı.

Şirket, açıklamasında yeni aracın modelleri çalıştıran GPU kodunu düzenlediğini belirtti. Optimizasyonun hedefi model ağırlıkları değil. Çıkarım, eğitimi tamamlanmış bir modelin kullanıcı isteklerine yanıt üretme süreci.

Together AI, model yapısı, istek trafiği veya GPU değiştiğinde çıkarım kodunun yeniden optimize edilmesi işini otomatikleştirdiğini açıkladı. Araç, yeni model ya da donanıma göre kodun çalışmasını ayarlıyor.

Şirket, birden fazla ajanın kod değişikliklerini tekrar tekrar sınayarak mevcut ajan tabanlı çıkarım optimizasyon sistemlerinden 252 kat fazla deney yürüttüğünü öne sürdü. Ancak açıklamada karşılaştırılan sistem ve deney sayısının nasıl hesaplandığı ayrıntılandırılmadı.

Together AI, yeni bir modeli optimize etmek için gereken sürenin birkaç haftadan 24 saat içine indirilebileceğini bildirdi. Bu, şirketin çalışma süresine ilişkin iddiası; performans artışına ilişkin bir ölçüm değil.

Together AI'ın açıkladığı testlerde Kimi K3 ve GLM 5.3'ün tepe işlem hacmi, SemiAnalysis'in InferenceX'te elde ettiği en yüksek sonuçların sırasıyla 1,5 ve 1,4 katı oldu. Bu değerler şirketin paylaştığı test sonuçları.

Tepe işlem hacmi, birden çok isteği işleme performansını gösteriyor; tek bir kullanıcının token üretim hızıyla aynı ölçüt değil. Farklı ölçütler ve referans değerleri tek bir iyileşme oranında birleştirilemez.

Şirketin açıklamasına göre, tek kullanıcı ölçümünde MiniMax M3.1 Flash, Nvidia($NVDA) B200 üzerinde saniyede 1.111 token üreterek referans değerin 1,5 katına ulaştı. DeepSeek v4.1 Flash ise Nvidia GB300 üzerinde saniyede 1.205 token ile referans değerin 1,2 katını kaydetti.

InferenceX, kıyaslama sonuçlarını ve çalıştırma kayıtlarını yayımlayarak testlerin tekrarlanmasına imkân veren bir yöntem olarak tanıtılıyor. Ancak Together AI'ın açıklamasında bu karşılaştırmaya ait çalıştırma kayıtları ve test ayarlarının tamamı yer almadı.

Together AI, müşterisi Phonic'in Phonic-1 ses modelini optimize ettikten sonra ilk ses çıktısına kadar geçen medyan sürenin neredeyse %50 azaldığını da aktardı. Açıklamada ölçümün tanımı ve karşılaştırma koşulları belirtilmedi.

Together Compiler, Together AI'ın yürüttüğü Polymorphic Inference girişiminin ilk projesi. Şirket, aracın çıkarım hizmetlerinde GPU kodunu optimize ettiğini belirtti.

Together AI daha önce Equinix($EQIX) ve Nvidia ile kurumsal kullanıma yönelik dağıtık yapay zekâ çıkarım hizmetini duyurmuştu. 200'den fazla açık modeli destekleyen hizmetin 2027'nin ilk çeyreğinden itibaren sunulması planlanıyor.

Şirket, Together Compiler'ın şu anda kendi sunucusuz uç noktalarının bir bölümünde çalıştığını açıkladı. Araç, özel dağıtım müşterilerine sınırlı beta kapsamında sunuluyor. Kendi kendine kullanıma açılacağı tarih ise açıklanmadı.