vLLM’nin kurucuları ve başlıca bakım geliştiricileri tarafından kurulan Inferact, 150 milyon dolarlık tohum yatırımı aldı. Yatırım sonrası şirket değerlemesi 800 milyon dolar olarak açıklandı.
Inferact, yatırım turunu 22 Ocak 2026’da duyurdu. Coley, yatırım tutarının 150 milyon dolar, yatırım sonrası değerlemenin ise 800 milyon dolar olduğunu bildirdi. Andreessen Horowitz ve Lightspeed Venture Partners tura eş liderlik etti; Sequoia Capital ve Altimeter Capital de katıldı.
Şirket, vLLM projesine finansman ve mühendislik desteği sağlayacağını, bu altyapı üzerinde ticari bir çıkarım motoru geliştireceğini açıkladı. Inferact ayrıca yönetilen çıkarım hizmetleri ve kurumsal özellikler sunmayı planlıyor.
vLLM, büyük dil modellerinin girdilere yanıt üretmesine ve gerçek hizmetlerde kullanıcı isteklerini işlemesine yardımcı olan açık kaynaklı bir çıkarım ve sunum motoru. Çıkarım, eğitimi tamamlanmış bir modelin girdi alarak yanıt veya sonuç üretmesi sürecini ifade ediyor. Eş zamanlı isteklerde işlem kaynaklarını ve belleği verimli kullanmak önem taşıyor.
vLLM geliştirme ekibi, 2023’te yayımladığı bir yazıda PagedAttention’ı temel teknolojilerden biri olarak tanıttı. İşletim sistemlerindeki sanal bellek sayfalama yönteminden esinlenen teknoloji, modelin bağlamı işlerken kullandığı anahtar-değer önbelleğini yönetiyor.
Ekip, o dönemde belirli karşılaştırma koşullarında PagedAttention kullanan vLLM’nin Hugging Face Transformers’tan 24 kata kadar daha yüksek işlem hacmine ulaştığını bildirmişti. Bu sonuç o zamanki testlere dayanıyor ve tüm modellerde ya da donanımlarda aynı performansın sağlanacağı anlamına gelmiyor.
Inferact’ın resmi tanıtımına göre vLLM, Apache 2.0 lisanslı bir proje ve PyTorch Vakfı tarafından yönetiliyor. Inferact, projeye destek verirken aynı altyapıyı temel alan ticari ürünler geliştirmeyi planlıyor. Böylece açık kaynak proje ile yatırım alan şirketin ticari ürünleri birlikte işletilecek.
Andreessen Horowitz, yatırımın hem açık kaynak projeyi desteklemeyi hem de ticari bir çıkarım motoru geliştirmeyi amaçladığını açıkladı. Ürünlerin fiyatı, gelir hedefi ve hizmetlerin kullanıma sunulacağı tarih henüz duyurulmadı.
Inferact’ın ticari hizmetleri ile açık kaynak projesini nasıl birlikte yürüteceği, ileride açıklanacak ürünler ve işletim modeliyle netleşecek.
Yorum 0