Çinli yapay zeka şirketi DeepSeek, kendi içinde kullandığı çıkarım (inference) altyapısı DeepInfer'i tamamen açık kaynak olarak yayımladı. ChainCatcher'ın bildirdiğine göre şirket, canlı hizmetlerde kullanılan token kodlama ve kod çözme bileşeni 'deepseek-recipe'i de aynı anda paylaştı.
ChainCatcher, DeepInfer'in yüksek performanslı operatörleri ve optimize edilmiş çıkarım motorunu tek çatı altında topladığını aktardı. Altyapı; dağıtık çıkarım, spekülatif kod çözme (speculative decoding), SWA Bounded Replay ve yapılandırılmış çıktıyı destekliyor. Hem Nvidia hem de Huawei'nin Ascend (昇腾) platformunda çalışabiliyor.
DeepSeek, DeepInfer'i temel alarak DeepSeek V4.1 Flash için yüksek verimli ve düşük gecikmeli büyük ölçekli bir çıkarım hizmeti hayata geçirdiğini söyledi. Yeni modellere ait çıkarım kodları ve optimizasyonlar da bundan sonra bu depoda güncellenecek. ChainCatcher'a göre deepseek-recipe ise DeepSeek'in resmi API'sindeki işleme mantığıyla birebir uyumlu olacak şekilde hazırlandı.
Yorum 0