Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

DeepSeek, çıkarım altyapısı DeepInfer'i tamamen açık kaynak yaptı: Nvidia ve Huawei çipleri destekleniyor

Soğutucu takılı bir yapay zeka işlem çipinin yer aldığı devre kartı / TokenPost.ai

Çinli yapay zeka şirketi DeepSeek, kendi içinde kullandığı çıkarım (inference) altyapısı DeepInfer'i tamamen açık kaynak olarak yayımladı. ChainCatcher'ın bildirdiğine göre şirket, canlı hizmetlerde kullanılan token kodlama ve kod çözme bileşeni 'deepseek-recipe'i de aynı anda paylaştı.

ChainCatcher, DeepInfer'in yüksek performanslı operatörleri ve optimize edilmiş çıkarım motorunu tek çatı altında topladığını aktardı. Altyapı; dağıtık çıkarım, spekülatif kod çözme (speculative decoding), SWA Bounded Replay ve yapılandırılmış çıktıyı destekliyor. Hem Nvidia hem de Huawei'nin Ascend (昇腾) platformunda çalışabiliyor.

DeepSeek, DeepInfer'i temel alarak DeepSeek V4.1 Flash için yüksek verimli ve düşük gecikmeli büyük ölçekli bir çıkarım hizmeti hayata geçirdiğini söyledi. Yeni modellere ait çıkarım kodları ve optimizasyonlar da bundan sonra bu depoda güncellenecek. ChainCatcher'a göre deepseek-recipe ise DeepSeek'in resmi API'sindeki işleme mantığıyla birebir uyumlu olacak şekilde hazırlandı.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1