Back to top
  • 공유 Paylaş
  • 인쇄 Yazdır
  • 글자크기 Yazı tipi Boyutu
URL kopyalandı.

DeepSeek, çıkarım altyapısı DeepInfer'i tamamen açık kaynak yaptı: Nvidia ve Huawei çipleri destekleniyor

Soğutucu takılı bir yapay zeka işlem çipinin yer aldığı devre kartı / TokenPost.ai

Çinli yapay zeka şirketi DeepSeek, kendi içinde kullandığı çıkarım (inference) altyapısı DeepInfer'i tamamen açık kaynak olarak yayımladı. ChainCatcher'ın bildirdiğine göre şirket, canlı hizmetlerde kullanılan token kodlama ve kod çözme bileşeni 'deepseek-recipe'i de aynı anda paylaştı.

ChainCatcher, DeepInfer'in yüksek performanslı operatörleri ve optimize edilmiş çıkarım motorunu tek çatı altında topladığını aktardı. Altyapı; dağıtık çıkarım, spekülatif kod çözme (speculative decoding), SWA Bounded Replay ve yapılandırılmış çıktıyı destekliyor. Hem Nvidia hem de Huawei'nin Ascend (昇腾) platformunda çalışabiliyor.

DeepSeek, DeepInfer'i temel alarak DeepSeek V4.1 Flash için yüksek verimli ve düşük gecikmeli büyük ölçekli bir çıkarım hizmeti hayata geçirdiğini söyledi. Yeni modellere ait çıkarım kodları ve optimizasyonlar da bundan sonra bu depoda güncellenecek. ChainCatcher'a göre deepseek-recipe ise DeepSeek'in resmi API'sindeki işleme mantığıyla birebir uyumlu olacak şekilde hazırlandı.

<Telif hakkı ⓒ TokenPost, yetkisiz çoğaltma ve yeniden dağıtım yasaktır >

Popüler

Diğer ilgili makaleler

Yorum 0

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.

0/1000

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.
1