Back to top
  • 공유 Paylaş
  • 인쇄 Yazdır
  • 글자크기 Yazı tipi Boyutu
URL kopyalandı.

Kimi attention çekirdeği, yapay zekâ ile yeniden yazılınca resmî uygulamadan yaklaşık 3 kat hızlı

Yüksek performanslı GPU hızlandırıcı kartının kontrolü / TokenPost.ai

Kimi'nin attention çekirdeğinin yapay zekâ tarafından NVIDIA GPU'larına göre yeniden yazılması, resmî uygulamaya kıyasla yaklaşık 3 kat daha yüksek çıkarım hızı sağladı.

BlockBeats'in aktardığına göre yapay zekâ, Kimi'nin attention hesaplamalarında kullanılan GPU çekirdeğini optimize etti. Yeniden yazılan uygulama, resmî sürümden yaklaşık 3 kat daha hızlı çalıştı. Çekirdek, yapay zekâ modellerindeki attention hesaplamalarını GPU üzerinde yürüten düşük seviyeli koddan oluşuyor.

Moonshot AI, Kimi Delta Attention için FlashKDA'yı NVIDIA'nın CUTLASS altyapısını temel alarak yayımladı. vLLM ise Kimi K3'e birleştirilmiş CUDA çekirdeği ile NVIDIA iş birliğiyle geliştirilen çekirdeği uyguladığını açıkladı.

<Telif hakkı ⓒ TokenPost, yetkisiz çoğaltma ve yeniden dağıtım yasaktır >

Popüler

Diğer ilgili makaleler

Yorum 0

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.

0/1000

Yorum ipuçları

Harika bir makale. Takip talep etme. Mükemmel bir analiz.
1