3,6 kata kadar azalan gecikme: OpenAI'ın Jalapeño çipi test sonuçlarını açıkladı

OpenAI, Broadcom(AVGO) ile birlikte geliştirdiği ilk özel çıkarım (inference) çipi Jalapeño'nun performans sonuçlarını paylaştı. Açık kaynaklı model testlerinde çipin watt başına işlem hacminin 1,5 ile 1,9 kat arasında yükseldiği, uçtan uca gecikme süresinin ise 1,7 ile 3,6 kat arasında azaldığı belirtildi.

OpenAI, 25'inde (yerel saatle) yayımladığı teknik raporda Jalapeño'nun GPT-OSS 120B, DeepSeek(DeepSeek) R1 ve Kimi(Kimi) K2.5 1T modellerinde bu sonuçlara ulaştığını açıkladı. Şirket ayrıca sohbet tabanlı çıkarım yüklerinde performansın 2,1 ile 4,1 kat arasında daha yüksek çıktığını duyurdu.

Jalapeño, büyük dil modeli (LLM) çıkarımına özel olarak tasarlanan OpenAI'ın ilk özel hızlandırıcı çipi konumunda. OpenAI ve Broadcom(AVGO), çipi geçtiğimiz Haziran ayında duyurmuş; tasarımdan üretim aşamasına (tape-out) kadar sürecin 9 ay sürdüğünü ve OpenAI'ın kendi modellerinin geliştirme sürecinin bir bölümünü hızlandırdığını açıklamıştı.

OpenAI, Jalapeño'yu bu yılın sonuna kadar kendi bilgi işlem altyapısında devreye almaya başlamayı planladığını belirtti. Şirket, bununla birlikte NVIDIA(NVDA) dahil ortak firmaların hızlandırıcılarını da eğitim ve çıkarım işlerinde geniş çapta kullanmaya devam edeceğini vurguladı.