TPUv7, FP8’de GB300’ün 1,85 katı verimlilik sundu; FP4 karşılaştırmasında geride kaldı

Google’ın TPUv7’si, yapay zekâ ajanı çıkarım testinde FP8-FP8 karşılaştırmasında Nvidia(NVDA) GB300’ün 1,85 katı dolar başına token verimliliği sağlarken GB300 FP4 ile karşılaştırmada geride kaldı.

SemiAnalysis, 19 Ekim 2026’da yayımladığı InferenceX karşılaştırma tablosunda Qwen3.5-397B modelini kullanıcı başına saniyede 200 token işleme koşulunda değerlendirdi. TPUv7’nin dolar başına token işleme miktarı, FP8-FP8 karşılaştırmasında GB300’ün 1,85 katına ulaştı. Bu sonuç, dış müşterilere yönelik toplam sahip olma maliyeti (TCO) hesabına dayanıyordu; Google’ın kendi maliyet hesabına göre oran 2,17 kattı.

Aynı karşılaştırma noktasında TPUv7 FP8’in GB300 FP4’e oranı, dış müşteri maliyeti temelinde 0,54, Google’ın iç maliyet hesabında ise 0,64 oldu. Bu koşullarda maliyet verimliliği GB300 lehineydi.

TCO, SemiAnalysis’in kendi modeliyle tahmin ettiği cihaz sahiplik ve işletim maliyetini ifade ediyor. Dolar başına token işleme miktarı, açık bulut tarifelerini veya belirli bir müşterinin gerçek harcamasını göstermiyor.

AgentX, uzun diyalogları ve bağlamları, önek önbelleğe almayı ve alt ajanların çalıştırılmasını yansıtan bir kodlama ajanı çıkarım testi. İstemler sentetik olarak oluşturuldu; gerçek kullanıcıların özel diyalogları yeniden kullanılmadı.

İlk Qwen3.5 karşılaştırmasında TPUv7, vLLM kullanılarak dört çipli tek bir host üzerinde çalıştı. GB300 ise 4 ila 32 GPU kullandı. İki cihazın sunucu yazılımları da farklıydı. Karşılaştırma tablosundaki bazı noktalar ölçümler arasındaki değerlerin hesaplanmasıyla elde edilen interpolasyon sonuçlarıydı.

FP8 ve FP4, model hesaplamalarında kullanılan sayı hassasiyeti biçimleridir. SemiAnalysis, bu iki biçim arasındaki yanıt doğruluğu farkını değerlendirmediğini belirtti. Bu nedenle yalnızca iş hacmi verilerine bakarak yanıt kalitesinin de aynı olduğu sonucuna varılamaz.

SemiAnalysis, 16 Ekim’de X’te yayımladığı ilk TPUv7 test sonucunda dış müşteri maliyeti hesabına göre performans başına maliyet verimliliğinin GB300 NVL72 FP4’ten 1,42 kat yüksek olduğunu ileri sürdü. Bu ilk test sonucu, sonraki karşılaştırma tablosundaki FP8-FP8 verisinden farklı ölçüm koşullarına dayanıyordu.

SemiAnalysis, 5 Kasım’daki takip analizinde AgentX testini dört modele genişletti. Analize göre, Qwen3.5’e llm-d tabanlı ayrıştırılmış servis mimarisi uygulanan TPUv7, tüm yanıt hızı aralıklarında GB300 FP8’i geride bıraktı.

Takip analizi, GB300 FP4 ile karşılaştırma sonuçlarını iş hacmi ve yanıt süresi ölçütleri olarak ayrı ayrı ele aldı. Token üretimi sırasındaki yanıt hızı ile isteğin başlangıcından tamamlanmasına kadar geçen süre farklı ölçüm eksenleri olduğundan, tek bir ölçütteki üstünlük genel çıkarım performansına genellenemez.

Google, 20 Ekim’de TPU’lar için yerel PyTorch arka ucunu duyurdu. Inferact ve RadixArk ile ortak geliştirilen arka ucun vLLM ve SGLang ile kullanılabildiğini; önek önbelleğe alma, veriyi host belleğine taşıma ve ayrıştırılmış servis özelliklerini desteklediğini açıkladı.

İlk karşılaştırmada cihazların sunucu yazılımları ve yapılandırmaları farklıydı. Google’ın TPU’lar için yeni çalıştırma araçları yayımlaması, sonuçları yalnızca çiplerin değil, modelleri çalıştıran yazılım ve işletim yapılandırmalarının da etkileyebileceğini gösteriyor.

Google, büyük ölçekli yapay zekâ işleri için tasarladığı yedinci nesil TPU Ironwood’u Nisan 2025’te tanıttı. Bu karşılaştırma, söz konusu çipin yapay zekâ ajanı çıkarım ortamında test edildiği örneklerden biri oldu.

Anthropic, 23 Ekim 2025’te Google Cloud teknolojisini daha fazla kullanmayı ve 1 milyona kadar TPU’ya erişmeyi planladığını açıkladı. Duyuruda belirli bir TPU nesli belirtilmedi.

Oracle, 27 Ekim’de yayımladığı açıklamada Google TPU’larını 2027’den itibaren Oracle Cloud Infrastructure üzerinden sunmayı planladığını bildirdi.