Saniyede 6 milyondan fazla iç istek: Google, Python’sız XSE’yi açık kaynak yaptı

Google, yapay zeka modellerinin çıkarımını Python çalışma ortamı olmadan gerçekleştiren XLA Serving Engine’i (XSE) açık kaynak olarak yayımladı. Geliştirme aşamasında Python kullanılabiliyor; kullanıcı isteklerini karşılayan hizmetlerde ise C++ çalışma zamanı devreye giriyor.

Google, XSE’yi 5 Kasım’da resmi blogunda Apache 2.0 lisansıyla yayımladığını duyurdu. XSE, OpenXLA ekosisteminde modelleri dışa aktarmak ve çalıştırmak için kullanılan bir araç.

XSE, model dışa aktarma araçları ile çıkarım çalışma zamanından oluşuyor. Geliştiriciler JAX veya PyTorch ile oluşturdukları modelleri XLA SavedModel biçiminde dışa aktarabiliyor; C++ çalışma zamanı da bu modelleri yükleyip çalıştırıyor.

XLA SavedModel, modelin hesaplama adımlarını gösteren StableHLO’yu içeriyor. Google, model ağırlıklarının Orbax kontrol noktalarında saklandığını belirtti.

OpenXLA, makine öğrenimi modellerini farklı işlem birimlerinde çalıştırılabilecek şekilde derleyen bir ekosistem. XLA derleyicisi model hesaplamalarını donanıma göre hazırlarken XSE, hazırlanan modeli hizmet isteklerini yanıtlayan çalışma ortamına bağlıyor.

Google, XSE’nin temel bileşenlerini 2025’ten bu yana kendi hizmet altyapısında kullanıyor. Şirketin verdiği uygulama örnekleri arasında YouTube Shorts, Google Ads, Arama hizmeti ve Gemini Omni’nin bazı bölümleri yer alıyor.

Google, XSE’nin kendi altyapısında saniyede 6 milyondan fazla isteği işlediğini açıkladı. Bu sayı şirketin kurum içi kullanım ölçeğini gösteriyor; dış ortamlarda aynı işlem hacmine ulaşılacağı anlamına gelmiyor.

Performans karşılaştırması, kısa istekler için Google’ın yaptığı şirket içi testlere dayanıyor. XSE’nin işlem kapasitesi, Google’ın geliştirdiği optimize Python sunucusundan 2 ila 5 kat, varsayılan yapılandırmadaki Python sunucusundan ise 8 ila 36 kat yüksek ölçüldü.

Google, tek bir tahmin için gereken CPU süresinin Python uygulamasına kıyasla yüzde 30 ila 70 daha az olduğunu, bellek kullanımının ise yaklaşık dörtte bire indiğini bildirdi. Bu değerler de şirketin kendi test sonuçları.

XSE’nin başlıca kullanım alanları arasında öneri sistemleri ve video tanıma gibi kısa isteklerin hızla işlendiği görevler bulunuyor. Google, motoru istek başına gecikmeyi azaltmaya odaklanan hafif bir çıkarım aracı olarak tanımlıyor.

Uzun bağlamları işleyen ve metni art arda üreten büyük otoregresif dil modelleri XSE’nin temel hedefi değil. Google, bu modeller için LLM’lere özel bellek yönetimi özellikleri sunan vLLM veya SGLang gibi araçları öneriyor.

OpenXLA’nın herkese açık deposundaki bilgilere göre, bir kez dışa aktarılan model paketi CPU’larda, Nvidia (NVDA) GPU’larında ve Google Cloud TPU’larda çalıştırılabiliyor. Geliştiriciler modeli dışa aktarırken hedef donanıma uygun hesaplama bilgilerini de pakete ekleyebiliyor.

XSE, bağımsız bir çıkarım motoru olarak dağıtılabiliyor veya daha kapsamlı bir hizmet sistemine bağlanabiliyor. Araç, hizmet isteklerini karşılayan çalışma yolunda Python yorumlayıcısına ihtiyaç duymayacak şekilde tasarlandı.

Apache 2.0, ticari kullanıma ve değişiklik yapılmasına izin veren bir açık kaynak lisansı. Google, XSE’nin kaynak kodunu ve kullanım talimatlarını herkese açık depoda yayımladı.

Google, sonraki aşamada TorchTPU entegrasyonu üzerinden PyTorch modellerini TPU için dışa aktarma desteği sağlamayı planlıyor. Çevrimdışı derleme özelliğini önce kurum içi kullanıma açıp daha sonra dışarı sunacağını ve C++ tabanlı veri ön işleme araçları sağlayacağını da açıkladı.