OpenRouter Batch API’yi başlattı: Token fiyatları çoğu modelde yarıya indi

OpenRouter, gerçek zamanlı yanıt gerektirmeyen yapay zeka görevlerini toplu olarak işleyen Batch API’yi kullanıma sundu. Çoğu modelde girdi ve çıktı token fiyatları yaklaşık yarıya inerken sonuçlar en geç 24 saat içinde teslim ediliyor.

OpenRouter, Batch API’yi 22’sinde resmi blogunda duyurdu. Sistem şu anda 70’ten fazla modeli destekliyor. Kullanıcılar birden fazla isteği tek seferde gönderebiliyor ve işlem tamamlandığında sonuçları alabiliyor.

İndirim, modellere göre girdi ve çıktı token fiyatlarına uygulanıyor. Bazı modellerde fiyatlar yarı seviyesinin de altına inebiliyor. Nihai maliyet, modele ve istek türüne göre değişiyor.

Batch API, anında yanıt alınması gereken etkileşimli isteklerden çok yüksek hacimli işlemler için tasarlandı. Doküman sınıflandırma, embedding oluşturma, değerlendirme veri setlerini puanlama ve müşteri taleplerini özetleme gibi işlem süresi esnek biçimde ayarlanabilen görevler hedefleniyor.

Desteklenen istek türleri arasında sohbet tamamlama, yanıt API’si, mesajlar ve API tabanlı embedding istekleri bulunuyor. Kullanıcılar, görevleri ayrı ayrı tekrarlayan çağrılarla göndermek yerine tek bir batch içinde sunabiliyor.

İşlem süresi en fazla 24 saat olarak belirlenmiş olsa da OpenRouter, gerçek tamamlanma süresinin genellikle daha kısa olduğunu açıkladı. İki hafta süren beta döneminde tamamlanan batch işlemlerinin sayısı 230 bini aştı. Tamamlanma süresinin medyanı ise 7 dakika oldu.

İşlemlerin yüzde 90’ı bir saat içinde tamamlandı. Ancak tüm görevler aynı hızda işlenmiyor. Süre, gönderim zamanına ve işin büyüklüğüne göre değişiyor.

OpenRouter’ın yayımladığı analize göre tek istekten oluşan batch işlemleri çoğunlukla 5 ila 11 dakika içinde tamamlandı. 1000’den fazla istek içeren batch işlemleri 12 ila 21 dakika sürdü. Daha yavaş görevlerde tamamlanma süresi, gönderim saatine bağlı olarak birkaç saate çıkabildi.

Maliyet tasarrufu, sonuçların beklenebildiği görevlerde daha belirgin hale geliyor. Gerçek zamanlı yanıt gerektiren hizmetler ve anında etkileşimli özellikler için mevcut yöntemlerin kullanılması gerekiyor.

Web araması çağrıları batch indirimine dahil edilmiyor. OpenRouter, görüntü ve dosya girdilerinde herkese açık URL’lerin kullanılması gerektiğini bildirdi.

OpenRouter, her batch işlemini tek bir sağlayıcının yürütmesini sağlıyor. Kullanıcılar model, sağlayıcı ayarları ve veri politikalarına göre istekleri yönlendirebiliyor.

Batch bazında model, sağlayıcı, durum ve maliyet bilgileri günlüklerde görülebiliyor. Böylece kullanıcılar her görevin işlem durumunu ve maliyetini ayrı ayrı takip edebiliyor.

İşlem sonuçları ve girdi verileri varsayılan olarak 30 gün boyunca saklanıyor. Bu nedenle yüksek hacimli görev gönderen kullanıcıların maliyetin yanı sıra veri saklama politikasını da incelemesi gerekiyor.

Batch API, birden fazla yapay zeka modeline tek bir arayüz üzerinden erişirken yüksek hacimli görevlerin maliyetini ve işlem süresini ayarlamaya yarayan bir özellik olarak öne çıkıyor. OpenRouter’da token kullanım miktarı ve ortalama fiyat değişimleri daha önce dikkat çekerken, yeni özellik yoğun kullanılan asenkron görevlerde birim maliyeti düşürmeye odaklanıyor.

Bununla birlikte, 'çoğu model' için geçerli indirim oranı ve gerçek ödeme tutarı model fiyatlarına ve istek türüne göre değişiyor. Kullanıcıların batch gönderimi öncesinde model bazındaki fiyatları ve veri işleme koşullarını kontrol etmesi gerekiyor.