OpenAI, Responses API'nin arka plan moduna 2 saatlik ve 8 saatlik tamamlama pencereleri ekledi. 8 saatlik pencere seçildiğinde model token ücretleri Standard işlemeye kıyasla %40 daha düşük oluyor.
OpenAI, 17'sinde geliştirici değişiklik günlüğünde bu özelliği açık beta olarak sunduğunu açıkladı. Ayrıntılı koşullar arka plan modu dokümanında yer alıyor.
Tamamlama penceresi, API'nin isteği aldıktan sonra ilk yanıtı işleme hedef süresini ifade ediyor. Seçilen süre, hizmet düzeyi garantisi veren bir son tarih anlamına gelmiyor; ilk yanıtın ne zamana kadar işleneceğini belirleyen ölçüt olarak kullanılıyor.
Varsayılan seçenek olan soonest, indirim sunmadan en hızlı işlemeyi hedefliyor. 2 saatlik pencere Standard'a göre model token ücretlerini %30, 8 saatlik pencere ise %40 düşürüyor.
İndirimli pencereler GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra ve GPT-6 Luna modellerinde sunuluyor. Dört modelin tamamı bu açık beta kapsamına giriyor.
Özellik, sonucu hemen almak zorunda olunmayan belge incelemeleri ve gece analizleri gibi işler için tasarlandı. Birden fazla aşamadan oluşan ajan çalıştırmalarında da işlem süresini uzatıp token maliyetini düşürme seçeneği sağlıyor.
2 saatlik ve 8 saatlik pencereleri kullanmak için arka plan işlemeyi etkinleştirmek ve Standard işlemeyi seçmek gerekiyor. İndirimli pencerelerde akış çıktısı desteklenmiyor; işlem durumu webhook veya yanıt kimliği sorgulamasıyla kontrol ediliyor.
Takip isteklerinde aynı continuation_id yeniden kullanılabiliyor. OpenAI, aynı tamamlama penceresi, continuation_id, model ve projeyle devam edilmesi halinde ilgili taleplerin daha yüksek kuyruk önceliği alabileceğini belirtti. İndirim uygun takip taleplerine de uygulanıyor.
GPT-6.2 Astra ve GPT-6.2 Sol için Flex işleme yöntemi sunulmuyor. Uzun süren işlerde maliyeti düşürmek isteyenlerin mevcut Flex seçeneği yerine 2 saatlik veya 8 saatlik arka plan pencerelerini kullanması gerekiyor.
2 saatlik ve 8 saatlik istekler, Batch API işleriyle Batch/Background'a özel hız limitlerini paylaşıyor. Girdi tokenları istek gönderildiğinde limite yansıyor; varsayılan soonest seçeneği ise genel istek ve token limitlerini kullanıyor.
Büyük işleri aynı anda gönderirken genel isteklerden farklı bir limit yönetimi gerekiyor. Bu nedenle eşzamanlı gönderim miktarıyla kalan limitin birlikte kontrol edilmesi gerekiyor.
Arka plan modu, depolama seçeneği kapalı olsa veya Zero Data Retention kullanılsa bile sonuçları iletmek için yanıt verilerini geçici olarak saklayabiliyor. Doküman, bu sırada saklanan istek içeriğinin şifrelendiğini açıklıyor.
Bu tamamlama pencereleri Responses API'nin arka plan modunda sunuluyor; Chat Completions genel isteklerine uygulanan bir indirim özelliği değil. Gerçek zamanlı yanıt gereken uygulamalar soonest'i, gece belge analizleri ise 2 saatlik veya 8 saatlik pencereleri seçebilir.
OpenAI'nin API fiyat düzenlemesi ilk kez yapılmıyor. TokenPost daha önce GPT-6 Luna'nın API girdi fiyatındaki indirimi haberleştirmişti. Bu değişiklikte fark, indirimin model bazlı sabit birim fiyat yerine işlem bekleme süresine göre kademelendirilmesi.
Açık betayı kullanan geliştiricilerin tamamlama penceresi, Standard işlem seçimi, akış kısıtı ve paylaşılan hız limitlerini birlikte kontrol etmesi gerekiyor. Mevcut seçenekler, yanıt hızı ile maliyet arasındaki tercihi API isteği aşamasında ayarlamaya olanak tanıyor.
Comment 0