OpenAI, Responses API'nin arka plan moduna 2 saatlik ve 8 saatlik tamamlanma pencereleri ekledi. 8 saatlik pencere seçildiğinde model token ücretleri Standard işleme göre %40 daha düşük oluyor.
OpenAI, 17'sinde geliştirici değişiklik günlüğünde özelliği açık beta olarak eklediğini duyurdu. Ayrıntılı koşullar arka plan modu belgelerinde yer alıyor.
Tamamlanma penceresi, API'nin isteği aldıktan sonra ilk yanıtı işlemeyi hedeflediği süreyi ifade ediyor. Seçilen süre, hizmet düzeyinin garanti edildiği bir son tarih anlamına gelmiyor; yalnızca ilk yanıtın ne zamana kadar işleneceğini belirleyen ölçüt olarak kullanılıyor.
Varsayılan soonest, indirim olmadan en hızlı işlemeyi hedefliyor. 2 saatlik pencere Standard'a göre model token ücretlerini %30, 8 saatlik pencere ise %40 azaltıyor.
İndirimli pencereler GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra ve GPT-6 Luna için sunuluyor. Dört model de bu açık beta kapsamına giriyor.
Bu özellik, sonuçların hemen alınmasının gerekmediği belge incelemeleri veya gece analizleri gibi işler için tasarlandı. Birden fazla aşamadan oluşan ajan yürütmelerinde de işlem süresini uzatıp token maliyetini düşürme seçeneği sunuyor.
2 saatlik ve 8 saatlik pencereleri kullanmak için arka plan işlemeyi etkinleştirmek ve Standard işlemeyi seçmek gerekiyor. İndirimli pencerelerde akış çıktısı desteklenmediğinden işlem durumu webhook veya yanıt kimliği sorgulamasıyla izlenmeli.
Takip isteklerinde aynı continuation_id yeniden kullanılabiliyor. OpenAI, aynı tamamlanma penceresi, continuation_id, model ve proje birlikte kullanılmaya devam ederse ilgili isteklerin daha yüksek kuyruk önceliği alabileceğini belirtiyor. İndirim, uygun takip isteklerine de uygulanıyor.
GPT-6.2 Astra ve GPT-6.2 Sol için Flex işleme yöntemi artık sunulmuyor. Uzun süren işlerde maliyeti düşürmek isteyenlerin eski Flex yerine 2 saatlik veya 8 saatlik arka plan pencerelerini kullanması gerekiyor.
2 saatlik ve 8 saatlik istekler, Batch API işleri ile Batch/Background özel hız limitlerini paylaşıyor. Girdi tokenları istek gönderildiğinde limite yansıyor; varsayılan soonest ise genel istek ve token limitlerini kullanıyor.
Büyük işleri aynı anda gönderirken genel isteklerden farklı bir limit yönetimi gerekiyor. Bu nedenle eşzamanlı gönderim miktarı ile kalan limitin birlikte kontrol edilmesi gerekiyor.
Arka plan modu, depolama seçeneği kapalı olsa veya Zero Data Retention kullanılsa bile sonuçları iletmek için yanıt verilerini geçici olarak depolayabiliyor. Belgeler, bu sırada saklanan istek içeriğinin şifrelendiğini açıklıyor.
Bu tamamlanma pencereleri Responses API'nin arka plan modunda sunuluyor ve Chat Completions genel isteklerine uygulanan bir indirim değil. Gerçek zamanlı yanıt gereken uygulamalar soonest'i, gece belge analizi ise 2 saatlik veya 8 saatlik pencereyi seçebilir.
OpenAI'nin API fiyat ayarlaması ilk kez yaşanmıyor. TokenPost daha önce GPT-6 Luna'nın API girdi fiyatındaki indirimi haberleştirmişti; bu değişiklikte ise indirim oranı model başına sabit ücret yerine işlem bekleme süresine göre farklılaştırılıyor.
Açık betayı kullanan geliştiricilerin tamamlanma penceresini, Standard işlemeyi, akış kısıtlamasını ve paylaşılan hız limitlerini birlikte kontrol etmesi gerekiyor. Mevcut belgelerin sunduğu seçenekler, yanıt hızı ile maliyet arasındaki koşulları API isteği aşamasında ayarlamaya dayanıyor.
Comment 0