Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI API'de 8 saatlik pencere: Token ücretlerinde %40 indirim

Dizüstü bilgisayarda arka plan işleme penceresini seçen el / TokenPost.ai

OpenAI, Responses API'nin arka plan moduna 2 saatlik ve 8 saatlik tamamlanma pencereleri ekledi; 8 saatlik seçenek Standard işleme kıyasla model token ücretlerini %40 azaltıyor.

OpenAI, 17'sinde geliştirici değişiklik günlüğünde özelliği açık beta olarak sunduğunu açıkladı. Ayrıntılı koşullar arka plan modu belgelerinde yer alıyor.

Tamamlanma penceresi, API'nin isteği aldıktan sonra ilk yanıtı işleme hedef süresini ifade ediyor. Seçilen süre bir hizmet seviyesi garantisi veya kesin son teslim zamanı anlamına gelmiyor; ilk yanıtın ne zamana kadar işleneceğini belirleyen ölçüt olarak kullanılıyor.

Varsayılan soonest seçeneği, indirim olmadan mümkün olan en hızlı işlemeyi hedefliyor. 2 saatlik pencerede model token ücretleri Standard işleme göre %30, 8 saatlik pencerede ise %40 daha düşük.

İndirimli pencereler GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra ve GPT-6 Luna modellerinde sunuluyor. Dört modelin tamamı bu açık beta kapsamına alındı.

Özellik, sonucun hemen alınması gerekmeyen belge incelemeleri ve gece analizleri gibi işleri hedefliyor. Birden fazla aşamadan oluşan aracı çalıştırmalarında da işlem süresini uzatıp token maliyetini düşürme seçeneği sunuyor.

2 saatlik ve 8 saatlik pencereleri kullanmak için arka plan işlemenin etkinleştirilmesi ve Standard işlemenin seçilmesi gerekiyor. İndirimli pencerelerde streaming çıktısı desteklenmediği için işlem durumu web kancası veya yanıt kimliği sorgulanarak takip ediliyor.

Takip isteklerinde aynı continuation_id yeniden kullanılabiliyor. OpenAI, aynı tamamlanma penceresi, continuation_id, model ve projeyle devam edilmesi halinde ilgili isteklerin daha yüksek kuyruk önceliği alabileceğini belirtti. İndirim, uygun takip istekleri için de geçerli olacak.

GPT-6.2 Astra ve GPT-6.2 Sol için Flex işleme yöntemi artık sunulmuyor. Uzun süren işlerde maliyeti düşürmek isteyen geliştiricilerin Flex yerine 2 saatlik veya 8 saatlik arka plan pencerelerini kullanması gerekiyor.

2 saatlik ve 8 saatlik istekler, Batch API işleriyle Batch/Background'a özel hız limitlerini paylaşıyor. Girdi tokenleri istek gönderildiğinde limite yansıyor; varsayılan soonest seçeneği ise normal istek ve token limitlerini kullanıyor.

Büyük işleri aynı anda gönderirken normal isteklerden farklı bir limit yönetimi gerekiyor. Bu nedenle eş zamanlı gönderim miktarıyla kalan limitin birlikte kontrol edilmesi gerekiyor.

Arka plan modu, depolama seçeneği kapalı olsa veya Zero Data Retention kullanılsa bile sonuçları iletmek için yanıt verilerini geçici olarak saklayabiliyor. Belgelerde bu sırada saklanan istek içeriğinin şifrelendiği belirtiliyor.

Bu tamamlanma pencereleri Responses API'nin arka plan modunda sunuluyor ve Chat Completions genel istekleri için geçerli bir indirim sağlamıyor. Gerçek zamanlı yanıt gereken uygulamalarda soonest, gece belge analizlerinde ise 2 saatlik veya 8 saatlik seçenekler kullanılabiliyor.

OpenAI'nin API fiyatlarında yaptığı ayarlama ilk değişiklik değil. TokenPost daha önce GPT-6 Luna'nın API girdi birim fiyatındaki indirimi haberleştirmişti. Bu değişiklikte ise model bazlı sabit birim fiyat yerine işlem bekleme süresine göre farklı indirim oranları uygulanıyor.

Açık betayı kullanan geliştiricilerin tamamlanma penceresini, Standard işleme seçimini, streaming kısıtını ve ortak hız limitlerini birlikte incelemesi gerekiyor. Belgelerde sunulan seçenekler, yanıt hızı ile maliyet arasındaki tercihi API isteği sırasında ayarlamaya dayanıyor.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1