OpenAI, Habitat’ta p50 okuma gecikmesini 120 ms’den 10 ms’ye düşürdü

OpenAI, kurum içi çevrim içi depolama platformu Habitat’taki küresel okuma isteklerinin p50 gecikmesini yaklaşık 120 milisaniyeden (ms) yaklaşık 10 ms’ye indirdiğini açıkladı. Şirket iyileşmeyi 12 kat olarak tanımladı; ancak bu değer, ChatGPT yanıtlarının oluşturulma süresini de kapsayan toplam yanıt hızını göstermiyor.

OpenAI, 23’ünde (yerel saatle) yayımladığı teknik belgede performans iyileştirmeleri için bölgelere göre veri yerleşimini, önbellek oluşturmayı ve bazı hizmetlerin Rust’a geçirilmesini gösterdi. Habitat; ChatGPT, API, Codex ve kurum içi hizmetlerin veri okuyup yazmak için kullandığı depolama platformu. p50, istekler gecikme sürelerine göre sıralandığında ortada kalan değeri ifade ediyor.

İstekleri işleyen hesaplama kaynakları ile veriler farklı bölgelerde bulunduğunda gidiş dönüş süresi uzayabiliyor. OpenAI, kimlik doğrulama meta verileri gibi her istekte gereken bazı verileri birden fazla bölgede çoğalttı. Şirket, depolama kapasitesi ve veri merkezi alanı kısıtları nedeniyle tüm verilerin aynı yöntemle çoğaltılamadığını belirtti.

Diğer okuma istekleri için istek işleme altyapısının yakınına Valkey önbelleği yerleştirildi. Sık sorgulanan veriler yakında tutularak uzak depolama alanına gidip gelme ihtiyacı azaltılıyor. Habitat isteklerinin yüzde 90’dan fazlasının okuma isteği olması da önbellek kullanımının gerekçelerinden biri oldu.

Önbellekte eski verilerin kalmasını önlemek için Azure Cosmos DB’nin değişiklik akışından yararlanıldı. Kaynak veriler değiştiğinde bu bilgi bölgelere iletiliyor ve ilgili önbellek geçersiz kılınıyor; böylece sonraki sorguda güncel değer yeniden alınıyor. OpenAI, önbellek geçersizleştirme bilgisinin dünya genelinde birkaç saniye içinde yayıldığını açıkladı.

Habitat hizmetlerinin bir bölümü Python’dan Rust’a yeniden yazıldı. OpenAI, bölgeler arası veri yerleşimi, önbellek ve Rust’a geçiş gibi birden fazla önlemin birlikte uygulanmasıyla gecikmenin azaldığını belirtti. Şirket, her önlemin katkı oranını, ölçümlerin öncesi ve sonrası için kullanılan dönemleri veya bölgelere göre gecikme dağılımını açıklamadı.

Konteyner işletim yöntemi de değişti. OpenAI, birden fazla ürünün verilerini tek konteynerde toplama yönteminden ürünlere özel konteynerlere geçti. Ancak kapasite planlaması ve operasyon yükünü göz önüne alarak varsayılan olarak paylaşımlı konteyner kullanımına geri döndü.

Paylaşımlı yapıda belirli işlerin aşırı kaynak tüketmesini azaltmak için yoğun kullanılan anahtarlara yönelik istekler sınırlandırıldı ve çevrim dışı işlerin önceliği düşürülerek etkileşimli istekler korundu. OpenAI, çok kiracılı desteğin henüz ilk aşamalarında olduğunu söyledi.

OpenAI, 11 Eylül’de yayımladığı ilk bölüm belgesinde Habitat’ın saniyede 70 milyondan fazla isteği işlediğini ve 500 petabayttan (PB) fazla veriyi yönettiğini bildirdi. Şirket ayrıca Habitat’ın her hafta 1 milyardan fazla kişinin kullandığı ürünleri desteklediğini belirtti. Bu veriler platformun genel ölçeğini gösteriyor ve bu açıklamadaki okuma gecikmesi ölçümünden farklı bir kapsama sahip.

Önbellekte bulunmayan verilerin hâlâ uzak depolama alanından alınması gerekiyor. OpenAI, verilerin ilk kaydedildiği andan itibaren fiilen sorgulanacak bölgelere daha yakın yerleştirilmesi konusunu gelecekte ele almayı planladığını açıkladı.