OpenAI, Codex ajanlarını kullanarak ChatGPT’deki performans düşüşlerine ilişkin 1.700’den fazla incelemeyi izledi ve 600’den fazla vakada nedeni belirledi. Otomatik incelemelerin günlük ortalaması 17 oldu.
OpenAI, 19’unda yayımladığı mühendislik yazısında kurum içi Performance Factory sistemini ve bunun ilk uygulaması olan Regression Workflow’u tanıttı. Şirketin paylaştığı inceleme ve teşhis sayıları kurum içi ölçümlere dayanıyor.
Regression Workflow, belirlenen performans alarmı tetiklendiğinde bir inceleme görevi oluşturuyor. Codex ajanı performans düşüşünün nedenini araştırıyor, düzeltme öneriyor ve dağıtımın ardından performansın toparlanıp toparlanmadığını kontrol ediyor.
Önceden mühendisler performans düşüşünün kaynağını bulmak için metrikleri, günlükleri ve izleme verilerini inceliyor, kodu okuyordu. OpenAI, bu süreçte performans incelemesine yönelik 30’dan fazla aracın biriktiğini belirtti.
OpenAI, inceleme yöntemlerini Codex’in yeniden kullanabileceği adımlara dönüştürdü ve alarmları bulutta otomatik inceleme başlatacak şekilde bağladı. Performance Factory, görev durumunu ve inceleme sonuçlarını ayrı ayrı saklayarak çok aşamalı işlerin sürdürülmesini sağlıyor.
Her aşamada ihtiyaç duyulan Codex oturumu görevlendiriliyor; mühendis incelemesi veya dağıtım tamamlanınca sonraki adıma geçiliyor. Bulgular tek bir ajanın konuşmasında kalmadığı için diğer ajanlar ve mühendisler önceki çalışmaları görebiliyor.
Codex önce hangi metriğin ne zaman kötüleştiğini ve hangi isteklerin etkilendiğini belirliyor. Ardından dağıtım geçmişini, ayar değişikliklerini, ilgili kodu ve günlükleri karşılaştırarak olası nedeni ortaya koyuyor.
Ayrı bir Codex oturumu, ilk teşhisin varsayımlarını ve dayanaklarını yeniden inceliyor, başka açıklamaların mümkün olup olmadığını değerlendiriyor. OpenAI bu adımı teşhise yönelik “adversarial review” olarak tanımladı.
Bir incelemede ajan, ChatGPT’deki konuşma hatalarının nedenini görsel indirme hatası olarak belirledi. İnceleme ajanı, dosya konumunu bulan dahili hizmet düzeldikten sonra da görsel isteklerinin başarısız olmaya devam ettiğini fark etti. İlk teşhis arızayı açıklamaya yetmeyince inceleme yeniden açıldı.
OpenAI, kök neden önerilerinden 100’ünü elle inceleyerek yüzde 70’ini doğru buldu. Kalan yüzde 30’luk bölümde iyileştirme gerekiyordu veya nedensellik yeterince kanıtlanmamıştı. Bu sonuç yalnızca incelenen 100 öneriye ait; 1.700’den fazla incelemenin tamamının doğruluk oranını göstermiyor.
Teşhis incelemeden geçerse Codex düzeltme kodu yazabiliyor ve kod değişikliği talebi açabiliyor. Değişiklikleri inceleme, birleştirme ve dağıtma kararını mühendisler veriyor.
Düzeltme önerileri de ayrıca inceleniyor. OpenAI, ajanların gereğinden karmaşık değişiklikler önerebileceğini veya yeni sorunlara yol açabileceğini belirtti. Örneğin önbellek eklemek yanıtı hızlandırırken eski verilerin tutulmasına neden olabilir.
Dağıtımın ardından başka bir ajan performansın önceki seviyesine dönüp dönmediğini kontrol ediyor. İyileşme eksik kalır veya sorun sürerse görev ek inceleme aşamasına geri dönüyor.
İnceleme sonuçları biriktikçe mühendislerin okuyup değerlendirmesi gereken bilgiler de artıyor. OpenAI, inceleme yükünü azaltmak için bağlantılı olayları gruplandırma ve beklenen etkiye göre sıralama yaklaşımını da tanıttı.
OpenAI, alarmlar tetiklenmeden önce performans düşüşlerini bulmaya yönelik proaktif izlemeyi ve düşük riskli bazı düzeltme önerilerinin otomatik dağıtımını araştırdığını açıkladı.
Comment 0