Meta araştırmacılarının yapay zekâ ajanlarıyla oluşturduğu arama önerisi modeliyle yapılan kullanıcı testinde, arama oturumu sayısı kontrol grubuna kıyasla göreli olarak %0,23 arttı. Arama ekranının görüntülenme süresi ise uzadı.
Meta(META) araştırmacıları, 18'inde yayımladıkları makalede sonuçları paylaştı. Deneyde kullanılan Nullstate, kullanıcı arama kutusunu açıp yazmaya başlamadan önce gösterilen önerilerin sırasını belirleyen bir model. Makalede belirtilen günlük 1 milyardan fazla işlem hacmi, kullanıcı veya arama oturumu sayısını değil, model isteklerini ifade ediyor.
Deney kampanyası 31 gün sürdü. Yapay zekâ ajanları model kodunu değiştirdi, eğitim çalıştırdı ve ardından çevrimdışı değerlendirme yaptı. Araştırmacılar aday değişiklikleri keşfetmek için Claude Opus 4.8'i kullandı.
Ajanlar, her seferinde yedi aday değişikliği paralel olarak ele aldı ve sonuçlardaki değişimi inceledi. Kampanya boyunca 1.097 aday deneyi tamamlandı.
Aday deneylerin 325'i çevrimdışı değerlendirmeyi geçti ve birikimli modele eklendi. Kabul oranı %29,6 oldu. Değişkenliği ölçmeye yönelik 155 ayrı çalışma da hesaba katıldığında tamamlanan çalıştırma sayısı 1.252'ye ulaştı.
Araştırmacılar, tamamlanan çalışmaların yanı sıra başarısızlıklar ve yeniden denemeler dahil yaklaşık 360 bin GPU saati harcandığını tahmin etti. Makalede tamamlanan işler için yaklaşık 5.000 job-hour, başarısız ve yeniden denenen işler içinse yaklaşık 600 job-hour kaydedildi.
Makalede 2.798 başarısızlık ve yeniden deneme girişimi de yer aldı. GPU kullanımının parasal maliyeti açıklanmadı.
Gerçek kullanıcılarla yapılan A/B testi bir haftadan uzun sürdü. Araştırmacılar, arama oturumu sayısının kontrol grubuna kıyasla göreli olarak %0,23 arttığını ve %95 güven aralığının ±0,15 olduğunu bildirdi. Ekip sonucu istatistiksel olarak anlamlı bir iyileşme olarak nitelendirdi.
Etkileşim ve kullanıcıların hizmeti kullanmayı sürdürmesi gibi takip göstergeleri de iyileşme yönünde hareket etti, ancak araştırmacılar bu göstergeler için somut değer paylaşmadı. Bildirilen sonuç arama oturumu sayısındaki değişimi gösteriyor; diğer takip göstergelerindeki iyileşmenin büyüklüğünü göstermiyor.
Aynı testte arama ekranının oluşturulma süresi kötüleşti. Makale gecikmenin ne kadar arttığını açıklamadı.
Çevrimdışı değerlendirmeyi geçen 325 aday, gerçek kullanıcı testinde ayrı ayrı başarı gösteren modellerin sayısı değil. Bu sayı, aday deneylerde birikimli modele eklenen değişiklikleri ifade ediyor. Kullanıcı testi, bu değişiklikleri içeren nihai modelle ayrıca yapıldı.
Önceki sürümde 64 adaydan 10'u kabul edilmiş ve kabul oranı %15,6 olmuştu. Araştırmacılar, iki sürümün hedefleri ve keşif koşulları farklı olduğu için kabul oranlarının tek başına performans karşılaştırması için kullanılamayacağını makalede belirtti.
Deneyin tüm aşamalarını ajanlar bağımsız biçimde yürütmedi. Araştırmacılar hedefleri ve keşif yönünü belirledi, nihai modeli gözden geçirdi; kullanıcı testi de ayrıca gerçekleştirildi.
Araştırmacılar, en iyi modelin kampanya bitmeden ortaya çıktığını ve sonraki tekrarların ek iyileştirme sağlamadığını bildirdi. Başarısız yönleri tekrarlama ve yanlış kabul edilen değişiklikleri kendiliğinden geri alma konusunda da sınırlamalar görüldü. Bir ajanın kabul etmediği değişikliklerin sonuçlarını sonraki iyileştirmelerde kullanmaya yönelik bir araştırmayı TokenPost daha önce ele almıştı.
Makalede, kontrol listesine göre kod ve verilerin yayımlanmadığı belirtildi. İstatistik raporlama bölümünde “No” işaretlendi. Buna karşın çevrimiçi göstergeler için güven aralığı verildi; çevrimdışı değişkenliğin ise yeterince nicelendirilemediği açıklandı.
Meta, aynı gün yayımladığı teknik blog yazısında, ajanların reklam sıralama modellerinde kullanıldığı ayrı bir çalışmayı da anlattı. Şirket, bazı teknik ve model kombinasyonlarında eğitim hesaplama yükünün medyan değer üzerinden dörtte bir düzeyine indiğini bildirdi. Bu sonuç, arama önerisi deneyinden farklı bir çalışmaya ait.
Comment 0