Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

11 ödeme ortamında yapay zeka ajanları değerlendirildi: Stripe başarısızlık örneklerini açıkladı

Yapay zeka tarafından oluşturulan görsel: Tarayıcıdaki ödeme ekranında deneme satın alımı yapan el / TokenPost.ai (mono)

Stripe, 11 ödeme entegrasyonu ortamında yapay zeka kodlama ajanlarını değerlendirdi. Ajanlar bazı görevlerde yüksek puan alırken test verilerini doğrulama ve tarayıcıda ödeme yapma aşamalarında başarısızlık örnekleri de görüldü.

Stripe, 2 Mart'ta yayımladığı teknik yazıda değerlendirme yöntemini ve sonuçlarını açıkladı. Değerlendirme, kod yazmanın yanı sıra tarayıcıda ödeme yapılmasını ve ödeme kaydının gerçekten oluşturulup oluşturulmadığının kontrol edilmesini de kapsadı.

Ortamlar; sunucu tarafındaki verileri ve API'leri ele alan arka uç görevleri, arayüzle sunucuyu birlikte kurmayı gerektiren tam yığın görevleri ve ödeme sayfası ile abonelik ödemelerine odaklanan işlevsel görevlere ayrıldı. Her ortamda kod, veritabanı ve betikler yer aldı.

Otomatik puanlama araçları, tamamlanan yazılımı API istekleri veya arayüz testleriyle denetledi. Bazı görevlerde Stripe üzerinde oluşturulan ödeme nesneleri de kontrol edildi. Tam yığın görevlerinde ajanlar tarayıcıda test ödemesini tamamladı; ardından test modundaki ödeme oturumu nesnesinin başarıyla oluşturulup oluşturulmadığı doğrulandı.

Ödeme sayfası işlevlerine odaklanan görevlerde ajanların önceden hazırlanmış 20 ödeme sayfasının ayarlarını çözmesi gerekiyordu. Ajanlar ürün ve miktarı belirledi, ürün listesinden kimliği buldu, ardından kargo ücretini, ek bilgi alanlarını ve vergi ayarlarını API isteğine aktardı. Stripe, ajanların gerekli parametrelerin yüzde 80'inden fazlasını doğru girdiğini açıkladı.

Claude Opus 4.5, dört tam yığın görevinde ortalama yüzde 92 puan aldı. GPT-5.2 ise ödeme ve abonelik gibi işlevlere odaklanan iki görevde ortalama yüzde 73'e ulaştı. En yüksek puanı alan çalıştırmalarda görev adımları ortalama 63'tü.

Görev türleri ve sayıları farklı olduğu için iki modelin puanları doğrudan karşılaştırılamıyor. Yüzde 92, dört tam yığın görevinin; yüzde 73 ise işlevsel görevlerden ikisinin ortalamasıydı.

Her görev için üç çalıştırma arasındaki en yüksek puan esas alındı. Gözlemlenen altyapı hataları nedeniyle başarısız olan çalıştırmalar hesaba katılmadı. En yüksek puanlı çalıştırmaların kayıtlarını, görevlerin doğru biçimde tamamlandığını teyit etmek için Stripe mühendisleri inceledi.

Tüm modeller Goose tabanlı bir yürütme ortamı kullandı. Model Context Protocol (MCP) araçları üzerinden terminale, tarayıcıya ve Stripe belgelerinde arama işlevine erişebildiler.

Başarısızlık örneklerinden biri, test sunucusundaki API'nin kontrolü sırasında yaşandı. Bazı ajanlar var olmayan müşteri bilgileri girdi, hata yanıtı aldı ve bunu sistemin normal çalıştığının doğrulanması olarak yorumladı. Stripe, bazı çalıştırmalarda ise sonuçların daha geçerli biçimde kontrol edilmesi için test verilerinin oluşturulduğunu belirtti.

Tarayıcı kullanımında da sorunlar görüldü. Ajanlar ödeme ekranında birden fazla işlemi aynı anda yapmaya çalışırken giriş alanı yerine sayfanın HTML çerçevesini seçti ve veri girişi yapamadı. Sayfayı yenilemek veya ekranın dışına tıklamak sorunu çözebilirdi; ancak ajanlar göreve devam edemedi.

Buna karşılık, mevcut kart giriş ekranını Stripe Checkout ile değiştirme görevinde bir ajan, Stripe'ın ödeme hizmeti Link'i kullanarak test amaçlı satın alımı tamamladı. Stripe, görevde belirli bir ödeme yönteminin kullanılmasını şart koşmadığını açıkladı.

TokenPost daha önce Stripe'ın yapay zeka ajanlarına yönelik geliştirme hizmeti entegrasyonlarını ve ödeme araçlarını genişletmesini haberleştirmişti. Bu değerlendirme ise hizmetlerin kapsamından ziyade ajanların ödeme entegrasyonunu doğrudan kurma ve doğrulama becerisine odaklandı.

Yayımlanan değerlendirme materyallerinde ortamlara göre görevler ve puanlama yöntemi yer aldı. Stripe, yeni görevler ekleyerek modellerin performansındaki değişimi izlemeyi planladığını bildirdi.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1