Hebbia’nın finansal araştırma testinde GPT-6 Astra, zorunlu kaynak türü atfı değerlendirmesinde en iyi alternatifi 13,6 yüzde puan geride bıraktı.
OpenAI, 20’sinde yayımladığı müşteri örneğinde Hebbia’nın test sonuçlarını paylaştı. Testte GPT-6 Astra’nın ön sürümü kullanıldı.
Atıf yapılan alıntıların yüzde 99,5’i soruyla ilgili bulundu. Bu oran, alıntıların soruyla ilgisini ölçüyor; yanıtın tamamının doğruluğunu veya olgusal niteliğini göstermiyor.
Sunum değerlendirmesinde uygulanabilir gerekliliklerin yüzde 97,9’u karşılandı. Bu ölçütte sonuç, en iyi alternatiften 14,4 yüzde puan yüksekti.
Hebbia’nın Matrix platformu, finansal belgeler ve şirket içi materyallere dayanarak yanıt oluşturuyor; kullanıcıların dayanak belgeleri ve alıntı bölümlerini incelemesine imkân veriyor. GPT-6 Astra, belgeleri veya Matrix’teki analiz hücrelerini dayanak alarak yanıt yazıyor ve belirlenen yapı ile yönergelere uygun PowerPoint slaytları hazırlıyor.
Hebbia, her modele aynı finansal araştırma örneklerini ve puanlama ölçütlerini uyguladı. Testte ağustos-eylül döneminde yayımlanan ön sürümler kullanıldı. Alan uzmanları, puanlama ölçütlerini kaynak belgelerden hareketle oluşturdu veya gözden geçirdi.
Hebbia ürün bölümünde teknik sorumlu olan Kavita Anand, “Kullanıcılar için izlenebilirlik çok önemli” dedi. Anand, kullanıcıların yanıtların dayandığı belgeleri ve alıntı bölümlerini görebilmesi gerektiğini vurguladı.
Yayımlanan müşteri örneğinde test örnekleminin büyüklüğü, karşılaştırılan modellerin tam listesi ve puan dağılımı açıklanmadı. Örnekte geçen “yaklaşık 2.000 dosyanın incelendiği bir devralma çalışması” varsayımsal bir senaryo.
Test, finansal belgelerde kaynak bulma becerisini ve sunum hazırlama ölçütlerini karşılama oranını değerlendirdi. Gerçek yatırım performansını ölçmedi.
Hebbia, ağustos 2025’te Ropes & Gray ile iş birliğini genişleterek Matrix’i özel sermaye ve işlem ekiplerinin belge inceleme ve veri analizi çalışmalarında kullanacağını duyurmuştu. TokenPost’un iş birliğinin genişletilmesine ilişkin haberi, o dönemde planlanan belge iş akışlarını ele almıştı.
Ayrı bir finansal yapay zekâ değerlendirmesinde sonuçlar göreve göre değişti. Model ML’nin eylül ayındaki testinde GPT-6 Astra beş kategorinin dördünde en yüksek puanı aldı. Ancak finansal işler kategorisinde Gemini 3.8 Flash 3,97 puan öne çıktı ve görev başına maliyeti yüzde 72 daha düşüktü.
Model ML ve Hebbia testleri farklı görevler ve puanlama ölçütleri kullandı. Bu nedenle iki testin puanlarını doğrudan karşılaştırmak zor.
TrueStandard, 7 Eylül’deki testinde GPT-6 Astra’nın sunduğu DOI’ler arasındaki kayıtlı olmayan tanımlayıcıların oranını yüzde 3,0 olarak hesapladı. Sonuç, 30 iddianın üç kez test edilmesine dayanıyordu.
Bu test DOI’lerin kayıtlı olup olmadığını ölçtü. DOI kaydı ile alıntıların soruyla ilgili olup olmadığı farklı ölçütlerdir.
Hebbia’nın test sonucu GPT-6 Astra’nın ön sürümüne ait. OpenAI, 17 Kasım’da model sürüm notlarında GPT-6.2 Astra ve GPT-6.2 Sol’u API’de kullanıma sunduğunu açıkladı.
Comment 0