40 milyon dolar yatırım alan Vals AI, gizli testlerle AI performansını ölçüyor

Vals AI, 40 milyon dolar (yaklaşık 55,5 milyar won) tutarında Seri A yatırımı aldı ve AI modelleri ile ajanlarının gerçek iş performansını değerlendirme faaliyetlerini genişletiyor. Şirket, hukuk, finans ve kodlama gibi sektörlerdeki performansı gizli test setleriyle ölçüyor.

Vals AI, 13 Ağustos'ta 400 milyon dolar (yaklaşık 554,8 milyar won) değerleme üzerinden Seri A yatırımını duyurdu. Tura Andreessen Horowitz liderlik ederken mevcut yatırımcılar 8VC, Pear VC ve Bloomberg Beta ile yeni yatırımcılar HRT Ventures ve Next Ladder Ventures katıldı.

TechCrunch, 2024'te kurulan Vals AI'ın 8VC ve Bloomberg Beta liderliğinde bir tohum yatırımı aldığını bildirdi. Tohum yatırımının büyüklüğü açıklanmadı.

Şirket, AI modelleri geliştirmek yerine modellerin, ajanların ve uygulama hizmetlerinin gerçek iş görevlerini ne kadar iyi yerine getirdiğini ölçmeye odaklanıyor. Hukuk araştırması, finansal analiz, tıbbi faturalandırma ve kodlama gibi sektörlere özgü görevlerde doğruluğun yanı sıra maliyet, gecikme süresi, hata türleri ve araç kullanma becerisi de hesaplanıyor.

Değerlendirme yönteminin merkezinde gizli test setleri yer alıyor. Açık test soruları modelin eğitim verilerine dahil edilebilir veya geliştiriciler modelleri test sorularına göre ayarlayabilir. Bu durumda benchmark puanı gerçek performansı yansıtmayabilir.

Vals AI, açık doğrulama setleri, gizli doğrulama setleri ve gizli test setlerini birbirinden ayırıyor. Şirket, resmi benchmark puanlarının dışarıya açıklanmayan test setlerinden hesaplandığını belirtiyor. Vals AI, gizli soruların değerlendirme verilerinin eğitim sürecine sızmasını önlediğini ifade ediyor.

Bununla birlikte gizli yöntem, yeniden üretilebilirlik açısından zorluk taşıyor. Dış araştırmacıların aynı sorular ve koşullarla deney yapması zor olduğundan Vals AI, değerlendirme altyapısını ve bazı araçlarını paylaşarak sürecin yeniden üretilebilirliğini destekliyor.

Değerlendirme kapsamı da genişletiliyor. Vals AI, CoreWeave ile birlikte AI modellerinin bir sonraki modeli geliştirmek için gerekli araştırmaları yürütüp yürütemeyeceğini ölçen RSI Index'i yayımladı. Şirket ayrıca siber güvenlik ve ruh sağlığı alanlarında değerlendirmeler yürütüyor.

Vals AI, Vals Smith'i de kullanıma sundu. Kullanıcılar GitHub depolarını temel alarak özelleştirilmiş kodlama benchmark'ları oluşturabiliyor. İlk kullanıcılar için 120 ücretsiz kredi sağlanıyor.

Şirket, gelirinin 2025 yılının tamamına kıyasla 8 kat arttığını, müşteri tabanının 2 katına çıktığını ve çalışan sayısının son 6 ayda 3 kat arttığını açıkladı. Bu rakamlar şirket açıklamasına dayanıyor; dış denetimden geçip geçmediği doğrulanmadı.

Vals Index, 15 Eylül 2026 itibarıyla finans, kodlama ve hukuk görevlerinde AI ajanlarının performansını ölçtü. Endeks, her sektörün ABD gayrisafi yurt içi hasılasındaki payını dikkate alarak bileşik puan oluşturdu. O tarihte değerlendirmeye alınan model sayısı 58'di.

Vals AI ortak kurucusu Rayan Krishnan, mevcut akademik benchmark'ların hızla gelişen AI modellerini takip edemediğini söyledi. Krishnan, modellerin gerçek işlerde insanlara benzer kalitede sonuç üretip üretmediğinin ve olumsuz sonuçlara yol açma ihtimalinin de değerlendirilmesi gerektiğini belirtti.

Vals AI, kendi değerlendirme sonuçlarının OpenAI, Anthropic, Google, Meta ve xAI tarafından model kartlarında alıntılandığını açıkladı. Ancak yatırımcıların AI şirketleriyle olan ilişkilerinin değerlendirmelerin bağımsızlığını nasıl etkilediğinin ayrıca doğrulanması gerekiyor.

AI model geliştiricileri ve kurumsal müşterilerin sayısı arttıkça gerçek iş performansını karşılaştırmak için ortak standartlara duyulan ihtiyaç da büyüyor. Gizli test setleri veri kirlenmesini azaltabilir. Ancak değerlendirme sonuçlarında şeffaflık ve yeniden üretilebilirliğin nasıl sağlanacağı Vals AI için çözülmesi gereken bir konu olmaya devam ediyor.

Vals AI, yatırımla birlikte AI model değerlendirme araçlarını ve değerlendirme alanlarını genişleteceğini açıkladı. Şirket, hukuk, finans ve kodlamanın yanı sıra sağlık ve siber güvenlik alanlarını da kapsamına dahil ediyor.