Harvey'nin brüt marjı -%50'ye geriledi: AI ajanlarının artırdığı çıkarım maliyeti

Hukuk yapay zekâsı (AI) şirketi Harvey'nin brüt marjı yıl başındaki yaklaşık %50 seviyesinden haziranda -%50'ye geriledi. Düşüş, AI ajanı güncellemesinin ardından müşteri kullanımının ve model çıkarım maliyetlerinin hızla artmasıyla gerçekleşti.

Bloomberg, Harvey müşterilerinin kullanımının mart ayındaki AI ajanı güncellemesinden sonra önemli ölçüde arttığını bildirdi. Harvey'nin şirket değerlemesi 15,6 milyar dolar( yaklaşık 21 trilyon won) olarak bildirildi.

Harvey'nin brüt marjındaki düşüş, sabit koltuk ücretleriyle gerçek kullanım arasındaki farktan kaynaklandı. Müşteri sayısı artmasa bile tek bir kullanıcının işlediği görevler karmaşıklaştığında model çağrılarının maliyeti de yükseliyor.

AI ajanları, basit soru-cevap işlemlerine kıyasla daha fazla token kullanıyor. Bir avukat yüzlerce sayfalık dava dosyasını veya kapsamlı bir sözleşmeyi yüklediğinde ajan belgeleri arıyor, birkaç kez çıkarım yapıyor, harici araçları çağırıyor ve ardından sonucu yeniden düzenliyor.

Koltuk başına sabit ücret modeli, kullanım istikrarlı olduğunda maliyetleri öngörmeyi kolaylaştırıyor. Ancak ajan uzun süre otonom çalıştığında aynı koltuk sayısında bile müşterilerin hesaplama hacmi ve maliyeti arasındaki fark büyüyebiliyor.

AI ajanlarının kullanımının artmasıyla hizmet maliyetini yalnızca koltuk sayısıyla açıklamak zorlaştı. Gerçek token tüketimi ve çıkarım maliyeti, görevin belge hacmine ve işlem karmaşıklığına göre değişiyor.

Sabit ücretlerle gerçek hesaplama hacmi arasındaki farkı azaltmak için model seçimi ve görev bazında kullanım yönetimi gerekiyor. Ajanın arama, çıkarım ve düzeltme işlemlerini tekrarladığı yapılarda müşteri kullanımı arttıkça maliyet baskısı da artabiliyor.

Kendi modeliyle maliyet yapısını düzenleme

Harvey, maliyet yapısını değiştirmek için kendi modelini geliştirmeye de başladı. Harvey'nin 20 Ağustos'ta tanıttığı Harvey Tenet, Moonshot AI'nin açık ağırlıklı modeli Kimi K3 temel alınarak Fireworks Research ile ortak geliştirildi.

Harvey, Tenet'e hukuk işlerine uyarlanmış son işlem uygulayarak uzun süren ajan görevlerini yerine getirecek şekilde tasarlandığını açıkladı. Harvey'nin Kimi K3 tabanlı hukuk AI modeli geliştirmesine ilişkin haber daha önce yayımlanmıştı.

Harvey, Tenet araştırma materyalinde açık ağırlıklı modellerin yalnızca token başına fiyatı değil, çıkarım sürecinde kullanılan token sayısını da azaltabileceğini açıkladı. Yöntem, gereksiz araç çağrılarını ve çıkarım adımlarını azaltarak aynı düzeyde sonucu daha az hesaplama ile üretmeye dayanıyor.

Bununla birlikte Harvey'nin yayımladığı materyal, maliyet verimliliğinin iyileşebileceğini ortaya koyan bir araştırma sonucu niteliğinde. Tenet'in kullanıma alınmasıyla Harvey'nin genel faaliyet kârlılığının fiilen toparlandığını gösteren bir veri açıklanmadı.

Harvey'nin resmî materyalinde Tenet'in, Kimi K3'e kıyasla hukuk görevleri değerlendirmesinde daha fazla görevi tamamladığı belirtildi. Bu sonuç Harvey'nin kendi tasarladığı değerlendirme ortamından elde edildi ve gerçek müşteri işlerinde sağlanacak maliyet tasarrufundan ayrı değerlendirilmelidir.

Harvey, görev bazında model seçme özelliğini de maliyet yönetimi aracı olarak sundu. Basit belge yazımı için daha hafif bir model, ileri düzey hukuk analizi için ise yüksek performanslı bir model kullanılıyor. Yöneticiler, görev bazında kullanılacak modeli önceden belirleyebiliyor.

Bu örnek, profesyonel işlere yönelik AI hizmetlerinde ücretlendirme biriminin kullanıcı sayısından gerçek iş hacmine kayabileceğini gösteriyor. Belge inceleme ve birleşme-devralma durum tespiti gibi işlerin uzunluğu ve karmaşıklığı farklı olduğu için aynı müşterinin talep ettiği görevlerde bile token tüketimi önemli ölçüde değişebiliyor.

Hukuk AI pazarında kalite, maliyet ve veri kontrolünün birlikte değerlendirilmesi yönündeki talepler artıyor. Harvey'nin Kimi K3 tabanlı model geliştirmesi, harici model sağlayıcılarına bağımlılığı azaltma girişimi olarak öne çıkıyor. Ancak gerçek işletme maliyetleri ve ticari uygulama sonuçları için ek doğrulama gerekiyor.