14 kat arttı: AI ajanlarının token kullanımı insan kullanıcıların 5 katına ulaştı

Yapay zeka ajanlarının kullandığı token miktarı Şubat ayından bu yana 14 kat artarak insan kullanıcılara kıyasla yaklaşık 5 katına ulaştı. Üretken yapay zeka kullanımı basit sohbetlerden görev yürüten ajanlara kaydıkça token tüketimi, yapay zeka altyapı maliyetlerini belirleyen temel gösterge haline geliyor.

Andreessen Horowitz(a16z), 21'inde (yerel saatle) yayımladığı 'Charts of the Week' başlıklı değerlendirmede bu verileri OpenRouter kaynaklı olarak paylaştı. Token, yapay zeka modellerinin okuduğu ve ürettiği metin birimini ifade ediyor; model API ücretlendirmesi ile çıkarım (inference) altyapısı kullanımının temel ölçü birimi olarak kullanılıyor.

İnsan kullanıcılar modelleri genellikle soru-cevap şeklinde, karşılıklı bir diyalog akışıyla kullanıyor. Yapay zeka ajanları ise bir hedefe ulaşana kadar okuma, yazma ve çalıştırma adımlarını defalarca tekrarlıyor. Bu süreçte aynı bağlam yeniden çağrılıyor, görev durumu art arda ekleniyor ve alt görevler yeniden tetikleniyor; bu da token tüketimini büyük ölçüde artırıyor.

Açıklanan rakamlar yapay zeka pazarının tamamının büyüklüğünü değil, yalnızca OpenRouter üzerinde gözlemlenen eğilimi yansıtıyor. Yine de ajan tabanlı kullanımın yaygınlaşması, maliyet yönetimini platformlar için öncelikli bir sorun haline getirdi. TokenPost daha önce, OpenRouter'ın istekleri departman, görev türü, ajan karmaşıklığı ve maliyet merkezi gibi kriterlere göre otomatik sınıflandıran bir özellik duyurduğunu aktarmıştı.

Kore'de de yapay zeka ajanlarının yaygınlaşması altyapı maliyeti, güvenlik ve veri kontrolü sorunlarıyla iç içe geçiyor. TokenPost daha önce, Liner ve Rebellions şirketlerinin yerli NPU tabanlı yapay zeka tam yığın (full-stack) çözüm iş birliğine giriştiğini duyurmuştu. İki şirket, yapay zeka ajan teknolojisi ile çıkarım amaçlı yarı iletken altyapısını birleştirerek işletme maliyetlerini düşürmeyi hedeflediklerini açıkladı.