Şirketlerde sınırsız yapay zeka kullanımı dönemi kapanıyor

Şirketler, çalışanlarına geniş ölçüde tanıdığı yapay zeka kullanımına sınır koymaya ve görev türüne göre farklı modeller atamaya başladı. Sohbet botları ve kodlama ajanlarında 'token' tüketiminin artması, sınırsız kullanımdan çok maliyet kontrolünü yönetim gündeminin üst sıralarına taşıdı.

Fortune'un 12'sinde (yerel saatle) aktardığına göre, bilgi teknolojilerinden ve teknolojiden sorumlu üst düzey yöneticiler bazı çalışanların yapay zeka kullanımını sınırlandırıyor ve daha küçük, daha ucuz modellerin tercih edilmesi için eğitim süreçlerini yeniden şekillendiriyor. Haberde aktarılan tablo, 2026 Ağustos ortası itibarıyla şirketlerin yapay zeka yönetim politikalarını yansıtıyor.

Samsara, Cigna, Yum Brands ve Compass gibi şirketler, önceden varsayılan olarak sunulan yüksek maliyetli modellerden uzaklaşıp iş türüne göre model ayrımına gidiyor. Söz konusu şirketlerin iç verileri ve uygulama detayları Fortune'un haberinde yer aldı.

Gartner'a göre 2026'da küresel yapay zeka harcamasının bir önceki yıla kıyasla yüzde 44 artışla 2 trilyon 520 milyar dolara ulaşması bekleniyor. Aynı öngörüye göre yapay zeka altyapısına yönelik yatırımın 401 milyar dolar artması bekleniyor.

Yapay zeka altyapısı; hizmeti çalıştıran veri merkezleri, hesaplama donanımı ve ağ gibi temel kaynakları kapsıyor. Şirketlerin yapay zeka kullanımı arttıkça yalnızca model kullanım ücreti değil, sunucu, depolama ve elektrik maliyetleri de birlikte büyüyor.

Bu maliyet baskısı, büyük teknoloji şirketlerinin yapay zeka yatırımlarını artırırken nakit akışı baskısıyla karşı karşıya kaldığına dair daha önce aktarılan gelişmelerle de örtüşüyor. Yapay zeka kullanımının kapsamı genişledikçe şirket içinde gerçek kullanım miktarı ile verimlilik kazanımının birlikte değerlendirilmesi gerekliliği artıyor.

Maliyet baskısı, uzun bağlam ve tekrarlı çağrılar kullanan kodlama ajanlarında özellikle belirginleşiyor. Gartner, 24 Haziran'da (yerel saatle) yaptığı açıklamada yapay zeka destekli kodlama maliyetinin 2028'e kadar ortalama bir geliştirici yıllık maaşını aşabileceğini öngördü.

Büyük dil modelleri (LLM), girdi ve çıktıyı 'token' birimiyle işliyor. Ajan tipi görevler çok aşamalı çağrı ve tekrarlı çalıştırma içerdiğinden, aynı iş için bile token tüketimi artabiliyor.

Faturalandırma yapısının koltuk bazlıdan kullanım bazlı modele kaymış olması da şirketlerin maliyet öngörüsünü zorlaştırıyor. Gartner bu duruma karşı 'token limiti', 'model yönlendirme (model routing)', 'bağlam mühendisliği' ve 'kullanım izleme' önerilerini sıraladı.

Docusign, 1000'den fazla mühendisinin tamamının yapay zeka destekli kodlama araçlarını kullandığını ve yeni kodun yaklaşık yüzde 75'inin yapay zeka yardımıyla yazıldığını açıkladı. Şirket, tüm kodun devreye alınmadan önce insan mühendisler tarafından incelenip onaylandığını belirtti.

Yapay zeka araçlarını kurum genelinde yaygınlaştıran şirketlerde kullanım takibi ve iş bazlı verimlilik ayrımı yapma ihtiyacı büyüyor. Bu yönde, Meta'nın çalışan bazında yapay zeka token kullanımı ve harcamasını izleyecek bir sistem hazırladığına dair daha önce aktarılan gelişme de dikkat çekiyor.

404 Media'nın 2 Temmuz'da (yerel saatle) aktardığına göre Amazon(AMZN), Adobe, Atlassian ve Citi gibi şirketlerde çalışanların yüksek maliyetli yapay zeka modellerine erişimini kısıtlayan ya da daha ucuz modellerin kullanımını teşvik eden uygulamalar görülmeye başladı. Bir şirketin aylık yapay zeka harcamasının üç katına çıkarak 15 milyon doları aştığı aktarıldı.

Tedarikçi şirketler de maliyet yönetimi özelliklerini güçlendiriyor. Anthropic, 2 Temmuz'da yaptığı açıklamada Claude Enterprise'a yönetici analiz paneli, model bazlı yetkilendirme ve harcama uyarısı özellikleri eklediğini duyurdu. Yöneticiler artık organizasyon, grup ve kullanıcı bazında maliyeti görüntüleyebiliyor, varsayılan ve kullanılabilir modelleri ayarlayabiliyor.

Tesla(TSLA) için Temmuz ayından itibaren çalışan başına haftalık 200 dolarlık yapay zeka harcama sınırı getirildiği bildirildi. Yüksek maliyetli modellerin kullanımının bireysel çalışan tercihine bırakıldığı yaklaşımın yerini, kurum düzeyinde bütçe kuralı aldı.

Şirketler yapay zeka kullanımını azaltmak yerine, basit işlerde küçük modelleri, karmaşık analiz ve kodlama işlerinde ise yüksek performanslı modelleri devreye sokacak şekilde işleyişini yeniden kuruyor. Genişleyen yapay zeka kullanımının gerçek verimlilik artışına ve maliyet tasarrufuna dönüşüp dönüşmediği, şirketlere özgü kullanım ve performans verileriyle netleşecek.