Amazon(AMZN), mühendis değerlendirmesinde AI kullanımından çok iş sonuçlarını öne çıkardı

Amazon(AMZN), yazılım mühendislerinin AI kullanım miktarını performans hedefi olarak belirlememelerini önerdi. Daha fazla token kullanmak veya daha çok kod değiştirmek, müşterilere ve işletmeye fayda sağlayan sonuçlar doğurmayabilir.

Amazon, 27'sinde yayımladığı mühendislik rolü yönergesinde değerlendirme ölçütü olarak AI kullanımını değil, müşteriler, işletme ve ekip üzerindeki etkiyi gösterdi. Amaç, kullanılan araçların veya üretilen kod miktarının değil, iş sonuçlarının değerlendirilmesi.

Amazon Worldwide Stores Başkan Yardımcısı ve Distinguished Engineer Terk Terkowitz (Terk Terkowitz), “Mevcut AI araçları işinize yardımcı olmuyorsa bu bir başarısızlık değil, bir keşiftir” dedi. Bu yaklaşım, AI'ın her görevde faydalı olmayabileceğini anlamayı da sürecin bir parçası sayıyor.

Amazon, AI'ın neden fayda sağlamadığının kaydedilip iş arkadaşlarıyla paylaşılmasını ve yöneticilere bildirilmesini istedi. Olası çözümleri birlikte aramak da yönergede önerildi.

Yönergede özellikle ‘tokenmaxxing’ olarak adlandırılan uygulamaya dikkat çekildi. Bu terim, AI modellerinin işlediği token miktarını artırmaya odaklanmayı ifade ediyor.

Terkowitz, token kullanımı ve kod satırı sayısının üretkenliği ölçmek için “ciddi biçimde kusurlu” göstergeler olduğunu belirtti. Bu rakamlar tek başına ortaya çıkan işin kalitesini göstermiyor.

Bu göstergeleri hedef haline getirmek maliyetleri ve gereksiz karmaşıklığı artırabilir. Amazon, daha fazla token kullanmanın maliyetleri azaltma ilkesiyle, kod satırlarını artırmanın ise sadeleştirme ilkesiyle çeliştiğini açıkladı.

Şirketlerin AI kullanımını ve maliyetlerini birlikte izleme çabaları başka yerlerde de görülüyor. TokenPost, daha önce AI araçlarının kullanımını ve harcamalarını takip eden, pahalı modellere erişimi kısıtlayan şirketleri haberleştirmişti.

Amazon, kullanım göstergelerini tamamen kaldırmadı. Terkowitz, AI'ı yoğun biçimde benimseyen ekiplerde kullanım miktarıyla önemli iş sonuçları arasında bir korelasyon görüldüğünü söyledi.

Ancak yönerge, bu verilerin dikkatle yorumlanmasını istedi. Yüksek kullanım tek başına yüksek performans anlamına gelmiyor; göstergeler değerlendirilirken muhakeme de kullanılmalı.

Amazon, yöneticilere AI kullanımında en alt yüzde 10'luk ve en üst yüzde 10'luk dilimlerdeki ekipleri birlikte incelemelerini önerdi. Kullanımı düşük ekiplerde benimsemenin neden yavaş olduğu araştırılmalı; yüksek kullanımlı ekiplerde ise iş sonuçlarının gerçekten iyileşip iyileşmediği kontrol edilmeli.

Uzun vadeli performansın ortaya çıkması zaman alıyor ve bunu diğer etkenlerden ayrı ölçmek zor. Amazon, bu nedenle token kullanımı ile kod değişikliği ve inceleme sayısı gibi göstergelere başvurduğunu açıkladı.

Yönergeye göre AI kullanım biçimleri hızla değiştiği için geliştiricilerin rolünü yalnızca bugün kullandıkları araçlarla tanımlamak güç. Bu nedenle odak, geliştiricilerin hangi araçları kullandığından çok hangi sonuçları elde ettiğine kaydırıldı.

Amazon, insan muhakemesini ve alan uzmanlığını AI ile birleştiren ‘Rönesans geliştirici’ yaklaşımını ortaya koydu. Mühendislerden AI'ı öğrenip günlük işlerinde kullanmaları, ayrıca hangi görevlerde işe yaradığını ve hangilerinde yaramadığını açıklayabilmeleri istendi.

Yöneticilerin de AI'ı bizzat kullanarak hangi görevlerde etkili olduğunu, hangilerinde olmadığını ekiplerine anlatmaları bekleniyor. Amazon, ürünleri ve müşterileri yakından tanıyan mühendislerin AI ve AI ajanlarından daha etkili biçimde yararlandığını belirtti.

Amazon, mühendislik rolü yönergesini AI'ın iş üzerindeki etkisine göre güncellemeyi sürdürecek.