Yüzde 30'a varan token tasarrufu: NVIDIA güvenli ajan mimarisini açıkladı

NVIDIA(NVDA) CEO'su Jensen Huang(Jensen Huang), yapay zeka ajanlarının net biçimde çizilmiş sınırlar içinde serbestçe değerli işler yapmasını sağlayan 'OpenShell' mimarisini oluşturduklarını 21'inde (yerel saatle) duyurdu. Huang aynı açıklamada, DSX sisteminin 2 gigavat(GW) ölçeğinde soğutma suyu kullanımını neredeyse sıfıra indirebildiğini, DSX MaxLPS'in ise token başına elektrik tüketimini yüzde 30'a kadar azaltabildiğini aktardı.

OpenShell bir referans mimarisi. PANews'in aktardığına göre bu yapı, kurumsal altyapılarda ve 'edge' sistemlerde güvenli ajanlar kurmayı, kontrol etmeyi ve izlemeyi mümkün kılıyor. Edge sistemler, verinin merkezi sunuculara değil kullanım noktasına yakın yerlerde işlendiği sistemleri ifade ediyor.

Yapay zeka ajanı, kullanıcıdan adım adım talimat almadan kendi başına işlem yapabilen yazılımları tanımlıyor. Huang daha önce Londra'da Fortune ile yaptığı görüşmede, yapay zeka ajanlarının güvenli 'konteyner'lar içinde çalıştırılması ve göreve yalnızca gerekli asgari yetkinin verilmesi gerektiğini söylemişti. OpenShell de izin verilen alanı önce belirleyip ajanı bu alanın içinde hareket ettirme fikrini aynı çizgide sürdürüyor.

Token, yapay zeka modellerinin metni işlerken kullandığı temel birim; token başına harcanan elektrik ise yapay zeka hizmetlerinin işletme maliyetiyle doğrudan bağlantılı bir gösterge. Morgan Stanley(MS), 17 Mart'ta (yerel saatle) yayımladığı konferans özetinde, Huang'ın ajan tabanlı yapay zekanın standart üretken yapay zeka komutlarına kıyasla en fazla 1 milyon kat daha fazla token tüketebileceğini belirttiğini aktarmıştı. Ajan kullanımı arttıkça elektrik verimliliği rakamlarının önemi de büyüyor.

Yüzde 30 bir 'en fazla' rakam. PANews'in aktardığı içerikte bu değerin hangi koşullarda ve neyle kıyaslanarak elde edildiği belirtilmiyor. Soğutma suyunda 'neredeyse sıfır' ifadesi ile token başına elektrik tasarrufu rakamının ikisi de NVIDIA'nın kendi açıkladığı veriler; gerçek veri merkezi işletim koşullarındaki etkinin ayrıca doğrulanması gerekiyor.