Nvidia, sınır aşan AI ajanlarını milisaniyede izole ediyor

Nvidia(NVDA), kurumsal altyapılarda ve uç (edge) sistemlerde yapay zeka ajanlarını oluşturmak, çalıştırmak, izlemek ve sınırlamak için 'NVIDIA OpenShell Referans Mimarisi'ni tanıttı. Mimari, bir ajan belirlenen yazılım sınırlarının dışına çıktığı anda donanım seviyesinde devreye girip ajanı izole etmeye ve durdurmaya odaklanıyor.

OpenShell güvenlik çalışma zamanı (runtime) temelinde kurulan mimaride Vera Rubin, Vera CPU ve BlueField-4 DPU bir araya getiriliyor. Odaily'ye göre bu yapının amacı yönetişim (governance), izolasyon ve güvenlik kontrollerini güçlendirmek. Nvidia daha önce de OpenShell'i donanım tabanlı izleme tasarımı Sentry ile birleştiren bir ajan kontrol platformu tanıtmıştı.

Mimarideki bileşenlerin görevleri birbirinden ayrılmış durumda. Model çıkarımı (inference) Vera Rubin tarafından yürütülürken, Vera CPU ajan 'harness'ını ve araç çağrılarını (tool call) çalıştırıyor. Ajan harness'ı bir ajanı çalıştıran yürütme çerçevesini, araç çağrısı ise ajanın dış araçları veya fonksiyonları çağırarak kullanmasını ifade ediyor.

Mimarinin kalbinde BlueField-4 yer alıyor. BlueField-4, NVIDIA Sentry aracılığıyla ajanların davranışını sürekli izliyor ve donanım seviyesinde politika kontrolünü uyguluyor. Bir ajan belirlenen yazılım sınırını aştığında Sentry, söz konusu ajanı milisaniyeler içinde izole edip durdurabiliyor.

İzleme ve uygulama görevi, ajanı çalıştıran Vera CPU'ya değil, ayrı bir BlueField-4 DPU'ya (veri işleme birimi) ait. Böylece çıkarım, ajan yürütme ve izleme/kontrol süreçleri farklı donanım katmanlarında gerçekleşiyor.