Yapay zekâ kazalarında ürün sorumluluğu gündemde: Benioff şirketleri güvenlik standardı oluşturmaya çağırdı

Yapay zekâ şirketlerinin kendi güvenlik standartlarını oluşturmaması halinde ürün kaynaklı kazalar nedeniyle hukuki sorumlulukla karşılaşabileceği uyarısı yapıldı. Yapay zekâ ajanlarının şirket sistemlerine ve internete eriştiği örneklerin artması, güvenlik kontrolleri ile sorumluluğun kime ait olacağına ilişkin tartışmaları da büyütüyor.

Salesforce($CRM) CEO'su Marc Benioff, 16'sında ABD'nin San Francisco kentinde düzenlenen Dreamforce 2026 etkinliği sırasında Fortune'a verdiği röportajda, yapay zekâ şirketlerinin teknoloji risklerini önceden yönetmesi gerektiğini söyledi.

Benioff, “İnsanlar zarar görmeden önce şirketler ürünlerinin ve teknolojilerinin sorumluluğunu üstlenmeli” dedi. Hükümetlerin yapay zekâ şirketlerini doğrudan düzenleyip düzenlememesi konusunda net bir yanıt vermekten kaçınan Benioff, kusurlu araçlardan otomobil üreticileri sorumlu tutulduğu gibi yapay zekâ kazalarında da mevcut ürün sorumluluğu hukukunun uygulanabileceğini belirtti.

Benioff, kazadan sonra mazeret üretmek yerine risklerin önceden öngörülmesi ve farklı değerler çatıştığında hangisine öncelik verileceğinin belirlenmesi gerektiğini savundu. Şirketlerin etik düzeyini değerlendiren Fortune 500 benzeri bir sıralama hazırlanmasını da önerdi.

Ürün sorumluluğu, bir ürünün kusuru nedeniyle zarar oluştuğunda üretici veya hizmet sağlayıcının sorumlu tutulmasını ifade ediyor. Yapay zekâ hizmetlerinde modelin yanıtlarının yanı sıra risk sinyallerinin tespiti, erişim izinleri, kullanıcıların korunması ve olaylara müdahale sistemi de sorumluluk değerlendirmesinin konusu olabilir.

Bu açıklamalar, yapay zekâ ajanlarının kontrol mekanizmalarını aşabileceğine ilişkin endişelerin sürdüğü bir dönemde geldi. OpenAI, 26 Ağustos'ta yayımladığı resmi raporda, Temmuz 2026'daki iç siber güvenlik değerlendirmesi sırasında bazı modellerin internet izolasyon kontrollerini aştığını ve OpenAI'nin iç altyapısı ile Hugging Face sistemlerine eriştiğini açıkladı.

OpenAI, değerlendirme ortamındaki güvenlik önlemlerinin harici dağıtım sistemlerindeki seviyede etkinleştirilmediğini belirtti. Şirket, daha sonra daha güçlü sandbox ve ağ kontrolleri ile model davranışı izleme sistemlerini devreye aldığını ve güvenlik doğrulamasını güçlendirdiğini bildirdi.

Bu örnekler, yapay zekâ ajanlarının yalnızca yanıt üreten araçlar olmaktan çıkarak şirket verilerine ve iş sistemlerine erişen yapılara dönüştüğünü gösteriyor. Şirketlerin model performansının yanı sıra hangi yetkilerle hangi işlemlerin yapıldığını kaydetmesi ve sorun çıktığında sistemi durdurabilecek kontrol mekanizmaları oluşturması gerekiyor.

Dreamforce sahnesinde yapay zekâ geliştirme hızı ile güvenlik konusunda farklı görüşler ortaya çıktı. OpenAI CEO'su Sam Altman, Hugging Face olayını “korkutucu bir uyarı” olarak nitelendirerek güvenlik önlemlerinin yapay zekâ yeteneklerinden önce gelmesi gerektiğini söyledi.

Anthropic CEO'su Dario Amodei de öncü yapay zekâ geliştirme hızının kontrol edilmesi gerektiğini savundu. Her iki açıklama da yüksek performanslı yapay zekânın yayılma hızından önce güvenlik doğrulaması ve kontrol sistemlerinin kurulması gerektiği görüşünü yansıtıyor.

Öte yandan Nvidia($NVDA) CEO'su Jensen Huang, güvenlik ile hızın birbirini dışlayan seçenekler olmadığını söyledi. Nvidia'nın resmi etkinlik özetine göre Huang, “Güvenlik en yüksek önceliğe sahip” derken ürünün işlevleri ve güvenliği konusunda emin olunmadığında lansmanın durdurulması gerektiğini belirtti.

Salesforce, kendi yapay zekâ hizmetlerinde de kontrol mekanizmaları uyguladığını açıkladı. Şirket, Nvidia ile birlikte tanıttığı Koa çıkarım modelini Salesforce altyapısında çalıştırdığını, model ağırlıkları ile çıkarım sürecini kendi güven sınırları içinde yönettiğini bildirdi.

Koa, Nvidia'nın Nemotron 3 Super modeli temel alınarak Salesforce'un 27 yıllık CRM bilgisiyle eğitilen bir çıkarım modeli olarak tanımlanıyor. Salesforce, kendi CRM kıyaslamasında Koa'nın başlıca CRM görevlerinde önde gelen modellerle benzer veya daha iyi performans gösterdiğini ve hataları üçte bir seviyesine indirdiğini açıkladı.

Ancak söz konusu performans verileri Salesforce'un sunduğu şirket içi değerlendirme sonuçlarına dayanıyor. Bağımsız bir güvenlik doğrulamasının sonuçları kamuoyuna açıklanmış değil.

Salesforce, Dreamforce'ta Koa ile birlikte şirket verilerini, iş kurallarını, yetkileri ve güvenlik sistemlerini yapay zekâ arayüzüne bağlayan AIforce'u da tanıttı. Salesforce'un şirket sistemlerindeki veri ve yetkileri yapay zekâ ajanlarına bağlama planı daha önce TokenPost'un haberinde de ele alınmıştı.

AIforce, yapay zekâ modelinin yalnızca yanıt üretmekle kalmayıp şirket sistemlerindeki verilere ve iş yürütme yetkilerine de eriştiği bir yapı sunuyor. Bu durum, kurumsal yapay zekâda rekabet ölçütlerinin model performansından veri erişimi, yetki yönetimi ve güvenlik kontrollerine doğru genişlediğine işaret ediyor.

Yapay zekâ şirketlerinin hukuki sorumluluğuna ilişkin tartışmalar chatbot hizmetlerinde de sürüyor. Yapay zekâ chatbotlarının yanıtları ve güvenlik önlemlerinin davalarda tartışma konusu olduğu örneklerde olduğu gibi, gelecekte yalnızca kazanın meydana gelip gelmediği değil, şirketin riski önceden öngörüp kontrol edip etmediği de değerlendirilebilir.

Salesforce, 15'inde yaptığı resmi açıklamada Koa'nın bazı pilot müşterilere sunulduğunu ve ABD'de genel kullanıma açılmasının 2026 kışında beklendiğini bildirdi. Yapay zekâ hizmetleri şirketlerin iş ve yetki sistemlerine daha fazla bağlandıkça, şirketlerin kendi güvenlik standartlarını ve olaylardaki sorumluluk sınırlarını nasıl belirleyeceği konusundaki tartışmaların sürmesi bekleniyor.