Yapay zekâ ajanları denetim altına giriyor: NVIDIA'dan açık güvenlik platformu

NVIDIA, otonom yapay zekâ ajanlarını test aşamasından devreye almaya kadar denetleyebilen Open Agent Safety Platform'u duyurdu. Şirketin açıklamasına göre platform; ajanları çalıştıran yazılımı, işlem gücünü sağlayan donanımı ve fiziksel dünyada görev yapan robotik sistemleri kapsayan tam yığın yönetişim sunuyor ve organizasyonlar bileşenleri kendi ihtiyaçlarına göre seçerek devreye alabiliyor.

NVIDIA, platformun çıkış gerekçesini yakın dönemdeki güvenlik olaylarına bağlıyor: Bu olaylarda ortak desen, ajanın verilen görevi tamamlamak için uygulama katmanındaki güvenlik kontrollerini aşmasıydı. Şirket, uzun soluklu ajanlar üzerinde daha fazla kontrol sağlayan açık ve özelleştirilebilir araçlara duyulan ihtiyacın bu gelişmelerle ortaya çıktığını belirtiyor.

İlgili: Beyaz Saray 6 milyar dolarlık bilim paketini açıkladı: Kuantuma 215 milyon dolar

NVIDIA Kurucusu ve CEO'su Jensen Huang, "Toplum için yapay zekânın olağanüstü potansiyeli, yapay zekâ güvenliğini çözmeden gerçekleşmeyecek" ifadesini kullandı. Huang, güvenlik ve emniyetin tam yığın mühendislik gerektirdiğini; platformun sektörü, araştırmacıları ve kamu kurumlarını en iyi uygulamaları paylaşmak, değerlendirme yöntemlerinde uyum sağlamak ve uluslararası iş birliğini geliştirmek için bir araya getirdiğini vurguladı.

OpenShell, ajanlar için çalışma ortamı sınırı çiziyor

Platformun yazılım bileşeni OpenShell, işlemciler üzerinde çalışan ajanlara güvenli bir çalışma ortamı sınırı tanımlıyor; ajanların tüm eylemlerini izliyor ve politika uyguluyor. Şirket, ajanların daha fazla sistem üzerinde daha fazla iş üstlendiği bir ortamda modelin ve ajan iskeletinin dışında uygulanabilir bir sınır gerektiğini vurguluyor. OpenShell, ajanik yapay zekâ için tasarlanan ilk özel işlemci olan NVIDIA Vera üzerinde minimum ek yükle çalışıyor; şu anda geniş erişime açık olan yazılım, açık kaynak olması sayesinde Arm ve Intel dahil üçüncü taraf işlem platformlarına da genişletilebilecek.

Sentry denetimi çip düzeyine taşıyor

Referans sistem tasarımının donanım ayağı Sentry, BlueField-4 DPU'larda bant dışı bir gözcü olarak çalışıyor ve ajan davranışını sürekli izliyor. Bir ajan yazılım sınırının dışına çıkmaya kalkışırsa sistem onu milisaniyeler içinde karantinaya alıp durduruyor. DOCA yazılımı üzerine kurulu Sentry, ajan istek ve yanıtlarını inceleyip kimlik doğrulaması yaparak veri, araç, API ve hizmetlere ayrıntılı sıfır güven erişim politikaları uyguluyor; tehdit algılama, donanım tabanlı yönetişim ve veri erişim korumasını tek bir güven alanında birleştiriyor. Denetim ajanlardan ve saldırganlardan izole yürütüldüğü için hem gerçek zamanlı hem de dışarıdan görünmez kalıyor.

Sektörden geniş destek

NVIDIA'nın duyurusunda platforma destek veren geniş bir katılımcı listesi yer alıyor. Siber güvenlik tarafında CrowdStrike ile Palo Alto Networks, bulut ve kurumsal yazılım cephesinde Microsoft, Salesforce, SAP, ServiceNow ve Red Hat; bankacılıktan JPMorganChase, donanım üreticilerinden Dell Technologies ile HPE, yapay zekâ şirketlerinden Anthropic, Perplexity, Scale AI ve Hugging Face, robotik alanından Figure, siber güvenlik şirketi Cisco ile veri analitiği firması Palantir ekosisteme katılan isimler arasında.

Anthropic'in Claude Managed Agents yapısı, ajan döngüsünü işin yürütüldüğü korumalı alanlardan ayrı bir sunucuda çalıştırarak güvenlik sınırı oluşturuyor; OpenShell ve BlueField entegrasyonları bu korumalı alanlar üzerinden ajan erişiminin sıkı biçimde denetlenmesini sağlıyor. Anthropic Baş Ticari Sorumlusu Paul Smith, şirketlerin ajanlarına artık en kritik işlerini verdiklerini ve ajanların yaptıklarını yönlendirip doğrulamaya ihtiyaç duyduklarını, NVIDIA'nın platformunun donanım ve yazılımda ek bir yönetişim katmanı sağladığını söyledi.

SpaceXAI, platformu Cursor kodlama ajanları ve Grok modelleri için kullanıyor. Şirket Başkanı Mike Nicolls, müşterilerin ajanlardan gerçek iş beklediği bir ortamda güvenliğin modelin dışında, ajanın aşamayacağı ek kontrollerle uygulanması gerektiğini belirtti.