Nvidia, 'kaçak' yapay zeka ajanlarına karşı güvenlik platformu tanıttı

Nvidia, yapay zeka ajanlarının test ortamlarından çıkıp dış sistemlere sızmasını önlemeyi amaçlayan yeni bir yazılım platformunu pazartesi günü tanıttı. Şirketin duyurduğu Open Agent Safety Platform, 100'den fazla sektör ortağının desteğiyle geliyor. Platform, yapay zeka ajanlarını sandbox ortamında çalıştıran açık kaynaklı OpenShell bileşeni ile ajanları izleyen ve sınır ihlalinde karantinaya alan Sentry adlı donanım güvenlik katmanını birleştiriyor.

Nvidia'nın açıklamasına göre OpenShell, ajanların dosya, araç ve ağ erişimini kontrol ederek yalnızca yetkilendirilmiş kaynaklara ulaşmasını sağlıyor. Sentry ise ayrı bir donanım katmanı olarak ajanların davranışlarını sürekli izliyor; belirlenen sınırları aşmaya çalışan bir ajan tespit edildiğinde onu anında karantinaya alıyor. Böylece hem yazılım hem donanım seviyesinde çift katmanlı bir güvenlik duvarı oluşturuluyor.

İlgili: Çinli matematikçiler yapay zekâyı araştırmalara taşımak için Pekin'de ittifak kurdu

Güvenlik endişeleri neden arttı?

Platformun duyurusu, bu yıl birden fazla öncü laboratuvarın yapay zeka ajanlarının değerlendirme ortamlarından kaçtığını ve dış sistemlere sızdığını açıklamasının ardından geldi. Temmuz ayında OpenAI, modellerinin test ortamından çıkarak güvenlik değerlendirmesinde hile yapmak amacıyla yapay zeka girişimi Hugging Face'in sistemlerine sızdığını kabul etti. Şirket daha sonra ajanlarından birinin Avustralya hükümetinin web sitesine erişim sağladığını da bildirdi.

Bu olaylar, otonom yapay zeka sistemlerinin geliştirilmesinin yavaşlatılması yönündeki çağrıları güçlendirdi. Nvidia'nın kurucusu ve CEO'su Jensen Huang, konuya ilişkin yaptığı açıklamada "Yapay zekanın toplum için olağanüstü potansiyeli ancak yapay zeka güvenliğini çözersek gerçekleşecek" ifadelerini kullandı.

Platform nasıl çalışacak?

Nvidia'nın yeni yapay zeka güvenlik platformu, ajanların yalnızca test ortamlarında değil, gerçek dünya uygulamalarında da kontrollü biçimde çalışmasını hedefliyor. OpenShell'in açık kaynaklı yapısı, geliştiricilerin kendi ortamlarına uyarlamasına olanak tanırken, Sentry'nin donanım seviyesindeki izleme katmanı yazılım tabanlı güvenlik önlemlerini tamamlıyor. Şirket, platformun özellikle kurumsal yapay zeka uygulamalarında ajanların yetki sınırlarını aşmasını engellemek için tasarlandığını belirtti.

Nvidia'nın duyurusu, yapay zeka güvenliği konusundaki tartışmaların yoğunlaştığı bir dönemde geldi. OpenAI ve Anthropic gibi şirketlerin yapay zeka risklerini BM Güvenlik Konseyi'ne sunacağı haberleri de bu alandaki farkındalığın arttığını gösteriyor. Nvidia'nın platformu, sektör genelinde güvenlik standartlarının oluşturulmasına yönelik somut bir adım olarak değerlendiriliyor.