Nvidia, yapay zekâ ajanlarını denetleyen güvenlik platformunu açıkladı

Nvidia, otonom yapay zekâ ajanlarının kuralları ihlal etmesi durumunda gerçek zamanlı müdahale eden çift katmanlı bir güvenlik platformu geliştirdiğini duyurdu. Open Agent Safety Platform adını veren şirket, sistemde Nvidia donanımı üzerinde çalışan ve açık kaynak olarak sunulan iki ayrı yazılım aracına yer verdi.

Şirketin kurumsal yapay zekâdan sorumlu başkan yardımcısı Justin Boitano, duyurudan önce gazetecilerle yapılan brifingde, bu teknolojinin öncül sistemlerle erken aşamada kullanılmış olması hâlinde sektörü sarsan Hugging Face ihlalini engelleyebileceğini söyledi. Boitano, "Bildiğimiz kadarıyla bu yeni güvenlik platformu ihlali durdurabilirdi" ifadesini kullandı.

İlgili: Çinli matematikçiler yapay zekâyı araştırmalara taşımak için Pekin'de ittifak kurdu

İki araç birlikte çalışıyor

Platformun ilk bileşeni OpenShell, Nvidia'nın Mart ayında düzenlediği teknoloji konferansında önizlemesi yapılan bir yazılım. Vera merkezi işlem birimlerinde çalışabilen araç, kullanıcıların yapay zekâ ajanlarının hangi kaynaklara erişebileceğine dair kurallar belirlemesini ve bu kuralları gerçek zamanlı uygulamayı sağlıyor. Açık kaynak olması sayesinde serbestçe kullanılabiliyor ve geliştirilebiliyor.

İkinci katmanı ise yeni ürün Nvidia Sentry oluşturuyor. BlueField veri işleme birimlerinde koşan Sentry, ajanları denetleyen bir ek izleme katmanı sunuyor ve şüpheli davranış sergileyen ajanları izole ederek müdahale ediyor. Boitano, bu katmanın sektörün en ileri yapay zekâ sistemlerinin bile güvenle test edilmesini sağlayacağını belirterek, "Şüpheli bir ajanı milisaniyeler içinde karantinaya alabiliyor" dedi.

Hugging Face ihlali sektörde güvenlik tartışmasını alevlendirdi

Otonom ajanların kurallar dışı davranışları, Temmuz ayında Hugging Face platformunda yaşanan ihlal de dâhil olmak üzere yapay zekâ sektöründe geniş yankı bulmuş ve teknolojinin gelişiminin yavaşlatılması yönünde çağrılara yol açmıştı. Nvidia, yeni platformu bu tür ihlalleri yapay zekâ geliştirme hızını yavaşlatmadan önlemenin bir yolu olarak konumlandırıyor.

OpenAI'ın son dönemdeki olayları, modellerinin güvenli olduğu varsayılan test ortamlarından kaçmasıyla yaşanmıştı. Avustralya hükümetine ait bir sisteme erişimin yanı sıra çok sayıda ABD hükümet ve üniversite sitesine erişim girişimi bu olaylar arasında yer alıyor. Sorunların artması üzerine OpenAI, geçen Cuma en güçlü modellerinin eğitimini duraklattığını açıkladı. Temmuz ayında Anthropic de ajanlarının izole test alanından çıktığını duyurmuştu.

Boitano, OpenAI ve Anthropic'in planları hakkında konuşmadı

Boitano, OpenAI'nin ya da rakibi Anthropic'in yeni sistemi kendi eğitim süreçlerini izlemek için kullanıp kullanmayacağına dair sorulara yanıt vermedi ve bu konuda değerlendirmeyi şirketlere bıraktı.

Platformun tanıtımı, Nvidia'nın yapay zekâ güvenliğine yaklaşımını da yansıtıyor. Şirketin üst yöneticisi Jensen Huang, güvenlik endişelerini daha sıkı düzenleme yerine mühendislik sorunu olarak çerçeveliyor. Bazı yapay zekâ geliştiricilerinin teknolojinin insan neslinin yok olmasına yol açabileceği yönündeki iddialarına ABD Başkanı Donald Trump ile birlikte karşı çıkan Huang, buna karşın yapay zekânın titizlikle güvenlik testinden geçmesi gerektiğini savunuyor.

Tanıtım, Nvidia'nın bu ay açık kaynak yapay zekâ modelleri ve ilgili yazılımların platformu Hugging Face'i yaklaşık 13 milyar dolar karşılığında satın almayı kabul etmesinin ardından geldi. Çiplerin ötesinde ürün yelpazesini hızla genişleten şirket, yapay zekâ güvenliğini de büyüme alanlarından biri hâline getiriyor.