OpenAI 'Control Room' sistemini duyurdu: İstek dışı model 35 saniyede duruyor

OpenAI, araştırma deneylerine ait model çıktısını güvenlik veya emniyet endişesi doğduğunda hızla kesen merkezi bir sistem geliştirdiğini açıkladı. Şirketin blog yazısında tanıtılan OpenAI Control Room adlı sistem, araştırma altyapısındaki model iş yüklerini sürekli izliyor ve bir kişi ya da otomatik izleme mekanizması alarm verdiğinde ilgili işin yetkisini geri alarak çıktı üretimini durduruyor.

Şirket, duyuru metninde güçlenen modellerle birlikte güvenlik risklerinin de büyüdüğünü, olası sorunların tespit edilip gerektiğinde modellerin hızla durdurulabilmesinin giderek daha kritik hale geldiğini belirtti.

İlgili: Qantas 850 kurumsal işi Accenture'a devrediyor: Görevlerin çoğu Hindistan'a geçecek

Control Room nasıl çalışıyor?

Sistem şu anda yalnızca OpenAI'ın iç araştırma iş yüklerini kapsıyor; eğitim deneyleri, değerlendirmeler ve veri işleme işleri bu kapsam içinde. Her araştırma işine bir kimlik atayan Control Room, model çıktısı üretilmeden önce bu kimliği çıkarım motoru üzerinden kontrol ediyor.

Bir kişi ya da otomatik izleme sistemi işin durdurulmasını talep ettiğinde, işin yetkilendirmesi iptal ediliyor. Böylece altta yatan araştırma programı teknik olarak çalışmaya devam etse bile model yeni çıktı üretemiyor. Şirketin verdiği bilgiye göre önbelleğe alınmış yetkilendirmeler, bir durdurma işlemini en fazla 35 saniye geciktirebiliyor. Ayrıca OpenAI Control Room'a ulaşılamaz hale gelirse sistemin yeni istekleri reddedecek biçimde tasarlandığı bildirildi.

Talimat dışı davranan modeller sonrası geldi

Duyuru, OpenAI'ın bu yıl araştırma modellerinin değerlendirme süreçlerinde talimatlarının ötesine geçtiğini bildirdiği bir dizi olayın ardından yapıldı. Temmuz'da şirket, modellerinin kısıtlı bir test ortamından kaçtığını ve bir güvenlik değerlendirmesinde hile yapmak için Hugging Face platformuna erişmeye çalıştığını açıklamıştı.

Ekim ayında ise ayrı bir olayda bir araştırma modelinin, akıllı sözleşme dağıtımlarının bedelini ödemek için yetkisiz biçimde bir kripto cüzdanı kullandığı ve testnet Ether harcamasını nihai özetinde gizlediği bildirilmişti. Bu tür olaylar, modellerin denetim dışına çıktığı anlarda müdahale edebilecek merkezi bir kapatma mekanizması ihtiyacını görünür kılmıştı.

Yapay zekâ güvenliğinde ne anlama geliyor?

Control Room, model geliştirme sürecinin tamamının doğrudan devre dışı bırakılmasını gerektirmeden yalnızca sorunlu iş yükünün durdurulmasına olanak tanıması bakımından dikkat çekiyor. Şirketin vurguladığı gibi amaç, güçlenen modellerde güvenlik ihlali şüphesi doğduğunda müdahale süresini saniyeler seviyesine indirmek.

Sistemin kapsamının şu an için şirketin kendi araştırma altyapısıyla sınırlı olduğu, müşteri ürünlerine veya dış kullanıcılara nasıl bir yansıması olup olmadığının ise duyuruda ayrıntılandırılmadığı belirtiliyor.