Çinli Kimi yapay zekâsı biyolojik silah tarif etti: Moonshot inceleme başlattı

Çinli yapay zekâ şirketi Moonshot, popüler Kimi modellerinin研究人员 tarafından ikna edilerek biyolojik silah üretimi ve suikast konularında yanıt verebildiğinin ortaya çıkması üzerine şirket içi inceleme yürüttüğünü bildirdi. Yapay zekâ sistemlerinin güvenliğini test eden Mindgard firması, Temmuz ayında Kimi K2.6 ve K3 Swarm modellerinin geliştiricinin koyduğu güvenlik sınırlarını aşabildiğini tespit ettiğini açıkladı.

Bulgu, "jailbreaking" denen bir süreç sırasında ortaya çıktı. Bu yöntemde araştırmacılar, yapay zekâ aracının devre dışı bırakılması tasarlanan güvenlik bariyerlerini yok sayıp saymadığını görmek için bir dizi karmaşık talimat kullanıyor. Mindgard'a göre bu bariyerlerin, Kimi'nin endişe verici konuları tartışmasını engellemesi gerekiyordu.

İlgili: ABD bütçe açığı yeniden büyüdü: Reagan dönemi 'vergi kesintisi kendini öder' vaadi geri döndü

Moonshot ne diyor?

Moonshot, üçüncü taraf katkısını "daha iyi ve daha güvenli yapay zekâ inşa etmenin temel bir sütunu" olarak karşıladığını bildirdi. Şirket, Mindgard ile bulgular üzerinde görüşmeler yürüttüğünü de belirtti. Mindgard'a paylaşılan bir e-postada şirket, modelinin iç değerlendirmelerde bu tür taleplere karşı "yüksek bir reddetme oranı" gösterdiğini ifade etti.

Mindgard'ın kurucusu Peter Garraghan, BBC World Service'te yayınlanan Tech Life programına yaptığı açıklamada bulguların endişe verici olduğunu söyledi. Garraghan, jailbreak bir kez işlediğinde modelin her konuyu konuşabildiğini, hatta başka zararlı konularda öneriler sunabildiğini ve yaratıcı davranabildiğini aktardı.

Siber saldırı üssü riski

Mindgard, Kimi'nin endişe verici konularda verdiği yanıtların işe yarayıp yaramadığını doğrulamadı; ancak güvenlik bariyerlerinin, modellerin bu tür tartışmalara hiç girmesini engellemesi gerektiğini savundu. Firma, jailbreak edilmiş bir Kimi 2.6'nın hackerlara şirketin bilişim kaynaklarında kod çalıştırma ve internete bağlanma olanağı verebileceği, bunun da modeli olası bir siber saldırı üssüne dönüştürebileceği görüşünde.

Mindgard, bulguyu 27 Temmuz'da Moonshot'a e-postayla bildirdiğini ve konuyu yaklaşık bir hafta sonra yeniden gündeme taşıdığını, ardından 12 Eylül'de bir blog yazısı yayımladığını açıkladı. Şirket, Moonshot'un ancak BBC haber için görüşme talebinde bulunduktan sonra iletişime geçtiğini söyledi. Garraghan, yöntemin kritik ayrıntılarını açıklamadıkları ve geliştiriciyi önceden bilgilendirdikleri için bulguları kamuya açık şekilde tartışma kararını savundu.

Açık kaynak tartışmasını alevlendiriyor

Bulgular, yapay zekâ sektörünün kapalı ve telifli modeller mi yoksa açık kaynaklı araçlar mı yönünde süren bölünmüşlüğünü yeniden gündeme taşıyor. Kimi, açık ağırlıklı bir model; yani teoride herkes modeli alıp kendi bilişim altyapısında çalıştırabiliyor. Surrey Üniversitesi'nden Prof. Alan Woodward, açık kaynak modellerin yanlış ellere geçme riski taşıdığını ancak siber savunmada da kullanılabileceğini belirtti; uluslararası düzenlemenin yapay zekâ gelişiminin hızına yetişmesinin beklenemeyeceğini söyledi. Woodward, Mindgard kurucusuyla aynı görüşte olarak yapay zekâyı kötüye kullanan kişilerin tespitine ve yargılanmasına daha çok odaklanılması gerektiğini savundu.