112dijital Gündem
yükleniyor…
Microsoft araştırmacıları 10'dan az nöronla AI ajanlarına arka kapı eklenebileceğini gösterdi
The Hacker News·

Microsoft araştırmacıları 10'dan az nöronla AI ajanlarına arka kapı eklenebileceğini gösterdi

Orijinal başlık: Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons

Kısaca

Microsoft araştırmacıları, modeli yeniden eğitmeden nadiren kullanılan 10'dan az nöronu düzenleyerek bir AI modeline gizli arka kapı eklenebildiğini gösterdi. Tetikleyici ortaya çıktığında model saldırganın komutunu üretiyor ve ajan bu komutu kendi izinleriyle çalıştırıyor.

Ne oldu?

  • Yöntemin işleyebilmesi için saldırganın modelin ağırlıklarını değiştirebilmesi gerekiyor.
  • Arka kapı, yeniden eğitim gerektirmeden yalnızca küçük ağırlık düzenlemeleriyle kurulabiliyor; ekip yöntemi test modelleri üzerinde denedi.

Neden önemli?

AI ajanlarını ürünlerine entegre eden ekipler, model ağırlıklarının bütünlüğünü doğrulamalı ve ajanların çalıştıracağı komutlar için yetki sınırlandırması uygulamalı.

10'dan az nöron düzenlemesi