dversarial támadások hatása a mély neurális hálózatok döntési logikájára: empirikus vizsgálat XAI módszerekkel

Konzulens:
Fehér Tamás Márk
Tárgy:
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Hallgatói létszám:
1
Folytatás:
Szakdolgozat / Diplomaterv
TDK dolgozat
Leírás:
Az evasion attackok célja gépi látási modellek esetén, hogy a megfelelően perturbált bemenettel a hálózat döntését manipuláljuk. Míg a támadások generálása és ellenük való védekezés széles körben kutatott, addig a modellek *belső működése* ugyanezen támadások esetén már kevésbé ismert: a hálózat "mit lát egy adversarial bemenet esetén"? Egy állatokat osztályozó modell vajon felismeri-e továbbra is a macska fülét? Vagy esetleg egy extra fület érzékel?

A feladat annak **kísérletekkel történő** vizsgálata, hogy a különböző interpretációs (XAI - Explainable AI) módszerekkel "hogyan változik" a modell „látása" tiszta és adversarial bemenetek esetén. A cél itt nem egy új támadás vagy védelem feltalálása; hanem a **meglévő, már implementált XAI módszerekkel** történő megfigyelés és annak értelmezése, hogy a modellek döntési logikája milyen módon változik támadás hatására. Ennek a jobb megértése egyaránt lehetővé teszi később a jobb támadások, jobb védekezések és jobb modellek létrehozását.

A feladat elsődlegesen nem új interpretációs módszerek kidolgozását tartalmazza. Inkább arról szól, hogy hogyan lehet létező módszerek létező implementációja segítségével empirikusan az evasion attackok hatására következtetni. Ami lényeges, hogy ez inkább kutatósabb feladat, ami több dolgot is jelent:
  • Nem kell teljes szoftvert írni, elég méréseket végezni és az eredményeket összefoglalni.
  • A negatív eredmény is elfogadható. 
A feladat keretében például vizsgálhatók osztályozók, mélységbecslő modellek, de akár saját modell is hozható.