2D és 3D generatív modellezés mély neurális hálókkal

Konzulens:
Dr. Vaitkus Márton
Tárgy:
Önálló laboratórium 1 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Hallgatói létszám:
2
Folytatás:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
Leírás:

Napjainkban robbanásszerű fejlődés tapasztalható a mélytanulás-alapú képgenerálás területén. Számos különböző módszerrel lehetséges képek egy adathalmazán betanítani egy ún. generatív modellt, ami akár véletlenszerűen, akár szöveges leírás, vagy más módon vezérelve képes létező képekhez hasonló, de korábban soha nem létezett képeket generálni: ilyen pl. a variational autoencoder (VAE), generative adversarial networks (GAN), illetve a komoly áttörésnek mondható diffúziós modellek, amin a népszerű Stable Diffusion, vagy Dall-E 2 eszközök is alapulnak.


A hallgató feladatai:
1) Ismerkedjen meg a különböző mélytanulás-alapú generatív módszerekkel [1][2].
2) Implementáljon tesztprogramot, és/vagy webes felületet amin keresztül lehetséges a különböző generatív modellek tanítása/használata.
3) (Érdeklődés függvényében) Vizsgáljon meg különböző 3D generatív módszereket.

Ajánlott irodalom:
[2] Tomczak, J.M.: Deep Generative Modeling. Springer, 2022