2D és 3D generatív modellezés mély neurális hálókkal

Supervisor:
Dr. Vaitkus Márton
Subject:
Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Software development study specialization, BSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Students count:
2
Continue:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
Description:

Napjainkban robbanásszerű fejlődés tapasztalható a mélytanulás-alapú képgenerálás területén. Számos különböző módszerrel lehetséges képek egy adathalmazán betanítani egy ún. generatív modellt, ami akár véletlenszerűen, akár szöveges leírás, vagy más módon vezérelve képes létező képekhez hasonló, de korábban soha nem létezett képeket generálni: ilyen pl. a variational autoencoder (VAE), generative adversarial networks (GAN), illetve a komoly áttörésnek mondható diffúziós modellek, amin a népszerű Stable Diffusion, vagy Dall-E 2 eszközök is alapulnak.


A hallgató feladatai:
1) Ismerkedjen meg a különböző mélytanulás-alapú generatív módszerekkel [1][2].
2) Implementáljon tesztprogramot, és/vagy webes felületet amin keresztül lehetséges a különböző generatív modellek tanítása/használata.
3) (Érdeklődés függvényében) Vizsgáljon meg különböző 3D generatív módszereket.

Ajánlott irodalom:
[2] Tomczak, J.M.: Deep Generative Modeling. Springer, 2022