3D geometria feldolgozása neurális hálókkal

Konzulens:

Dr. Vaitkus Márton

Tárgy:

Önálló laboratórium 1 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.

Hallgatói létszám:

Folytatás:

Szakdolgozat / Diplomaterv
PhD
TDK dolgozat

Leírás:

Forrás: http://stanford.edu/~rqi/pointnet/

Képfeldolgozásra manapság elterjedten használtak a neurális hálózatok és az un. mélytanulás (deep learning) napjaink egyik legaktívabb tudományterülete. Akár képek felismeréséről, akár szegmentálásáról van szó a leghatékonyabb módszerek un. konvolúciós neurális hálókon (Convolutional Neural Network, CNN) alapulnak, amelyek a képeket (konvolúciós) szűrők egymásra épülő rétegeivel dolgozzák fel. Ezek implementálása napjainkra már igen egyszerű pl. a PyTorch, vagy TensorFlow keretrendszerek segítségével.

Forrás: https://liuziwei7.github.io/projects/DGCNN

Jelenleg is aktívan kutatják a mélytanulási módszerek általánosításait 3-dimenziós adatokra, pl. pontfelhők, vagy háromszöghálók kategorizálására vagy szegmentálására. A 3-dimenziós adathalmazok általában nem rendelkeznek a képekhez hasonló szabályos struktúrával, ezért a konvolúció általánosítása szükséges. Pontfelhőket, pl. feldolgozhatjuk közveltenül [1], vagy szomszédsági gráf építésével is [2]. Hálókra is több különböző módon lehet általánosítani a konvolúció műveletét, ld. pl. [3][4].

Forrás: https://anintroductiontodeeplearningonmeshes.github.io/

A hallgató feladatai:

Ismerkedjen meg a 3D mélytanulási módszerek alapjaival és a kapcsolódó keretrendszerekkel (pl. PyTorch3D)
Implementáljon néhány önállóan választott, vagy témavezető által kijelölt módszert pontfelhők, vagy háromszöghálók feldolgozására.
Hasonlítsa össze az implementált módszereket.

Hivatkozások:

[1] Qi et al.: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. 2016.

[2] Wang et al.: Dynamic Graph CNN for Learning on Point Clouds. 2019.

[3] Hanocka et al.: MeshCNN: A Network with an Edge. 2019.

[4] Sharp et al.: DiffusionNet: Discretization Agnostic Learning on Surfaces. 2020.

Ajánlott előismeretek:

Python nyelv ismerete, számítógépes grafika alapjai.