3D geometria feldolgozása neurális hálókkal

Supervisor:

Dr. Vaitkus Márton

Subject:

Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Software development study specialization, BSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.

Students count:

Continue:

Szakdolgozat / Diplomaterv
PhD
TDK dolgozat

Description:

Forrás: http://stanford.edu/~rqi/pointnet/

Képfeldolgozásra manapság elterjedten használtak a neurális hálózatok és az un. mélytanulás (deep learning) napjaink egyik legaktívabb tudományterülete. Akár képek felismeréséről, akár szegmentálásáról van szó a leghatékonyabb módszerek un. konvolúciós neurális hálókon (Convolutional Neural Network, CNN) alapulnak, amelyek a képeket (konvolúciós) szűrők egymásra épülő rétegeivel dolgozzák fel. Ezek implementálása napjainkra már igen egyszerű pl. a PyTorch, vagy TensorFlow keretrendszerek segítségével.

Forrás: https://liuziwei7.github.io/projects/DGCNN

Jelenleg is aktívan kutatják a mélytanulási módszerek általánosításait 3-dimenziós adatokra, pl. pontfelhők, vagy háromszöghálók kategorizálására vagy szegmentálására. A 3-dimenziós adathalmazok általában nem rendelkeznek a képekhez hasonló szabályos struktúrával, ezért a konvolúció általánosítása szükséges. Pontfelhőket, pl. feldolgozhatjuk közveltenül [1], vagy szomszédsági gráf építésével is [2]. Hálókra is több különböző módon lehet általánosítani a konvolúció műveletét, ld. pl. [3][4].

Forrás: https://anintroductiontodeeplearningonmeshes.github.io/

A hallgató feladatai:

Ismerkedjen meg a 3D mélytanulási módszerek alapjaival és a kapcsolódó keretrendszerekkel (pl. PyTorch3D)
Implementáljon néhány önállóan választott, vagy témavezető által kijelölt módszert pontfelhők, vagy háromszöghálók feldolgozására.
Hasonlítsa össze az implementált módszereket.

Hivatkozások:

[1] Qi et al.: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. 2016.

[2] Wang et al.: Dynamic Graph CNN for Learning on Point Clouds. 2019.

[3] Hanocka et al.: MeshCNN: A Network with an Edge. 2019.

[4] Sharp et al.: DiffusionNet: Discretization Agnostic Learning on Surfaces. 2020.

Ajánlott előismeretek:

Python nyelv ismerete, számítógépes grafika alapjai.