3D geometria rekonstrukciója neurális hálókkal

Supervisor:

Dr. Vaitkus Márton

Subject:

Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Software development study specialization, BSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.

Students count:

Continue:

Szakdolgozat / Diplomaterv
PhD
TDK dolgozat

Description:

A neurális hálókat ma már elterjedten alkalmazzák nem képfeldolgozási feladatokra, de 3D felületek, vagy akár komplex 3D színterek rekonstrukciójára is. A 3D geometriát számos különböző módon lehet reprezentálni: implicit, vagy paraméteres felületként, vagy akár térfogati sűrűség mezőként. A lényeg, hogy bármilyen reprezentációt is használunk, a célunk egy skalár vagy vektor "mező" meghatározás pontfelhők, távolsági adatok, vagy akár képek/vidók alapján. Mély neurális hálózatokkal tetszőleges leképezést közelíteni lehet, így használatuk egyre nagyobb teret nyer ezen a területen is. [1]

Forrás: https://github.com/amosgropp/IGR

Tegyük fel, hogy adott egy 3D ponthalmaz, amit egy folytonos felülettel szeretnénk közelíteni. Igen jól használhatóak ilyen célra az un. implicit felületek, amelyek egy f(x,y,z) térbeli skalárfüggvény szintfelületével definiálnak egy alakzatot. Kívánatos, hogy ez a függvény a felülettől számított (előjeles) távolságnak feleljen meg. Egy napjainkban is aktívan kutatott illesztési módszer lényege, hogy a keresett implicit függvényt egy neurális háló kimeneteként definiáljuk - összefoglalóért ld.: LINK. A neurális reprezentáció előnye, hogy folytonos és az elterjedten használt cella-alapú reprezentációkkal ellentétben nem igényli a befoglaló tér diszkretizációját.

Forrás: http://imagine.enpc.fr/~groueixt/atlasnet/

Egy másik lehetséges megközelítés, hogy egy felületet un. paraméteres alakban, azaz egy síkbeli tartomány f: (u,v) -> (x,y,z) leképezéseként definiálunk. Egy ilyen leképezés megadása és adatpontokra való illesztése is lehetséges neurális hálók segítségével. Egy objektum megadása általában több paraméteres felületdarabbal lehetséges és a különböző "patch"-ek közötti konzisztencia megőrzése ekkor egy további megoldandó probléma.

Forrás: https://www.matthewtancik.com/nerf

A napjainkban legnépszerűbb megközelítés egyfajta "inverz ray-marching/volume rendering" segítségével nem csak távolságmező, hanem akár egy komplett 3D színtér térfogati rekonstrukciójára is képes, akár szín- és anyag-jellemzőkkel együtt - ez a Neural Radiance Field (NeRF) [3], ami igen aktív kutatások tárgya [1][2] (ld. LINK) és már valós idejű, nagy méretű rekonstrukcióra is képes [4][5].

A hallgató feladatai:

1. Tanulmányozzon néhány (témavezető által, vagy akár szabadon választott) cikket a témában.

2. Implementáljon módszer(eke)t felületek rekonstrukciójára.

Irodalom:

[1] Xie et al: Neural Fields in Visual Computing and Beyond. 2021.

[2] Tewari et al.: Advances in Neural Rendering. 2021.

[3] Mildenhall et al. NeRF - Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV 2020. https://www.matthewtancik.com/nerf

[4] Müller et al.: Instant Neural Graphics Primitives with a Multiresolution Hash Encoding. 2022.

[5] Tancik et al.: Block-NeRF - Scalable Large Scene Neural View Synthesis. 2022.

Előismeretek:

számítógépes grafika, 3D geometria, gépi tanulás