3D geometria rekonstrukciója neurális hálókkal

Konzulens:
Dr. Vaitkus Márton
Tárgy:
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Önálló laboratórium 1 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 2 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 1 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 2 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 1 - Intelligens beágyazott mecha. rendsz. szakir., MSc Mecha.
Önálló laboratórium 1 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Hallgatói létszám:
3
Folytatás:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
Leírás:
A neurális hálókat ma már elterjedten alkalmazzák nem képfeldolgozási feladatokra, de 3D felületek, vagy akár komplex 3D színterek rekonstrukciójára is. A 3D geometriát számos különböző módon lehet reprezentálni: implicit, vagy paraméteres felületként, vagy akár térfogati sűrűség mezőként. A lényeg, hogy bármilyen reprezentációt is használunk, a célunk egy skalár vagy vektor "mező" meghatározás pontfelhők, távolsági adatok, vagy akár képek/vidók alapján. Mély neurális hálózatokkal tetszőleges leképezést  közelíteni lehet, így használatuk egyre nagyobb teret nyer ezen a területen is. [1]https://i.imgur.com/JA04FGw.png


Tegyük fel, hogy adott egy 3D ponthalmaz, amit egy folytonos felülettel szeretnénk közelíteni. Igen jól használhatóak ilyen célra az un. implicit felületek, amelyek egy f(x,y,z) térbeli skalárfüggvény szintfelületével definiálnak egy alakzatot. Kívánatos, hogy ez a függvény a felülettől számított (előjeles) távolságnak feleljen meg. Egy napjainkban is aktívan kutatott illesztési módszer lényege, hogy a keresett implicit függvényt egy neurális háló kimeneteként definiáljuk - összefoglalóért ld.: LINK. A neurális reprezentáció előnye, hogy folytonos és az elterjedten használt cella-alapú reprezentációkkal ellentétben nem igényli a befoglaló tér diszkretizációját.



Egy másik lehetséges megközelítés, hogy egy felületet un. paraméteres alakban, azaz egy síkbeli tartomány  f: (u,v) -> (x,y,z)  leképezéseként definiálunk. Egy ilyen leképezés megadása és adatpontokra való illesztése is lehetséges neurális hálók segítségével. Egy objektum megadása általában több paraméteres felületdarabbal lehetséges és a különböző "patch"-ek közötti konzisztencia megőrzése ekkor egy további megoldandó probléma.


A napjainkban legnépszerűbb megközelítés egyfajta "inverz ray-marching/volume rendering" segítségével nem csak távolságmező, hanem akár egy komplett 3D színtér térfogati rekonstrukciójára is képes, akár szín- és anyag-jellemzőkkel együtt - ez a Neural Radiance Field (NeRF) [3], ami igen aktív kutatások tárgya [1][2] (ld. LINK) és már valós idejű, nagy méretű rekonstrukcióra is képes [4][5].

A hallgató feladatai:
1. Tanulmányozzon néhány (témavezető által, vagy akár szabadon választott) cikket a témában.
2. Implementáljon módszer(eke)t felületek rekonstrukciójára.

Irodalom:
[2] Tewari et al.: Advances in Neural Rendering. 2021.


Előismeretek
számítógépes grafika, 3D geometria, gépi tanulás