3D rekonstrukció Gaussian splatting módszerrel

Konzulens:
Dr. Vaitkus Márton
Tárgy:
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Önálló laboratórium 1 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 2 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 1 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 2 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 1 - Intelligens beágyazott mecha. rendsz. szakir., MSc Mecha.
Önálló laboratórium 1 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Hallgatói létszám:
3
Folytatás:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
Leírás:
A gépi látás és a mesterséges intelligencia egyik alapvető feladata a a 3D rekosntrukció, RGB képsorozatok alapján. Egy nemrégiben (2023-ban) publikált módszer, a 3D Gaussian Splatting (3DGS) [1] a szakmabeliek megítélése szerint komoly áttörésnek számít minőség és számítási hatékonyság tekintetében. A módszer lényege, hogy a rekonstruálni kívánt 3D színteret egy olyan speciális pontfelhővel írjuk le, ahol minden ponthoz tartozik egy 3D gaussi normális eloszlás (anizotropikus simító kernel). Az ilyen ellipszoid formájú 3D "pacákat" aztán a klasszikus raszterizációhoz hasonló módon tudjuk egy adott kamera képére vetíteni. Ez a "splatting" néven ismert renderelési módszer egyrészt nagyon hatékony (milliós pont-mennyiségre is 100+ FPS érhető el egy mai GPU-n), másrészt differenciálható is, azaz lehetőség van optimalizálni a gaussi pontfelhő különböző paramétereit annak érdekében, hogy adott kamera pozíciókból adott RGB képeket rekonstruáljunk. (Megj.: A módszer a neurális radiancia mezőkhöz (NeRF) úgy viszonyul, mint a számítógépes grafikában a raszterezés-alapú renderelés a sugárkövetéshez.)



A Gaussian splatting módszere, bár klasszikusnak modható grafikai algoritmusokon alapul, viszonylag újnak mondható és számos megoldásra váró problémát vet fel - néhány példa: regisztráció, dinamikus (mozgásban lévő) színterek rekonstrukciója, kamerapozíciók meghatározása, robotikai alkalmazások (SLAM), valamint a renderelés és az optimalizáció hatékonyságának növelése. 

A feladat keretein belül a hallgató tetszőlegesen választott irányban végezhet irodalomkutatást [3][4][5] és prototípus-fejlesztést, ami akár TDK dolgozat formájában is folytatható.

Hivatkozások: