3D rekonstrukció Gaussian splatting módszerrel

Supervisor:
Dr. Vaitkus Márton
Subject:
Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory - Software development study specialization, BSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Teamwork Project for Mechatronics Engineers
Students count:
3
Continue:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
Description:
A gépi látás és a mesterséges intelligencia egyik alapvető feladata a a 3D rekosntrukció, RGB képsorozatok alapján. Egy nemrégiben (2023-ban) publikált módszer, a 3D Gaussian Splatting (3DGS) [1] a szakmabeliek megítélése szerint komoly áttörésnek számít minőség és számítási hatékonyság tekintetében. A módszer lényege, hogy a rekonstruálni kívánt 3D színteret egy olyan speciális pontfelhővel írjuk le, ahol minden ponthoz tartozik egy 3D gaussi normális eloszlás (anizotropikus simító kernel). Az ilyen ellipszoid formájú 3D "pacákat" aztán a klasszikus raszterizációhoz hasonló módon tudjuk egy adott kamera képére vetíteni. Ez a "splatting" néven ismert renderelési módszer egyrészt nagyon hatékony (milliós pont-mennyiségre is 100+ FPS érhető el egy mai GPU-n), másrészt differenciálható is, azaz lehetőség van optimalizálni a gaussi pontfelhő különböző paramétereit annak érdekében, hogy adott kamera pozíciókból adott RGB képeket rekonstruáljunk. (Megj.: A módszer a neurális radiancia mezőkhöz (NeRF) úgy viszonyul, mint a számítógépes grafikában a raszterezés-alapú renderelés a sugárkövetéshez.)



A Gaussian splatting módszere, bár klasszikusnak modható grafikai algoritmusokon alapul, viszonylag újnak mondható és számos megoldásra váró problémát vet fel - néhány példa: regisztráció, dinamikus (mozgásban lévő) színterek rekonstrukciója, kamerapozíciók meghatározása, robotikai alkalmazások (SLAM), valamint a renderelés és az optimalizáció hatékonyságának növelése. 

A feladat keretein belül a hallgató tetszőlegesen választott irányban végezhet irodalomkutatást [3][4][5] és prototípus-fejlesztést, ami akár TDK dolgozat formájában is folytatható.

Hivatkozások: