Kép alapú 3D rekonstrukció és környezetérzékelés kollaboratív légi-földi robotok számára (SZTAKI)

Konzulens:
Dr. Kiss Bálint
Külső konzulens vagy kontakt:
Majdik András, tudományos főmunkatárs
External supervisor e-mail:
majdik.andras@sztaki.hun-ren.hu
Tárgy:
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium 1 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 2 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 1 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 2 - Vizuális informatika főspecializáció, MSc Info.
Hallgatói létszám:
1
Folytatás:
Szakdolgozat / Diplomaterv
Leírás:
A hallgatónak lehetősége lesz bekapcsolódni egy nagyobb projektbe, amelynek célja a kollaboratív légi (multispektrális kamerával felszerelt quadcopter) és földi (360 panoráma kamera és PTZ hőkamerával felszerelt robotkutya) robotok együttműködésének a vizsgálata. Különféle területek kamera alapú 3D rekonstrukciójához nélkülözhetetlen, hogy az adott régióról több nézőpontból készüljenek képek. Továbbá fontos szempont, hogy a kapcsolódó képek között jelentős átfedés legyen, hogy a terület jellemző pontjai beazonosíthatóak legyenek rajtuk. Amennyiben a terület feltérképezését egy drón és egy földi jármű végzi, úgy az előforduló objektumok mind felülről mind oldalnézetből láthatóak lesznek, ami elősegíti a részletes 3D modell építését. Azonban ha a képek jelentős nézőpont eltéréssel készülnek, akkor azok egyeztetése nagy kihívás. Az önálló projekt témája annak vizsgálata, hogy megvalósítható e légi ortofotók és földi képek egyeztetése, és ezáltal a kapcsolódó kamerapózok közötti transzformációk meghatározása. A klasszikus képi jellemzők mellett vizsgálandó, hogy például vonal detektorok, objektum felismerő algoritmusok, tanulásos módszerek vagy ezek kombinációja hogyan alkalmazható a felvázolt probléma megoldására.

A hallgató feladatai:
  1. Irodalomkutatás: a Structure from Motion 3D rekonstrukciós eljárás és a képek egyeztetéséhez használható módszerek megismerése
  2. A transzformációk számításához szükséges algoritmusok implementálása, kipróbálása
  3. A különféle módszerek összehasonlítása és továbbfejlesztése
Kulcsszavak: Structure from Motion, Pose estimation, Feature matching, Geometric verification, Object detection

Előfeltételek:
  • angol nyelvtudás (szakirodalom olvasása, dokumentáció előállítása)
  • C++ programozási készség