3D környezetérzékelés mobil platformokról lézerszkennerek és optikai kamerák fúziójával (SZTAKI)

Konzulens:
Dr. Kiss Bálint
Külső konzulens vagy kontakt:
Benedek Csaba, tudományos tanácsadó
External supervisor e-mail:
benedek.csaba@sztaki.hun-ren.hu
Tárgy:
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium 1 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 2 - Irányítórendszerek főspecializáció, MSc Vill.
Önálló laboratórium 1 - Vizuális informatika főspecializáció, MSc Info.
Önálló laboratórium 2 - Vizuális informatika főspecializáció, MSc Info.
Hallgatói létszám:
2
Folytatás:
Szakdolgozat / Diplomaterv
TDK dolgozat
Leírás:
A 3D téradatok rögzítésére szolgáló szenzorok és szenzorrendszer (lézerszkennerek, optikai kamerák, radarok) ugrásszerű fejlődésével fontos kérdéssé válik a hiányos 3D adatok kezelése és automatikus elemzése. Gépi környezet-érzékelési feladatok során (például távfelügyelet, autonóm járművek tájékozódása, 3D térképezés) döntéseket kell hozni akkor is, ha az alakzatok csak részben látszanak: takarásban vannak, vagy a nézőpontról csak az egyik oldaluk látszik. Szintén nehézséget okoz a felismerésnél a szenzorok mérési zajossága, érzékenysége különböző külső megvilágítási- vagy időjárási viszonyokra, korlátozott térbeli vagy időbeli felbontásuk. 

A jelentkező nemzetközi kutatási projektekbe kapcsolódhat be 3D környezet valós idejű elemzése és események automatikus analízise témában, különböző alkalmazásokra fókuszálva (pl önjáró járművek és mobil robotok érzékelése, intelligens térfigyelő rendszerek, viselhető eszközökön alapuló adatgyűjtés). A mérések elvégzéséhez rendelkezésre állnak különböző korszerű mobil adatgyűjtő platformok:  egy Clearpath Robotics Husky UGV  valamint egy Lexus autonóm vezetési funkciókkal ellátott tesztautó, felszerelve Zed sztereo kamerával, Lidarokkal (pl  Ouster OS2 és Livox Avia LIDAR-ok), és fedélzeti számítógéppel, valamint egy Hololens2 virtuális valóság szemüveg. 

A projekt során megoldandó konkrét feladatok választhatók az alábbiak közül:
  • Objektumok és események felismerése hiányos téridőbeli mérésekből
  • 3D környezettérképezés és szemantikus szegmentáció
  • Adatfúzió és változásdetekció különböző forrású téradatokkal
  • Szkennelt hiányos modellek valósághű virtuális kiegészítése gépi tanulással
  • Megjelenítés augmentált/kevert valóságkörnyezetekben.
A konkrét projektfeladatokat a kezdeti megbeszélés után egyeztetjük a jelentkezőkkel. A kutatómunka eredményei nemzetközi publikációkban, szabadalmakban, hazai és nemzetközi kutatási projektekben jelenhetnek meg. 

Ajánlott ismeretek/érdeklődési kör:
  • Képfeldolgozás vagy 3D ponthalmazok kezelés
  • Mesterséges intelligencia és gépi tanulás alapok
  • Használható programozási nyelvek: C++, Python

A csoport SZTAKI-s holnapja: http://mplab.sztaki.hu/geocomp/demos.html