Projekt MULTICLOD razmatra raspoznavanje u stereoskopskim i monokularnim video snimkama prometnih okruženja. Proučavamo lokalne i globalne slikovne reprezentacije utemeljene na indicijama dobivenima klasifikacijskim i rekonstrukcijskim pristupima. Naš cilj je razviti nove višerazredne i slabo nadzirane modele raspoznavanja koji se mogu primijeniti u područjima pametnih vozila i inteligentnih transportnih sustava.
Proučavamo kalibriranu stereoskopiju kao pristupačnu i moćnu osjetilnu tehnologiju koja pokazuje jasan potencijal masovne proizvodnje u prometnim i transportnim primjenama. Razmatramo fundamentalni problem istovremenog pronalaženja objekata višestrukih razreda. Problemu pristupamo kombiniranjem indicija koje proizlaze iz izgleda objekta i rekonstruirane strukture scene. U oba slučaja oslanjamo se na kapacitet dubokih konvolucijskih modela treniranih s kraja na kraj.
Većinu istraživanja proveli smo u okvirima semantičke segmentacije, gdje provodimo semantičku predikciju u svakom pikselu slike. Pokazali smo da se rekonstruirana dubina scene može iskoristiti za formiranje slikovne reprezentacije koja ne ovisi o prividnoj veličini objekta. Na taj način rekonstrukcija pomaže klasifikaciji smanjivanjem intra-razredne varijablinosti podataka i efikasnijim korištenjem skupa za učenje. Međutim, memorijski zahtjevi ovakvog pristupa onemogućavaju implementiranje ove ideje na velikim rezolucijama u stvarnom vremenu. Zbog toga smo oblikovali manje zahtjevnu arhitekturu koja uvodi ljestvičaste preskočne veze u modificiranu DenseNet arhitekturu. Dobiveni modeli postižu 74.3 mIoU na podatkovnom skupu Cityscapes i omogućavaju obradu slika od 2MP brzinom od 7.5 Hz. Naši glavni istraživački rezultati su:
|
|
Početak: 1. listopada 2014.
Trajanje: 36 mjeseci
Budžet projekta iznosi 704 766,91 kn, što uključuje jednu postdoktorsku plaću tijekom trajanja projekta.
Projektu je dodatno odobreno financiranje jednog doktoranda kroz 2+2 godine.
Projekt u potpunosti financira Hrvatska zaklada za znanost prema ugovoru I-2433-2014.