MULTICLOD: Detekcija objekata više razreda

Računalni vid za pametna vozila i sigurnije ceste

Demonstracije

Ljestvičasti gusto povezani modeli za semantičku segmentaciju

  • Ova demonstracija predstavlja glavni rezultat projekta: kvalitetu obrade ljestvičastim gusto povezanim modelom za semantičku segmentaciju (Ladder-DenseNet-121).
  • prikazanu točnost (74.3 mIoU) možemo dobiti za nešto više od 100 ms (7.5 Hz) na Titanu X
  • demonstraciju smo prikazali na:
    • radionici Computer vision for Road Scene Understanding (ICCV 2017)
    • domaćoj radionici računalnog vida (CCVW 2017)
    • konferenciji AI2Future
    • televizijskoj emisiji Prometej (HRT 1, 28. rujna 2017)
Ladder DenseNet

Određivanje karte prohodnosti semantičkom segmentacijom

  • na semantičke mape izlučene modelom Ladder-DenseNet-121 (74.3 mIoU, 7.5Hz na Titanu X) primijenili smo inverznu perspektivnu transformaciju
  • tako dobiveni semantički pogled iz ptičje perspektive (podslika gore-lijevo u obje slike desno) omogućava određivanje dijelova scene po kojima je moguće voziti
  • ova tehnika mogla bi podržati sljedeće zaključke u sustavu za autonomnu vožnju:
    • autonomni automobil se može slobodno kretati po ljubičastim dijelovima karte (cesta)
    • iznimno, automobil može oprezno voziti i po ružičastim i svijetlo zelenim dijelovima karte (pločnik, teren)
    • sve ostale boje predstavljaju prepreke (osobe, automobili, bicikli, itd.)

traversability map traversability map

Detekcija sigurnosnih atributa prometnica u videu

  • Oblikovali smo konvolucijsku arhitekturu za detekciju događaja u kontinuiranom videu i primijenili je za detekciju sigurnosnih atributa prometnica
  • fokusirali smo se na atribut stapanja trakova:
    • pozitivni odsječak ceste označen je crvenom linijom u satelitskoj slici (desno-gore)
    • za ilustraciju, prikazali smo i negativnu sliku (desno-sredina) i pozitivnu sliku (desno-dolje)
  • naučili smo model na uzorku od oko 5000 pozitivnih i 5000 negativnih slijedova od 25 slika:
    • pozitivni slijedovi su izvučeni na oko 150 fizičkih lokacija stapanja trakova (ručno označavanje je provela treća strana)
    • negativne slijedove smo dobili slučajnim uzorkovanjem tako da budu barem 50m udaljeni od nekog od označenih stapanja;
  • postigli smo 94% AP na nezavisnom ispitnom skupu (video)
  • post-hoc analiza pokazuje da je većina lažnih negativa bila uzrokovana krivo označenim podatcima
  • zaključak: presloženi pristup može se koristiti za pronalaženje pogrešaka ljudskih označivača

Google maps positive example

Razumijevanje prirodnih scena

  • Ova demonstracija ujedno je i prezentacija rezultata na drugoj godini našeg projekta.
  • Demonstraciju smo prikazali na sajmu poslova JobFair (ponedjeljak 9. svibnja 2016) te na festivalu Brave New World (subota 12. lipnja 2016).
  • Prikazali smo rezultate semantičke segmentacije i slabo nadzirane lokalizacije objekata, kao i video s rezultatima na skupu KITTI.
Denisova segmentacija Denisova segmentacija

Radionica za učenike osnovnih škola

  • U subotu 30. siječnja 2016. smo održali radionicu o računalnom vidu za učenike osnovnih škola.
  • Radionica se sastojala od prezentacije mogućnosti koje nudi računalni vid, te od demonstracije stereoskopske rekonstrukcije u stvarnom vremenu.
  • Radionica je organizirana u okviru programa RADDAR kojeg organizira XV gimnazija grada Zagreba.
Cesta

Upravljanje robotskim automobilom u zatvorenoj petlji

  • Razvili smo programske komponente za računalno upravljanje robotskim automobilom Loox koji je nabavljen u okviru projekta VISTA.
  • Upravljačke petlje izvedene su u zasebnim tokovim izvođenja (dretvama) te izravno moduliraju struje prema pogonskim motorima i upravljaču volana.
  • Željene parametre vožnje (brzinu i zakret) zadajemo preko programskog sučelja na visokoj razini apstrakcije.
  • U prikazanom eksperimentu smo pozive prema našem programskom sučelju mapirali na pritiske tipki. Automobil smo vozili preko tipkovnice kao u računalnoj igri (pogledajte video).

Loox Loox