Razumijevanje slika prirodnih scena
- Zadatci: klasifikacija, semantička segmentacija, lokalizacija, rekonstrukcija.
- Metode: slikovne reprezentacije, stereoskopija, strukturirana predikcija, slabo nadzirano učenje.
- Primjene: asistiranje vozača, kartiranje prometnica, autonomna navigacija, asocijativni pristup bazama slika...
- Područja: računalni vid, raspoznavanje uzoraka, strojno učenje.
Zadatci:
-
Klasifikacija: sadrži li neka od ovih slika kravu?
-
Semantička segmentacija: razvrstati piksele prema pripadnosti razredima objekata
-
Lokalizacija: sadrži li slika trokutne znakove opasnosti? Gdje su?
Metode:
-
Slikovne reprezentacije: predstaviti sliku (ili dio slike) visokodimenzionalnim vektorom
- pristupi: konvolucijske mreže, Fisherovo ugrađivanje, slučajne šume.
-
Stereoskopija: rekonstruirati strukturu iz dvije slike iste scene
- pristupi: korespondencijske metrike, favoriziranje glatke strukture.
-
Strukturirana predikcija: pri razvrstavanju piksela uzeti u obzir susjedstvo
- pristupi: uvjetna slučajna polja.
-
Slabo nadzirano učenje: položaji objekata u slikama za učenje nisu zadani
ovce (+):
ovce ( - ):
U fazi evaluacije potrebno je odrediti lokaciju objekta (segmentacija ili okvir):
→
;
→
- pristupi: Fisherove jezgre, rijetki modeli, MIL.
Primjene:
-
Asistiranje vozača i autonomna vožnja:
-
Kartiranje prometnica:
-
Asocijativni pristup kolekciji slika (uz oznake na razini slike):
- u kolekciji slika korisnika pronaći sve selfije
- pronaći sve slike s tuluma
- pronaći slike koje bi korisnik htio isključiti s javnog profila
Rezultati:
- semantička segmentacija na skupu Cityscapes
- klasifikacija (90% AP) i slabo nadzirana semantička segmentacija (38% mIoU) na skupu Pascal VOC 2012
- stereoskopska rekonstrukcija (5.04% D1-all) na skupu KITTI 2015
- klasifikacija na skupu FER-FM3
- lokalizacija na skupu MASTIF 2010