Programska izvedba agenata promatrača

Uvod

slika 1.

Da bi se iz položaja objekta u koordinatnom sustavu slike odredio odgovarajući trodimenzionalni položaj u k.s. svijeta (O,K,L,M), potrebno je obaviti niz transformacija.

1. Prvo je, na temelju položaja objekta u slici p(x_p,y_p), intrinsičnih parametara kamere i poznatog položaja upravljive kamere, potrebno odrediti kutni položaj objekta (φ_p, θ_p) u k.s. kamere (C,X,Y,Z).
2. Dobiveni kutni položaj definira jednadžbu 3D pravca koji spaja točke p i P, a presjecište tog pravca sa ravninom π daje položaj objekta u k.s. kamere.
3. Konačno, još jedna Euklidska transformacija (translacija, rotacija) je potrebna da bi se, na temelju poznatih ekstrinsičnih parametara kamere dobio položaj objekta u k.s. svijeta (O,K,L,M).

Zahtjevi

1. Traženi objekti se trebaju detektirati relativno jednostavnim postupcima koji se mogu obaviti u stvarnom vremenu;
2. pripadna aktivna kamera mora biti dobro kalibrirana, kako bi se iz dobivenih položaja objekata u slici mogao odrediti njihov položaj u k.s. svijeta, što uključuje:
   • parametre radijalnog izobličenja kamere (npr, K1, K2, ili K2, K3),
   • intrinsične parametre kamere (npr, vodoravni kut vidnog polja),
   • ekstrinsične parametre kamere (npr, položaj i orijentacija kamere u koordinatnom sustavu svijeta), te,
   • parametre upravljivog postolja (npr, nulti zakret i nagib);
3. promatrač se prilikom pokretanja treba prijaviti koordinatoru i na temelju razmjene nekoliko jednostavnih poruka procijeniti razliku između svog i koordinatorovog sata;
4. promatrač mora agentu-koordinatoru dojaviti sljedeće podatke:
   • ekstrinsične parametre kamere (prilikom početne prijave),
   • smjer gledanja kamere (nakon svake promjene smjera gledanja),
   • listu detektiranih objekata (nakon svake obrađene slike);
5. promatrač mora biti sposoban raditi u četiri različita načina rada (stanja), a prijelazi među njima mogu biti autonomni ili inicirani od strane koordinatora:
   • mirovanje - promatrač ne mijenja smjer gledanja,
   • čekanje - promatrač ne mijenja smjer gledanja sve dok ne pronađe barem jedan objekt, a onda prelazi u stanje praćenje,
   • traženje - promatrač sistematski mijenja smjer gledanja sve dok ne pronađe barem jedan objekt, a onda prelazi u stanje praćenje,
   • praćenje - promatrač mijenja smjer gledanja kamere u skladu sa kretanjem praćenog objekta;
6. autonomni prijelazi među načinima rada su ilustrirani na sl.2:

   slika 2.

7. promatrač mora moći interpretirati sljedeće upute koordinatora (bez obaveze da ih mora i izvršiti):
   • usmjeri(x,y) - postavi smjer gledanja na lokaciju (x,y) u koordinatnom sustavu svijeta,
   • prati(x,y) - prati objekt koji se nalazi na lokaciji (x,y) u koordinatnom sustavu svijeta,
   • miruj - promijeni način rada u mirovanje,
   • traži - promijeni način rada u traženje.

Arhitektura programa

slika 3.

Dohvat smjera gledanja:

ukoliko se kamera kreće, potrebno je pribaviti njen trenutni smjer gledanja.

Pribavljanje slike:

pribavljaju se slike u boji dimenzija 320x240 slikovnih elemenata u RGB formatu.

Obrada slike:

obrada se temelji na pretpostavci da se i objekti i referentna ravnina mogu segmentirati na temelju boje. Procedura se može razložiti na sljedeće korake:

• glađenje Gaussovim filterom;
• pretvaranje slike u HSV format;
• maskiranje pretamnih i presvijetlih područja sa relativno malenim V i S komponentama;
• izlučivanje referentne ravnine (parket) na temelju zadanog raspona nijansi H_P1 - H_P2;
• izlučivanje objekata na temelju zadanog raspona nijansi H_O1 - H_O2;
• pronalaženje povezanih regija koje pripadaju objektima, te testiranje da li se oko njih nalazi referentna ravnina;
• odbacivanje premalenih objekata, i objekata koji se ne nalaze u blizini referentne ravnine.

3D interpretacija:

za svaki od pronađenih objekata, određuje se kutni položaj u k.s. kamere (φ_p, θ_p), položaj u k.s. kamere P(X_P,Y_P, -h), te položaj u k.s. svijeta P_s(K_P,L_P,0).

Praćenje:

detektirani objekti se podudaraju sa objektima koji su prepoznati tokom obrade prethodnih slika (u obzir se uzimaju samo protekle dvije sekunde).

Ulaz:

u slučaju dobivene upute od strane koordinatora prvo se provjerava može li se uputa izvršiti, te ako može, prelazi se u odgovarajući režim rada i po potrebi pamti operacija pomaka kamere; u suprotnom (npr, kamera ne može podesiti smjer gledanja prema zatraženoj točki), uputa se ignorira.

Izlaz:

rezultati obrade se ispisuju u lokalnom prozoru; položaji objekata koji su detektirani i u barem tri prethodne slike se šalju koordinatoru.

Upravljanje kamerom:

smjer kamere se mijenja u sljedećim situacijama:

• trenutni način rada je praćenje ili traženje, a praćeni objekt se približava rubu slike odnosno prošlo je više od 10 s nakon posljednjeg pomaka kamere bez da je detektiran objekt;
• dobivena uputa usmjeri() je okvalificirana kao izvršiva.

Ispravljanje sistematske pogreške postupka

slika 4.

Ukoliko dva ili više promatrača prate isti objekt, greška se može ukloniti kombiniranjem mjerenja promatrača. Za svakog promatrača i, definiran je 3D pravac p_i, koji spaja glavnu točku projekcije kamere C_i i središte detektiranog objekta P_i. U idealnom slučaju, kad bi kamere bile savršeno kalibrirane, pravci p_i bi se sjekli točno u stvarnom težištu objekta G (sl.5). U stvarnosti međutim, pravci se više ili manje mimoilaze, pa se G može procijeniti kao težište skupa točaka G_ij, koje se dobiju kao središta najkraćih spojnica parova pravaca p_i i p_j.

slika 5.

Ovakvom tehnikom pored ravninskog položaja objekta saznajemo i njegovu visinu, što onda omogućava praćenje objekata čije gibanje nije isključivo planarno (npr, lopta, avion). Na žalost, da bi se tehnika mogla koristiti, potrebno je prethodno ostvariti korespondenciju između objekata detektiranih od strane različitih promatrača. Složenost tog zadatka je jedan od glavnih razloga izdvajanja koordinacije u zasebni program.

Eksperimentalni rezultati

(a) (b) (c) (d)

slika 6.

(a) (b) (c) (d)

slika 7.

Kao bolja ilustracija postignutih rezultata pripremljeni su animirani sljedovi toka obrade na svakoj od spomenute dvije platforme, Zbog veličine odgovarajućih datoteka, animirani sljedovi slika se mogu pogledati na zasebnim stranicama:

• animirani prikaz toka obrade na platformi Asus (23 Mb);
• animirani prikaz toka obrade na platformi Compaq (13 Mb).

platforma	performansa [Hz]
ASUS A7266-D	9.1
Compaq Evo W4000	12.5
Matsonic 7127C	3.1

Čest problem kod računarskog vida je da ambijentalno osvjetljenje koje sasvim zadovoljava kriterije ljudskog oka nije dovoljno dobro da pribavljene slike mogu biti uspješno interpretirane strojnim metodama. Poseban problem u tom smislu stvaraju veliki kontrasti i odbljesci uzrokovani izravnim osvjetljenjem te kutovi scene koji su često slabije osvijetljeni. Velik dio problema pri tome je zapravo u domeni senzora koji ne mogu prikazati velike kontraste nego ulaze u zasićenje prema bijeloj odnosno crnoj boji. Tako se u sl.6 može vidjeti da ni objekt ni referentna ravnina nisu izlučeni idealno, da se u odgovarajućim slikama (6.c) i (6.d) javljaju crna područja koja nisu ispravno prepoznata. Ipak, u većini slučajeva, regularno osvjetljenje je dovoljno za uspješno praćenje objekata.

Pored osvjetljenja, velik problem predstavlja i sporost upravljivih kamera Sony EVI D-31 što znatno otežava praćenje brzih objekata. Postolje PTU-46-17.5 omogućava puno okretnije upravljanje, dovoljno brzo za nesmetano praćenje robota AmigoBot čija maksimalna brzina iznosi 1 m/s.