Sustav za biometrijsku autorizaciju Internet korisnika
temeljen na fuziji značajki lica i otiska dlana

Arhitektura bimodalnog biometrijskog sustava za verifikaciju osoba

Slika 1. prikazuje blok-shemu razvijenog bimodalnog biometrijskog sustava za verifikaciju osoba. U fazi unosa ili prikupljanja slika (engl. image-acquisition phase) unosi se slika lica osobe (dobivena web kamerom) i slika dlana dlana osobe (dobivena skenerom) u biometrijski sustav. Obrada slika odvija se odvojeno u podsustavu za raspoznavanje dlana i podsustavu za raspoznavanje lica. Rezultati obrade u tim podsustavima se kombiniraju u podsustavu za fuziju i donošenje odluke, a odluka o prihvaćanju osobe (korisnik) ili odbijanju osobe (uljez) donosi se na temelju uspoređivanja s pragom na način da se ukupna mjera sličnosti dobivena na temelju fuzije uspoređuje s pragom.

Obrada u podsustavu za raspoznavanje dlana

Tijekom prve faze procesa raspoznavanja dlana, nakon predobrade slike, određuje se područje dlana i to na temelju konture ruke i dviju stabilnih točaka na konturi. Područje dlana u kojem se kasnije nalaze linije dlana ima oblik nepravilnog šesterokuta (slika 2d). U drugoj se fazi primjenom slikovnih maski za detekciju linija i uporabom postupka za praćenje linija nalaze linije dlana. U završnoj fazi se u podsustavu za raspoznavanje dlana generira predložak (engl. template) koji predstavlja matematički zapis biometrijskih značajki dlana. U zadnjem se koraku u podsustavu za raspoznavanje dlana izvodi podudaranje generiranog predloška s predlošcima pohranjenim u podatkovnoj bazi dlanova korisnika (slično metodi HYPER).

Obrada u sustavu za raspoznavanje lica

U podsustavu za raspoznavanje lica prvo se lokalizira lice u slici uporabom Houghove metode, zatim se obavlja normalizacija koja uključuje geometrijsku i svjetlosnu normalizaciju. Nakon toga se izlučuju značajke lica i to u prostoru svojstvenih lica (u fazi učenja sustava koristi se Karhunen-Loeve (K-L) transformacija). Vektor značajki, predočen komponentama projekcije lica na potprostor definiran svojstvenim vektorima (svojstvenim licima), tj. predložak lica podudara se u modulu za podudaranje s predlošcima pohranjenim u podatkovnoj bazi lica korisnika.

Fuzija i donošenje odluke

Konačna odluka o prihvaćanju ili odbijanju osobe, odnosno donošenje odluke da li je osoba zaista ona za koju se predstavlja (odgovara li ona identifikacijskom kodu ili PIN-u) donosi se u podsustavu za fuziju i donošenje odluke. Jedinstveni rezultat podudaranja dobiva se postupkom fuzije na razini rezultata podudaranja pojedinih podsustava. Na temelju tog jedinstvenog rezultata uporabom praga donosi se konačna odluka o prihvaćanju ili odbijanju osobe koja se pokušava verificirati.

Programski moduli za obradu slika dlana, generiranje predložaka i raspoznavanje

U prvom se koraku slika dlana mora pretprocesirati. Pretprocesiranje se obavlja programskim modulima koji uključuju standardan postupak glađenja slike uporabom Gaussove maske i postupke poboljšanja kontrasta. Slika 2. a) prikazuje izvornu sliku dlana dobivenu skenerom; a slika 2. b) pretprocesiranu sliku dlana. Nakon pretprocesiranja, primjenjen je programski modul za praćenje konture pomoću kojeg se kontura ruke izlučuje. Slika 2. c) prikazuje izlučenu konturu ruke. Na temelju stabilnih točaka na konturi (koje su definirane kao točke u udolinama između kažiprsta i srednjeg prsta te prestenjaka i malog prsta) određuje se heksagonalno područje dlana kao područje interesa. Slika 2. d) prikazuje izlaz iz modula za određivanje područja interesa.

(a)

(b)

(c)

(d)

Programski modul za detekciju linija dlana u području interesa obavlja konvoluciju područja interesa s četiri maske za detekciju linija. Slika 3. prikazuje rezultat uporabe programskog modula za detakciju linija dlana.

Nakon detekcije linija dlana primjenjen je programski modul za praćenje linija i dobiva se skup linija dlana u obliku linijskih segmenata. Slika 4. prikazuje primjere izlučenih linijskih segmenata. Slika 4. c) prikazuje poklapanje nađenih linijskih segmenata sa slikom dlana.

Izlučene linije dlana su opisane u koordinatnom sustavu ruke koji se temelji na već spomenutim stabilnim točkama konture. Time je postignuta invarijantnost značajki dlana na rotaciju i translaciju ruke (u odnosu na senzor).

Programski moduli za usporedbu predložaka dlana (generiranje hipoteza i evaluaciju hipoteza) temelje se na modificiranom postupku Ayache i Faugerasa (1986. godine). Izlaz iz tih modula je mjera sličnosti između predloška dlana i predložaka pohranjenih u podatkovnoj bazi dlanova korisnika. Slika 5. prikazuje mjere sličnosti za nekoliko parova uspoređenih predložaka.

Programski moduli za obradu slika lica, generiranje predložaka i raspoznavanje

Programski modul za lokalizaciju lica kombinira Houghovu metodu i informaciju o boji lica. Slika 6. prikazuje rezultat lokalizacije lica. Na lokaliziranom se licu, uporabom jednoslojne neuronske mreže, detektiraju oči. Slika 6. prikazuje dva primjera lokalizacije lica te detekciju očiju.

Raspoznavanje lica temelji na Karhunen-Loeve (K-L) transformaciji te su zato nužno upotrebljene procedure za normalizaciju koje obavljaju geometrijsku normalizaciju, svjetlosnu normalizaciju i uklanjanje pozadine lica. Slika lica normalizirana je na područje 64 x 64 slikovna elementa. Slika 7. prikazuje nekoliko lica nakon faze normalizacije.

Značajke lica generiraju se na temelju svojstvenih lica (engl. eigenface). Podprostor u kojem se izlučuju značajke lica definiran je na temelju m najvećih svojstvenih vektora kovarijantne matrice (m = 111). Slika 8. ilustrira svojstvena lica dobivena na temelju naše baze slika. Uz svaku sliku označen je i odgovarajući redni broj svojstvenog lica.

Predložak lica sastoji se, dakle, od 111-komponentnog vektora značajki koji je dobiven projekcijom slike lica u potprostor svojstvenih lica. Podudaranje između predloška lica i predloška lica pohranjenog u bazi lica korisnika temelji se na Euklidskoj udaljenosti tih dvaju vektora.

Fuzija i donošenje odluka

Razvijeni bimodalni biometrijski sustav za verifikaciju koristi fuziju na razini rezultata podudaranja. Da bi se verificirao identitet osobe koriste se dva skupa rezultata iz dvaju nezavisnih modula za podudaranje (jedan iz podsustava za raspoznavanje dlana, jedan iz podsustava za raspoznavanje lica). Mjera podudaranja za lica izražava se Euklidskom udaljenosti i to udaljenosti predloška lica (tzv. živog predloška; engl. live-template) i predloška lica iz baze, te mjerom sličnosti živog predloška dlana i predloška dlana iz baze. Obje su mjere normalizirane uporabom prijenosnih funkcija. Slika 9a) prikazuje oblik prijenosna funkcije za lice a slika 9 b) za dlan.

(a)

(b)

Konačni rezultat podudaranja izražen je mjerom ukupne sličnosti TSM:

gdje su wp i wF težinski koeficijenti za dlan i lice (wp + wF =1) a određeni su na temelju rezultata verifikacije s unimodalnim sustavom za dlan i za lice. Konačna se odluka donosi na temelju usporedbe mjere TSM s pragom verifikacije T: Ako je TSM > T korisnik je prihvaćen, inače se odbija.

Evaluacija performanse biometrijskog sustava

Bimodalni biometrijski sustav je evaluiran uporabom podatkovne baze koja sadrži slike dlanova i lica osoba. Baza lica XM2VTS se u kombinaciji s bazom slika dlanova koristi u evaluaciji. Baza dlanova je dobivena uporabom skenera (180dpi/256 sivih razina). Budući da lica i dlanovi pripadaju drugim osobama, umjetno smo oblikovali multimodalnu bazu (tzv. "chimerical" bazu) uparivanjem slika lica i slika dlanova za pojedine korisnike. Slika 10. prikazuje primjere uparenih slika ruke i lica iz baze XM2VTS.

Takva baza je podijeljena na dva skupa: skup za učenje i skup za ispitivanje. Skup za učenje sastoji se od 440 slikovnih parova (110 osoba; 4 slikovna para po osobi). Ispitna baza se sastojala od 1048 slikovnih parova (131 osoba; 8 slikovnih parova po osobi). Postupak ispitivanja sastojao se od 393 korisničko valjanih eksperimenata i 51090 eksperimenata s neovlaštenim korisnicima (ili uljezima) (engl. impostors).

Tijekom eksperimentiranja ispitivali smo verifikaciju za unimodalni sustav temeljen na dlanu te unimodalan sustav temeljen na licu. Rezultate verifikacije izrazili smo uobičajenim mjerama FRR (False Acceptance Rate) i FAR (False Rejection Rate). Slika 11. a) pokazuje rezultate verifikacije za sustav temeljen na dlanu dok slika 11. b) prikazuje rezultate za sustav temeljen samo na licu.

(a)

(b)

Sustav temeljen na dlanu daje sljedeće rezultate verifikacije EER (Equal error rate) = 3,82% za prag T = 0.755, dok EER za lice iznosi 10,87% (za T= 0.81.). Minimalna ukupna pogreška TER (Total Error Rate) za sustav temeljen na dlanu je 7.66% (za T = 0.8), dok za lice iznosi 18.97% (za T = 0.85). Kombinacijom obju modalnosti na temelju fuzije na razini rezultata podudaranja dobiveni su poboljšani rezultati verifikacije koji su prikazani na slici 12.

(a)

(b)

Iz slike 12. vidljivo je da fuzija na razini rezultata podudaranja za značajke dlana i značajke lica poboljšava performansu sustava tako da reducira EER sa 3.82% na 3.08 % (za T = 0.748) te minimalnu ukupnu pogrešku (minimum TER) sa 7.66% na 5.94%.

Programski moduli za mrežnu aplikaciju unosa novih korisnika i njihovu verifikaciju

Autorizacija osoba je, općenito, definirana kao postupak utvrđivanja da li je netko (neka osoba) zaista i ona za koju se predstavlja (ili deklarira) da je. Biometrijska autorizacija se temelji na fiziološkim i/ili ponašajnim značajkama osoba na temelju kojih se jedna osoba može razlikovati od druge. Fiziološke biometrijske značajke koje se najčešće koriste za autentifikaciju su: otisak prsta, geometrija ruke, otisak dlana, lice, šarenica, retina, DNA i vene ruke. Ponašajne značajke koje se najčešće su obično: govor, potpis, gestikulacija, hod i dinamika tipkanja.

U biometrijskim sustavima razlikujemo dvije osnovne metode autentifikacije: verifikaciju i identifikaciju. Verifikacija je "1 naprema 1" proces u kojem se biometrijska značajka predočena osobom (živi predložak) uspoređuje s biometrijskom informacijom iz baze korisnika (korisnički predložak). korisnički predložak je u tom slučaju izabran na temelju korisničkog PIN-a ili nekog drugog identifikacijskog uzorka (ID). Postupak verifikacije može se promatrati kao kombinacija autentifikacijskih načina koji temelje na nečemu što korisnik zna ili posjeduje (PIN, lozinka, ID) i biometrijskih značajki.

Postupak identifikacije je proces "1 naprema mnogo" u kojem se živi predložak uspoređuje sa svim predložcima koji su pohranjeni u bazi. Identifikacijski postupak se u tom slučaju temelji samo na biometrijskim značajkama.

Bez obzira da li se proces odnosi na biometrijsku verifikaciju ili na biometrijsku identifikaciju, nužna i neizbježna faza je faza unosa (registracije) ovlaštenih korisnika (engl. biometric enrollment). Tijekom unosa (registracije) ovlaštenih korisnika uzimaju se biometrijske značajke ovlaštenog korisnika, a uz to uzimaju se i dodatne osnovne informacije o korisniku (npr. ime i prezime, matični broj i sl.). Na temelju biometrijskih značajki izlučuju se relevantne informacije koje se u obliku korisničkog predloška (engl. user's template) pohranjuju u bazu. Uz to se dodatno može generirati neki oblik ID-a za tu dotičnu osobu. Taj ID će se pridružiti korisničkom predlošku, a osoba će na temelju tog ID dobiti i PIN (ako je riječ o verifikaciji).

U okviru ovog informatičkog projekta razvijeni i testirani su programski moduli za mrežnu aplikaciju unosa (registracije) novih korisnika i njihovu autentifikaciju (verifikaciju ili identifikaciju). Slika 13. prikazuje dijagram toka interakcije klijent-poslužitelj za takvu mrežnu aplikaciju unosa (registracije) novih (ovlaštenih) korisnika i fazu verifikacije.

Podrobnosti stvarne raelizacije sigurnog prijenosa biometrijskih značajki s klijentske strane na poslužiteljsku stranu (za fazu unosa i za fazu verifikacije) dane su u dokumentu.

Zaključak i sažetak projekta

U okviru ovog informatičkog projekta razvili smo prototip biometrijskog sustava za verifikaciju internet korisnika. Biometrijski sustav se temelji na fuziji značajki otiska dlana i lica. Rezultati iscrpnih ispitivanja sustava su pokazali da se fuzijom značajki dlana i lica poboljšava performansa sustava. Upravo kombinacija lica sa značajkama otiska dlana povećava otpornost sustava na pokušaje prevare bilo da je riječ o fizičkom ili logičkom pristupu resursima. Ujedno, sama činjenica da se na mjestu pristupa uzimaju i značajke lica (na temelju slike lica) povećava psihološki učinak kojim se spriječava pokušaj prevare.

Djelovanje razvijenog prototipa sustava može se ispitivati off-line na temelju priloženih programskih modula i baza registriranih korisnika te neovlaštenih korisnika (uljeza). (Upute, Program za instalaciju aplikacije).

Zahvaljujući razvijenoj mrežnoj aplikaciji biometrijski sustav se može ispitati i on-line uz uvjet da korisnik posjeduje WEB kameru i skener, te je spojen na Internet. (Upute, Program za instalaciju aplikacije).

U slučaju problema s instalacijom ili izvođenjem demo-aplikacija obratite se tehničkoj podršci e-poštom na ivan.fratric@fer.hr ili telefonom 01/6129-999, loc. 550.

Radovi nastali na temelju i-projekta

1. S. Ribarić, I. Fratrić, K. Kiš, "A Biometric Verification System Based on the Fusion of Palmprint and Face Features", to be published in proc. of 4th International Symposium on Image and Signal Processing and Analysis (ISPA 2005), September 15-17, 2005, Zagreb, Croatia (PDF).
2. S. Ribarić, I. Fratrić, K. Kiš, An Online Biometric Verification System Based on the Fusion of Palmprint and Face Features, poslano u časopis Pattern Recognition Letters.
3. Josip Krapac, "Mrežni protokol za siguran prijenos biometrijskih podataka", 2004. (PDF)
4. Želimir Končar, "Korisničko sučelje za akviziciju slika lica i dlana", seminarski rad (mentor: prof. dr. sc. Slobodan Ribarić) Fakultet elektrotehnike i računarstva, Sveučilište u Zagrebu, Zagreb, 2004. (PDF)
5. Ivan Fratrić, "Biometrijska autorizacija korisnika Internet usluga - Offline demo", 2004. (PDF)
6. Ivan Fratrić, "Biometrijska autorizacija korisnika Internet usluga - Online demo", 2004. (PDF)

Copyright(c) Zavod za elektroniku, mikroelektroniku, računalne i inteligentne sustave
Fakultet elektrotehnike i računarstva
Sveučilište u Zagrebu

Zoran Kalafatić
Zadnja promjena: 20.01.2005.