Neslužbene stranice predmeta Duboko učenje

O predmetu:

Duboko učenje je grana strojnog učenja koja je posebno prikladna za rješavanje problema iz područja umjetne inteligencije. Duboko učenje se temelji na predstavljanju podataka složenim reprezentacijama do kojih se dolazi slijedom naučenih nelinearnih transformacija. Metode dubokog učenja svoju primjenu pronalaze u izazovnim područjima gdje je dimenzionalnost podataka iznimno velika: računalnom vidu, obradi prirodnog jezika ili razumijevanju govora. Ovaj predmet uvodi najvažnije diskriminativne i generativne duboke modele s posebnim naglaskom na praktične implementacije.

Prva cjelina daje pregled ključnih elemenata klasičnih neuronskih mreža te uvodi osnovne građevne elemente, tehnike regularizacije i metode učenja koji su specifični za duboke modele. Druga cjelina razmatra duboke konvolucijske modele i ilustrira njihovu primjenu u klasifikaciji slika i obradi prirodnog jezika. Treća cjelina je posvećena generativnim dubokim modelima i njihovim primjenama u računalnom vidu i obradi prirodnog jezika. Konačno, četvrta cjelina razmatra modeliranje slijedova dubokim povratnim neuronskim mrežama i ilustrira primjene u području obrade prirodnog jezika.

Svi koncepti popraćeni su primjerima i zadatcima u programskom jeziku Python. Većina primjera biti će vezana uz suvremeni aplikacijski okvir Tensorflow.

Predmet se sastoji od tri sata predavanja tjedno, te laboratorijskih vježbi koje se kolokviraju jednom u svakom od četiri ciklusa. Predmet za sada nema preduvjeta, ali pretpostavlja se solidno znanje iz domena strojnog učenja, optimizacije, vjerojatnosti i linearne algebre stečena na prethodnim kolegijima.

Predavanja

Preporučena literatura

  1. Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning. MIT Press (html)
  2. Michael Nielsen. Neural Networks and Deep Learning. Determination press. (html)

Primjeri pismenih ispita

  1. Međuispit 2016/17 (pdf)
  2. Završni ispit 2016/17 (pdf)
  3. Međuispit 2017/18 (pdf)

Pomoćna literatura

  1. Zoran Kalafatić, Antonio Pošćić, Siniša Šegvić i Julijan Šribar. Python za znatiželjne. Element (html)

Laboratorijske vježbe

  1. Logistička regresija, gradijentni spust, Python, numpy: upute.
  2. Tensorflow, osnove dubokih mreža, MNIST: upute;
  3. Konvolucijske mreže, MNIST, CIFAR: upute;
  4. Povratne mreže: upute.
  5. Generativni modeli: upute.

Studentski projekti

Zanimljivi sadržaji