Naslov predmeta: Strojno učenje (magistrski bolonjski študij)

Predavatelj:

prof. dr. Igor Kononenko

Asistenta: dr. Petar Vračar, dr. Matej Pičulin

Osnovni cilj predmeta:

Spoznati osnovne principe in metode strojnega učenja

Vsebina:

  1. Pregled metod strojnega učenja
  2. (Strojno) učenje in (umetna) inteligenca, zgodnji uspehi strojnega učenja
  3. Osnovni principi strojnega učenja in preiskovalni algoritmi za podprobleme strojnega učenja
  4. Napredne metode za ocenjevanje atributov
  5. Uvod v umetne nevronske mreže: Hopfieldove NN, RBF, večnivojske NN, (samo informativno globoke NN)
  6. Nenadzorovano učenje (samo informativno razvrščanje), povezovalna pravila (association rules)
  7. Predstavitev znanja (samo informativno ILP), Bayesovsko učenje: Bayesov klasifikator, NB in nenaivni Bayes, semi-naivni Bayes, Bayesovske mreže, TAN
  8. Kalibracija verjetnosti in ocenjevanje zanesljivosti posameznih predikcij, kombiniranje algoritmov SU
  9. Vizualizacija in razlaga posameznih predikcij
  10. Učenje iz podatkovnih tokov, aktivno učenje
  11. Osnove teorije naučljivosti

neobravnavana področja strojnega učenja in podatkovnega rudarjenja
(večciljno učenje, delno nazdorovano učenje, spodbujevano učenje, konstruktivna indukcija, učenje planov, odkrivanje sistemov enačb, rudarjenje slik, rudarjenje grafov in omrežij, COLT, analiza časovnih vrst, prostorsko podatkovno rudarjenje, profiliranje uporabnikov in priporočilni sistemi, induktivno logično programiranje)

POTREBNO PREDZNANJE:

  • Gradnja in rezanje odločitvenih in regresijskih dreves
  • Naivni Bayes
  • K-najbližjih sosedov
  • Lokalno utežena regresija
  • Ocenjevanje učenja (klasifikacijska točnost, matrika napak, Brierjeva mera, informacijska vsebina odgovora, senzitivnost, specifičnost, krivulja ROC, MSE, RMSE, MAE, RMAE, prečno preverjanje)
  • Predobdelava učnih primerov, vizualizacija
  • Primerjava algoritmov, statistični testi, Bonfernonijeva korekcija

Vaje:

Na vajah se vadijo metode in tehnike, ki so predstavljene na predavanjih. Študenti rešujejo tudi domače naloge (spletni kviz, iz katerega vsak študent dobi oceno DN, ki mora biti najmanj 50%, da lahko dobi oceno pri predmetu).

Raziskovalne naloge in MLDM (Machine Learning and Data Mining) Workshop:

Vsak študent (ali največ dva v skupini):

  • Izbere podpodročje strojnega učenja (z izjemo učenja na področju računalniškega vida),
  • Naredi pregled podpodročja SU, izbere konkreten problem/podatke in algoritme strojnega učenja, naredi nekaj poskusov in analizira rezultate
  • V sredini semestra med predavanji predstavi idejo seminarske naloge in načrt dela,
  • Samostojno izdela, napiše poročilo v obliki članka za delavnico (v angleščini) in ga odda za delavnico
  • Zagovarja raziskovalno nalogo na delavnici (MLDM Workshop), ki se organizira zadnja dva tedna v semestru v okviru predavanja.

Ocena raziskovalne naloge (pod pogojem, da je ocena domačih nalog pozitivna) se šteje za oceno iz vaj OC. Pozitivna ocena iz vaj je pogoj za pristop k izpitu. Ocena iz vaj velja samo tekoče leto. Če v tekočem letu študent ne opravi izpita, mora v naslednjem šolskem letu ponovno opravljati domače naloge in raziskovalne naloge.

Vsak študent (oziroma skupina, če raziskovalno nalogo izvaja več študentov) mora napisati poročilo v obliki znanstvenega članka - v angleščini, 6-8 strani dolg članek, oblika je specificirana z navodili za pisanje članka za delavnico. Oddati morajo PDF verzijo do postavljenega roka (deadline). Na delavnici vsak članek predstavijo v kratkem predavanju (10 min + 5 min diskusije).

Sodelovanje na delavnici je obvezno za vse študente.

Ocena izpita in vaj:

[ \text{Ocena} = \frac{I + V}{2} ]

  • ( V = OC ) če ( DN \geq 50% ) sicer ( V = 1 ) (nez)
  • Pogoj za opravljanje izpita je ( V > 5 ).
  • ( I = ) ocena pisnega in ustnega izpita

Izpit:

Izpit je sestavljen iz pisnega in morebitnega ustnega dela. Na pisnem izpitu je od literature dovoljen en A4 list napisan lastnoročno z navadnim svinčnikom (da se lahko radira) in podpisan s kemičnim svinčnikom z imenom in priimkom ter vpisno številko (fotokopije in printi niso dovoljeni). Ta list se odda skupaj s pisnim izdelkom.

Študijska literatura

Temeljna:

KNJIGA:
Igor Kononenko, Matjaž Kukar: Machine Learning and Data Mining: Introduction to Principles and Algorithms, Horwood publ., 2007

ČLANKI:

  • Reliability of single predictions in classification and regression (paper: Comparison of approaches for estimating reliability of individual regression predictions)
  • Calibration of probabilities (paper: Predicting Good Probabilities With Supervised Learning)
  • Explaining classification of a single instance (paper: Explaining instance classifications with interactions of subsets of feature values)
  • Learning from imbalanced data sets (Book chapter: Use of Prediction Reliability Estimates on Imbalanced Datasets)
  • Active learning (Paper: Active Learning Literature Survey)

Dodatna:

Ian H. Witten, Eibe Frank: Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. The Morgan Kaufmann, 1999.