Kurssilla käsitellään Bayesiläistä mallinnusta, posteriorijakaumien
approksimointia ja päätösteoriaa. Todennäköisyydet ja jakaumat
kannattaa olla hallussa. Harjoitustyössä palauttettiin alkuperäistä
kuvaa siirtyneistä, sumentuneista ja alinäytteistetyistä kuvista. Se
oli aika työläs, mutta myös hauska ja opettavainen. Tässä vähän
sisältöä:
- Oppiminen
- oppiminen ilman oletuksia ei mahdollista
- No Free Lunch -teoreema
- Todennäköisyys
- epävarmuus voidaan esittää todennäköisyyksinä
- todennäköisyydet ovat ehdollisia
- Cox'n aksioomat
- Dutch Book -teoreema
- Bayesiläinen interferenssi
- oikea tapa, jos uskoo omiin oletuksiin
- Bayesin kaava
- priori-, uskottavuus- ja posteriorijakauma
- ei riipu näytteiden määrästä
- epäaito (improper) priori
- normalisointi ei mahdollista
- Jeffreyn priori
- paikkamuuttujalle
- skaalamuuttujalle
- marginalisointi
- hierarkiset mallit
- mallien keskiarvoistus
- Posteriorijakaukan approksimointi
- simulointi (parametriton malli)
- Monte Carlo -integrointi
- tärkeysotanta (importance sampling)
- hylkäysotanta (rejection sampling)
- Monte Carlo Markov Chain
- aloitusjakauma
- siirtymäjakauma
- posteriorijakauma siirtymäjakauman stationaarijakauma
- Metropolis-algoritmi
- hyppyjakauma
- näytteen hyväksyminen hyppysuhteen avulla
- Gibbsin näytteistys
- parametriset mallit
- suora otanta mallista (direct sampling)
- piste-approksimointi (point estimation)
- Laplace-approksimointi
- normaalijakauma sovitetaan posteriorijakauman moodiin
- Kullback-Leibler divergenssin minimointi
- variaatioapproksimointi
- etsitään mahdollisimman suurin tn-massa jakaumalle
- freeform-approksimointi
- Piilomuuttujamallit
- äärelliset mikstuurimallit
- EM-algoritmi
- Variaationaalinen Bayes
- Puuttuvat arvot
- heuristiset menetelmät
- poisto
- imputointi
- arvon korvaus keskiarvolla (mean imputation)
- arvon laskenta regressiolla (regression imputation)
- arvon korvaus simuloidulla arvolla (multiple imputation)
- Bayesiläinen menetelmä
- tapaukset: yleinen, MCAR, OAR, MAR
- simulointi
- datan augmentointi
- muistuttaa EM-algoritmia ja Gibbsin näytteistystä
- Päätösteoria
- ei-stokastinen
- maximin
- maximax
- minimax regret
- tuloksen moodi
- odotettu tulos
- stokastinen
- tapahtumiin liitetyt utiliteetit
- utiliteettien odotusarvon maksimointi
- päätöspuut, dynaaminen ohjelmointi
- kunnollinen, lokaali priori
- Gaussiset prosessit
- inferenssi helposti käsiteltävissä
- priorien asettaminen mallien ominaisuuksille mahdollista
- funktiopriorit
- normaalijakaumaoletus
- kovarianssifunktio
- Bayesiläinen regressio
- ennustus gaussisilla prosesseilla
- luokittelu gaussisilla prosesseilla
- Mallin valinta
- Bayes-kerroin
- utiliteettien käyttö
- mallin laajennus
- Mallin tarkistus
- heuristista
- ennustusvalidointi
- ristiinvalidointi
- Robustisuus
- herkkyysanalyysi (sensitivity analysis)
- epsilon-kontaminaatioluokka
