Uczenie maszynowe i sztuczne sieci neuronowe/Pytania

Regresja liniowa:

1. Na czym polega uczenie z nadzorem?
2. Co to jest ciąg uczący w uczeniu z nadzorem?
3. Co to jest hipoteza w uczeniu z nadzorem?
4. Podaj postać hipotezy w regresji liniowej
5. Co to jest funkcja kosztu?
6. Podaj postać funkcji kosztu w regresji liniowej
7. Na czym polega algorytm najmniejszych kwadratów?
8. Co to jest funkcja wiarygodności?
9. Podaj funkcję wiarygodności dla regresji liniowej modelowanej równaniem

[math]y^{(i)} = \theta^T x^{(i)} + \varepsilon ^{(i)}[/math] gdzie [math] \varepsilon ^{(i)} \sim N(0, \sigma^2)[/math]

Klasyfikacja i regresja logistyczna

1. Podaj postać hipotezy w regresji logistycznej.
2. Podaj postać i interpretację funkcji wiarygodności dla regresji logistycznej
3. Podać definicję rodziny wykładniczej
4. Pokazać, że rozkład Bernoulliego nalezy do rodziny wykładniczej.
5. Podać trzy założenia na których oparta jest konstrukcja uogólnionego modelu liniowego
6. Zbiór uczący dla regresji wielorakiej
7. Postać funkcji wiarygodności dla regresji wielorakiej.

Ocena jakości klasyfikacji

1. Typy błędów
2. Czułość i specyficzność
3. Fałszywe alarmy
4. Własności predykcyjne
5. Miary zbalansowane
6. Krzywe charakterystyki roboczej odbiorcy
7. Kros-walidacja

Algorytmy generatywne

1. Podaj wzór Bayesa na prawdopodobieństwo a posteriori
2. Na czym polega klasyfikacja w sensie Bayesa
3. Podaj postać funkcji log-wiarygodności dla problemu gaussowskiej analizy dyskryminacyjnej.
4. Opisz krótko relacje między gaussowską analizą dyskryminacyjną a regresją logistyczną.
5. Co to znaczy, że zmienne losowe sa warunkowo niezależne?
6. Z jakiego założenia korzysta naiwny klasyfikator Bayesa?

Maszyny wektorów wspierających I

1. Co to jest margines funkcjonalny?
2. Co to jest margines geometryczny?
3. Sformułuj problem optymalizacyjny dla maszyny wektorów wspierających dla przypadku problemu liniowo separowalnego.

Maszyny wektorów wspierających II

1. Co to jest funkcja jądrowa dla odwzorowania mapującego [math]x \rightarrow \phi(x)[/math]?
2. Podaj postać jądra odpowiadającego mapowaniu do [math]\binom{n+d}{d}[/math]. wymiarowej przestrzeni parametrów, której wymiary są rozpięte przez wszystkie iloczyny typu [math]x_{i_{1}},x_{i_{2}},\dots ,x_{i_{k}}[/math] aż do rzędu [math]d[/math].
3. Podaj postać jądra gaussowskiego.
4. Sformułuj problem optymalizacyjny dla maszyny wektorów nośnych z regularyzaqą pozwalającą na zastosowanie techniki SVM dla problemów liniowo nieseparowalnych.
5. Podaj ideę algorytmu SMO.

Drzewa Decyzyjne:

1. Jak zbudowane jest drzewo decyzyjne
2. Rekurencyjny algorytm działania drzewa
3. Podaj przykład funkcji, które mogą stanowić kryterium do wyboru cechy, wzg. której należy dzielić drzewo w danym kroku jego konstrukcji
4. Metody poprawiania generalizacji w algorytmach drzewiastych: pre-prune, post-prune, rule post-prune

Uczenie bez nadzoru

1. Podaj regułę Hebba uczenia sieci neuronowej i wynikającą z niej regułę zmiany wag.
2. Podaj algorytm analizy skupień metodą k-średnich.
3. Opisz gaussowski model mieszany gęstości prawdopodobicństwa.
4. Podaj funkcję log-wiarygodności dla gaussowskiego modelu mieszanego
5. Podaj koncepcję algorytmu expectation maximization.

Wstęp o sieciach neuronowych, sieci neuronowe liniowe

1. Ogólna definicja sieci neuronowej
2. Gdzie w sieci neuronowej przechowywana jest wiedza?
3. Podaj przekształcenie wykonywane przez neuron liniowy
4. Podaj postać przekształcenia wykonywanego przez warstwę liniową
5. W jakim sensie można powiedzieć, ze neuron liniowy "rozpoznaje" wzorce
6. Ciąg uczący dla sieci liniowej
7. Funkcja kosztu dla sieci liniowej
8. Reguła zmiany wag dla sieci liniowej
9. Na czym polega dodanie bezwładności przy uczeniu sieci liniowej
10. Jaki jest efekt dodania bezwładności do uczenia sieci liniowe.

Nieliniowości różniczkowalne i metoda wstecznej propagacji błędu

1. Ciąg uczący dla neuronu nieliniowego
2. Funkcja błędu dla sieci nieliniowej
3. Na czym polega metoda wstecznej propagacji błędu (wersja intuicyjna)
4. Na czym polega metoda wstecznej propagacji błędu (wersja formalna: podać na jakich matematycznych własnościach się opiera, nie trzeba wyprowadzać)
5. Na czym polega problem minimów lokalnych dla sieci nieliniowych.

Wsteczna propagacja błędu: jak poprawić zbieżność?

1. Na czym polega metoda minimalizacyjna najszybszego spadku?
2. Na czym polega metoda minimalizacyjna gradientu sprzężonego?
3. Pomysły na unikanie minimów lokalnych
4. Co to jest generalizacja wiedzy przez sieci neuronowe?
5. Możliwe przyczyny złej generalizacji
6. Na czym polega uczenie z kryterium wczesnego stopu?
7. Na czym polega regularyzacja w algorytmach uczenia sieci neuronowych?

Sieci konwolucyjne

1. Opisz działanie warstwy konwolucyjnej w sieci konwolucyjnej.
2. Opisz działanie warstwy RELU w sieci konwolucyjnej. Jakie są zalety nieliniowośi typu RELU?
3. Podaj przykład warstwy zwężającej
4. Na czym polega współdzielenie wag przez neurony w sieciach konwolucyjnych?
5. Na czym polega i do czego jest wykorzystywana technika dropout?

Uczenie ze wzmocnieniem

1. Na czym polega uczenie ze wzmocnieniem (ogólnie koncepcja).
2. Co to jest proces decyzyjny Markowa?
3. Co to jest strategia?
4. Co to jest funkcja wartościująca (dla MDP)?
5. Podaj równanie Bellmana dla optymalnej funkcji wartościującej.
6. Podaj algorytm iteracji funkcji wartościującej.
7. Na czym polega estymacja funkcji wartościującej dla ciągłych procesów decyzyjnych Markowa?