Uczenie maszynowe i sztuczne sieci neuronowe/Wykład 5 - Historia wersji

Jarekz o 16:33, 16 lut 2017

2017-02-16T16:33:16Z

Jarekz: /* Diagnostyka i debugowanie algorytmu uczącego */

2016-05-09T10:37:40Z

Diagnostyka i debugowanie algorytmu uczącego

Jarekz: /* Diagnostyka i debugowanie algorytmu uczącego */

2016-05-09T10:37:08Z

Diagnostyka i debugowanie algorytmu uczącego

Jarekz: /* Optymalizacja architektury: Regularyzacja */

2016-05-09T10:21:47Z

Optymalizacja architektury: Regularyzacja

Jarekz: /* Uczenie z kryterium wczesnego stopu */

2016-05-09T10:17:49Z

Uczenie z kryterium wczesnego stopu

Jarekz: /* Elastyczna wsteczna propagacja błędu */

2016-05-09T10:15:57Z

Elastyczna wsteczna propagacja błędu

Jarekz: /* Bezwładność */

2016-05-09T10:15:30Z

Bezwładność

Jarekz: /* Na poprzednim wykładzie */

2015-05-21T15:39:35Z

Na poprzednim wykładzie

Jarekz o 15:39, 21 maj 2015

2015-05-21T15:39:23Z

Jarekz o 15:38, 21 maj 2015

2015-05-21T15:38:59Z

← poprzednia wersja		Wersja z 16:33, 16 lut 2017
Linia 1:		Linia 1:
		+	[[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe\|powrót]]
	=Na poprzednim wykładzie=		=Na poprzednim wykładzie=
	wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:		wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:

@@ Linia 182: / Linia 182: @@
 ** czy algorytm jest zbieżny? -> jeśli nie to możemy próbować poprawić to zmniejszając prędkość uczenia lub zmieniając procedurę optymalizacyjną
 * błędu od rozmiaru zbioru uczącego
 **Jeśli błąd na zbiorze uczącym dużo niższy niż na testowym to możemy mieć problem przeuczenia
 *** można: dodać przykładów, zmniejszyć rozmiar wejścia, włączyć regularyzację

← poprzednia wersja		Wersja z 10:37, 9 maj 2016
Linia 166:		Linia 166:
	Powoduje to szybsze zanikanie wag dla jednostek, które mają małe wagi wejściowe.		Powoduje to szybsze zanikanie wag dla jednostek, które mają małe wagi wejściowe.

−	==Diagnostyka i debugowanie algorytmu uczącego==	+	=Diagnostyka i debugowanie algorytmu uczącego=
−	Z	+
		+	Załóżmy, że zaimplementowaliśmy algorytm uczący na określonym (niewielkim) zbiorze danych. Mamy 20 % błędnych decyzji. Co z tym robić dalej?
		+
		+	Potencjalnie można:
		+	* poprawić algorytm
		+	* zdobyć więcej przykładów do ciągu uczącego
		+	* wypróbować więcej cech lub ograniczyć przestrzeń cech
		+	* pouczyć dłużej albo zmienić algorytm optymalizacyjny
		+	* zmienić parametry uczenia (współczynnik szybkości, regularyzacji, itp.)
		+	Każda z tych metod naprawia jakiś (ale inny) problem.
		+
		+	Aby zdiagnozować problem dobrze jest analizować wykresy:
		+	* błędu od długości uczenia
		+	** czy algorytm jest zbieżny? -> jeśli nie to możemy próbować poprawić to zmniejszając prędkość uczenia lub zmieniając procedurę optymalizacyjną
		+	* błędu od rozmiaru zbioru uczącego
		+
		+	**Jeśli błąd na zbiorze uczącym dużo niższy niż na testowym to możemy mieć problem przeuczenia
		+	*** można: dodać przykładów, zmniejszyć rozmiar wejścia, włączyć regularyzację
		+	** Duży błąd na zbiorze uczącym i na testowym -> źle dobrane cechy lub struktura klasyfikatora
		+	*** zmienić zestaw cech
		+	*** wzbogacić strukturę klasyfikatora (np. więcej jednostek ukrytych)

@@ Linia 153: / Linia 153: @@
 * rozwiązanie jest “gładsze”
 * wygładzenie funkcji kosztu likwiduje część minimów lokalnych
 Powyższa funkcja kosztu prowadzi do preferowania większej liczby małych wag zamiast jednej dużej. Sytuację poprawia wyrażenie:
@@ Linia 168: / Linia 165: @@
 Powoduje to szybsze zanikanie wag dla jednostek, które mają małe wagi wejściowe.

@@ Linia 140: / Linia 140: @@
 Prostym rozwiązaniem jest w takim przypadku uczenie z kryterium wczesnego stopu. Polega ono na tym, że oprócz zbioru uczącego posiadamy rozłączny z nim zbiór testowy. W trakcie uczenia obliczamy błąd popełniany przez sieć na zbiorze uczącym i na zbiorze testowym. W większości przypadków powinniśmy w początkowej fazie uczenia obserwować malenie błędu na obu zbiorach. Oczekujemy, że w pewnym momencie, kiedy sieć zaczyna się uczyć zbędnych szczegółów to błąd na zbiorze uczącym będzie nadal malał, a na zbiorze testowym zacznie rosnąć. Uczenie prowadzimy tylko do momentu, kiedy błąd na obu zbiorach maleje. Przykład takiej procedury pokazany jest na poniższym rysunku.
 [[Plik:Wczesny_stop.png|thumb|center|826px]]
 ====Optymalizacja architektury: Regularyzacja ====

← poprzednia wersja		Wersja z 10:15, 9 maj 2016
Linia 46:		Linia 46:

	Dla sigmoidalnych funkcji odpowiedzi metoda ta może poprawić uczenie w obszarze ogonów sigmoidy, gdzie wartość gradientu jest bardzo mała.		Dla sigmoidalnych funkcji odpowiedzi metoda ta może poprawić uczenie w obszarze ogonów sigmoidy, gdzie wartość gradientu jest bardzo mała.
−
−	~~''Uwaga:'' w PyBrain metoda ta jest zaimplementowana w klasie~~
−	~~<source lang = python>~~
−	~~pybrain.supervised.trainers.RPropMinusTrainer(module, etaminus=0.5, etaplus=1.2, deltamin=9.9999999999999995e-07, deltamax=5.0, delta0=0.10000000000000001, **kwargs)~~
−	~~'''~~
−	~~Train the parameters of a module according to a supervised dataset (possibly sequential)~~
−	~~by RProp without weight backtracking (aka RProp-, cf. [Igel&Huesken, Neurocomputing 50, 2003])~~
−	~~and without ponderation, ie. all training samples have the same weight.~~
−
−	~~__init__(module, etaminus=0.5, etaplus=1.2, deltamin=9.9999999999999995e-07,~~
−	~~deltamax=5.0, delta0=0.10000000000000001, **kwargs)~~
−
−	~~Set up training algorithm parameters, and objects associated with the trainer.~~
−	~~Parameter: module – the module whose parameters should be trained.~~
−	~~Key etaminus: factor by which step width is decreased when overstepping (0.5)~~
−	~~Key etaplus: factor by which step width is increased when following gradient (1.2)~~
−	~~Key delta: step width for each weight~~
−	~~Key deltamin: minimum step width (1e-6)~~
−	~~Key deltamax: maximum step width (5.0)~~
−	~~Key delta0: initial step width (0.1)~~
−	~~'''~~
−	~~</source>~~

	===Metoda najszybszego spadku ===		===Metoda najszybszego spadku ===

@@ Linia 12: / Linia 12: @@
 Dla prawie płaskiej powierzchni kosztu efektywny współczynnik uczenia jest
 <math> \frac{1}{1-\alpha_2}</math> razy większy niż w przypadku algorytmu bez bezwładności. Dla typowych wartości <math>\alpha_1 = 0.1</math> i <math>\alpha_2 = 0.9</math> otrzymujemy około 10 krotne przyspieszenie!
 ==Adaptacyjny dobór parametrów ==

@@ Linia 1: / Linia 1: @@
 =Na poprzednim wykładzie=
- wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:
+wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:
 * szybszy
 * zmniejszający ryzyko wpadania w minima lokalne

← poprzednia wersja		Wersja z 15:38, 21 maj 2015
Linia 1:		Linia 1:
−	~~[[Kategoria: Uczenie maszynowe i sztuczne sieci neuronowe]]~~
	Na poprzednim wykładzie wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:		Na poprzednim wykładzie wyprowadziliśmy metodę uczenia wielowarstwowych sieci nieliniowych bazującą na minimalizacji funkcji kosztu metodą gradientową. W dzisiejszym wykładzie zastanowimy się jak robić to w sposób:
	* szybszy		* szybszy