WnioskowanieStatystyczne/MLF

Metoda największej wiarygodności

Ogólnie w procesie estymacji na podstawie prób [math]x^{i}[/math] (każde [math]x^{i}[/math] może być wektorem) wyznaczamy parametr [math]\lambda[/math] (w ogólnym przypadku również wektor) opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo próby [math]x^{i}[/math]. Logicznym wydaje się postulat, aby parametr(y) [math]\lambda[/math] dobierać tak, aby zmaksymalizować prawdopodobieństwo a posteriori prób, z których je wyznaczamy. Funkcją wiarygodności nazywać możemy iloczyn prawdopodobieństwa a posteriori dla [math]N[/math] dostępnych prób

[math] L=\underset{i=1}{\overset{N}{\prod }}f(x_{i},\lambda );\quad l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln f(x_{i},\lambda) [/math]

Szukamy jej maksimum, czyli (zwykle) zera pochodnej.

Przyklad

Wyznaczanie stałej fizycznej na podstawie [math]N[/math] różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.

Estymowany parametr [math]\lambda[/math] to wartość oczekiwana stałej. Prawdopdobieństwo a posteriori wyniku [math]x_{i}[/math] eksperymentu o danej wariancji [math]\sigma _{i}^{2}[/math]

[math] { f(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } [/math]

Funkcja wiarygodności

[math] L=\underset{i=1}{\overset{N}{\prod }}f(x_{i},\lambda )={ \ }\underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} [/math]

a jej logarytm

[math] l=-\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma _{i}^{2}}-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{j}) [/math]

Maksimum przewidujemy zwykle w zerze pochodnej

[math] \frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }} \frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N }{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{ \sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1 }{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N }{\sum }}\frac{1}{\sigma _{i}^{2}}} [/math]