WnioskowanieStatystyczne/MLF: Różnice pomiędzy wersjami

Z Brain-wiki
(Utworzono nową stronę " ==Metoda największej wiarygodności== Ogólnie w procesie estymacji na podstawie prób <math>x^{i}</math> (każde <math>x^{i}</math> może być wektorem) wyznaczamy p...")
 
 
(Nie pokazano 24 pośrednich wersji utworzonych przez tego samego użytkownika)
Linia 1: Linia 1:
  
−
==Metoda największej wiarygodności==
+
[[Wnioskowanie_Statystyczne_-_wykład]]
  
−
Ogólnie w procesie estymacji na podstawie prób <math>x^{i}</math>
+
 
−
(każde <math>x^{i}</math> może być wektorem) wyznaczamy parametr
+
==Metoda (funkcja) największej wiarygodności==
−
<math>\lambda</math> (w ogólnym przypadku również wektor) opisujący
+
W procesie estymacji na podstawie próby <math>\mathbf{x}=\{x_{i}\}_{i=1\ldots N}</math>
−
domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu
+
wyznaczamy parametr
−
możemy z kolei określić ''a posteriori'' prawdopodobieństwo próby
+
<math>\lambda</math> opisujący
−
<math>x^{i}</math>. Logicznym wydaje się postulat, aby parametr(y)
+
domniemany rozkład prawdopodobieństwa.  
−
<math>\lambda</math> dobierać tak, aby zmaksymalizować
+
Na podstawie tegoż rozkładu
−
prawdopodobieństwo ''a posteriori'' prób, z których je
+
możemy z kolei określić ''a posteriori'' prawdopodobieństwo zmiennej losowej <math>x_i</math>:
−
wyznaczamy. Funkcją wiarygodności nazywać możemy iloczyn
+
<math>P(x_i | \lambda)</math>.  
−
prawdopodobieństwa ''a posteriori'' dla <math>N</math> dostępnych prób
+
 
 +
Logicznym wydaje się postulat, aby parametr(y)
 +
<math>\lambda</math> dobierać tak, aby zmaksymalizować łączny rozkład
 +
prawdopodobieństw ''a posteriori'' wszystkich prób <math>x_i</math>, zwany '''funkcją wiarygodności'''.
 +
Dla zmiennych ''niezależnych'' łączny rozkład prawdopodobieństwa będzie iloczynem
 +
prawdopodobieństw:
  
 
<math>
 
<math>
−
  L=\underset{i=1}{\overset{N}{\prod }}f(x_{i},\lambda );\quad l=\ln
+
  L=
−
(L)=\underset{i=1}{\overset{N}{\sum }}\ln f(x_{i},\lambda)
+
P(\mathbf{x} | \lambda) =  
 +
\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad
 
</math>
 
</math>
  
−
Szukamy jej maksimum, czyli (zwykle) zera pochodnej.
+
Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu ([[plik:Pochodna_max_ML.jpeg|15px]]):
  
−
===Przyklad===
+
<math>
 +
l=\ln
 +
(L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda)
 +
</math>
 +
 
 +
 
 +
===Przykład===
  
 
Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych
 
Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych
 
eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi
 
eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi
 
Gaussa.
 
Gaussa.
−
 
  
 
Estymowany parametr <math>\lambda</math> to wartość oczekiwana
 
Estymowany parametr <math>\lambda</math> to wartość oczekiwana
Linia 32: Linia 43:
  
 
<math>
 
<math>
−
{ f(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
+
{ P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
 
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ }
 
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ }
 
</math>
 
</math>
 +
  
 
Funkcja wiarygodności
 
Funkcja wiarygodności
 +
  
 
<math>
 
<math>
−
L=\underset{i=1}{\overset{N}{\prod }}f(x_{i},\lambda )={ \ }\underset{
+
L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{
 
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
 
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
 
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
 
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
 
</math>
 
</math>
  
−
a jej logarytm
+
 
 +
Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności
 +
 
  
 
<math>
 
<math>
−
l=-\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma
+
l=\ln\left(
−
_{i}^{2}}-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{j})
+
\underset{
 +
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
 +
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
 +
\right)
 +
=
 +
\ln\left(
 +
\underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}
 +
\right)
 +
+
 +
\ln\left( \underset{i=1}{\overset{N}{\prod }}
 +
e^{\frac{
 +
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
 +
\right)
 +
\\
 +
 
 +
=
 +
-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i})
 +
-\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma
 +
_{i}^{2}}
 
</math>
 
</math>
  
−
Maksimum przewidujemy zwykle w zerze pochodnej  
+
 
 +
Maksimum przewidujemy w zerze pochodnej  
 +
 
  
 
<math>
 
<math>

Aktualna wersja na dzień 18:38, 25 kwi 2024

Wnioskowanie_Statystyczne_-_wykład


Metoda (funkcja) największej wiarygodności

W procesie estymacji na podstawie próby [math]\mathbf{x}=\{x_{i}\}_{i=1\ldots N}[/math] wyznaczamy parametr [math]\lambda[/math] opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo zmiennej losowej [math]x_i[/math]: [math]P(x_i | \lambda)[/math].

Logicznym wydaje się postulat, aby parametr(y) [math]\lambda[/math] dobierać tak, aby zmaksymalizować łączny rozkład prawdopodobieństw a posteriori wszystkich prób [math]x_i[/math], zwany funkcją wiarygodności. Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem prawdopodobieństw:

[math] L= P(\mathbf{x} | \lambda) = \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad [/math]

Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu (Pochodna max ML.jpeg):

[math] l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) [/math]


Przykład

Wyznaczanie stałej fizycznej na podstawie [math]N[/math] różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.

Estymowany parametr [math]\lambda[/math] to wartość oczekiwana stałej. Prawdopdobieństwo a posteriori wyniku [math]x_{i}[/math] eksperymentu o danej wariancji [math]\sigma _{i}^{2}[/math]

[math] { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } [/math]


Funkcja wiarygodności


[math] L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} [/math]


Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności


[math] l=\ln\left( \underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) = \ln\left( \underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}} \right) + \ln\left( \underset{i=1}{\overset{N}{\prod }} e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) \\ = -\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) -\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma _{i}^{2}} [/math]


Maksimum przewidujemy w zerze pochodnej


[math] \frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }} \frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N }{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{ \sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1 }{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N }{\sum }}\frac{1}{\sigma _{i}^{2}}} [/math]

Źródło: „http://brain.fuw.edu.pl/edu/index.php?title=WnioskowanieStatystyczne/MLF&oldid=9922”