WnioskowanieStatystyczne/MLF: Różnice pomiędzy wersjami
| (Nie pokazano 19 pośrednich wersji utworzonych przez tego samego użytkownika) | |||
| Linia 3: | Linia 3: | ||
| − | ==Metoda największej wiarygodności== | + | ==Metoda (funkcja) największej wiarygodności== |
| − | |||
W procesie estymacji na podstawie próby <math>\mathbf{x}=\{x_{i}\}_{i=1\ldots N}</math> | W procesie estymacji na podstawie próby <math>\mathbf{x}=\{x_{i}\}_{i=1\ldots N}</math> | ||
wyznaczamy parametr | wyznaczamy parametr | ||
| Linia 10: | Linia 9: | ||
domniemany rozkład prawdopodobieństwa. | domniemany rozkład prawdopodobieństwa. | ||
Na podstawie tegoż rozkładu | Na podstawie tegoż rozkładu | ||
| − | możemy z kolei określić ''a posteriori'' prawdopodobieństwo | + | możemy z kolei określić ''a posteriori'' prawdopodobieństwo zmiennej losowej <math>x_i</math>: |
| − | <math>P(\lambda | + | <math>P(x_i | \lambda)</math>. |
| − | |||
Logicznym wydaje się postulat, aby parametr(y) | Logicznym wydaje się postulat, aby parametr(y) | ||
<math>\lambda</math> dobierać tak, aby zmaksymalizować łączny rozkład | <math>\lambda</math> dobierać tak, aby zmaksymalizować łączny rozkład | ||
prawdopodobieństw ''a posteriori'' wszystkich prób <math>x_i</math>, zwany '''funkcją wiarygodności'''. | prawdopodobieństw ''a posteriori'' wszystkich prób <math>x_i</math>, zwany '''funkcją wiarygodności'''. | ||
| − | Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem | + | Dla zmiennych ''niezależnych'' łączny rozkład prawdopodobieństwa będzie iloczynem |
prawdopodobieństw: | prawdopodobieństw: | ||
| Linia 23: | Linia 21: | ||
L= | L= | ||
P(\mathbf{x} | \lambda) = | P(\mathbf{x} | \lambda) = | ||
| − | \underset{i=1}{\overset{N}{\prod }} | + | \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad |
</math> | </math> | ||
| − | Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu: | + | Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu ([[plik:Pochodna_max_ML.jpeg|15px]]): |
<math> | <math> | ||
l=\ln | l=\ln | ||
| − | (L)=\underset{i=1}{\overset{N}{\sum }}\ln | + | (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) |
</math> | </math> | ||
| − | === | + | |
| + | ===Przykład=== | ||
Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych | Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych | ||
eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi | eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi | ||
Gaussa. | Gaussa. | ||
| − | |||
Estymowany parametr <math>\lambda</math> to wartość oczekiwana | Estymowany parametr <math>\lambda</math> to wartość oczekiwana | ||
| Linia 45: | Linia 43: | ||
<math> | <math> | ||
| − | { | + | { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ |
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } | ||
</math> | </math> | ||
| + | |||
Funkcja wiarygodności | Funkcja wiarygodności | ||
| + | |||
<math> | <math> | ||
| − | L=\underset{i=1}{\overset{N}{\prod }} | + | L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{ |
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | ||
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
</math> | </math> | ||
| − | + | ||
| + | Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności | ||
| + | |||
<math> | <math> | ||
| − | l=-\underset{i=1}{\overset{N}{\ | + | l=\ln\left( |
| − | _{i}^{2}}-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{ | + | \underset{ |
| + | i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | ||
| + | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
| + | \right) | ||
| + | = | ||
| + | \ln\left( | ||
| + | \underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}} | ||
| + | \right) | ||
| + | + | ||
| + | \ln\left( \underset{i=1}{\overset{N}{\prod }} | ||
| + | e^{\frac{ | ||
| + | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
| + | \right) | ||
| + | \\ | ||
| + | |||
| + | = | ||
| + | -\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) | ||
| + | -\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma | ||
| + | _{i}^{2}} | ||
</math> | </math> | ||
| − | Maksimum przewidujemy | + | |
| + | Maksimum przewidujemy w zerze pochodnej | ||
| + | |||
<math> | <math> | ||
Aktualna wersja na dzień 18:38, 25 kwi 2024
Wnioskowanie_Statystyczne_-_wykład
Metoda (funkcja) największej wiarygodności
W procesie estymacji na podstawie próby [math]\mathbf{x}=\{x_{i}\}_{i=1\ldots N}[/math] wyznaczamy parametr [math]\lambda[/math] opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo zmiennej losowej [math]x_i[/math]: [math]P(x_i | \lambda)[/math].
Logicznym wydaje się postulat, aby parametr(y) [math]\lambda[/math] dobierać tak, aby zmaksymalizować łączny rozkład prawdopodobieństw a posteriori wszystkich prób [math]x_i[/math], zwany funkcją wiarygodności. Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem prawdopodobieństw:
[math] L= P(\mathbf{x} | \lambda) = \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad [/math]
Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu (
):
[math] l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) [/math]
Przykład
Wyznaczanie stałej fizycznej na podstawie [math]N[/math] różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.
Estymowany parametr [math]\lambda[/math] to wartość oczekiwana stałej. Prawdopdobieństwo a posteriori wyniku [math]x_{i}[/math] eksperymentu o danej wariancji [math]\sigma _{i}^{2}[/math]
[math] { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } [/math]
Funkcja wiarygodności
[math]
L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
[/math]
Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności
[math]
l=\ln\left(
\underset{
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
\right)
=
\ln\left(
\underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}
\right)
+
\ln\left( \underset{i=1}{\overset{N}{\prod }}
e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
\right)
\\
=
-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i})
-\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma
_{i}^{2}}
[/math]
Maksimum przewidujemy w zerze pochodnej
[math]
\frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }}
\frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N
}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{
\sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1
}{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N
}{\sum }}\frac{1}{\sigma _{i}^{2}}}
[/math]
