WnioskowanieStatystyczne/MLF: Różnice pomiędzy wersjami
(Nie pokazano 4 pośrednich wersji utworzonych przez tego samego użytkownika) | |||
Linia 15: | Linia 15: | ||
<math>\lambda</math> dobierać tak, aby zmaksymalizować łączny rozkład | <math>\lambda</math> dobierać tak, aby zmaksymalizować łączny rozkład | ||
prawdopodobieństw ''a posteriori'' wszystkich prób <math>x_i</math>, zwany '''funkcją wiarygodności'''. | prawdopodobieństw ''a posteriori'' wszystkich prób <math>x_i</math>, zwany '''funkcją wiarygodności'''. | ||
− | Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem | + | Dla zmiennych ''niezależnych'' łączny rozkład prawdopodobieństwa będzie iloczynem |
prawdopodobieństw: | prawdopodobieństw: | ||
Linia 37: | Linia 37: | ||
eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi | eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi | ||
Gaussa. | Gaussa. | ||
− | |||
Estymowany parametr <math>\lambda</math> to wartość oczekiwana | Estymowany parametr <math>\lambda</math> to wartość oczekiwana | ||
Linia 47: | Linia 46: | ||
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } | ||
</math> | </math> | ||
+ | |||
Funkcja wiarygodności | Funkcja wiarygodności | ||
+ | |||
<math> | <math> | ||
Linia 56: | Linia 57: | ||
</math> | </math> | ||
− | + | ||
+ | Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności | ||
+ | |||
<math> | <math> | ||
Linia 80: | Linia 83: | ||
_{i}^{2}} | _{i}^{2}} | ||
</math> | </math> | ||
+ | |||
Maksimum przewidujemy w zerze pochodnej | Maksimum przewidujemy w zerze pochodnej | ||
+ | |||
<math> | <math> |
Aktualna wersja na dzień 18:38, 25 kwi 2024
Wnioskowanie_Statystyczne_-_wykład
Metoda (funkcja) największej wiarygodności
W procesie estymacji na podstawie próby [math]\mathbf{x}=\{x_{i}\}_{i=1\ldots N}[/math] wyznaczamy parametr [math]\lambda[/math] opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo zmiennej losowej [math]x_i[/math]: [math]P(x_i | \lambda)[/math].
Logicznym wydaje się postulat, aby parametr(y) [math]\lambda[/math] dobierać tak, aby zmaksymalizować łączny rozkład prawdopodobieństw a posteriori wszystkich prób [math]x_i[/math], zwany funkcją wiarygodności. Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem prawdopodobieństw:
[math] L= P(\mathbf{x} | \lambda) = \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad [/math]
Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu ():
[math] l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) [/math]
Przykład
Wyznaczanie stałej fizycznej na podstawie [math]N[/math] różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.
Estymowany parametr [math]\lambda[/math] to wartość oczekiwana stałej. Prawdopdobieństwo a posteriori wyniku [math]x_{i}[/math] eksperymentu o danej wariancji [math]\sigma _{i}^{2}[/math]
[math] { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } [/math]
Funkcja wiarygodności
[math]
L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
[/math]
Ponieważ logarytm iloczynu jest równy sumie logarytmów, logarytmiczna funkcja wiarygodności
[math]
l=\ln\left(
\underset{
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
\right)
=
\ln\left(
\underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}
\right)
+
\ln\left( \underset{i=1}{\overset{N}{\prod }}
e^{\frac{
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}
\right)
\\
=
-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i})
-\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma
_{i}^{2}}
[/math]
Maksimum przewidujemy w zerze pochodnej
[math]
\frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }}
\frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N
}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{
\sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1
}{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N
}{\sum }}\frac{1}{\sigma _{i}^{2}}}
[/math]