WnioskowanieStatystyczne/MLF: Różnice pomiędzy wersjami
| (Nie pokazano 6 pośrednich wersji utworzonych przez tego samego użytkownika) | |||
| Linia 11: | Linia 11: | ||
możemy z kolei określić ''a posteriori'' prawdopodobieństwo zmiennej losowej <math>x_i</math>: | możemy z kolei określić ''a posteriori'' prawdopodobieństwo zmiennej losowej <math>x_i</math>: | ||
<math>P(\lambda | x_i)</math>. | <math>P(\lambda | x_i)</math>. | ||
| + | |||
| + | |||
Logicznym wydaje się postulat, aby parametr(y) | Logicznym wydaje się postulat, aby parametr(y) | ||
| Linia 21: | Linia 23: | ||
L= | L= | ||
P(\mathbf{x} | \lambda) = | P(\mathbf{x} | \lambda) = | ||
| − | \underset{i=1}{\overset{N}{\prod }} | + | \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad |
</math> | </math> | ||
| − | Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu: | + | Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu ([[plik:Pochodna_max_ML.jpeg|15px]]): |
<math> | <math> | ||
l=\ln | l=\ln | ||
| − | (L)=\underset{i=1}{\overset{N}{\sum }}\ln | + | (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) |
</math> | </math> | ||
| − | === | + | ===Przykład=== |
Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych | Wyznaczanie stałej fizycznej na podstawie <math>N</math> różnych | ||
| Linia 51: | Linia 53: | ||
<math> | <math> | ||
| − | L=\underset{i=1}{\overset{N}{\prod }} | + | L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{ |
i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | ||
-(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
| Linia 59: | Linia 61: | ||
<math> | <math> | ||
| − | l=-\underset{i=1}{\overset{N}{\ | + | l=\ln\left( |
| − | _{i}^{2}}-\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) | + | \underset{ |
| + | i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ | ||
| + | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
| + | \right) | ||
| + | = | ||
| + | \ln\left( | ||
| + | \underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}} | ||
| + | \right) | ||
| + | + | ||
| + | \ln\left( \underset{i=1}{\overset{N}{\prod }} | ||
| + | e^{\frac{ | ||
| + | -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} | ||
| + | \right) | ||
| + | \\ | ||
| + | |||
| + | = | ||
| + | -\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) | ||
| + | -\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma | ||
| + | _{i}^{2}} | ||
</math> | </math> | ||
Wersja z 12:44, 26 kwi 2023
Wnioskowanie_Statystyczne_-_wykład
Metoda największej wiarygodności
W procesie estymacji na podstawie próby [math]\mathbf{x}=\{x_{i}\}_{i=1\ldots N}[/math] wyznaczamy parametr [math]\lambda[/math] opisujący domniemany rozkład prawdopodobieństwa. Na podstawie tegoż rozkładu możemy z kolei określić a posteriori prawdopodobieństwo zmiennej losowej [math]x_i[/math]: [math]P(\lambda | x_i)[/math].
Logicznym wydaje się postulat, aby parametr(y) [math]\lambda[/math] dobierać tak, aby zmaksymalizować łączny rozkład prawdopodobieństw a posteriori wszystkich prób [math]x_i[/math], zwany funkcją wiarygodności. Dla zmiennych niezależnych łączny rozkład prawdopodobieństwa będzie iloczynem prawdopodobieństw:
[math] L= P(\mathbf{x} | \lambda) = \underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda );\quad [/math]
Maksimum tej funkcji będzie w tym samym punkcie, co maksimum jej logarytmu (
):
[math] l=\ln (L)=\underset{i=1}{\overset{N}{\sum }}\ln P(x_{i},\lambda) [/math]
Przykład
Wyznaczanie stałej fizycznej na podstawie [math]N[/math] różnych eksperymentów (o różnej dokładności). Niech błędy podlegają rozkładowi Gaussa.
Estymowany parametr [math]\lambda[/math] to wartość oczekiwana
stałej. Prawdopdobieństwo a posteriori wyniku [math]x_{i}[/math]
eksperymentu o danej wariancji [math]\sigma _{i}^{2}[/math]
[math] { P(x^{i},\lambda )=\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}}\ } [/math]
Funkcja wiarygodności
[math] L=\underset{i=1}{\overset{N}{\prod }}P(x_{i},\lambda )={ \ }\underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} [/math]
a jej logarytm
[math] l=\ln\left( \underset{ i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}}e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) = \ln\left( \underset{i=1}{\overset{N}{\prod }}\frac{1}{\sqrt{2\pi }\sigma _{i}} \right) + \ln\left( \underset{i=1}{\overset{N}{\prod }} e^{\frac{ -(x^{i}-\lambda )^{2}}{2\sigma _{i}^{2}}} \right) \\ = -\underset{i=1}{\overset{N}{\sum }}\ln (\sqrt{2\pi }\sigma _{i}) -\underset{i=1}{\overset{N}{\sum }}\frac{(x_{i}-\lambda )^{2}}{2\sigma _{i}^{2}} [/math]
Maksimum przewidujemy w zerze pochodnej
[math] \frac{\delta l}{\delta \lambda }=\underset{i=1}{\overset{N}{\sum }} \frac{x_{i}-\lambda }{\sigma _{i}^{2}}=0\Rightarrow \underset{i=1}{\overset{N }{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}=\lambda \underset{i=1}{\overset{N}{ \sum }}\frac{1}{\sigma _{i}^{2}}\Rightarrow \lambda _{NW}=\frac{\underset{i=1 }{\overset{N}{\sum }}\frac{x_{i}}{\sigma _{i}^{2}}}{\underset{i=1}{\overset{N }{\sum }}\frac{1}{\sigma _{i}^{2}}} [/math]
