WnioskowanieStatystyczne/Regresja liniowa: Różnice pomiędzy wersjami
| Linia 11: | Linia 11: | ||
dla określonych <math>x_{i}</math> przy założeniu wartości | dla określonych <math>x_{i}</math> przy założeniu wartości | ||
<math>a</math> i <math>b</math> | <math>a</math> i <math>b</math> | ||
| + | |||
<math> | <math> | ||
| − | P(\overline{y}\mid \overline{x},a,b) | + | P(\overline{y} \mid \overline{x}, a, b) |
=\underset{i=1}{\overset{N}{\prod }} | =\underset{i=1}{\overset{N}{\prod }} | ||
\frac{1}{\sqrt{2\pi \sigma _{i}^{2}}}e^{\frac{(y_{i}-a-bx_{i})^{2}}{2\sigma_{i}^{2}}} | \frac{1}{\sqrt{2\pi \sigma _{i}^{2}}}e^{\frac{(y_{i}-a-bx_{i})^{2}}{2\sigma_{i}^{2}}} | ||
| − | =\frac{1}{\sqrt{(2\pi )^{n}}} \ | + | =\frac{1}{\sqrt{(2\pi )^{n}}} \; \underset{i=1}{\overset{N}{\prod }} |
| − | \frac{1}{\sigma _{i}} \ | + | \frac{1}{\sigma _{i}} \; e^{-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{ |
(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}} | (y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}} | ||
</math> | </math> | ||
| + | |||
logarytmiczna funkcja wiarygodności: | logarytmiczna funkcja wiarygodności: | ||
| + | |||
<math> | <math> | ||
| Linia 28: | Linia 31: | ||
(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}} | (y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}} | ||
</math> | </math> | ||
| + | |||
<math>\sigma _{i}</math> zwykle nie znamy, więc przyjmujemy jako stałą | <math>\sigma _{i}</math> zwykle nie znamy, więc przyjmujemy jako stałą | ||
| Linia 38: | Linia 42: | ||
w zerze pochodnej po parametrach | w zerze pochodnej po parametrach | ||
<math>a</math> i <math>b</math> | <math>a</math> i <math>b</math> | ||
| − | |||
| Linia 81: | Linia 84: | ||
| − | po podstawieniu | + | po podstawieniu przyrównujemy do zera pochodną po <math>b</math> |
<math> | <math> | ||
| − | \ | + | \dfrac{\partial S}{\partial b}= -2\sum_{i=1}^N \left( (y_{i} - \bar{y}) - b(x_{i} - \bar{x})\right)\left(x_{i}-\bar{x}\right) = 0 |
</math> | </math> | ||
| + | |||
<math> | <math> | ||
\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right) - b\sum_{i=1}^N \left(x_i - \bar{x}\right)^2 = 0 | \sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right) - b\sum_{i=1}^N \left(x_i - \bar{x}\right)^2 = 0 | ||
</math> | </math> | ||
| + | |||
<math> | <math> | ||
| − | b = \ | + | b = \dfrac{\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right)}{\sum_{i=1}^N \left(x_{i}-\bar{x}\right)^2} |
</math> | </math> | ||
| − | + | ||
| + | i ostatecznie dostajemy znajome wzory: | ||
<math> | <math> | ||
| − | b=\ | + | b=\dfrac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}- |
\overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}}, | \overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}}, | ||
\qquad a=\overline{y}-b\overline{x} | \qquad a=\overline{y}-b\overline{x} | ||
</math> | </math> | ||
Aktualna wersja na dzień 18:49, 25 kwi 2024
Wnioskowanie_Statystyczne_-_wykład
Regresja liniowa
Pary pomiarów [math](x_{i},y_{i})[/math]. Dla każdego [math]x_{i}[/math], [math]y_{i}[/math] traktujemy jak zmienną losową z rozkładu normalnego o wartości średniej [math]a+b[/math] [math]x_{i}[/math] i wariancji [math]\sigma _{i}^{2}[/math]. Prawdopodobieństwo a posteriori otrzymania [math]N[/math] wyników [math]y_{i}[/math] dla określonych [math]x_{i}[/math] przy założeniu wartości [math]a[/math] i [math]b[/math]
[math]
P(\overline{y} \mid \overline{x}, a, b)
=\underset{i=1}{\overset{N}{\prod }}
\frac{1}{\sqrt{2\pi \sigma _{i}^{2}}}e^{\frac{(y_{i}-a-bx_{i})^{2}}{2\sigma_{i}^{2}}}
=\frac{1}{\sqrt{(2\pi )^{n}}} \; \underset{i=1}{\overset{N}{\prod }}
\frac{1}{\sigma _{i}} \; e^{-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{
(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}}
[/math]
logarytmiczna funkcja wiarygodności:
[math]
l=-\frac{N}{2}\ln 2\pi +\ln (\underset{i=1}{\overset{N}{\prod }}\frac{1}{
\sigma _{i}})-\frac{1}{2}\underset{i=1}{\overset{N}{\sum }}\frac{
(y_{i}-a-bx_{i})^{2}}{\sigma _{i}^{2}}
[/math]
[math]\sigma _{i}[/math] zwykle nie znamy, więc przyjmujemy jako stałą
[math]\forall i \sigma _{i}=\sigma[/math]. Pozostaje szukanie minimum
sumy
[math]S=\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})^{2}[/math]
w zerze pochodnej po parametrach [math]a[/math] i [math]b[/math]
[math]
\frac{\partial S}{\partial a}=-2\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})\\
\underset{i=1}{\overset{N}{\sum }} \left(y_i - a - bx_i\right) = 0 \\
\underset{i=1}{\overset{N}{\sum }} y_i = \underset{i=1}{\overset{N}{\sum }} a + b\underset{i=1}{\overset{N}{\sum }} x_i \\
\underset{i=1}{\overset{N}{\sum }} y_i = N a + b\underset{i=1}{\overset{N}{\sum }} x_i \\
\frac{1}{N}
\underset{i=1}{\overset{N}{\sum }} y_{i}
= a + \frac{1}{N} b \underset{i=1}{\overset{N}{\sum }} x_i
[/math]
[math] \bar{y} = a + b\bar{x} [/math]
[math] a = \bar{y} - b\bar{x} [/math]
wyznaczone stąd [math]a[/math] podstawiamy do wzoru na [math]S[/math]
[math] S=\underset{i=1}{\overset{N}{\sum }}(y_{i}-a-bx_{i})^{2} [/math]
[math] = \underset{i=1}{\overset{N}{\sum}}(y_{i}-\bar{y} - b\bar{x}-bx_{i})^{2} [/math]
[math] =\underset{i=1}{\overset{N}{\sum}} \left( (y_{i}-\bar{y}) - b (x_i - \bar{x}) \right)^2 [/math]
po podstawieniu przyrównujemy do zera pochodną po [math]b[/math]
[math] \dfrac{\partial S}{\partial b}= -2\sum_{i=1}^N \left( (y_{i} - \bar{y}) - b(x_{i} - \bar{x})\right)\left(x_{i}-\bar{x}\right) = 0 [/math]
[math]
\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right) - b\sum_{i=1}^N \left(x_i - \bar{x}\right)^2 = 0
[/math]
[math]
b = \dfrac{\sum_{i=1}^N \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right)}{\sum_{i=1}^N \left(x_{i}-\bar{x}\right)^2}
[/math]
i ostatecznie dostajemy znajome wzory:
[math] b=\dfrac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}- \overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}}, \qquad a=\overline{y}-b\overline{x} [/math]
