WnioskowanieStatystyczne/ Regresja liniowa i test chi2 - Historia wersji

Maciek: /* Regresja liniowa */

2025-06-08T19:40:40Z

Regresja liniowa

Maciek: /* Regresja liniowa */

2025-06-04T12:20:25Z

Regresja liniowa

Maciek: /* Regresja liniowa */

2025-06-04T12:18:38Z

Regresja liniowa

Atartas: /* Przykład: Dopasowanie prostej do punktów (zakładamy jednakową wariancję Y dla każdego X) */

2019-06-05T14:57:13Z

Przykład: Dopasowanie prostej do punktów (zakładamy jednakową wariancję Y dla każdego X)

Durka: /* Test \chi^2 */

2017-06-02T08:02:30Z

Test \chi^2

MarcinPietrzak: /* Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne */ Dodałem wykresy residuów

2016-06-03T08:00:56Z

Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne: Dodałem wykresy residuów

MarcinPietrzak: /* Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne */ Dodałem przykład dopasowania wielomianu przy wykorzystaniu np.polyfit

2016-06-03T07:47:23Z

Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne: Dodałem przykład dopasowania wielomianu przy wykorzystaniu np.polyfit

Podgląd zmian

MarcinPietrzak: /* Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne */ Uprościłem ten przykład poprzez użycie opt.curve_fit zamiast bezpośrednio opt.leastsq

2016-06-03T06:24:11Z

Dopasowanie krzywej do danych gdy wariancje dla poszczególnych punktów pomiarowych są różne: Uprościłem ten przykład poprzez użycie opt.curve_fit zamiast bezpośrednio opt.leastsq

MateuszSitarz: /* Regresja liniowa */

2016-05-02T13:42:14Z

Regresja liniowa

MateuszSitarz: /* Regresja liniowa */

2016-05-02T13:41:07Z

Regresja liniowa

@@ Linia 41: / Linia 41: @@
 [https://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/MLF metodę największej wiarygodności]:
-:<math>\hat b_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-
+:<math>{\hat{\,b}}_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\bar{x})(y_{i}-
-\overline{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})^{2}},
+\bar{y})}{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\bar{x})^{2}},
 </math>
 :<math>
-  \hat b_0=\overline{y}-\hat b_1\overline{x}
+  \hat{\ b}_0=\bar{y}-\hat{\,b}_1\bar{x}
 </math>
 Z tymi współczynnikami otrzymujemy równanie opisujące prostą regresji:
-<math>\hat y = \hat b_0 + \hat b_1 x</math>
+<math>\hat{\ y} = \hat{\,b}_0 + \hat{\ b}_1 x</math>
 Zakłądając, że <math>\epsilon </math> pochodzi z rozkładu normalnego o wariancji <math>\sigma^2</math> estymowane współczynniki są zmiennymi losowymi pochodzącymi z rozkładów normalnego o średniej takiej jak wyestymowany współczynnik i  wariancji odpowiednio:
@@ Linia 56: / Linia 56: @@
 Wariancję <math>\sigma^2 = E[S^2]</math>  można estymować przez:
-:<math>S^2 = \frac{1}{n-2}\sum_{i=1}^n(y_i - \hat y_i)^2</math>
+:<math>S^2 = \frac{1}{n-2}\sum_{i=1}^n(y_i - \hat{\ y}_i)^2</math>
 Warto tu zwrócić uwagę na prosty fakt, że niepewność oszacowania współczynników można zmniejszyć zwiększając zakres zmiennej <math>x</math>.

@@ Linia 39: / Linia 39: @@
 : <math> y = b_0 + b_1x + \epsilon </math>
 współczynniki <math>b_0</math> i <math>b_1</math> można wyestymować stosując
-[https://brain.fuw.edu.pl/edu/index.php/Wnioskowanie_Statystyczne_-_wykład  metodę największej wiarygodności]:
+[https://brain.fuw.edu.pl/edu/index.php/WnioskowanieStatystyczne/MLF metodę największej wiarygodności]:
 :<math>\hat b_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-

@@ Linia 39: / Linia 39: @@
 : <math> y = b_0 + b_1x + \epsilon </math>
 współczynniki <math>b_0</math> i <math>b_1</math> można wyestymować stosując
-[http://brain.fuw.edu.pl/edu/STAT:Regresja_liniowa  metodę największej wiarygodności]:
+[https://brain.fuw.edu.pl/edu/index.php/Wnioskowanie_Statystyczne_-_wykład  metodę największej wiarygodności]:
 :<math>\hat b_1=\frac{\underset{i=1}{\overset{N}{\sum }}(x_{i}-\overline{x})(y_{i}-

@@ Linia 127: / Linia 127: @@
 print('s_b0 = %.4f, s_b1= %.4f '%(s_b0, s_b1))
-py.errorbar(X,Y,sigma, fmt = None)
+py.errorbar(X,Y,sigma)
 Y_reg = b0 + b1*X
 py.plot(X,Y_reg)

@@ Linia 281: / Linia 281: @@
 print('chi2 = %.2f, p_chi2 = %.3f' %(chi2, p_chi2))
 </source>
-Czasem używamy zredukowanego, czyli podzielonego przez ilość stopni swobody <math>\chi^2</math>:
+Czasem używamy zredukowanego, czyli podzielonego przez liczbę stopni swobody <math>\chi^2</math>:
 *  Jeśli jest on znacząco większy niż 1 to model nie pasuje do danych, lub nie doszacowaliśmy standardowego odchylenia <math>\sigma</math>.
 *  Jeśli jest sporo mniejszy niż 1 to prawdopodobnie oszacowane przez nas <math>\sigma</math> jest większe niż rzeczywiste.

@@ Linia 327: / Linia 327: @@
 def funkcja_bledu(x, y, funkcja, params, err):
 	'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
-	Nam przyda się do narysowania słupków błędów.'''
+	Nam przyda się do obliczenia residuów.'''
 	y_fit = funkcja(x, *params) # aktualne wartości y z dopasowania
 	residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
@@ Linia 390: / Linia 390: @@
 # wykres
 ##########
-py.clf()
+py.subplot(2,1,1)
 py.plot(X, funkcja_do_fitowania(X,amp,wykladnik))     # Fit
 py.errorbar(X, Y, yerr=sigma, fmt='k.')  # Dane i błędy
@@ Linia 399: / Linia 399: @@
 py.ylabel('Y')
 py.xlim(1, 11)
 py.show()
 </source>
@@ Linia 425: / Linia 430: @@
 def funkcja_bledu_dla_wielomianow(x, y, wspolczynniki, err):
 	'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
-	Nam przyda się do narysowania słupków błędów.'''
+	Nam przyda się do obliczenia residuów.'''
 	W = np.poly1d(wspolczynniki)
 	y_fit = W(x) # aktualne wartości y z dopasowania
@@ Linia 495: / Linia 500: @@
 # wykres
 ##########
-py.clf()
+py.subplot(2,1,1)
 W=np.poly1d(params_final)
 py.plot(X, W(X))     # Fit
 py.errorbar(X, Y, yerr=sigma, fmt='k.')  # Dane i błędy
 py.title(u'Dopasowanie metodą najmniejszych kwadratów')
-py.text(-4.6, 90, u'dopasowane współczynniki = '+str(np.round(params_final,3)))
+py.text(-4.6, 92, u'dopasowane współczynniki = '+str(np.round(params_final,3)))
 py.text(-4.6, 86, u'niepewności współczynników = '+str(np.round(niepewnosci,3)))
-py.text(-4.6, 82, u'prawdziwe współczynniki = '+str(np.round(wspolczynniki_wielomianu,3)))
+py.text(-4.6, 80, u'prawdziwe współczynniki = '+str(np.round(wspolczynniki_wielomianu,3)))
 py.xlabel('X')
 py.ylabel('Y')
 py.xlim(X.min()-1, X.max()+1)
 py.show()
-</source>
+py.show()</source>

@@ Linia 306: / Linia 306: @@
 import pylab as py
 import numpy as np
-−
 # funkcja używana do symulowania danych
 def zanik(x, amp, wykladnik, blad_wzgledny):
@@ Linia 316: / Linia 316: @@
 	y += st.norm.rvs(size=num_points) * sigma
 	return (y, sigma)
-−
 # Funkcja, którą chcemy dopasować do danych:
+def funkcja_do_fitowania(x,a,b):
-def funkcja_do_fitowania(b,x):
+	y = a*x**b
 	return y
-−
-def funkcja_bledu( b, x, y, err):
+def funkcja_bledu(x, y, funkcja, params, err):
-	'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów'''
+	'''Suma kwadratów tej funkcji jest minimalizowana w procesie optymalizacji parametrów.
-	y_fit = funkcja_do_fitowania(b, x) # aktualne wartości y z dopasowania
+	Nam przyda się do narysowania słupków błędów.'''
-	residuum = y-y_fit
+	y_fit = funkcja(x, *params) # aktualne wartości y z dopasowania
-        # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
+	residuum = y-y_fit # residua wchodzą do sumy kwadratów z wagą odwrotnie proporcjonalną do standardowego odchylenia
 	residuum_wazone = residuum/ err
 	return residuum_wazone
 # Generujemy punkty z szumem
@@ Linia 337: / Linia 334: @@
 X = np.linspace(1.1, 10.1, num_points)
 Y, sigma = zanik(X, 10.0, -2.0, 0.1)     # symulowane dane
-−
 # Dopasowujemy parametry
-# musimy podać wartości startowe dla procedury minimalizacji
+# nie musimy podawać wartości startowych (params_init) dla procedury minimalizacji (wtedy funkcja zakłada wartości startowe równe 1)
-b_init = [2.0, -1.0]
+# jednak zazwyczaj dobrze jest podpowiedzieć algorytmowi, gdzie powinien zacząć
-# funkcja opt.leastsq tak zmienia parametry b
+print(params_final)
-# aby suma kwadratów wartości zwracanych przez funkcja_bledu była jak najmniejsza
+print(covar)
-out = opt.leastsq(funkcja_bledu, b_init, args=(X, Y, sigma), full_output=1)
+# dopasowane parametry
 # standardowe błędy dopasowania
-amp_err = np.sqrt( covar[0][0] )
+amp_err = np.sqrt(covar[0][0])
-wykladnik_err = np.sqrt(covar[1][1] )
+wykladnik_err = np.sqrt(covar[1][1])
-−
 # test chi2 dobroci dopasowania.
 # Jeśli znamy wariancję błędu pomiarowego można zastosować test chi2 do oceny jakości dopasowania.
 # 	Po pierwsze powinniśmy przetestować czy residua mają rozkład normalny
-−
-residua = funkcja_bledu( b_final, X, Y, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
+residua = funkcja_bledu(X, Y, funkcja_do_fitowania, params_final, sigma)# tym razem residua już są podzielone przez standardowe odchylenie, każde przez swoje
 W, p =st.shapiro(residua)
 print('Test normalności residuów: p = %.3f'%(p))
@@ Linia 378: / Linia 365: @@
 # podlega rozkładowi chi-kwadrat o N - n  ilości stopni swobody (n - ilość fitowanych parametrów), czyli u nas N-2
 # możemy zbadać jakie jest prawdopodobieństwo zaobserwowania takiej, bądź bardziej ekstremalnej wartości chi2:
-−
 N = len (X)
 if chi2 < N-2:
@@ Linia 394: / Linia 381: @@
 p_chi2_zred = np.sum(dist_chi2_zred>=chi2_zred)/float(N_dist)
 print('chi2_zred = %.2f, p_chi2_zred = %.3f' %(chi2_zred, p_chi2_zred))
-−
-−
 ##########
-# rysunek
+# wykres
 ##########
 py.clf()
-py.plot(X, funkcja_do_fitowania(b_final,X))     # Fit
+py.plot(X, funkcja_do_fitowania(X,amp,wykladnik))     # Fit
 py.errorbar(X, Y, yerr=sigma, fmt='k.')  # Dane i błędy
 py.text(5, 6.5, 'amplituda = %5.2f +/- %5.2f' % (amp, amp_err))
@@ Linia 410: / Linia 395: @@
 py.ylabel('Y')
 py.xlim(1, 11)
-py.show()
+py.show()</source>
 ==== Przykład z pracowni ====
 [[TI:Programowanie_z_Pythonem/Zadania_dodatkowe#Wczytywanie_danych_i_wykres| Przykład w odnośniku ]] przedstawia dopasowanie parametrów krzywej opisującej dochodzenie ciała do równowagi termicznej z otoczeniem.

@@ Linia 45: / Linia 45: @@
 </math>
 :<math>
-  \hat b_0=\overline{y}-b\overline{x}
+  \hat b_0=\overline{y}-b_1\overline{x}
 </math>
 Z tymi współczynnikami otrzymujemy równanie opisujące prostą regresji: