Regression und kleinste Quadrate

Kompetenzcode: WS 5.1

Bereich: Wahrscheinlichkeit und Statistik

Bivariate Daten bestehen aus Wertepaaren $(x_i,y_i)$. Eine Ausgleichsfunktion beschreibt ihren Zusammenhang näherungsweise. Sie soll nicht jeden Punkt treffen, sondern nach einem festgelegten Kriterium insgesamt gut zu den Daten passen.

1. Punktwolke und Ausgleichsproblem

Beispiel 1: Zusammenhang beschreiben

Steigen die Punkte einer Punktwolke von links unten nach rechts oben und liegen sie ungefähr entlang einer Geraden, spricht das für einen positiven linearen Zusammenhang. Eine fallende Wolke deutet auf einen negativen Zusammenhang; eine gekrümmte Struktur kann ein nichtlineares Modell verlangen.

Beispiel 2: Bivariate Daten erkennen

Zu jeder Person werden Lernzeit $x$ in Stunden und Testergebnis $y$ in Punkten erfasst. Da zwei Merkmale paarweise an derselben Person gemessen werden, liegen bivariate Daten vor. Getrennte Mittelwerte allein beschreiben ihren Zusammenhang nicht.

2. Residuen und Fehlerquadratsumme

Für ein Modell $\hat y=f(x)$ ist das Residuum

$$e_i=y_i-\hat y_i=y_i-f(x_i).$$

Ein positiver Wert bedeutet, dass der beobachtete Punkt über dem Modell liegt. Die Fehlerquadratsumme lautet

$$S=\sum_{i=1}^{n}e_i^2.$$

Beispiel 3: Residuum bestimmen

Für den Punkt $(4,11)$ und das Modell $\hat y=2x+2$ ist $\hat y=10$. Daher

$$e=11-10=1,\qquad e^2=1.$$

Beispiel 4: Fehlerquadratsumme vergleichen

Zwei Modelle liefern für drei Punkte die Residuen $(1,-2,1)$ beziehungsweise $(2,0,-2)$. Dann

$$S_1=1^2+(-2)^2+1^2=6,\qquad S_2=2^2+0^2+(-2)^2=8.$$

Nach dem Kleinste-Quadrate-Kriterium passt Modell 1 besser zu diesen Daten.

3. Lineare Regression

Die lineare Regressionsfunktion hat die Form

$$\hat y=kx+d.$$

Mit $\bar x$ und $\bar y$ gelten

$$k=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)} {\sum_{i=1}^{n}(x_i-\bar x)^2}, \qquad d=\bar y-k\bar x.$$

Sie minimiert die Summe der vertikal quadrierten Residuen. Technologie liefert $k$, $d$ und oft auch $r$, wenn die Wertepaare korrekt in zwei Listen eingegeben werden.

Beispiel 5: Regressionsgerade bestimmen

Für $(1,2)$, $(2,3)$, $(3,5)$ sind $\bar x=2$ und . Daraus folgt

$$k=1{,}5,\qquad d=\frac13,$$

also

$$\hat y=1{,}5x+0{,}3333.$$

Beispiel 6: Residuen der Regressionsgeraden

Die Modellwerte zu $x=1,2,3$ sind ungefähr $1{,}8333$, $3{,}3333$, $4{,}8333$. Die Residuen sind

$$0{,}1667,\quad-0{,}3333,\quad0{,}1667$$

und damit

$$S\approx0{,}1667.$$

Die positiven und negativen Residuen zeigen, ob Punkte über oder unter der Geraden liegen.

Beispiel 7: Parameter im Kontext deuten

Beschreibt $x$ Lernstunden und $y$ Punkte, bedeutet $k=1{,}5$: Pro zusätzlicher Lernstunde steigt der modellierte Testwert im Mittel um $1{,}5$ Punkte. $d=0{,}3333$ ist der Modellwert bei . Liegt außerhalb des beobachteten Bereichs oder ist der Wert fachlich unplausibel, soll der Achsenabschnitt nicht überinterpretiert werden.

Beispiel 8: Prognose und Interpolation

Für $x=2{,}5$ liefert das Modell

$$\hat y=1{,}5\cdot2{,}5+0{,}3333\approx4{,}0833.$$

Da $2{,}5$ zwischen den beobachteten Werten $1$ und $3$ liegt, ist dies eine Interpolation.

4. Korrelationskoeffizient und Modelleignung

Der Pearson-Korrelationskoeffizient ist

$$r=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)} {\sqrt{\sum_{i=1}^{n}(x_i-\bar x)^2\sum_{i=1}^{n}(y_i-\bar y)^2}}, \qquad -1\le r\le1.$$

Das Vorzeichen beschreibt die Richtung, der Betrag die Stärke eines linearen Zusammenhangs.

Beispiel 9: Korrelation bestimmen und deuten

Für die drei Wertepaare aus Beispiel 5 ergibt sich

$$r\approx0{,}982.$$

Das bedeutet einen sehr starken positiven linearen Zusammenhang in diesem kleinen Datensatz. Es beweist nicht, dass mehr Lernzeit allein die höhere Punktezahl verursacht.

Beispiel 10: Residuenmuster erkennen

Sind Residuen links und rechts positiv, in der Mitte aber überwiegend negativ, zeigt sich eine gekrümmte Struktur. Trotz eines möglicherweise großen $|r|$ kann eine Gerade ungeeignet sein. Gute lineare Residuen streuen ohne erkennbares Muster um $0$.

5. Andere Ausgleichsfunktionen und Extrapolation

Beispiel 11: Funktionstyp auswählen

Eine ungefähr konstante Differenz pro Zeiteinheit spricht für ein lineares Modell; ein ungefähr konstanter Faktor für ein exponentielles Modell; ein Wendepunkt oder Sättigungsverhalten kann andere Modelle verlangen. Die Wahl wird aus Punktwolke, Kontext und Residuen begründet und anschließend technologisch angepasst.

Beispiel 12: Extrapolation beurteilen

Wird das Modell aus Daten für $1\le x\le3$ bei $x=10$ verwendet, liegt eine Extrapolation vor. Der Rechenwert $15{,}3333$ ist formal leicht bestimmbar, aber wesentlich unsicherer: Außerhalb des beobachteten Bereichs kann sich der Zusammenhang ändern oder das Ergebnis sachlich unmöglich werden.

Typische Fehler

• Wertepaare werden beim Eingeben getrennt oder vertauscht.
• Residuum wird als $\hat y-y$ statt $y-\hat y$ berechnet.

Merksätze

• Die Punktwolke kommt vor der Regressionsrechnung.
• Kleinste Quadrate minimiert $\sum(y_i-\hat y_i)^2$.