Lineare Regression

In der letzten Lektion haben wir gefragt: Hängen zwei Größen zusammen? Jetzt gehen wir einen Schritt weiter und fragen: Kann ich aus der einen Größe die andere vorhersagen? Bei der Wasserfloh-Art Daphnia beobachten wir: Größere Tiere bekommen mehr Nachkommen. Die lineare Regression legt eine Gerade durch die Punktwolke Körperlänge → Anzahl Nachkommen und macht aus „hängt zusammen“ ein handfestes „so viele Nachkommen erwarte ich bei dieser Länge“.

Von der Korrelation zur Regression: jetzt mit Richtung

Der entscheidende Unterschied zur Korrelation : Die Regression hat eine Richtung. Sie behandelt die beiden Variablen nicht mehr gleichberechtigt, sondern unterscheidet eine erklärende Größe X (hier: die Körperlänge) und eine vorhergesagte Größe Y (die Nachkommenzahl). X erklärt Y, nicht umgekehrt. Und sie liefert nicht nur eine Zahl, sondern ein Vorhersagemodell: eine Gerade, mit der du für jede Länge eine erwartete Nachkommenzahl ablesen kannst.

Dahinter stehen zwei Gleichungen, die man sauber auseinanderhalten muss. In der Population (der ganzen Daphnien-Welt) gilt der wahre, unbekannte Zusammenhang:

Aus deiner Stichprobe kannst du α und β nur schätzen. Die geschätzte Gerade heißt:

Wie findet man die beste Gerade? Kleinste Quadrate

Durch eine Punktwolke kann man unendlich viele Geraden legen. Welche ist die beste? Die Methode der kleinsten Quadrate gibt eine klare Antwort: jene Gerade, die die Summe der quadrierten Residuen minimiert. Für jeden Punkt misst man den senkrechten Abstand zur Geraden, also das Residuum, quadriert ihn (damit Über- und Unterschätzungen sich nicht aufheben und große Abstände stärker zählen) und summiert. Die Gerade, die diese Summe so klein wie möglich macht, gewinnt.

Residuen: das Übriggebliebene

Das Residuum eines Tieres ist schlicht Beobachtung − Vorhersage: e = y − ŷ. Liegt ein Tier über der Geraden, ist sein Residuum positiv (mehr Nachkommen als erwartet), liegt es darunter, negativ. Die Residuen sind nicht bloß „Rest“. Sie sind die Grundlage aller Diagnostik: An ihnen liest man später ab, ob das Modell überhaupt passt.

Wie gut sagt das Modell vorher? Das Bestimmtheitsmaß R²

Die Nachkommenzahl streut. Ein Teil dieser Streuung erklärt das Modell (weil größere Tiere eben mehr Nachkommen haben), ein Teil bleibt unerklärt (die Residuen). Das Bestimmtheitsmaß R² ist der Anteil der Y-Variabilität, den das Modell erklärt, die Streuungszerlegung in erklärt und unerklärt:

Ist der Zusammenhang echt? Der Test auf die Steigung

Auch aus völlig zusammenhanglosen Daten ergibt sich rein zufällig fast nie eine perfekt waagerechte Gerade. Ein bisschen Steigung entsteht immer. Der Test prüft die Nullhypothese H₀: β = 0, also „die wahre Steigung ist null, die Gerade bringt nichts gegenüber dem reinen Mittelwert von Y“. Die Teststatistik ist ein t-Wert mit df = n − 2 :

Selbst ausprobieren: der Regression-Builder

Zieh die Punkte und beobachte, wie sich die Kleinste-Quadrate-Gerade, die senkrechten Residuen-Segmente und die Kennzahlen b, a, R² und der p-Wert der Steigung live mitbewegen. Der untere Balken zeigt die Streuungszerlegung (erklärt vs. unerklärt). Hol dir vor allem diesen Aha-Moment:

1. Klick Hebelpunkt hinzufügen: Ein einziger Punkt weit draußen in x (große Länge, wenige Nachkommen) kippt die ganze Gerade und lässt R² einbrechen — obwohl alle anderen Punkte unverändert bleiben. So gefährlich ist ein einzelner einflussreicher Punkt.
2. Zieh einen Punkt weit nach oben oder unten: Sein Residuum-Segment wächst, und R² verschlechtert sich, während die Steigung sich nur leicht dreht.

Hält das Modell? Annahmen & Diagnoseplots

Ein kleiner p-Wert allein macht ein Modell noch nicht gültig. Die lineare Regression ruht auf vier Annahmen, die man an den Residuen überprüft:

• Linearität: der Zusammenhang ist wirklich gerade, kein Bogen.
• Unabhängigkeit: die Beobachtungen beeinflussen sich nicht gegenseitig.
• Varianzhomogenität : die Streuung der Residuen ist über den ganzen X-Bereich gleich groß (kein Trichter).
• Normalität der Residuen: die Residuen sind ungefähr normalverteilt.

So sieht das in R aus

Die Regression rechnest du mit lm() (linear model), die Kennzahlen liest du aus summary() ab:

# Daphnia: Anzahl Nachkommen aus der Koerperlaenge vorhersagen.
model <- lm(nachkommen ~ laenge, data = daphnia)
summary(model)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept) -10.1786     1.1333  -8.982 0.000288 ***
laenge        6.7857     0.3113  21.794 3.77e-06 ***

Multiple R-squared:  0.9896,	Adjusted R-squared:  0.9875
F-statistic: 475.0 on 1 and 5 DF,  p-value: 3.774e-06

Mit plot(model) bekommst du die vier Diagnoseplots: Residuals vs Fitted (soll strukturlos sein), den Q-Q-Plot (soll auf der Diagonale liegen), den Scale-Location-Plot (Varianzhomogenität) und Residuals vs Leverage mit den Cook-Distanz-Konturen, die einflussreiche Punkte markieren. Erst wenn diese Plots in Ordnung sind, darfst du dem winzigen p-Wert vertrauen.

Vorhersagen mit Unsicherheit: KI vs. Vorhersageintervall

Die Gerade liefert für jede Länge x einen Punktwert ŷ. Doch eine Vorhersage ohne Unsicherheit ist wertlos. Und hier lauert eine feine, klausurrelevante Unterscheidung. Es gibt zwei Intervalle, die ganz unterschiedliche Fragen beantworten:

• Das Konfidenzintervall des Mittelwerts (mean response) fragt: Wo liegt die mittlere Nachkommenzahl ALLER Daphnien dieser Länge? Es umschließt die wahre Regressionsgerade und ist relativ schmal.
• Das Vorhersageintervall fragt: In welchem Bereich liegt die Nachkommenzahl EINER EINZELNEN neuen Daphnie dieser Länge? Es ist immer breiter.

Warum ist das Vorhersageintervall breiter? Weil es zwei Quellen von Unsicherheit addiert: die Unsicherheit über die Lage der Geraden selbst (wie beim KI) plus die zusätzliche Streuung eines einzelnen Tieres um die Gerade (der Fehlerterm ε). Ein einzelnes Tier streut eben um den Mittelwert seiner Längenklasse, und diese Extra-Streuung steckt nur im Vorhersageintervall.

In R steuerst du beides über das Argument interval von predict():

# Vorhersage fuer eine neue Daphnie mit Laenge 3.5 mm
neu <- data.frame(laenge = 3.5)

# (a) Konfidenzintervall des Mittelwerts (schmal):
predict(model, newdata = neu, interval = "confidence")

# (b) Vorhersageintervall fuer eine EINZELNE neue Daphnie (breiter):
predict(model, newdata = neu, interval = "prediction")

       fit      lwr      upr
1 13.5714 12.8329 14.3099

       fit      lwr      upr
1 13.5714 10.8762 16.2666

Sitzt es? Drei kurze Fragen

Keine Prüfung, nur eine Selbstkontrolle. Du bekommst zu jeder Frage sofort eine Erklärung.