Multikollinearität in der Regression – woran erkenne ich sie, und was mache ich dagegen?

Hey Robert, Korrelationsmatrix allein reicht tatsächlich nicht, weil die nur paarweise Zusammenhänge zeigt. Multikollinearität kann aber auch entstehen, wenn mehrere Variablen zusammen eine andere erklären, das siehst du in der Matrix gar nicht. Deswegen VIF checken, ist echt der Standard.

Kurz zur Logik: Für jede unabhängige Variable wird eine Hilfsregression auf alle anderen X gerechnet, daraus bekommst du ein R². Der VIF ist dann 1/(1-R²), die Toleranz ist einfach der Kehrwert davon (1-R²). Merksatz: Toleranz und VIF sagen dasselbe aus, nur gespiegelt – kleine Toleranz = hoher VIF = Problem.

Als Faustregel gilt meistens:

• VIF < 5 (manche sagen auch < 10): meist unproblematisch
• VIF > 10 bzw. Toleranz < 0,1: da würde ich definitiv genauer hinschauen

Wichtig: es gibt keinen scharfen Grenzwert, der überall gilt, das hängt auch von Stichprobengröße und Kontext ab. Typischer Fehler ist, dass man nur auf einen einzigen Schwellenwert starrt und den Rest der Diagnostik ignoriert.

Zum Umgang: Rauswerfen ist nur eine Option. Man kann auch Variablen zu einem Index zusammenfassen, zentrieren (v.a. bei Interaktionstermen hilfreich), die Stichprobe vergrößern oder im Extremfall Ridge-Regression nutzen, die genau für solche Fälle gemacht ist. Kommt halt drauf an, wie theoretisch wichtig beide Variablen für deine Fragestellung sind.

Kathi hat das eigentlich schon top erklärt, ich ergänz nur ein paar praktische Erfahrungswerte aus meiner eigenen Bastelecke 😄

Zum VIF: schau dir bei Auffälligkeiten auch mal an, welche Variablen sich das Problem teilen. Oft sind das inhaltlich verwandte Größen (z.B. Kapitaleinsatz und Anlagenwert oder sowas), da lohnt sich die Frage: brauche ich wirklich beide getrennt, oder messen die eigentlich dasselbe Konstrukt aus zwei Blickwinkeln?

Praktisch würde ich folgende Reihenfolge empfehlen:

• Erstmal prüfen, ob die beiden Variablen theoretisch wirklich unterschiedliche Effekte abbilden sollen. Wenn nein: Index bilden (z.B. Mittelwert nach Standardisierung, oder eine simple Faktoranalyse/PCA, wenn du mehr als zwei Kandidaten hast).
• Wenn beide theoretisch wichtig sind, aber halt korrelieren: Stichprobe vergrößern hilft tatsächlich, weil der Standardfehler der Koeffizienten auch von n abhängt – mehr Beobachtungen dämpfen das Problem etwas, auch wenn die Korrelation selbst bleibt.
• Zentrieren bringt vor allem was, wenn du Interaktionsterme oder quadrierte Terme im Modell hast – bei "normaler" Multikollinearität zwischen zwei Haupteffekten bringt's meistens wenig.

Typischer Fehler in Hausarbeiten: Variable einfach rauswerfen, ohne das im Text zu begründen. Der Dozent will meist sehen, dass du das Problem verstanden hast und eine bewusste Entscheidung triffst, nicht nur den Datensatz so lange fütterst, bis die Sterne passen 😉

Robert, genau der Praxistest mit "Variable rausnehmen und schauen, ob die Koeffizienten tanzen" ist super, das würde ich immer zusätzlich zum VIF machen. Ein Zahlenwert allein erzählt dir nämlich nicht, wie instabil dein Modell dadurch tatsächlich wird.

Als ganz groben Richtwert für die Praxis, den ich mir für Hausarbeiten gemerkt habe:

• VIF bis ca. 5: in den meisten wirtschaftswissenschaftlichen Arbeiten unkritisch, da würde ich nicht mal eine Zeile dazu verlieren
• VIF zwischen 5 und 10: kurz erwähnen, einordnen, aber meistens noch vertretbar, wenn der Rest der Diagnostik sauber ist
• VIF über 10: das würde ich in der Hausarbeit explizit diskutieren und eine Entscheidung begründen, sonst zieht dir das der Dozent als Lücke ab

Bei deinen 12-13 bist du also klar in der Zone, wo eine schriftliche Begründung erwartet wird, egal wie du dich am Ende entscheidest. Ein Punkt noch zum Merken: der VIF sagt dir nichts über die Richtung des Bias, nur dass die Varianz der Schätzer aufgebläht ist. Deine Koeffizienten können also theoretisch noch unverzerrt sein, nur eben mit riesigen Standardfehlern, und genau das äußert sich dann in der Instabilität, die du beschrieben hast. Typischer Fehler ist, VIF > 10 mit "die Schätzung ist falsch" gleichzusetzen, das stimmt so pauschal nicht 😉

Den praktischen Test finde ich auch viel aussagekräftiger als nur auf einen Grenzwert zu schauen. Ich hatte bei einer Regression schon den Fall, dass ein VIF auf dem Papier noch halbwegs okay aussah, beim Entfernen der Variable aber plötzlich die Koeffizienten deutlich gesprungen sind. Seitdem schaue ich mir beides an. Gerade für eine Hausarbeit kann man damit auch schön begründen, warum man eine Variable drinlässt oder entfernt.