Multikollinearität in der Regression – woran erkenne ich sie, und was mache ich dagegen?

Hey Robert, Korrelationsmatrix allein reicht tatsächlich nicht, weil die nur paarweise Zusammenhänge zeigt. Multikollinearität kann aber auch entstehen, wenn mehrere Variablen zusammen eine andere erklären, das siehst du in der Matrix gar nicht. Deswegen VIF checken, ist echt der Standard.

Kurz zur Logik: Für jede unabhängige Variable wird eine Hilfsregression auf alle anderen X gerechnet, daraus bekommst du ein R². Der VIF ist dann 1/(1-R²), die Toleranz ist einfach der Kehrwert davon (1-R²). Merksatz: Toleranz und VIF sagen dasselbe aus, nur gespiegelt – kleine Toleranz = hoher VIF = Problem.

Als Faustregel gilt meistens:

• VIF < 5 (manche sagen auch < 10): meist unproblematisch
• VIF > 10 bzw. Toleranz < 0,1: da würde ich definitiv genauer hinschauen

Wichtig: es gibt keinen scharfen Grenzwert, der überall gilt, das hängt auch von Stichprobengröße und Kontext ab. Typischer Fehler ist, dass man nur auf einen einzigen Schwellenwert starrt und den Rest der Diagnostik ignoriert.

Zum Umgang: Rauswerfen ist nur eine Option. Man kann auch Variablen zu einem Index zusammenfassen, zentrieren (v.a. bei Interaktionstermen hilfreich), die Stichprobe vergrößern oder im Extremfall Ridge-Regression nutzen, die genau für solche Fälle gemacht ist. Kommt halt drauf an, wie theoretisch wichtig beide Variablen für deine Fragestellung sind.

Kathi hat das eigentlich schon top erklärt, ich ergänz nur ein paar praktische Erfahrungswerte aus meiner eigenen Bastelecke 😄

Zum VIF: schau dir bei Auffälligkeiten auch mal an, welche Variablen sich das Problem teilen. Oft sind das inhaltlich verwandte Größen (z.B. Kapitaleinsatz und Anlagenwert oder sowas), da lohnt sich die Frage: brauche ich wirklich beide getrennt, oder messen die eigentlich dasselbe Konstrukt aus zwei Blickwinkeln?

Praktisch würde ich folgende Reihenfolge empfehlen:

• Erstmal prüfen, ob die beiden Variablen theoretisch wirklich unterschiedliche Effekte abbilden sollen. Wenn nein: Index bilden (z.B. Mittelwert nach Standardisierung, oder eine simple Faktoranalyse/PCA, wenn du mehr als zwei Kandidaten hast).
• Wenn beide theoretisch wichtig sind, aber halt korrelieren: Stichprobe vergrößern hilft tatsächlich, weil der Standardfehler der Koeffizienten auch von n abhängt – mehr Beobachtungen dämpfen das Problem etwas, auch wenn die Korrelation selbst bleibt.
• Zentrieren bringt vor allem was, wenn du Interaktionsterme oder quadrierte Terme im Modell hast – bei "normaler" Multikollinearität zwischen zwei Haupteffekten bringt's meistens wenig.

Typischer Fehler in Hausarbeiten: Variable einfach rauswerfen, ohne das im Text zu begründen. Der Dozent will meist sehen, dass du das Problem verstanden hast und eine bewusste Entscheidung triffst, nicht nur den Datensatz so lange fütterst, bis die Sterne passen 😉