Multikollinearität in der Regression – woran erkenne ich sie, und was mache ich dagegen?

Hey Robert, Korrelationsmatrix allein reicht tatsächlich nicht, weil die nur paarweise Zusammenhänge zeigt. Multikollinearität kann aber auch entstehen, wenn mehrere Variablen zusammen eine andere erklären, das siehst du in der Matrix gar nicht. Deswegen VIF checken, ist echt der Standard.

Kurz zur Logik: Für jede unabhängige Variable wird eine Hilfsregression auf alle anderen X gerechnet, daraus bekommst du ein R². Der VIF ist dann 1/(1-R²), die Toleranz ist einfach der Kehrwert davon (1-R²). Merksatz: Toleranz und VIF sagen dasselbe aus, nur gespiegelt – kleine Toleranz = hoher VIF = Problem.

Als Faustregel gilt meistens:

• VIF < 5 (manche sagen auch < 10): meist unproblematisch
• VIF > 10 bzw. Toleranz < 0,1: da würde ich definitiv genauer hinschauen

Wichtig: es gibt keinen scharfen Grenzwert, der überall gilt, das hängt auch von Stichprobengröße und Kontext ab. Typischer Fehler ist, dass man nur auf einen einzigen Schwellenwert starrt und den Rest der Diagnostik ignoriert.

Zum Umgang: Rauswerfen ist nur eine Option. Man kann auch Variablen zu einem Index zusammenfassen, zentrieren (v.a. bei Interaktionstermen hilfreich), die Stichprobe vergrößern oder im Extremfall Ridge-Regression nutzen, die genau für solche Fälle gemacht ist. Kommt halt drauf an, wie theoretisch wichtig beide Variablen für deine Fragestellung sind.

Kathi hat das eigentlich schon top erklärt, ich ergänz nur ein paar praktische Erfahrungswerte aus meiner eigenen Bastelecke 😄

Zum VIF: schau dir bei Auffälligkeiten auch mal an, welche Variablen sich das Problem teilen. Oft sind das inhaltlich verwandte Größen (z.B. Kapitaleinsatz und Anlagenwert oder sowas), da lohnt sich die Frage: brauche ich wirklich beide getrennt, oder messen die eigentlich dasselbe Konstrukt aus zwei Blickwinkeln?

Praktisch würde ich folgende Reihenfolge empfehlen:

• Erstmal prüfen, ob die beiden Variablen theoretisch wirklich unterschiedliche Effekte abbilden sollen. Wenn nein: Index bilden (z.B. Mittelwert nach Standardisierung, oder eine simple Faktoranalyse/PCA, wenn du mehr als zwei Kandidaten hast).
• Wenn beide theoretisch wichtig sind, aber halt korrelieren: Stichprobe vergrößern hilft tatsächlich, weil der Standardfehler der Koeffizienten auch von n abhängt – mehr Beobachtungen dämpfen das Problem etwas, auch wenn die Korrelation selbst bleibt.
• Zentrieren bringt vor allem was, wenn du Interaktionsterme oder quadrierte Terme im Modell hast – bei "normaler" Multikollinearität zwischen zwei Haupteffekten bringt's meistens wenig.

Typischer Fehler in Hausarbeiten: Variable einfach rauswerfen, ohne das im Text zu begründen. Der Dozent will meist sehen, dass du das Problem verstanden hast und eine bewusste Entscheidung triffst, nicht nur den Datensatz so lange fütterst, bis die Sterne passen 😉

Robert, genau der Praxistest mit "Variable rausnehmen und schauen, ob die Koeffizienten tanzen" ist super, das würde ich immer zusätzlich zum VIF machen. Ein Zahlenwert allein erzählt dir nämlich nicht, wie instabil dein Modell dadurch tatsächlich wird.

Als ganz groben Richtwert für die Praxis, den ich mir für Hausarbeiten gemerkt habe:

• VIF bis ca. 5: in den meisten wirtschaftswissenschaftlichen Arbeiten unkritisch, da würde ich nicht mal eine Zeile dazu verlieren
• VIF zwischen 5 und 10: kurz erwähnen, einordnen, aber meistens noch vertretbar, wenn der Rest der Diagnostik sauber ist
• VIF über 10: das würde ich in der Hausarbeit explizit diskutieren und eine Entscheidung begründen, sonst zieht dir das der Dozent als Lücke ab

Bei deinen 12-13 bist du also klar in der Zone, wo eine schriftliche Begründung erwartet wird, egal wie du dich am Ende entscheidest. Ein Punkt noch zum Merken: der VIF sagt dir nichts über die Richtung des Bias, nur dass die Varianz der Schätzer aufgebläht ist. Deine Koeffizienten können also theoretisch noch unverzerrt sein, nur eben mit riesigen Standardfehlern, und genau das äußert sich dann in der Instabilität, die du beschrieben hast. Typischer Fehler ist, VIF > 10 mit "die Schätzung ist falsch" gleichzusetzen, das stimmt so pauschal nicht 😉

Den praktischen Test finde ich auch viel aussagekräftiger, als nur auf einen Grenzwert zu schauen. Ich hatte schon einen Fall, bei dem ein VIF auf dem Papier noch akzeptabel aussah, sich die Koeffizienten nach dem Entfernen einer Variable aber deutlich verändert haben. Seitdem prüfe ich beides. Gerade für eine Hausarbeit hilft das, die eigenen Entscheidungen zu begründen. Wer sich nebenbei für Düfte interessiert, kann Parfum Regal hier entdecken.

Ein Aspekt, den ich noch ergänzen würde: Gerade bei zeitreihenartigen oder stark wachstumsgetriebenen Daten (wie euren Produktionsdaten, Robert) lohnt sich zusätzlich der Blick auf den Condition Index aus der Eigenwertzerlegung der (standardisierten) Designmatrix. VIF betrachtet ja immer nur eine Variable gegen den Rest, der Condition Index kann aber auch komplexere lineare Abhängigkeiten zwischen mehreren Variablen gleichzeitig aufdecken, die sich im VIF einzelner Variablen manchmal nicht so stark zeigen. Als Faustregel: Werte über 30 gelten als auffällig, in Kombination mit hohen Varianzanteilen (Variance Proportions) von mindestens zwei Koeffizienten auf derselben Dimension.

Zur Berechnung des VIF nochmal ganz konkret, falls du das selbst nachvollziehen willst statt nur die Softwareausgabe zu lesen:

• Für Variable x_k: Hilfsregression x_k auf alle übrigen x_j
• R²_k aus dieser Hilfsregression entnehmen
• VIF_k = 1 / (1 − R²_k)

Wichtig für die Hausarbeit: Dokumentier nicht nur den VIF-Wert, sondern auch kurz, welches R² aus der Hilfsregression dahintersteckt. Das zeigt dem Dozenten, dass du die Mechanik verstanden hast und nicht nur eine Zahl aus der Software abgeschrieben hast. Bei VIF um 12-13 wie bei euch wäre das R² der Hilfsregression schon bei etwa 0,92, also eine wirklich fast perfekte lineare Beziehung zu den übrigen Regressoren.

Lisa, guter Punkt mit dem Condition Index, das notiere ich mir auch mal für später. Eine Sache würde ich noch zur VIF-Praxis ergänzen, weil ich das in der eigenen Hausarbeit auch erst übersehen hatte: VIF immer auf Basis der tatsächlichen Regressoren im finalen Modell prüfen, nicht auf irgendeiner Vorstufe. Gerade wenn man noch Variablen umkodiert, Dummys erzeugt oder log-transformiert, ändert sich die Kollinearitätsstruktur teils deutlich. Bei kategorialen Variablen mit mehreren Dummys sollte man außerdem nicht den klassischen VIF pro Dummy anschauen, sondern den generalisierten VIF (GVIF), sonst überschätzt man das Problem leicht, weil die Dummys einer Gruppe sich zwangsläufig gegenseitig "erklären".

Zur Doku in der Hausarbeit: ich schreibe immer kurz dazu, welche Software/welches Package ich genutzt habe und ob Konstante mit reingerechnet wurde, das verändert den VIF-Wert nämlich auch manchmal. Und falls jemand das von Hand nachvollziehen will: man kann sich den VIF auch grob über die paarweise Korrelation r zweier Variablen annähern, wenn's wirklich nur zwei sind, die kollinear sind: VIF ≈ 1/(1-r²). Ersetzt die Hilfsregression nicht komplett, hilft aber als Sanity-Check, ob die Softwareausgabe plausibel ist.

Puh, tolle Diskussion, da hab ich selbst noch was mitgenommen (das mit dem GVIF bei Dummys wusste ich ehrlich gesagt auch nicht so genau, danke Kathi 👍). Weil hier aber viel Software-Ausgabe im Raum steht und nicht jeder SPSS, R oder Stata zur Hand hat: der Sanity-Check mit VIF ≈ 1/(1-r²) lässt sich auch super in Excel nachbauen, falls ihr nur zwei verdächtige Kandidaten habt.

• Mit KORREL(Bereich1;Bereich2) holt ihr euch r zwischen den beiden Variablen
• r² einfach quadrieren (oder gleich RGP/RQ für die Hilfsregression nutzen, dazu gleich mehr)
• VIF = 1/(1-r²) in eine Zelle packen, fertig

Wer's "richtig" nach Lehrbuch machen will, also mit echter Hilfsregression bei mehr als zwei Regressoren: Datenanalyse-Tool aktivieren (Datei > Optionen > Add-Ins > Analyse-Funktionen), dann unter "Daten" > "Datenanalyse" > "Regression" die jeweilige X-Variable als abhängige Variable eintragen und die restlichen X als unabhängige. Excel spuckt euch im Ergebnis-Output direkt das R² aus, und daraus rechnet ihr dann von Hand VIF = 1/(1-R²). Macht ihr das für jede Variable einmal durch, habt ihr euren kompletten VIF-Satz ganz ohne Statistiksoftware, und könnt in der Hausarbeit auch noch den Screenshot der Regression als Nachweis mit reinpacken. Fand ich immer gut fürs Gewissen, weil man wirklich sieht, woher die Zahl kommt und nicht nur dem Tool vertrauen muss 😄

Starker Thread, da sind schon richtig viele gute Ansätze zusammengekommen. Ich will noch einen ganz pragmatischen Punkt ergänzen, den ich bei meinen eigenen Einsendeaufgaben in der Elektrotechnik-Richtung öfter genutzt habe: Wenn man den VIF über die Software laufen lässt, lohnt es sich, die Variablen vorher zu standardisieren (also z-transformieren). Das ändert zwar nichts am VIF-Wert selbst, weil der ja aus dem R² der Hilfsregression kommt und das ist skaleninvariant, aber es macht die Koeffizienten in der Hilfsregression viel besser vergleichbar, wenn du dir die Ausgabe genauer anschaust, um zu verstehen, welche Variable wie stark zum Problem beiträgt.

Praktisch gehe ich bei VIF-Checks immer so vor:

• Erst das Gesamtmodell rechnen und R² bzw. F-Test notieren, als Referenzpunkt
• Dann VIF für jede Variable einzeln prüfen und wie Marco schon sagte, die Grenzwerte nicht stur anwenden, sondern im Kontext der Fallzahl sehen, bei kleinen Stichproben sind die Standardfehler ohnehin schon größer
• Zum Schluss den von Robert erwähnten Stabilitätstest, also Variable raus und schauen, ob sich die übrigen Koeffizienten stark bewegen

Gerade der letzte Schritt hat mir in der Hausarbeit mehr gebracht als die reine VIF-Zahl, weil ich damit auch Zusammenhänge sichtbar machen konnte, die nicht sofort offensichtlich waren. Viel Erfolg, Robert, klingt so, als hättest du jetzt ein gutes Werkzeugset für die Diskussion im Text.

Noch eine kleine Ergänzung zur praktischen Berechnung, falls Robert eine gängige Statistiksoftware nutzt und nicht über Excel gehen will: In R bekommt man den VIF z. B. über die Funktion vif() aus dem car-Paket, einfach auf das lm-Objekt des finalen Modells angewendet, dann spuckt sie für jede Variable direkt den Wert aus. Bei Stata reicht nach der Regression der Befehl estat vif, auch das läuft automatisch auf Basis des zuletzt geschätzten Modells, weshalb Kathis Hinweis so wichtig ist: immer nach der finalen Spezifikation rechnen, nicht auf einer Zwischenstufe.

Zur Einordnung der Werte würde ich Markusens pragmatischen Ablauf unterschreiben, nur mit einer kleinen Präzisierung: die Grenzwerte 5 bzw. 10 sind keine formal hergeleiteten Schwellen, sondern Konventionen, die sich in der Praxis eingebürgert haben. Manche Lehrbücher nennen sogar erst ab VIF > 10 "ernsthafte" Multikollinearität, andere schon ab 4-5 Diskussionsbedarf. Deshalb mein Rat: nenn in der Hausarbeit nicht nur den Wert, sondern auch kurz, welche Konvention du zugrunde legst und warum – das nimmt dem Dozenten die Angriffsfläche, dir einen willkürlichen Cutoff vorzuwerfen.

Noch ein Praxishinweis für alle, die mit SPSS arbeiten wie ich: dort bekommt ihr den VIF nicht automatisch angezeigt, sondern müsst ihn bei der linearen Regression explizit anfordern, unter Statistiken gibt's das Kästchen "Kollinearitätsdiagnose". Dann erscheint in der Koeffiziententabelle zusätzlich Toleranz und VIF pro Variable. Wichtig dabei: die Toleranz ist einfach der Kehrwert vom VIF (Toleranz = 1/VIF), manche Lehrbücher und Dozenten reden lieber in Toleranzwerten, also Toleranz unter 0,1 entspricht VIF über 10, Toleranz unter 0,2 entspricht VIF über 5. Falls euer Dozent also mit Toleranz statt VIF kommt, nicht verwirren lassen, ist dieselbe Information nur gespiegelt.

Ein typischer Fehler, der mir am Anfang auch passiert ist: man schaut sich die Kollinearitätsdiagnose-Tabelle (die mit Eigenwerten und Konditionsindex, die Lisa oben angesprochen hat) unten im Output an, aber vergisst, dass SPSS die auch separat ausgibt, zusätzlich zur VIF-Spalte in der Koeffiziententabelle. Für die Hausarbeit würde ich beide Tabellen mitnehmen und kurz referenzieren, dann hat man Einzelbetrachtung (VIF) und Gesamtbetrachtung (Konditionsindex) sauber dokumentiert.

Puh, der Thread ist ja mittlerweile ein kleines VIF-Kompendium geworden, Respekt an alle 👏 Ich will nochmal kurz auf Roberts zweite Frage zurückkommen, die bisschen untergegangen ist: Variable rauswerfen ist nämlich wirklich nur eine von mehreren Optionen.

• Du kannst die kollinearen Variablen zu einem Index zusammenfassen (z. B. Mittelwert oder Summenscore), wenn sie inhaltlich dasselbe Konstrukt messen. Dann verlierst du zwar etwas Trennschärfe, aber keine komplette Information.
• Eine Hauptkomponentenanalyse (PCA) vorschalten und mit den Faktoren statt den Originalvariablen regressieren, das ist in Wiwi-Hausarbeiten tatsächlich gern gesehen, weil's methodisch sauber begründbar ist.
• Ridge-Regression als Schätzverfahren, das mit dem Bias-Variance-Tradeoff arbeitet und speziell für kollineare Designmatrizen entwickelt wurde. Für eine Hausarbeit vielleicht overkill, aber als Ausblick im Fazit macht sich das gut.
• Und ganz pragmatisch: wenn deine Forschungsfrage sich eh nur auf eine der beiden Variablen bezieht, die andere rausnehmen und als Limitation diskutieren, das ist oft die ehrlichste Lösung.

Mein Tipp fürs Fazit: kurz erwähnen, dass du dich bewusst für XY entschieden hast und warum die anderen Optionen für deinen Rahmen nicht passten. Das zeigt Methodenbewusstsein, ohne dass du das Rad neu erfinden musst. Und ja, VIF als harte Zahl daneben zu haben schadet dabei nie 😄

Will nochmal kurz an meinen eigenen Beitrag anknüpfen, weil mir noch ein praktischer Punkt fehlt: Wer die Hilfsregressionen nicht einzeln über das Datenanalyse-Tool durchklicken will, kann sich in Excel auch mit der Funktion RGP() behelfen, das spart bei mehreren Variablen echt Zeit. RGP(Y-Bereich;X-Bereich;WAHR;WAHR) als Array-Formel (mit Strg+Umschalt+Enter, bzw. in neueren Excel-Versionen reicht Enter) eingegeben, gibt euch in der Ergebnismatrix unter anderem das R² direkt mit aus, ohne dass ihr den ganzen Regressions-Output durchsuchen müsst. Dann einfach VIF = 1/(1-R²) daneben rechnen und ihr habt für jede Variable schnell hintereinander den Wert, ohne jedes Mal das Add-In neu aufzurufen.

Ein Tipp noch zur Übersichtlichkeit in der Hausarbeit: ich bau mir da immer eine kleine Tabelle mit Spalten Variable / R² aus Hilfsregression / VIF / Toleranz, und markiere kritische Werte (VIF > 10) per bedingter Formatierung rot. Sieht im Anhang gleich viel aufgeräumter aus als zehn Screenshots von Regressions-Outputs, und der Dozent sieht auf einen Blick, wo’s klemmt 😄 Für den Condition Index, den Lisa angesprochen hat, wird’s in Excel allerdings mühsam, weil ihr da eine Eigenwertzerlegung braucht – das würde ich dann wirklich eher den „großen“ Programmen überlassen, falls verfügbar.