Prädiktive Validität, kurz erklärt
Prädiktive Validität bezeichnet, wie gut ein Auswahlverfahren den späteren Berufserfolg einer Person vorhersagt, ausgedrückt als Korrelationskoeffizient zwischen 0 und 1.
Ein Wert von 0 bedeutet, das Verfahren sagt nichts über späteren Erfolg aus. Ein Wert von 1 wäre eine vollständige Vorhersage, die es in der Praxis nicht gibt. Zwischen diesen beiden Polen liegen alle real eingesetzten Auswahlverfahren, und die Unterschiede zwischen ihnen sind grösser, als die meisten Unternehmen annehmen.
Die Arbeitspsychologen Frank Schmidt und John Hunter haben in einer Metaanalyse verschiedene Auswahlverfahren nach diesem Massstab verglichen. Die folgenden Zahlen zeigen Ihnen, wie weit gängige Verfahren dabei auseinanderliegen.
Was ein Korrelationskoeffizient hier misst
Der Korrelationskoeffizient r beschreibt den statistischen Zusammenhang zwischen zwei Grössen, hier zwischen dem Ergebnis eines Auswahlverfahrens und der späteren Leistung im Job. Ein r von 0 heisst: kein messbarer Zusammenhang. Ein r von 1 hiesse: der Verfahrenswert sagt die spätere Leistung vollständig voraus. In der Praxis bewegen sich alle bekannten Auswahlverfahren irgendwo dazwischen, meist deutlich näher an 0 als an 1.
Wichtig für die Einordnung: r ist keine Prozentzahl und lässt sich nicht direkt als Trefferquote lesen. Aussagekräftiger ist das Quadrat von r, kurz r², der Anteil der späteren Leistungsunterschiede, den das Verfahren tatsächlich erklärt. Bei einem r von 0.20 sind das 4 Prozent. Der Rest, 96 Prozent, entsteht durch andere Faktoren: die Aufgabe selbst, das Team, die Führung, der Zeitpunkt, Zufall.
Die Zahlen nach Schmidt und Hunter
Schmidt und Hunter verglichen unter anderem folgende Verfahren nach ihrer prädiktiven Validität: Unstrukturierte Interviews erreichen einen Wert von r=0.20. Persönlichkeitstests liegen mit r=0.22 in einer ähnlichen Grössenordnung. Ein multimodales Assessment, das mehrere strukturierte Verfahren kombiniert, erreicht dagegen r=0.51.
Der Unterschied zwischen 0.20 und 0.51 wirkt auf den ersten Blick klein. Betrachtet man aber den erklärten Anteil an der späteren Leistung, r², ergibt sich ein anderes Bild: 4 Prozent gegenüber rund 26 Prozent. Ein multimodales Assessment erklärt damit rund sechsmal so viel wie ein unstrukturiertes Interview.
Was ein r von 0.20 praktisch bedeutet
Ein r von 0.20 liegt nahe an dem, was reiner Zufall bei einer grossen Stichprobe erzeugen kann. Das unstrukturierte Interview, in vielen Unternehmen das zentrale Auswahlinstrument, sagt damit kaum mehr über die spätere Leistung aus als ein Münzwurf mit leichter Schlagseite. Das erklärt einen bekannten Effekt: Zwei erfahrene Interviewer sprechen mit derselben Person und kommen zu unterschiedlichen Einschätzungen, ohne dass einer von beiden objektiv falsch liegt. Das Verfahren selbst liefert zu wenig belastbares Signal.
Das bedeutet nicht, dass Interviews wertlos sind. Es bedeutet, dass ihr alleiniger Einsatz als Entscheidungsgrundlage für eine Schlüsselrolle ein hohes Risiko trägt, das selten offen benannt wird.
Warum multimodale Verfahren besser abschneiden
Ein multimodales Assessment kombiniert mehrere Datenquellen, zum Beispiel strukturierte Verhaltensfragen, Arbeitsproben und strukturierte Beobachtung, statt sich auf einen einzigen Eindruck zu verlassen. Jede einzelne Quelle hat eigene blinde Flecken. Kombiniert gleichen sie sich teilweise aus, was die Gesamtvalidität deutlich anhebt.
Für Unternehmen folgt daraus eine klare Konsequenz: Die Wahl des Auswahlverfahrens ist keine Stilfrage. Sie entscheidet mit, wie gross der Anteil an späterer Leistung ist, den eine Entscheidung tatsächlich vorhersagt, und wie viel dem Zufall überlassen bleibt.
Grenzen der prädiktiven Validität
Auch ein Verfahren mit hoher prädiktiver Validität liefert keine Garantie für den Einzelfall. Ein r von 0.51 beschreibt einen statistischen Zusammenhang über viele Fälle hinweg, keine Einzelvorhersage. Einzelne Personen können ein gutes Verfahren bestätigen oder ihm widersprechen, ohne dass der statistische Befund dadurch falsch wird. Für eine einzelne Personalentscheidung bleibt deshalb immer ein Rest an Unsicherheit, den auch das beste Verfahren allein nicht auflöst.
Prädiktive Validität sagt zudem nichts darüber, wofür genau vorhergesagt wird. Ein Verfahren kann allgemeine Leistung gut vorhersagen und trotzdem wenig darüber aussagen, ob eine Person in einer konkreten Rolle die erwartete Wirkung erzielt. Dafür braucht es einen Massstab, der die Rolle selbst konkret beschreibt, nicht nur ein Persönlichkeitsmerkmal misst.
Prädiktive Validität und der Wirkungs-Massstab
Ein hoher r-Wert sagt, dass ein Verfahren allgemeine Leistung gut vorhersagt. Er sagt nichts darüber, wofür eine einzelne Rolle steht und welches Handeln in ihr gefragt ist. Diese zweite Frage beantwortet ein Verfahren nicht von selbst, sie muss vorher geklärt werden.
Ein Wirkungs-Massstab legt für eine Rolle fest, welches Handeln in welchen Situationen erwartet wird, bevor überhaupt beobachtet oder verglichen wird. Prädiktive Validität und ein klar formulierter Massstab ergänzen sich damit: Der eine sagt, wie verlässlich ein Verfahren misst, der andere, was es für eine bestimmte Rolle überhaupt messen soll.
Häufige Fragen
Was ist der Unterschied zwischen prädiktiver und konkurrenter Validität? +
Prädiktive Validität misst den Zusammenhang zwischen einem Testergebnis und Leistung, die erst später eintritt, zum Beispiel nach sechs Monaten im Job. Konkurrente Validität vergleicht Testergebnis und Leistung, die zur selben Zeit erhoben werden. Für die Auswahl neuer Mitarbeitender ist die prädiktive Variante die relevantere.
Warum ist ein r von 1 in der Praxis unmöglich? +
Spätere Leistung hängt von deutlich mehr ab als vom Ergebnis eines Auswahlverfahrens: Führung, Team, Aufgabenzuschnitt, Marktveränderungen, private Lebensumstände. Kein Verfahren kann all das vorab erfassen. Ein vollständiger Zusammenhang wäre deshalb selbst theoretisch nicht zu erwarten.
Gilt r=0.20 für unstrukturierte Interviews überall gleich? +
Der Wert stammt aus einer Metaanalyse über viele Studien und Branchen hinweg und ist ein Durchschnitt. Einzelne Unternehmen oder Interviewer können davon abweichen. Als Faustregel für die Aussagekraft eines rein unstrukturierten Gesprächs bleibt die Grössenordnung aber belastbar.
Wie lässt sich prädiktive Validität im eigenen Prozess erhöhen? +
Der grösste Hebel, den Sie selbst in der Hand haben, ist Struktur: dieselben Fragen und Beobachtungskriterien für alle Kandidatinnen und Kandidaten, kombiniert mit mehreren unabhängigen Datenquellen statt einem einzigen Gesamteindruck. Das ist die Idee hinter einem multimodalen Assessment.