Eignungsdiagnostik meets KI - Im Gespräch mit Björn Hommel

Björn Hommel ist Diagnostiker, Psychologe und lehrt an der Universität in Leipzig insbesondere zum Thema Eignungsdiagnostik. Mit seiner Firma magnolia psychometrics forscht er insbesondere an der Verbindung aus Eignungsdiagnostik und KI.

Interview: Jens Bäumer • 17.08.2022

better HR: Du hast dich auf das Thema Testverfahren spezialisiert. Wie bewertest du den deutschen Markt für Eignungsdiagnostik? Ich habe das Gefühl, dass da schon sehr viele Anbieter unterwegs sind.

"In Deutschland besteht im Vergleich zu unseren Nachbarländern noch erheblicher Nachholbedarf."

Björn: Es gibt zwar schon sehr viele Anbieter, aber eben auch einen erschreckend hohen Anteil an Testverfahren, die wir im akademischen Atlas als „pseudowissenschaftlich“ einstufen. Das sind Testverfahren, die nicht ausreichend empirische Evidenz aufweisen, dazu gehören zum Beispiel Typologien-Tests.

better HR: Was konkret macht denn ein (wissenschaftlich) gutes Testverfahren aus?

Björn: In erster Linie muss ein Testverfahren beweisen können, dass es das Merkmal, das wir messen möchten, auch wirklich erfassen kann. Wenn es zum Beispiel um die Persönlichkeit geht, dann muss ein Testverfahren den Nachweis erbringen, dass das abgebildete Merkmal zeitlich stabil ist. Es muss also ausgeschlossen werden, dass es sich um Momentaufnahmen handelt und ein Test nicht nur den aktuellen Gemütszustand einer Person abbildet. Dann greifen natürlich auch die typischen Gütekriterien wie Objektivität, Zuverlässigkeit und Validität. Insbesondere muss ein Test treffende Vorhersagen über das zukünftige Verhalten von Personen machen.

Außerdem gibt es eine Reihe von “soften” Merkmalen, die im universitären Kontext immer ein bisschen stiefmütterlich behandelt werden. Die Akzeptanz von Testverfahren unter Bewerberinnen und Bewerbern ist hierbei besonders wichtig für eine positiveCandidate Experience, aber auch Unternehmen und Organisationen müssen intuitiv den Mehrwert eines Personalauswahlverfahrens erkennen, damit es überhaupt erst eingesetzt wird. Unternehmen unterstellen häufig, dass sich Personen im Rahmen von psychologischen Tests versuchen, besser darzustellen, als es der Fall ist. Das ist aber in Wirklichkeit kein großes Problem.

"Kandidat:innen antworten im Schnitt überraschend ehrlich."

better HR: In der Praxis wenden sich die meisten Testverfahren an verschiedene „Ebenen“ (Manager:innen, Gruppenleiter:innen, Mitarbeiter:innen usw.). Was es weniger gibt, sind funktionsspezifische Tests, also spezifische Tests, zum Beispiel für Sales Mitarbeiter:innen oder Personalleitungen. Sehe ich das falsch?

Björn: Nein, es gibt tatsächlich nur wenige spezifische Testverfahren. Dabei wären solche oft durchaus sinnvoll. Und die Studienergebnisse sprechen auch dafür.

Man kann Persönlichkeitsmerkmale ja sehr breit messen. Aber man kann sie eben auch kontextspezifisch erfassen, zum Beispiel im Vertriebsbereich. Der Vorteil ist, je spezifischer die Persönlichkeitsmerkmale erfasst werden, desto genauer ist die Vorhersage. Im genannten Beispiel etwa die erwarteten Verkaufszahlen.

better HR: Das heißt mit anderen Worten: Spezifische Testverfahren sind besser als nicht spezifische. Sie sind erfolgreicher beziehungsweise haben die bessere Vorhersagekraft. Siehst du eine Ebene höher auch eine Relevanz von branchenspezifischen Tests?

Björn: Das kommt in hohem Maße darauf an, wie homogen oder heterogen die Branche ist. Zudem gibt es auch ein unterschiedliches Verständnis davon, welche Anforderungen mit einer Rolle einhergehen. Ich kann mir vorstellen, dass Vertriebsmitarbeiter:innen oftmals ein homogeneres Anforderungsprofil haben als zum Beispiel Menschen, die im Onlinemarketing arbeiten.

better HR: Auf mich ist ein Unternehmen zugekommen und hat gefragt, welche Führungsqualitäten wir in Zukunft brauchen? Meine spontane Idee war: Lass uns ein Testverfahren aufsetzen, bei dem wir im Vorfeld mit Workshops die wichtigsten Führungsanforderungen herausarbeiten und dann ganz konkret ein Testverfahren dafür entwickeln. Macht das Sinn oder ist das zu spezifisch? Einen Vergleich zu anderen habe ich dadurch ja nicht.

Björn: Die Entwicklung von Testverfahren erfolgt oft auf Basis von Erfahrungsberichten und qualitativen Aussagen von Menschen, die in der betreffenden Rolle sind. Insofern macht es durchaus Sinn. Man kann sich noch überlegen, ob man eher einen „Bottom-Up“ oder „Top-Down“ Ansatz verfolgt. Man könnte zum einen sagen, wir haben die Vision von einer guten Führungsrolle, die dann eher idealistisch geprägt ist und die möchten wir durch psychometrische Testverfahren messbar gestalten. Dann würde man diese Vision in ein Testverfahren “gießen”. Man kann aber auch eine „Bottom-Up-Strategie“ verfolgen, indem man sagt, gute Führung zeigt sich durch spezifische, messbare Ergebnisse. Zum Beispiel durch die Zufriedenheit der Mitarbeiter:innen oder noch spezifischer durch deren Zufriedenheit bezüglich ihrer Führungskraft. Daraufhin könnte man ein Verfahren entwickeln, das darauf abzielt, dieses Outcomes zu maximieren.

better HR: Wie siehst du die Zukunft der Psychometrie der Testverfahren?

Björn: Ein großer Teil meiner Forschung an der Universität Leipzig berührt die Schnittstelle zwischen künstlicher Intelligenz und psychologischer Diagnostik. Wir sehen darin ein großes Potenzial, um die Entwicklung, Anwendung und Auswertung von psychologischen Testverfahren in Zukunft schneller und dennoch präziser zu gestalten. In einer Studie, die letztes Jahr in der Fachzeitschrift „Psychometrika“ publiziert wurde, haben wir gezeigt, wie künstliche Intelligenz zur Sprachverarbeitung im Kontext der Entwicklung von Persönlichkeitstests genutzt werden kann. In dieser Studie haben wir Fragen von einer KI generieren lassen, die auf bestimmte Persönlichkeitsmerkmale abzielen. Diese haben wir mit Fragen aus etablierten Fragebögen verglichen, die das Ergebnis jahrzehntelanger Forschung von psychologischen Expert:innen sind.

"Wir konnten zeigen, dass etwa zwei Drittel der KI-generierten Fragen den üblichen Qualitätsstandards psychometrischer Instrumente entsprechen. "

Das ist ein erster Schritt in eine Richtung, in der wir mittels künstlicher Intelligenz womöglich sehr viel schneller neue Verfahren entwickeln können, ohne dabei auf Qualitätsansprüche verzichten zu müssen. Das würde es auch erleichtern, für spezifische Branchen oder Rollenprofile Testverfahren zu entwickeln, die vom zeitlichen Aufwand jetzt noch viel zu groß sind. Die Entwicklung von psychologischen Testverfahren zieht sich aktuell oft über viele Jahre hinweg.

better HR: Okay, ich fasse noch mal zusammen. Die kontextspezifische Erfassung von Persönlichkeit ist im Vergleich zur generischen Erfassung von Persönlichkeit präziser und aussagefähiger. Sie ist aber durch den individuellen Entwicklungsaufwand aktuell viel zu teuer. KI bietet die Möglichkeit, die Entwicklung künftig deutlich günstiger zu machen, sodass kontextspezifische Persönlichkeitserfassungen stärker in den Vordergrund rücken können. Richtig?

Björn: Genau, richtig.

better HR: Vielen Dank für den spannenden Input.

Wenn Sie Unterstützung bei der Eignungsdiagnostik benötigen, nehmen Sie sehr gerne Kontakt mit uns auf. Mehr zu unseren Beratungsleistungen finden Sie hier.

Photo Credit: Brain technology photo created by rawpixel.com - www.freepik.com