Testtheorien, Testkonstruktion und Psychologische Diagnostik (9)

Testtheorien, Testkonstruktion und Psychologische Diagnostik (9)

• Wir haben über die Gütekriterien gesprochen, Unterpunkt Hauptgütekriterien.
• Stehen geblieben waren wir bei der Validität, Unterpunkt Kriteriumsvalidität.
• Sie erinnern sich, es gibt drei Validitätsarten: Inhaltsvalidität, Kriteriumsvalidität und Konstruktvalidität.
• Die beiden letzten Genannten werden wir uns heute nochmal im Detail anschauen.
• Bei der Kriteriumsvalidität hatten wir festgestellt, dass es mehrere numerische Kennwerte gibt, nämlich so viele numerische Kennwerte, wie es sinnvolle Außenkriterien gibt.
• Und bei der Berechnung der Kriteriumsvalidität sind wir darauf gestoßen, dass es ganz einfach ist, es nämlich wieder mit der Korrelation funktioniert, also dem Mittel, was der Klassiker in der Testtheorie ist.
• Und wir stellen jetzt fest, dass wir beim letzten Mal an diesem Punkt endeten. Ein mögliches Problem bei der Berechnung der Kriteriumsvalidität könnte sein, dass diese Validitätsart nicht unabhängig von den Reliabilitäten, nämlich von Test und Kriterium, ermittelt werden kann.
• Eine eventuelle Minderungskorrektur müsste man einsetzen, wenn man an theoretischen, in Anführungszeichen, Waren oder was bei perfekter Reliabilität-Zusammenhängen interessiert ist.
• Das heißt, in diesen Fällen kann man nicht einfach die Kriteriumsvalidität als bare Münze hernehmen, sondern man muss zunächst noch eine Korrektur vornehmen.
• Daher kommt dieser Begriff Minderungskorrektur.
• Wichtig ist, in der Praxis ist die Kriteriumsvalidität ein sehr bedeutsames Mittel.

Wenn wir eine Minderungskorrektur durchführen, komme ich gerne gleich auf Ihre Frage zurück. Wenn wir eine Minderungskorrektur durchführen, was wird dann gemacht? Also, gehen wir mal in das Wort 'Minderungskorrektur' rein, was wird da gemacht?

Wissen Sie schon etwas darüber? Haben Sie Vorwissen dazu?

Also, was ist gemindert und wird demzufolge korrigiert?

Wissen Sie es?

• Die Streuung ist gemindert.
• Also, eingeschränkt.
• Ich brauche mehr Varianz.
• Ja, mehr Varianz ist eigentlich fast immer gut.
• Ja, es geht in die richtige Richtung, was Sie sagen.

Aber zunächst einmal, was ist gemindert?

• Ganz konkret.

Und muss demzufolge dann korrigiert werden?

• Die Reliabilität der Stichprobe.

Ist gemindert?

• Ja, okay.

Und welche Auswirkungen hat das?

• Wir sind ja beim Punkt Kriteriumsvalidität.

Welche Konsequenz hat das?

• Und daran stören wir uns.
• Die Validität ist schlecht.
• Man kann sagen, lassen Sie mich so formulieren, gemindert ist die Kriteriumsvalidität.
• Weil die Reliabilität, mit der gemessen wurde, diese Korrelation, die ja die Kriteriumsvalidität ist, reduziert.
• Wenn ich jetzt also hergehe und sage, ich könnte perfekt sowohl das Kriterium messen als auch den Test messen.
• Der Test ist meistens im psychodiagnostischen Kontext ein Prädiktor.
• Er ist ein wenig unzuverlässig. Also sagen wir, ein Persönlichkeitstest hätte eine Reliabilität von 0,80. Das heißt, er ist nicht perfekt zuverlässig, aber immerhin ganz ansehnlich, aber nicht perfekt.
• Und das Kriterium, nehmen wir mal an, zum Beispiel das Lehrerurteil bei Schülern, also die Leistungsbeurteilung von Lehrern über Schüler, wäre das Kriterium.
• Dann hat das eine Reliabilität von schätzungsweise 0,50 oder 0,60.
• Das heißt, ich habe sowohl auf der Testseite eine leichte Unreliabilität, und ich habe eine noch größere Unreliabilität auf der Kriteriumsseite, hier im Beispiel Lehrereinschätzung über Schülerleistung.
• Wenn ich diese beiden jetzt aber korreliere, und das würde ich ja machen, um die Kriteriumsvalidität zu berechnen, sagen wir zum Beispiel, was häufig in der pädagogischen Psychologie gemacht wird, der Prädiktor ist ein Intelligenztest, sagen wir, die Reliabilität beträgt 0,85 oder 0,90, soll die Leistung des Schülers vorhersagen, beispielsweise im Abitur.
• Das kann ich zum Beispiel anhand der Lehrereinschätzung machen.
• Dann kann ich das Testergebnis im Intelligenztest korrelieren mit der Leistungseinschätzung, die derselbe Schüler von Lehrern erhält.
• Die Korrelation daraus wäre die Kriteriumsvalidität für diesen Intelligenztest für ein bestimmtes Schulfach, Mathe, Englisch, Physik und so weiter.
• Sie kennen die Fächer noch.
• Daraus würde also eine Kriteriumsvalidität resultieren.
• Diese ist jetzt jedoch, also mit der so berechneten, auf unzuverlässigen Messungen basierenden Kriteriumsvalidität, mit der müssen wir in der Praxis leben, um Vorhersagen zu erzwingen.
• Wenn wir jetzt aber sagen, uns interessiert die Kriteriumsvalidität, wenn wir perfekt messen könnten, sowohl auf Kriteriumsseite als auch auf Prediktorseite. Wenn ich auf beiden Seiten um Unreliabilität korrigiere, hätte ich eine doppelte Minderungskorrektur, weil ich um Unreliabilität auf beiden Seiten korrigiere, sowohl beim Prädiktor als auch beim Kriterium.
• Und eine einfache Minderungskorrektur hätte ich, wenn ich nur auf einer der beiden Seiten um die Verminderung der Kriteriumsvalidität durch die Reliabilität korrigiere.
• Das schauen wir uns jetzt noch im Detail an.
• Und damit kann man recht unseriös arbeiten, wenn man dann nicht mehr vorsichtig damit umgeht.
• Also, wir hatten zunächst festgestellt, dass bei der Kriteriumsvalidität für praktische Vorhersagezwecke, wie sie zum Beispiel bei der Personalauswahl und ähnlichen Kontexten, beispielsweise bei der Studierendenauswahl, vorkommen, müssen wir mit unkorrigierten Werten leben.
• Das ist zunächst einmal wichtig.
• Die gesamte Kriteriumsvalidität, wir werden später auch noch ein paar Beispiele aus dem Kontext der Personalauswahl bekommen.
• Ist besonders bedeutsam für praktische Anwendungen, nämlich, da es die Möglichkeit zur Vorhersage liefert, zum Beispiel den Berufserfolg als Verkäufer auf Grundlage der Kenntnis der Extraversion.
• Also, Extraversion der Testlehre der Predictor und das Kriterium hier der vorhergesagte Berufserfolg.
• Solche Konstellationen gibt es, wie gesagt, häufiger da.

So, wie lässt sich die jetzt ermitteln?

• Die Kriteriumsvalidität lässt sich ermitteln, indem ganz einfach die Korrelation zwischen dem Testergebnis und dem Kriterium berechnet wird, haben wir gerade auch gesagt.
• Man nennt ein solches Kriterium hier Außenkriterium, um es von Binnenkriterien abzugrenzen, wie zum Beispiel dem Skalensummenwert zur Bestimmung der Trennschärfe.
• Also, Außenkriterium heißt einfach, ein Testergebnis wird herangezogen und korreliert mit etwas Testunabhängigem, also einem Außenkriterium.
• Außen heißt außerhalb des Tests.
• Beispiele hierfür sind zum Beispiel Medizinertests. Es gab sie vor ein paar Jahren, dann wurden sie eingestellt, und jetzt gibt es sie wieder in manchen Bundesländern.
• Fremdbeurteilung bei Persönlichkeitstests. Da wäre die Selbstbeurteilung der Prädiktor und die Fremdbeurteilung das Kriterium oder umgekehrt. Das ist hier egal. Oder Schulleistungstests, eben das Lehrerurteil als Außenkriterium.
• Das sind alles Beispiele.

Was glauben Sie überhaupt, weshalb man den Medizinertest damals wieder abgeschafft hat?

Über einige Jahre war er abgeschafft.

Es gab Testtraining-Seminare, richtig?

• Dann ist man sicherlich besser geworden, wenn man das gemacht hat.

Einverstanden?

• Es gab noch einen gewichtigeren Grund, weshalb man sich entschieden hat, den Mediziner-Test wieder abzuschaffen.

Bitte?

Nein, das war nicht direkt der Fall.

• Gut hätte sein können, aber es war nicht direkt der Fall.

Welchen Prädiktor bekommen Sie denn viel billiger?

• Sie wollen den Studienerfolg im Sinne der Abschlussnote vorhersagen.
• Studienerfolg wird häufig operationalisiert, indem man die Abschlussnote heranzieht.

Welchen Prädiktor bekommen Sie schon quasi geschenkt, wenn Sie so wollen?

Wissen Sie es?

Die Abiturnote, genau.

Und was ist besonders für Vorhersagezwecke gut, wenn die Prädiktoren voneinander mehr oder weniger unabhängig sind oder wenn sie stark korrelieren?

Wissen Sie es?

• Wenn sie unabhängig sind.
• Genau, sonst hätte ich redundante Informationen.
• Und genau das war das Problem.
• Die Abiturnote und das Mediziner-Testergebnis haben zu Punkt 80 oder so korreliert.
• Demzufolge hat man sich überlegt, die Abiturnote abzufragen.
• Das ist ganz einfach.
• Das kann man ganz einfach durch eine beglaubigte Kopie, die man dann an die ZVS schickt, überprüfen.
• Ohne große Kosten, wohingegen der Medizinertest einen riesigen Aufwand bedeutete.
• Das war sehr teuer, sehr viel Aufwand und korrelierte nachher sehr hoch mit der Abiturnote, sodass man sich gedacht hat, das sind ja annähernd redundante Prädiktoren.
• Das ist aus ökonomischen Gründen einfach nicht mehr haltbar.
• Und deshalb hat man es dann eingestellt.
• Vielleicht hat man den Medizintest dann modifiziert, weil sonst, wenn man den wieder einführt und es ist wieder das Gleiche, ist es ja eigentlich erschlagen.
• Also, ich weiß jetzt, dass es den nicht mehr bundesweit zentral gibt, meines Wissens machen die Bundesländer jetzt ihre eigene Suppe, aber das von denselben Testautoren wie vorher, die ihn glaube ich ein bisschen modernisiert haben.
• Aber im Wesentlichen ähnelt der eigentlich einem Intelligenztest.
• Also, wenn Sie in Zukunft Dinge vorhersagen möchten, möglichst ökonomisch, achten Sie darauf, dass die Prädiktoren möglichst unkorreliert sind.
• Dann kommen Sie besser zum Erfolg, als wenn die Prädiktoren hochinterkorreliert sind.
• Das war ein kleiner Exkurs.
• Man kann zur Bestimmung der Außenkriteriumsvalidität aber auch Tests mit Tests validieren.
• Hierbei handelt es sich jedoch nicht um echte Kriterien, sondern nur um Quasikriterien, da der Test, an dem validiert wird, selber der Validierung bedarf.
• Wenn Sie Tests mit Tests validieren, ist es halt kein hartes Außenkriterium, sondern nur ein Quasikriterium.

Aber es wird häufig gemacht, da es einfach ist, wenn Sie einen Persönlichkeitstest validieren wollen, was wollen Sie machen?

• Ein richtig gutes Außenkriterium gibt es eigentlich nicht.
• Insofern nimmt man aus der Notlage heraus meistens einen anderen Persönlichkeitstest.
• Also, wir können festhalten, dass die Berechnung der Kriteriumsvalidität technisch sehr einfach ist.
• Man korreliert einfach den Test und das Kriterium, und die Validität hier, in Form von Kriteriumsvalidität, ist nichts anderes als die Korrelation beider.
• Wenn wir uns das jetzt grafisch anschauen - und dafür danke ich auch meinem Kollegen aus Münster für die Bereitstellung dieser Abbildung, von dem Sie schon eine oder zwei andere Abbildungen in dieser Vorlesung gesehen haben.
• Wir haben hier zunächst das Merkmal, das gemessen werden soll.
• Und Sie erinnern sich, Validität misst, ob ein Test das misst, was er vorgibt zu messen.
• Das heißt, idealerweise möchten wir, dass dieser Kreis, das sind jetzt Venn-Diagramme mit überlappenden Kreisen, komplett abgedeckt ist.
• Wenn das der Fall wäre, hätten wir eine Validität von 1,0.
• Eine Validität von 0 haben wir, wenn sich die beiden überhaupt nicht überlappen.
• Wenn diese ein wenig überlappen, haben wir hier 0,5.
• Etwas stärker bei 0,8 und 0,9, da kommen sie schon annähernd zur Deckung.
• Im Prinzip sind wir der Varianz im Kriterium hinterher und würden diese gerne durch unsere Varianz im Prädiktor aufklären.

Okay?

Intuitiv plausibel?

• Okay.

Gut.

• Zur Außenkriteriumsvalidität.

Problem?

• Oft ist kein adäquates Außenkriterium vorhanden, zum Beispiel bei Intelligenz oder Zukunftsängsten.

Ja, was soll man da jetzt hernehmen?

• Bei Intelligenz kann ich als Außenkriterium.

Haben Sie so Behelfsaußenkriterien, die man heranziehen kann?

• Üblicherweise wird das gemacht.

Bitte?

Abiturnote, Schulnoten generell, ja.

• Richtig.

Was könnte man noch heranziehen bei Intelligenz?

Ja?

• Habe ich leider akustisch nicht verstanden.

Berufserfolg?

In so intelligenzlastigen Berufen wahrscheinlich, oder?

• Okay.
• Weil in manchen Berufen kommt man vielleicht auch einigermaßen intelligenzfrei zum Erfolg.
• Ich weiß nicht, böse Zungen behaupten, dass das zum Beispiel bei Popstars der Fall ist…
• Aber sagen Sie, das haben Sie nicht von mir.
• Dass man dort, auch ohne den Intelligenztest gut zu bestehen, relativ weit kommen kann.
• Okay, aber das sind letztlich alles Behelfskriterien, die man heranzieht, weil man nichts Besseres hat.
• Üblicherweise werden deshalb auch Intelligenztests mit anderen Intelligenztests validiert.

Was soll man auch alternativ tun?

• Da die Validitätsformel ja Kriteriumsvalidität hat, heißt das, dass ich mit Ihnen noch verschiedene Kriteriumsarten differenzieren möchte.
• Wir haben es ja eingangs schon ein wenig getan.
• Wir haben nämlich erwähnt, dass es Quasi-Kriterien gibt.
• Echte Kriterien sind zunächst mal die höchstwertigste Art von Kriterium.
• Das sind Kriterien, die semantische und theoretische Ähnlichkeit zum Test aufweisen und zusätzlich von höherem Status sind.
• Zum Beispiel echte Kriterien, echte Gewalttätigkeit als Kriterium für Aggressivität.
• Angenommen, Sie interessieren sich für Aggressionsforschung.
• Wir möchten einen Fragebogen konstruieren, der Aggressivität oder Aggressionstendenz misst.
• Dann wäre es natürlich am allerbesten, wenn Sie auch aus Verhaltensbeobachtungen wüssten, wie aggressiv die Person in der Praxis wirklich ist, zum Beispiel durch ein Manifest.
• Das wäre das beste Kriterium.
• Häufig hat man dies nicht, da man die Personen nicht wie in Big Brother beobachten kann und auch ethische Gründe dagegensprechen.
• Behilft man sich dann mit der etwas niedrigeren Kriteriumsstufe, nämlich den Quasi-Kriterien. Das ist, wenn man semantisch und theoretisch ähnliche Kriterien, allerdings nicht vom höheren Status als der Test, hernimmt.
• Zum Beispiel wird ein Aggressionsfragebogen A als Kriterium herangezogen für den Aggressionsfragebogen B.
• Das ist derselbe Punkt, den wir eingangs angesprochen haben.
• Ich validiere Tests mit anderen Tests, die etwas Ähnliches zum Messen vorgeben.
• Und es gibt noch, das ist dann, sagen wir es mal umgangssprachlich, völlig verzweifelt, Target-Variablen.
• Das sind Kriterien, die weder semantisch noch theoretisch Ähnlichkeit zu den Test-Items haben, sondern einfach nur irgendwie im Sinne von Effektivität vorhergesagt werden sollen.
• Das machen manche Versicherungen.
• Versicherungen leben ja gut davon, oder das Geschäftsmodell von Versicherungen sieht ja so aus, sie zahlen Beiträge dafür.
• Dass etwas sehr unwahrscheinlich ist, für den Fall, dass es passiert, dass Sie dafür eine Prämie bekommen.
• Das heißt, die Versicherungen kalkulieren, wenn sie sie als Klienten annehmen, mit welcher Wahrscheinlichkeit dieser Problemfall bei der zu versichernden Person eintreten wird, und entsprechend wird die Prämie berechnet.
• Das bedeutet, als Versicherung haben Sie Erfolg, wenn Sie die Menschen versichern, bei denen die Wahrscheinlichkeit für Probleme in Zukunft sehr gering ist.
• Dann können Sie Beiträge einnehmen, müssen jedoch kaum etwas auszahlen.
• Deswegen sind da Versicherungsmathematiker, und das sind in erster Linie Leute, die mit Wahrscheinlichkeitsrechnung zu tun haben, damit zu Gange, um herauszufinden, wie hoch ihr individuelles Risiko, ihre individuelle beispielsweise Krankheitswahrscheinlichkeit ist.
• Sie kennen das, wenn sie privat versichert sind. Genau da wird ja nach Risiko ihr Beitrag berechnet und nicht danach, wie viel sie verdienen, wie es in der gesetzlichen Krankenkasse wäre.
• Und hier wird beispielsweise als Target-Variable herangezogen, die Unfallwahrscheinlichkeit. Das ist das Kriterium und die Körpergröße als Fragebogen-Item, was man abfragt bei dem Versicherungsantrag, weil herausgekommen ist, dass größere Leute sich häufiger verletzen.
• Man weiß nicht, warum.
• Ich weiß nicht, ob sie mit dem Kopf irgendwo hängen bleiben, am Türrahmen oder aus welchen Gründen auch immer das passiert.
• Das ist der Versicherung letztlich egal. Wenn größere Leute häufiger Probleme haben, dann müssen sie einen höheren Tarif bezahlen.
• Das wäre eine Target-Variable.
• Und Sie sehen, es hat weder semantisch noch inhaltlich irgendwelche Bedeutung.
• Also für unsere Vorgehensweise, trotzdem kann es in der Praxis natürlich hilfreich sein.
• Sie als Versicherung würden es wahrscheinlich auch abfragen, wenn Sie dieses Vorwissen hätten.
• Ideal wäre es, wenn wir echte Kriterien hätten.
• Häufig ist das leider nicht der Fall.
• Demzufolge sind Quasi-Kriterien die häufigsten Kriterien, die man in der Forschung so findet.
• So, und jetzt haben wir noch ein Beispiel.
• Wir reden ja über Kriteriumsvaliditäten, und die A&O-Psychologen haben sich natürlich auch eine ganze Menge Gedanken gemacht im Kontext von Personalauswahl.
• Und was ich Ihnen jetzt präsentiere, sind zwei riesige Studien, die untersucht haben, inwiefern die Big Five - hier sind sie aufgetragen - also FFM heißt Fünf-Faktoren-Modell-Dimensionen, das sind hier die Big Five, in der Lesart nach Costa und MacRae, inwiefern sie für den Berufserfolg als Prädiktoren geeignet sind.
• Und das Ganze hat man im Rahmen einer Meta-Analyse zur kriteriumsbezogenen Validität von FFM-Persönlichkeitsdimensionen herausgefunden.
• Das hat Herr Schuler gemacht.
• Also diese Darstellung hat Herr Schuler gemacht. Er ist kein Professor für Persönlichkeitspsychologie, sondern Professor für Organisationspsychologie in Hohenheim und einer der großen Player in der Personalauswahl, wenn man so will.

Was hat er also gemacht?

• Er zitiert hier drei große Studien, die jetzt schon ein paar Jahre alt sind, nämlich die von Barrick und Mount aus dem Jahr 1991, Ted und Kollegen aus dem Jahr 1991 und Salgado aus dem Jahr 1997.

Wissen Sie, was eine Meta-Analyse ist?

Eine Meta-Analyse ist, wenn Sie herausfinden wollen, wie beispielsweise diese Fragestellung: Wie hängen die Big Five mit dem Berufserfolg zusammen?

• Dann macht das jemand in einer Studie, beispielsweise mit Handwerkern, ein anderer macht es mit Vertretern, ein anderer mit Top-Managern.

Und Sie fragen sich letztlich, wie sähe das eigentlich aus, wenn wir diese Ergebnisse mit unterschiedlichen Leuten, mit unterschiedlichen Zielgruppen in unterschiedlichen Ländern zusammenführen würden?

• Also, eine Meta-Analyse ist eine Analyse, die viele andere Einzelanalysen und Untersuchungen zusammenfasst und die Ergebnisse miteinander verrechnet, sodass sie nachher so einen Big-Picture-View haben auf die Befunde, die viele Forscher gefunden haben.
• Das ist eine Meta-Analyse.
• Also, Sie dürfen davon ausgehen, dass wenn Sie eine gut gemachte Meta-Analyse finden, dann basieren diese auf zigtausenden von Probanden aus unterschiedlichen Ländern und Kulturen. Sie haben dann wirklich eine sehr solide Schätzung, wie dieser Zusammenhang zwischen Big Five-Ausprägung und Berufserfolg nun wirklich ist.
• Das heißt, der Erkenntnisgewinn auf Grundlage von Meta-Analysen ist in der Regel groß.
• Meta-Analysen zu machen ist auch recht methodisch anspruchsvoll und zeitaufwendig.
• Also, Sie sehen jetzt hier einfach nur diese paar Koeffizienten und Sie finden hier, dass Neurotizismus zunächst mal negativ korreliert mit Berufserfolg.
• Das ist tendenziell auch bei den anderen zu erwarten.
• Sie sehen das hier mit negativen Vorzeichen, allerdings in unterschiedlicher Stärke.
• Man findet im Wesentlichen bei Extraversionen leicht positive Kriteriumsvaliditäten.
• Punkt 13, Punkt 16, Punkt 8.
• Das sind alles jetzt nicht unbedingt Werte, die einen vom Hocker reißen.
• Das sehen Sie sowieso schon auf den ersten Blick.
• Trotzdem kann man, da sie einfach zu erheben sind, trotzdem damit diagnostisch arbeiten, also zur Vorhersage des Berufserfolgs.
• Offenheit für Erfahrungen.
• Hier gibt es jetzt eine große Schwankung.
• In der ersten Studie kaum.
• Kriteriumsvalidität, aber hier bei TED et al.
• Ich vermute mal, dass eher künstlerische Personen daran teilgenommen haben.
• Da dürfte nämlich Offenheit für Erfahrungen ein guter Prädiktor dafür sein, ob man als Künstler beispielsweise beruflichen Erfolg hat.
• Bei Verträglichkeit gibt es auch hier eine Abweichung.
• Hier gibt es annähernd eine Nullkorrelation.

Was glauben Sie, wie kommt das zustande?

• Dass soziale Verträglichkeit als Prädiktor in der ersten Studie und in der dritten Spalte aufgeführten Studie kaum als Prädiktor geeignet ist.
• Bitte.
• Vielleicht ist es im Beruf wichtig, das durchzusetzen und verträgliche Leute eher zu versuchen, dass immer alles super läuft und mit allen Leuten klarkommt.
• Also, das ist ganz richtig, was Sie sagen.
• Der Punkt des Berufserfolgs wird häufig in der westlichen Welt entweder über das Einkommen definiert, das man erhält, oder über die Hierarchie, also wie viele Hierarchiestufen man innerhalb einer bestimmten Zeit erreicht hat.
• Wenn Sie in einem Großkonzern aufsteigen möchten, empfehle ich Ihnen, schon einmal die Ellenbogen einzusetzen, denn das ist nicht so einfach.
• Also, welches Gehacke in Organisationen vorherrscht, werden Sie erleben, wenn Sie es bisher noch nicht erlebt haben, vor allem, wenn Sie dort eintreten.
• Karriere macht man wirklich, man sagt so als Umgangssprache: Karriere ist ein bisschen Sein, Schwein und, es gibt noch ein weiteres Wort, und Schein, genau, danke.
• Also, ich würde sagen, der Schweinaspekt ist nicht zu vernachlässigen, und das ist ja die Unverträglichkeit.

Deshalb findet man übrigens bei Topmanagern häufig negative oder geringe Verträglichkeitswerte.

• Sie können davon ausgehen, dass in den Konzernen das Vorstandslevel sich irgendwann über Jahre hochgearbeitet hat und an deren Stuhl wird eigentlich schon am ersten Tag, wenn sie diesen einnehmen, schon wieder gesägt.
• Also, wenn sie zu verträglich sind, werden sie es in einem Großkonzern niemals nach oben schaffen.
• Ich vermute daher, dass Verträglichkeit als Prädiktor, zumindest nach Barrick und Nord und Salgado, nicht geeignet ist, also eine annähernde Null-Kriteriumsvalidität aufweist.
• Und Gewissenhaftigkeit wird jetzt durchweg positiv gesehen, um Berufserfolg vorherzusagen.
• Wer wiederum kaum Gewissenhaftigkeitswerte hat oder ganz niedrige, ist in der Regel auch Topmanager.

Weshalb?

Brauchen sie das nicht?

Sie haben dafür Ihre Sekretärinnen, würde ich sagen.

• Genau, den Kleinkram machen die anderen.
• Das ist für einen Buchhalter extrem wichtig, beispielsweise diese Detailversessenheit.
• Aber als Topmanager haben Sie dafür Ihre Leute.
• Das ist nicht nötig.

Wie nützlich ist denn so eine Analyse, wenn man sich die Werte so anschaut, zum Beispiel eben bei Verträglichkeit, wenn das zwischen Punkt 01 und Punkt 33 liegt?

Das ist doch eigentlich zum Wegschmeißen, oder?

• Also ich meine, da kann man doch nichts daraus ziehen.
• Also dieser Befund hier ist extrem heterogen und diese beiden auch, ja, stimmt.
• Wegwerfen, so weit würde ich nicht gehen.
• Also, die Studien sind zunächst einmal auf solider Grundlage erstellt.
• Vermutlich hat er hier systematisch eine andere Stichprobe herangezogen, diese Gruppe als die anderen.
• Und darauf ist es zurückzuführen.
• Also, dass sie Rechenfehler gemacht haben, das können wir zu diesem Zeitpunkt eigentlich ausschließen.
• Es werden Stichprobeneffekte sein.

Ja, aber inwiefern ist es dann sinnvoll, sich diese Eigenschaften unabhängig von dem Beruf anzuschauen?

Also, wenn Sie selber schon sagen, dass das eine für den Buchhalter wichtig ist und das andere für den Topmanager, dann macht es überhaupt Sinn, sich das unabhängig davon anzuschauen?

• Nur bedingt.
• Ich gebe Ihnen recht, es wäre besser, wenn man das für bestimmte Jobfunktionen separat untersuchen würde.
• Weil Sie letztlich ja, wenn Sie als Personalauswählerin arbeiten, auch genau für diese Tätigkeit, für die Sie Leute suchen, genau dafür möchten Sie ja eine Prognose haben.
• Insofern wäre ein spezifisches Vorgehen, angelehnt an Jobbeschreibungen, das Beste.
• Stimmt.
• So, und das Ganze kann man jetzt noch einen Schritt weiter treiben.
• Hier wird eine Studie zitiert von den Herren Schmidt und Hunter 1998.
• Das ist auch eine super Studie.

Und sie haben sich jetzt überlegt, gut, was kann man tun?

• Ich habe unterschiedliche Möglichkeiten, Prädiktoren auszuwählen, um Berufserfolg vorherzusagen.
• Und diese Prädiktoren, die sie sich überlegt haben, die es so gibt, stehen hier.
• In dieser Spalte.
• Also, es gibt zunächst einmal allgemeine kognitive Fähigkeitstests, das ist eigentlich eine Übersetzung aus dem Englischen, das heißt General Mental Abilities, das sind einfach Intelligenztests.
• Dann gibt es Arbeitsproben, dann Integritätstests, Gewissenhaftigkeitstests, strukturiertes Einstellungsgespräch kann ich hernehmen, unstrukturiertes Einstellungsgespräch, Fachkenntnistests, Probezeit, biografische Daten, Assessment Center, Interessentests und Graphologie.
• All diese Möglichkeiten habe ich im Wesentlichen als Personalauswähler und Diagnostiker.
• Um Daten über die Versuchspersonen zu erheben oder die Bewerberinnen zu beurteilen, um dann auf dieser Grundlage meine Vorhersage zu treffen.

Und was jetzt interessiert. Und deswegen auch eingangs schon die Frage: Wie sollten Prädiktoren untereinander stehen, psychometrisch, um eine möglichst gute Vorhersage zu treffen?

• Was Sie hiermit unabhängig beantwortet haben.

Fragt man sich jetzt: Okay, wenn wir hier das als Menü verstehen, aus dem wir aussuchen können für Vorhersagezwecke, was lässt sich idealerweise für eine gute Vorhersage kombinieren?

Wann erreiche ich die beste Vorhersage?

• Und genau das ist in dieser Tabelle abgetragen.
• Sie finden nämlich hier zunächst mal. Hier steht Validität.
• Das ist natürlich eine Kriteriumsvalidität, wie Sie wissen.
• Jeweils eine Validität für das Verfahren allein.
• Also, wenn ich nur Graphologie hernehme, um Berufserfolg vorherzusagen, habe ich eine annähernde Nullvalidität.
• Wenn ich nur Interessentests hernehme, Punkt 10, dann schauen wir mal am Ende des Spektrums. Nehme ich nur einen Intelligenztest, habe ich eine Kriteriumsvalidität von Punkt 51.
• Das muss jetzt aber noch nicht das Ende der Fahnenstange sein.
• Ich kann ja noch Prädiktoren kombinieren.
• Wenn ich jetzt hergehe und das haben sie jetzt hier in dieser Tabelle schön aufgeführt, angenommen, ich mache einen Intelligenztest und füge eine Arbeitsprobe hinzu, ergibt sich eine Kriteriumsvalidität von 0,63. Hier steht dann, dass die inkrementelle Validität, also inkrementell bedeutet, der Zugewinn an Validität wäre 0,12 im Vergleich dazu, wenn ich nur den Intelligenztest alleine gemacht hätte.
• Das wären in Prozent ausgedrückt 24 Prozent Kriteriumsvaliditätszuwachs, wenn ich zusätzlich zur Intelligenztest noch eine Arbeitsprobe hinzunehme.
• Wenn ich jetzt Intelligenztest mit Integritätstest kombiniere, komme ich sogar auf eine gepoolte Kriteriumsvalidität von 0,65.
• Das ist noch höher.
• Und wenn Sie hier diese Spalte durchgehen, dann sehen Sie, dass dies das Allerhöchste ist, was erreichbar ist.
• Und Sie wissen auch, ein Intelligenztest - ich sage es den Studierenden im Grundstudium gerne so vereinfachend - die Persönlichkeitspsychologie besteht aus zwei Ebenen.
• Eine Ebene ist die Intelligenz, also die kognitive Leistungsebene.
• Eine andere Ebene ist die Persönlichkeit im engeren Sinne.
• Also übliches, charakteristisches, typisches Verhalten versus maximales Verhalten bei Intelligenztests.
• Und demzufolge dürfen Sie davon ausgehen, dass Intelligenztests und Integrity, also Integritätstests, da sie ja zwei verschiedenen Herkünften entstammen, kaum korreliert sind. Deshalb ist sozusagen eine Heranziehung von kaum korrelierten Prädiktoren zu Vorhersagezwecken hier besonders zielführend. Im Sinne davon resultiert eine hohe Kriteriumsvalidität.
• Nämlich Punkt 65, das ist schon ganz toll.
• Wenn Sie jetzt hergehen und sagen, Sie nehmen Intelligenztest mit einem normalen Gewissenhaftigkeitstest, das ist eigentlich fast dasselbe wie ein Integritätstest, nur ist der normale Gewissenhaftigkeitstest nicht berufsbezogen.
• Dann komme ich auch auf Punkt 60.
• Was das Schöne ist vielleicht für Sie als zukünftige Bewerber, ist, wenn man einen Intelligenztest hernimmt und diesen mit einem strukturierten Einstellungsgespräch kombiniert, komme ich auf Punkt 63.
• Das ist auch ein sehr toller Wert.
• Wenn ich allerdings sage, ich will meine Bewerber auf keinen Fall durch die Intelligenztestmühle drehen, dann kann ich auch, und das ist die gute Botschaft, dann kann ich auch einfach nur ein strukturiertes Einstellungsgespräch nehmen als Prädiktor und habe auch eine Validität von Punkt 51.
• Wenn es darum geht, den Aspekt nennt man häufig auch soziale Validität, das ist keine testtheoretische Validität, sondern nichts anderes als soziale Akzeptanz.
• Wenn es darum geht, dann scoren die Einstellungsgespräche bei den Bewerberinnen und Bewerbern am höchsten.
• Deshalb werden häufig strukturierte Einstellungsgespräche mittlerweile geführt.
• Finde ich auch persönlich am sympathischsten.
• Trotzdem darf man sich nicht die Augen davor verschließen, das ist ein ganz gesicherter Befund, auch aus anderen Studien. Intelligenztests als Prädiktoren für Berufserfolg sind ziemlich gut, wenn der Intelligenztest gut ist.
• Das ist erstaunlicherweise der Fall.

Hatten Sie nicht noch eine Frage?

Oder haben wir die schon geklärt?

• Schon geklärt, gut.
• Das heißt, die höchste Kriteriumsvalidität hat die Arbeitsprobe.
• Die ist aber häufig relativ schwierig durchzuführen.

Oder man könnte auch sagen, na gut, warum nimmt man nicht die Probezeit?

• Die hat immerhin auch eine Kriteriumsqualität von Punkt 44 und derjenige hat wahrscheinlich damit die wenigsten Probleme, weil in dem Beruf muss er sich nachher, in dem Job muss er sich nachher bewähren.
• Dann kann er den ja vielleicht auch mal machen und dann sieht man ja, wie gut das sein wird.

Weshalb macht man das in der Praxis dann häufig nicht?

Bitte, Frau Schöning.

• Das geht nicht, und es wäre sehr teuer, wenn derjenige sich dann einen Monat da einarbeitet und man sagt dann, nee, das war es jetzt doch nicht so.
• Das ist auch für eine Organisation sehr teuer, aufwendig und sehr unangenehm für beide Seiten.
• Okay, das heißt, wenn wir Intelligenztest mit einem weiteren Prädiktor kombinieren, dann können wir Kriteriumsvaliditäten von 0,65 erreichen. Das ist dann schon Champions League, sozusagen.
• Also, wenn Sie so wollen, liefert diese Tabelle eine Grundlage dafür, wie Sie Prädiktoren geschickt kombinieren können, um nachher möglichst viele Informationen für Ihre Vorhersagezwecke herauszuziehen.
• Gut.
• Jetzt schauen wir uns noch an, es gibt zwei Arten von Kriteriumsvalidität.
• Die sich unterscheiden nach dem Zeitpunkt der Erhebung der Kriterienwerte. Also, die Berechnung ist für beide gleich, nur der Zeitpunkt ändert sich. Die konkurrierende Validität - konkurrierend bedeutet auch gleichzeitige Kriteriumsvalidität - bezieht sich darauf, dass Kriterium und Prädiktor gleichzeitig erhoben werden. Oder die prädiktive Kriteriumsvalidität - das wäre die Vorhersagevalidität. Das bedeutet, ich erhebe erst den Prädiktor. Also, zum Beispiel mache ich heute mit Ihnen den Intelligenztest und in zehn Jahren, wenn Sie die Uni längst vergessen haben, schreibe ich Sie nochmal an und möchte herausfinden, wie erfolgreich Sie im Beruf waren.
• Das wäre dann prädiktive Validität.
• Ein Beispiel dafür.
• Gut, da steckt also nicht mehr viel sonst dahinter.
• So, jetzt kommen wir hier zu dem Punkt Kriteriumsvalidität und Minderungskorrektur, den wir schon angerissen haben und jetzt aber in die Tiefe führen wollen.
• Wir wissen, Kriteriumsvaliditäten sind Korrelationen, und die Höhe dieser Korrelation wird durch die Reliabilitäten von Prädiktor und Kriterium mitbestimmt.
• Wir hatten ja gesagt, die Kriteriumsvalidität ist gemindert, weil die Reliabilitäten, mit denen Kriterium und Prädiktor gemessen wurden, nicht perfekt sind.
• Und diese Minderung aufgrund von Unzuverlässigkeit im Prädiktor und Kriterium kann man korrigieren.
• Daher der Begriff Minderungskorrektur.

Wir schauen uns jetzt mal an, wie man das macht?

• Grundsätzlich gilt, dass mit einer Erhöhung der Zuverlässigkeit des Prädiktors und/oder des Kriteriums sich auch die Kriteriumsvalidität erhöht.
• Das heißt, eine Minderungskorrektur würde überhaupt keinen Sinn machen, wenn ich schon perfekt reliabel mit Prädiktor und Kriterium gemessen habe.
• Ist klar, weil dann ist nichts gemindert, da keine Korrelation aufgrund von Unzuverlässigkeit gemindert ist.
• Okay, aber da wir den Fall eigentlich in der Realität so gut wie nie haben, dass wir mit perfekter Reliabilität messen, gibt es das kaum.
• Das dient jetzt nur didaktischen Zwecken, die Anmerkung.
• Da in der Praxis, wie gesagt, keine perfekten Maße existieren, sollen für Vorhersagezwecke die unkorrigierten Werte benutzt werden.
• Haben wir eingangs schon gesagt, zum Beispiel beim Thema Personalauswahl bitte nur unkorrigierte Werte nehmen.

Wozu dann überhaupt noch Minderungskorrigieren?

• Da gibt es eigentlich drei Motivationen zu.
• Das ist der Neugieraspekt, der Forschungsaspekt, die gehören eigentlich ziemlich stark zusammen.
• Neugier, Forschung und Wahrheit in Anführungsstrichen.
• Wahrheit im Sinne von 'Was wäre, wenn'.
• Ein Beispiel dafür könnte sein, wenn Sie heute hergehen und einen Kreativitätstest entwickeln wollen.
• Dann stellen Sie häufig fest, dass Kreativität jetzt deutlich schwerer zu messen ist als andere Konstrukte in der Psychologie, da man das nicht so normal machen kann wie in einem klassischen Intelligenztest mit vorgegebenen Lösungen. Derjenige muss ja neue Alternativen produzieren.
• Das führt dazu, dass die Reliabilität von Kreativitätstests im Moment nicht besonders gut ist.
• Das bringt das Konstrukt mit sich.
• Wenn Sie jetzt zum Beispiel theoretisch gerne wissen würden, wie stark Intelligenz eigentlich mit Kreativität zusammenhängt, können Sie den ziemlich zuverlässigen Intelligenztest bei einer Stichprobe verwenden und das mit dem Testergebnis korrelieren, das die Personen im Kreativitätstest erzielt haben.
• Sie berechnen damit nichts anderes als eine Kriteriumsvalidität.
• Sie wissen aber auch, dass diese Kriteriumsvalidität ja gemindert ist, in erster Linie aufgrund der Unzuverlässigkeit des Kreativitätstests.
• Wenn Sie jetzt also hergehen und sagen: 'Wir können im Moment Kreativität noch nicht reliabel messen, aber mich interessiert, wenn wir es könnten. Wenn wir mit akzeptabler Reliabilität Kreativität messen könnten, wie hoch wäre dann die Kriteriumsvalidität von Kreativität mit Intelligenz?'
• Das wäre so ein Was-wäre-wenn-Fall.

Eine Neugier, die in der Forschung steckt und gleichzeitig diesen Wahrheitsaspekt abdeckt im Sinne von, wie hängen diese Konstrukte eigentlich zusammen, wenn wir perfekt messen könnten?

• Das wäre ein Fall für eine Minderungskorrektur.
• Da gibt es zwei Arten, ich hatte es sehr am Anfang schon erwähnt.
• Es gibt die doppelte Minderungskorrektur und demgegenüber die einfache Minderungskorrektur.
• Zunächst zur doppelten.
• Die doppelte gleicht Reliabilitätsmängel von Predictor, das ist in der Regel ja der Test, und dem Kriterium aus.
• Doppelt setzt auf beiden Seiten dann auf Predictor und Kriterium.
• Seite wird um Unreliabilität korrigiert.
• Und die einfache dagegen, die einfache Minderungskorrektur, die gleicht Reliabilitätsmängel des Tests oder des Kriteriums aus, also einfach im Sinne von, es wird nur auf einer der beiden Seiten um Unreliabilität korrigiert.
• Bitte.

Kreativität und Kreativität vorherzusagen nehmen würde, weil der Punkt reliabel ist, oder?

Genau, zurück auf das Beispiel Kreativität, Intelligenz, wie hängen die theoretisch zusammen?

• Dann habe ich den Intelligenztest mit einer Reliabilität von, sagen wir, Punkt 90. Da brauche ich eigentlich nicht mehr korrigieren, die Reliabilität ist absolut in Ordnung.
• Wohingegen vielleicht die Reliabilität von Punkt 40 im Kreativitätsbereich dringend einer Korrektur bedarf.
• Und dann würde ich in diesem Beispiel in der Regel eine einfache Minderungskorrektur vornehmen.
• Die Frage dabei ist: Wie lässt sich auf dieser Grundlage die Korrelation der wahren Werte bei einem Test, die uns ja interessiert und die ja höher sein müsste, selbst wenn man absolute Reliabilität unterstellte, bestimmen.
• Das heißt, wir schauen uns jetzt genau an, wie man diese doppelte Minderungskorrektur berechnet.
• Und da liefert Herr Spearman eine schöne Formel, um die Korrelation der wahren Werte zweier unzuverlässiger Tests zu schätzen.
• Zweier bedeutet also, dass sowohl auf der Prädiktor- als auch auf der Kriteriumsseite korrigiert wird.
• Und diese Formel sieht einfach so aus.

Also, wie hängen die wahren Werte zusammen?

Das ist die gleiche Art der Fragestellung, wie hängen Kreativität und Intelligenz eigentlich zusammen, wenn wir zuverlässig messen könnten?

• Also eine Was-wäre-wenn-Frage, die man für praktische Vorhersagezwecke, wie gesagt, nicht benutzt.
• Das ist ganz einfach.
• Sie sehen hier, die Korrelation der wahren Werte von den beiden Tests oder von Predictor und Kriterium ist einfach die beobachtete Korrelation.
• Zwischen den beiden, durch die Wurzel der Reliabilität des einen Tests mal die Wurzel der Reliabilität des anderen Tests.
• Und diese Formel, die kann ich auch nehmen, um die einfache Minderungskorrektur zu berechnen.

Wie mache ich es dann?

• Warten Sie noch einen Moment ab, dann sehen wir es.
• Dementsprechend einfache Minderungskorrektur. Es wird nur um die Unreliabilität eines Tests oder einer Variablen korrigiert.
• Die Bedeutung davon zeigt, welche Validitätszuwächse zu erwarten wären, wenn man einen Test zuverlässig machen würde.
• Und die unten genannte Formel, das ist die gleiche wie die, die Sie gerade gesehen haben, ist ja von der Doppelminderungskorrektur bekannt.
• Ein Wurzelterm. Und da sehen Sie jetzt die Anwendung auf die einfache Minderungskorrektur. Ein Wurzelterm wird bei der einfachen Minderungskorrektur gleich 1.
• Weil Sie so tun, Wurzel aus 1 ist 1.
• Weil sie bei einer Seite so tun, als wäre die perfekt reliabel.

Also dieselbe Formel kann man hernehmen für beide Berechnungsarten.

• Schauen wir uns das praktisch an, weshalb man damit jetzt ein wenig schlechte Daten schönen kann mit dieser Minderungskorrektur, weshalb die auch umstritten ist.
• Werfen wir einen Blick darauf.
• Gegeben sind drei Tests von ähnlicher Länge, jedoch unterschiedlichen Reliabilitäten und Validitäten.
• Sie sehen hier, also der Test A hat eine Reliabilität von Punkt 30, also wow.
• Er hat eine Validität von Punkt 50.
• Und das Kriterium hat eine Reliabilität von Punkt 95.
• Und hier wird jetzt aber trotzdem eine doppelte Minderungskorrektur gerechnet, obwohl das nicht nötig wäre, weil das Kriterium ja eine annähernd perfekte Reliabilität hat.
• Aber gut, hier wird jetzt sozusagen auch noch das letzte bisschen wegkorrigiert.
• Dann sehen Sie, durch die minderungskorrigierte Validität, die Ausgangsvariabilität war ja unkorrigiert, Punkt 50, und wenn ich die Minderungskorrektur doppelter Natur vornehme, in Gestalt dieser Rechnung, bin ich auf einmal bei einer Validität von Punkt 93.
• Das heißt, die Validitäten, genauer gesagt die Kriteriumsvaliditäten, schießen nach oben durch die Minderungskorrektur.
• Und Sie sehen das hier auch.
• Hier haben wir eine Reliabilität von Punkt 40 beim Predictor, eine Validität auch von Punkt 50 nach der Korrektur.
• Ich komme also von Punkt 50 nach der Korrektur auf Punkt 81.
• Das ist auch ein heftiger Zugewinn.
• Hier noch trashiger Test C, Reliabilität von Punkt 20, Validität von Punkt 40 nach der Korrektur.
• Doppelter Minderungskorrektur kommt ja annähernd auf Punkt 92.
• Das heißt, ein Test macht einen Validitätssprung von Punkt 40 auf Punkt 92.
• Das ist gigantisch.
• Und Sie können sich jetzt vorstellen, dass manche Forscher natürlich gerne die Minderungskorrigierten Werte lieber publizieren, weil das deutlich interessanter klingt, als jetzt so schlechtere Rehabilitäten, wie sie beispielsweise hier genannt sind.
• Also, wenn Sie etwas über Minderungskorrektur in Forschungsartikeln lesen, empfehle ich Ihnen sehr dringend, zunächst mal die Ohren weit aufzusperren oder besser gesagt die Augen und darüber nachzudenken, ob es in diesem Fall wirklich angemessen war, eine Minderungskorrektur vorzunehmen.

Warum sollte ich es bei den praktischen Vorhersagen eigentlich nicht machen?

• Man sollte es deshalb nicht machen, weil man mit den Messfehlern im Praxiskontext leben muss.
• Wenn Sie Personalauswählerin sind, dann haben Sie nur das Ihnen zur Verfügung stehende Methodeninstrumentarium, wie zum Beispiel Verhaltensbeobachtung, Assessment Center, strukturiertes Interview und wenn die halt nicht reliabel sind oder nicht ausreichend genug reliabel, müssen Sie sich dann das Beste heraussuchen und mit den Fehlern leben.
• Das ist der Grund.
• Diese 'Was wäre wenn' und theoretisch wäre doch hier und da und eigentlich messen wir ja super valide.
• Das nützt Ihnen für die Praxis nichts, deshalb müssen Sie die unkorrigierten Werte nehmen.

Wieso geht man jetzt eigentlich immer davon aus, dass dann die Validität steigt?

• Weil es könnte doch sein, wenn man jetzt eigentlich denkt, dass, keine Ahnung, das Messgerät eigentlich genauer wäre, dass dann, also es wird berechnet, als ob das Messgerät genauer messen würde, als es eigentlich tut.
• Aber dann könnte es doch sein, dass dann irgendwie rauskommt, dass eigentlich gar kein Zusammenhang besteht zwischen Kreativität und - was hatten wir als Beispiel? - dass es weniger wird und nicht mehr, wenn man es genauer messen würde.
• Der Grund ist, daher kommt ja der Name Minderungskorrektur, weil die Reliabilitäten, mit denen diese fiktiven Tests A, B und C hier arbeiten, so niedrig sind, dass auch die Kriteriumsvalidität gemindert ist.
• Das liegt daran, es geht letztlich auf Varianzen zurück, so wie Sie es eingangs gesagt haben.
• Das ist der Grund.
• Diese Minderung kommt zustande, weil die Reliabilitäten so schwach sind.
• Und deshalb tut man ja hier so durch die Minderungskorrektur, wir hätten eigentlich perfekte Reliabilitäten und dann haben wir natürlich auch traumhafte Validität.
• Das ist die Idee dahinter.
• Vielleicht fragen Sie gleich noch einmal, wenn es Ihnen noch nicht klar geworden ist.
• Ich habe eigentlich auch noch eine Frage dazu.

Also könnte es nicht sein, dass man, dadurch dass man einfach ungenau misst, die Korrelation zwischen Prädiktor und Kriterium überschätzt?

Also, dass sozusagen da irgendwie dann noch so ein Zufall drin ist durch die Ungenauigkeit?

• Also ist mir nicht bekannt, dass das so ist.
• Wirklich nicht.

Haben Sie so etwas mal gehört?

Nee, aber wir haben uns nur gedacht, warum nimmt man einfach an, dass durch genauere Messinstrumente auch die Korrelation steigen muss?

• Das ist letztlich eine varianzanalytische Begründung, wenn Sie so wollen.
• Also man weiß auf jeden Fall, wenn die Reliabilitäten perfekt wären, dann gäbe es keine Minderung in den Kriteriumsvaliditäten.
• Deshalb simuliert man diesen Fall durch diese Berechnung.
• Aber dann geht man ja immer von einem Zusammenhang zwischen irgendetwas aus.
• Vielleicht besteht ja gar kein Zusammenhang zwischen wirklicher Kreativität und vielleicht der Intelligenz im mathematischen Denken.
• Jetzt hat man das da irgendwie berechnet und macht die Minderungskorrekturen plötzlich.
• Ja, super Zusammenhang.
• Denn wenn kein Zusammenhang bestünde, ich aber trotzdem hochreliable Messinstrumente hätte, dann bringt auch die Korrektur nichts.
• Also diese Minderungskorrektur, die schafft jetzt keine Zusammenhänge, die eigentlich nicht da wären, sondern es berichtet nur welche, die auch wirklich da sind.
• Und hier, jetzt maskiert werden durch Unreliabilität.
• Also, man kann dadurch jetzt nicht sozusagen Konstrukte ganz nah zusammenrücken, die eigentlich nicht zusammengehören.
• Das geht nicht.

Weitere Fragen?

• Ja, okay, bitte.
• Diese Minderungskorrektur betrifft immer nur die Kriteriumsvalidität.
• Minderungskorrektur bezieht sich im Kontext dieser Veranstaltung nur auf Kriteriumsvalidität, ja.

Haben Sie es noch in einem anderen Kontext gehört?

• Nee, nee, ist schon so.

Wann genau wird sie denn verwendet?

• Weil es ja die Ergebnisse doch ein bisschen verzerrt.
• Ja, sie wird verwendet, weil Forscher gelegentlich gerne diese Was-wäre-wenn-Frage stellen, die ich versucht habe, mit dem Kreativitäts- und Intelligenzbeispiel beispielsweise darzustellen, wenn sie so wollen, aus Neugiergründen in der Regel und manchmal auch, um seine Ergebnisse zu verschönern.
• Und das ist der Punkt: Wenn Sie den Eindruck haben, mit einem Forschungsartikel, hier möchte jemand seine schlechten Kriteriumsvaliditäten aufpolieren, dann sollte bei Ihnen die Alarmglocke schrillen und Sie sagen, okay, das ist unseriös.

Wie würden Sie wählen, wenn nächste Woche Wahl wäre?

Wie würden Sie wählen, wenn nächste Woche Wahl wäre?

Sie meinen, diese Frage ist unzuverlässig?

• Ja, eigentlich schon, weil es ja eine Was-wäre-wenn-Frage ist.
• Also ich meinte mit Was-wäre-wenn-Fragen eigentlich, dass man sagt, die hängen zwei Konstrukte eigentlich zusammen.

Also die Sonntagsfrage, die Sie kennen aus der Nachrichtensendung, ist auch eine Was-wäre-wenn-Frage, nämlich was wäre, wenn Sie jetzt heute wählen?

Das ist aber nicht klassisch in dem Test theoretisch so, wie wir es hier verwenden. Wie in diesem Konstruktbeispiel hängen Kreativität und Intelligenz eigentlich zusammen?

• Das ist eigentlich in den Studien nicht erlaubt, wenn man seine Ergebnisse präsentiert. Der Erinnerungskultus, sondern höchstens, wenn man einfach auf der Suche ist, sozusagen.
• Wenn Sie ein theoretisches Erkenntnisinteresse haben als Forscher, dann können Sie schreiben, wir haben spaßeshalber oder neugierhalber mal Minderungen korrigiert und da kam dann das und das raus. Das ist völlig in Ordnung.
• Nur als Praktikerin, bitte nicht.

Ja?

• Es geht, glaube ich, um die gleichen Sachen, aber bitte nochmal ein bisschen dezidierter.
• Sie hatten eben gesagt, Ohren aufstellen und schauen, ob das seriös war oder nicht, ob es da sozusagen überhaupt angebracht war.
• Genau.

Können Sie noch ein bisschen so eine Grenze aufzeigen?

Also, in dem Fall ist es eher angebracht?

• War das jetzt nur das, wenn ich in der Theorie…
• Exakt.
• Aber wann habe ich denn veröffentlicht…
• Also, wie stellt sich das dann dar, dass ich dann die Ohren aufsperren muss, wenn ich weiß, okay, das ist so.
• In diesem Sinne, sehr geehrter Herr Präsident.
• Sie werden feststellen, warum ich das sage. Gelegentlich finden Sie in unseriösen psychologischen Tests, die für Vorhersagezwecke in der Praxis verwendet werden, minderungskorrigierte Kriteriumsvaliditäten.
• Und das wäre jetzt für mich ein Punkt, an dem ich mir wünsche, dass Sie, wenn Sie diesen Test in die Hand bekommen, sagen: 'Hallo, das ist für Vorhersagezwecke in der Praxis nicht zulässig. Das muss wohl ein bisschen Schwindel sein, der mir da verkauft wurde.'
• Das heißt, die meisten von Ihnen werden wahrscheinlich nicht an der Uni bleiben und demzufolge Testdiagnostik zu Vorhersagezwecken betreiben.
• Insofern dürfte es für das Gros der Leute, die die Uni nachher verlassen, so sein, dass sie mit Minderungskorrigierten Daten gar nicht arbeiten sollen.
• Und die anderen Forschungsinteressierten können das sozusagen spaßeshalber machen.
• Das ist die Grenze, die Sie bitte im Gedächtnis behalten.

Anwendungsmöglichkeiten haben wir bereits erwähnt.

• Das Ganze wird hier mit dieser freundlichen Formel erklärt.
• Die brauchen, die mache ich jetzt in der Klausur persönlich nicht.
• Das reicht, wenn Sie das so wissen.
• Also das heißt, wenn Sie das jetzt…
• Die frage ich dann mündlich ab, werden Sie dann…
• Nee, das brauchen Sie nicht auswendig wissen.
• Das reicht, wenn Sie…
• Sie können das dann nachschlagen.
• Die Formel ist für mich jetzt nicht so entscheidend, aber so würde es funktionieren.
• Gut.
• Der Standardschätzfehler hat auch etwas mit dem Konfidenzintervall zu tun.
• Wie man ein Konfidenzintervall berechnet, haben wir bereits besprochen.
• Sie kennen das schon. Es hat eine untere Grenze, es hat eine obere Grenze.
• Die berechnen sich nach einer bestimmten Formel, die ganz einfach ist.
• Den tabellarischen Z-Wert mal den besonderen Term, der dahinter steht.
• Machen wir ein Beispiel.
• Es soll der voraussichtliche Studienerfolg, nämlich die Abschlussnote aus Kenntnis eines Studieneingangstests, geschätzt werden.
• Die benötigten Kennwerte zum Einsetzen in die Vorhersageformel lauten. Also, Sie haben jetzt hier eine Kriteriumsvalidität von dem Studieneingangstest mit der Abschlussnote. Die haben Sie vorher in vorherigen Studien ermittelt. Die beträgt Punkt 60.
• Sie haben eine Streuung, also einen Mittelwert im Studieneingangstest von 10 und einen Mittelwert in der Abschlussnote von 2, und dann haben Sie jeweils dazugehörig noch Standardabweichungen.
• Wenn Sie das jetzt in diese freundliche Formel packen, dann erhalten Sie die beste Punktschätzung des Studienerfolgs, die bei uns Y' heißt. Für eine Person mit einem Wert von x gleich 8 im Studieneingangstest lautet nämlich derjenige, der dann wahrscheinlich die Studienabschlussnote 1,6 erzielen wird, was ja erfreulich ist.
• Das ist eine mögliche Anwendungsform der Formel.
• Wie gesagt, in der Klausur werde ich das jetzt nicht abfragen, aber so würde es gehen.
• Und das Ganze ist jetzt eine Punktschätzung und Sie wissen, wir arbeiten noch mit unzuverlässigen Daten und wer mit unzuverlässigen Daten arbeitet, der darf nicht mit Punktschätzungen zufrieden sein, sondern muss noch ein Konfidenzintervall darum zimmern.
• Und das geht dann so.
• Also die Punktschätzung reicht uns aber nicht, wir wollen auch noch eine Intervallschätzung, deshalb berechnen wir zunächst den Standardschätzfehler.
• Das erfolgt nach dieser Formel, die Sie bereits kennen.
• Und dann die Konfidenzintervallgrenzen.
• Und die Grenzen des 90-prozentigen Konfidenzintervalls liegen bei.
• Das heißt einfach CL ist eine Abkürzung für Confidential Limits, also wenn Sie so wollen, Konfidenzgrenze.
• Und dann U heißt unten und O heißt oben.
• Das wäre dann hier die 90-Prozent-Grenze unten, oben, unten, oben für unterschiedliche Vertrauensintervalle und so würde man dann diese Vorhersage, die man der Person auf Grundlage ihrer Ergebnisse in dem Studieneingangstest gibt, ermitteln.
• Dann ist das hier ein guter Zeitpunkt, um zur nächsten Validitätsart zu springen, die nämlich inhaltlich noch ein bisschen herausfordernder ist als die Kriteriumsvalidität, die wir gerade besprochen haben.
• Ich möchte jetzt im Folgenden mit Ihnen über die Konstruktvalidität sprechen.
• Also, Sie wissen, die Inhaltsvalidität konnte ich nicht mit einem numerischen Kennwert beziffern.
• Das war die erste Validitätsart, über die wir gesprochen haben.
• Die Kriteriumsvalidität haben wir bereits besprochen.
• Jetzt kommen wir zu einer Validitätsart, Konstruktvalidität. Diese kann man nicht direkt numerisch bestimmen, aber sehr wohl kann ich aufgrund einer numerischen Grundlage mir ein Bild darüber erstellen, wie stark diese Konstruktqualität vorhanden ist.
• Aber das ist deutlich schwieriger als es bei der Kriteriumsqualität der Fall war.
• Das heißt, es gibt für die Konstruktqualität keinen direkten numerischen Kennwert, sondern ein Gesamtbild aus unterschiedlichen Quellen, ob und wie stark sie vorhanden ist.
• Und dieses Gesamtbild zu erstellen, da kann man unter anderem die Multi-Trade, Multi-Method-Methode anwenden.
• Kommen wir gleich dazu.
• Schauen wir uns das Beispiel an.
• Ausgehend von einem Test, zum Beispiel einem Persönlichkeitstest und der darin erfassten Konstrukte wird überprüft, ob diese Konstrukte hypothesenkonform mit anderen Persönlichkeitskonstrukten zusammenhängen.
• Auf diese Weise wird geprüft, ob der Test das Konstrukt, will sagen das latente Merkmal, auch wirklich misst, was er messen soll.
• Und wenn der Test wirklich das misst, was er messen soll, dann erfüllen Sie sich gleich an die Validitätsdefinition erinnert, dann ist das nichts anderes als die Feststellung, ob der Testkonstrukt valide ist.
• Das heißt für eine Testperson im Beispiel, inwieweit das Testergebnis die Merkmalsausprägung der Person für dieses Konstrukt widerspiegelt, lassen Sie uns das jetzt beispielsweise extra Version sein.
• Also, Sie können sich vorstellen, innerhalb der Validitätsarten - ich hatte sie ja eben aufgezählt - ist die Konstruktvalidität die hierarchisch höchststehende.
• Und hier muss ich jetzt meinen Verstand einsetzen, um festzustellen, wie diese Konstruktvalidität ausgeprägt ist.

Wie kann man also jetzt einen Test hinsichtlich seiner Konstruktvalidierung überprüfen oder wie kann man ihn konstruktvalidieren?

• Schauen wir uns das allgemeine Vorgehen dabei an.
• Erstens brauche ich die Formulierung einer Theorie, also für das Konstrukt, für das ich eine Aussage machen möchte.
• Und die Ableitung von Hypothesen hinsichtlich dieses Konstrukts.
• Dann brauche ich eine Datensammlung zur Überprüfung der Hypothese oder der Hypothesen.
• Und dann drittens, die Ergebnisse müssen auf die Hypothese bezogen werden und über die Gültigkeit der Hypothese muss entschieden werden.
• Hier sind also mehrere Schritte mit in Betracht zu ziehen.

Was passiert jetzt, wenn das hier nicht funktioniert?

Fallen die Ergebnisse einer Untersuchung zur Konstruktvalidierung im Sinne der formulierten Hypothesen aus?

Sind damit sowohl das Konstrukt selbst als auch die Konstruktvalidität des Tests gestützt?

• Wunderbar.
• Vielleicht kommt aber nicht das heraus, was ich mir gedacht habe.

Und was heißt das dann?

• Sind die Ergebnisse hingegen negativ, können mindestens drei Schlussfolgerungen gezogen werden.
• Nämlich zum Beispiel die erste, dass das Konstrukt gar nicht existiert.
• Das heißt, es hat keine empirische Bedeutung.
• Das wäre eine Erklärungsmöglichkeit.
• Oder aber zweitens, der Test misst nicht das Konstrukt, sondern etwas anderes.
• Das heißt, er ist nicht konstruktvalid.
• Oder aber drittens, das Experiment oder die Untersuchung war nicht geeignet bzw.
• Die Manipulation der unabhängigen Variablen hat das Konstrukt nicht beeinflusst.
• Auch das ist möglich.

Worauf wollen wir hinaus bei der Konstruktvalidierung?

• Das Ziel einer fortschreitenden Konstruktvalidierung besteht in der Errichtung eines nomologischen Netzwerkes.
• Nomologisches Netzwerk heißt, die Konstrukte, die Sie untersuchen, stellen Sie zueinander empirisch in eine Beziehung.
• Und Konstrukte, die etwas Ähnliches messen, sollten korreliert sein.
• Konstrukte, die etwas Verschiedenes messen, sollten nicht korreliert sein.
• Man kann jetzt für Sie zu didaktischen Zwecken sich das ungefähr so vorstellen.
• Sie erinnern sich an Ihren Chemieunterricht.
• Und das Periodensystem der Elemente, was da immer aushing im Klassenraum, wo die einzelnen chemischen Elemente nach einer bestimmten naturwissenschaftlich gesicherten Logik einen Platz gefunden haben in diesem Periodensystem.
• Wenn die Psychologie schon weiter wäre als Disziplin, also Biologie, Chemie, Physik, das sind ja alles Disziplinen, die uns noch viel weiter sind.
• Wir sind ja eine viel jüngere Wissenschaft.
• Das heißt, wir haben noch nicht den vergleichbaren Erkenntnisstand wie die anderen, zum Beispiel die genannten Naturwissenschaften.
• Wenn wir schon weiter wären, wäre es ganz toll, wenn wir so etwas Ähnliches hätten bezüglich unserer Konstrukte wie das Periodensystem der Elemente, dass man genau weiß, wie Einsamkeit sich zu dem Konstrukt Aggression in bestimmter Art und Weise verhält.
• Der Vergleich hinkt natürlich, weil wir hier über Konstrukte reden und das sich ändern kann, die Ausprägung, wohingegen sich die chemischen Elemente nicht ändern.
• Aber im Prinzip von der Logik her, wir würden gerne wissen, wie die Konstrukte zueinander in Beziehung stehen.
• Und das würden wir gerne durch Korrelation berechnen können.
• Zum Beispiel, wenn Sie die Big Five heranziehen, besagt das nomologische Netzwerk der Big Five, dass diese fünf Dimensionen im Wesentlichen voneinander unabhängig sind.
• Das heißt, das ist auch schon, wenn Sie so wollen, hinsichtlich der Big Five gibt es ein nomologisches Netzwerk, das nämlich genau besagt, diese Big Five haben miteinander nichts zu tun.
• Zumindest theoretisch nicht.
• Praktisch sind sie immer noch ein bisschen korreliert.
• Aber das wäre, ich weiß, wie die Konstrukte zueinander stehen.
• Das wäre dieses nomologische Netzwerk, auf das wir aus sind.
• Und wenn Sie persönlich sagen, ich möchte in meinem Rahmen meiner Diplomarbeit einen Test konstruieren zur emotionalen Intelligenz, dann wäre es für den Erkenntnisfortschritt in der Wissenschaft am besten.
• Sie können sagen: 'Okay, emotionale Intelligenz, wie ich sie gemessen habe, hängt zusammen mit Gewissenhaftigkeit, meinetwegen gar nicht, mit sozialer Kompetenz ziemlich, mit Neurotizismus wenig, mit Aggressionstendenzen wenig und so weiter.' Dass sie dieses Konstrukt, was sie untersucht haben, einbetten in ein Geflecht von anderen Konstrukten.
• Das ist natürlich eine Menge Arbeit.
• Hier kommen wir noch einmal zu der Folie Validitätsaspekte-Unterschiede.
• Sie wissen, es gibt diese drei Validitätsaspekte, und gleich kommen wir auch zurück zum pneumologischen Netzwerk.
• Kleiner Exkurs.

Wie unterscheiden sie sich für Sie als Praktiker?

• Na, sie unterscheiden sich hinsichtlich des Verwendungszwecks, also der Art der Schlussfolgerung, die aus einem Testverhalten oder Testergebnis gezogen werden kann oder soll.
• Und das ist deshalb wichtig, weil verschiedene Arten von Schlussfolgerungen auf Grundlage des Testergebnisses einer Person unterschiedliche Validitätsarten voraussetzen.
• Sie möchten ja auf Grundlage der Testergebnisse Schlüsse ziehen zu Situationen außerhalb des Testergebnisses, außerhalb des Testverhaltens.
• sondern schließen vom Testverhalten und dem daraus resultierenden Ergebnis auf Situationen im wahren Leben.
• Und damit Sie diesen Schluss ziehen können, müssen je nach Anwendungszweck unterschiedliche Validitätsarten gegeben sein.

Gut.

Was ist ein Konstrukt?

Was ist eine Offizialisierung?

• Das wiederholen wir jetzt nicht.
• Ich glaube, das wissen Sie gut.
• Das haben aber nicht alle Koordinaten vorhin gut gewusst.
• Deshalb war das in der Vorlesung drin.

Sehen Sie hier, welche Verwendungszwecke oder Schlüsse auf der Grundlage von Testverhalten oder Ergebnissen jetzt gezogen werden können?

• Und Sie sehen hier anhand dieser Mindmap, die ich Ihnen auch zum Download angeboten habe, es gibt drei mögliche Schlüsse, die ich vornehmen kann.
• Gehen wir zur roten Wolke, kann ich, wenn ich die mir jetzt vornehme, einen Schluss über das Verhalten außerhalb des Tests ziehen, das dem Verhalten im Test ähnlich ist, ohne dass ich mich auf ein latentes Merkmal oder Konstrukt beziehe.
• Wir haben in dieser Vorlesung schon darüber gesprochen.

Welche Art von Validität ist das?

• Inhaltsvalidität.

Das Beispiel war?

Was bitte?

Was?

Das Beispiel?

Jemand hat, glaube ich, gerade etwas Richtiges gesagt, aber die Führerscheinprüfung genau.

• Für eine Führerscheinprüfung muss Inhaltsvalidität gegeben sein, weil ich ja genau diesen Schluss ziehen will, der hier in dieser roten Wolke dargestellt ist.

Wenn ich, um zur gelben Wolke zu gelangen, ein Schlussverhalten außerhalb des Tests vornehmen möchte, das mit dem Testverhalten empirisch zusammenhängt oder korreliert, dann brauche ich welche Art von Validität?

• Kriteriumsvalidität, einverstanden.
• Und dann bleibt natürlich nicht mehr viel übrig für die Grüne.
• Schluss auf ein latentes Merkmal oder Konstrukt.
• Brauche ich eben Konstruktvalidität.
• So, das haben wir gerade schon gesagt.
• Gehen wir es nochmal im Detail durch.
• Ich möchte einen Schluss auf Verhalten außerhalb des Tests ziehen, das dem Verhalten im Test ähnlich ist.
• Haben wir gesagt, erfordert Inhaltsvalidität, zum Beispiel Führerscheinprüfung oder Assessment Center teilweise.
• Assessment Center ist eine Mischung aus verschiedenen diagnostischen Anwendungen, deshalb nur teilweise.
• Das heißt, ich nehme hier einen Repräsentationsschluss vor. Das bedeutet, dass das Verhalten im Test als repräsentative Stichprobe eines zu erfassenden Verhaltensuniversums aufgefasst werden kann. Somit ist eine direkte Verallgemeinerung vom Testverhalten auf das Verhaltensuniversum möglich, und die Inhaltsvalidität ist gegeben.
• Gut, das ist nicht weiter schwierig.
• Wenn ich den Schluss vornehmen möchte über Verhalten außerhalb des Tests, das mit dem Testverhalten empirisch zusammenhängt, will sagen, korreliert, brauche ich Kriteriumsvalidität. Das kann man wieder differenzieren nach Vorhersage und Konkurrentenvalidität, wie vorhin besprochen.
• Ein Beispiel dafür wäre wieder Berufserfolg. Das Kriterium wäre, dass zum Beispiel aus Intelligenz als Prädiktor vorhergesagt werden soll.
• Der Schluss auf ein latentes Merkmal und Konstrukt erfordert Konstruktvalidität. Das bringt uns jetzt auch gleich wieder zum Thema zurück, nämlich das Konstruktvaliditätsthema.

Das würde bedeuten, wenn Konstruktvalidität gegeben ist für eine Person, inwieweit das Testergebnis die Merkmalsausprägung der Person für dieses Konstrukt, also zum Beispiel Extraversion, widerspiegelt. Oder ein anderes generelles Beispiel: Wie hängen zum Beispiel die Konstrukte Aggressivität, Eifersucht und Neurotizismus zusammen?

• Und das letztgenannte Beispiel, das generellere Beispiel, hat direkt damit zu tun, dass wir ein nomologisches Netzwerk aufbauen wollen.

Wie hängen Konstrukte zusammen?

• Aggressivität, Eifersucht, Neurotizismus.
• Und das kann ich überprüfen mit dieser Multi-Trade, Multi-Method Matrix, MTMM.

Das wollen wir an dem und einem anderen Beispiel mal durchgehen.

• Das heißt, zunächst Definition.
• Konstruktqualität liegt vor, wenn aus dem zu messenden Zielkonstrukt, zum Beispiel Einsamkeit, Hypothesen ableitbar sind, zum Beispiel mittels der Einsamkeitstheorie einer berühmten Forscherin, die anhand der Testwerte bestätigt werden können.
• Also angenommen, Sie untersuchen Einsamkeit in Ihrer Diplomarbeit.
• Und da gibt es Theorien dazu und sie überprüfen das, ob das stimmt.
• Dann wäre Konstruktqualität ergeben.
• Sie könnten sich also hier zum Beispiel überlegen, für das Konstrukt Einsamkeit.
• Dass Einsamkeit zusammenhängt mit anderen Manifestationen oder latenten Variablen, wie zum Beispiel geringem Selbstwertgefühl, sozialer Ängstlichkeit, stärkerer Ausprägung der Einsamkeit bei Geschiedenen, hängt auch zusammen mit Lebenszufriedenheit, Lebensunzufriedenheit und so weiter.
• Das heißt, sie schauen sich das Konstrukt Einsamkeit an, was sie näher interessiert, und versuchen, das nomologische Netzwerk dieses Konstrukts zu untersuchen.
• Das heißt, sie haben die Einsamkeitstheorie von einer gewissen Forscherin, die jetzt postuliert, dass diese Sachen hier vorliegen und das könnten sie jetzt empirisch überprüfen.
• Zum Beispiel könnten Sie sich fragen, ob die Testwerte in Ihrem Einsamkeitstest hoch mit sozialer Ängstlichkeit korrelieren und ob das Konstrukt zum Beispiel unabhängig von Religiosität ist.
• Also, es geht bei der Untersuchung des nomologischen Netzwerks immer darum, womit ein Konstrukt Beziehungen hat und womit nicht.
• Also zum Beispiel sollte Einsamkeit vielleicht mit Lebensunzufriedenheit zu tun haben, weil dies von einer gewissen Einsamkeitsforschung postuliert wird, aber vielleicht nichts mit Religiosität zu tun haben.
• Und Sie können sozusagen das, was das Konstrukt erfasst, durch das nomologische Netzwerk umzingeln, indem Sie herausfinden, wo es Überlappungen mit anderen Konstrukten hat, also wo es mit anderen Konstrukten, sagt man, konvergiert, und wo es mit anderen Konstrukten nichts zu tun hat, das heißt, divergiert.
• Das sind zwei wichtige Punkte, nämlich konvergente Validität und divergente Validität, die man heranzieht, um die Konstruktvalidität abzuschätzen.
• Das kommt gleich noch.
• Das heißt, die theoretisch abgeleiteten Zusammenhänge zu anderen verwandten Konstrukten ließen sich zum Beispiel wiederum mit Inhalts- oder Kriteriumsvaliditätskoeffizienten validieren.
• Insofern stellt die Konstruktvalidität eine Synthese aus Inhalts- und Kriteriumsvaliditätsaspekten dar.
• Das ist genau das, was ich eingangs gesagt habe.
• Die Konstruktvalidität ist innerhalb der Validitätsarten die hochwertigste.
• Und deshalb, weil, wenn Sie so wollen, da es die höchststehende ist, ist sie auch am schwierigsten zu überprüfen.

So.

• Wenn jetzt aber Ihre Hypothesen, die Sie sich zum Beispiel zu Ihrem Konstrukt Einsamkeit überlegen, sich empirisch nicht bestätigen lassen, dann haben wir diese drei Punkte, diese drei möglichen Schlüsse, die wir vor ungefähr einer Viertelstunde gesprochen haben.

Wir schauen es uns jetzt noch einmal in einer anderen Formulierung an.

• Können solche Hypothesen nicht bestätigt werden, dass zum Beispiel Einsamkeit jetzt nichts mit Lebensunzufriedenheit zu tun hat, ist unklar, ob die Validität des Instruments oder die Gültigkeit der Hypothesen anzuzweifeln ist.
• Bestätigung der Hypothesen ist hingegen ein Indiz für die Validität des Tests und eine Konstruktvalidierung als solche ist insgesamt umso überzeugender, je mehr Hypothesen abgeleitet und bestätigt werden können.

Das zur generellen Einordnung.

• So, und jetzt sind wir schon bei den wichtigen Punkten konvergente und divergente Validität, die ich gerade angesprochen habe.
• Da haben sich zwei Forscher berühmt gemacht mit der Untersuchung dieser Aspekte, das sind nämlich Campbell und Fiske, schon vor fast 50 Jahren.
• Die haben die Grundvoraussetzungen von Konstruktvalidität entdeckt, indem sie die Erfüllung von zwei wichtigen Bedingungen fordern.
• Damit Konstruktvalidität vorliegt, müssen zwei wichtige Bedingungen gegeben sein.
• Und das sind, erstens nämlich, die konvergente Validität muss gegeben sein, und ich sage es im Vorgriff auf das, was gleich kommt, divergente Validität muss auch gegeben sein.
• Zunächst zur konvergenten Validität.
• Diese ist gegeben, wenn verschiedene Methoden zur Messung des in Frage stehenden Konstrukts zu ähnlichen Ergebnissen hinsichtlich der Merkmalsausprägung führen.
• Ich wiederhole, weil es so wichtig ist: Konvergente Qualität ist gegeben, wenn verschiedene Methoden, also zum Beispiel Operationalisierung oder Indikatoren, zur Messung des in Frage stehenden Konstrukts, zum Beispiel Einsamkeit, zu ähnlichen, das heißt also übereinstimmenden oder auch konvergenten Ergebnissen hinsichtlich der Merkmalsausprägung führen.
• Das heißt, die konvergente Validität Ihres Einsamkeitstests ist dann hoch, wenn Sie Ihren eigenen Test hernehmen, die Leute damit diagnostizieren und Sie geben von einer Forscherin XY, die das auch untersucht hat, auch deren Test vor und Sie kommen zu vergleichbaren Einsamkeitsdiagnosen.
• Dann haben sie konvergente Validität.
• Das heißt, das Einsamkeitskonstrukt zu messende postulierende Verfahren messen auch wirklich dasselbe.
• Ja, das heißt, die Messergebnisse von Ihrem Test und von der tollen Forscherin aus Amerika konvergieren.
• Dann wäre das konvergente Validität.
• Wohingegen die Divergenz, oder auch manchmal als diskriminante Validität bezeichnet, was dasselbe bedeutet, tritt auf, wenn die Operationalisierungen des Zielkonstrukts sich von den Operationalisierungen anderer verwandter Konstrukte unterscheiden.

Also Konstrukte können konvergieren, d.h.

• miteinander was zu tun haben, grafisch gesprochen überlappen, zumindest teilweise, und divergieren würde jetzt grafisch gesprochen heißen, die haben nichts miteinander zu tun.
• Divergieren, d.h.
• die Konstrukte messen etwas anderes, sie divergieren.
• Bitte schön.
• Und diese beiden Begriffe, ist das etwas, sagt man, ein Test hat konvergente Validität oder ist das mehr so etwas Abstraktes von solchen…
• Die konvergente Validität ist so und so, die divergente Validität ist so und so.
• Das kommt jetzt gleich mit diesem Tool, mit dem man das überprüfen kann, das ist diese MTMM.
• Und diese MTMM basiert genau auf diesen beiden Grundideen und man muss beides abschätzen.
• Die konvergente und die divergente Validität.
• Und nur wenn beides gegeben ist, kann man davon sprechen, dass Konstruktvalidität vorliegt.

So.

• Konvergenz, also Überlappung.
• Von zwei gemessenen Konstrukten kann ich, mittlerweile dürfte es Sie nicht mehr überraschen, durch höhere Korrelationen feststellen.
• Divergenz hingegen in Form von geringen Korrelationen.
• Wenn Konstrukte nichts miteinander zu tun haben, korrelieren sie wenig.
• Das heißt, eine Divergenz, die sich in Form geringer Korrelationen zeigt, zu verwandten jedoch nicht-identischen Konstrukten, erscheint deshalb sinnvoll, weil bei hohen Übereinstimmungen zu anderen Konstrukten redundante Informationen erfasst werden würden, die einer Eigenständigkeit des Konstrukts entgegenstehen.

Ist die diskriminante Validität gering?

Spricht dies für eine Neukonstruktion des Fragebogens oder eine Neuexplikation des Konstrukts?

• Gehen wir zurück zu Ihrem fiktiven Einsamkeitsfragebogen.
• Sie haben den entwickelt.
• Diagnostizieren damit Personen.
• Sie nehmen jetzt den Einsamkeitsfragebogen B der tollen Forscherin aus Amerika und erhalten komplett andere Ergebnisse.
• Das heißt, Ihre Testergebnisse zur Einsamkeit würden ziemlich stark divergieren zu den Ergebnissen, die die Forscherin aus Amerika liefert.

Was bedeutet das jetzt?

• Es steht in dem Satz, es kann daran liegen, dass Sie Einsamkeit anders definiert haben als die Dame aus Amerika.
• Man weiß jetzt zunächst nicht, wer das jetzt besser definiert hat, nach dem Stand der Forschung.
• Es sind zunächst mal unterschiedliche Konstruktdefinitionen, deshalb sind die Ergebnisse auch völlig anders.
• Dann müsste ich hergehen und sagen, entweder ich konstruiere jetzt meinen Fragebogen neu oder ich definiere Einsamkeit gleich anders, wie die tollen Forschenden aus Amerika, und demzufolge habe ich auch andere Ergebnisse.
• Also, ich müsste wirklich klären, messe ich wirklich dasselbe wie der andere Einsamkeitstest auch.

Gut, nehmen wir ein praktisches Beispiel heran.

• Beispiel 1: Das Zielkonstrukt wäre Aberglauben.

Sie möchten Aberglauben untersuchen?

• Und als Validierungskonstrukte nehmen Sie hier Ängstlichkeit und Religiosität.
• Und Sie könnten das jetzt überprüfen.
• Methoden zur direkten Einschätzung der Ausprägung gibt es.
• Also könnten Sie die Leute fragen, wie abergläubisch sie sind.
• Dann könnten Sie Fragebögen zu Aspekten der Konstrukte abfragen, also dieser drei Konstrukte.
• Sie könnten Fremdeinschätzungen einholen oder Verhaltensbeobachtungen heranziehen.

Was glauben Sie, wie hängen diese zusammen?

Ängstlichkeit, Religiosität, Aberglauben?

• Ich weiß es übrigens auch nicht direkt.
• Aber genau diese Fragestellung dient dazu, dass Sie das nomologische Netzwerk versuchen zu erforschen.
• dass diese Konstrukte zu dem gehören, Frau Schöning.
• Dass die beiden hier vielleicht zusammengehen, aber nichts mit Religiosität zu tun haben.
• Könnte gut sein.
• Das heißt, hier würden sie dann eine konvergente Validität finden. Religiosität hat divergente Validität gegenüber den beiden, genau.
• Das wäre jetzt Ihre Vermutung.
• Also, Sie könnten zum Beispiel jetzt genau die Hypothesen formulieren, wie Sie es gerade intuitiv getan haben, und das dann empirisch überprüfen.
• So würde man vorgehen.
• Beispiel 2 ist der Klassiker, den wir bereits angesprochen haben.
• Zielkonstrukt wäre hier die extra Version und hier die Validierungskonstrukte, die anderen 4 Big Five.
• Methoden kann ich im NeoFFI verwenden oder es gibt auch das Big Five Inventory oder die bipolaren Big Five Adjektiv-Ranking-Markerskala.
• Es gibt verschiedene Verfahren, um die Big Five zu erfassen.
• Da könnte ich auch vorgehen.
• Hier ist die Hypothesenlage allerdings weniger spannend.
• Sie wissen, was man dazu erwarten würde.
• So und jetzt kommen wir zur Methode zur Überprüfung, ob konvergente und divergente Validität vorliegt.
• Das ist diese MTMM.
• Und die erfordert nochmal ein gewisses Maß an Konzentration.
• Die ist nicht so intuitiv einfach.

Zunächst einmal, woraus setzt sie sich zusammen?

• Also MTMM heißt Multi-Trade, Multi-Trade, Multi-Method.
• Also ich erfasse mehrere Trades, also mehrere Konstrukte, mit mehreren Methoden.
• Und aus den Befunden, die sich daraus ergeben, kann ich Schlüsse ziehen über das Vorliegen von Konstruktvalidität.

Also, was steht zunächst mal drin in der MTMM, in dieser Matrix?

• Sie finden, die MTMM arbeitet mit den Korrelationen, also stehen schon wieder Korrelationen im Mittelpunkt des Interesses.
• Die Multimethodmatrix besteht aus Korrelationen.
• Die sich ergeben, wenn man an derselben Stichprobe, das ist wichtig, mehrere Merkmale oder Konstrukte, zum Beispiel jetzt Aberglaube, Religiosität und Ängstlichkeit, mit mehreren Methoden, zum Beispiel Selbstbeurteilung, Fremdbeurteilung, erfasst und die Ergebnisse wechselseitig miteinander korreliert.
• Die Höhe und die Muster der Korrelation sind indikativ für das Vorhandensein konvergenter und divergenter Validität.
• Das heißt, aus dieser Korrelationsmatrix, die sich Ihnen zeigt, wenn Sie die MTMM anschauen, können Sie Schlüsse ziehen, ob Konstruktvalidität gegeben ist.
• Genauer gesagt, können Sie differenziert schauen, ob konvergente Validität gegeben ist und ob divergente Validität gegeben ist.
• Und wenn beide gegeben sind, wissen Sie, dass Konstruktvalidität gegeben ist.
• Das heißt, die MTMM Konvergente Validität liegt vor, wenn ein Test mit anderen Maßen für denselben Trait hoch korreliert.
• Wir hatten gerade gesagt, Ihr Einsamkeitstest korreliert beispielsweise hoch mit dem der Forscherin aus Amerika.
• Wäre konvergente Validität gegeben, ist jetzt quasi eine Wiederholung.
• Diskriminante Validität oder auch divergente liegt vor, wenn ein Test mit ähnlichen Maßen für andere Traits, mit verschiedenartigen Maßen, für andere Traits nicht korreliert.
• Also, zwei Konstrukte haben miteinander nichts zu tun.
• Auch Wiederholung, haben wir gerade schon gesagt.
• Den Punkt überspringe ich mal.
• Ich zeige Ihnen gleich erstmal, wie so eine MTMM aussehen könnte, aber sie ist jetzt noch nicht richtig gefüllt mit Korrelationen, sondern nur mit Zahlen, die ich Ihnen jetzt erläutern möchte.
• Also, Sie sehen hier ein Beispiel für den Aufbau einer MTMM-Matrix.
• Und das ist für Sie später auch ein Lerntipp.
• Das Ganze wird viel übersichtlicher, wenn Sie mit verschiedenen Farben arbeiten.
• Deshalb möchte ich Sie bitten, da die MTMM in der Klausur mit an Sicherheit grenzender Wahrscheinlichkeit drankommt, weil das ein wichtiges Instrument ist. Machen Sie sich selbst und mir das Leben leichter und arbeiten Sie mit verschiedenen Farben, um zu demonstrieren, aus welchen Teilen diese MTMM besteht.
• Sie müssen die MTMM nämlich zunächst in unterschiedliche Teile zerlegen, weil auf Grundlage der Betrachtung dieser Teile können Sie dann schauen, ob konvergente und divergente Validität gegeben ist.
• Und wir befinden uns jetzt auf dem Schritt zur Unterteilung der MTMM, und dazu habe ich Ihnen das hier vorbereitet.
• Alles, was dieselbe Nummer trägt. Hier, wo die Punkte sind mit den Nummern drin, da würden ja eigentlich Korrelationen stehen.
• Die kommen auch gleich dazu.
• Zunächst erstmal zur Struktur dieser Korrelation.
• Alles, was dieselbe Nummer trägt, also hier stehen zum Beispiel in dieser Diagonale, finden Sie überall Einsen.
• Offensichtlich ist das ein Teil der MTMM.
• Hier finden Sie immer so Dreiecke mit Dreien.
• Hier ist ein Dreieck mit einer 3, da ist ein Dreieck mit einer 3, da ist ein Dreieck mit Dreien.
• Offensichtlich ist das ein weiterer Baustein.
• Sie finden darüber hinaus in dieser Diagonalen Zweier.
• Hier stehen immer nur Zweien drin.
• Das scheint also auch ein Baustein zu sein.

Und was fehlt jetzt noch?

• Natürlich die Vierer.
• Die Vierer, die sind hier so in Dreiecksform, umschließen wie die Zweier.
• Hier sehen Sie Vierer, hier sehen Sie Vierer, hier sehen Sie Vierer.
• Das heißt, das dient zunächst einmal dazu, Ihnen anschaulicherweise zu verdeutlichen, dass diese MTMM aus vier Teilen besteht.
• Die Korrelationen, die zu diesen vier Teilen gehören, liefern dann mögliche Interpretationsgrundlagen.
• Zur generellen Aufteilung der Matrix sonst.
• Sie sehen hier, das heißt ja Multi-Trait, Multi-Method.
• Das heißt, ich habe mehrere Traits und ich habe mehrere Methoden, mit denen diese Traits gemessen werden.
• Die Traits, die ich hier messe, heißen Trait 1, Trait 2 und Trait 3.
• Diese sind hier nochmal aufgeführt.
• Das sind nämlich Aberglaube, Religiosität und Ängstlichkeit im Beispiel.
• Und hier oben steht nur noch T1, T2, T3, T1, T2, T3, T1, T2, T3.
• Das heißt Multi-Traits haben wir schon mal.
• Wir haben drei Traits.
• Aber wir haben auch Multi-Methods.
• Wir haben nämlich als Methoden, mit denen gemessen wird, Fragebogen, Fremdbeobachtung und Objektivtest im Angebot.
• Also, ich habe drei Traits und drei Methoden.
• Das geht auch mit 2-2 oder 4-4, das ist nicht gebunden an eine gewisse Anzahl.
• Das heißt nur Multi-Trait, Multi-Method, also es müssen mehrere sein.
• Und hier finden Sie auch natürlich dann wieder Fragebogen, Fremdbeobachtung, Objektivtest.
• Das sind natürlich auch hier wieder die bewährten Methoden.

So, jetzt werden Sie sich überlegen, na gut, wenn ich jetzt also korreliere das Messergebnis Trait 1 Fragebogen, also Aberglaube gemessen mit Fragebogen, korreliere ich mit dem Messergebnis Fragebogen, also Aberglaube gemessen mit Fragebogen, naja, was wird da wohl rauskommen?

• Eine Eins, genau.
• Wenn ich dasselbe miteinander korreliere, das liefert mir eigentlich aber keinen Erkenntnisgewinn.
• Demzufolge stehen da dann nicht die Einsen drin, sondern, das sage ich Ihnen gleich, die Reliabilität, mit der gemessen wurde.
• Das schauen wir uns jetzt mal en Detail an.
• Hier sehen Sie jetzt nämlich eine Wir schaffen das heute nicht mehr en Detail, das zu besprechen, aber hier sehen Sie nochmal, jetzt unter Vorlage der einzelnen Teile und aufgrund der Schlüsse und Vergleiche, die man jetzt ziehen muss, was man damit machen kann.

Also, Sie sehen wieder, das ist ein ähnliches Beispiel wie eben.

• Ich habe drei Methoden: Methode 1, 2, 3.
• Ich habe die Traits A, B, C.
• Die eben genannten Teile 1, 2, 3, 4 finden Sie jetzt hier wieder und zwar unter Angabe dann der richtigen Korrelationszahlen.
• Das hier, diese Diagonale, das waren eben die mit 1 bezeichneten Werte.
• Da wir gerade gesagt haben, dass hier aufgrund der Autokorrelation eigentlich immer Einsen stehen müssen und das für uns nicht besonders toll und informativ ist, schreibt man da üblicherweise, also konventionsgemäß, und deshalb stehen diese Werte hier auch in Klammern, die Reliabilitäten rein, mit denen hier gemessen wurde.
• Das heißt, hier stehen jetzt nicht im engeren Sinne Korrelationen, sondern Reliabilitäten drin in diesem Einserdiagramm.
• Punkt 76 kann entstehen, wenn hier mit der Methode 1, dem Trait C, einfach nicht reliabler messbar war.
• Das ist eine Ausnahme zu den Feldern 2, 3 und 4.
• Das hier sind die Felder, die mit 1 gekennzeichneten Felder auf der Folie davor.
• Hier stehen keine Korrelationen drin, sondern konventionsgemäß jetzt Reliabilitäten.
• Das ist der Unterschied.

Das Test-to-Test-Reliabilität, kann das sein?

• Das kann zum Beispiel die Re-Test-Reliabilität sein, ja.
• Kann aber auch Kummer's Alpha sein.
• Eine Reliabilitätsschätzungsart findet hier Niederschlag in dieser Diagonale.
• Deshalb sind die hier auch einge… kringelt.
• kringelt.
• So, also das sind in dieser Diagonalen also keine Korrelationen konventionsgemäß, weil sonst würden ja immer Einsen drin stehen.

Die anderen Werte, die hier standen, welche waren das?

Wie waren sie numerisch bezeichnet?

• Das waren die Dreier, genau.

Was waren das für welche, die eingekringelt waren?

• Das waren die Zweier und die grau hinterlegten, das waren die Vierer.
• Okay.
• Und was ich heute noch mit Ihnen erreichen möchte, ist, diese Teile korrekt zu benennen. Beim nächsten Mal setzen wir dann damit an.
• Sie sehen hier diese Vergleichspfeile. Sie dienen dazu, weil wir setzen später die Teile zueinander in Beziehung und leiten daraus Schlüsse ab.
• Zunächst aber, bevor wir die Beziehungen zwischen den Teilen näher betrachten, müssen Sie erst einmal die Namen der Teile kennen, und die stehen hier rechts.
• Die ehemals genannten Reliabilitätskennwerte heißen treffend Reliabilitätsdiagonale, und das wäre eigentlich nichts anderes als die Mono-Trade-Mono-Method-Korrelation.
• Dann würde nämlich eine 1 drinstehen.
• Aber da man das ja nicht macht, weil das nicht besonders informativ ist, sagt man einfach, das ist die Reliabilitätsdiagonale.
• Schauen wir uns die ehemaligen Dreier an.
• Das sind ja diese drei Dreiecke hier.
• Das nennt man das Hetero-Trait-Mono-Method-Dreieck.
• Hetero-Trait-Mono-Method.
• Schauen wir, ob es stimmt.
• Also hier werden die Korrelationen abgetragen, die resultieren, wenn ich Dinge, die ich mit Methode 2 messe, korreliere mit Dingen, die mit Methode 2 gemessen wurden.
• Das heißt, es ist schon mal Mono-Method.
• Weil es ist ja immer Methode 2.
• Also Mono-Method.
• Und jetzt werden aber Mono-Method-mäßig verschiedene Dinge korreliert.
• Das heißt, ich korreliere das Messergebnis, was ich innerhalb der Methode 2 gewonnen habe, für Trait A mit Trait B und Trait C.
• Das heißt, ich korreliere hier verschiedene Konstrukte mit derselben Methode.
• D.h.
• Dasselbe Methode heißt Monomethed, verschiedene Konstrukte heißt Heterotrate.
• Und siehe da, der Name stimmt.
• Heterotrate-Monomethed-Dreieck.

Was mache ich hier in den elliptisch gekennzeichneten ehemaligen Zweierfeldern?

• Die heißen, können Sie hier der Legende entnehmen, Validitätsdiagonalen, technisch korrekt bezeichnet Mono-Trade Hetero-Method.
• Schauen wir, ob es stimmt.
• Mono-Trade heißt, dieselben Trades werden miteinander korreliert.
• Ich korreliere A mit A, B mit B, C mit C.
• Also offensichtlich Monotrade.

Und mache ich das jetzt für dieselben Methoden oder für verschiedene Methoden?

• Ich nehme Methode 1, Konstrukt A, und korreliere es mit Methode 2, Konstrukt A.
• Also das Konstrukt ist gleich, also es ist Monotrade, aber es sind verschiedene Methoden.
• Sie sehen, das ist ganz schön anstrengend.
• Verschiedene Methoden.
• Und demzufolge heißt es Heteromethod, Monotrade.
• Es geht immer um die Korrelation von A mit A, aber auf Grundlage verschiedener Methoden.
• Also Monotrade, Heteromethod.
• Und jetzt gibt es noch die ehemaligen Vierer, die Sie hier grau schattiert finden.
• Da sind sie.
• Und da ist jetzt gar nichts mehr Mono, da ist es nur noch Hetero.
• Da finden Sie nämlich Methode 2, die korreliert mit Methode 3.
• Methode 3 mit Methode 1, Methode 1 mit Methode 2.
• Also offensichtlich ist das schon mal hetero-methodisch.
• Siehe da, es ist wirklich hetero-methodisch und jetzt müssen wir noch gucken, welche Traits da korreliert werden.
• Es wird korreliert A mit B, A mit C, also auch hetero.
• Da ist alles hetero, also hetero-trait, hetero-methodisch.
• Wenn Sie sich für das nächste Mal gut vorbereiten wollen, empfehle ich Ihnen, dass Sie sich mit diesem Namen und dieser Logik, die zu der Benennung geführt hat, noch einmal vertraut machen.
• Dann setzen wir beim nächsten Mal genau da an.
• Bis dahin.
• Schöne Woche.