Testtheorien, Testkonstruktion und Psychologische Diagnostik (10))

Testtheorien, Testkonstruktion und Psychologische Diagnostik (10))

Vorbereitung auf die nächste Sitzung

• Sehen Sie es mir nach, dass ich letzte Woche leider erkrankt war.
• Es lag außerhalb meiner Möglichkeiten, da zu kommen.
• Die gute Nachricht ist, wir werden dadurch keinerlei große Einbußen in unserem Vorlesungsprogramm haben, weil ich aus informierten Kreisen erfahren habe, dass Sie schon einmal von der MTMM gehört haben und dass somit kein Erstkontakt mit Ihnen besteht.
• Beim letzten Mal hatte ich offen gestanden den Eindruck, dass manche von Ihnen dazu neigten, ein wenig zusammenzubrechen, als sie die MTMM gesehen haben.
• Vielleicht galt das allerdings auch nur für eine Teilmenge von Ihnen.
• Auf jeden Fall haben mir Studierende berichtet, dass das teilweise schon bekannt ist, weil mein geschätzter Kollege Herr Bühner das auch schon mal aufs Tableau gebracht hat.
• Gut, wie stelle ich mir die letzten beiden inhaltlichen Sitzungen mit Ihnen gemeinsam vor?
• Wir sind ja schon soweit vorgerückt.
• Wir haben die heutige Sitzung und die Sitzung nächste Woche.
• Natürlich ist Priorität eins, und das sollten wir heute verstärkt angehen, den Vorlesungsstoff möglichst zu Ende zu bringen oder fast zu Ende zu bringen.
• Anknüpfend an den Punkt, natürlich, wo wir vor zwei Wochen aufgehört haben.
• Und beim nächsten Mal hatten wir gemeinsam vereinbart, dass dann Übungsaufgaben gerechnet werden sollen, und zwar die Klausuren, die ich zum Download anbiete, mit dem Passwort, das Ihnen allen bekannt ist.
• Bitte bereiten Sie die vor, und die werden schwerpunktmäßig beim nächsten Mal dann eine nach dem anderen durchgegangen, und an den Punkten, wo Sie Fragen haben, bitte ich Sie, diese Fragen zu stellen.
• Ich bitte Sie allerdings auch, präzise Fragen zu stellen und nicht Fragen zu stellen von der Art, oh, wie geht das?
• Oder Fragen wie: 'Oh, das habe ich ja noch nie gesehen. Können Sie mir das bitte nochmal erklären, am besten anhand des Foliensatzes.'
• Für solche Fragen ist beim nächsten Mal keine Zeit.
• Ich erwarte von Ihnen, dass Sie spezifische Fragen stellen. Ich möchte sehen, dass Sie sich vorbereitet haben. An welchem Punkt es hapert, möchte ich genau wissen, und diesen Punkt bitte ich um Erklärung. Darauf gehe ich gerne ein.
• Okay, das gilt für das nächste Mal.
• Also gut, um keine Zeit zu verlieren, starten wir gleich hier durch.

Einführung in MTMM

• Wir sind beim letzten Mal an dem Punkt stehen geblieben, dass wir gesagt haben, die MTMM besteht aus vier Teilen, die hier grafisch unterschiedlich gekennzeichnet sind.
• Wir haben hier gesagt: Hier ist die Reliabilitätsdiagonale abgetragen.
• Da, wenn Korrelationen drinstünden, aber die immer eins wären, wäre das für uns kein Informationsgewinn.
• Demzufolge schreibt man die Reliabilitäten ein, mit denen man die Konstrukte gemessen hat, konventionsgemäß.
• Wir haben hier gesagt, wir haben hier die Dreiecke. In dieser Art sind die hetero-trait-mono-method-Dreiecke.
• Wir haben dann hier diese elliptisch umkreisten Korrelationswerte, die wir auch Validitätsdiagonalen genannt haben.
• Also man könnte auch sagen, das ist die konvergente Validitätsdiagonale.
• Und wir haben hier die jeweils grau schattierten Werte, die wir auch hetero-trait-hetero-method-Dreiecke genannt haben.
• Und wir haben beim letzten Mal auch schon darüber gesprochen, wie diese Namen zustande kommen und dass sie sehr sinnvoll sind.
• Wir waren ja insgesamt dem Thema MTMM dem Oberthema Konstruktvalidität zugeordnet.

Einführung in die MTMM

• Mit dem Wissensstand, den Sie jetzt über die MTMM haben, können Sie die Konstruktvalidität noch nicht abschätzen.
• Da fehlen noch jetzt konkrete Prüfschritte, und mit denen wollen wir uns jetzt im Folgenden beschäftigen.
• Diese Prüfschritte - das hier können wir überspringen, das haben wir mündlich gemacht.
• Wir machen das gleich an einem konkreten Beispiel, und dann nehmen wir auch gleich ein Klausuraufgabenbeispiel und schauen uns an, ob in diesem Datensatz die Konstruktqualität gegeben ist oder nicht.

Analysekriterien der MTMM

• Das heißt zunächst mal, die Analysekriterien der MTMM erlauben aufgrund ihres informellen Charakters. Sie werden das gleich sehen, kommen die Prüfschritte und die sind doch recht informell. Man könnte Kritiker sagen, ein wenig wachsweich-schwammig.
• Das ist ein Problem der Methode, was aber an der Komplexität liegt.
• Die Methode ist trotzdem sehr hilfreich.
• Und stellen keine objektive, das heißt quantitative Bestimmung der kontingenten und diskriminanten Validität dar.
• Das wäre natürlich schön.
• Wenn wir Zahlen hätten, die einen klaren Indikator darüber liefern, wie hoch diese Validitätsart ausgeprägt ist, im Vergleich beispielsweise zur Kriteriumsvalidität, da ist es ja in einer Zahl, die ja auch eine Korrelation ist, schnell gesagt.
• Hier brauchen wir mehrere Korrelationen, kriegen ein Gesamtbild und können aus diesem Gesamtbild versuchen zu erschließen, wie es um konvergente, divergente und damit um Konstruktqualität bestellt ist.
• Das führt dazu, wenn Sie so wollen, dass dieser etwas schwammige Anteil hier bei der MTMM dazu führt, dass der Auswerter zum Beispiel selbst entscheiden muss, wie viele Verletzungen eines Kriteriums er tolerieren soll, ohne damit etwa die diskriminante Validität infrage zu stellen.

Subjektivität in der MTMM

• Also die Stränge, die Sie an die jetzt folgenden Prüfkriterien anlegen, liegen ein wenig im Auge des Betrachters.
• Das hat man ja eigentlich nicht so gerne, das wissen Sie.
• Man könnte sagen, die Auswertung oder die Bestimmung, ob Konstruktvalidität gegeben ist, sollte eigentlich auch objektiv vonstatten gehen können. Aber hier ist die MTMM so kompliziert. Also, so kompliziert ist sie nicht, aber sie erfordert ein so gutes Überblickswissen, dass hier ein Grad von Subjektivität möglich ist.
• Das heißt, hier gibt es einen Graubereich, über den man diskutieren kann.
• Das wichtigste Problem der MTMM, neben diesem wachsweichen Punkt, den das Verfahren eventuell aufweist, stellt die implizite Voraussetzung des Auswertungsverfahrens dar, dass alle Merkmale mit gleicher Zuverlässigkeit gemessen werden müssen, was in der Praxis nicht der Fall ist und so oft zu Fehleinschätzungen führt.
• Schauen wir uns das an.

Reliabilität in der MTMM

• Praktisch bedeutet das im Beispiel, die Reliabilitäten hier müssten alle auf vergleichbarem Niveau sein, und hier ist es auch fast gegeben, hier gibt es einen Ausreißer.
• Das wäre jetzt unkritisch, weil die Werte sehr erfreulich sind.
• Häufig findet man da deutlich stärkere Ausreißer und muss sich dann überlegen, kann ich auf Grundlage des Vorhandenseins eines starken Ausreißers hier noch die MTMM-Kriterien als erfüllt betrachten oder nicht.
• Also auch das ist ein Maß an Subjektivität, was mit diesem Verfahren einhergeht.
• Das heißt, Grundformen der Validität nochmal im Überblick, bevor wir dann im Detail in die Prüfschritte einsteigen.
• Wir hatten gesagt, es gibt eine Art Augenscheinvalidität, die haben wir zur Inhaltsvalidität gerechnet.

Einführung in die Validität

• Aber der Autor, von dem diese Abbildung stammt, ist mein Münsteraner Kollege.
• Er sagt zunächst, dass das gemessene Merkmal jeweils hier das gestrichelte ist, das zumessende Merkmal soll möglichst gut abgedeckt werden.
• Bei der Augenscheinvalidität geht es darum, ob augenscheinlich eindrucksmäßig diese beiden übereinstimmen.
• Bei Inhaltsvalidität beschäftigt sich die Frage, inwieweit die Items mit dem Merkmal identisch sind.
• Sie nennen sich Inhaltsvalidität, Führerscheinprüfungen, Kriteriumsorientierte Tests ist das ein wichtiger Punkt.
• Kriteriumsbezogene Validität.
• Inwieweit kann das Messinstrument das Merkmal messen?
• Das heißt, hier wird berechnet, inwiefern diese beiden Venn-Diagramme überlappen.
• Das Ganze macht man korrelativ, kann man schön quantifizieren, wunderbar.
• Sehr leicht zu handhaben.
• Genau, und das hier ist eine zweite Art.
• Inwieweit kann das Messinstrument das Merkmal über die Zeit hinweg vorhersagen?
• Das wäre also prädiktive, kriterienbezogene Validität.
• Sie sehen, die Konstruktvalidität ist hier nicht aufgeführt, weil die grafisch nicht so einfach darzustellen ist.
• So, aber jetzt wechseln wir zur Folie.
• Das ist die Folie, die Sie schon kennen, wenn Sie in den Download-Bereich geschaut haben.
• Das gehört zu diesem Test-Theorie-Paket.
• Sie haben es also als PDF-Datei vorliegen.
• Ich habe es Ihnen hier jetzt mal zu Projektionszwecken auf eine Folie gezogen.
• Also, worum geht es?
• Warum beschäftigen wir uns mit dem Thema MTMM und Konstruktvalidität?
• Das Ziel haben wir bereits besprochen, das Vorgehen haben wir auch schon besprochen.

Konvergente und divergente Validität

• Konvergente Validität bedeutet, dass gleiche oder ähnliche Merkmale eng miteinander kovariieren, unabhängig von der Methode, mit der sie gemessen werden.
• Divergente Validität oder auch diskriminante Validität bedeutet, wenn verschiedene Konstrukte mit einer oder mehreren Methoden gemessen werden, voneinander differenziert werden.
• Verschiedene Merkmale sollten innerhalb und zwischen Methoden nur niedrig miteinander korrelieren.
• Ist das klar?
• Wenn die Konstrukte unterschiedliche Dinge messen sollen, dann sollte es auch keine Korrelation zwischen den Konstruktmerkmalen geben, denn wenn das der Fall wäre, würden die Konstrukte sich überlappen und tendenziell konvergieren.

Einführung in die Prüfschritte

• Die Abbildung kennen Sie bereits, wir haben sie gerade betrachtet.
• Die einzelnen Bestandteile haben wir auch angeschaut.
• Jetzt müssen wir uns noch die Prüfschritte anschauen, und die sehen Sie hier wunderbar.
• Jetzt präsentiere ich Ihnen den Laserpointer.
• Sie sehen, diese vier Teilmatrizen werden zueinander ins Verhältnis gesetzt, und daher kommen auch diese Kringel.
• Wir schauen es uns auch im Detail an.
• Also, konvergente und diskriminante Validität sind ja Voraussetzungen für hohe Konstruktvalidität oder überhaupt für hohe Konstruktvalidität.
• Das heißt, wir müssen jetzt gucken, ob diese Voraussetzungen erfüllt sind.

Prüfschritt: Konvergente Validität

• Die konvergente Validität, das ist der erste Prüfschritt, ist gegeben, wenn die konvergente Validitätsdiagonale, das sind diese Kringel hier, die Sie sehen, diese elliptischen, technisch bezeichnet auch als Monotrade Hetero-Method, signifikant verschieden von 0 sind.
• Also, wenn Sie wissen wollen, erster Prüfschritt, ist überhaupt konvergente Validität gegeben?
• Schauen Sie da rein.
• Jetzt sieht das so aus, dass Sie hier anhand dieser Korrelationsmatrix, und nichts anderes ist das ja, das noch nicht direkt erkennen können.
• Sie müssen wissen, ab wann die Werte signifikant wären.
• Und das gebe ich in Klausuren immer an.
• Sie können anhand des Signifikanzniveaus in Klausuren, das ich angebe, sofort feststellen, ob die Korrelationen, die in der konvergenten Validitätsdiagonale angegeben sind, in diesem Beispiel signifikant sind oder nicht.
• Wenn konvergente Validität gegeben sein soll, müssen sie signifikant von 0 verschieden sein.

Konvergente Validität

• Das ist eine notwendige Bedingung.
• Je höher, desto besser wäre natürlich wünschenswert.
• Ihnen ist klar, weshalb.
• Weil hier, in dieser konvergenten Validitätsdiagonale steht drin, ich messe Konstrukt A, also sagen wir zum Beispiel Aberglauben mit einer Methode, hier mit der Methode 3.
• Und da oben messe ich Aberglauben, also dasselbe Konstrukt, mit der Methode 1.
• Also zum Beispiel wäre Methode 1 Selbstbefragung und das andere wäre Verhaltensbeobachtung.
• Aber ich messe in beiden Fällen Aberglauben.
• Und wenn das der Fall ist, dann sollten die Messungen von Aberglauben, die auf diesen beiden verschiedenen Methoden basieren, auch korrelieren.
• Demzufolge wünscht man sich in diesen Diagonalen aus psychometrischer Sicht eine hohe Korrelation, mindestens aber eine signifikante Korrelation.
• Wenn die Werte der Validitätsdiagonale nicht groß genug sind, kann man sich den Rest quasi schenken. Gelingt der Nachweis nicht, so messen unterschiedliche Methoden unterschiedliche Konstrukte.

Konstruktvalidität und Validitätsdiagonalen

• Das heißt, Konvergente Validität ist notwendig, aber nicht hinreichend für Konstruktvalidität.
• Divergente Validität ist auch notwendig, aber nicht hinreichend für Konstruktvalidität.
• Beide müssen gegeben sein, damit ich von Konstruktvalidität sprechen kann.
• Wenn jetzt der erste Pfeiler, den wir mit diesem ersten Prüfschritt überprüft haben, schon wegbricht, das heißt, die konvergente Validität nicht gegeben ist, ist die Überprüfung auf Vorliegen der Konstruktvalidität an diesem Punkt beendet.
• Wenn ein notwendiger Pfeiler nicht da ist, dann brauchen Sie den anderen gar nicht zu testen.
• Ja?
• Also, das ist so einfach, ist die Überprüfung der konvergenten Validität.

Überprüfung der Validität

• Ein bisschen aufwändiger ist jetzt die Überprüfung der diskriminanten oder divergenten Validität.
• Also, zweiter Prüfschritt.
• Die Werte der konvergenten Validitätsdiagonalen, also wiederum diese hier in den elliptischen Kreisen, sollen größer sein, sorry, als verschiedene Traits, die mit der gleichen Methode gemessen werden, also größer sein als die Werte, die in den Dreiecken hier drinstehen.
• Können Sie es nachvollziehen, weshalb?
• Ja, und hier sehen Sie, jetzt beginnt hier diese Abbildung sinnhaft zu werden.
• Sie vergleichen diese Werte hier mit diesem Dreieck.
• Ja, und da sehen Sie das Größerzeichen, was Sie bereits aus der Grundschule kennen.
• Das heißt, diese Werte, die hier stehen, sollen größer sein als die, die hier stehen.

Vergleich von Werten in Dreiecken

• Das gilt auch hier für die, die hier stehen, sollen größer sein als die, die da stehen.
• Und die, die da stehen, sollen größer sein als die, die da stehen.
• Es geht hier um die Logik.
• Ich habe nicht überall Pfeile eingezeichnet, weil sie sonst den Wald vor lauter Bäumen nicht mehr erkennen können.
• Weshalb sollten diese Werte höher sein?
• Bitteschön.
• Weil wenn ich ein Kriterium mit sich selbst korreliere, muss das höher sein, als wenn ich das Kriterium mit einem anderen Kriterium korreliere.
• Genau, weil hier in diesen drei Ecken, in den Hetero-Trait-Mono-Method-Dreiecken, werden verschiedene Konstrukte miteinander korreliert, also A mit B, A mit C, B mit C, also nur verschiedene.
• Und die sollten ja nicht höher korrelieren, als wenn ich zweimal dasselbe Konstrukt miteinander korreliert in Beziehung setze, okay?
• Okay, das heißt also, diese Werte sollten größer sein als die in den Dreiecken.

Bedeutung der Validitätsdiagonale

• Dann sollen die Werte der Validitätsdiagonale, also wieder die elliptisch gekennzeichneten Werte, größer sein als die der benachbarten Hetero-Trait-Hetero-Method-Dreiecke.
• Jetzt sehen Sie auf einmal, was das hier bedeutet.
• Diese hier sollen größer sein als diese und als diese.
• Daher der Pfeil mit dem Größerzeichen.
• Oder die Pfeile mit dem Größerzeichen.
• Bitteschön, ja.
• Ja, kommen wir gleich drauf.
• Das ist eine wichtige Frage.
• Das hat mit der Schwammigkeit der Methode zu tun.
• Weshalb sollten diese Werte hier größer sein als diese hier oder diese Werte größer sein als diese oder diese Werte in dieser Ellipse größer als diese?

Erwartungen bei Konstruktvalidität

• Weshalb ist das die Erwartung, wenn man davon ausgeht, dass hier Konstruktvalidität vorhanden ist?
• Das ist ja wieder dasselbe wie vorher, weil wenn Sie mit sich selbst korrelieren, also müssen Sie höher sein als mit einer anderen, irgendeiner anderen Strategie.
• Weil hier werden ja nur verschiedene Sachen mit verschiedenen Methoden korreliert.
• Eigentlich erwartet man, dass diese Werte hier bei Null liegen.
• Hier vergleiche ich Äpfel mit Birnen und messe sie auch noch mit unterschiedlichen Maßstäben.

Die Bedeutung von niedrigen Werten

• Das heißt, diese Werte sollten eigentlich recht niedrig sein.
• Also sollten sie auch größer sein.
• Das ist jetzt sozusagen die zweite Voraussetzung für das Vorliegen von diskriminativer Validität.
• Insgesamt ist es der dritte Prüfschritt.
• Und dann brauchen wir jetzt noch einen.
• Das ist der vierte Prüfschritt und das ist dann auch der letzte.
• Das ist der Prüfschlitz hier mit 'D' bezeichnet.
• Es sollen gleiche Muster von Trait-Interkorrelationen über alle Hetero-Trait-Diagonalen sich wiederholen.

Interpretation von Korrelationswerten

• Ja, das müssen nicht unbedingt die gleichen Korrelationswerte sein, aber eben in vergleichbaren Mustern der Reihenfolge der Höhe der Korrelationswerte.
• Gleich wird dabei unterschiedlich interpretiert.
• Zum Beispiel sagen manche, dass 'gleich' die gleiche Rangfolge bedeutet.
• Was bedeutet das?
• Zurück zur Abbildung.
• Hier sehen Sie ein Beispiel dafür.
• Hier ist eine gleiche Rangfolge vorhanden.
• B korreliert ungefähr mit A bei Punkt 20, C mit A bei Punkt 10 und C auch ungefähr mit B bei Punkt 10.
• Schauen wir, ob dieses Muster, sagen wir 20, 10, 10 - hier geht es um ungefähre Werte -, sich auch anderswo wiederfindet.

Konsistente Muster

• Es zeigt sich hier auch 20, 10, 10 oder 22, 11, 11, 22, 11, 12, 23, 11, 11.
• Also hier gibt es so konsistente Muster.
• Hier ist es genauso.
• Dieser Korrelationswert ist immer ungefähr um Punkt 10 höher als diese beiden.
• Der ist ungefähr um 10 höher, der ist 10 höher als diese beiden.
• Das würde man so annähernd als gleiche Rangfolge betrachten.
• Sie sehen schon, das ist einigermaßen schwammig.

Kritik an Durchschnittswerten

• Und das ist der Punkt, den man auch daran kritisieren kann.
• Und jetzt würde ich Sie bitten, Ihre Frage zu wiederholen, weil die jetzt wunderbar ins Konzept passt.
• Mit den Durchschnittswerten.
• Das heißt, ich habe die Frage ja noch präsent.
• Das heißt, Sie brauchen sie nicht noch einmal zu artikulieren.
• Durchschnittswerte sollte man eigentlich nicht nehmen.
• Also, da streiten sich die Geister.
• Manche sagen, man solle welche nehmen, manche sagen eher nicht und besser auf die Rangfolge achten.
• Sagen wir es so, was jetzt letztlich der Stein der Weisen in diesem Punkt ist, brauchen wir hier nicht zu entscheiden.

Verständnis der Grundlogik

• Wichtig ist, dass Sie die Grundlogik verstanden haben, wie ich sie hier erklärt habe.
• Und dieser Punkt wird Ihnen in der Klausur auf jeden Fall nicht als Fallstrick von meiner Seite untergejubelt.
• Sie werden nicht diskutieren müssen, welcher von den Gelehrten A, B oder C da jetzt recht hat.
• Mir geht es um die Grundlogik und dass Sie wiedergeben können, dass Sie das verstanden haben.
• Hier sind die Experten auch nicht einig.
• Das kann ich jetzt nicht auf Ihrem Rücken austragen.
• So, das sind demzufolge vier Prüfschritte.
• Ja, bitte.

Vergleich der Werte

• Also im Vergleich zur Ellipse mit dem Dreieck sollten die Werte höher sein.
• Die elliptischen Werte sollen höher sein als die des Dreiecks, ja.
• Ja, hier wäre es jetzt kritisch, ja.
• Sie müssten höher sein, ja.
• Das ist hier nicht der Fall, also hier gäbe es ein Problem.
• Und warum sagst du mir das jetzt?
• Eigentlich heißt es doch, wenn ich A mit A vergleiche, dann muss das ja eigentlich höher sein.
• Oder wenn ich A mit A kollidiere, dann muss das ja höher sein als das andere.
• Wieso ist das dann jetzt nicht so?

Erhöhung der Korrelation durch methodenspezifische Varianz

• Hier scheint methodenspezifische Varianz die Korrelation zwischen den gemessenen Konstrukten zu erhöhen.
• Hier basieren diese Ergebnisse in dieser konvergenten Validitätsdiagonale darauf, dass die gleichen Konstrukte mit unterschiedlichen Methoden gemessen werden und diese Korrelationswerte herauskommen.
• Hier ist es jetzt so, wenn Sie in dieses Dreieck schauen, diese Werte sind annähernd genauso hoch wie die in der konvergenten Validitätsdiagonale, sind sogar höher, tendenziell sogar höher, obwohl verschiedene Konstrukte gemessen werden, aber mit derselben Methode.
• Und deswegen scheint es hier so zu sein, dass die Messmethode, also die Varianz, die auf die Messmethode zurückgeht, hier diese hohen Korrelationen erzeugt.
• Und das spricht eindeutig gegen Konstruktvalidität.
• Ja, das geht jetzt in die Richtung.
• Also, wenn alles gegeben ist, wie gefordert, nur die Werte des Dreiecks überschreiten die meiner Diagonalen.
• Also, die Werte des…
• Okay, die hier überschreiten diese hier.
• Dann ist meine Konstruktqualität hinfällig.

Fazit zur Konstruktvalidität

• Die ist hin.
• Vorbei.
• Die ist hin.
• Also, hier wäre es…
• Wir schauen gleich noch ein deutlicheres Beispiel.
• Noch eine Frage aus Ihrer Richtung, hatte ich gerade in Erinnerung.
• Bitte.

Prüfschritt zur Gleichheit der Muster

• Also, bei diesem letzten Prüfschritt, dass die Muster gleich sein sollen, ist das dann nur bei diesen Dreiecken oder auch in diesen Diagonalen?
• Eigentlich bei allen?
• Eigentlich im Prinzip bei allen.
• Also hier könnten Sie sagen, hier, die sollten ungefähr Punkt 70 korrelieren, die hier ungefähr Punkt 60, Punkt 70, ungefähr Punkt 60, oder dass die Abstände hier gleich sind.
• Die beiden gleich und dann hier 10 drauflegen, sozusagen.
• Hier sind es Punkt 40, dann sind es 50, sodass die Abstände, die Gleichabständigkeit einigermaßen gegeben ist.
• Das ist aber gleichzeitig das absolut schwammigste Kriterium überhaupt.

Kriterium der Gleichabständigkeit

• Aber das schaue ich trotzdem bei allen.
• Bei allen, bitte, ja.
• Bei allen, bitte.
• Genau, also hier sind es ungefähr 60, hier sind es 50, hier sind es auch ungefähr 10 mehr als da unten.
• Hier sind es auch ungefähr 10 mehr als da unten.
• Die gleichen Abstände, also das ist schon gegeben.
• Im Großen und Ganzen.
• Aber es hapert hier ja schon an dem Prüfschritt davor, sodass Sie das eigentlich gar nicht mehr untersuchen müssten, hier im konkreten Beispiel.

Vergleich von Methoden

• Frau Schöning.
• Zwei, die zehn höher sind und der eine ist der niedrigere Wert, und in den anderen ist es genau andersherum.
• Ist das egal?
• Das ist nicht das gleiche Muster eigentlich.
• Sie vergleichen hier sozusagen die Ellipsen mit den Ellipsen, die Dreiecke mit den Dreiecken und diese hier mit diesen hier.
• Wenn so ein Prüfschritt, der erste gleich sozusagen die Konsumqualität verdoppelt, dann brauchen wir halt…
• Brauchen Sie die Monate.
• Aber lassen Sie mich dann wissen, dass es nicht so aussieht, als hätten Sie…
• Das ist wichtig für den Fall, dass es in der Klausur vorkommt.
• Dann schreiben Sie bitte hin.

Beispiel einer Studentin

• Also am besten, ich zeige Ihnen mal ein Beispiel.
• Das wäre jetzt nämlich das Nächste gewesen.
• Wenn Sie es aus freier Hand machen müssten, dann habe ich Ihnen mal etwas mitgebracht, was eine Studentin skizziert hat, weil ich das nicht schlecht fand.
• Hier wurde keine MTMM vorgegeben, sondern die Studierende wurde aufgefordert, in der Aufgabe die MTMM selbst von Hand zu skizzieren und zu erklären, wie sie die Prüfung angeht.
• Sie sehen hier, die Dame hat sich entschieden, es ist, glaube ich, eine Frau gewesen, anhand der Handschrift.
• Hier gibt es nur zwei Methoden bei ihr und drei Traits, also drei Konstrukte.
• Kann man auch machen.
• Sie hat zunächst gesagt, 'Okay, hier sind die Korrelationswerte, die durch Punkte symbolisiert sind.'

Einführung in Validitätsdiagnostik

• Hier ging es nicht um konkrete Zahlen, sondern um die Logik.
• Deshalb stehen dort keine konkreten Zahlen.
• Ich habe sie nicht angefordert.
• Reliabilitätsdiagonale - man könnte besser schreiben: 'Reliabilitätsdiagonale' in Klammern, konventionsgemäß.
• Die Zweierwerte, das sind diese hier, also die konvergente Validität.
• Hohe Korrelationen deuten auf konvergente Validität hin.
• Hier könnte man besser schreiben: 'signifikante Korrelationen'.
• Dann gibt es hier die sogenannten Dreier.
• Hier sollten niedrige Korrelationen vorliegen und bei den Vierern auch.
• Dann wäre das ein Indikator für diskriminante Validität.
• Das ist sozusagen eine Aufgabe gewesen, wie ich sie jetzt nicht mehr direkt stellen würde.
• Aber die soll sozusagen die Grundlagen erfassen.

Grundlagen der Validitätsdiagnostik

• Hier geht es jetzt nicht so stark um Details.
• Das heißt, sie sagt jetzt hier, es gibt diese Prüfschritte.
• Sie hat jetzt nur drei aufgeführt.
• Sie wissen, einer fehlt eigentlich noch.
• Kriterien für konvergente Validität wären jetzt, dass die Zweierwerte größer als null sind.
• Also signifikant größer als null, müsste man besser schreiben.
• Und sie nennt das dann, das sollten Sie auch tun.
• Wenn ich Ihnen eine MTMM vorlege, sollten Sie den technischen Begriff für diesen MTMM-Teil kennen.

Erläuterung der MTMM-Logik

• Zum Beispiel sagen Sie hier, die Zweier sind eben mono-trait hetero-method.
• Hat sie richtig hingeschrieben.
• Dann diskriminante Validität.
• Die Zweier sollten größer sein als die Dreier.
• Das war dieser Vergleich hier, von da nach da.
• Auch wieder technisch korrekt formuliert, die hetero-trait-mono-method-Korrelationen sollen kleiner sein als die mono-trait-hetero-method.
• Und hier unten, damit Sie es besser sehen können, schiebe ich es noch ein bisschen hoch.
• Der dritte Prüfschritt, die 3er-Werte, sollten immer höher sein als die 4er-Werte, die in blau gekennzeichnet sind.
• Einfach aufgrund dessen, weil hier hat ja die Methode B immer noch eine Chance, die Korrelation ein bisschen zu erhöhen, wohingegen hier die Methode A, also hier bei den Hetero, Hetero, da ist ja gar nichts mehr gleich, da sollte demzufolge bei den hier blau gekennzeichneten Viererwerten, in Anführungszeichen, die geringsten Korrelationen zu erwarten sein.
• Jetzt fehlt hier eigentlich noch ein weiterer Schritt, den letzten, den Sie gekannt haben, mit der Rangreihe der Korrelation.

Optimale Aufgabenbeantwortung

• Also, für eine optimale Aufgabenbeantwortung wünsche ich mir hier, dass Sie zunächst mal - und das gilt für alle Aufgaben - lesen Sie erst mal in Ruhe die Aufgabenstellung durch.
• Wenn Sie Dinge tun, die ich nicht von Ihnen erwartet habe, dann ist das zwar nice-to-know für mich, aber es gibt keine Punkte.
• Also, diese Fehler werden im Stress wahrscheinlich recht häufig gemacht.
• Lesen Sie bitte genau durch, was ich wissen möchte, und antworten Sie genau darauf.
• Das ist generell gültig, es werden häufig Fehler gemacht.
• Das nächste ist, wenn Sie die Logik von der MTMM verstanden haben, ist das erst wunderbar.
• Weil Leute, die die Logik nicht verstanden haben und dann auswendig lernen und dann schnell hinkritzeln, machen häufig so einen Fehler.

Verstehen und Herleiten

• Also es lohnt sich, das hier zu verstehen, dann kann man es jederzeit wieder herleiten, selbst wenn man eine unter Stress stehende Gedächtnisblockade hat.
• Dann sollten Sie auf jeden Fall können, ich gehe gleich auf Ihre Frage ein, die vier Prüfschritte sollten Sie auf jeden Fall beherrschen.
• Die technischen, das heißt, die korrekten, methodisch korrekten Bezeichnungen jedes einzelnen Teils dieser Multi-Trade, Multi-Method-Matrix sollten Sie kennen.
• Sie sollten in eine beliebige Multi-Trade, Multi-Method-Matrix, die ich Ihnen vorgebe, mit verschiedenen Farben einzeichnen. Das macht es Ihnen und mir leichter beim Korrigieren, wie diese Bausteine aussehen, wie sie heißen und wie sie dann zu ihrem Schluss kommen. Konstruktvalidität gegeben, ja oder nein.
• Ich erwarte von Ihnen eine klare Aussage.
• Wenn die Frage lautet, ob die Konstruktqualität gegeben ist, wie steht es dann damit? Ich möchte später hören, ja oder nein, und die Begründung lautet folgendermaßen.
• Das könnte in der Praxis so aussehen, schon im Hinblick auf das nächste Mal. Ich habe das jetzt aus einer Klausur genommen, die wir beim nächsten Mal auch noch besprechen können.
• Stellen Sie sich vor, Sie werden mit dieser Aufgabe konfrontiert, Aufgabe 11.

Kontext und Aufgabenstellung

• Zunächst einmal wird hier eine Menge erzählt, was der Kontext ist.
• Lesen Sie das bitte durch, da können wichtige Tipps enthalten sein.
• Und dann kommt hier die Aufgabenstellung.
• Geben Sie am besten mit Hilfe verschiedener Farben, also bitte verschiedenfarbige Stifte mitnehmen.
• Und unter Nennung der korrekten Bezeichnungen, also hier steht zunächst mal, ich will Farben sehen, ich will korrekte Bezeichnungen sehen.
• Aus welchen Teilen und Bausteinen besteht diese MTMM.
• Sie können dazu gerne die Tabelle als Grundlage nutzen.

Warum abschreiben?

• Jetzt gibt es manche Leute in der Vergangenheit, die diese Tabelle abschreiben.
• Und ich frage mich, weshalb tut man das?
• Welchen Vorteil bringt mir das?
• Also, mir bringt das überhaupt keinen Vorteil, und Ihnen bringt es Zeitverlust.

Abschreiben oder nicht abschreiben?

• Wenn hier schon steht, Sie können hier gerne reinmalen, warum malt man das dann ab?
• Also, es gibt Spezialisten in der Vergangenheit, die haben das abgemalt und dann am Ende einen wütenden Kommentar reingeschrieben, ich habe keine Zeit mehr.
• Wissen Sie?
• Ich sitze dann da, und das ist sehr anstrengend, das zu korrigieren.
• Ich denke mir ja, was soll ich da machen?
• Also, sparen Sie sich das.
• Wir sind hier nicht in einem Malkurs, wenn Sie so wollen.
• Mir geht es um die Logik und dass Sie das abschreiben können, das ist mir sowieso klar.
• Also, das wäre jetzt keine Herausforderung für eine Klausuraufgabe.

Bewertung der Konstruktvalidität

• Dann steht hier die Frage, wie es um die Konstruktvalidität bestellt ist?
• Da möchte ich also eine Antwort haben, gut oder schlecht, oder sie ist gegeben, ja oder nein.
• Wer diese Antwort nicht gibt, beantwortet die Frage nicht vollständig und kann demzufolge keine vollständige Punktzahl bekommen.
• Prüfen Sie anhand sinnvoller aufeinanderfolgender Schritte, und da sehen Sie Zaunpfähle winken.
• ob diese gegeben ist, und ziehen Sie ein klares Fazit.

Klarheit in stressigen Situationen

• Wenn Sie diese Aufgabenstellung lesen, ist Ihnen wahrscheinlich intuitiv klar, dass Sie sich nicht in einer stressigen Situation befinden.
• Wenn derjenige nicht beantwortet, ob die Konstruktqualität gegeben ist, und zu welchem Schluss - also das klare Fazit - bei der Überprüfung anhand der vier Schritte kommt, die hier zahlenmäßig in der Aufgabenstellung eingefordert wurden, dann gibt es natürlich auch keine Punkte.
• Ist Ihnen jetzt wahrscheinlich völlig klar, aber im Klausurstress kommen manchmal solche Sachen nicht, obwohl ich davon überzeugt bin, dass einige von den Leuten, die es nicht in der Klausur geschafft haben, das gewusst hätten.
• Ja, das ist eigentlich doppelt gemoppelt, das habe ich bewusst gemacht.
• Damit es auf jeden Fall ankommt.
• Ja, ich habe gemerkt, dass redundante Äußerungen häufig nicht überflüssig sind in der Lehre.
• Sie finden das verwirrend.
• Schauen Sie sich gleich die Daten an, dann werden Sie sehen, dass es eine Doppeldeutigkeit gibt.
• Machen wir gleich, werden Sie sehen.
• Das habe ich nicht ohne Grund gemacht.

Aufforderung zur Handlung

• Bitte.
• Aber das können Sie am laxesten handhaben.
• Nur bei krassen Abweichungen, bitte.

Die Systematik der Konstruktbeziehungen

• Was konkret der vierte Prüfschritt prüft, ist Ihre Frage.
• Es geht um die Systematik der Konstruktbeziehungen, die sich über alle Methoden hinweg finden lassen.
• Das ist die Idee.
• So könnte man es dann beschreiben, wenn die Menschen wissen wollen, was damit gemeint ist.
• Genau.
• Um die Systematik der Konstruktbeziehungen.
• Über alle Konstrukte hinweg soll Aberglaube beispielsweise mit Ängstlichkeit in einer bestimmten Art und Weise korrelieren, und das soll sich in allen Bereichen wiederfinden.

Analyse der Aufgabenstellungen A und B

• Gut, das heißt, Sie haben die Aufgabenstellungen A und B zur Kenntnis genommen.
• Sie sehen, hier unten kommt diese Anmerkung.
• Und jetzt schießen Sie doch mal los und sagen Sie mir, wie Sie hier vorgehen würden.
• Also wichtig wäre jetzt erstmal, was Sie sagen, ist natürlich richtig, dass Sie aber jetzt A vor B machen.
• Diejenigen, die ihre Farbstifte auspacken und hier das richtig einkreisen.
• Und das sind nur zwei Methoden und drei Konstrukte, dann sieht die Matrix natürlich ein bisschen anders aus.

Verschiedene Methoden und Konstrukte

• Und jetzt fangen die ersten an, die es nicht verstanden haben. Sie fangen jetzt nämlich an, das so grafisch zu memorieren, wie sie es auswendig gelernt haben, und schreiben dann irgendwas rein. Zum Beispiel machen sie hier ein Dreieck hin und dann da eins, und dann streichen sie es wieder durch und denken sich: 'Oh nein, doch nicht.'
• Also erstmal einen Moment innehalten und gucken, wo sind jetzt die Teile. Vielleicht mal mit einem Bleistift versuchen, ob das dann auch nachher überhaupt aufgeht.
• Gut, das wollte ich aber jetzt von Ihnen nicht hören, was Sie gesagt haben, stimmt.
• Wenn Sie identifiziert haben, wo hier der erste Prüfschritt losgeht, das wären nämlich genau diese Werte hier, dann stellen Sie fest, die Werte in der konvergenten Qualitätsdiagonale sind allesamt nicht signifikant.
• Daraus schließen Sie welchen brillanten Schluss?

Klare Fazit für Aufgabe B

• Schön, Sie haben es verstanden.
• Das klare Fazit ist sozusagen, was schreiben Sie demzufolge dahin als Antwort für Aufgabe B?
• Die Ideallösung wäre für mich, von Ihnen vielleicht, bitte?
• Es ist keine Konstruktvalidität gegeben.
• Gegeben?
• Und jetzt möchte ich noch hören, warum.
• Weil.
• Weil die konvergente Validität nicht erfüllt ist und damit das Kriterium für die Konstruktvalidität nicht erfüllt ist.
• Genau, das ist gut.
• Das wäre schon die volle Punktzahl.
• Sie könnten zum Beispiel schreiben, dass die konvergente Validität im ersten Prüfschritt als nicht vorhanden festgestellt wurde.
• Demzufolge ist eine notwendige Voraussetzung für das Vorliegen von Konstruktvalidität nicht gegeben.
• Insofern kann hier abgebrochen werden.

Zusätzliche Punkte für die Aufgabe

• Und die Leute, die jetzt ein Sternchen haben wollen, die könnten schreiben, wenn es aber gewesen wäre, dann hätte ich noch geprüft, das.
• Aber das gibt sozusagen dann Zuschläge in der B-Note, aber keine zusätzlichen Punkte für die Aufgabe.
• Aber das ist dann richtig brillant.
• Aber das heißt natürlich schon, dass Sie bei dem entsprechenden Prüfschritt abgerechnet wurden.
• Ja genau, aber begründen, weshalb abgebrochen wurde.
• Es darf nicht aussehen, als hätten Sie keine Zeit mehr gehabt, sondern Sie müssen sagen, weshalb Sie abgebrochen haben.

Prüfschritte und Abbruchbegründung

• Das ist ein bisschen irreführend, dass da steht, prüfen Sie einen Handzins oder ob ein anderer folgender Schritt ist.
• Das indiziert ja, dass es da auch mehrere Schritte gibt, die gegeben sind.
• Oder?
• Nee, das ist nicht als Falle gemeint.
• Das ist als Steilvorlage gemeint.
• Dann hätten Sie ein Häkchen machen können für den ersten Prüfschritt, und dann wäre es munter weitergegangen.
• Und dann hätte man aber relativ schnell festgestellt, dass das trotzdem nichts wird mit der Konstruktualität, aber an einer anderen Stelle hätte das dann aufgehört.
• Dann sind wir genau in dieser Unschärfe-Problematik, die die MTMM kennzeichnet.

Diskussion über MTMM-Darstellung

• Dann kann man diskutieren, müsste man dann.
• Da das sozusagen jetzt wieder eine Frage der Gelehrten ist, werde ich sie damit verschonen.
• Ja, aber Sie können es zur Kenntnis nehmen, und das haben wir eben auch kritisch angemerkt bei der MTMM.
• Es gibt halt subjektiven Interpretationsspielraum, und diese Schwierigkeit werde ich aber in der Klausur nicht auf Ihrem Rücken austragen.
• Also, wir können über andere Arten der MTMM-Darstellung gerne noch beim nächsten Mal sprechen, wenn Sie da noch Fragen haben.
• Ganz grundsätzlich zum Vorgehen beim nächsten Mal noch ergänzend zu meinen Einführungen von eben.
• Es gibt dann in der nächsten Vorlesung, außer wir haben noch Folien zu besprechen, kein festes Programm, sondern es ist dann so, dass Sie bitte Fragen an mich stellen und ich gehe dann darauf ein.
• Ich habe noch eine kurze Frage zum Signifikanzniveau.
• Wenn Sie keins angeben, nehme ich das dann für die Konvergentvalidität her, dass mir bekannt ist?
• Also größer Punkt 3 ist Mittel und größer Punkt 5 ist Niveau?
• Also, wenn das nicht angegeben ist, dann bitte ich um Protest, dann habe ich es vergessen.
• Aber üblicherweise gebe ich das an.
• Ich habe es, glaube ich, noch nie vergessen.
• Also, das brauchen Sie ja, sonst können Sie es nicht beurteilen, wie die Werte einzuschätzen sind.
• Dann hätte ich in Aufgaben Stellfehler gemacht.
• So.

Einführung in die Testtheorie

• Gut, jetzt kommen wir noch zu einem wichtigen Thema.
• Ja, bitte.
• Das gab es auch, ja genau.
• Wenn so etwas dran kommt, eine leere Matrix, wo Sie Werte einzeichnen können, da war, glaube ich, die Aufgabenstellung. Bitte geben Sie ein Beispiel, wie die Werte aussehen könnten, wenn Konstruktqualität gegeben wäre.
• Dann geht es mir um die groben Verhältnisse.
• Da müssen Sie jetzt also nicht sich hier verkünsteln und da krumme Werte erfinden.
• Da können Sie meinetwegen reinschreiben bei den konvergenten Qualitätsdiagonalen 60, 60, 60 und die anderen Werte halt entsprechend kleiner.
• Mir geht es dann nur um das Prinzip, dass Sie zeigen können, dass Sie es verstanden haben.
• Das muss dann nicht so sophisticated sein, wie Sie jetzt vielleicht gedacht haben, wie es hier in diesen Praxisbeispielen war.
• Dann sind die Reliabilitäten meinetwegen alle 0,80, die konvergenten Qualitätsdiagonalen alle 0,70 und die anderen Werte halt einfach drunter, was weiß ich, die hetero-hetero-Werte vielleicht alle 0,10 und die anderen halt dann zwischen 0,10 und 0,70 in der richtigen Abfolge.
• Das reicht.
• Sie dürfen bei allen Fragen, die ich stelle, davon ausgehen, dass das keine bösen Fallen sind, sondern es geht darum, dass Sie wirklich Ihr Wissen in dieser Klausur präsentieren können, sodass dann nachher auch eine vernünftige Note rauskommt.
• Wobei die vernünftige Note ist Ihre Verantwortung, aber ich möchte, dass Sie wissen, was Sie erworben haben, und ich bin fest davon überzeugt, dass die meisten von Ihnen ein sehr ansehnliches Wissen in Testtheorien hier erworben haben, dass Sie das auch demonstrieren können.
• So, jetzt zu einem wichtigen Punkt, den Sie vermutlich schon als erste Kohorte auch schon woanders gehört haben.

Die Gütekriterien im Überblick

• Wechselbeziehungen zwischen den Gütekriterien.
• Bekannt?
• Wie hängen Objektivität, Reliabilität und Validität zusammen?
• Lassen Sie es mich wissen, was Sie darüber schon wissen?
• Die Validität sollte möglichst die Wurzel der Reliabilität sein.
• Ja, okay, das ist schon sehr detailliert.
• Haben Sie das schon einmal in einer anderen Veranstaltung gehört oder nicht?
• Können wir dementsprechend hier schneller oder langsamer vorgehen?
• Ja, das wiederhole ich gerne gleich, denn es steht auch auf den Folien.
• Also, es scheint irgendwie heterogen oder inkonsistent zu sein. Das wissen wir dann schon, was uns noch einmal verdeutlicht hat.

Definition der Hauptgütekriterien

• Hier haben wir die drei Hauptgütekriterien, und es geht jetzt darum, wie diese definiert sind. Wissen Sie.
• Sie erinnern sich aber daran, dass ich mal gesagt habe, so als Gag oder Analogie, die Validität wäre quasi das Allerheiligste, wenn die Testtheorie eine Religion wäre.
• Daraus impliziert konnten Sie schon ableiten, dass die Hauptkriterien einer hierarchischen Beziehung zueinander stehen.
• Und das wollen wir jetzt noch ein bisschen genauer beleuchten.
• Es ist nämlich so, dass die Objektivität bestimmt, wie groß die Reliabilität maximal sein kann.
• Die Reliabilität bestimmt, wie groß die Validität maximal sein kann.
• Nämlich maximal die Wurzel aus der Reliabilität und durch Erhöhung der Reliabilität kann die Validität erhöht werden, also die potenzielle Validität erhöht werden.
• Re-Test und Paralleltest Reliabilität können zudem nicht größer sein als Objektivität und Konsistenz.
• Gut, Letzteres ist nicht so entscheidend.
• Wichtig ist, dass Sie grundsätzlich das Verständnis haben, dass dieser Punkt hier zutrifft, der unter Validität gekennzeichnet ist.
• Ein Test kann jedoch völlig reliabel und objektiv sein und dennoch nicht valide, wenn er nicht das misst, was er messen soll.

Das Tollgut-Beispiel

• Sie erinnern sich an das Tollgut-Beispiel mit dem Gaukler, der behauptet hat, man könne anhand der Haarlänge die Intelligenz vorhersagen.
• Ist jedoch die Validität hoch, impliziert dies hohe Objektivität und hohe Reliabilität.
• Das heißt, wir können es zusammenfassen.
• Objektivität ist eine notwendige, aber nicht hinreichende Voraussetzung für Reliabilität.

Die Bedeutung von Reliabilität

• Reliabilität ist notwendig, aber nicht hinreichend als Voraussetzung für Validität.
• Wenn Validität gegeben ist, impliziert das, dass auch Objektivität und Reliabilität gegeben sind.
• Also, diese Verknüpfungen, da sind einige Klausurfragen schon gestellt worden zu notwendig, aber nicht hinreichend.
• Hohe Validität impliziert aber das Vorliegen von den anderen beiden Hauptgütekriterien.
• Das ist wichtig, das müssen Sie im Schlaf wissen.
• Für Ihre ganze Psychologenkarriere.
• Das heißt, man kann es so darstellen, wie das Herr Lienert getan hat.
• Ich würde eigentlich präferieren, dass man die Validität nach oben packt und nicht nach unten, weil das so ein bisschen hierarchischer aussieht.

Die Bedeutung von Objektivität und Reliabilität

• Hier sehen Sie, erster Schritt: Objektivität gibt es in diesen drei Versionen. Es ist eine notwendige, aber nicht hinreichende Voraussetzung für Reliabilität.
• Diese gibt es in den genannten Formen, die hier aufgeführt sind. Dies wiederum ist notwendig, aber nicht hinreichend für Validität.
• Gut, das haben wir schon besprochen.
• Jetzt gibt es noch ein Problem.
• Ja, bitte.
• Weshalb glauben Sie, dass das so ist?
• Weil ich versuche, meinen Test mit einem anderen zu kombinieren. Ich versuche herauszufinden, ob mein Test dasselbe Konstrukt misst wie etwas, was bereits feststeht.
• Sie meinen sozusagen, dass die Paralleltestform A und die Paralleltestform B quasi zwei Methoden sind, die dasselbe Konstrukt messen?
• Nee, dann wäre das am ehesten ein Nachweis von Konvergenzvalidität, aber noch nicht von Divergenz.

Die Herausforderung der Testkombination

• Aber misst es die Reliabilität eigentlich?
• Also Messgenauigkeit, eine Paralleltestreliabilität?
• Reliabilität ist Messpräzision.
• Ja, aber die spezielle Paralleltestreliabilität misst die Genauigkeit oder überprüfe ich nicht eigentlich, ob mein Konstrukt wirklich erfasst wird?
• Sowohl als auch.
• Sowohl als auch.

Konflikte zwischen Kardinalkriterien

• So, die eben dargestellten Beziehungen zwischen den Hauptgüterkriterien sind Ihnen wahrscheinlich bekannt gewesen.
• Es gibt jetzt aber noch potenzielle Konflikte zwischen diesen, und die nennt man dann auch technisch formuliert die partielle Inkompatibilität der Kardinalkriterien oder auch das Reliabilitäts-Validitäts-Dilemma.
• Die können ein wenig in Konflikt stehen, diese beiden.
• Wie das zustande kommt, das wollen wir uns jetzt anschauen.
• Also unter diesem Stichwort Reliabilitäts-Validitäts-Dilemma wird die teilweise Unvereinbarkeit von Reliabilität und Validität gehandelt.

Die Bedeutung von Reliabilität und Validität

• Wir wissen ja noch, dass sich bei Erhöhung der Reliabilität, wenn auch um einiges langsamer, auch die Validität potenziell erhöht.
• Allerdings wird die Reliabilität vor allem durch die Homogenität der Items gesichert.
• Erinnern Sie sich an die Chromebox Alpha?
• Je homogener die Items waren, desto höher war potenziell Chromax Alpha.
• Deshalb war Chromax Alpha auch ein Homogenitätsindex.
• Validität wird dagegen durch heterogene Items eher gesichert.

Die Herausforderung der Homogenität und Heterogenität

• Das heißt, hier gibt es diesen Twist zwischen Homogenität und Heterogenität, der potenziell zu Unvereinbarkeiten führen kann.
• Unterschiedliche Aufgabenschwierigkeiten sind besonders günstig für die Validität, wohingegen mittlere Itemschwierigkeiten, wie wir kennengelernt haben, schon in früheren Teilen der Veranstaltung, hier das mittlere Item Schwierigkeit, hohe Trennschärfen begünstigen, hohe Trennschärfen begünstigen, wiederum hohe Reliabilität.
• Ja, also wir müssen jetzt irgendwie dann ein gutes Mittelding finden, wie wir damals schon besprochen haben.
• Wie kommen wir da raus aus dem Problem, aus dem Dilemma?

Die Kombination von homogenen Subtests

• Es gibt einen Ausweg, und das ist die Kombination von homogenen Subtests für ein heterogenes Konstrukt zu einer Testbatterie.
• Ein heterogenes Konstrukt wäre zum Beispiel Intelligenz.
• Wenn ich das jetzt gleichzeitig reliabel und valide messen möchte, muss ich so vorgehen, dass ich das heterogene Konstrukt Intelligenz in unterschiedliche Teilbereiche zerlege, die ich dann sehr präzise, also reliabel, mit homogenen Testitems messen kann.
• Und das Ganze nennt man dann Testbatterie, und diese Testbatterie sichert insgesamt die Validität, während die Einzelskalen, also die Unterbereiche der Intelligenz, die Reliabilität gewährleisten.
• Okay?
• Das wäre sozusagen ein Ausweg aus dem Dilemma.
• Wird häufig in der Praxis so gemacht.
• Fragen zu dem Thema?
• Bitte.

Effektive Klausurstrategien

• Wie weit, ich möchte, dass Sie Ihr Wissen dazu darlegen, können Sie der Fragestellung entnehmen.
• Sie können grundsätzlich zum Verständnis, meine Aufgaben in der Klausur sind so gestaltet, dass höherwertige oder schwierige Aufgaben höher bepunktet werden als einfache Fragen.
• Wenn Sie zum Beispiel eine MTMM-Frage sehen, die haben häufig so 1,5 oder 2 Punkte.
• Insgesamt gibt es 15 Punkte in der Klausur maximal.
• Dann erwarte ich einfach mehr Input, einfach vom Erwartungshorizont her, als wenn das so eine Minifrage ist, für die Sie einen halben Punkt bekommen können.
• Das wird auch häufig, glaube ich, nicht gesehen oder im Stress vernachlässigt.

Priorisierung von Aufgaben in Klausuren

• Wenn das eine Frage ist, die einen halben Punkt gibt, dann brauchen Sie dazu keine zwei Seiten zu schreiben.
• Wenn Sie die Klausur strategisch angehen und 90 Minuten Zeit haben, um diese Aufgaben zu lösen, dann würde ich wirklich ökonomisch investieren, sodass Sie sagen, die großen Punktebringer, die Cashcows, bitte vernünftig beantworten und den ganzen Kleinkram können Sie danach erledigen, von der Priorität her.
• Es ist auf jeden Fall ökonomischer Unsinn, eine Viertelstunde oder 20 Minuten an einer 0,5-Punkte-Frage zu verschwenden.
• Ich meine, als intelligente Menschen muss ich Ihnen das eigentlich nicht sagen, nur wird in Klausuren das immer wieder falsch gemacht.
• Also, ich gebe Ihnen den Tipp, vor diesem Hintergrund, gehen Sie diese Klausuren strategisch an.

Effizientes Zeitmanagement

• Wer unökonomisch mit seiner Zeit umgeht - und das ist eine knappe Ressource - der wird wahrscheinlich kein optimales Ergebnis erzielen.
• Und ich persönlich finde es eigentlich tragisch, wenn Sie den Stoff eigentlich wüssten und dann nachher in die Klausur reinschreiben müssten. 'Oh', wissen Sie, dann geht da so der letzte Federstrich, geht dann so einmal übers Blatt, leider keine Zeit mehr, und dann hat jemand das Blatt weggezogen.
• Das finde ich einfach. Ja, das kommt immer wieder vor.
• Also, ich habe ja so 100 Prüfungskandidaten, eigentlich jedes Mal, und es sind bestimmt 5 dabei, wo genau das der Fall ist.
• Und ich denke mir halt, gut, es sind nur 5 Prozent, aber ich persönlich als Dozent finde es schade, wenn Sie eigentlich das Wissen gehabt hätten und Ihnen rennt die Zeit weg.

Die Bedeutung des Wissens

• Wenn Sie das Wissen nicht gehabt haben, na gut, dann war in dem Punkt nichts mehr zu machen, aber wenn Sie das Wissen gehabt hätten und es mir dann nicht zeigen, ich kann nur werten, was da steht.
• Sie können alles wissen.
• Wenn Sie es nicht hinschreiben, gibt es null Punkte.
• Ich kann nur das werten, was Sie mir vorlegen.
• Deswegen achten Sie doch in Ihrem eigenen Interesse bitte darauf, dass Sie Ihr Wissen auch loswerden, und zwar in der Art und Weise, dass Sie dann auch die Punkte bekommen, die Sie hoffentlich verdient haben.
• Ja, also das als Tipp.
• Das gilt auch für andere Klausuren.
• Also das macht eine Menge aus, ob man da clever rangeht.
• Man hat ratzfatz mal ein paar Punkte verschenkt und ärgert sich nachher darüber.
• Insbesondere, wenn man gut gelernt hat.

Die Bedeutung der Normierung

• Also, wir müssen inhaltlich aber noch auf einen wichtigen Punkt kommen. Den wollen wir eigentlich eher überwegsartig hier thematisieren im Rahmen der Vorlesung. Das ist nämlich der Punkt der Normierung oder Eichung.
• Worum geht es dabei?
• Die Normierung eines Tests liefert das Bezugssystem, um die individuellen Testwerte, d.h.
• die Rohwerte, die für sich noch keine Aussagekraft haben, im Vergleich zu denen einer größeren, meist repräsentativen Stichprobe von Testteilnehmern einordnen zu können.
• Aufgrund der Rohwerte, die Personen in einem Test erzielen, können sie eigentlich noch gar nichts sagen.

Leistungsspektrum durch Normierung

• Erst durch die Normierung, durch den Vergleich der Rohwertergebnisse, die vergleichbare Personen erzielt haben, können Sie die Rohwerte in ein Leistungsspektrum einordnen, zum Beispiel bei einem Intelligenztest, und daraus ableiten, dass es jetzt eine überdurchschnittliche Leistung, eine unterdurchschnittliche oder eine durchschnittliche Leistung ist.
• Zu diesem Zweck, damit ich diesen Schritt vornehmen kann, werden die Rohwerte in standardisierte Werte überführt.
• Für die es wiederum unterschiedliche Skalen gibt, zum Beispiel Z-Werte, die Sie kennen, Mittelwert 0, Standardabweichung 1 oder T-Werte, Mittelwert 50, Standardabweichung 10.
• Es gibt noch andere Normarten, die wir gleich noch sehen werden, die transformiert werden.
• Und dann kann man munter hergehen und den Rohdaten, die Personen erzielt haben, Sinn verleihen, Aussagekraft.
• Der Prozess der Standardisierung bezeichnet also nichts anderes als die Transformation von Rohwerten in Standardwerte, die einen festgelegten Mittelwert haben und eine festgelegte Streuung, hier Mittelwert gleich 100, Streuung gleich 15, wie es in manchen Intelligenztests der Fall ist.

Die Bedeutung der Standardisierung

• Eine Standardisierung wird mit dem Ziel vorgenommen, Messungen, die auf verschiedenen Maßstäben vorgenommen wurden, vergleichbar zu machen.
• Nehmen wir mal ein praktisches Beispiel.
• Zwei Leute haben einen verschiedenen Intelligenztest gemacht.
• Der eine Intelligenztest hat einen Mittelwert von 100, also haben beide Intelligenztests einen Mittelwert von 100.
• Der eine hat eine Standardabweichung von 15 und der andere eine von 10.
• Jetzt kommt hier Fritzchen XY an und sagt: 'Ich habe 130 im Intelligenztest und du, Hansi, hast 120.'
• 'Ich bin also schlauer als du.'
• Vor dem Hintergrund dessen, was ich gerade gesagt habe, was müsste man jetzt wissen, ob diese Aussage jetzt auch wirklich zutrifft?

Testergebnisse und Bestreuungswerte

• Jeweils Test mit den dazugehörigen Bestreuungswerten.
• Und die Information gebe ich Ihnen jetzt?
• Es könnte theoretisch so sein, dass der mit 130 den Test gemacht hat mit einer Standardabweichung von 10, der sozusagen drei Standardabweichungen über dem Mittelwert liegt, was sozusagen außerordentlich wäre. Bei der Kombination zeigt sich die Ausprägung der höchsten Intelligenz. Der andere könnte 120 bei einer Standardabweichung von 15 haben und damit sozusagen nur leicht überdurchschnittlich sein.
• Also, die Antwort ist: Der mit dem 130er Ergebnis hatte den Test mit der Standardabweichung von 15 und der 120er mit der Standardabweichung von 10.
• Dann lautet Ihre Diagnose: Was ist mit den beiden?
• Hat er sich zu früh gefreut oder nicht?
• Also, ich sehe schon, dass Sie das deutlich besser beherrschen als die Jahrgänge vor Ihnen. Das meine ich als Kompliment, weil das in der Vergangenheit nicht so schnell einleuchtend war.
• Das gebe ich vor, das gebe ich vor.
• Also, was Sie trotzdem fürs Leben wissen sollten, weil das häufig bei psychologischen Tests vorkommt, ist, wie die Z-Standardisierung funktioniert. Das sollten Sie nicht vergessen.
• Mittelwert 0, Standardabweichung 1 und die T-Normierung sollten Sie auch kennen.
• Ich gebe es in der Klausur trotzdem an.
• Aber das, was man wissen sollte, ohne es nachschlagen zu müssen, ist trotzdem wichtig.

Normierung und Standardisierung

• T-Werte, Mittelwert 50, Standardabweichung 10.
• Viele psychologische Tests sind so normiert.
• Was ist konkret der Unterschied zwischen Standardisierung und Normierung?
• Normierung umfasst den Prozess, dass man zuerst diese Normdaten erhebt.
• Also, das Generieren einer Vergleichsstichprobe und dann wird standardisiert.
• Also, die Ziele des Prozesses der Normierung oder auch Eichung sind, dass die Testwerte verschiedener Probanden im gleichen Test oder von denselben Probanden in verschiedenen Tests vergleichbar gemacht werden sollen.
• Ein Beispiel habe ich Ihnen gerade geliefert.
• Das Ganze soll auf einer einheitlichen Skala dargestellt werden, und manchmal möchte man Rohwerte transformieren, ohne das Skalenniveau zu verändern.
• All das kann man tun.
• Es gibt jetzt hier unterschiedliche Arten von Normierungen.
• Warum dort eine 10 steht, weiß nur die PowerPoint-Formatvorlage der LMU.
• Das ist bedeutungslos.
• Man unterscheidet im Wesentlichen, das ist jetzt überblicksartig, drei Arten von Normierungen, um Rohwerte in Standardwerte zu transformieren.

Arten von Normierungen

• Zunächst einmal die Äquivalentnormen, dann die Variabilitäts- und Abweichungsnormen und die Prozentränge.
• Schauen wir uns jetzt peu à peu diese drei Möglichkeiten an.
• Die Variabilitäts- und Abweichungsnormen liegen vor, wenn die individuelle Leistung mit der Werteverteilung einer repräsentativen Vergleichspopulation in Beziehung gesetzt wird.
• Die Testwerte werden dabei in Werte einer Standardskala transformiert, zum Beispiel Z-Werte, wie eben besprochen. Also Klein-Z-Wert, Mittelwert 0, Standardabweichung 1 oder Groß-Z, Mittelwert 100, Standardabweichung 10 oder T-Werte, Mittelwert 50, Standardabweichung 10.
• Vorteile bei diesen Variabilitäts- und Abweichungsnormen sind übrigens der Klassiker.
• Die Ergebnisse verschiedener Tests können auf derselben Normskala gemessen und verglichen werden und kommen mit den Problemen, die die Äquivalentnormen haben, zurecht.
• Ich glaube, da gehe ich jetzt nicht weiter darauf ein.

Die Bedeutung von Normen

• Das ist die wichtigste Normart, die Sie kennen müssen.
• Hier sind die Variabilitäts- und Abweichungsnormen.
• Ein Problem besteht darin, dass dies voraussetzt, dass die Verteilung in der Bevölkerung im Laufe der Zeit stabil bleibt, was bei Intelligenz zum Beispiel empirisch nicht der Fall ist.
• Die Menschen neigen dazu, immer etwas intelligenter zu werden.
• Dieses Problem könnte jedoch durch regelmäßige Neunormierungen gelöst werden, sodass, wenn die Menschen intelligenter werden, ihnen auch dann, wenn sie intelligenter sind als vor 20 Jahren, der Wert 100 zugeordnet würde.

Herausforderungen bei der Datentransformation

• Ein weiteres Problem besteht darin, dass in der Regel eine Normalverteilung der Populationswerte vorausgesetzt wird, da andernfalls keine Transformation in Standardwerte erfolgen darf.
• Aber meistens sind unselektierte Stichproben in der Population sehr nah an der Normalverteilung dran.
• Das ist in der Tat ein Problem.
• Das ist in der Tat schwierig.
• Also kann man sozusagen Intelligenztests, die eine ähnliche Population gemessen haben, aber anders vielleicht erfassen, kann man über eine Transformation vergleichbar machen, aber anders vielleicht nicht.
• Im strengen Sinne ja.
• So, die Prozentränge kennen Sie auch.
• Haben Sie noch Ihren Studienplatz über die ZVS erhalten?

Erste Erfahrungen mit Verteilungen

• Die meisten von Ihnen schon.
• Früher, als ich mich dort beworben habe, das ist jetzt auch schon ein paar Jahre her, glaube ich, da hat man immer so eine schöne Verteilung bekommen.
• Sie haben den und den Prozentrang.
• Ach nein, Entschuldigung, das war beim Medizinertest.
• Ich habe mal den Medizinertest gemacht und da bekam man ein Prozentrangergebnis.
• Das war mein erster Kontakt mit diesen Verteilungen.
• Den haben Sie wahrscheinlich jetzt nicht gemacht, weil Sie es nicht in Betracht gezogen haben.
• Schauen wir es uns mal an.
• Mittlerweile gibt es ihn ja wieder, den Medizinertest.
• Ich bin aber jetzt mittlerweile sehr froh, dass ich es übrigens nicht gemacht habe.

Prozentränge und ihre Bedeutung

• Also bei Prozenträngen, hier werden die Rohwerte in Prozentwerte transformiert, die darüber informieren, wie viel Prozent aller Mitglieder einer Bezugspopulation einen höheren oder geringeren Wert erzielt haben.
• Und das war eben bei diesem Medizinertest auch so, dass man gesagt hat, sie sind besser als, was weiß ich, 95 Prozent ihrer Mitbewerber um den Platz und deshalb herzlichen Glückwunsch, Sie dürfen anfangen.
• Beispiel zum Beispiel, 20 Punkte in einem IQ-Test könnten einem Prozentrang von 60 entsprechen. Das heißt, 60 Prozent der Vergleichspopulation sind schlechter und 40 Prozent besser.
• Vorteile dabei, es setzt keine Verteilungsform voraus, da nur Rangreihenwerte vorliegen, also ordinal skaliert.
• Und das Ganze ist sehr leicht verständlich, deshalb wird es wahrscheinlich auch so rückgemeldet bei den Medizinertests.
• Man könnte auch sagen, Sie haben den Z-Wert von so und so viel erzielt.
• Da müsste man dann erst einmal in der Tabelle nachschauen, und das weiß man in diesem Stadium normalerweise noch nicht, wie man damit umgehen soll.
• Deshalb sind Prozentränge sozusagen konsumentenfreundlicher.
• Und das Problem ist, dass gleiche Prozentrangdifferenzen aufgrund des ordinalen Skalenniveaus nicht gleiche Rohwertdifferenzen bedeuten oder den gleichen Differenzen der Standardnormwerte entsprechen.
• Das wäre nur möglich, wenn das Ganze auf Intervallskalenniveau betrachtet werden könnte.
• Aber genau das bietet diese Art der Normierung nicht.
• Also das ist nur eine Behelfsmaßnahme.
• Das Schöne ist, wenn Sie die Abweichungs- und Variabilitätsnormen heranziehen, können Sie diese jederzeit in Prozentränge umrechnen, wie es häufig in quantitativen Methoden der Fall ist.
• Wenn Sie von einem höheren Skalenniveau ausgehen und das Intervallskalenniveau einfach höher als das Ursprungsniveau ist, dann können Sie immer noch downgraden, aber das Upgrade wird schwierig.
• Das ist meistens nicht möglich.
• Die Treppe abwärts zu gehen mit den Daten ist kein Problem, aber die Treppe aufwärts zu gehen, das funktioniert nicht.
• Und das hier, die Prozentringe, werden im Vergleich zu den Variabilitäts- und Abweichungsnormen die Treppe abwärts.
• Also, dann stellt sich die Frage, Eichstichprobe.
• Ich bin nicht näher darauf eingegangen.
• Nein, habe ich herausgekürzt.
• Aus Zeitgründen.
• Das sind die beiden wichtigsten Arten von Normen, die Sie hier kennengelernt haben.
• Der Umfang der Eichstichprobe stellt sich die Frage für Sie zum Beispiel, wenn Sie einen Test konstruieren auf Grundlage Ihrer Diplomarbeit.
• Nehmen wir den Fall, Sie haben Ihren vielbesagten emotionalen Intelligenztest in der Diplomarbeit entwickelt und Sie entscheiden sich jetzt für den Verbleib an der Uni und damit in der Forschung.
• Sie möchten ihn publizieren.
• Stellt sich für Sie die Frage: Na gut, erinnern Sie sich an Testtheorie?
• Ja, Normierung ist wichtig.
• Wie groß ist denn die Eichstichprobe, die ich jetzt brauche?
• Wie viele Leute muss ich denn befragen, damit ich sagen kann, dass der Hohgrefe-Testverlag meinen Test akzeptieren würde?
• Oder die Rezensenten, das heißt die haifischartigen Kollegen im testdiagnostischen Bereich, würden dann sagen: Okay, das lassen wir gerade noch durchgehen.
• Diese Frage wird jetzt hier beantwortet. Nämlich, das richtet sich danach, der Umfang der Eichstichprobe ist abhängig vom Allgemeinheitsgrad des untersuchten Merkmals und vom Heterogenitätsgrad der Zielpopulation.
• Konkret heißt das, je allgemeiner das Merkmal und je heterogener die Population sind, desto größer sollte die Eichstichprobe sein.
• Das heißt, emotionale Intelligenz in Ihrem Fall wäre jetzt ein recht allgemeines Merkmal, auch wenn man es manchen Leuten nicht zutraut, dass sie das haben.
• Aber es ist im Prinzip ein allgemeines Merkmal.
• Und die Population ist ziemlich heterogen, anhand der Sie Aussagen machen wollen zur emotionalen Intelligenz.
• Demzufolge brauchen Sie eine große Stichprobe.
• Jetzt stellt sich nur noch die Frage in Zahlen, was heißt jetzt groß?
• Das schauen wir uns gleich an.
• Jetzt hier bei Eignungstests, und das wäre emotionale Intelligenz jetzt ja in Ihrem Fall nicht, reichen einige hundert Probanden.
• Bei allgemeinen Persönlichkeits- und Leistungstests sowie emotionaler Intelligenz handelt es sich eher um ein Persönlichkeits- als um ein Leistungsmerkmal, aber es gehört bereits zu dieser Gruppe von Tests; es können einige tausend sein.
• Um Ihnen einen Vergleichswert zu nennen: Persönlichkeitstests mit einem allgemeinen Bevölkerungsanspruch haben üblicherweise Normierungsstichproben oder Eichstichproben. Der 16-PFR von Herrn Schneewind hat eine Stichprobe von knapp 1.300 Personen.
• Diese wurden vom Markt- und Meinungsforschungsinstitut bevölkerungsrepräsentativ erhoben.
• Also, Männer, Frauen, Altersgruppen, Ost, West und so weiter, bevölkerungsrepräsentativ, 1300 Leute.
• Das ist toll und dafür ist das Verfahren auch gelobt worden.
• Die perfektionistischen Bielefelder mit dem NEO-PI-R, Ostendorf und Angleitner, haben 12.000 und ein paar zerquetschte Leute befragt, um eine Normierungs- und Eichstichprobe herzustellen für ihr Verfahren.
• Also sehen, so ist das Spektrum.
• Beides ist aber akzeptabel.
• Aber Sie sehen, wenn Sie in diesen allgemeinen Persönlichkeits- und Intelligenzbereich reingehen, unter 1.000 Leute würde ich, glaube ich, gar nicht anfangen zu arbeiten, weil dann kritische Kollegen sagen könnten, ja, diese Eistichprobe, die ist einfach nicht gut.
• Demzufolge sind die diagnostischen Schlüsse, die gezogen werden auf Grundlage dieser Eistichprobe so, dass die Individualdiagnostik da nicht aussagekräftig genug ist und Sie werden verrissen, in der Fachpresse quasi.
• in der Fachpresse quasi.
• So, das ist Ihnen aber jetzt bestimmt bekannt, das ist ein alter Klassiker.
• Die Normalverteilung, die mathematische Formel oben, brauchen Sie nicht im Detail zu wissen.
• Aber Sie sehen hier unterschiedliche Abbildungen.
• Sie sehen hier, was ist das hier?
• Das ist eine T-Skala, Mittelwert 50, Standardabweichung 10.
• Entschuldigung, das sind Prozentränge.
• 50% hat man hier eben bei der Mitte der Verteilung erreicht.
• Die meisten davon sind nicht so wichtig.
• Und wie es funktioniert, wissen Sie mittlerweile auch, denke ich, dass wir da jetzt ordentlich mehr drauf eingehen müssen.
• Hier sehen Sie noch ein weiteres Beispiel, auch ein Scan. Das ist aus dem Linat, was häufig noch nicht so gut bekannt ist.
• Hier sehen Sie auch wieder Z-Wert.
• Z-Werte, Prozentränge, Perzentile kann man heranziehen. Klein-Z-Werte, T-Werte, wieder Mittelwert 50, Standardabweichung 10, HWiQ nach dem Hamburg-Wechsler-Intelligenztest oder Gesamt-IQ nach dem IST-Verfahren.
• Was noch nicht so gut bekannt ist, sind häufig diese Standard-Nein-Werte.
• Haben Sie davon auch schon gehört?
• Okay.
• Also hier würde man einfach von den Werten 1 bis 9 den Fünferwert einer mittleren Merkmalsausprägung zuordnen und hingegen 1 und 9 als Extremwerte betrachten.
• Hier gibt es noch - das ist auch ein Scan - dient eher dem Zweck, dass Sie wissen, man kann das alles entweder von Hand ausrechnen.
• Wenn man das aber nicht möchte, kann man sich auch ein Testtheorie-Lehrbuch zur Hilfe nehmen, wo hinten meistens tabellarische Anhänge drin sind, wie man diese Werte von einer Standardskala in eine andere überführt. Das ist ganz praktisch, wenngleich auch von Hand locker selbst herzustellen.
• Gut, machen wir noch einen thematischen Sprung. Damit kommen wir jetzt schon näher an das Ende der Vorlesung, was mich freut, weil wir dann sehr viel Zeit haben werden für Ihre Fragen beim nächsten Mal.
• Testverfälschungen sind noch ein Thema, dem wir uns widmen sollten, da dies in der Praxis bedeutsam ist.
• Also, neue Bitte: Neue Schublade ziehen.
• Testverfälschungen sind deshalb ein Problem, weil sie die Validität bedrohen. Alles, was die Validität bedroht, ist quasi unser natürlicher Feind als Psychodiagnostiker. Diese Einflüsse sollten daher minimiert werden.
• Zunächst einmal ist es wichtig zu wissen, welche Verfälschungsarten es überhaupt gibt.
• Da gibt es zunächst die absichtlichen Verfälschungen oder Verstellungen, die auch neudeutsch Faking genannt werden.
• Wenn zum Beispiel Versuchspersonen versuchen, möglichst hohe Werte zu erzielen, wäre das Simulation.
• Oder wenn sie versuchen, möglichst niedrige Werte zu erzielen, nennt man das Dissimulation, umgangssprachlich auch Dummstellen genannt, oder entsprechend der von ihnen wahrgenommenen sozialen Erwünschtheit reagieren.
• Das sind also absichtliche, also intendierte Versuche des Probanden, Testergebnisse zu manipulieren.
• Das ist eine Art von Testverfälschung.
• Haben Sie ein Beispiel dafür, wo Dissimulation ein potenzielles Thema sein könnte?
• Bei Leuten, die gerne früh in Rente gehen möchten, müssen sie natürlich dann Tests durchlaufen.
• Klischees zufolge nutzen Lehrer diesen Trick häufiger.
• Ich sage bewusst, Klischees zufolge.
• Also, ich kann nicht sagen, ob das stimmt, aber es kursiert so ein wenig, dass Lehrer, die keine Lust mehr haben, sich dann halt quasi kaputt schreiben lassen. Da werden dann entsprechende psychologische Tests auch gemacht, weil man ja relativ viel seiner eigentlich ursprünglich zu erzielenden Pension trotzdem kassiert, auch wenn man zehn Jahre früher ausscheidet.
• Und wenn man dann in diesen Tests anfängt, mit Dissimulation zu arbeiten, also sich beispielsweise so gestresst darzustellen, dass man sich kaum noch etwas merken kann, wegen Burnout oder aus welchen anderen Gründen, dann würde man eine Dissimulationsstrategie fahren.
• Also, in den üblichen Bewerbungskontexten würde man eher simulieren oder mit sozialer Erwünschtheit zu tun haben, wenn man sich besser darstellen will.
• Aber es gibt auch genau das Gegenteil, dass man sich kränker darstellen will oder fertiger darstellen will, als man eigentlich ist.
• Das wäre dann eben Dissimulation.
• Bitte.
• Man kann sich auch unbewusst sozial erwünscht verhalten.
• Also diese Aufteilung, das sozial Erwünschte könnte man auch bei unabsichtlich mit reinschreiben.
• Würde ich auch noch tolerieren.
• Das ist nicht ganz trennscharf.
• Wichtig ist, dass Sie wissen, es gibt zwei grundsätzliche Kategorien von Verfälschungsarten.
• Die eine ist absichtlich, die nächste demzufolge unbemerkt, unkontrolliert oder auch unabsichtlich benannte Verzerrungen oder Verfälschungen.
• Das ist zum Beispiel, wenn Versuchspersonen unbewusst bestimmte Antworttendenzen bevorzugen.
• Ja-Sage-Tendenz.
• Meinetwegen auch Neinsage-Tendenz, Tendenz zur Mitte und so weiter und so fort, da gibt es eine ganze Menge, mit denen Sie sich auseinandersetzen sollten, bitte anhand des Vorlesungsskripts, wo die detaillierter aufgeführt sind, als wir es jetzt hier besprechen könnten.
• Oder wenn es zum Beispiel kognitive Effekte aus den Bereichen Gedächtnis, Konzentration, Informationsverarbeitung, Selbstbeobachtung oder Selbstdarstellung gibt.
• Also, diese potenziell unbemerkten oder unabsichtlichen Einschlüsse können auch noch vorkommen.
• Was sind potenzielle Ursachen für absichtliche Testverfälschungen?
• Na, das liegt auf der Hand.
• Da Testergebnisse für die Versuchspersonen oft persönlich sehr wichtig sind, zum Beispiel bei Einstellungs- oder Selektionstests, haben sie ein Interesse daran, die Ergebnisse so zu korrigieren, in Anführungszeichen, dass das von ihnen angestrebte Ziel besser erreicht werden kann.
• Einstellung wird erzielt oder, wenn Sie später im Gefängnis arbeiten sollten, dass sich Haftinsassen sozial angepasster und gewissenhafter präsentieren, als sie es vielleicht sind.
• Auch das ist so eine Möglichkeit, wo Simulation ein Problem sein könnte.
• Oder aber, wo Versuchspersonen auch einfach zum Beispiel mangelndes Vertrauen zum Versuchsleiter haben, nicht geneigt sind, bestimmte Aspekte ihres Verhaltens und Denkens anderen Personen mitzuteilen.
• Das ist auch eine Möglichkeit. Also, wenn das Vertrauensverhältnis nicht hergestellt ist und die Selbstöffnungsbereitschaft nicht gegeben ist, sei es aus welchen Gründen auch immer, findet man häufig absichtliche Testverfälschungen vor.
• Deshalb, was ist wichtig, sozusagen, um eine Vertrauensbasis und Selbstöffnungsbereitschaft herzustellen?
• Wir haben auch im Rahmen dieser Veranstaltungsreihe über Testtheorie gesprochen.
• Was war da wichtig?
• Quasi als Türöffner.
• Ja, bitte.
• Genau, das ist im Wesentlichen die Anweisung und die Informationen, die in der Anweisung enthalten sind, sollen ein Vertrauensverhältnis herstellen, was Sie aufgrund Ihrer professionellen Haltung als Psychologin später natürlich auch rechtfertigen müssen.
• Aber das ist ein wichtiger Türöffner, dass in der Anweisung eine solide Grundlage für eine Vertrauensbasis gelegt wird.
• Welche wichtigen und voneinander wohl nicht unabhängigen Verfälschungsarten gibt es jetzt?
• Im Wesentlichen sind das Selbstdarstellungen, soziale Erwünschtheit, Antworttendenzen und Urteilsfehler beim Einsatz von Ratingskalen.
• Wie gesagt, auf die möchte ich hier im Rahmen dieser Veranstaltung jetzt nicht mehr detailliert eingehen.
• Trotzdem befassen Sie sich bitte damit im Vorlesungshandout, wo das genauer ausgeführt wird.
• Das heißt, wir sind jetzt angelangt, wo wir am Anfang waren, bei der Insel der Forschung, die Sie vielleicht noch in Erinnerung haben.
• Wir können jetzt detaillierter auf die Reise schauen.
• Wenn Sie so wollen, ist diese Veranstaltungsreihe auch eine Reise, die noch nicht ganz zu Ende ist, sondern erst in zwei Wochen endet, wenn Sie die Klausuren fertiggestellt haben.
• Aber Sie verstehen jetzt vielleicht besser, wenn Sie hier draufschauen, bei der Insel der Forschung, was es bedeutet, im Urwald der Datenanalyse zu sein, im Fiebersumpf der Daten, im Delta der dreckigen Daten, gelegentlich auch der Trümmerhaufen der verworfenen Hypothesen, der Mehrdatenpfad, der demografische Bach. Das sind alles Dinge, insbesondere auf diesem Nordostteil der Insel, den wir jetzt hier bearbeitet haben. Für heute endet das Theoretische.
• Ich bitte Sie inständig, wenn Sie sich gut vorbereiten wollen, tun Sie das für nächste Woche.
• Fragen Sie mir Löcher in den Bauch mit guten Fragen.
• Ich bin sehr gewillt, Ihnen eine Antwort zu geben und Ihre Fragen zu klären, sodass Sie in zwei Wochen dann die Möglichkeit haben, Ihr Wissen zu präsentieren.
• Bis dahin, eine schöne Woche.