Question 1
Question
„All models are wrong but some are useful“ von Box, 1976
Question 2
Question
Was sind Fragen, welche vor eine Messung gestellt werden sollten, um Gütekriterien einzuhalten? (2)
Answer
-
Wichtig für die Auswertung von Messinstrumenten
-
Sind die Skalen und Messinstrumente eigentlich geeignet, das zu messen, was wir messen wollen?
-
Wie interpretieren wir “den Erfolg” unserer Messinstrumente, wie bestimmen wir die Qualität der Messung?
-
Sind die Messinstrumente zugänglich und finanziell im Rahmen?
Question 3
Question
Klassische Testtheorie = Annahme, dass ein realisierter Messwert auf der Summe eines “wahren Wertes” und eines Messfehlers basiert.
Question 4
Question
Welche Eigenschaften treffen auf die Klassische Testtheorie zu? (2)
Answer
-
Mittelwert der Messfehler ist gleich 1.
-
Die Messfehler korrelieren mit den wahren Werten einer Messung.
-
Die Messfehler zweier Messwertreihen sind unkorreliert.
-
Die Messfehler einer Messwertreihe korrelieren nicht mit den “wahren Werten” einer anderen Messung.
Question 5
Question
Welche Eigenschaften treffen auf Messfehler zu? (2)
Answer
-
Das empirische Relativ wird adequat in das numerische Relativ überführt.
-
Zufallsfehler (Random Errors) = Beschreibt alle willkürlichen und zufälligen Faktoren, die die Qualität einer Messung untergraben.
-
The amount of random errors is inversely related to the reliability of a measurement instrument.
-
Je weniger Zufallsfehler, desto geringer die Reliabilität einer Messung, und umgekehrt.
Question 6
Question
Welche Eigenschaften treffen auf systematische Fehler zu? (2)
Answer
-
Sind konstante und systematische Verzerrungen einer Messung.
-
z.B. eine richtig eingestellte Waage
-
Je weniger systematische Fehler, desto höher die Validität einer Messung, und umgekehrt
-
Je weniger systematische Fehler, desto höher die Reliabilität einer Messung, und umgekehrt
Question 7
Question
Welche Verbindungen für Gütekriterien stimmen? (2)
Answer
-
Reliabilität = Reliabilität eines Messinstruments heißt Zuverlässigkeit der Messungen. Wiederholt man die Messung, sollte man das gleiche Ergebnis erzielen.
-
Validität = Validität eines Messinstruments heißt Zuverlässigkeit der Messungen. Wiederholt man die Messung, sollte man das gleiche Ergebnis erzielen.
-
Validität = Validität wird mit Gültigkeit übersetzt. Validität stellt sicher, dass man das misst, was man messen will.
-
Reliabilität = Reliabilität wird mit Gültigkeit übersetzt. Validität stellt sicher, dass man das misst, was man messen will.
Question 8
Question
Gütekriterien weniger problematisch, wenn man auf etablierte und getestete Messverfahren zurückgreifen kann.
Question 9
Question
Welche Eigenschaften treffen auf Reliabilität zu? (2)
Answer
-
Die Ergebnisse sind beständig, gleichbleibend und übereinstimmend
-
Die Reliabilität eines Messinstruments beschreibt man als einen Koeffizienten auf einer Skala von 0 bis 1
0: unzuverlässiges Instrument
1: perfekt zuverlässiges Instrument
-
Bedeutung eines Instruments
-
Die Reliabilität eines Messinstruments beschreibt man als einen Koeffizienten auf einer Skala von 0 bis 1
0: perfekt zuverlässiges Instrument
1: unzuverlässiges Instrument
Question 10
Question
Welche Reliabilitäts-Typen gibt es? (3)
Answer
-
Paralleltest-Reliabilität: extern, Umfrage, selten
-
Split-Half-Reliabilität: intern, Umfrage, selten
-
Re-Test-Reliabilität: extern, Umfrage/Inhaltsanalyse, eher häufig
-
Interne Konsistenz: intern, Inhaltsanalyse, selten
-
Interrater-Reliabilität: extern, Umfrage, eher häufig
Question 11
Question
Paralleltest-Reliabilität = Derselben Versuchsperson werden zwei völlig unterschiedliche Tests (entweder unmittelbar hintereinander oder zeitlich versetzt) dargeboten.
Question 12
Question
Welche Eigenschaften treffen auf Split-Half-Text-Reliabilität zu? (2)
Answer
-
Test wird in zwei Hälften unterteilt, mit jeder Hälfte des Tests sollte in etwa ein ähnlicher Mittelwert bzw. weitere statistische Kenngrößen ermittelt werden.
-
Derselben Versuchsperson werden zwei einander stark ähnelnde Tests (entweder unmittelbar hintereinander oder zeitlich versetzt) dargeboten.
-
Im Gegensatz zum Paralleltest, soll interne Reliabilität gemessen werden: Tragen alle Items einer Itembatterie in demselben Ausmaß zur Messung bei (siehe auch interne Konsistenz)?
-
Im Gegensatz zum Paralleltest, soll externe Reliabilität gemessen werden: Tragen alle Items einer Itembatterie in demselben Ausmaß zur Messung bei (siehe auch externe Konsistenz)?
Question 13
Question
Welche Eigenschaften treffen auf Re-Test-Reliabilität zu? (2)
Answer
-
Reliabilität als Korrelation wiederholter Testdurchführungen: Stabilität desselben Messinstruments über Zeit.
-
Sehr ähnlich zum Split-Half-Text Verfahren, außer dass die externe Seite betrachtet wird
-
Bei Experimenten relevant
-
Bei Inhaltsanalysen --> Intrarater-Reliabilität, z.B. da Messung nicht von Tagesverfassung der KodiererInnen abhängen dürfen.
Question 14
Question
Welche Eigenschaften treffen auf Interrater Reliabilität zu? (2)
Answer
-
Ausschließlich bei Inhaltsanalysen --> dabei aber ein Muss-Kriterium
-
Ausschließlich bei Umfragen --> dabei aber ein Muss-Kriterium
-
Da im Regelfall viele Kodierer*innen in einem Projekt beteiligt sind, gilt es sicherzustellen, dass alle Kodier*innen möglichst ähnlich kodieren
-
Da im Regelfall viele Personen in einem Projekt beteiligt sind, gilt es sicherzustellen, dass alle Personen möglichst ähnlich antworten
Question 15
Question
Welche Eigenschaften treffen auf die Intercoder*innen Reliabilität zu? (2)
Answer
-
Konsistenz zwischen mehreren Kodierer*innen
-
Intracoder*innen Reliabilität miteinbezogen
-
Misst Kodierer*in A das gleiche wie Kodierer*in B?
-
wird sehr selten gemessen
Question 16
Question
Welche Eigenschaften treffen auf die Intracoder*innen Reliabilität zu? (2)
Answer
-
Konsistenz derselben Kodierer*innen über Zeit.
-
Misst Kodierer*in A heute das gleiche Ergebnis wie vor einer Woche?
-
besonders bei Umfragen
-
wird häufiger gemacht als Intercoder*innen Reliabilität
Question 17
Question
Was sind KEINE Beispiele von Quellen der Unreliabilität? (2)
Question 18
Question
Welche Eigenschaften treffen auf reproduzierbare Codebücher zu? (2)
Answer
-
Verständliche Operationalisierung
-
Verbinden die erhobenen Daten mit den rohen Daten
-
Dienen als Kommunikationsmedium, damit Befragte die Durchführung meistern können
-
Valide: Wenn dasselbe Codebook zu den selben Rohdaten aber zu unterschiedlichen Zeitpunkten, mit unterschiedlichen Kodierer*innen, unter unterschiedlichen Umständen zu den gleichen Ergebnissen führt.
Question 19
Question
Wie kann man Reliabilität anhand einer Stichprobe testen? (3)
Answer
-
Stichprobe für die Reliabilitätsmessung muss Teile der erhobenen Daten repräsentieren.
-
Kodierer*innen müssen den „typischen“ Kodierer*innen entsprechen.
-
Kodierer*innen müssen zusammen arbeiten, um ein signifikanteres Ergebnis zu erhalten.
-
Identische Kodiereinheiten werden von allen Kodierer*innenn anhand eines Codebooks kodiert.
-
Teilstichprobe: 10% am Beginn oder zwischendurch
Question 20
Question
Reliabilitätskoeffizient = Misst die Übereinstimmung zwischen den verschiedenen Messungen der Kodierer*innen.
Question 21
Question
Welche Eigenschaften treffen auf den Reliabilitätskoeffizient zu? (2)
Answer
-
Perfect agreement (0) = perfect reliability
-
Perfect agreement (1) = perfect reliability
-
Absolut keine Korrelation zwischen Kategorien, Kodierer*innen und Einheiten (1) = chance agreement
-
Absolut keine Korrelation zwischen Kategorien, Kodierer*innen und Einheiten (0) = chance agreement
Question 22
Question
Welche Arten von Koeffizienten gibt es? (3)
Answer
-
Scotts π
-
Cohens Kappa
-
Krippendorffs α
-
Code Reliability
-
Meyen α
Question 23
Question
Scotts π = behandelt Kodierer*innen unabhängig, ist möglich mit jeder Kodierer*innenanzahl, jedem Skalenniveau, fehlenden Daten und kleinen Stichproben
Question 24
Question
Ab wann sind Daten nicht reliabel genug? (2)
Answer
-
Eindeutige Grenze, welche im vorhinein festgelegt wird
-
Es gibt keine magische Grenze
-
Ermessen der möglichen Kosten und Auswirkungen ungültiger Ergebnisse.
-
In der SOWI: α≥0.60 = Sehr gut, α≥0.40= ok
Question 25
Question
Was kann man tun, damit die Forschung reliable ist? (3)
Answer
-
Explizites, konkretes Protokoll, dass mit anderen Forscher*innen geteilt werden kann.
-
Mehrere Kodierer*innen sollten die Einheiten abhängig voneinander kodieren, damit es zu einer Objektivität kommt.
-
Festlegen einer Methode bei Uneinigkeit (Leiter*in entscheidet, Diskussion oder Zufallszuschreibung)
-
Kodierer*innen sollten mit ähnlichem Studien-Inhalt üben, bis Intercoder*innen-Reliabilität erreicht ist, bevor mit dem echten Coding begonnen wird.
-
Reliablitätsprüfung bei jeder einzelnen Variable durch unterschiedliche, passende Koeffizienten.
Question 26
Question
Was kann man noch tun, damit eine Studie reliable ist? (3)
Answer
-
Reliabilitätscheck soll an einer Wahrscheinlichkeitsstichprobe des gesamten Studieninhalts getestet werden.
-
Auswahl und Anzahl der Fälle muss genau dokumentiert und ausreichend begründet werden.
-
Kurzzeitstudien: mehrere Intercoder*innen-Checks, mind. 1 Intra-Coder*innen-Check.
-
Variablen, die aufgrund mangelnder Reliabilität verworfen werden, müssen nicht im Protokoll dokumentiert werden.
-
Anzahl der Kodierer*innen, sowie Verteilung des Arbeitspensums soll dokumentiert werden.
Question 27
Question
Welche Eigenschaften hat die Validität? (3)
Answer
-
Gibt an ob das Messinstrument tatsächlich das misst, was es messen soll – die Gültigkeit der Messung
-
Einfacher zu erfüllen und einfacher zu messen als Reliabilität
-
Es geht um die inhaltliche Richtigkeit und die sachlogische Gültigkeit
-
Validitätskoeffizient
Question 28
Question
Welche Formen der Validität gibt es? (3)
Answer
-
Inhaltsvalidität
-
Kontextvalidität
-
Kirteriumsvalidität
-
Konstruktvalidität
-
Interpretationsvalidität
Question 29
Question
Welche Verbindungen bezüglich der Formen der Validität stimmen? (3)
Answer
-
Inhaltsvalidität: Sind die Resultate des Messinstruments vergleichbar mit denen eines anderen Messinstruments für das Konstrukt?
-
Inhaltsvalidität: Prüfung mittels theoretischer Überlegungen, ExpertInneninterviews, eigener Überlegungen
-
Kriteriumsvalidität: Schwierige Suche nach einem Vergleichskriterium
-
Konstruktvalidität: Verhalten sich die Daten aus dem Messinstrument wie theoretisch erwartet in Bezug auf andere Daten?
-
Konstruktvalidität: Prüfung mittels theoretischer Überlegungen, ExpertInneninterviews, eigener Überlegungen
Question 30
Question
Welche Verbindungen Stimmen? (2)
Answer
-
Interne Validität - Gültigkeit der Aussagen bezüglich der Testsituation
-
Externe Validität - Gültigkeit der Aussagen im größeren Kontext
-
Externe Validität - Gültigkeit der Aussagen bezüglich der Testsituation
-
Interne Validität - Gültigkeit der Aussagen im größeren Kontext
Question 31
Question
Reliabilität kann Validität nicht garantieren
Unreliabilität kann aber Validität einschränken
Question 32
Question
Welche Eigenschaften treffen auf Kausalität zu? (2)
Answer
-
Richtung des Zusammenhangs
-
reiner Zusammenhang: Das heißt z.B. höhere Werte von Variable A gehen einher mit höheren Werten in Variable B. Ich weiß es aber nicht, ob Variable A die Variable B beeinflusst und umgekehrt
-
einfach festzustellen
-
Braucht bestimmte Untersuchungsdesigns: z.B. Experiment oder Panel-Befragungen
Question 33
Question
Welche Eigenschaften treffen auf Korrelation zu? (2)
Answer
-
Posistiver Zusammenhang: Wenn der Wert in Variable A höher ist, ist auch der Wert in Variable B höher
-
Negativer Zusammenhang: Wenn der Wert in Variable A höher ist, ist der Wert in Variable B niedriger
-
Posistiver Zusammenhang: Wenn der Wert in Variable A höher ist, ist der Wert in Variable B niedriger
-
Negativer Zusammenhang: Wenn der Wert in Variable A höher ist, ist auch der Wert in Variable B höher
Question 34
Question
Was sind Eigenschaften der Kontingenz? (2)
Answer
-
Zusammenhang in nominalen Merkmalen
-
Zusammenhang in ordinalen Merkmalen
-
Wenn Variable A eine bestimmte Ausprägung hat, erhöht das die Wahrscheinlichkeit für eine bestimmte Ausprägung in Variable B
-
Es gibt einen Zusammenhang zwischen zwei Variablen A und B
Question 35
Question
Welche Eigenschaften treffen auf Kausalität zu? (3)
Answer
-
Wissenschaft sucht in der Regel nach kausalen Beziehungen: URSACHE (Aktion) & WIRKUNG (Reaktion)
-
Kausalschlusses ist der Prozess, bei dem man empirische Daten verwendet, um Aussagen über kausale Zusammenhänge zu machen.
-
Bei Monokausalität: sind mehrere Ursachen im Spiel. Sie bewirken ein oder auch mehrere Ereignisse.
-
Bei Multikausalität: verursacht genau ein Ereignis ein anderes Ereignis.
-
In einer Kausalkette bewirkt ein Ereignis ein anderes, das selbst wiederum ein weiteres Ereignis bewirkt usw.
Question 36
Question
Wann ist ein kausaler Zusammenhang gegeben? (3)
Answer
-
eine Ursache einem Effekt vorausgeht
-
Es keine alternativen Erklärungen für den gefundene Effekt gibt
-
Es alternativen Erklärungen für den gefundene Effekt gibt
-
Ursache und Effekt in Beziehung zueinander stehen (= THEORIE!)
-
Theorie ist dabei unbedeutend
Question 37
Question
Wie kann Kausalität geprüft werden? (2)
Answer
-
Plausible Betrachtung alternativer Erklärungen für den Effekt
-
Manipulation einer vermuteten Ursache und anschließender Ergebnisbeobachtung
-
Variation der Ursache sollte Variation der Ergebnisse bewirken (Zusammenhang)
-
durch: Paralleltest, Re-tests, Split-Half-Tests, Interrater-Test
Question 38
Question
Was sind Eigenschaften einer "Scheinkorrelation"? (3)
Answer
-
Häufig der Fall, wenn es eine oder mehrere weitere Variablen gibt, die kausal für Veränderungen in den zwei korrelierenden Variablen verantwortlich
-
A und B hängen positiv zusammen, es beeinflusst aber weder Variable A die Variable B noch umgekehrt
-
Stattdessen gibt es eine dritte Variable C, die nicht untersucht wurde, die sowohl Variable A als auch Variable B kausal beeinflusst
-
Bekanntes Beispiel: Anzahl der schwarzen Schwäne im Teich
-
Korrelation ist nicht richtig, es handelt sich um eine Scheinkorrelation