Kommunikation von Effektstärken

und deren Unsicherheit an Lehrer:innen

Kirstin Schmidt und Samuel Merk

Institut für Schul- und Unterrichtsentwicklung

Mittwoch, den 19. Juni, 2024

Übersicht

	Evidenzinformiertes Handeln
	Wissenschaftskommunikation
	Studie 1: Verbale Kommunikation Effektstärken und Inferenzstatistiken
	Studie 2: Visuelle Kommunikation von Effektstärken
+	Studie 3: Visuelle & verbale Kommunikation von Effektstärken

• freuen uns unsere Arbeit heute vorstellen zu dürfen
• kurzer theoretischer Hintergrund zu evidenzinformiertem professionellem Handeln und WK
• bevor wir dann ausgewählte Ergebnisse aus 3 experimentellen Studien zur Kommunikation von Effektstärken

Evidenzinformiertes Handeln

Evidenzinformiertes Handeln

• Das Berücksichtigen von Forschungsergebnissen im professionellen Handeln ist eine Anforderung an verschiedene Berufsgruppen wie Mediziner:innen, Politiker:innen, Psycholog:innen oder Lehrpersonen (APA Presidential Task Force on Evidence-Based Practice, 2006; Bauer & Kollar, 2023; z.B. Sackett et al., 1996)
  • Evidenzbasierte Medizin: “The practice of evidence based medicine means integrating individual clinical expertise with the best available external clinical evidence from systematic research” (Sackett et al., 1996, S. p.71)
  • Evidenzinformierte Schulpraxis: Bildungswissenschaftliche Forschungsergebnisse zusätzlich zu anderen Informationsquellen (z.B. praktische Expertise) in der Praxis berücksichtigen, um die Professionalisierung der Lehrpersonen, die Schul- und Unterrichtsqualität sowie die Schüler:innenleistung zu steigern (Ferguson, 2021; z.B. Nelson & Campbell, 2017; Shavelson et al., 2021)
  • …

• grundsätzlich verschiedene Berufsgruppen wie Mediziner:inen oder Lehrpersonen dazu angehalten wissenschaftliche Evidenz, also durch Wissenschaftler:innen generierte Forschungsergebnisse, in ihrem professionellen Handeln zu berücksichtigen

• über die verschiedenen Berufsgruppen hinweg, bedeutet das immer die vorhandene Evidenz - z.B. Ergebnisse aus medizinischen/klinischen Studien für evidenzbasierte Medizin oder aus Bildungsforschung für evidenzinformierte Schulpraxis - als eine Informationsquelle zu nutzen und diese mit der eigenen praktischen Expertise zu verknüpfen

• Fokus im heutigen Vortrag: Lehrpersonen & evidenzinformierte Schulpraxis

• Rezeption von Forschungsergebnissen für Lehrpersonen, aber auch übertragbar auf andere wissenschaftliche Laien, häufig sehr herausfordernd

• kognitive Arbeitsteilung: Lehrpersonen werden nicht als wissenschaftliche Expert:innen ausgebildet, sondern als Expert:innen für das Unterrichten, Lernen udn Lehren

• aber Lehrpersonen sollen nicht nur Glaubwürdigkeit und Vertrauenswürdigkeit einer Quelle, also second-hand evaluations bewerten können, sondern, auch die Qualität der Information selbst

• deshalb unterschiedliche Ansätze Lehrpersonen zu unterstützen - ein Ansatz ist die Gestaltung einer nutzerfreundlichen Wissenschaftskommunikation

Wissenschafts-
kommunikation

Wissenschaftskommunikation

• Nutzerfreundliche Aufbereitung von Evidenz (z.B. clearing houses, plain language summaries), um wissenschaftlichen Laien den Umgang mit Evidenz zu erleichtern (Higgins et al., 2022; Kerwer et al., 2021; Wadhwa et al., 2024)
• Aufbereitete Evidenz basiert häufig auf quantitativen Studien, die verschiedene quantitativ-methodische Informationen enthalten
  • Studiendesign
  • Inferenzstatistik
  • Effektstärken
  • …

• nutzerfreundliche Aufbereitung von Forschungsergebnisse meint Ergebnisse verständlich, dennoch akkurat präsentiert werden und praktisch relevant erscheinen, um wissenschaftlichen Laien wie Lehrpersonen den Umgang zu erleichtern
• Beispiele hierfür sind die immer prominenter vertretenen Clearinghouses
• aber auch andere Ansätze wie plain language summaries sind hier zu nennen
• häufig werden vor allem in CHs Forschungsergebnisse zusammengefasst, die mittels quantitativer Studien gewonnen wurden
• Zusammenfassungen beinhalten also unterschiedliche quantitativ-methodische Informationen wie Studiendesings, Inferenzstatistik und Effektstärken

Wissenschaftskommunikation

• Nutzerfreundliche Aufbereitung von Evidenz (z.B. clearing houses, plain language summaries), um wissenschaftlichen Laien den Umgang mit Evidenz zu erleichtern (Higgins et al., 2022; Kerwer et al., 2021; Wadhwa et al., 2024)
• Aufbereitete Evidenz basiert häufig auf quantitativen Studien, die verschiedene quantitativ-methodische Informationen enthalten
  • Studiendesign
  • Inferenzstatistik
  • Effektstärken
  • …

• heute ausschließlich der Fokus auf die Aufbereitung von Effektstärken

Zusatz: also wie können Effektstärken verständlich, dennoch akkurat im statistischen Sinne und für die Praxis relevant - z.B. informativ - aufbereitet werden

Kommunikation von Effektstärken

• Effektstärken informieren über die Größe z.B. eines Unterschieds oder Zusammenhangs
  • Ergänzendes oder alternatives Maß zu statistischer Signifikanz und p Werten, um zahlreichen empirisch belegten Fehlkonzepten bezüglich statistischer Signifikanz und p Werten (Haller & Krauss, 2002; Kühberger et al., 2015; Sotos et al., 2009) entgegenzuwirken (Coe, 2002; Cumming, 2014; Kelley & Preacher, 2012)
  • Grundlage, um die praktische Relevanz wissenschaftlicher Ergebnisse abzuleiten (Baird & Pane, 2019; Kelley & Preacher, 2012; Kraft, 2020)
• Textliche und visuelle Aufbereitung von Effektstärken möglich:

Beispiele aus clearing houses (Backfisch et al., 2021; Wiesbeck et al., 2018)

warum genau Effektstärken? - verschiedene Argumente - zwei Beispiele

• aus methodischer Sicht: Effektstärken vor alle, als Ergänzungung zu NHST, um zahlreichen empirisch gut belegte Fehlkonzepte von statistischer Signifikant und p Werten zu reduzieren

• mit Blick auf das professionelle Handeln bieten Effektstärken eine zentrale, wenn auch nicht hinreichende Bedingung, um überhaupt die praktische Relevanz wissenschaftlicher Ergebnisse abzuleiten

• Effektstärken können sowohl textlich als auf visuell aufbereitet werden

• als ersten Eindruck wie dies ausehen könnte Beispiele aus Clearing Houses im Bildungsbereich aus DE mitgebracht

  • Links eine textliche Aufbereitung des Clearinghouse Unterricht München und rechts die Visualisierung aus Tüdibase

Kommunikation von Effektstärken

• Verschiedene textliche und visuelle Darstellungen können das Verständnis über und die Wahrnehmung von Effektstärken bei wissenschaftlichen Laien beeinflussen
• ABER …
  • … teilweise inkonsistente Ergebnisse z.B. Diskrepanz zwischen Visualisierungen, die eine akkurate Interpretation fördern und solchen, die korrekte Entscheidungen fördern
  • … eklektische Forschungsansätze (Hanel et al., 2019; Hanel & Mehler, 2019; Kale et al., 2021; Kim et al., 2022; Lortie-Forgues et al., 2021; Merk et al., 2023)
    • Unterschiedliche Vergleichsbedingungen (z.B. Cohen’s U₃ wird verglichen mit 1) generischen Maßen wie Cohen’s d vs. 2) Common Language Effect Sizes im Kontext der Leistungsmessung z.B. Months of Progress)
    • Unterschiedliche Operationalisierungen der abhängigen Variablen (z.B. Verständnis erfasst über einen Slider von -1 bis +1 vs. Overlap vs. Probability of Superiority)
    • Unterschiedliche Operationalisierungen der unabhängigen Variablen (z.B. Probability of Superiority dargestellt in Prozent vs. in natürlichen Häufigkeiten; überlappende vs. nicht-überlappende Normalverteilung)

• erste empirische Erkenntnisse aus experimentelle Forschung zur Kommunikation von Effektstärken vorhanden

• diese zeigen, dass unterschiedliche Formate sowohl textlich als auch visuell die Wahrnehmung z.B. wie informativ eine Aufbereitung der Effektstärke wahrgenommen wird und das Verständnis - wie akkurat die Effektstärke interpretiert wird, beeinflussen

• der Forschungsstand setzt sich aus Forschung verschiedener Disziplinen zusammen z.B. Psychologie, Informatik, Bildungswissenschaften,

• ist in seiner Anlage häufig eklektisch (verschiedene Vergleiche der Bedingungen, Operationalisierungen von AV und UV) und es zeigen sich teilweise inkonsistente Ergebnisse

• nicht ausführlich zusammenfassen, aber kommentieren, dass Vergleichbarkeit der jeweiligen Experimente schwierig und keine eindeutige Tendenz, was sich übergreifend für eine nutzerfreundliche WK eignet

• Daher in den folgenden Studien sowohl Formulierungen als auch Visualisierungen in den Blick genommen, und dabei entweder nur Formulierungen oder Visualisierungen verglichen und Text und Visualisierung einander gegenübergestellt

Zusatz: - Kale akkurate Interpretation: quantile dot plots; Entscheidung = densities - grundsätzlich zeigt sich, dass das visuelle Wahrnehmungssystem als leistungsfähig hinsichtlich der akkuraten Schätzung statistischer Informationen gilt
- erste empirische Studien zeigen, dass Lehrpersonen die Informationen aus Effektstärkevisualisierungen sehr akkurat einschätzen, wenn Vergleichsplots vorhanden - z.B. Lehrpersonen Schwierigkeiten datengestütze Entscheidungnen anhand von Boxplots zu treffen (Pierce & Chick, 2013)

Studie 1:
Statistische Formulierungen

gemeinsam mit
Peter Edelsbrunner², Tom Rosman³ und Colin Cramer ⁴

² ETH Zürich ³ ZPID Trier ⁴ Eberhard Karls Universität Tübingen

Forschungsfragen

1. Nehmen Lehrpersonen unterschiedliche statistische Beschreibungen unterschiedlich informativ wahr?
2. Wie interpretieren Lehrpersonen unterschiedliche statistische Beschreibungen? Unterscheiden sie bei ihrer Interpretation zwischen Inferenzstatistik und Effektstärke?

• in der ersten Studie den Fragen nachgegangen
  • wie informativ Lehrpersonen verschiedene generische statistische Beschreibungen einschätzen
  • wie diese interpretiert werden und zwischen Inf und Eff unterscheiden, da Zweifel bestehen, ob wissenschaftliche Laien hierzu in der Lage sind (vgl. Goodman, 2008; Sotos et al., 2007)
  • verschiedene Hypothesen präregistriert, erst bei den Ergebnissdarstellung näher benennen

Stichprobe

• Stichprobenziehung via Random Digit Dialing durch forsa
• N = 414 Lehrpersonen in Deutschland (66,91% weiblich; 94,93% ohne Migrationshintergrund)
• M_Alter = 47,70 Jahre (SD = 10,82)
• M_{Lehrerfahrung} = 17,37 Jahre (SD = 11,13)
• Verschiedene Schularten (z.B. 27,29 % Gymnasiallehrpersonen; 26,09% Grundschullehrpersonen; 18,60 % Gesamtschullehrpersonen)
• Verschiedene Unterrichtsfächer (z.B. 58,45 % unterrichten ein geistes- oder sozialwissenschaftliches Fach; 54,83 % mind. eine Sprache; 43,72 % ein mathematisches oder naturwissenschaftliches Fach)

→ Stichprobe kann als annähernd repräsentativ gewertet werden (vgl. Statistisches Bundesamt [Destatis], 2019)

• hierfür haben wir 414 aktive Lehrpersonen in DE
• ausführliche Infos zur Stichprobenbeschreibung hier entnehmen
• zentrale Message: Stichprobe der Lehrpersonen kann als annähernd repräsentativ für Lehrpersonen in DE gewertet werden

Design und Materialien

• diesen Lehrpersonen zufällig zwei aus fünf unterschiedlichen und manipulierten PM zu bildungswissenschaftlichen Themen präsentiert, die auch statistische Beschreibungen beinhalteten
• hier ein Beispiel rechts sehen sie alle Beschreibungen z.B. zu statistischer Signifikanz; Kombination “klein aber statistisch abgesichert”
• für jede PM erhielten die Lehrpersonen zufällig eine aus sechs statistischen Beschreibungen
• anschließend 4 Fragen zu diesen Beschreibungen

Design und Materialien

• für uns interessant ist vor allem die Frage wie informativ Beschreibungen wahrgenommen werden (hier oben) und …
• …die Fragen, ob die präsentierte Beschreibung über die 1) Sicherheit und 2) Größe des Unterschieds informiert
  • ersteres war unser Operationalisierung der Interpretation als Inferenzstatistik
  • letzteres die Operationalisierung der Interpretation als Effektstärke

ergänzend: - nicht erhoben, wie sicher und wie groß der Effekt, sondern ob das Statement Aussagen darüber erlaubt

Ergebnisse: Informativität

Adaptiert von Schmidt et al. (2023)

• Unterplots für die jeweiligen statistischen Formulierungen
  • y-Achse die Ausprägung des Items der Informativität
  • Quatrate: wie Häufig welche Ausprägung vorkam
• deskriptiv gut erkennbar,
  • Statistiken in erster Reihe werden informativer eingeschätzt als Statistiken in zweiter Reihe
  • durchschnittlich die erste Reihe aber dennoch nur etwas informativ
• Bayesianische messwiederholte ANOVA Modelle bieten starke Evidenz dafür, dass Lehrpersonen Sig, Cohens U3 + Kombi tatsächlich informativer einschätzen, was unserer Hypothese entsprach

Ergebnisse: Verständnis

Adaptiert von Schmidt et al. (2023)

• ähnliche Darstellung wie zuvor
  • hier aber auf der x-Achse die Interpretation als Inferenzstatistik und Effektstärke
• Inferenzstatistiken wie Signifikanz-Aussage im Durchschnitt eher als Inferenzstatistik und bei Effektstärken z.B. Cohen’s d genau umgekehrt
• aber schaut man sich die Grafik genauer an, sieht man …
  • … Lehrpersonen anscheinend nicht zwischen Inferenzstatistik und Effektstärke unterscheiden: Mittelwerte liegen bei allen Beschreibungen nah beieinander, obwohl sie eigentlich (außer bei dem kombinierten Statement) stark auseinander liegen müssten weil sie eindeutig entweder inferenzstatistische oder Effektstärkemaße abbilden
  • Bayesianische messwiederholte ANOVA Modelle bieten starke Evidenz, dass Lehrpersonen bei allen statistischen Formulierungen gleich schwach zwischen Inf und Eff differenzieren, was nicht unserer Hypothese entsprach
• noch etwas weiteres auffällig: Interpretationen bei Signifikanz als Effektstärke und bei Cohen’s U3 als Inferenzstatistik bimodal verteilt
  • z.B. manche die sich sicher waren, dass Signifikanz über Effektgröße informiert und andere die sicher waren, dass das falsch ist
  • Vermutung: unterschiedliche Interpretationstypen vorhanden, was wir mithilfe einer personenzentrierten Re-analyse auch bestätigen konnten

Ergebnisse: Verständnis

• nicht ausführlich auf die Studie eingehen, aber Ihnen kurz zeigen, dass wir tatsächlich 4 Profile fanden, die überwiegend über beide Aussagen konsistent waren
• es gab die Disentanglers (ca. 1/3), die die jeweiligen statistischen Aussagen korrekt interpretierten
• aber 2/3 die die Aussagen fehlinterpretierten
  • entweder sie unterschieden nicht zwischen Inferenzstatistik und Effektstärke - Entanglers,
  • genau entgegen der korrekten Interpretation (Signifikanz als Effektgröße, aber nicht Sicherheit)- misconceptualizers
  • ein Profil mit nur wenig Personen unterschied sich bei beiden Gruppen:
    • Signifikanz: Mitte gewählt, was wir als die Unschlüssigen - indecisives bezeichnet haben
    • U3: verneint, dass U3 eine Aussage über Effektsicherheit und -größe bietet (refuters)

Studie 2: Effektstärken-
visualisierungen

gemeinsam mit
Jürgen Schneider² und Kristina Bohrer¹

¹ Pädagogische Hochschule Karlsruhe ² DIPF Frankfurt

nun Fokus auf Effektstärkenvisualisierungen - ob vielleicht Visualisierungen beim Verständnis helfen könnten und dennoch informativ sind

Forschungsfragen

1. Beeinflusst die Visualisierung die wahrgenommene Informativität der Ergebnisse und die Interpretation der Effektstärke?

2. Welche Visualisierung wird am informativisten wahrgenommen und am akkuratesten eingeschätzt?

3. Beeinflussen Visualisierungen mit Anreicherungen (Signaling und Benchmarks) das Verständnis von Effektstärken sowie die wahrgenommene Informativität von Lehrpersonen positiv?

• diese Studie umfasste 3 verschiedene Teilstudien - eine Delphi, explorative und konfirmatorische Stude - , um die folgenden Fragen zu beantworten

Forschungsfragen

1. Beeinflusst die Visualisierung die wahrgenommene Informativität der Ergebnisse und die Interpretation der Effektstärke?

2. Welche Visualisierung wird am informativisten wahrgenommen und am akkuratesten eingeschätzt?

3. Beeinflussen Visualisierungen mit Anreicherungen (Signaling und Benchmarks) das Verständnis von Effektstärken sowie die wahrgenommene Informativität von Lehrpersonen positiv?

• Fokus heute vor allem auf die Ergebnisse der konfirmatorischen Studie zur FF 3

• wie Anreicherungen konkret aussehen, zeige ich später

• um die 3 Teilstudie zu verstehen, ist aber der Ablauf der vorherigen Studien wichtig

• Wenn es um das Erstellen von Visualisierungen geht, viele Freiheitsgrade

• welchen Visualisierungstyp und wie man wiederum das Design dieser Visualisierung festlegt (z.B. Gruppen überlappend, nicht überlappend darstellen)

• bisher wenig systematisch erforscht und Forschungsstand eher eklektisch, daher Delphi-Studie mit Visualisierungs- und Clearinghouse-Experten durchgeführt

Studien 1 - 3

• anschließend die Visualisierungen, die in einem mehrschrittigen Verfahren als am geeignetesten eingeschätzt wurden in explorative Studie eingeschlossen
• um FF 1 - ob einen Einfluss - und FF 2 - welche Visualisierung am informativsten und akkuratesten -

Studien 1 - 3

• ausgehend davon, dass halfeye plots -sowohl mit Gruppen auf x als auch y-Achse- am informativsten eingeschätzt wurden, und sich die Verständnisratings zwischen den Visualisierungsarten kaum voneinander unterschieden
• halfeye plots sowohl mit Gruppen auf x- und y-Achse in die konfirmatorische Studie eingeschlossen
• zusätzlich um Anreicherungen - signaling u3, signaling overlap oder benchmarks (FF 3) - erweitert - wie das aussieht zeige ich gleich noch

Stichprobe

• Stichprobenziehung via Panel Provider Prolific
• N = 220 englischsprachige Lehrpersonen (64,5% weiblich, 55% mit Wohnsitz im Vereinigten Königreich)
• M_Alter = 41,80 Jahre (SD = 11,40)
• M_{Lehrerfahrung} = 13,58 Jahre (SD = 9,22)
• Verschiedene Schularten (z.B. 38,64% Grundschullehrpersonen; 31,36% Lehrpersonen aus Sekundarschulen)
• Verschiedene Unterrichtsfächer (z.B. 22,27% unterrichten ein geistes- oder sozialwissenschaftliches Fach)

• und 220 englischsprachige Lehrpersonen via panel provider prolific befragt
• ausführliche Infos zur Stichprobenbeschreibung hier aufgelistet
• wie sind wir dann vorgegangen?

Design

• 4x4x16x2 between-between-within-within Design
  • Between-Faktor 1: Experimentalbedingung
    • Kontrollgruppe
    • Benchmark
    • Signaling Cohen’s U₃
    • Signaling Overlap
      
  • Between-Faktor 2: Thema
    • Lesen auf Papier vs. Tablet
    • Lernen anhand eines Live-Vortrags vs. Video
    • Lernen mittels Experimentieren vs. Computersimulation
    • Lernen mittels Erklärvideo mit Untertitel vs. Erklärvideo ohne Untertitel

• within-between Design

• 4 Faktoren: zwei between, zwei within

• within auf der nächsten Folie

• Experimentalgruppen zeigen

• Lehrpersonen erhielten eine Studienvignette zu einem bildungswissenschaftlichen Thema, zufällig aus 4 verschiedenen Themen ausgewählt: Beispiel Lesen auf Tablet vs. Paper

• diese Studienvignette kontextualisierte insgesamt 20 Effektstärke-Visualisierungen

Design

• 4x4x16x2 between-between-within-within Design
  • Within-Faktor 3: präsentierte Effektstärke
    d ∈ {−.80; −.65; −.50; −.35; −.20; .20; .35; .50; .65; .80}
  • Within-Faktor 4: Visualisierungsart
    • Halfeye plots mit Gruppen auf der x-Achse
    • Halfeye plots mit Gruppen auf der y-Achse

• diese Visualierung variierten innerhalb der Person in der präsentierten Effektstärke und Visualisierungsart

Abhängige Variablen

• Wahrgenommene Informativität
  
• Verständnis
  • Abstrakte Metrik
    
  • Cohen’s U₃ Metrik
    
  • Cohen’s U₃ Fehlkonzept: Median des U₃ Rating < 21.2% (kleinster plausibler Wert, der d = −.8 entspricht)

• AVs
  • Informativität: wie informativ sie die Information in der Visualisierung fanden (7stufige Likertskala)
  • Verständnis wurde zufällig nach den ersten 10 oder letzten 10 Visualisierung mit folgenden drei Fragen operationalisiert. Aber heute nur zwei relevant:
    • abstrakte Metrik: wie stark sich die Gruppen auf einer Skala von -1 bis +1 unterscheiden (abstrakte Metrik); -1 die Gruppe mit Paper total unterlegenl +1 Gruppe mit Papier komplett überlegen
    • U3: wie viel Prozent der einen Gruppe über dem Mittelwert der anderen Gruppe liegt (U3-Metrik)
    • Fehlkonzept: Personen, die grundsätzlich im Median plausible U3 Ratings angaben (- U3 Fehlkonzept: Median des U3 Ratings kleiner als 21.2% (kleinster plausibler Wert, der d = −.8 entspricht)

ergänzende Info bei Rückfragen: - Thema variierte zwischen den Personen, um zusätzlichen kognitiven Load zu verringern - zu wieviel Prozent sich beide Gruppen überschneiden (Overlap-Metrik)

Ergebnisse: Informativität

• x-Achse: wahrgenommene Informativität
• y-Achse: unterschiedlichen Experimentalbedingungen
• deskriptiv kaum Unterschiede
• Bayesianische Mehrebenenmodelle zur Berücksichtigung der Messwiederholung unter Kontrolle von den unterschiedlichen Effektstärken und den zwei verschiedenen Visualisierungsarten (halfeye plots mit Gruppen auf x- und y-Achse) -> inkonklusive BFs

Zusatz: - signaling zusammengenommen

Ergebnisse: Verständnis

• hier Ergebnisse der abstrakten Metirk
• y-Achse erneut die verschiedenen Experimentalbedingungen
• x-Achse: Differenzvariable = Rating - wahre transformierte Effektstärke
• deskriptiv kaum Unterschiede, aber ziemlich akkurat, da Mittelwerte um 0
• wie vorher Bayesianische Mehrebenenmodelle -> inkonklusive BFs bei Benchmarks und starke Evidenz für keinen Unterschied zwischen signaling und Kontrollgruppe

Ergebnisse: Verständnis

• genau wie die Visualisierung zuvor, hier aber nicht abstrakte Metrik sondern U3

• erneut die Differenzvariable

• hier wurden nur Personen ohne U3 Fehlkonzept eingeschlossen

• Bayesianische Mehrebenenanalysen sprechen ebenfalls für die Nullhypothese

Ergebnisse: Verständnis

• x-Achse = Experimentalbedingungen
• y-Achse = Anzahl an Persoenen mit U3 in hellgrün und Anzahl an Personen ohne U3 Fehlkonzept in Dunkelgrün
• Anzahl an U3 Fehlkonzepten kann substantziell reduziert werden, wenn für U3 relevante Infos in der Visualisierung hervorgehoben werden
• Bayesianische Mehrebenenanalysen stützen diese deskriptiven Eindrücke und bieten starker Evidenz für dne Unterschied zwischen Kontrollgruppe und Signaling Gruppe

ergänzend:

• U3 Fehlkonzept: Median des U3 Ratings kleiner als 21.2% (kleinster plausibler Wert, der d = −.8 entspricht) -> n = 22

Studie 3: Cohen’s U₃
Text und Vis.

gemeinsam mit
Florian Kühlwein² und Jürgen Schneider ²

¹ Pädagogische Hochschule Karlsruhe ³ DIPF Frankfurt

Forschungsfragen

1. Wie genau (AV1), relevant (AV2), informativ (AV3) und schwierig (AV4) werden verbal und visuell dargestellte Effektstärken (Cohen’s U₃) von Lehrer:innen wahrgenommen?
2. Gibt es Unterschiede zwischen den Präsentationsmodi bezüglich AV1-AV4?

Stichprobe

• Geplant ist ein Registered Report mit Bayesian Updating
• Stichprobe der Pilotierung:
  • N = 20 englischsprachige Lehrerinnen aus UK und USA
  • Rekrutiert via Prolific
  • MW_Alter = 42,3 Jahre

Materialien

Design

• 2x6x4 within-within-between Design
  • Faktor 1: Text vs. Visualisierung
  • Faktor 2: Effektstärke Cohen’s d \(\in\{-.8,-.5,-.2, .2, .5, .8\}\)
  • Faktor 3: Thema
    • KI-Tutor Leseflüssigkeit
    • 3D-Videos/2D-Videos
    • Activity Tracker
    • Experimentierkits

Measures

• Wahrg. Effektstärke: »How many times out of 100 do you estimate that a randomly selected member of the AI tutor group would have a higher score in the reading test than a randomly selected person from the teacher feedback group?« (Hullman et al., 2015; Kale et al., 2020; Michal & Shah, 2024)
• Relevanz: »How much money are you willing to spend on an AI reading tutor license for a class of 30 students for one year?« (Kim, 2019)
• Informativität (Schmidt et al., 2024)
• Schwierigkeit (Schmidt et al., 2024)

Datenaufbereitung

• Exklusionskriterien: Nichtbestehen beider Attentionchecks oder Straightlining (Stosic et al., 2024)
• Transformationen:
  • Wahrg. Effektstärke \(\Rightarrow \delta = qnorm(PoS) \cdot \sqrt{2}\)
• Abgeleitete Variablen:
  • Genauigkeit: falls korrekte Effektrichtung
    Wahre Effektstärke - Wahrg. Effektstärke; sonst NA
  • Relevanz: Within-Person-Standardized Willingness to Pay

Analyse

• Modellparametrisierung:
  • Accuracy: Random-Intercept Model für heteroskedastische normalverteilte AV mit Dummyprädiktor
  • Relevanz: Random-Intercept Model für normalverteilte AV mit Dummyprädiktor
  • Likert-Items: Random-Intercept Cumulative Link Models (Bürkner & Vuorre, 2019) mit Dummyprädiktor
• Inferenzstatistik: CI + ROPE Prozedur (Kruschke, 2018)
  • ROPE: -.1 < d < .1
  • CI: 95% HDI
  • HMCMC: 4 Chains, 1k Warm-Up, 2k Interationen, 4k post-warm-up draws, \(\hat{R} < 1.05\) (Vehtari et al., 2021) und \(ESS > 1000\) als Konvergenzkriterien (Bürkner, 2017)

Ergebnisse

• Akkuratheit:
  

• Relevanz:
  

• Informativität:
  

• Schwierigkeit:
  

Alle HDI lagen zu 100% außerhalb der ROPE bis auf den Dispersionseffekt der Akkuratheit (75%).

Take Home Messages

• Effektstärke und Effektunsicherheit werden oft verwechselt
• Common Language Effect Size \(\nRightarrow\) Widely Understood Effect Size
• Effektstärken können unter geeigneten Bedingungen von Lehrer:innen sehr korrekt aus Grafiken rezipiert werden (Merk et al., 2023)
• Annotation (Signaling) reduziert Fehlkonzepte deutlich
• Text und Bild scheinen komplementäre Vor- und Nachteile zu haben

Implikationen

»Unsere Studie zeigten einen signifikanten Effekt«
»Unsere Studie zeigte A > B«
»Unsere Studie zeigte, dass A mit B assoziiert ist«
Unkommentierter Rohdatenplot

Irgendeine Common Language Effect Size verwenden (Michal & Shah, 2024)
Direkt annotierte Grafiken nutzen (Franconeri et al., 2021)
Text & Plot didaktisch kombinieren/auswählen

Diskussion

• Methodische Limitationen (u.a)
  • Remote Onlineexperimente »professioneller« Proband:innen zeigen akzeptable Treatmentadherence (Douglas et al., 2023), sicher aber mehr Careless Responding als im Labor (Stosic et al., 2024)
    \(\Rightarrow\) Unterschätzung der Akkuratheit und der Unterschiede
  • Viele Freiheitsgrade bei der Auswahl der Materialien und eine schwache theoretische Fundierung erhöhen a priori die falsch-positiv Rate (Ioannidis, 2005)
• Kommunikationsziel:
  • Effektstärken relativieren können
    \(\Rightarrow\) Verwendung standardisierter Effektstärken
  • Effektstärken absolut einschätzen können
    \(\Rightarrow\) Verwendung »natürlich metrischer« Effektstärken

Literatur

APA Presidential Task Force on Evidence-Based Practice. (2006). Evidence-Based Practice in Psychology. The American Psychologist, 61(4), 271–285. https://doi.org/10.1037/0003-066X.61.4.271

Backfisch, I., Schneider, J., & Lachner, A. (2021). Gamification. Bibliothek Aufbereiteter Forschungssynthesen Tübingen (TüDi-BASE) [Gamification: Library of prepared research syntheses Tübingen].

Baird, M. D., & Pane, J. F. (2019). Translating standardized effects of education programs into more interpretable metrics. Educational Researcher, 48(4), 217–228. https://doi.org/10.3102/0013189X19848729

Bauer, J., & Kollar, I. (2023). (Wie) kann die Nutzung bildungswissenschaftlicher Evidenz Lehren und Lernen verbessern? Thesen und Fragen zur Diskussion um evidenzorientiertes Denken und Handeln von Lehrkräften. Unterrichtswissenschaft. https://doi.org/10.1007/s42010-023-00166-1

Bürkner, P.-C. (2017). Brms: An R Package for Bayesian Multilevel Models Using Stan. Journal of Statistical Software, 80(1). https://doi.org/https://doi.org/10.18637/jss.v080.i01

Bürkner, P.-C., & Vuorre, M. (2019). Ordinal Regression Models in Psychology: A Tutorial. Advances in Methods and Practices in Psychological Science, 2(1), 77–101. https://doi.org/10.1177/2515245918823199

Coe, R. (2002, September). It’s the effect size, stupid. What effect size is and why it is important . British Educational Research Association Annual Conference.

Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966

Douglas, B. D., Ewell, P. J., & Brauer, M. (2023). Data Quality in Online Human-Subjects Research: Comparisons between MTurk, Prolific, CloudResearch, Qualtrics, and SONA. PLOS ONE, 18(3), e0279720. https://doi.org/10.1371/journal.pone.0279720

Ferguson, L. (2021). Evidence-informed teaching and practice-informed research [Special section]. Zeitschrift für Pädagogische Psychologie, 35(2–3), 199–208. https://doi.org/10.1024/1010-0652/a000310

Franconeri, S. L., Padilla, L. M., Shah, P., Zacks, J. M., & Hullman, J. (2021). The Science of Visual Data Communication: What Works. Psychological Science in the Public Interest, 22(3), 110–161. https://doi.org/10.1177/15291006211051956

Haller, H., & Krauss, S. (2002). Misinterpretations of significance: A problem students share with their teachers? Methods of Psychological Research Online, 7(1), 1–20.

Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116(4), 541–562. https://doi.org/10.1037/pspi0000154

Hanel, P. H. P., & Mehler, D. M. (2019). Beyond reporting statistical significance: Identifying informative effect sizes to improve scientific communication. Public Understanding of Science, 28(4), 468–485. https://doi.org/10.1177/0963662519834193

Higgins, S., Katsipataki, M., Villanueva Aguilera, A. B., Dobson, E., Gascoine, L., Rajab, T., Reardon, J., Stafford, J., & Uwimpuhwe, G. (2022). The Teaching and Learning Toolkit: Communicating research evidence to inform decision-making for policy and practice in education. Review of Education, 10(1), Article e3327. https://doi.org/10.1002/rev3.3327

Hullman, J., Resnick, P., & Adar, E. (2015). Hypothetical Outcome Plots Outperform Error Bars and Violin Plots for Inferences about Reliability of Variable Ordering. PLOS ONE, 10(11), e0142444. https://doi.org/10.1371/journal.pone.0142444

Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8). https://doi.org/10.1371/journal.pmed.0020124

Kale, A., Kay, M., & Hullman, J. (2020). Visual Reasoning Strategies for Effect Size Judgments and Decisions. https://doi.org/10.48550/ARXIV.2007.14516

Kale, A., Kay, M., & Hullman, J. (2021). Visual reasoning strategies for effect size judgments and decisions. IEEE Transactions on Visualization and Computer Graphics, 27(2), 272–282. https://doi.org/10.1109/TVCG.2020.3030335

Kelley, K., & Preacher, K. J. (2012). On effect size. Psychological Methods, 17(2), 137–152. https://doi.org/10.1037/a0028086

Kerwer, M., Chasiotis, A., Stricker, J., Günther, A., & Rosman, T. (2021). Straight from the Scientist’s Mouth—Plain Language Summaries Promote Laypeople’s Comprehension and Knowledge Acquisition When Reading about Individual Research Findings in Psychology. Collabra: Psychology, 7(1). https://doi.org/10.1525/collabra.18898

Kim, Y.-S. (2019). Effectively Communicating Effect Sizes.

Kim, Y.-S., Hofman, J. M., & Goldstein, D. G. (2022). Putting scientific results in perspective: Improving the communication of standardized effect sizes. In CHI 22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery. https://doi.org/10.1145/3491102.3502053

Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher, 49(4), 241–253. https://doi.org/10.3102/0013189X20912798

Kruschke, J. K. (2018). Rejecting or Accepting Parameter Values in Bayesian Estimation. Advances in Methods and Practices in Psychological Science, 1(2), 270–280. https://doi.org/10.1177/2515245918771304

Kühberger, A., Fritz, A., Lermer, E., & Scherndl, T. (2015). The significance fallacy in inferential statistics. BMC Research Notes, 8(1), 84. https://doi.org/10.1186/s13104-015-1020-4

Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How should educational effects be communicated to teachers? Educational Researcher, 50(6), 345–354. https://doi.org/10.3102/0013189X20987856

Merk, S., Groß Ophoff, J., & Kelava, A. (2023). Rich Data, Poor Information? Teachers’ Perceptions of Mean Differences in Graphical Feedback from Statewide Tests. Learning and Instruction, 84, 101717. https://doi.org/10.1016/j.learninstruc.2022.101717

Michal, A. L., & Shah, P. (2024). A Practical Significance Bias in Laypeople’s Evaluation of Scientific Findings. Psychological Science, 09567976241231506. https://doi.org/10.1177/09567976241231506

Nelson, J., & Campbell, C. (2017). Evidence-Informed practice in education: Meanings and applications. Educational Research, 59(2), 127–135. https://doi.org/10.1080/00131881.2017.1314115

Sackett, D. L., Rosenberg, W. M., Gray, J. A., Haynes, R. B., & Richardson, W. S. (1996). Evidence Based Medicine: What It Is and What It Isn’t. BMJ : British Medical Journal, 312(7023), 71–72.

Schmidt, K., Schneider, J., Bohrer, K., & Merk, S. (2024). Communicating Effect Sizes to Teachers. Exploring Different Visualizations and Their Enrichment Options.

Shavelson, R., Fu, A., Kurpius, A., & Wiley, E. (2021). Evidence-based practice in science education. In R. Gunstone (Hrsg.), Encyclopedia of science education. Springer Netherlands. https://doi.org/10.1007/978-94-007-6165-0_158-1

Sotos, A. E. C., Vanhoof, S., Van den Noortgate, W., & Onghena, P. (2009). How confident are students in their misconceptions about hypothesis tests? Journal of Statistics Education, 17(2). https://doi.org/10.1080/10691898.2009.11889514

Stosic, M. D., Murphy, B. A., Duong, F., Fultz, A. A., Harvey, S. E., & Bernieri, F. (2024). Careless Responding: Why Many Findings Are Spurious or Spuriously Inflated. Advances in Methods and Practices in Psychological Science, 7(1), 25152459241231581. https://doi.org/10.1177/25152459241231581

Vehtari, A., Gelman, A., Simpson, D., Carpenter, B., & Bürkner, P.-C. (2021). Rank-normalization, folding, and localization: An improved R^ for assessing convergence of MCMC (with discussion). Bayesian Analysis, 16(2). https://doi.org/https://doi.org/10.1214/20-BA1221

Wadhwa, M., Zheng, J., & Cook, T. D. (2024). How consistent are meanings of „evidence-based“? A comparative review of 12 clearinghouses That rate the effectiveness of educational programs. Review of Educational Research, 94(1), 3–32. https://doi.org/10.3102/00346543231152262

Wiesbeck, A. B., Knogler, M., & CHU Research Group. (2018). Gestaltung von Lernmaterial: Wie Hervorhebungen den Lernerfolg beeinflussen [Designing learning material: How signaling influences learning success]. Kurzreview 22. https://www.clearinghouse.edu.tum.de/reviews/lehrstrategien-im-vergleich/gestaltung-von-lernmaterial-wie-hervorhebungen-den-lernerfolg-beeinflussen/