Dieser Artikel ist zuerst in der Verbandszeitschrift des Lehrerinnen- und Lehrervereins Baselland LVB erschienen.

The post Mein Gott, Wolter! first appeared on Condorcet.

Daten schaffen in der Regel einen Mehrwert, führen zu treffsicheren Prognosen und besseren Entscheidungen. So jedenfalls stellen sich das Auftragsgeber und die Leser von Statistiken vor. Leider gibt es nicht immer eine direkte Verbindung zwischen den Daten und besseren Entscheidungen, denn dazwischen stehen wir, bzw. unser menschliches Gehirn. Und das kann neben phänomenalen Leistungen auch allen möglichen Unfug anrichten. Letzte Woche wurde ich gleich dreimal mit fragwürdigen Datenerhebungen und deren Interpretationen konfrontiert.

Zunächst informierte der Direktor der PH-Bern anwesende Grossräte und Behördenmitglieder über eine Umfrage. 92% der abgehenden PH-Abgänger, so der stolze Direktor, blieben dem Beruf erhalten, würden also unmittelbar nach ihrer Ausbildung eine Lehrerstelle antreten und 89% täten dies im Kanton Bern. Mein Tischnachbar, Stadt- und Grossrat Peter Bohnenblust und ich schauten uns verwundert an. Auf unsere Nachfrage, wie die Daten erhoben worden seien, erklärte uns der Verkünder der frohen Botschaft, dass man eine Umfrage unter den Abgängern gemacht habe. Und auf die weitere Frage, wie hoch denn der Rücklauf gewesen sei, gab er zu, dass es ca. 50%, also knapp die Hälfte gewesen sei. Ein typischer Fall von Umfrageverzerrung.

Bei einer anderen Orientierung, diesmal von der Berner Gesundheit, einer Organisation, die sich um Prävention und Aufklärung im Gesundheitsbereich kümmert, wurde ein düsteres Bild der heutigen Jugend gezeichnet. Der Sprecher sprach von einer 48%igen Zunahme der Beratungen. Es war die Rede von einer verlorenen, nicht lebenstüchtigen Generation und die Referenten mahnten nachdrücklich einen Ausbau der Beratungsangebote an. Auf meine Frage, wie es denn mit den absoluten Zahlen aussehe, verwies man mich auf den Geschäftsbericht. Ich konnte dort zwar keine Bestätigung der Zuwachsraten finden, aber als Lehrer mit guten Kontakten zur Erziehungsberatung und zu den psychiatrischen Diensten weiss ich natürlich, dass die Wartezeiten für die Betreuung gefährdeter Jugendlicher durchaus zu Sorgen Anlass geben.  Was aber sagen diese Zahlen über den Zustand der Jugendlichen aus? In der Schweiz leben rund 2,3 Millionen Kinder, Jugendliche und junge Erwachsene bis 23 Jahre. Der Webseite des BAG entnimmt man dazu, dass es 90% dieser Gruppe gesundheitlich gut gehe. 10% der Jugendlichen seien gefährdet. 10% sind natürlich nicht wenig, aber es ist auch wichtig zu wissen, dass eine übergrosse Mehrheit der Jugendlichen ihr Leben im Griff hat. Relative Zahlen verzerren oft die Risiken. Vor 5 Jahren berichtete die deutsche Zeitung «Die Welt», dass sich die Sterbezahlen an Choleratoten in Deutschland verdoppelt hatten. Was ist passiert. Vor 10 Jahren starben 2 Menschen in Deutschland an Cholera, 5 Jahre später waren es 4! Zur Erinnerung: Deutschland hat 80 Millionen Einwohner.

Den dritten fragwürdigen Umgang mit Daten entnahm ich einer Tageszeitung. Es ging um den umstrittenen nationalen Finanzausgleich. Der Titel lautete: Zug bezahlt am meisten, Bern erhält am meisten. In absoluten Zahlen stimmt das beim Kanton Zug nicht, wohl aber beim Kanton Bern. In relativen Zahlen stimmt es beim Kanton Zug, aber nicht beim Kanton Bern. Die Crux: Der Kanton Zug bezahlt pro Kopf am meisten in den Finanzhaushalt. Wenn es aber um diese Pro-Kopf-Zahlen geht, dann steht der Kanton Bern an 9. Stelle und nicht an erster. Der Journalist hat einfach Äpfel mit Birnen verglichen, also Pro-Kopf-Zahlen mit absoluten Zahlen. Das würde ich nicht als verzerrend, sondern als manipulativ bezeichnen. Man sollte aber nicht immer einen Vorsatz vermuten, wenn auch schlicht mathematische Unkenntnis die Ursache sein könnte. Vor drei Jahren veröffentlichte unser intellektuelles Leitmedium aus dem Norden, DIE ZEIT, eine Untersuchung über das Wohlbefinden der Kinder in Deutschlands Kitas. Das Ergebnis: 24% der Knaben und 10% der Mädchen fühlen sich in den Kitas unwohl. Fazit der Journalistin: Über ein Drittel der Kinder fühlen sich in deutschen Kitas nicht wohl. Noch Fragen?

The post Vom Umgang mit Statistiken, Umfragen und Zahlen first appeared on Condorcet.

Weltweit haben 30-jährige Männer durchschnittlich 10 jahre lang eine Schule besucht. Wie viele Jahre haben gleichaltrige Frauen die Schule besucht?

• 9 Jahre
• 6 Jahre
• 3 Jahre

Die richtige Anwort ist a) 9 Jahre

Die Zahl stammt aus dem Buch FACTFULNESS von Hans Rosling, Statistiker, der die Zahlen der Weltbank ausgewertet hat. Das Fazit dieses genialen Buchautors: Viel zu viele Menschen haben ein völlig verzerrtes, meist allzu düsteres Bild dieser Welt.

Als ich diese Frage meinem Kollegium stellte, hatte niemand auf die richtige Antwort getippt. Die Hälfte tippte auf 6 Jahre, die andere Hälfte auf 3 Jahre.

Alain Pichard

The post Die Zahl des Monats: 9 oder 6 oder 3? first appeared on Condorcet.

Die Corona-Krise bietet die seltene Gelegenheit, gleichsam in Echtzeit zu verfolgen, wie eine Forschungswissenschaft funktioniert. Was wir dank der Berichterstattung in den Medien über Virologie und Epidemiologie erfahren, ist aber nicht auf diese Disziplinen beschränkt, sondern lässt sich auf andere Disziplinen wie die Unterrichtsforschung übertragen.

Ausgehend von der Unterscheidung der Forschungsparadigmen Experiment, Statistik und Fallstudie bin ich im zweiten Teil meines Beitrags auf die experimentelle Unterrichtsforschung eingegangen. Der Vorzug des Experiments liegt in seinem eingreifenden Charakter, d.h. in der Möglichkeit, den Forschungsgegenstand durch Variation seiner Bedingungen und Kontrolle von Störfaktoren systematisch zu untersuchen.

Enge ethische Grenzen für das Experiment

Aus praktischen und ethischen Gründen sind dem Experiment in der pädagogischen Forschung aber Grenzen gesetzt. So ist es kaum möglich, Schulklassen allein zu Untersuchungszwecken und für die Dauer einer experimentellen Intervention willkürlich zusammenzusetzen oder das Verhalten von Lehrpersonen so weit zu standardisieren, dass es von persönlichen Einflüssen frei ist. Ebenso wenig lassen sich Studien unter Bedingungen durchführen, die sich negativ auf die Schülerinnen und Schüler auswirken könnten. Wo sich experimentelle Eingriffe verbieten, ist man daher auf die Untersuchung natürlicherweise variierender Bedingungen angewiesen. Dabei dient die Statistik als wichtiges Hilfsmittel der Datenanalyse. Davon soll im dritten Teil meines Beitrags die Rede sein.

Organisierte und unorganisierte Komplexität

In einem Aufsatz mit dem Titel Science and Complexity unterschied der Mathematiker Warren Weaver (1948) drei Arten von Problemen, nämlich einfache Probleme, Probleme unorganisierter Komplexität und Probleme organisierter Komplexität. Unerwähnt blieben die komplizierten Probleme, weshalb Weaver die experimentelle Methode lediglich für die Analyse von einfachen Problemen für zuständig hielt. Das ändert aber nichts an der Aussage im zweiten Teil meines Beitrags, wonach auch komplizierte Probleme experimentell untersucht werden können, sofern sie sich in einfache zerlegen lassen.

In der Tat befasst sich die Statistik mit Phänomenen, die zwar von gleicher Art sind, aber in keiner Beziehung zueinander stehen. Das trifft beispielsweise auf die Gesamtheit aller Schülerinnen und Schüler im Alter von 14 Jahren in der Stadt Bern zu, auf alle Einwohnerinnen und Einwohner der Schweiz, die täglich den öffentlichen Verkehr benutzen, oder auf sämtliche Roulettespiele, die an einem Stichtag im Casino Baden stattgefunden haben.

Weavers zweite und dritte Art von Problemen unterscheiden sich dadurch, dass wir es im Fall von unorganisierter Komplexität mit Massenphänomenen zu tun haben, die keine innere Ordnung aufweisen, während im Fall von organisierter Komplexität Phänomene vorliegen, wie wir sie im zweiten Teil des Beitrags erwähnt haben: Wetterlagen, Kerzenflammen und Unterricht. Weaver hielt Probleme organisierter Komplexität aufgrund ihrer Vielschichtigkeit für wissenschaftlich unzugänglich. Ob er damit auch heute noch Recht hat, mag man bezweifeln, jedoch trifft zweifellos zu, dass für die Analyse der verbleibenden Probleme unorganisierter Komplexität die Statistik zuständig ist.

In der Tat befasst sich die Statistik mit Phänomenen, die zwar von gleicher Art sind, aber in keiner Beziehung zueinander stehen. Das trifft beispielsweise auf die Gesamtheit aller Schülerinnen und Schüler im Alter von 14 Jahren in der Stadt Bern zu, auf alle Einwohnerinnen und Einwohner der Schweiz, die täglich den öffentlichen Verkehr benutzen, oder auf sämtliche Roulettespiele, die an einem Stichtag im Casino Baden stattgefunden haben.

Vom Nutzen der Statistik

Wie beim Experiment macht es zunächst den Eindruck, als sei die Statistik für die Untersuchung von pädagogischen Phänomenen wie dem Unterricht nicht geeignet. Denn im Falle einer Schulklasse haben wir es zweifellos nicht mit unorganisierter, sondern mit organisierter Komplexität zu tun. Aber wie das Experiment genutzt werden kann, indem wir Komplexität behandeln, als ob es sich um Kompliziertheit handelt, können wir die Statistik nutzen, indem wir organisierte Komplexität behandeln, als hätten wir es mit unorganisierter Komplexität zu tun. Genau diese Unterstellung liegt den meisten Studien der empirischen Unterrichtsforschung zugrunde.

Statistische Verfahren sind nicht gegenstandsneutrale Methoden, die nach Belieben eingesetzt werden können, sondern beruhen auf mathematischen Modellen, denen Annahmen über die Beschaffenheit des Forschungsgegenstandes zugrunde liegen. Kommt ein statistisches Verfahren zum Einsatz, muss daher gewährleistet sein, dass der Gegenstand den Annahmen des mathematischen Modells entspricht. Zu diesen Annahmen gehört, wie bereits angedeutet, dass die Ereignisse, die in eine statistische Analyse eingehen, unabhängig voneinander sind, also keine innere Ordnung aufweisen. Während das einzelne Ereignis – zum Beispiel der Wurf einer Münze – vielfach determiniert sein kann, ist die Summe der Ereignisse – zum Beispiel eine Serie von hundert Würfen mit derselben Münze – ohne inneren Zusammenhang. Es handelt sich m.a.W. um Zufallsereignisse.

Das heisst auch, dass der Einzelfall statistisch nicht von Belang ist. Was interessiert, sind Zusammenhänge zwischen Variablen

Das heisst auch, dass der Einzelfall statistisch nicht von Belang ist. Was interessiert, sind Zusammenhänge zwischen Variablen und Unterschiede in der Verteilung von Merkmalen, die idealerweise repräsentativ für die Verhältnisse in der Grundgesamtheit sind, über die man sich informieren will. Während die deskriptive Statistik die Daten lediglich beschreibt, hat die schliessende Statistik (Inferenzstatistik) zum Ziel, die Wahrscheinlichkeit abzuschätzen, dass ein Ergebnis zufällig zustande gekommen ist, d.h. nur für die untersuchte Stichprobe gilt, in einer anderen aber möglicherweise anders ausfallen würde. Abgesichert werden solche Schlüsse von der Stichprobe auf die Grundgesamtheit u.a. mit Hilfe von Signifikanztests.

Vom Signifikanztest zur Effektstärke

Signifikanztests verfahren nach einer Logik, die intuitiv nicht leicht nachvollziehbar ist. Denn im Falle eines empirisch aufgedeckten Unterschieds in der Verteilung eines Merkmals wird davon ausgegangen, dass der Unterschied faktisch nicht existiert (sog. Nullhypothese). Danach wird überprüft, wie wahrscheinlich es ist, dass die Nullhypothese zutrifft. Stellt sich nun heraus, dass diese Wahrscheinlichkeit gering ist, wird die eigentlich interessierende Hypothese, dass der Unterschied besteht, als zutreffend akzeptiert. Die Irrtumswahrscheinlichkeit entspricht dem Signifikanzniveau, für das man sich vor Durchführung des Signifikanztests entschieden hat. Dieses liegt nach einer weit verbreiteten Konvention bei α = .05 (eher geringe Wahrscheinlichkeit eines Irrtums), α = .01 (geringe Wahrscheinlichkeit eines Irrtums) oder α = 001 (sehr geringe Wahrscheinlichkeit eines Irrtums).

Ein statistisch signifikantes Ergebnis bedeutet demnach, dass für einen in einer Untersuchungsgruppe (Stichprobe) aufgedeckten Unterschied (zum Beispiel zwischen Jungen und Mädchen) unter der Annahme, dass der Unterschied real nicht existiert, wenig Plausibilität besteht, weshalb gefolgert wird, dass das Ergebnis mit einer gewissen Irrtumswahrscheinlichkeit zutrifft. Wie man sieht, beruht die Argumentation auf einer indirekten Beweisführung, insofern nicht getestet wird, was interessiert (es gibt einen Unterschied), sondern was nicht interessiert (es gibt keinen Unterschied), wobei genau genommen nicht Ergebnisse getestet werden, sondern die Wahrscheinlichkeit, bei der Annahme eines Ergebnisses einem Irrtum zu erliegen. Da das Verfahren rein formal ist, lässt sich aus der Tatsache, dass ein empirisches Ergebnis einen Signifikanztest erfolgreich bestanden hat, nicht schliessen, dass es auch – in theoretischer oder praktischer Hinsicht – relevant ist, und zwar egal welches Signifikanzniveau gewählt wurde.

Aussagekräftiger hinsichtlich der Bedeutsamkeit von Ergebnissen der Unterrichtsforschung sind im Vergleich mit einem Signifikanztest Masszahlen für deren Effektstärke. Die Effektstärke gibt an, wie gross ein statistisch signifikanter Unterschied zwischen zwei Untersuchungsgruppen ist. Das vieldiskutierte Buch von John Hattie (2009) über die Wirksamkeit verschiedener Einflussfaktoren auf die Lernleistung von Schülerinnen und Schülern beruht ganz auf der Aufbereitung und dem Vergleich solcher Effektstärken. Dabei postuliert Hattie eine Effektstärke von d = .40 als Grenze, ab der ein Ergebnis als pädagogisch relevant beurteilt werden kann. Nach einem Vorschlag von Jacob Cohen gelten Effektstärken von d = .20 als klein, von d = .50 als mittel und von d = .80 als gross. Dementsprechend ist die Glaubwürdigkeit der Lehrperson, die bei Hatte mit einer Effektstärke von d = .90 ausgewiesen wird, von grossem Einfluss auf das Schülerlernen. Von etwas geringerer Relevanz ist die Klarheit der Lehrperson (d = .75), während die Lehrer-Schüler-Beziehung (d = .52) und die Lernunterstützung durch die Eltern (d = .50) von mittlerer und ein schülerzentrierter Unterricht (d = .36), Hausaufgaben (d = .29) sowie die Lehrerpersönlichkeit (d = .23) von geringer Bedeutung für den Lernerfolg der Schülerinnen und Schüler sind.

Hatties Analyse, die inzwischen eine Liste von 277 Wirkfaktoren umfasst, ist typisch für das Vorgehen der Unterrichtsforschung, die ihre Methoden nur einsetzen kann, wenn sie die Komplexität des Unterrichts drastisch reduziert.

Hatties Analyse, die inzwischen eine Liste von 277 Wirkfaktoren umfasst, ist typisch für das Vorgehen der Unterrichtsforschung, die ihre Methoden nur einsetzen kann, wenn sie die Komplexität des Unterrichts drastisch reduziert. Sie tut es, indem sie einzelne Bedingungsfaktoren herauslöst und auf ihren Einfluss auf das Schülerlernen untersucht. Unbeantwortet bleiben dabei die Fragen nach allfälligen Beziehungen oder Interaktionen zwischen den Einflussfaktoren sowie der Veränderung ihrer Wirksamkeit und ihres Zusammenspiels über die Zeit hinweg. Die Komplexität, die bei der Datenerhebung aus methodischen Gründen reduziert wird, lässt sich bei der Datenanalyse nicht zurückgewinnen.

Der ökologische Fehlschluss

Da statistische Werte nicht für Einzelfälle, sondern für Verteilungen stehen und diese mittels Kennzahlen wie Mittelwerten oder Streuungsmassen charakterisieren, liegen statistische Aussagen auf einer Ebene, deren Bezug zur Wirklichkeit oft als zweifelhaft erscheint. Was «im Durchschnitt» gilt, kann sich im Einzelfall als falsch erweisen, oder es fehlt ihm eine reale Entsprechung. Schülerinnen und Schüler existieren zwar im Plural, aber nicht als statistischer Mittelwert. Der Schluss von der aggregierten Ebene der Massendaten auf den Einzelfall gilt daher als fehlerhaft und wird ökologischer Fehlschluss genannt.

Wenn sich zum Beispiel in einer Studie, die an 60 Schulklassen durchgeführt wurde, herausstellt, dass Unterrichtsstörungen vorwiegend von Schülern, aber kaum von Schülerinnen ausgehen, dann handelt es sich dabei um ein Ergebnis, das – unter Auswertung sämtlicher Daten auf der globalen Ebene sämtlicher Schülerinnen und Schüler – einen wesentlichen Unterschied zwischen den Geschlechtern markiert. Daraus lässt sich aber nicht schliessen, dass in jeder einzelnen der untersuchten 60 Klassen vorwiegend die Schüler den Unterricht stören. Genauso wenig lässt sich aufgrund des Ergebnisses schliessen, dass es immer nur die Schüler sind, von denen Unterrichtsstörungen ausgehen. Obwohl es statistisch gesehen korrekt ist zu sagen, Schüler würden den Unterricht im Allgemeinen eher stören als Schülerinnen, kann es sich im Einzelnen genau umgekehrt verhalten.

Fiktionale Wirklichkeit?

Man kann dies kritisch beurteilen und die pädagogisch-psychologische Forschung, die sich statistischer Methoden bedient, der Verfehlung des Individuums bezichtigen. So hat Klaus Holzkamp (1985) der modernen Psychologie vorgeworfen, Wissenschaftlichkeit auf Kosten der Subjektivität zu betreiben. Mittels statistischer Analysen werde eine «artifizielle Unperson» (S. 30) kreiert, ein «statistisches Gespenst» (ebd.), das von den realen historischen und gesellschaftlichen Bedingungen, unter denen Menschen in ihrem Alltag leben, losgetrennt sei. Trotz dieser scharfen Kritik glaubte Holzkamp jedoch nicht, dass mit der Verbannung der Statistik aus der Psychologie viel gewonnen wäre. In der Tat ist schwer zu sehen, wie in einer modernen Forschungswissenschaft auf das Instrumentarium der Statistik verzichtet werden könnte.

Die Frage ist daher nicht, ob wir mit Hilfe der Statistik ein falsches Bild von der Unterrichtswirklichkeit gewinnen. Auch im Falle der experimentellen Erforschung des Unterrichts wäre dies eine falsch gestellte Frage. Weder im einen noch im anderen Fall vermögen wir durch die blosse Anwendung einer Methode Klarheit über die Qualität unserer Erkenntnisse zu erlangen. Erst wenn die Ergebnisse einer Studie einem kritischen Diskurs in der Gemeinschaft der Forscherinnen und Forscher unterzogen werden und dem Diskurs standhalten, besteht Anlass zur Vermutung, dass wir einen Zipfel der Wahrheit erwischt haben.

Qualitative Forschung als Alternative?

Die bisherige Diskussion zeigt, dass weder das Experiment noch die Statistik in der Lage sind, die Komplexität der Unterrichtswirklichkeit ohne Abstriche einzufangen. In beiden Fällen muss das Untersuchungsobjekt vereinfacht werden, um einer wissenschaftlichen Analyse zugänglich zu sein. Dies führt nicht selten zum Vorwurf, die empirische Unterrichtsforschung würde ihren Gegenstand verfehlen. Als Alternative werden qualitative Studien empfohlen, die besser in der Lage seien, die komplexe Wirklichkeit von Schule und Unterricht einzufangen. Im vierten Teil meines Beitrags werde ich mich mit dieser Auffassung auseinandersetzen und die Fallstudie als Forschungsparadigma der Unterrichtsforschung unter die Lupe nehmen.

Literaturverzeichnis

Holzkamp, Klaus (1985). Selbsterfahrung und wissenschaftliche Objektivität: Unaufhebba­rer Widerspruch? In: Karl-Heinz Braun & Klaus Holzkamp (Hrsg.): Subjektivität als Problem psychologischer Methodik (S. 17-37). Frankfurt a.M.: Campus.

Hattie, John A. C. (2009).Visible Learning. A Synthesis of Over 800 Meta-Analyses Relating to Achievement. London: Routledge.

Weaver, Warren (1948). Science and Complexity. American Scientist (36), 536-544.

The post Covid-19 und die Unterrichtsforschung, 3. Teil first appeared on Condorcet.