Aussagekraft arg in Frage gestellt – Zur Bewertung der Checks «Schreiben»

Königsdisziplin Textbewertung
Wer unterrichtet, weiss: Das Bewerten von Texten zählt zu den anspruchsvollsten Tätigkeiten im Lehrberuf. Auch nach vielen Jahren der Praxis und diversen ausprobierten und gegebenfalls wieder verworfenen oder angepassten Korrektur- und Beurteilungsmethoden kann einen noch immer gelegentlich der Eindruck überkommen, gewissen Texten von Schülerinnen und Schülern mit einer Bewertung nicht wirklich gerecht zu werden. 

In jedem Fall unabdingbar für eine seriöse Validierung von Schreibprodukten ist der Faktor Zeit. Diese Bedingung kann im Kontext der Checks schlechterdings erfüllt sein, denn das IBE budgetiert gemäss eigenen Angaben selbst für die im Vergleich zum Französisch in der Regel merklich längeren Deutsch-Texte lediglich mit wenigen Minuten pro Exemplar. Das Bewerten wird grossmehrheitlich von Studierenden aus verschiedenen Fakultäten übernommen.

Die Ausbildung solcher «Rater» oder «Raterinnen» dauert einen oder zwei Tage. Gemäss Begleitschreiben des IBE zur Ergebnisrückmeldung «Französisch Schreiben» würden während der Einführungsphase «so lange gleiche Texte von allen Personen beurteilt, bis es nur noch zu geringen Abweichungen in der Beurteilung» komme. Ausserdem würden nach der Einführungsphase «täglich zwischen fünf und zehn Texte vom ganzen Team korrigiert». 

Eine weitere Aussage aus dem Begleitschreiben fördert Überraschendes zutage: Trotz aller Absprachen werde zusätzlich ein «rechnerisches Verfahren» eingesetzt, um die Beurteilungen «eher strenger oder eher milder» Raterinnen und Rater zu korrigieren. Dieses Verfahren könne dazu führen, «dass bei exakt gleicher Beurteilung der Kriterien eine andere Punktzahl auf der Check-Skala ausgewiesen» werde, wobei die Unterschiede gering seien.

Grenzen von Rastern
Nicht selten schwankt man als Lehrperson zwischen dem Wunsch nach (vermeintlich) klaren Bewertungsrastern zwecks Transparenz und Vergleichbarkeit einerseits, aber andererseits eben auch der Feststellung, dass genau solche Raster es dann nicht vermögen, die Originalität eines Textes adäquat abzubilden respektive zwischen höchst gelungenen und gänzlich missratenen Werken hinreichend zu differenzieren. 

Das IBE setzt in seinen Bewertungen ausschliesslich auf fixe Raster mit 8 oder 9 Kriterien im Französisch und deren 15 in Deutsch. Individiuelle Kommentare, markierte Passagen und Wörter oder Ähnliches gibt es nicht. Philipp Loretz hat in einem Artikel vom Juni 2021 [2] die umstrittensten Aspekte des bestehenden Beurteilungs-Settings der Checks «Schreiben» analysiert: Die Stichworte hierzu lauten «fragwürdige Kriterien», «Vermischung unterschiedlicher Subkriterien» und «unklare Gewichtung».

Punktzahl und Kompetenzstufe
Schülerinnen und Schüler sowie ihre Lehrpersonen erhalten als Teil der Checks-Beurteilung eine drei- oder vierstellige Punktzahl sowie die Zuweisung zu einer Kompetenzstufe inklusive Kommentar zu derselben. Ferner wird der sogenannte Prozentrang angegeben, der anzeigt, wo sich eine Schülerin oder ein Schüler im Vergleich mit allen anderen Teilnehmenden aus dem Bildungsraum Nordwestschweiz befindet.

Eine dreistellige Punktzahl wie 748 oder 815 erweckt auf den ersten Blick automatisch den Eindruck einer ganz präzisen wissenschaftlichen Messung. Wie genau diese Punktzahl zustande kommt, bleibt jedoch auch nach längerer Auseinandersetzung damit unklar.

Eine dreistellige Punktzahl wie 748 oder 815 erweckt auf den ersten Blick automatisch den Eindruck einer ganz präzisen wissenschaftlichen Messung. Wie genau diese Punktzahl zustande kommt, bleibt jedoch auch nach längerer Auseinandersetzung damit unklar, da nicht nachvollzogen werden kann, wie viel Gewicht welche Kriterien des Bewertungsrasters für das Berechnen der Punktzahl haben. Um wie viele Punkte (und die daran gekoppelten Kompetenzstufen) würde das Abändern eines einzigen Kriteriums das ausgewiesene Ergebnis verändern? Das IBE stellt sich hierbei auf den Standpunkt, dass, unabhängig von der Gewichtung einzelner Kriterien, die Einheitlichkeit der Bewertung wichtig sei; dadurch seien Vergleichbarkeit und Fairness gewährleistet.

Leere Kompetenzstufen
Die Punktzahlen werden sodann einer Kompetenzstufe zugeordnet. Unterschieden wird in römischer Zahlschrift zwischen 10 Kompetenzstufen (also von I bis X); hinzu kommen für Ausnahmefälle die Angaben «<I» (noch unterhalb von Kompetenzstufe I) sowie «>X» (noch besser als Kompetenzstufe X). Jede Kompetenzstufe umfasst 100 Punkte auf der Skala, z.B. reicht Kompetenzstufe I von 101 bis 200 Punkten, Kompetenzstufe II von 201 bis 300 Punkten usw.

Eine Kuriosität der besonderen Art stellt der Umstand dar, dass die Kompetenzstufen I, II und III für den Check Französisch Schreiben leer sind; es findet sich dazu keine Beschreibung der damit verbundenen Fertigkeiten. Die Ausführungen für Kompetenzstufe IV legen nahe, dass faktisch erst dort die Skala beginnt: «Die Schülerinnen und Schüler können erste bekannte Wörter abschreiben oder frei schreiben. Sie können in Formulare einfache persönliche Angaben einfüllen und einfache Angaben zur eigenen Person verfassen.» [3]

Weshalb den Kompetenzstufen I bis III gar keine Fertigkeiten zugewiesen sind, ist für den Betrachter nicht erklärbar. Diese Gegebenheit führt jedoch zweifelsfrei zu einer verfälschten Wahrnehmung. Es ist doch ein beträchtlicher Unterschied, ob Kompetenzstufe V von X ausgewiesen ist (was noch auf ein einigermassen respektables Können schliessen lässt) oder ob es – ohne die drei «leeren» Kompetenzstufen – Kompetenzstufe II von VII wäre (was auf äusserst bescheidene Kenntnisse schliessen liesse). Doch schauen Sie selbst!

Probe aufs Exempel

Wir haben mit dem Check S2 «Schreiben Französisch» des Jahres 2022 die Probe aufs Exempel gemacht und uns die Bewertungen von Texten diverser Klassen genau angesehen. Wir bitten Sie, die von Schülerinnen oder Schülern geschriebenen Texte mit den dazugehörigen «Kompetenzen» gemäss Rückmeldung durch das IBE zu vergleichen und sich die Fragen zu stellen: Stimmt das überein? Können diese Jugendlichen wirklich, was da beschrieben ist?