5. Februar 2023

Aussagekraft arg in Frage gestellt – Zur Bewertung der Checks «Schreiben»

Wie im Artikel über die problematische Terminfreiheit hinsichtlich der Durchführung der Checks «Schreiben»[1]  in der letzten Ausgabe des «lvb inform» angekündigt, legen Roger von Wartburg und Philipp Loretz im nun vorliegenden Artikel den Finger noch einmal ganz konkret auf die bestehende Bewertungspraxis der schriftlichen Checks, diesmal mit dem Fokus Französisch. Die vom zuständigen Institut für Bildungsevaluation (IBE) der Universität Zürich für sich in Anspruch genommene Wissenschaftlichkeit bei der Bewertung der Schreibprodukte respektive deren Aussagekraft muss in Frage gestellt werden. Sie laden die Leserschaft ein, sich anhand expliziter Beispiele ein eigenes Urteil zu bilden.

Königsdisziplin Textbewertung
Wer unterrichtet, weiss: Das Bewerten von Texten zählt zu den anspruchsvollsten Tätigkeiten im Lehrberuf. Auch nach vielen Jahren der Praxis und diversen ausprobierten und gegebenfalls wieder verworfenen oder angepassten Korrektur- und Beurteilungsmethoden kann einen noch immer gelegentlich der Eindruck überkommen, gewissen Texten von Schülerinnen und Schülern mit einer Bewertung nicht wirklich gerecht zu werden. 

In jedem Fall unabdingbar für eine seriöse Validierung von Schreibprodukten ist der Faktor Zeit. Diese Bedingung kann im Kontext der Checks schlechterdings erfüllt sein, denn das IBE budgetiert gemäss eigenen Angaben selbst für die im Vergleich zum Französisch in der Regel merklich längeren Deutsch-Texte lediglich mit wenigen Minuten pro Exemplar. Das Bewerten wird grossmehrheitlich von Studierenden aus verschiedenen Fakultäten übernommen.

Die Ausbildung solcher «Rater» oder «Raterinnen» dauert einen oder zwei Tage. Gemäss Begleitschreiben des IBE zur Ergebnisrückmeldung «Französisch Schreiben» würden während der Einführungsphase «so lange gleiche Texte von allen Personen beurteilt, bis es nur noch zu geringen Abweichungen in der Beurteilung» komme. Ausserdem würden nach der Einführungsphase «täglich zwischen fünf und zehn Texte vom ganzen Team korrigiert». 

Eine weitere Aussage aus dem Begleitschreiben fördert Überraschendes zutage: Trotz aller Absprachen werde zusätzlich ein «rechnerisches Verfahren» eingesetzt, um die Beurteilungen «eher strenger oder eher milder» Raterinnen und Rater zu korrigieren. Dieses Verfahren könne dazu führen, «dass bei exakt gleicher Beurteilung der Kriterien eine andere Punktzahl auf der Check-Skala ausgewiesen» werde, wobei die Unterschiede gering seien.

Grenzen von Rastern
Nicht selten schwankt man als Lehrperson zwischen dem Wunsch nach (vermeintlich) klaren Bewertungsrastern zwecks Transparenz und Vergleichbarkeit einerseits, aber andererseits eben auch der Feststellung, dass genau solche Raster es dann nicht vermögen, die Originalität eines Textes adäquat abzubilden respektive zwischen höchst gelungenen und gänzlich missratenen Werken hinreichend zu differenzieren. 

Das IBE setzt in seinen Bewertungen ausschliesslich auf fixe Raster mit 8 oder 9 Kriterien im Französisch und deren 15 in Deutsch. Individiuelle Kommentare, markierte Passagen und Wörter oder Ähnliches gibt es nicht. Philipp Loretz hat in einem Artikel vom Juni 2021 [2] die umstrittensten Aspekte des bestehenden Beurteilungs-Settings der Checks «Schreiben» analysiert: Die Stichworte hierzu lauten «fragwürdige Kriterien», «Vermischung unterschiedlicher Subkriterien» und «unklare Gewichtung».

Punktzahl und Kompetenzstufe
Schülerinnen und Schüler sowie ihre Lehrpersonen erhalten als Teil der Checks-Beurteilung eine drei- oder vierstellige Punktzahl sowie die Zuweisung zu einer Kompetenzstufe inklusive Kommentar zu derselben. Ferner wird der sogenannte Prozentrang angegeben, der anzeigt, wo sich eine Schülerin oder ein Schüler im Vergleich mit allen anderen Teilnehmenden aus dem Bildungsraum Nordwestschweiz befindet.

Eine dreistellige Punktzahl wie 748 oder 815 erweckt auf den ersten Blick automatisch den Eindruck einer ganz präzisen wissenschaftlichen Messung. Wie genau diese Punktzahl zustande kommt, bleibt jedoch auch nach längerer Auseinandersetzung damit unklar.

Eine dreistellige Punktzahl wie 748 oder 815 erweckt auf den ersten Blick automatisch den Eindruck einer ganz präzisen wissenschaftlichen Messung. Wie genau diese Punktzahl zustande kommt, bleibt jedoch auch nach längerer Auseinandersetzung damit unklar, da nicht nachvollzogen werden kann, wie viel Gewicht welche Kriterien des Bewertungsrasters für das Berechnen der Punktzahl haben. Um wie viele Punkte (und die daran gekoppelten Kompetenzstufen) würde das Abändern eines einzigen Kriteriums das ausgewiesene Ergebnis verändern? Das IBE stellt sich hierbei auf den Standpunkt, dass, unabhängig von der Gewichtung einzelner Kriterien, die Einheitlichkeit der Bewertung wichtig sei; dadurch seien Vergleichbarkeit und Fairness gewährleistet.

Leere Kompetenzstufen
Die Punktzahlen werden sodann einer Kompetenzstufe zugeordnet. Unterschieden wird in römischer Zahlschrift zwischen 10 Kompetenzstufen (also von I bis X); hinzu kommen für Ausnahmefälle die Angaben «<I» (noch unterhalb von Kompetenzstufe I) sowie «>X» (noch besser als Kompetenzstufe X). Jede Kompetenzstufe umfasst 100 Punkte auf der Skala, z.B. reicht Kompetenzstufe I von 101 bis 200 Punkten, Kompetenzstufe II von 201 bis 300 Punkten usw.

Eine Kuriosität der besonderen Art stellt der Umstand dar, dass die Kompetenzstufen I, II und III für den Check Französisch Schreiben leer sind; es findet sich dazu keine Beschreibung der damit verbundenen Fertigkeiten. Die Ausführungen für Kompetenzstufe IV legen nahe, dass faktisch erst dort die Skala beginnt: «Die Schülerinnen und Schüler können erste bekannte Wörter abschreiben oder frei schreiben. Sie können in Formulare einfache persönliche Angaben einfüllen und einfache Angaben zur eigenen Person verfassen.» [3]

Weshalb den Kompetenzstufen I bis III gar keine Fertigkeiten zugewiesen sind, ist für den Betrachter nicht erklärbar. Diese Gegebenheit führt jedoch zweifelsfrei zu einer verfälschten Wahrnehmung. Es ist doch ein beträchtlicher Unterschied, ob Kompetenzstufe V von X ausgewiesen ist (was noch auf ein einigermassen respektables Können schliessen lässt) oder ob es – ohne die drei «leeren» Kompetenzstufen – Kompetenzstufe II von VII wäre (was auf äusserst bescheidene Kenntnisse schliessen liesse). Doch schauen Sie selbst!

Probe aufs Exempel

Wir haben mit dem Check S2 «Schreiben Französisch» des Jahres 2022 die Probe aufs Exempel gemacht und uns die Bewertungen von Texten diverser Klassen genau angesehen. Wir bitten Sie, die von Schülerinnen oder Schülern geschriebenen Texte mit den dazugehörigen «Kompetenzen» gemäss Rückmeldung durch das IBE zu vergleichen und sich die Fragen zu stellen: Stimmt das überein? Können diese Jugendlichen wirklich, was da beschrieben ist?

Die zwei Aufgabenstellungen der «schwierigeren Version» des Checks lauteten wie folgt:

Aufgabe 1: Un Mail à Luca

Luca ist für ein Austauschjahr in deiner Parallelklasse und spricht Französisch. Luca hat dich am Wochenende zum Picknicken im Park eingeladen, aber leider hast du keine Zeit. Antworte Luca in einem E-Mail. Du…

  • bedankst dich für die Einladung,
  • erklärst, warum du am Wochenende keine Zeit hast,
  • schlägst einen neuen Zeitpunkt und eine andere Aktivität vor,
  • fragst, ob Luca mit deinem Vorschlag einverstanden ist.
    Vergiss nicht, in deinem E-Mail eine passende Anrede und Grussformel zu schreiben.

Aufgabe 2: Livre ou film?

Auf der Website einer französischen Zeitschrift gibt es einen Blog. Hier tauschen Leserinnen und Leser ihre Meinung zu verschiedenen Themen aus. Dich interessiert die Rubrik zum Thema «Bücher lesen oder Filme schauen». Beschreibe in deinem Blogeintrag Folgendes:

  • Was gefällt dir besser: Bücher lesen oder Filme schauen? Begründe deine Antwort.
  • Was für Bücher liest du gerne oder aber welche Art Filme schaust du gerne?
  • Hast du ein Lieblingsbuch oder einen Lieblingsfilm? Beschreibe dieses Buch oder diesen Film genauer.

Zur Bewältigung der beiden Schreibaufgaben standen insgesamt 40 Minuten zur Verfügung. Wörterbücher durften nicht verwendet werden. Als Hilfe wurden die folgenden Satzanfänge vorgeschlagen: D’abord… / Puis … / Mais … / Finalement … / C’est pourquoi … / Pour moi …

Beispiel 1 von Texten und Bewertung:

Aufgabe 1:

Salut Luca

Je ne pris pas de temps pour nous Picknick, desole. Je vais avec ma famille au france. J’ai des temps au Lundi, mais nous jouez des volleball, est ce bon?

LG

Aufgabe 2:

Pour moi, J’ador des Film. J’aime de livre, mais les films éte more interesant au le livre. Ma livré prévéré est percy Jakson, Ma film prevere est Avengers Endgame. Pour le film: le enemiagagnée, est le petit heros fair une reise de temp.

Punktzahl und Kompetenzstufe:
705 Punkte • Kompetenzstufe VII (701-800 Punkte)

Die Schülerinnen und Schüler können mit sprachlichem Support (z.B. Chunks) einfache Geschichten schreiben. Sie können sich einfache Notizen machen und kurze Mitteilungen verfassen. Sie können mit einfachen Sätzen und Ausdrücken über vertraute Gegenstände und Personen berichten.

Die Schülerinnen und Schüler …

  • können mit sprachlichem Support (z.B. Chunks) einfache Geschichten beginnen oder zu Ende führen.
  • können sich einfache Notizen machen und kurze Mitteilungen verfassen (z.B. Sachverhalt, Wegbeschreibung zu Skizze, Einladung).
  • können mit einfachen Sätzen und Ausdrücken über vertraute Gegenstände und Personen berichten (z.B. Tagesablauf, Porträt, Aktivität).
  • sind teilweise in der Lage, ihre Texte interessant, lustig oder abwechslungsreich zu gestalten.
  • verfügen über einen ausreichend breiten Wortschatz, um kurze, einfache Texte zu verfassen.

Beispiel 2 von Texten und Bewertung:

Aufgabe 1:

Mais Luca,
Merci pour Rendez-vous au parc.
J’ai ne Zeit. Nous können aber alle patinge dans 14 heures.
Es-tu einverstanden?
Xoxo

LG

Aufgabe 2:

Je aime films, la fantasy, horror, scfi et action. Je ne lis pas livre, ausser livre de Harry Potter. Moi aime film est Spiderman et Harry Potter, on est un action et fantasy film.

589 Punkte • Kompetenzstufe V (501-600 Punkte):

Die Schülerinnen und Schüler können mit bekannten Wörtern Listen erstellen und Bilder beschriften. Sie können Formulare mit persönlichen Angaben ergänzen und Informationen zur eigenen Person in kurzen, einfachen Sätzen verfassen.

Die Schülerinnen und Schüler …

  • erstellen Listen mit bekannten Wörtern und beschriften Bilder.
  • können Formulare mit persönlichen Angaben ergänzen.
  • können in kurzen, einfachen Sätzen Informationen über sich selbst geben.

Dichtung und Wahrheit?

Aus unserer Sicht passt das, was in den ausgewählten Beispielen gemäss Kommentaren zu den Kompetenzstufen seitens IBE ausformuliert wird, nicht zu dem, was diese Schülerinnen und Schüler anhand ihrer Texte als produktive Fertigkeiten in der französischen Sprache unter Beweis gestellt haben. Das wortreich umschriebene angebliche «Können» ist bei nüchterner Betrachtung nicht nachweisbar. In einigen Fällen wäre es ehrlicher und zutreffender, die faktische Nichtbewertbarkeit infolge nicht vorhandener sprachlicher Fertigkeiten auch tatsächlich auszuweisen. 

Das wortreich umschriebene angebliche «Können» ist bei nüchterner Betrachtung nicht nachweisbar.

Der Schüler oder die Schülerin aus Beispiel 2 erhielt vom IBE für die beiden Kürzesttexte in 12 der 17 Kriterien des Bewertungsrasters (9 wurden für Aufgabe 1 beurteilt, deren 8 für Aufgabe 2) die tiefstmögliche Einstufung und fünf Mal die zweittiefste. Trotzdem reicht das noch immer für ominöse 589 Punkte auf der Skala und sogar fast für die sogenannte Kompetenzstufe VI, die ab 601 Punkten erreicht würde. Kommt hinzu, dass der Rater oder die Raterin des IBE wohl zu den «eher milden» gehört haben dürfte, wenn in Aufgabe 1 eine «teilweise beherrschte Orthographie», in Aufgabe 2 «eine teilweise beherrschte Grammatik» und in beiden Aufgaben «teilweise logisch ausgeführte Gedanken» bescheinigt werden.

Sehr zu hoffen ist, dass nicht aus politischen Gründen die Französisch-Bewertungen quasi «geschönt» werden (müssen). Vor elf Jahren war in den Nordwestschweizer Auftragskantonen der Checks das teure und mit hochfliegenden Versprechungen angetretene Fremdsprachenkonzept «Passepartout» installiert worden. In deutlich zu vielen Fällen jedenfalls sind die im Check S2 gezeigten Kompetenzen nach fünfeinhalb (!) Jahren Französisch-Unterricht erschreckend niedrig.

Beispiel 3 von Texten und Bewertung:

Aufgabe 1:

Salut Luca

Merci pour la email. Je ne parle pas français, C’est pourquoi Vous parlons english.

So i’m sorry, but i havn’t time at this date. At first thanks for this Invention. We can meat us in a week, on Sunday, at the Meetingplace, then we can go and Play some football/soccer. Is this good?

Au revoir

Aufgabe 2:

J’aime regarder des films. J’aime le films Harry pottr, Spiderman etc.

Je n’ai pas un film préferé.

670 Punkte • Kompetenzstufe VI (601-700 Punkte):

Die Schülerinnen und Schüler können mit einfachen Worten alltägliche Situationen und Gegenstände beschreiben oder Informationen über sich selbst, vertraute Personen und Sachverhalte verfassen. Sie können einfache Mitteilungen und Fragen formulieren. 

Die Schülerinnen und Schüler …

  • erfassen kurze, einfache und teilweise verständliche Texte zu alltäglichen Situationen und Gegenständen (z.B. Farbe, Grösse, Material), zu ihrer eigenen Person sowie  zu vertrauten Personen und Sachverhalten (z.B. Familie, Zimmer, Hobby).
  • können einfache Mitteilungen und Fragen formulieren (z.B. Einladung, SMS, Notiz). 
  • schreiben teilweise korrekte, meist unverbundene Sätze. 
  • verfügen über einen knapp ausreichenden Wortschatz, um erste einfache Texte zu verfassen.

Beispiel 4 von Texten und Bewertung:

Aufgabe 1:

Merci à Rendez-vous au parc.
Je ne pas arrivé weil j’ai famieli-fété. 
Tu a arrivé à lundi êt vous allé à la l’école.
Comme tu il?

Aufgabe 2:

Je Film préféré regarde. Weil

Je ne pa ma arm.
Je film préféré à horror êt romantiqu.
Ma aimes e Mondpferd.
To la film ville êt garçong reiten to la cheval. êt une ville arrive hexen.

516 Punkte • Kompetenzstufe V (501-600 Punkte):

Die Schülerinnen und Schüler können mit bekannten Wörtern Listen erstellen und Bilder beschriften. Sie können Formulare mit persönlichen Angaben ergänzen und Informationen zur eigenen Person in kurzen, einfachen Sätzen verfassen.

Die Schülerinnen und Schüler …

  • erstellen Listen mit bekannten Wörtern und beschriften Bilder.
  • können Formulare mit persönlichen Angaben ergänzen.
  • können in kurzen, einfachen Sätzen Informationen über sich selbst geben.

Seitenblick zu den Checks «Hören» und «Lesen»

Dies führt noch zu einer weiteren Feststellung, die sich nur schwerlich erklären lässt: Viele Klassen weisen in den Checks «Hören» und «Lesen» für die Fremdsprachen Englisch und Französisch gemäss Bewertung durch das IBE sehr ähnliche Punktzahlen auf. Das dürfte mit der Wahrnehmung vieler Fremdsprachen-Lehrpersonen aus dem Unterricht schwer in Einklang bringen zu sein.

Und spricht man die Klassen darauf an, sind auch die Lernenden ganz klar davon überzeugt, dass ihre rezeptiven Fähigkeiten in Englisch deutlich besser seien als in Französisch. Weshalb dies auf der Punkteskala des IBE nicht abgebildet wird, können sich die Jugendlichen nicht erklären. Da keine Texte auf Englisch geschrieben werden mussten, gibt es in diesem Bereich keine Vergleichsmöglichkeit.

Tauglichkeit der Profilabgleiche?

Neben den Punktzahlen und den Kompetenzstufen bietet die Check-Auswertung des IBE noch ein weiteres Element: Online können die Lernenden ihre Check-Ergebnisse mit den schulischen Anforderungsprofilen für die berufliche Grundbildung vergleichen. So soll klar werden, für welche Berufslehren die eigenen fachlichen Kompetenzen ausreichend sind und für welche (noch) nicht.

Für den Schüler oder die Schülerin aus Beispiel 1 hätte dies etwa bedeutet, dass er oder sie die schulischen Anforderungen im Französisch für eine Lehre als Kaufmann/-frau EFZ, erweiterte Grundbildung, nur knapp nicht erfüllt, sie andererseits aber für die Lehre als Informatiker/-in EFZ oder Drogist/-in EFZ übertrifft. Der Schüler oder die Schülerin aus Beispiel 2 hätte die schulischen Anforderungen im Französisch für die Lehre als Laborant/-in EFZ, erweiterte Grundbildung, knapp nicht erfüllt, sie jedoch für die Ausbildung als Zeichner/-in EFZ oder Fachmann/-frau Betreuung EFZ erfüllt. Ob diese Aussagen angesichts der doch sehr dünnen Datenlage haltbar sind?

Das IBE legt in diesem Zusammenhang Wert auf die Feststellung, dass die Anforderungsprofile nicht etwa vom IBE, sondern vom schweizerischen Gewerbeverband erstellt werden. Das IBE pflegt diese Vorlagen lediglich zum Profilabgleich in die Check-Umgebung ein.

Fazit und Schlussfolgerung

Die Ergebnisse der Checks S2 und S3 stellen einen wesentlichen Bestandteil des Abschlusszertifikats der Volksschule in der Nordwestschweiz dar – neben dem Teilzertifikat zur Projektarbeit und ausgewählten Zeugnisnoten des Abschlussjahres der Sekundarschule. Sie sollen gemäss Wording des Projekts dazu dienen, die schulischen Leistungen beim Übergang von der Sekundarstufe I in die Berufsbildung oder in weiterführende Schulen möglichst breit und aussagekräftig einzuschätzen.

Nur schon deshalb sollten die Nordwestschweizer Kantone als Auftraggeber alles dafür tun, die Ausgestaltung und Auswertung der Checks bestmöglich vornehmen zu lassen. Dass diese Zielsetzung aktuell nicht erreicht ist, glauben wir in Gestalt unserer verschiedenen Artikel zur Thematik deutlich aufgezeigt zu haben. 

Wer im Duktus der Wissenschaftlichkeit hohe Ansprüche für seine Arbeit reklamiert und diese gegen aussen kommuniziert, muss sich daran messen lassen. Erst recht, wenn er dabei selbst Messungen in Form dreistelliger Punktzahlen vornimmt und ausweist und diesen die Qualität zuschreibt, Auskunft geben zu können über die Passung zwischen Jugendlichen und deren Berufseignungen.

Dieser Artikel ist zuerst in der Verbandszeitschrift des Lehrerinnen- und Lehrervereins Baselland (LVB) erschienen (Septemberausgabe 2022)

[1] Roger von Wartburg: Durchführung der Checks S2 «Schreiben» – Warum es einheitliche Termine braucht, lvb inform 2021/22-04

[2] Philipp Loretz: Checks im Realitätscheck – Problemanalyse des LVB nach 5 Jahren Erfahrung, lvb inform 2020/21-04

[3] www.check-dein-wissen.ch

Verwandte Artikel

Schule der Zukunft?

Condorcet-Autorin Christine Staehelin, GLP-Mitgled im baselstädtischen Bildungsrat und Primarlehrerin, warnt in ihrem Beitrag davor, mit überfrachteten Kompetenzerwartungen eine Ideologisierung von Unterricht zu betreiben.

2 Kommentare

  1. Sind die zitierten Schülertexte das, was sich PH-Didaktiker und Mille Feuille-Begeisterte unter «funktionaler Mehrsprachigkeit» vorstellen? Welchen Nutzen für die Bewältigung fremdsprachiger Situationen im Zielgebiet soll dieses abstruse Kauderwelsch haben? Das Konzept gibt ja vor, sogenannte sprachliche «Chunks» (häufig verwendete Wortgruppen) zu instruieren. Welchen Sinn ergibt es, wenn solche Chunks oder einzelne Wörter ungrammatisch mehr oder weniger zufällig aneinandergefügt und mit deutschen Wörtern kombiniert werden? Die Bedeutung kann wohl nur jemand erschliessen, der die Muttersprache der Geprüften und die Zielsprache sehr gut kennt. Wieso erhält der Schlaumeier, der nach einem Satz von Französisch auf Englisch umschaltet, überhaupt Punkte? Haben wir uns auf eine Didaktik eingelassen, die in Wahrheit während Jahren konsequent Inkompetenz fördert?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert