Seit mittlerweile 5 Jahren werden an den Primar- und Sekundarschulen des Bildungsraums Nordwestschweiz flächendeckend standardisierte Leistungschecks durchgeführt. Für die Umsetzung verantwortlich ist das Institut für Bildungsevaluation (IBE) der Universität Zürich. Aufgrund der vielfältigen Kritik nach der ersten Durchführung interviewte der LVB bereits 2017 IBE-Geschäftsleiter Urs Moser [1] . Auch als Folge des Insistierens seitens LVB erfährt die Thematik aktuell neue Dynamik. Das Baselbieter Amt für Volksschulen (AVS) hat sich an Urs Moser gewandt zwecks Austausch über Rückmeldungen aus der Berufspraxis. Ein erster Diskussionstermin unter Beteiligung von Lehrpersonen- und Schulleitungsvertretungen wurde vereinbart. Der LVB hat in diesem Kontext die folgenden Anliegen und Forderungen eingereicht:
Teaching to the test
Eine vom IBE 2021 veröffentlichte Grafik zur Nutzung von «Mindsteps» im Kanton Basel-Landschaft nach Schulstufen zeigt, dass die Anzahl «Mindsteps»-Aufgabenserien pro Tag unmittelbar vor der Durchführung der Checks insbesondere auf Stufe Sek I massiv in die Höhe schnellen.
- Der LVB beobachtet diese Entwicklung mit Sorge und möchte wissen, wie das IBE gedenkt, dieser Form des Teachings to the test entgegenzuwirken.
Mindsteps
Rückmeldungen aus der Praxis zeigen, dass sich der Einsatz von «Mindsteps» über die Jahre vergleichsweise rasch abnützt. Schülerinnen und Schüler beschreiben die Aufgabenserien als monoton. Auf Stufe Sek I dürfte das Instrument primär zur Vorbereitung auf die Checks und weniger als Förderinstrument eingesetzt werden (s. oben erwähnte Grafik).
- Der LVB möchte wissen, warum das Check-Vorbereitungsinstrument «Mindsteps» weiter ausgebaut und beworben wird – dem grassierenden Teaching to the test zum Trotz.
IT-Pannen
Seit Einführung der Checks reisst die technische Pannenserie bei den Durchführungen nicht ab. Schülerinnen und Schüler, welche die Checks motiviert angegangen haben, reagieren frustriert: Das Einzige, was während der Checks laufe, sei die Zeit – so ein Vorwurf von Lernenden.
- Der LVB möchte wissen, ab wann mit einem reibungslos funktionierenden System gerechnet werden kann. Aus Sicht der Betroffenen stellt sich die Frage, ob die Testresultate die tatsächliche Leistung widerspiegeln – und nicht etwa die Leistung eines fehlerhaften IT-Systems.
Zuordnung der Kompetenzstufen
Laut IBE werden die kompetenzorientierten Aufgaben resp. deren Zuteilung zu den zahlreichen Kompetenzstufen von Fachdidaktikerinnen und Fachdidaktikern der PH FHNW ausgearbeitet resp. vorgenommen. Lehrpersonen kritisieren, von aussen sei nicht ersichtlich, aufgrund welcher Kriterien die Zuordnung der zahlreichen Kompetenzstufen vorgenommen werde.
- Der LVB bittet um Klärung anhand konkreter Beispiele aus allen Fachbereichen. Ferner möchte der LVB wissen, ob bei der Erweiterung und Pflege des kompetenzorientierten Aufgabenuniversums auch Praktikerinnen und Praktiker miteinbezogen werden.
Computer Adaptive Tests
Laut IBE lösen die Lernenden individuell unterschiedliche Aufgaben. Rückmeldungen aus der Praxis monieren, dass die Aufgabeninhalte (insbesondere in den Bereichen Lesen und Hören in den Fächern Deutsch, Englisch und Französisch) für ganze Klassen identisch gewesen seien. Einzig die Reihenfolge der Aufgaben sei unterschiedlich gewesen.
- Der LVB bittet das IBE um Klärung.
Gemäss IBE soll sich der Schwierigkeitsgrad der Aufgaben dem Leistungspotenzial des einzelnen Schülers resp. der einzelnen Schülerin anpassen. Rückmeldungen aus der Praxis lassen bezüglich Wirkungsweise und Zweckmässigkeit Zweifel aufkommen.
- Der LVB bittet das IBE, die Funktionsweise der adaptiven Aufgaben anhand konkreter Beispiele aus allen Fachbereichen zu erläutern. Ist es beispielsweise möglich, dass Lernende im Fach Mathematik zu anspruchsvollen (Joker-)Aufgaben vorstossen können, auch wenn sie relativ einfache Aufgaben nicht lösen konnten?
Mangelnde inhaltliche Passung
Bereits 2017 wurden mangelnde inhaltliche Passungen kritisiert. Rückmeldungen aus der Praxis zeigen, dass es beim Check P5 auch im Schuljahr 20/21 zu mangelnden inhaltlichen Passungen gekommen ist, namentlich im Fach NMG. Wieder wurden Lernenden Fragen zu Themen gestellt, denen sie zum Zeitpunkt der Durchführung des P5 im Unterricht noch nicht begegnet waren.
- Im Sinne der Fairness und der Validität möchte der LVB wissen, wie das IBE das Problem der mangelnden inhaltlichen Passungen zu beheben gedenkt.
Lehrmittelspezifische Terminologie
Die Morphologie ist ein Teilbereich der Linguistik, der normalerweise in einem Sprachstudium behandelt wird. In den gängigen Wörterbüchern und Fremdsprachengrammatiken wurden und werden die gut verständlichen Begriffe Vorsilbe, Wortstamm und Endung (oder, in Analogie zu den Fremdsprachen, die Termini Präfix und Suffix) verwendet. Mit der Einführung der Checks wurde die Kenntnis des Begriffs Morphem auf einmal vorausgesetzt. Für den LVB ist nicht nachvollziehbar, warum Lernende der Volksschule mit Termini aus der Linguistik der Tertiärstufe bedacht werden.
- Der LVB ist interessiert zu erfahren, warum Checks und Mindsteps dieser Herangehensweise an die Wortbildung so viel Gewicht beimessen und warum die ausschliesslich im Lehrmittel «Die Sprachstarken» gebräuchliche Terminologie so prominent und ausgiebig eingeübt wird.
Bewertungskriterien im Bereich Schreiben in den Fächern Deutsch, Englisch und Französisch
Das IBE nimmt für sich in Anspruch, die Daten nach streng wissenschaftlichen Kriterien zu erheben. Aufgrund der folgenden Beobachtungen hat der LVB erhebliche Zweifel an der Genauigkeit der Datenerhebung einerseits und der Aussagekraft der Testresultate andererseits.
Nur ein Korrektor resp. eine Korrektorin pro Text
Die Beurteilungsbögen im Bereich Deutsch Schreiben zeigen, dass die Schülertexte jeweils einer ganzen Klasse von lediglich einem Korrektor resp. einer Korrektorin beurteilt werden. Zum Vergleich: Bei den früheren basellandschaftlichen Orientierungsarbeiten wurde jeder Text von drei Lehrpersonen individuell bewertet.
Laut IBE komme es punkto Bewertungsstrenge zu Unterschieden. Der unzureichenden Ausnivellierung begegne das IBE mit einem Bonussystem. Von strengen Korrektoren/-innen beurteilte Texte erhielten Bonuspunkte, die im Messmodell berücksichtigt würden.
Auf Nachfrage erklärte das IBE, dass zwecks Abgleich zwar sporadisch Texte von mehreren Korrektoren/-innen beurteilt würden. Dies geschehe aber lediglich einmal wöchentlich. Trotz Absolvieren eines Trainings zwecks Aneignung des Bewertungsmassstabes komme es punkto Bewertungsstrenge zu Unterschieden. Der unzureichenden Ausnivellierung begegne das IBE mit einem speziellen Bonussystem. Von strengen Korrektoren/-innen beurteilte Texte erhielten Bonuspunkte, die im Messmodell nachträglich berücksichtigt würden.
- Im Sinne der Fairness, Transparenz und der versprochenen Wissenschaftlichkeit bittet der LVB das IBE um eine Stellungnahme.
Keine Praxiserfahrung der Korrektoren/-innen
Auf Nachfrage erklärte das IBE, dass es sich bei den Korrektoren/-innen um Personen in fortgeschrittenem resp. mit abgeschlossenen Germanistikstudium handle; Personen also, die sich jahrelang intensiv mit literarischen Texten auf höchstem Niveau auseinandergesetzt haben, jedoch über keinerlei Praxiserfahrung im Umgang mit von Kindern und Jugendlichen verfassten Texten verfügen.
Der LVB möchte wissen, …
- warum bei der Beurteilung der Texte von Schülern/-innen keine Praxislehrkräfte eingesetzt werden;
- wie viele Texte ein(e) Korrektor/ -in pro Check beurteilt;
- wie viel Zeit pro Text dem Korrektor/der Korrektorin zur Verfügung steht
- und zu welchem Stundenansatz Korrektoren/-innen entschädigt werden.
Das IBE nimmt für sich Anspruch, dass mit den gewonnenen Daten Lernverläufe anstelle einmaliger Erhebungen dargestellt werden könnten.
Lernverläufe versus Momentaufnahmen
Das IBE nimmt für sich Anspruch, dass mit den gewonnenen Daten Lernverläufe anstelle einmaliger Erhebungen dargestellt werden könnten. Primar- und Sekundarlehrpersonen beurteilen über mehrere Jahre ungleich mehr Texte derselben Schülerinnen und Schüler als die Korrektoren/-innen des IBE. Aus Sicht des LVB verhält es sich deshalb gerade umgekehrt: Es sind die Primar- und Sekundarlehrpersonen, welche die Lernverläufe ihrer Schülerschaft überblicken. Das IBE hingegen ist lediglich in der Lage, Momentaufnahmen zu beurteilen. Dass sich ein Text eines jugendlichen Sekundarschülers von demjenigen einer kindlichen Primarschülerin hinsichtlich Wortschatz, Stilistik und Inhalt unterscheidet, ist in den meisten Fällen eine Selbstverständlichkeit. Die Aussage, das IBE könne Lernverläufe beurteilen, greift auch vor diesem Hintergrund nicht.
- Der LVB bittet das IBE um eine Stellungnahme.
Das IBE nimmt für sich in Anspruch, Texte von Schülern/-innen aufgrund wissenschaftlicher Kriterien zu beurteilen. Nach Einschätzung des IBE würden sich Lehrpersonen beim Beurteilen von Schülertexten vorwiegend auf das Zählen von Fehlern konzentrieren.
Fragwürdige Aussagekraft der Bewertung der Schreibkompetenzen
Das IBE nimmt für sich in Anspruch, Texte von Schülern/-innen aufgrund wissenschaftlicher Kriterien zu beurteilen. Nach Einschätzung des IBE würden sich Lehrpersonen beim Beurteilen von Schülertexten vorwiegend auf das Zählen von Fehlern konzentrieren.
Mangelnde Differenzierung
Der LVB machte die Probe aufs Exempel und beurteilte 12 Schülertexte aus dem Check S2 Deutsch Schreiben. Danach verglich er die eigenen Einschätzungen mit den von IBE-Korrektoren/innen ausgefüllten Kriterienraster zur Beurteilung der Schreibkompetenzen. Es zeigte sich, dass das 15 starke Kriterienraster des IBE nicht dazu in der Lage ist, zwischen überaus gelungenen und geradewegs missratenen Texten zu differenzieren. Der Unterschied manifestiert sich lediglich bei ganz wenigen unterschiedlich gesetzten Kreuzchen.
- Der LVB bittet das IBE um eine Stellungnahme.
Der LVB möchte vom IBE wissen, inwiefern das höchst subjektive Kriterium «inhaltliches Wagnis» mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.
Fragwürdige Kriterien
Ein Kriterium, mit dem das IBE die Schreibkompetenz wissenschaftlich erhebt, lautet «Inhaltliches Wagnis». Der Korrektor/Die Korrektorin muss also beurteilen, ob der Schüler/die Schülerin «wenig», «etwas», «viel» resp. «sehr viel» wagt. Was ist konkret damit gemeint? Eine waghalsige Argumentation? Eine gelungene Schilderung? Eine Passage, die an der eigentlichen inhaltlichen Zielvorgabe vorbeischrammt?
- Der LVB möchte vom IBE wissen, inwiefern das höchst subjektive Kriterium «inhaltliches Wagnis» mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.
Von Korrektoren/-innen zu verlangen, drei unterschiedliche Kriterien als Ganzes zu beurteilen, ist aus Sicht des LVB ein unmögliches Unterfangen. Die Punktevergabe wird mit solch schwammigen Vermischungen willkürlich.
Vermischung unterschiedlicher Subkriterien
Ein weiteres Kriterium lautet «Sprachliches Wagnis – Kreativität und Ästhetik». Nun stehen diese drei Punkte für gänzlich unterschiedliche Phänomene. Eine sprachlich gewagte Formulierung ist keineswegs per se kreativ oder ästhetisch. Eine kreative Formulierung kann sprachlich gänzlich unspektakulär sein. Dass Kreativität und Ästhetik keine Synonyme sind, weiss jede(r) Kunstmuseumbesucher/-in. Von Korrektoren/-innen zu verlangen, drei unterschiedliche Kriterien als Ganzes zu beurteilen, ist aus Sicht des LVB ein unmögliches Unterfangen. Die Punktevergabe wird mit solch schwammigen Vermischungen willkürlich.
- Der LVB möchte vom IBE wissen, inwiefern die Vermengung höchst unterschiedlicher Subkriterien zu einem einzigen Beurteilungskriterium mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.
Unklare Gewichtung
Die Beurteilungskriterien bestehen aus den folgenden vier Teilbereichen:
- Inhalt: Auftragserfüllung und Aussagekraft
- Textaufbau und Textzusammenhang
- Sprachrichtigkeit
- Sprachangemessenheit, Schreibstil und Ästhetik
Aus dem Beurteilungsraster geht nicht hervor, wie die einzelnen Kriterien gewichtet werden. Es ist auch nicht ersichtlich, in welchem Masse die Textmenge ihren Niederschlag in der Beurteilung findet. Texte, die sich über drei Seiten ausdehnen, werden gleichermassen «durchgekreuzelt» wie Texte, die knapp eine Seite füllen.
- Der LVB bittet das IBE um eine Stellungnahme.
Fehlerbehaftete Profilabgleiche
Laut IBE beruht das dem Profilabgleich zugrunde liegende Konzept auf anerkannten psychologischen Theorien, welche die Passung zwischen Fähigkeiten und Anforderungen als Voraussetzung für eine erfolgreiche berufliche Entwicklung ansehen. Der Abgleich zwischen den Check-Ergebnissen und den Anforderungsprofilen sei in den letzten vier Jahren systematisch analysiert und angepasst worden.
Laut Rückmeldungen von Vertretungen aus der Wirtschaft stimmen diverse Profilabgleiche 2021 jedoch immer noch nicht. Gemäss Check müssten etwa angehende Medizinische Praxis- assistenten/-innen über sehr viel mehr Mathematikkenntnisse verfügen, als in der Realität tatsächlich erforderlich seien. Wirtschaftsvertreter/-innen zeigen sich über die falschen Profilabgleiche verärgert. Das von dem IBE gewählte Verfahren sei unglaubwürdig. Zudem seien die Checkresultate für die KMUs nach wie vor schwer lesbar. Die auf der sogenannten Item-response-theory basierenden Resultate seien für die KMUs auch 2021 kaum zu interpretieren.
- Der LVB möchte vom IBE wissen, warum manche Profilabgleiche auch nach 5 Jahren Erfahrung mit den Checks von den realen Anforderungen stark abweichen. Ferner möchte der LVB wissen, wie das IBE die Lesbarkeit der Checkresultate für Lehrpersonen, Lernende und KMUs verbessern will.
[1] «Checks im Kreuzfeuer der Kritik. Urs Moser stellt sich den Fragen des LVB», lvb.inform 2016/17-04
