Seit mittlerweile 5 Jahren werden an den Primar- und Sekundarschulen des Bildungsraums Nordwestschweiz flächendeckend standardisierte Leistungschecks durchgeführt. Für die Umsetzung verantwortlich ist das Institut für Bildungsevaluation (IBE) der Universität Zürich. Aufgrund der vielfältigen Kritik nach der ersten Durchführung interviewte der LVB bereits 2017 IBE-Geschäftsleiter Urs Moser [1] . Auch als Folge des Insistierens seitens LVB erfährt die Thematik aktuell neue Dynamik. Das Baselbieter Amt für Volksschulen (AVS) hat sich an Urs Moser gewandt zwecks Austausch über Rückmeldungen aus der Berufspraxis. Ein erster Diskussionstermin unter Beteiligung von Lehrpersonen- und Schulleitungsvertretungen wurde vereinbart. Der LVB hat in diesem Kontext die folgenden Anliegen und Forderungen eingereicht:

Teaching to the test

Eine vom IBE 2021 veröffentlichte Grafik zur Nutzung von «Mindsteps» im Kanton Basel-Landschaft nach Schulstufen zeigt, dass die Anzahl «Mindsteps»-Aufgabenserien pro Tag unmittelbar vor der Durchführung der Checks insbesondere auf Stufe Sek I massiv in die Höhe schnellen.

• Der LVB beobachtet diese Entwicklung mit Sorge und möchte wissen, wie das IBE gedenkt, dieser Form des Teachings to the test entgegenzuwirken.

Mindsteps

Rückmeldungen aus der Praxis zeigen, dass sich der Einsatz von «Mindsteps» über die Jahre vergleichsweise rasch abnützt. Schülerinnen und Schüler beschreiben die Aufgabenserien als monoton. Auf Stufe Sek I dürfte das Instrument primär zur Vorbereitung auf die Checks und weniger als Förderinstrument eingesetzt werden (s. oben erwähnte Grafik).

• Der LVB möchte wissen, warum das Check-Vorbereitungsinstrument «Mindsteps» weiter ausgebaut und beworben wird – dem grassierenden Teaching to the test zum Trotz.

IT-Pannen

Seit Einführung der Checks reisst die technische Pannenserie bei den Durchführungen nicht ab. Schülerinnen und Schüler, welche die Checks motiviert angegangen haben, reagieren frustriert: Das Einzige, was während der Checks laufe, sei die Zeit – so ein Vorwurf von Lernenden.

• Der LVB möchte wissen, ab wann mit einem reibungslos funktionierenden System gerechnet werden kann. Aus Sicht der Betroffenen stellt sich die Frage, ob die Testresultate die tatsächliche Leistung widerspiegeln – und nicht etwa die Leistung eines fehlerhaften IT-Systems.

Zuordnung der Kompetenzstufen

Laut IBE werden die kompetenzorientierten Aufgaben resp. deren Zuteilung zu den zahlreichen Kompetenzstufen von Fachdidaktikerinnen und Fachdidaktikern der PH FHNW ausgearbeitet resp. vorgenommen. Lehrpersonen kritisieren, von aussen sei nicht ersichtlich, aufgrund welcher Kriterien die Zuordnung der zahlreichen Kompetenzstufen vorgenommen werde.

• Der LVB bittet um Klärung anhand konkreter Beispiele aus allen Fachbereichen. Ferner möchte der LVB wissen, ob bei der Erweiterung und Pflege des kompetenzorientierten Aufgabenuniversums auch Praktikerinnen und Praktiker miteinbezogen werden.

Computer Adaptive Tests

Laut IBE lösen die Lernenden individuell unterschiedliche Aufgaben. Rückmeldungen aus der Praxis monieren, dass die Aufgabeninhalte (insbesondere in den Bereichen Lesen und Hören in den Fächern Deutsch, Englisch und Französisch) für ganze Klassen identisch gewesen seien. Einzig die Reihenfolge der Aufgaben sei unterschiedlich gewesen.

• Der LVB bittet das IBE um Klärung.

Gemäss IBE soll sich der Schwierigkeitsgrad der Aufgaben dem Leistungspotenzial des einzelnen Schülers resp. der einzelnen Schülerin anpassen. Rückmeldungen aus der Praxis lassen bezüglich Wirkungsweise und Zweckmässigkeit Zweifel aufkommen.

• Der LVB bittet das IBE, die Funktionsweise der adaptiven Aufgaben anhand konkreter Beispiele aus allen Fachbereichen zu erläutern. Ist es beispielsweise möglich, dass Lernende im Fach Mathematik zu anspruchsvollen (Joker-)Aufgaben vorstossen können, auch wenn sie relativ einfache Aufgaben nicht lösen konnten?

Mangelnde inhaltliche Passung

Bereits 2017 wurden mangelnde inhaltliche Passungen kritisiert. Rückmeldungen aus der Praxis zeigen, dass es beim Check P5 auch im Schuljahr 20/21 zu mangelnden inhaltlichen Passungen gekommen ist, namentlich im Fach NMG. Wieder wurden Lernenden Fragen zu Themen gestellt, denen sie zum Zeitpunkt der Durchführung des P5 im Unterricht noch nicht begegnet waren.

• Im Sinne der Fairness und der Validität möchte der LVB wissen, wie das IBE das Problem der mangelnden inhaltlichen Passungen zu beheben gedenkt.

Lehrmittelspezifische Terminologie

Die Morphologie ist ein Teilbereich der Linguistik, der normalerweise in einem Sprachstudium behandelt wird. In den gängigen Wörterbüchern und Fremdsprachengrammatiken wurden und werden die gut verständlichen Begriffe Vorsilbe, Wortstamm und Endung (oder, in Analogie zu den Fremdsprachen, die Termini Präfix und Suffix) verwendet. Mit der Einführung der Checks wurde die Kenntnis des Begriffs Morphem auf einmal vorausgesetzt. Für den LVB ist nicht nachvollziehbar, warum Lernende der Volksschule mit Termini aus der Linguistik der Tertiärstufe bedacht werden.

• Der LVB ist interessiert zu erfahren, warum Checks und Mindsteps dieser Herangehensweise an die Wortbildung so viel Gewicht beimessen und warum die ausschliesslich im Lehrmittel «Die Sprachstarken» gebräuchliche Terminologie so prominent und ausgiebig eingeübt wird.

Bewertungskriterien im Bereich Schreiben in den Fächern Deutsch, Englisch und Französisch

Das IBE nimmt für sich in Anspruch, die Daten nach streng wissenschaftlichen Kriterien zu erheben. Aufgrund der folgenden Beobachtungen hat der LVB erhebliche Zweifel an der Genauigkeit der Datenerhebung einerseits und der Aussagekraft der Testresultate andererseits.

Nur ein Korrektor resp. eine Korrektorin pro Text

Die Beurteilungsbögen im Bereich Deutsch Schreiben zeigen, dass die Schülertexte jeweils einer ganzen Klasse von lediglich einem Korrektor resp. einer Korrektorin beurteilt werden. Zum Vergleich: Bei den früheren basellandschaftlichen Orientierungsarbeiten wurde jeder Text von drei Lehrpersonen individuell bewertet.

Laut IBE komme es punkto Bewertungsstrenge zu Unterschieden. Der unzureichenden Ausnivellierung begegne das IBE mit einem Bonussystem. Von strengen Korrektoren/-innen beurteilte Texte erhielten Bonuspunkte, die im Messmodell berücksichtigt würden.

Auf Nachfrage erklärte das IBE, dass zwecks Abgleich zwar sporadisch Texte von mehreren Korrektoren/-innen beurteilt würden. Dies geschehe aber lediglich einmal wöchentlich. Trotz Absolvieren eines Trainings zwecks Aneignung des Bewertungsmassstabes komme es punkto Bewertungsstrenge zu Unterschieden. Der unzureichenden Ausnivellierung begegne das IBE mit einem speziellen Bonussystem. Von strengen Korrektoren/-innen beurteilte Texte erhielten Bonuspunkte, die im Messmodell nachträglich berücksichtigt würden.

• Im Sinne der Fairness, Transparenz und der versprochenen Wissenschaftlichkeit bittet der LVB das IBE um eine Stellungnahme.

Keine Praxiserfahrung der Korrektoren/-innen

Auf Nachfrage erklärte das IBE, dass es sich bei den Korrektoren/-innen um Personen in fortgeschrittenem resp. mit abgeschlossenen Germanistikstudium handle; Personen also, die sich jahrelang intensiv mit literarischen Texten auf höchstem Niveau auseinandergesetzt haben, jedoch über keinerlei Praxiserfahrung im Umgang mit von Kindern und Jugendlichen verfassten Texten verfügen.

Der LVB möchte wissen, …

• warum bei der Beurteilung der Texte von Schülern/-innen keine Praxislehrkräfte eingesetzt werden;
• wie viele Texte ein(e) Korrektor/ -in pro Check beurteilt;
• wie viel Zeit pro Text dem Korrektor/der Korrektorin zur Verfügung steht
• und zu welchem Stundenansatz Korrektoren/-innen entschädigt werden.

Das IBE nimmt für sich Anspruch, dass mit den gewonnenen Daten Lernverläufe anstelle einmaliger Erhebungen dargestellt werden könnten.

Lernverläufe versus Momentaufnahmen

Das IBE nimmt für sich Anspruch, dass mit den gewonnenen Daten Lernverläufe anstelle einmaliger Erhebungen dargestellt werden könnten. Primar- und Sekundarlehrpersonen beurteilen über mehrere Jahre ungleich mehr Texte derselben Schülerinnen und Schüler als die Korrektoren/-innen des IBE. Aus Sicht des LVB verhält es sich deshalb gerade umgekehrt: Es sind die Primar- und Sekundarlehrpersonen, welche die Lernverläufe ihrer Schülerschaft überblicken. Das IBE hingegen ist lediglich in der Lage, Momentaufnahmen zu beurteilen. Dass sich ein Text eines jugendlichen Sekundarschülers von demjenigen einer kindlichen Primarschülerin hinsichtlich Wortschatz, Stilistik und Inhalt unterscheidet, ist in den meisten Fällen eine Selbstverständlichkeit. Die Aussage, das IBE könne Lernverläufe beurteilen, greift auch vor diesem Hintergrund nicht.

• Der LVB bittet das IBE um eine Stellungnahme.

Das IBE nimmt für sich in Anspruch, Texte von Schülern/-innen aufgrund wissenschaftlicher Kriterien zu beurteilen. Nach Einschätzung des IBE würden sich Lehrpersonen beim Beurteilen von Schülertexten vorwiegend auf das Zählen von Fehlern konzentrieren.

Fragwürdige Aussagekraft der Bewertung der Schreibkompetenzen

Das IBE nimmt für sich in Anspruch, Texte von Schülern/-innen aufgrund wissenschaftlicher Kriterien zu beurteilen. Nach Einschätzung des IBE würden sich Lehrpersonen beim Beurteilen von Schülertexten vorwiegend auf das Zählen von Fehlern konzentrieren.

Mangelnde Differenzierung

Der LVB machte die Probe aufs Exempel und beurteilte 12 Schülertexte aus dem Check S2 Deutsch Schreiben. Danach verglich er die eigenen Einschätzungen mit den von IBE-Korrektoren/innen ausgefüllten Kriterienraster zur Beurteilung der Schreibkompetenzen. Es zeigte sich, dass das 15 starke Kriterienraster des IBE nicht dazu in der Lage ist, zwischen überaus gelungenen und geradewegs missratenen Texten zu differenzieren. Der Unterschied manifestiert sich lediglich bei ganz wenigen unterschiedlich gesetzten Kreuzchen.

• Der LVB bittet das IBE um eine Stellungnahme.

Der LVB möchte vom IBE wissen, inwiefern das höchst subjektive Kriterium «inhaltliches Wagnis» mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.

Fragwürdige Kriterien

Ein Kriterium, mit dem das IBE die Schreibkompetenz wissenschaftlich erhebt, lautet «Inhaltliches Wagnis». Der Korrektor/Die Korrektorin muss also beurteilen, ob der Schüler/die Schülerin «wenig», «etwas», «viel» resp. «sehr viel» wagt. Was ist konkret damit gemeint? Eine waghalsige Argumentation? Eine gelungene Schilderung? Eine Passage, die an der eigentlichen inhaltlichen Zielvorgabe vorbeischrammt?

• Der LVB möchte vom IBE wissen, inwiefern das höchst subjektive Kriterium «inhaltliches Wagnis» mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.

Von Korrektoren/-innen zu verlangen, drei unterschiedliche Kriterien als Ganzes zu beurteilen, ist aus Sicht des LVB ein unmögliches Unterfangen. Die Punktevergabe wird mit solch schwammigen Vermischungen willkürlich.

Vermischung unterschiedlicher Subkriterien

Ein weiteres Kriterium lautet «Sprachliches Wagnis – Kreativität und Ästhetik». Nun stehen diese drei Punkte für gänzlich unterschiedliche Phänomene. Eine sprachlich gewagte Formulierung ist keineswegs per se kreativ oder ästhetisch. Eine kreative Formulierung kann sprachlich gänzlich unspektakulär sein. Dass Kreativität und Ästhetik keine Synonyme sind, weiss jede(r) Kunstmuseumbesucher/-in. Von Korrektoren/-innen zu verlangen, drei unterschiedliche Kriterien als Ganzes zu beurteilen, ist aus Sicht des LVB ein unmögliches Unterfangen. Die Punktevergabe wird mit solch schwammigen Vermischungen willkürlich.

• Der LVB möchte vom IBE wissen, inwiefern die Vermengung höchst unterschiedlicher Subkriterien zu einem einzigen Beurteilungskriterium mit dem Anspruch auf Wissenschaftlichkeit zu vereinbaren ist.

Unklare Gewichtung

Die Beurteilungskriterien bestehen aus den folgenden vier Teilbereichen:

1. Inhalt: Auftragserfüllung und Aussagekraft
2. Textaufbau und Textzusammenhang
3. Sprachrichtigkeit
4. Sprachangemessenheit, Schreibstil und Ästhetik

Aus dem Beurteilungsraster geht nicht hervor, wie die einzelnen Kriterien gewichtet werden. Es ist auch nicht ersichtlich, in welchem Masse die Textmenge ihren Niederschlag in der Beurteilung findet. Texte, die sich über drei Seiten ausdehnen, werden gleichermassen «durchgekreuzelt» wie Texte, die knapp eine Seite füllen.

• Der LVB bittet das IBE um eine Stellungnahme.

Fehlerbehaftete Profilabgleiche

Laut IBE beruht das dem Profilabgleich zugrunde liegende Konzept auf anerkannten psychologischen Theorien, welche die Passung zwischen Fähigkeiten und Anforderungen als Voraussetzung für eine erfolgreiche berufliche Entwicklung ansehen. Der Abgleich zwischen den Check-Ergebnissen und den Anforderungsprofilen sei in den letzten vier Jahren systematisch analysiert und angepasst worden.

Laut Rückmeldungen von Vertretungen aus der Wirtschaft stimmen diverse Profilabgleiche 2021 jedoch immer noch nicht. Gemäss Check müssten etwa angehende Medizinische Praxis- assistenten/-innen über sehr viel mehr Mathematikkenntnisse verfügen, als in der Realität tatsächlich erforderlich seien. Wirtschaftsvertreter/-innen zeigen sich über die falschen Profilabgleiche verärgert. Das von dem IBE gewählte Verfahren sei unglaubwürdig. Zudem seien die Checkresultate für die KMUs nach wie vor schwer lesbar. Die auf der sogenannten Item-response-theory basierenden Resultate seien für die KMUs auch 2021 kaum zu interpretieren.

• Der LVB möchte vom IBE wissen, warum manche Profilabgleiche auch nach 5 Jahren Erfahrung mit den Checks von den realen Anforderungen stark abweichen. Ferner möchte der LVB wissen, wie das IBE die Lesbarkeit der Checkresultate für Lehrpersonen, Lernende und KMUs verbessern will.

[1] «Checks im Kreuzfeuer der Kritik. Urs Moser stellt sich den Fragen des LVB», lvb.inform 2016/17-04

https://www.lvb.ch/docs/magazin/2020-2021/04_Juni-2021/18_Checks-im-Realitatscheck_lvb-inform_20-21-04.pdf

The post Checks im Realitätscheck – Problemanalyse des LVB nach 5 Jahren Erfahrung first appeared on Condorcet.

Soeben rauschen zum fünften Mal die PISA-Ergebnisse durch den Blätterwald. Wiederum eine Hiobsbotschaft: die Schweizer Schüler(innen) unterdurchschnittlich schlecht im Lesen (484 Punkte, Durchschnitt aller Länder 487 Punkte), sehr gut in Mathematik (515 Punkte, Durchschnitt aller Länder 487 Punkte). Zudem die unerfreuliche Tendenz, dass die Lesefähigkeit seit 2012 konstant abnimmt, dass inzwischen 24% der 15-Jährigen nicht mehr verstehen, was sie lesen.¹

Völlig entgegengesetzte Resultate

1. Nirgendwo wurde auf den grundlegenden Widerspruch hingewiesen: Im Mai dieses Jahres publizierte die EDK die Resultate der ÜGK (Überprüfung der Grundkompetenzen 2017) im 9. Schuljahr. Diese hatten ein exakt gegenteiliges Bild gezeichnet: Mathematik schwach, nur wenige erreichen die Mindeststandards. Lesen topp, die meisten verfügen über gute Lesekompetenzen.² Ein halbes Jahr später die PISA-Ergebnisse von 2018 genau umgekehrt, sehr gut in Mathematik, grottenschlecht im Lesen: Wie ist das möglich?

PISA eruiert, ob die 15-Jährigen die nötigen fachlichen Kompetenzen fürs Leben erworben hätten, während die ÜGK einen Ausschnitt der Grundkompetenzen des Lehrplans überprüft.

Der Bericht des PISA-Konsortiums geht in einer Fussnote auf die Unterschiede der beiden Tests ein: PISA eruiere, ob die 15-Jährigen die nötigen fachlichen Kompetenzen fürs Leben erworben hätten, während die ÜGK einen Ausschnitt der Grundkompetenzen des Lehrplans überprüfe.

Der Steuerzahler reibt sich die Augen

Man reibt sich die Augen. Hat man nicht in einem aufwändigen Verfahren des Projektes Harmos unter dem Eindruck des PISA-Schocks des Jahres 2000 den Lehrplan 21 geschaffen, der genau diejenigen Kompetenzen vermitteln sollte, die im PISA-Schulrucksack gefehlt hatten? Wurde nicht die ganze Kompetenzorientierung damit begründet, dass die Lernenden bisher bloss totes Wissen angehäuft, statt die Anwendungsfähigkeiten für praktische Lebensaufgaben gelernt hätten?

Was gilt jetzt?

Wie ist der Widerspruch zu erklären? Entweder enthält der Lehrplan 21 die falschen Kompetenzen, die Schüler(innen) lernen etwas anderes als das von PISA geforderte. Oder die Tests und die Bewertung einer der Prüfungsinstanzen liegen falsch. Jedenfalls wäre es dringend notwendig, die Diskrepanz zwischen den Resultaten erklärt zu bekommen.

2. Der Artikel «Pisa: Medienkompetenz der Schüler muss gefördert werden», NZZ, 3.12., von Erich Aschwanden schafft das Kunststück, die schlechten Lesekenntnisse in ein flammendes Plädoyer für die Digitalisierung umzumünzen. Inzwischen seien Lesekompetenzen als Medienkompetenzen zu betrachten. An den PISA-Ergebnissen sei abzulesen, dass die Schule mit der Digitalisierung hinterherhinke.

Allerdings steht davon nichts im Bericht des PISA-Konsortiums. Im Gegenteil: Der Bericht stellt fest, dass die Lesekompetenzen international ab 2012 abnähmen und dass diese Abnahme mit der Ausbreitung des Smartphones korreliere. Ausserdem wird beklagt, dass die Lesefreude markant abgenommen habe, dass das Lesen als Freizeitvergnügen hingegen stets mit besseren Leseleistungen korreliere.

Das Beispiel des NZZ-Artikels zeigt, wie es offensichtlich der IT-Branche gelingt, jedes schulische Thema sofort so umzubiegen, dass es Wasser auf ihre Mühle wird.

¹ Konsortium PISA.ch (2019). PISA 2018: Schülerinnen und Schüler der Schweiz im internationalen Vergleich. Bern und Genf: SBFI/EDK und Konsortium PISA.ch.

² Konsortium ÜGK (Hrsg.) (2019). Überprüfung der Grundkompetenzen. Nationaler Bericht der ÜGK 2016: Mathematik 11. Schuljahr. Bern und Genf: EDK und SRED. https://doi.org/10.18747/PHSG-coll3/id/386

und

Konsortium ÜGK (Hrsg.) (2019). Überprüfung der Grundkompetenzen. Nationaler Bericht der ÜGK 2017: Sprachen 8. Schuljahr.Bern und Genf: EDK und SRED. https://doi.org/10.18747/PHSG-coll3/id/385

The post PISA zum Fünften, ÜGK zum Ersten, was gilt jetzt eigentlich? first appeared on Condorcet.