Tweederde van de Ofsted-cijfers komt overeen met de resultaten na een pandemiedip

Ongeveer tweederde van de schoolinspectiecijfers komen nu overeen met de prestatieresultaten, zo blijkt uit de analyse van Ofsted, na een dip in de afstemming tijdens de pandemie.

Nieuw onderzoek van de waakhond volgt Scholenweek rapporteerde over het verbroken verband tussen examenresultaten en Ofsted-beoordelingen, terwijl inspecteurs tijdens Covid blind waren voor de resultaten.

De nieuwe hoofdinspecteur Sir Martyn Oliver heeft ook zijn bezorgdheid geuit over de “consistentie” tussen inspecties en resultaten, terwijl voormalig HMCI Sir Michael Wilshaw heeft gewaarschuwd dat de inspectie “te ver is verwijderd” van het gebruik van gegevens bij inspecties.

Uit de analyse blijkt dat van de inspecties die in 2022-2023 plaatsvonden, 68 procent van de resultaten van het basisonderwijs en 64 procent van de resultaten van het voortgezet onderwijs overeenkwamen met algemene effectiviteitscijfers, gebaseerd op de belangrijkste scores van fase 2 of voortgang 8 van het voorgaande jaar.

Resultaten ‘vergelijkbaar met pre-2019’

Ofsted zei dat er in 2018-2019 een “soortgelijk niveau van afstemming” was, voordat het nieuwe raamwerk, dat zich meer op het curriculum en minder op resultaten richtte, werd geïntroduceerd.

In 2018-2019 had 65 procent van de primaire inspecties en 67 procent van de secundaire inspecties Ofsted-cijfers die overeenkwamen met de uitkomstgegevens.

Ofsted ontdekte ook dat als we kijken naar de prestatieresultaten voor 2022-2023 in vergelijking met de inspectieresultaten voor hetzelfde jaar, 68 procent van de primaire en 64 procent van de secundaire Ofsted-cijfers op één lijn lagen.

“Dit suggereert dat inspecteurs de kwaliteit van het onderwijs op scholen in kaart brengen, zelfs als de uitkomstgegevens achterblijven bij wat er feitelijk op de school gebeurt op het moment van de inspectie”, aldus het rapport.

Maar Dave Thomson, hoofdstatisticus bij FFT Education Datalab, zei dat hij er “niet zeker van was” of de analyse een “goede mate van afstemming” aantoonde – en wees erop dat 76 procent van de basisscholen als “goed” werd beoordeeld.

“Dus als je helemaal geen informatie hebt, zou je de uitkomst van een basisschoolinspectie al goed kunnen raden door te zeggen dat ze allemaal ‘goed’ waren.

“In die context lijkt een afstemmingspercentage van 68 procent niet bijzonder hoog.”

De Ofsted-uitlijning daalde tijdens Covid

Eerder dit jaar, Scholenweek ontdekte dat de afstemming was afgenomen nadat examens tijdens Covid waren afgelast, waardoor inspecteurs geen toegang meer hadden tot prestatiegegevens.

In 2018-2019 bedroeg de correlatiecoëfficiënt tussen Progress 8-scores en inspectieresultaten onder het oude raamwerk 0,59. (1 geeft een perfecte link aan, en 0 geeft geen link aan).

Uit het jaarverslag van Ofsted blijkt dat dit in het academisch jaar 2021-2022 is gedaald tot slechts 0,46, toen er geen nationale resultaten waren waarmee rekening moest worden gehouden.

We constateerden ook een groeiende trend van ‘uitschieters’. Tussen 2017 en maart 2018 had slechts 1 procent van de scholen die als ‘goed’ werden beoordeeld een Progress 8-score lager dan -0,5.

Tussen september 2019 en maart 2020 – na de introductie van het EIF – groeide dit cijfer tot 8 procent, en vroege gegevens voor de periode 2022-2023 suggereerden dat het opnieuw was gestegen tot 10 procent.

Uit een nieuwe analyse blijkt dat acht scholen in de onderste 100 voor Progress 8-scores vorig jaar als ‘goed’ werden beoordeeld, terwijl één school in de top 100 voor Progress 8 in het land werd beoordeeld als ‘verbetering vereist’.

Ofsted: ‘Goede reden’ voor uitschieters

Uit de analyse van Ofsted bleek dat meer dan 90 procent van de scholen waar hun cijfers en resultaten niet op één lijn lagen, slechts één inspectiecijfer lager waren.

Minder dan 100 scholen waren meer dan één inspectieoordeel verwijderd van hun databand.

De inspectie zei ook dat er “goede redenen” achter de verschillen zaten.

De resultaten kunnen bijvoorbeeld ‘achterblijven bij veranderingen’ op een school, of een zwak SEND-aanbod kan de kwaliteit van de onderwijsbeoordelingen negatief beïnvloeden, ook al doen andere leerlingen het ‘over het algemeen goed’.

Boven: drempels gebruikt door Ofsted in zijn analyse.

Scholen met hogere achterstandsniveaus hadden ook vaker lagere prestatiegegevens, terwijl inspecteurs de uitkomsten “in context” beschouwden.

Bovendien had 72 procent van de middelbare scholieren die lager scoorden dan hun databereik, een oordeel over gedrag en houding dat ook lager was. Het vergelijkende aandeel op het basisonderwijs was 39 procent.

Er was ook een specifiek probleem met kleine scholen, die vaker andere inspectiecijfers hadden dan hun databand. Dit kwam doordat de resultaten een minder betrouwbare indicator waren voor de onderliggende kwaliteit.

Deze ‘volatiliteit’ gold ook voor een ‘klein aantal’ middelbare scholen, die als ‘goed’ werden beoordeeld, ondanks dat ze tot de laagste resultaten behoorden.

De helft hiervan waren echter universitaire technische hogescholen die “vaak een goede technische opleiding geven”, wat “niet altijd goed tot uiting komt” in de Progress 8-scores.

‘We hebben meer inzicht nodig in zwarte doos van inspecteur’

Tijdens zijn hoorzitting voorafgaand aan de benoeming voor de toppositie in Ofsted zei Oliver tegen de parlementsleden dat het “moeilijk uit te leggen was hoe sommige scholen een ‘goede’ kwaliteit van onderwijs hadden en enkele van de beste resultaten in het land, en ik denk dat het moeilijk is uit te leggen hoe je enkele van de slechtste resultaten in het land krijgen door een ‘goede’ inspectie te krijgen”.

Als bewijs voor het onderzoek van de commissie naar het werk van Ofsted vorige maand, beschreef Wilshaw wat hij noemde een “belachelijke positie” van scholen met lage voortgangsscores en “vreselijke resultaten” die “goede” Ofsted-beoordelingen kregen.

John Jerrim, hoogleraar onderwijs en sociale statistiek aan het Institute of Education van de UCL, zei dat de nieuwe analyse suggereerde dat gegevens binnen het kader van 2019 niet “een minder grote rol spelen”.

Maar hij voegde eraan toe: “Wat we echt nodig hebben, is wat meer inzicht in de zwarte doos van hoe inspecteurs tot hun beslissingen komen – inclusief de rol die achtergrondgegevens spelen, en in hoeverre de opvattingen van inspecteurs al zijn gevormd voordat ze voet aan de grond krijgen op de school. ”