Le palmarès des écoles : Encore beaucoup de bruit pour rien!

Comme un zombie, le palmarès des écoles revient me hanter. Soyons clair, je n’ai pas de problème avec l’idée d’évaluer les écoles. Mon inconfort vient plutôt de la piètre méthodologie utilisée et de la surinterprétation qui est faite des résultats. Et aussi, que je dois répéter les mêmes critiques à chaque fois.

En effet, il saute aux yeux de quiconque qui a eu à manipuler des données expérimentales que la cote donnée aux écoles varie fortement d’une année à l’autre (de l’ordre de 0,5 unité en moyenne). On ne peut guère évoquer des changements socio-économiques ou pédagogiques pour expliquer ces variations. Cela indique plutôt que le facteur le plus important est celui qui change tous les ans soit les élèves! Cela veut aussi dire que les écoles qui diffèrent de moins de 0,5 point doivent être considérée comme égale en pratique.
Par conséquent, afin d’éviter de surinterpréter ce tableau, les résultats devraient être arrondis au 0,5 le plus près, afin de refléter l’imprécision de la mesure. Évidemment, cela aurait pour conséquence de multiplier énormément le nombre d’ex aequo au point où le palmarès perdrait grandement de son intérêt. Je note toutefois que l’on donne aussi cette année la moyenne des cinq dernières années, ce qui est déjà plus réaliste comme évaluation ne serait-ce que du point de vue pratique.

De plus, on fait grand cas des écoles dont le classement a beaucoup varié. Le problème est, que, dans majorité des cas, ce changement est fortuit, causé par de simples fluctuations statistiques. Je note au passage que les auteurs font une erreur méthodologique en considérant comme significative une tendance ayant une probabilité inférieure à 10 % d’être le fruit du hasard. En effet, avec plus de 400 écoles, il y aura automatiquement des dizaines de faux résultats positifs. Rigoureusement, un changement devrait être considéré comme significatif uniquement s’il est improbable qu’il soit observé par hasard dans l’ensemble des écoles (moins de 0,25 %).

D’autre part, il faut aussi admettre qu’il s’agit d’un indicateur de performance des élèves et non un indicateur de qualité d’enseignement. En effet, deux paramètres mesurent directement la qualité de l’enseignement : l’écart entre les sexes et la surestimation des notes par l’école. Or, le poids de ces deux variables n’est que de 11 à 20 % de la note globale. Tout le reste est une évaluation des performances des élèves que l’on attribue à l’école.

Il s’agit d’un raccourci courant, mais qui cache le fait que la majorité de la performance d’un élève ne dépend pas de l’école. Les résultats de la méta-analyse de John Hattie indiquent qu’environ les deux tiers de la variance peut être attribuée à l’élève et son milieu, ce qui rend quasiment impossible d’isoler l’effet de l’école uniquement à partir des notes. C’est la conclusion à laquelle sont parvenus les mathématiciens britanniques Rebecca Hoyle, James Robinson et Stephen Gorard qui ont montré la futilité de leur système national de classement des écoles.

S’il est clair qu’il faut se doter de moyen de fournir la meilleure éducation possible à nos enfants, encore faut-il agir avec un minimum de rigueur méthodologique. S’il s’agissait du contrôle de qualité de pièces sur une chaine de production, on n’agirait pas autrement. Il me semble que l’avenir de nos enfants mérite au moins autant de rigueur…