Texte de cadrage du séminaire de Daniel Bain

De nombreux examens ou contrôles à enjeux élevés se présentent, dans leurs visées affichées et institutionnelles, comme des tests ou épreuves de maîtrise. Ils se fixent officiellement comme objectifs de vérifier les acquis et/ou compétences des apprenants, considérés individuellement ou collectivement, à un certain stade de leur formation. On peut donner comme exemples les examens de fin d’étude ou d’apprentissage, les examens d’entrée dans une formation ainsi que les épreuves communes cantonales passées à divers degrés de la scolarité obligatoire, sans oublier des contrôles nationaux comme les tests HarmoS. Le but de notre intervention, introductive à la discussion, est d’aborder quelques questions méthodologiques posées dans la pratique par ce type de contrôle, selon notre expérience, sans naturellement prétendre faire le tour des problèmes. La perspective docimologique adoptée dans la présentation et la discussion sera celle de l’édumétrie, soit « l’étude quantitative des variables relatives à l’apprentissage individuel ou collectif » (de Landsheere, 1963).

Nous partirons d’une définition de Cardinet et Tourneur (1985) précisant ce que l’on peut entendre par tests de maîtrise, dont la caractéristique principale est de chercher à évaluer les apprenants ou les apprentissages par rapport à un seuil de suffisance (seuil de réussite ou de passage). Nous contrasterons ce type de contrôles avec les tests de niveaux vérifiant le degré de maîtrise des apprenants ou des apprentissages, en référence à plusieurs standards hiérarchisés. Pour rendre l’exposé plus concret, nous prendrons comme fils rouges les recherches du groupe Edumétrie portant sur un examen de grammaire passé par de futurs instituteurs, sur un examen « passerelle Dubs » en physique pour l’entrée à l’université ainsi que sur une épreuve commune de mathématiques de 11e HarmoS au cycle d’orientation genevois.

Un premier problème méthodologique, qui conditionne tous les suivants, est le flou des objectifs des contrôles mentionnés supra en introduction, voire la contradiction potentielle ou avérée entre les objectifs qu’ils visent explicitement ou implicitement, ainsi qu’entre ces intentions affichées et l’utilisation effective des épreuves sur le terrain. Se pose alors immédiatement la question du type de validités auxquelles se référer : de contenu, de construit, écologique, de conséquences, prédictive, didactique… et des contraintes de fiabilité à respecter. Plus généralement, nous reprendrons à notre compte la définition des Standards américains (AERA, APA, & NCME, 1999, p. 11) pour lesquels « Validity is a unitary concept. It is the degree to which all of the accumulated evidence supports the intended interpretation of test scores for the intended purposes. » Nous montrerons que le choix des validités à prioriser conduit à un premier dilemme.

Une deuxième partie de la présentation portera sur les critères d’élaboration et de validation des questions pour les tests de maîtrise, en comparaison avec les tests de niveau. Quels choix faire au niveau des contenus, des formes et surtout de la difficulté des items pour qu’ils soient représentatifs du plan d’études, mais aussi pour qu’ils tiennent compte des pratiques sur le terrain ? Quels problèmes posent les références au plan d’études ; quel est le rapport entre la forme des questions et les exercices des manuels en vigueur ? Corrélativement, dans les analyses des versions préalables du test ou dans le test final, quels critères considérer pour retenir ou écarter telle ou telle question ? Dans la conception et l’élaboration de l’épreuve, certains choix prennent également la forme de dilemmes.

Une troisième et dernière partie portera sur la construction des barèmes pour un test de maîtrise, et subsidiairement pour un test de niveau. Nous mentionnerons rapidement les expériences faites avec la méthode de standard setting d’Angoff. Nous nous demanderons à ce propos qui doit fixer le barème et selon quelle procédure. A partir de nos observations, nous mettrons l’accent sur l’arbitraire qui peut présider à la fixation d’un seuil de suffisance ou des standards balisant les degrés de maîtrise. Nous nous étonnerons finalement du fait que ces barèmes prennent rarement en compte – voire ne considèrent jamais – l’écart type d’erreur inhérente à tout contrôle évaluatif.

Pour plus de détails sur certains sujets abordés dans notre intervention, et notamment sur la troisième partie, nous renverrons les participants à un texte en instance de publication par la commission Edumétrie (Bain, à paraître). Compte tenu de l’objectif méthodologique de cette présentation introductive, nous ne présenterons pas de conclusion à proprement parler, laissant la parole aux discutants et aux participants pour questions, remarques, critiques et partage d’expériences vécues sur le terrain.

Références bibliographiques

American Educational Research Association (AERA), American Psychological Association          (APA), & National Council on Measurement in Education (NCME). (1999). Standards for educational and psychological testing. Washington, DC: AERA.

Bain, D. (à paraître). Fixer un seuil de réussite pour un test de maîtrise : apports et limites de la méthode d’Angoff et de la généralisabilité. Groupe Edumétrie, Société suisse pour la recherche en éducation (SSRE) ; à paraître sur le site du groupe Edumétrie hébergé par l’IRDP : https://www.irdp.ch/institut/edumetrie-1635.html.

Cardinet, J. & Tourneur, Y. (1985). Assurer la mesure. Berne : Peter Lang.

de Landsheere, G. (1963). Dictionnaire de l’évaluation et de la recherche en éducation. Paris : Presses universitaires de France.