Evaluer en français
Dans le cadre du projet de développement d'une base de données devant servir dans un deuxième temps à la création d'épreuves romandes communes (EpRoCom), ce travail s'intéresse à la manière de prendre en compte la difficulté des « items » – qui constituent les unités centrales de la base de données en cours d’élaboration – et des matériaux langagiers (textes, corpus…) utilisés pour l’évaluation du français. L’accent est mis en particulier sur les items mesurant la compréhension et sur l’estimation de la difficulté des textes. L’objectif est de proposer un outil opératoire qui guide les enseignants et les concepteurs et conceptrices d’épreuves, à quelque niveau que ce soit (tests de référence nationaux, EpRoCom, épreuves cantonales…), dans l'analyse et l’estimation de la difficulté des items et des matériaux langagiers et qui les aide à les élaborer ou les choisir.
Après avoir proposé, à toutes fins utiles, une définition de la notion d’item, nous examinons les multiples facteurs qui, d’après la littérature, permettent de cerner la problématique de la difficulté des items. Ensuite, nous décrivons – dans le cadre des trois composantes qui forment selon nous l'item : son « contenu » (objets langagiers concernés et opérations effectuées (cf. note 1), son « enveloppe » (consigne, format de questionnement et contexte) et le « matériel langagier » (texte ou corpus) auquel il est attaché – ceux que nous avons décidé de retenir pour la caractérisation de l’item. Nous proposons alors un système d’estimation et/ou de calcul – sur une échelle comportant 3 valeurs : -1 (= facile), 0 (= intermédiaire) et 1 (= difficile) – de la difficulté de chacun de ces facteurs et nous établissons, de manière séparée pour chaque composante (contenu, enveloppe et matériel langagier), une moyenne des valeurs que nous convertissons en un indice qualitatif de difficulté pour la composante concernée
(I Cont, I Env , I Mat), (cf. note 2). Finalement, l’indice de difficulté de l'item est déterminé non par un nouveau calcul qui serait basé sur les indices qualitatifs des trois composantes mais, simplement, en juxtaposant ces trois indices. Il nous est en effet apparu qu’il n’était pas pertinent de les fondre en une valeur unique qui masquerait les informations apportées par chacun d’entre eux et qu’il était par conséquent préférable de les conserver, pour la base de données, dans une formule qui les juxtaposent. En outre, dans la partie finale, une réflexion est menée en vue d’étendre le propos à l’estimation de la difficulté des items d’évaluation dans les domaines de la production, écrite et orale, et du fonctionnement de la langue. Note 1: Quelques-uns des termes utilisés dans ce texte sont précisés dans l'Annexe 3.Note 2: Signalons toutefois que le système de calcul est légèrement différent pour la composante « matériel langagier », pour laquelle nous passons par l’établissement d’un indice intermédiaire – calculé selon la procédure présentée ci-avant – qui est ensuite modulé, de manière qualitative, sur la base d’une grille de questions donnant lieu à des bonus
