Actualité
Validité : quelles implications pour les tests TOEIC ?
Quelles sont les caractéristiques qui garantissent la qualité d’un test ?
Dans l’environnement de travail mondialisé que nous connaissons aujourd’hui, maîtriser l’anglais s’avère primordial. Ainsi, de nombreux employeurs doivent prendre des décisions capitales pour évaluer les compétences en langue anglaise de leurs employés. Les tests TOEIC® visent précisément à faciliter la prise de telles décisions. Nous pouvons nous demander - comme pour tout autre produit - quels critères nous inciteraient à choisir ces tests ? La plupart du temps, la qualité d’un produit ou le sens du service client est le paramètre essentiel.
Dans cet article, qui s’appuie sur une recherche ETS menée par Donald E. Powers, nous tenterons de répondre à cette question : quelles sont les caractéristiques qui garantissent la qualité d’un test ? Les tests TOEIC® sont reconnus au niveau mondial et un élément en particulier définit leur valeur : la pertinence ou validité des scores que le test produit.
Mais que recouvre le terme validité ?
Il s’agit d’un concept à la fois très simple et très complexe. En d'autres termes, et pour reprendre les dires du chercheur d’ETS Donald E. Powers, « la validité est la mesure dans laquelle un test permet d’accomplir ce pour quoi il a été conçu ; il peut s’agir de certifier qu’une personne a maîtrisé un corpus de connaissances donné, de faciliter les décisions d’admission au sein d’universités et d'autres établissements d’enseignement, en mesurant la préparation d’une personne à intégrer une filière, ou d’attester qu’une personne possède les connaissances, compétences et capacités requises pour pratiquer la médecine ou le droit ou bien pour commencer à enseigner. » En d’autres termes, les scores nous apportent-ils les renseignements souhaités, et le test remplit-il l’objectif pour lequel il a été conçu ? La validation est jugée par certains comme un processus sans fin, et il n’existe pas réellement de consensus quant au degré de preuve à apporter. Disons que les preuves doivent être aussi nombreuses que possible.
Que fait-on pour assurer la validité pendant le développement des tests ?
Tout d’abord, les développeurs du programme TOEIC sont des spécialistes en apprentissage linguistique et tests linguistiques, qui ont accès à des spécialistes dans d’autres domaines de test. De surcroît, des spécifications détaillées (schémas directeurs) sont suivies pour garantir une homogénéité maximale entre les différents formulaires de test et faire en sorte que chaque version d’un test couvre un contenu adapté dans la même mesure. Le processus de passage en revue est extrêmement pointilleux. Pour le programme TOEIC, 20 réviseurs examinent à la loupe chaque question avant qu’elle ne soit utilisée dans un test. Certaines questions ne résistent pas à cet examen approfondi, et d’autres peuvent être largement remaniées pour répondre aux critères de qualité fixés. Enfin, chaque type spécifique de questions fait l’objet d’un essai pilote durant l’étape de conception, pour s’assurer que les questions fonctionnent de la manière escomptée, présentent le degré de difficulté voulu, et que les candidats savent comment traiter chaque format de questions. Par la suite, des analyses statistiques courantes sont réalisées après l’administration des tests afin de vérifier que les questions fonctionnent bien. En outre, des recherches continues de différentes natures sont menées à l’appui du test.
Les données de validité peuvent prendre de nombreuses formes, mais elles se répartissent pour l’essentiel dans les grandes catégories suivantes : analyses logiques, étude de la façon dont les candidats abordent les questions, examen des différences entre divers groupes dans le traitement de la structure du test ou dans l’utilisation de la langue (professionnels et novices, par exemple) et enfin, examen du rapport entre les scores et d’autres variables ou critères.
Un type de données recueilli pour les tests TOEIC concerne les auto-évaluations fournies par les candidats eux-mêmes : les candidats sont invités à évaluer la facilité avec laquelle ils peuvent effectuer différentes tâches linguistiques en anglais. Cela nous a permis de constater que lorsque ces questions sont posées correctement, les personnes parviennent à déterminer assez justement leurs capacités. Le degré d’accord qui existe entre ces auto-évaluations et les scores TOEIC constitue une bonne preuve de la validité des scores (à savoir, du fait que la signification des scores correspond à l’intention des auteurs du test).
En 2007, les chercheurs d'ETS ont demandé à quelque 5 000 candidats ayant passé le test TOEIC® Listening and Reading de répondre à un questionnaire d’auto-évaluation après le passage du test. Le questionnaire demandait aux candidats d’examiner 25 tâches de compréhension écrite et 24 tâches de compréhension orale et d’indiquer avec quelle facilité ils pouvaient effectuer chacune de ces tâches. Le même type de questionnaire a été présenté pour chaque test TOEIC. Et pour chacun de ces tests, les données indiquent un lien entre les scores et la probabilité qu’une personne soit capable d’effectuer, soit avec facilité soit avec très peu de difficulté, des tâches linguistiques très variées en anglais dans la vie quotidienne ou en milieu professionnel. Ces informations soulignent de manière très concrète la pertinence des scores TOEIC et démontrent la valeur de ces scores TOEIC pour les utilisateurs.
Pour conclure, l’un des atouts majeurs des tests TOEIC tient à leur validité, c’est-à-dire leur aptitude à apporter les informations pour lesquelles ces tests ont été élaborés. Le très grand soin qui est apporté à l’élaboration des tests TOEIC contribue dans une large mesure à leur validité, qui ressort également d’études spécifiques. D’autres preuves continueront d’être produites pour étayer toujours plus la valeur et la validité des évaluations du test TOEIC.