Actualité
Relation entre les candidats et leurs résultats au test
La relation entre le profil des candidats et les résultats au test : un indicateur de qualité des tests TOEIC.
Comme de nombreux tests nationaux, le Programme TOEIC® recueille avant le passage du test des informations sur les candidats, ces informations permettent de déterminer une relation entre le profil des candidats et leurs résultats au test.
Les chercheurs d'ETS suggèrent ainsi que l'analyse de la relation entre le profil des candidats et leurs scores devrait faire partie du processus de contrôle qualité d'un programme de test. Bien que cette relation n'ait pas encore été complètement identifiée, une étude d'analyse menée par ETS a révélé que l'information contextuelle des candidats pourrait prédire les résultats au test. À l'aide des données recueillies dans le cadre du test TOEIC® Listening and Reading, les chercheurs d'ETS ont donc pu contrôler la qualité du test TOEIC® grâce à la relation entre les profils des candidats et leurs performances.
Recueil des données des candidats
Avant le début de la session de test TOEIC, un questionnaire est distribué aux candidats pour recueillir des informations sur leur formation, leur expérience professionnelle, la pratique de l’anglais et leur éventuelle précédente expérience au test TOEIC. L'étude, menée par ETS, était basée uniquement sur les données de candidats qui passaient le test TOEIC Listening and Reading pour la première fois. Le fait de rajouter des informations de personnes ayant déjà passé le test, pourrait fausser la relation directe entre les profils et les scores au test. Pour cette recherche, ETS a ainsi pu collecter les données d'environ 1,5 million de scores de candidats sur six ans.
Résultats et conclusion
Dans cette étude, plus la relation entre le profil des candidats et leurs performances au test est forte, plus le questionnaire de base semble utile. Pour le programme TOEIC®, le pouvoir prédictif étant élevé et la marge d’erreur faible, ce modèle prédictif est jugé efficace. Par conséquent, l’information sur le profil des candidats sera très utile pour le management du travail opérationnel (la fonction organisationnelle continue et répétitive destiné à soutenir l'entreprise). Les moyennes des scores prédites basées sur le profil des candidats ne peuvent pas être utilisées uniquement pour prédire et comprendre les résultats au test avant et après la correction.
Pour conclure, les résultats de cette étude sont prometteurs et positifs. Les forts modèles de prévision des résultats, basés sur le profil du candidat, ont un potentiel significatif dans le contrôle qualité du test TOEIC Listening and Reading. Cependant, il y a certaines limites dans cette étude et de futures recherches aborderont ces limites.