S'il ne devait en rester qu'un
Réunissez 5 formateurs et demandez-leur quelles informations ils souhaiteraient voir apparaitre dans leur outil de suivi des formations. Passés quelques moments d'hésitation, il y a fort à parier que les idées vont fuser et que la liste va s'allonger.
Afin de faire le tri, il est important de toujours demander pourquoi. "Pouvez-vous justifier le choix de cet indicateur ? A quoi va-t-il vous servir ? Va-t-il vous permettre d'agir pour améliorer la formation ?" Pour forcer le trait, vous pouvez demander aux formateurs de ne retenir qu'un seul indicateur et de justifier leur choix.
Dans cet article, je ne vais pas énumérer mes indicateurs préférés. Cela dépend du contexte et des objectifs du projet. Mais je vous propose quelques axes de réflexion pour vous aider à identifier les meilleurs indicateurs.
Indicateurs tardifs vs précoces
A la question "s'il ne devait en rester qu'un ?", la réponse qui revient le plus souvent est : "les notes obtenues par l'élève". Quoi de plus naturel. Notre scolarité toute entière a été balisée par des notes. Il est donc logique que le Quiz règne en maître dans nos formations digitales et que la note vienne concrétiser la réussite ou l'échec de l'apprenant.
Pourtant, la note est très souvent utilisée comme un indicateur tardif dans le sens où l'on dispose de cette information très tard dans le processus d'apprentissage. En d'autres termes, elle matérialise un résultat mais ne permet pas de l'anticiper. Je parle ici des notes obtenues dans le cadre d'évaluations sommatives.
Pour que vos formateurs puissent optimiser les chances de réussite de leur audience, il leur faut des indicateurs précoces. En présentiel, un apprenant qui baille et s'avachit sur sa chaise peut trahir une chute d'attention. Un bon formateur saura en tenir compte pour redynamiser son cours. C'est ce type d'indicateur que l'on cherche dans le monde digital.
La note peut jouer ce rôle, à condition de découler d'évaluations formatives intervenant à intervalles réguliers dans le processus d'apprentissage. Mais il y a bien d'autres signaux à écouter. Je pense par exemple à toute donnée qui suggèrerait une moindre implication : une baisse du temps consacré à l'apprentissage, un nombre réduit d'interactions, etc.
Chaque situation est unique, mais avec quelques efforts, il est possible d'identifier et de développer des indicateurs précoces qui permettront aux formateurs (ou e-tuteurs) de réagir plus tôt et d'améliorer ainsi les chances de réussite.
Indicateurs quantitatifs vs qualitatifs
Reprenons l'exemple du temps passé sur une plateforme. Nous venons de voir que cet indicateur pouvait être utile pour détecter une baisse d'implication de l'apprenant. Cet indicateur peut être qualifié de quantitatif. Il dénote un fait mesurable, mais ne l'explique pas. La baisse du temps passé peut être liée à une moindre implication, mais aussi à une contrainte passagère d'agenda. Il s'agit d'un signal faible, dont le sens est à relativiser.
A l'inverse, certains indicateurs peuvent être qualifiés de qualitatifs dans la mesure où ils apportent une information claire, qui ne nécessite pas d'interprétation hasardeuse. Pour prendre un exemple très différent, la validation d'une compétence par un formateur au cours d'un entretien avec l'apprenant peut être considérée comme un indicateur qualitatif. Il décrit avec fiabilité une capacité de l'apprenant. Il apporte aussi parfois de la nuance (par exemple un commentaire du formateur).
Enfin, certains indicateurs sont plus ambigüs et il est important de repérer cette ambigüité. C'est le cas des notes qui d'un côté signalent avec une certaine fiabilité que l'apprenant a assimilé un sujet. Mais d'un autre côté, la valeur d'une note est à relativiser. Que signifie une note de 8/20 lorsque la moyenne est 6/20 ? Dans quelles conditions cette note a-t-elle été obtenue ? L'apprenant a-t-il été induit en erreur par l'énoncé de l'exercice ? A-t-il manqué de temps ?
Idéalement, on cherche donc des indicateurs qualitatifs et non ambigüs.
Le meilleur des 2 mondes ?
Si je résume, dans l'idéal, il nous faudrait des indicateurs à la fois précoces et qualitatifs. Ces indicateurs nous permettraient d'agir au plus tôt, tout en ayant une idée assez précise du problème. Mais ce type d'indicateur existe-t-il ?
Il n'y a aucun indicateur magique, mais en tenant compte des spécificités de chaque projet, on peut toujours développer de bons indicateurs. Une approche possible est de mettre en place une stratégie de feedbacks en complément des indicateurs classiques.
Reprenons l'exemple de la note associée au quiz formatif. On peut imaginer qu'en fin de quiz, l'apprenant puisse répondre à une question du type "comment cette évaluation s'est-elle passée ?", avec des propositions du type "très bien, je suis assez confiant sur le résultat", "j'ai manqué de temps", "certaines questions m'ont semblé ambigües", etc. La note obtenue pourra ainsi être mieux contextualisée.
Autre exemple de stratégie de feedback : collecter le ressenti de l'apprenant à intervalles réguliers : par exemple chaque fin de semaine. Le but est d'obtenir des signaux précoces sans avoir à attendre une évaluation. Mais attention à ne pas abuser de cette stratégie. Un apprenant constamment sollicité peut se lasser et finir par biaiser les réponses.