dimanche 28 avril 2013

MOOCs, évaluations à distance, "triche" et modèle économique

Tricher sur un MOOC

Je viens de lire un article très intéressant intéressant dans le blog Educpro.fr : "Comment tricher sur un MOOC ?"
L'auteur de l'article est Matthieu Cisel, un des acteurs principaux du MOOC "ABC Gestion de projet" auquel je viens de participer avec une grande satisfaction pendant 4 à 5 semaines.
..En passant, encore bravo à Rémi Bachelet, Matthieu Cisel et toute l'équipe de ce MOOC très réussi !

Dans son article Matthieu explique que :
La circulation rapide des informations sur la toile pose un problème certain pour l’organisation d’un MOOC, car elle permet entre autres la diffusion des solutions des exercices, des devoirs ou des examens.

On pourrait envisager les choses avec humour, comme dans le dessin ci-dessous, mais ça ne règle pas la vraiment la question...

Evaluer à distance

Cette question m'intéresse énormément depuis 2004 : j'étais formateur et je suis "retourné à la fac" en travaillant le soir. Ceci m'a plongé en parallèle dans l'apprentissage à distance et dans la formation à distance en mode blended learning.

L'expérience m'a montré qu'évaluer à distance impose de revoir ses outils d'évaluation, de repenser ses supports, de ré-inventer ce qui fonctionnait en face à face mais qui n'est plus adapté à distance.
Un quizz.... c'est bien pour vérifier des connaissances ou la compréhension d'un texte, mais ça ne permet pas d'évaluer un savoir faire.

Faire réaliser une tâche complexe

Pour évaluer un savoir faire sans que le copier-coller soit possible, le seul moyen est de donner à réaliser une tâche relativement complexe qui conduit celui qui est évalué à mettre en oeuvre son intelligences ET ses connaissances ET les outils de travail qui sont intégrés à ce savoir faire.
Outils : marteau, camion, pinceau, tableur excel, traitement de texte, logiciel comptable, etc.


Pour le moment tout semble simple : que 15 personnes ou 1000 personnes traitent la tâche d'évaluation de 09h00 à 12h00, ce temps d'évaluation ne prendra toujours que 3 heures sur l'agenda du formateur... Et si ça se passe à distance il pourra même aller à la pêche pendant que les apprenants travaillent ... ;-)

Mais... mais il faut évaluer les travaux réalisés !

Evaluer le travail de 15 apprenants, nous y sommes habitués depuis des dizaines d'années dans notre système scolaire, universitaire, dans la formation professionnelle. Cela prend du temps, mais on y arrive au prix de quelques "heures supp" le soir ou le WE ...(non rémunérées la plupart du temps).
Par contre, évaluer les travaux "intelligents et complexes" de 1000 personnes représente un travail gigantesque !
...Surtout quand l'analyse est multi-critère, et qu'une machine ne sait pas encore le faire.
source : CNN

…et on en revient à la question du modèle économique des MOOCs 

L'évaluation à distance est une des difficultés clefs à  régler pour qu'un MOOC soit économiquement viable.
L'enseignement en université (et ailleurs) pourrait être demain construit sur un mix de MOOC et de périodes présentielles.
Ceci posera fatalement à terme la question du mode d'évaluations de travaux réalisés à distance en grand nombre.
C'est là que le temps de travail des acteurs humains ne peut pas être remplacé par des moyens techniques (ouf !).
J'ai vécu il y a quelques années à l'université de Limoges en tant qu'étudiant une superbe expérience de 3 ans sur une maîtrise de chef de projet TIC, totalement à distance en dehors de la présentation du mémoire devant le jury en fin de 3ème année.
"L'astuce" utilisée par les profs du Campus Virtuel UNILIM pour éviter la "triche" pendant les partiels en ligne reposait sur deux éléments :
  1. nous donner à faire un travail qui mettait en oeuvre l'intelligence et pas une capacité à calculer ou à réciter des connaissances 
  2. nous donner 3h pour faire un travail qui nécessitait au moins 4h. …Un speed pas possible : même pas le temps de s'échanger des données vraiment utiles. 
Ceci donnait aux "profs" pas mal de travail, même en s'appuyant sur des évaluations préalables réalisées par les pairs, mais la triche était vraiment difficile !

Je résume mon point de vue : en l'attente d'intelligences artificielles très évoluées, la correction de travaux intelligents et complexes nécessite du temps d'enseignant, incompressible …et couteux. 
;-)

2 commentaires:

Anonyme a dit…

"au prix de quelques "heures supp" le soir ou le WE ...(non rémunérées la plupart du temps)."
=> Ça me paraît hors de propos dans cet article, pour ne pas dire déplacé sachant que les heures supplémentaires concernent ceux qui travaillent plus de 35 heures par semaine...

Anonyme a dit…

"nous donner 3h pour faire un travail qui nécessitait au moins 4h. …Un speed pas possible : même pas le temps de s'échanger des données vraiment utiles."
=> Je comprends les préoccupations de remédier à la "triche", mais cela demande de diviser un devoir en plusieurs parties. Sinon quelle satisfaction liée au travail accompli les étudiants tirent-ils après 3 heures de devoir où ils auront réalisé les 3/4 dans le meilleur des cas ?