Indicateurs de performance pour les MOOC d’entreprise : la régularité

Dans notre précédent post, nous avons évoqué la nécessité de créer de nouveaux indicateurs de performance pour les MOOC d’entreprise. Nous allons à présent nous pencher sur la valeur de la régularité en tant qu’indicateur.

Avec quelle régularité un utilisateur apprend-il via un MOOC ? Quelle est l’importance de la régularité dans la réussite d’un cours ? Comment mesurer la régularité ? Que peuvent déduire des recruteurs de la régularité d’un apprenant ? Comment la conception des cours doit-elle encourager la régularité ?Le niveau d’activité des apprenants salariés dans les MOOC est généralement distribué assez équitablement entre le lundi et le jeudi, avec des pics d’engagement le matin et le soir, tandis que le vendredi, les niveaux d’activité sont très bas. Le weekend, l’heure de pointe se situe dans l’après-midi. (cf.Shirvani Boroujeni, Kidzinski & Dillenbourg , 2016 (2))

Les participants à des MOOC indiquent que les problèmes d’emploi du temps sont la raison numéro un pour laquelle ils abandonnent en cours de route (cf. Nawrot &Doucet, 2014 (4)). Outre les données fournies par les utilisateurs eux-mêmes, des données comportementales sur la régularité ont aussi été utilisées pour prédire le taux d’achèvement d’un MOOC : les apprenants avec une meilleure régularité ont de meilleures chances de terminer un cours. Parmi plusieurs mesures proposées, le meilleur outil de prédiction a été obtenu en mesurant le pic dans la journée (c’est-à-dire se former à des heures récurrentes) et la régularité des schémas hebdomadaires (c’est-à-dire se former avec une distribution régulière du temps d’apprentissage durant toute la semaine). Pour une plongée en profondeur dans la mesure de la régularité, vous pouvez consulter l’article de l’EPFL mettant avant plusieurs mesures ayant des valeurs informatives spécifiques et complémentaires (cf. Shirvani Boroujeni, Sharma, Kidzinski, Lucignano & Dillenbourg , 2016 (1)).

La gestion du temps durant un MOOC dépend à la fois de facteurs externes, en particulier les contraintes professionnelles, et d’un facteur interne, l’auto-régulation (cf. Kizilcec & Halawa, 2015 (3)). Il est intéressant de noter que les apprenants qui sont employés à plein temps font preuve d’une régularité significativement plus élevée que les étudiants (cf. Shirvani Boroujeni, Sharma, Kidzinski, Lucignano & Dillenbourg , 2016 (1)). Les salariés semblent compenser des contraintes de temps vraisemblablement plus importantes par une meilleure gestion du temps, et cette meilleure capacité de gestion porte ses fruits tout au long de leur parcours de formation, puisque les salariés font aussi preuve d’un engagement plus poussé et de meilleurs résultats dans les MOOC (cf. Shirvani Boroujeni, Kidzinski & Dillenbourg , 2016 (2)). Ainsi, mesurer la régularité d’un apprenant vis-à-vis d’un MOOC se révèle une source d’information potentiellement intéressante pour les services de ressources humaines sur les capacités d’un apprenant concernant la gestion du temps et l’auto-régulation.

Afin d’accroître la régularité, les cours en ligne peuvent notamment agir sur la communication et les modes de mise à disposition. Des notifications en « push » et la communication liée au cours doivent être émises au moment optimal pour chaque apprenant. En conséquence, des informations temporelles doivent être incluses dans le modèle utilisateur et les analyses prédictives.

Le pic du soir indique que l’apprentissage se fait pendant les temps de trajet. Les cours doivent donc être compatibles avec un usage sur mobile et se prêter à des sessions courtes permettant aux apprenants d’interrompre et reprendre le cours facilement. On pourrait même envisager des outils complémentaires pour le planning, la priorisation ou le monitoring, outils qui seraient intégrés dans un cours dans le but de fournir aux apprenants une aide à la gestion du temps. Cette approche est particulièrement utile si le développement de compétences méta-cognitives et d’auto-régulation est lui-même l’un des buts de la formation.

(1) Mina Shirvani Boroujeni, Kshitij Sharma, Lukasz Kidzinski, Lorenzo Lucignano, et Pierre Dillenbourg. How to quantify student’s regularity? 11th European Conference on Technology Enhanced Learning, Lyon, France, September 13-16, 2016https://infoscience.epfl.ch/record/218657/files/ECTEL16___Regularity.pdf

(2) Mina Shirvani Boroujeni,Lukasz Kidzinski, et Pierre Dillenbourg. How employment constrains participation in moocs? In Proceedings of the 9th International Conference on Educational Data Mining, pages 376–377, 2016. https://infoscience.epfl.ch/record/218785/files/EDM16___employment___POSTER.pdf

(3) René Kizilcec et Sherif Halawa. Attrition and achievement gaps in online learning. In : Proceedings of the Second (2015) ACM Conference on Learning@ Scale, pages 57–66. ACM, 2015. 
http://web.stanford.edu/~halawa/cgi-bin/files/kh2015attrition_gaps.pdf

(4) Ilona Nawrot et Antoine Doucet. Building engagement for mooc students: introducing support for time management on online learning platforms. In : Proceedings of the companion publication of the 23rd international conference on World wide web companion, pages 1077–1082. International World Wide Web Conferences Steering Committee, 2014. 
https://www.cs.helsinki.fi/u/doucet/papers/WebET2014.pdf