Analyser les données des MOOC d’entreprise : il existe d’autres indicateurs de performance que le taux d’achèvement

Une fois passé le buzz autour du nombre faramineux de participants s’inscrivant à des MOOC, le débat qui a suivi a porté sur le nombre tout aussi faramineux d’abandons en cours de route. À présent, chercheurs et professionnels semblent s’accorder sur le fait que les taux d’achèvement ou d’abandon ne sont pas l’alpha et l’omega des indicateurs de performance concernant les MOOC et ceux qui les suivent. Ils avancent l’idée que nombre d’apprenants ne cherchent même pas à aller jusqu’au terme d’un cours puisqu’ils ne sont intéressés que par une partie ou parce qu’ils voulaient juste avoir une idée de son contenu. Lorsqu’on se penche sur les statistiques d’abandon uniquement pour les participants s’étant engagés à terminer un cours, soit parce qu’ils ont payé pour obtenir une certification ou parce qu’ils ont indiqué cet objectif en s’inscrivant, les taux ne sont plus aussi alarmants et se rapprochent des taux constatés dans l’enseignement présentiel. (cf. EPFL(1))On a fait et on continue à faire beaucoup d’efforts pour prédire les abandons en cours de route à l’aide de divers indicateurs et en intervenant en amont pour faire en sorte que les apprenants restent jusqu’au bout. Ce qui amène à s’interroger sur les indicateurs qui pourraient être les plus pertinents.

Premièrement, l’indicateur doit être une source d’information valide. Ce qui veut dire, par exemple, que des preuves empiriques doivent démontrer la corrélation d’un indicateur avec l’achèvement du cours.

En deuxième lieu, les indicateurs ne sont utiles que si leur analyse peut être traduite en solutions concrètes. En d’autres termes, l’indicateur doit aider les concepteurs de la plate-forme et du cours à prendre des décisions concernant ses fonctionnalités, l’expérience utilisateur autant que la création du contenu et la façon dont il est mis à disposition. L’engagement, par exemple, même s’il est bien sûr lié à la performance (voir Paredes 2012 (2), Wolff 2013(3)), n’est pas un indicateur traduisible en mesures concrètes. Il convient plutôt de comprendre les principes qui sous-tendent cet engagement pour prendre ensuite des mesures sur cette base.

Troisièmement, il faut prendre en compte les éléments apportant une valeur ajoutée en termes de ressources humaines. Les résultats académiques et les examens « sont des critères sans intérêt pour embaucher », selon Laszlo Bock, vice-président des ressources humaines (People Operations) chez Google (cf. New York Times(4)). De nouvelles solutions émergent comme l’évaluation de candidats par le jeu développée par Knack, une start up de la Silicon Valley (cf. Knack(5)). Les jeux sont conçus pour évaluer une série d’indicateurs de performance qui ont été préalablement identifiés comme essentiels pour un poste donné, en se basant sur l’analyse des performances des employés précédents. Le score détermine si le candidat correspond au profil recherché. Si les jeux créent un scénario sans relation avec les sujets concernés, le comportement d’une personne lors d’une formation en ligne en lien avec son emploi pourrait être une source d’informations plus utile sur ses compétences. Nous ouvrons donc le débat sur les indicateurs les plus pertinents et leur potentiel pour les entreprises.

 (1) EPFL – Ecole polytechnique fédérale de Lausanne, Rapport annuel sur les MOOC 2012-2014

(2) Paredes – Walter Christian Paredes et Kon Shing Kenneth Chung. Modelling learning & performance: a social networks perspective. In : Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, pages 34–42. ACM, 2012. 
http://dl.acm.org/citation.cfm?id=2330617 (sans texte intégral)

(3) Wolff – Annika Wolff, Zdenek Zdrahal, Andriy Nikolov et Michal Pantucek. Improving retention: predicting at-risk students by analysing clicking behaviour in a virtual learning environment. In : Proceedings of the third international conference on learning analytics and knowledge, pages 145–149. ACM, 2013. 
http://oro.open.ac.uk/36936/1/LAK%20-%20OU%20camera%20ready.pdf

(4) New York Times 

(5) Knack