Explorer les rapports d’inspection : le prototype créé lors d'un hackathon devient un outil pratique

12 Avril 2022

shutterstock_1954864822.jpg

©James Dalrymple/Shutterstock.com
Un enseignant de primaire dans une école rurale du Ghana.

Flashback début 2021, lors de la première édition du hackathon de l’IIPE-UNESCO, HackingEDplanning. Pendant 48 heures, une équipe de six jeunes étudiants en informatique a posé les jalons d’un outil capable d’analyser un grand volume de rapports d’inspection, grâce aux technologies sémantiques de l’intelligence artificielle. Le projet remporte le Prix du public… et l’histoire ne fait que commencer. Seize mois plus tard, le développement de l’outil a bien avancé, en collaboration avec le laboratoire de recherche de l’École pour l'informatique et les nouvelles technologies, Epitech. À la veille de l'édition 2022 du hackathon Hacking EDplanning, nous les avons rencontrés pour voir comment cet outil numérique peut répondre aux besoins des inspections et des administrations de l'éducation dans le monde entier.

Imaginez un outil numérique permettant, en quelques clics, de découvrir les grandes tendances qui ressortent de milliers de rapports d’inspection scolaire – et comment elles évoluent dans le temps ou selon les zones géographiques. C’est précisément l’un des défis que l’IIPE avait lancé aux participantes et participants du hackathon l’an dernier. Plusieurs groupes s’étaient alors saisis du sujet, sur la base de milliers de rapports d’inspection mis librement à disposition par l’Irlande. Parmi eux, une équipe de six étudiants d’Epitech, l’École pour l'informatique et les nouvelles technologies, en France. Fondé sur les technologies de traitement automatique de la langue naturelle (NLP), leur projet baptisé Athena avait tiré son épingle du jeu, décrochant le prix du public ex-æquo

Automatiser une analyse qu’il serait impossible de réaliser manuellement

Si ce prototype créé en 48 heures n’est pas utilisable en l’état au terme de l’événement, les premiers résultats sont particulièrement prometteurs. L’IIPE propose alors au laboratoire Méthodes Numériques d’Epitech de poursuivre la collaboration pour mettre au point un outil open source, facile à utiliser et accessible gratuitement par n’importe quel ministère de l’Éducation et inspection scolaire à travers le monde. Dans les mois qui suivent, Sonico Samedy, data scientist et ancien apprenti d’Epitech se charge de parachever le code informatique, le ‘modèle thématique’ et l’interface web de l’outil, sous la houlette du laboratoire de recherche de l’école et de l’équipe de développement de l’IIPE. 

L’outil permet d’identifier à grande échelle les sujets qui ressortent des rapports d’inspection, quand et comment certains mots émergent des textes. En visualisant ces données sur une carte, l’Inspection générale peut ainsi identifier rapidement les zones où certains enjeux suivis par les inspectrices et inspecteurs sont plus présents qu’ailleurs.

« Les challenges de nos hackathons répondent à des besoins réels des systèmes éducatifs avec lesquels nous travaillons. Cet outil d’exploration des rapports d’inspection, coconstruit avec les ministères, aidera les autorités éducatives à mieux suivre la mise en œuvre de leurs interventions, à en assurer un suivi plus personnalisé, ou encore une veille des sujets plus sensibles. »

Amélie Gagnon, responsable de l’équipe de développement à l’IIPE-UNESCO

Un outil personnalisable pour répondre à divers usages

Salaires, nouvelles pratiques pédagogiques, mesures pour lutter contre l’absentéisme ou pour favoriser l’inclusion…les sujets investigués par les inspectrices et inspecteurs sont aussi nombreux que divers selon les pays. Ils dépendent des priorités nationales, du contexte éducatif, des politiques, etc. En agrégeant les données des rapports, l’outil de l’IIPE permet d’avoir un aperçu à grande échelle de l’appropriation d’une récente réforme éducative. Ou permet d’identifier des besoins spécifiques selon les régions ou des préoccupations émergentes des personnels enseignants. « L’outil que nous développons n’est pas autonome : des séances de travail itératives sont nécessaires pour contrôler et guider le séquençage fait par le code. La machine peut nourrir les analyses humaines et ouvrir de nouvelles pistes », explique Amélie A. Gagnon.

La France reconnaît qu’un tel outil d’exploration des rapports d’inspection serait particulièrement utile. Christine François, déléguée au numérique à l’Académie de Nancy-Metz nous explique pourquoi. 

« Aujourd’hui, nous avons une masse colossale de rapports d’inspection : ils concernent non seulement les personnels enseignants mais aussi les établissements, en plus de ceux qui émanent de l’inspection générale. Notre travail d’évaluation est très qualitatif : l’institution scolaire française écrit beaucoup et s’évalue constamment. Le défi, ici, est de trouver le moyen d’agréger tous ces rapports pour en faire ressortir les grandes tendances.  Avec l’IIPE, c’est la première fois que j’entends parler d’un outil numérique focalisé sur la dimension sémantique et le vocabulaire pour l’observation de la pratique pédagogique, au-delà des données quantitatives. Automatiser l’analyse nous serait extrêmement profitable.

Nous pourrions ainsi croiser ces tendances selon les disciplines, ou selon les spécificités des établissements, pour suivre l’impact des politiques publiques ou anticiper les besoins de formation. À mon niveau, cette plateforme me permettrait de croiser mes hypothèses de travail avec la réalité de ce qui est observé par les inspecteurs. Par exemple, dans quelle mesure le numérique éducatif a-t-il significativement favorisé le travail collaboratif, l’individualisation des apprentissages ou les pratiques de ludification dans les classes ? Nous pourrions le savoir en explorant la masse de rapports d’inspection. »

« Automatiser l’analyse des rapports d’inspection avec un outil sémantique nous serait extrêmement profitable. »

Christine François, déléguée au numérique à l’Académie de Nancy-Metz, en France

Traitement du langage naturel : de quoi parle-t-on ?

Le NLP (Natural Language Processing) est une branche de l’intelligence artificielle. Il s’agit d’un ensemble de technologies visant à comprendre le langage humain tel qu’il est écrit – ou parlé.  En agrégeant des documents encodés au format numérique anonymisés, l’outil de l’IIPE cherche avant tout à saisir et suivre des grandes tendances, et en aucun cas de répondre à une fonction de contrôle. 

Dans le cadre du développement de l’outil, Epitech expérimente actuellement différentes approches de NLP, comme les méthodes dites bayésiennes ou par ‘clustering’, pour garantir la pertinence des résultats. La prochaine étape consiste maintenant à associer des personnels du secteur de l’éducation et des futurs utilisateurs pour coconstruire et affiner ses fonctionnalités de la plateforme en fonction des besoins du terrain…et faire fonctionner l’outil en conditions réelles. 

« Epitech cherche non seulement à former des experts techniques mais surtout des jeunes conscients de l’impact qu’ils ont sur le monde social autour d’eux. Sur l’environnement bien sûr, mais aussi sur tout ce qui fait fonctionner la société, l’éducation en tête », indique Nicolas Bourgeois, directeur du laboratoire Méthodes Numériques pour les Sciences de l’Humain et de la Société d’Epitech. « Ce projet avec l’IIPE entre complètement dans notre logique qui consiste à mobiliser des compétences techniques au service des sciences humaines et sociales. Ici en l’occurrence, à améliorer les outils du secteur de l’éducation. »  

« Epitech cherche à former des experts conscients de l’impact qu’ils ont sur le monde social autour d’eux. »

Nicolas Bourgeois, directeur du laboratoire de recherche d’Epitech

 

Côté face, un projet de recherche sur les rapports d’inspection

Le développement technique et méthodologique de cet outil innovant est adossé à un projet de recherche plus large de l’IIPE. Il vise à poser un cadre conceptuel et à développer des études de cas pour analyser le rôle des rapports d'inspection en tant qu'instrument clé pour améliorer la qualité de l'éducation. « Presque tous les systèmes éducatifs du monde disposent d’une inspection scolaire. Toutefois, leur rôle et les objectifs visés par les rapports qui en découlent ne sont pas forcément très clairs », constate Carolina Albán Conto, coordinatrice du programme de recherche et développement de l’IIPE-UNESCO Dakar et coordinatrice de ces travaux.  

Si le développement d’un outil est indispensable pour permettre aux systèmes d’inspection d’extraire rapidement de l’information pour identifier des problèmes et élaborer des stratégies, ce n’est toutefois pas suffisant. Un des enjeux de cette recherche consiste à analyser les capacités institutionnelles des systèmes d’inspection. À quelles conditions les rapports des inspectrices et inspecteurs servent-ils vraiment à améliorer la qualité de l’éducation - et pas seulement à contrôler la conformité aux normes des établissements ? C’est autour de cette question centrale que se fonde le projet de recherche, qui étudiera plus spécifiquement les cas de six pays : la France, le Ghana, l’Irlande, le Maroc, l’Ouganda et la Tanzanie. Dans certains de ces pays en effet, des mesures ont déjà été prises pour tenter d’aligner les rapports d’inspection sur les enjeux de qualité de l’éducation. Le cadre conceptuel et les conclusions de ces études permettront en outre de nourrir les fonctionnalités et d’éclairer les réflexions autour des prochaines étapes de développement de la plateforme digitale.

« Développer un outil numérique est indispensable mais pas suffisant. Nous partons de l’hypothèse que les capacités des systèmes d’inspection doivent davantage se développer en faveur de la qualité de l’éducation. » 

Carolina Albán Conto, coordinatrice du programme de recherche et développement du Bureau pour l’Afrique de l’IIPE-UNESCO à Dakar

D’autres idées impulsées lors du HackingEDplanning 2021 se sont également concrétisées. Parmi elles, une méthodologie innovante pour calculer et cartographier les populations en âge d’aller à l’école, désormais utilisée par des chercheuses, chercheurs et partenaires du développement, notamment via la plateforme WorldPop.

La deuxième édition du hackathon aura lieu du 6 au 8 mai 2022, avec six nouveaux défis.

S’incrire au Hacking EDplanning 2022