Repenser ses évaluations à l’heure des IA Génératives (IAGs)
L’arrivée des Intelligences artificielles génératives (IAGs), comme Chat GPT et leur utilisation facilitée sont à l’origine de bouleversements dans le monde de l’enseignement et remettent en question les modalités d’évaluation des rendus académiques.
- Les IAGs sont présentes partout, dans toutes les sphères et les étudiants seront amenés à les utiliser de plus en plus. Il est donc difficile d’en interdire l’usage,
- Des craintes sont associées à l’arrivée de ces outils dans l’enseignement :
- Certains travaux donnés aux étudiants peuvent être facilement générés par les IAGs,
- Il s’avère difficile de distinguer ce qui est généré par les IAGs de ce qui est réellement produit par les étudiants,
- Les risques de fraudes aux évaluations peuvent augmenter,
- Un enjeu majeur aujourd’hui est d’intégrer ces outils dans les enseignements pour acculturer les étudiants à leur utilisation et les amener à en faire un usage critique, éthique et responsable.
Ces nouvelles données peuvent être l’opportunité de repenser, transformer les évaluations pour les faire évoluer davantage vers une évaluation des compétences et les concevoir comme une véritable étape du processus d’apprentissage.
Intégrer les IAGs dans ses pratiques pédagogiques et notamment dans ses modalités d’évaluations, nécessite d’en comprendre le fonctionnement et d’en connaître les capacités et les limites.
I. Comprendre et s’approprier les IAGs
Les IAGs comme ChatGPT sont des robots conversationnels avancés, capables de fournir des réponses construites à partir des bases de connaissances dont ils disposent. Ils sont capables de générer toute forme de contenus et d’apporter une assistance dans une grande variété de tâches, comme l’explication d’un concept ou le développement d’un code de programmation. Pour interagir avec une intelligence artificielle générative telle que ChatGPT, il faut élaborer une requête en langage naturel (un prompt) qui pose avec précisions le contexte et les attendus de la demande.
- Répondre à des questions de tous types et dans tous les domaines
- Produire du contenu – rédiger des écrits de toute nature (rapport, mémoire, lettre, QCM …)
- Simplifier, adapter du contenu à un public donné
- Traduire du contenu en de nombreuses langues
- Synthétiser / résumer du contenu
- Mettre en forme du contenu, illustrer
- Classer et catégoriser du texte
- Interagir, échanger
- Suggérer des titres, slogans, plans…
- Analyser et classer des données
- Générer du code, résoudre des équations
- Ne génèrent pas de savoir procédural (uniquement du savoir déclaratif)
- Ne savent pas raisonner
- Ne disent jamais qu’elles ne savent pas
- Proposent des contenus parfois erronés (Risques de désinformation, risque de biais (sociaux, culturels…) et d’accentuation des stéréotypes et préjugés
- Leurs données sont limitées pour des domaines ou sujets très spécifiques (les IAGS se basent pour répondre sur les idées et les thématiques les plus courantes, voire dominantes d’une discipline)
- Fournissent des réponses souvent très génériques / générales
- Ne savent pas contextualiser les réponses données
- Ne savent pas prendre position, argumenter – ne peuvent avoir de pensées critiques et divergentes
- Ne peuvent pas se corriger sans l’intervention de l’humain
- Ne savent pas créer
- Ne respectent pas le droit d’auteur
- Leur utilisation a un impact environnemental non négligeable
Utiliser la Taxonomie de Bloom pour repérer les limites des IAGs
La taxonomie de Bloom est largement utilisée dans la conception d’un cours pour ajuster l’alignement pédagogique des activités et des évaluations en fonction de ses objectifs d’apprentissage. Cette taxonomie a été retravaillée en distinguant les capacités des IAGs de celles de l’humain. Elle peut être utilisée pour faire évoluer les évaluations en adéquation avec ses objectifs d’apprentissages, en s’appuyant notamment sur les limites des IAGs aujourd’hui.
II. Définir ou transformer ses évaluations à l’heure des IAGs
Définir le cadre d’utilisation des IAGs
- Poser le cadre d’utilisation des IAGs et tout particulièrement en contexte d’évaluation, notamment dans le syllabus du cours,
- Demander aux étudiants une totale transparence quant à l’utilisation des outils d’IAGs dans les rendus de travaux académiques (citations, démarche, requête) ,
- Sensibiliser les étudiants aux notions d’éthique et d’intégrité vis-à-vis de leur parcours de formation,
- Sensibiliser les étudiants aux biais et limites des IAGs (hallucinations, absences de sources, respect du droit d’auteur, enjeux éthiques).
Définir le cadre de ses évaluations
- S’assurer de l’Alignement pédagogique de son cours en vérifiant que les méthodes, activités et évaluations sont cohérentes avec les objectifs d’apprentissage,
- Fixer des attendus clairs et précis vis-à-vis des évaluations – s’assurer que les consignes et les critères d’évaluation sont bien compris,
- Intégrer dans la démarche d’évaluation des rétroactions avant une évaluation sommative,
- Concevoir les évaluations comme une véritable étape du processus d’apprentissage et pas uniquement comme un acte de notation,
- Utiliser de manière systématique des grilles d’évaluations.
Une connaissance des attendus des évaluations et une préparation aux modalités peuvent permettre de limiter les risques de fraude.
Cela implique une évaluation des connaissances et compétences dans un environnement contrôlé et sans accès aux IAGs en ayant précisé au préalable (syllabus) ce qui est autorisé dans un contexte d’évaluation. A noter que ces modalités peuvent être parfois difficilement applicables aux grands groupes, coûteuses en ressources à mobiliser et réduire les possibilités/expériences d’évaluation.
- Évaluation par examen écrit sur table,
- Évaluation par examen oral,
- Évaluation au moyen d’un ordinateur avec restriction d’accès,
- Observation d’étudiants en situation (en individuel ou en groupe).
Certaines activités ne sont pas directement réalisables par les IAGs. Les contenus et formats d’évaluation peuvent être pensés et conçus en s’appuyant sur ces limites.
Choisir ses sujets/thématiques d’évaluation en privilégiant :
- des sujets d’évaluation moins connus, peu abordés dans la sphère du web,
- des sujets portants sur des données récentes ou sur des sources auxquelles Chat Gpt n’a pas accès,
- des sujets qui mobilisent des situations authentiques (faisant intervenir des expériences personnelles ou professionnelles à venir, impliquant des commanditaires réels …).
Repenser ses modalités d’évaluation en :
- les construisant comme un process engageant pour l’étudiant et pouvant s’améliorer dans le temps,
- en adoptant plutôt une démarche d’évaluation des compétences que des connaissances,
- privilégiant des études de cas, des mises en situation réelles, authentiques,
- les orientant davantage sur un processus et une démarche que sur le résultat ou produit final (poser des questions qui nécessitent une analyse, une réflexion plutôt que juste le rappel de règles ou de notions),
- demandant aux étudiants de contextualiser leurs réponses et notamment de faire le lien avec le cours ou d’autres cours de leur formation,
- diversifiant ses formats et modalités d’évaluation (observation, production de livrables, questionnement ou échanges),
- privilégiant le contrôle continu,
- découpant son processus d’évaluation en une suite d’évaluations formatives avant l’évaluation sommative pour évaluer la progression et le développement d’une compétence avec :
- Production de rendus d’étapes ou traces d’apprentissage sous la forme de journal de bord, rapport d’avancement, points d’étapes oraux (pour travaux de groupe notamment) et qui incluent une analyse réflexive,
- Rétroactions régulières.
Intégrer dans ses modalités d’évaluation :
- Des travaux collaboratifs impliquant organisation, planification d’une tâche et points d’étapes,
- Des autoévaluations et évaluations par les pairs avec des grilles critériées interrogeant sur pertinence, qualité de l’argumentation, cohérence de l’écriture + style, authenticité, références citées…
- Une démarche argumentaire et réflexive .
Diversifier ses objets ou livrables attendus en proposant par exemple :
- La réalisation d’une vidéo pour une tâche à réaliser,
- La conception d’un poster synthétique,
- L’organisation d’un débat ou la conception d’un argumentaire,
- L’enregistrement d’un podcast d’une enquête, d’une interview,
- La réalisation de cartes conceptuelles, frises chronologiques, schémas annotés,
- La description d’un processus détaillé incluant des références au concepts clés du cours et/ou une réflexion sur la pertinence du processus,
- La conception de sujets et grilles d’évaluation par les étudiants pour valider les notions clés d’un cours à maîtriser,
- La réalisation d’un dossier documentaire avec un corpus multiple et sources précisées,
- Une présentation orale devant une audience réelle.
Intégrer ou s’appuyer sur les IAGs dans sa démarche d’évaluation peut être l’occasion de construire des contenus et/ou formats d’évaluation qui vont amener les étudiants :
– à s’approprier et maîtriser les outils d’IAGs en repérant ce qu’ils peuvent déléguer à la machine de manière responsable
– à développer un esprit critique vis à vis des productions générées par les IAGs.
Il peut être ainsi proposé de :
- Repérer des erreurs ou incohérences dans des productions générées par Chat GPT et retravailler les contenus générés avec références à l’appui,
- Repérer les préjugés, biais, stéréotypes présents dans des productions générées par Chat GPT,
- Interroger des contenus générés par les IAGs sur leur pertinence par rapport à une requête donnée à l’aide d’une grille d’évaluation,
- Analyser et enrichir une argumentation à partir de productions générées par les IAGs,
- Apprendre à repérer ce qui peut être délégué à la machine ou pas (recherche de capacités et limites en lien avec une requête, un problème posé),
- Expliquer et illustrer la démarche évolutive de conception de prompts pour affiner, ajuster les réponses obtenues,
- Construire un argumentaire/débat en dialoguant avec la machine.
L’université de Sherbrooke propose dans son guide « Évaluer à l’ère des IA – Combattre la bête ou l’apprivoiser ? » une liste d’activités permettant de diversifier les traces d’apprentissage et les livrables attendus. Plusieurs types d’activités peuvent être intégrés dans une même évaluation pour une diversification optimale.
III. Pour aller plus loin
- Lez, A., Dubé, E. et Beaulieu, M. (2023). Évaluer à l’ère des IA : Combattre la bête ou l’apprivoiser. un guide de réflexion. Service de soutien à la formation, Université de Sherbrooke. Sous licence CC BY 4.0.
- Castell, P., Petiteau, L. (2023). 10 stratégies Pour éviter le plagiat lors de l’utilisation d’un agent conversationnel (ChatGPT) dans les évaluations. Le Carrefour (enseigner.uqam.ca). Sous licence CC BY 4.0.
- Boucher, J.P. (2023). ChatGPT : la riposte doit être pédagogique. Pédagogie collégiale vol. 36, no 3, printemps-été 2023
- (2023). La taxonomie de Bloom revisitée à l’ère de l’IA. Collimateur – Veille pédagonumérique UQAM.
- Al Amoush S.,Farhat A. (2023).The Power of Authentic Assessment in the Age of AI. Faculty focus.
- Millet A. (2023). Comment adapter les évaluations dans le supérieur pour déjouer ChatGPT ? L’étudiant EducPros.
- (2024) ChatGPT : Comment éviter la tricherie et tirer profit de l’outil en enseignement supérieur ? Webinar du Groupe d’intervention et d’innovation pédagogique (GRIIP). Pédagogie Universitaire.
- Cartographie : les IA génératives dans l’enseignement (Service Universitaire de la Pédagogie UBS)
- Portail de veille sur l’IA pour l’enseignement (Service Universitaire de la Pédagogie UBS)
Cliquer sur ce lien pour télécharger la fiche récapitulative « Évaluation et IAGs » au format pdf
0 Commentaire