Avant d’analyser les résultats des élèves à proprement dit, il convient de rappeler quelques éléments influençant l’analyse. Tout d’abord, il faut se souvenir que ce test significatif est une évaluation pour tous les élèves de sixième année de mon collège. Cette particularité est importante. En effet, bien que j’aie préparé le test moi-même, en fonction des critères du Plan d’Etudes Vaudois, du Cadre Général d’Evaluation et des exigences du cours de didactique, les questions ont dues être validées par l’ensemble des enseignants de sixième année. Cela signifie donc que plusieurs questions ont été modifiées, reformulées ou supprimées. De plus, les critères de correction ainsi que l’échelle ont aussi été fixés de manière commune, suite à mes suggestions. J’ai donc dû changer certains éléments afin d’arriver à un consensus avec l’ensemble des collègues. [1]
Il me faut également préciser que, lorsque j’ai rendu les tests, j’ai oublié de les photocopier préalablement. J’ai tenté les semaines suivantes de récupérer tous les tests afin d’en faire des copies, mais certains élèves les avaient égarés. Il va donc manquer quatre tests d’élèves dans mon tableau et analyses. Les tests égarés étant les plus mauvais ( !), les résultats et la moyenne de classe en sont modifiés. J’ai cependant choisi de ne pas les intégrer à la moyenne de classe, du moment qu’il ne m’est plus possible de les analyser de manière précise.
Enfin, il est nécessaire d’ajouter qu’il s’agit bel et bien d’un test significatif, même s’il était inscrit TA sur les tests des élèves (ces derniers ont, du reste, fait la correction sur leurs copies). Le test avait été annoncé à l’avance, mais les élèves n’avaient pas reçu les objectifs. En effet, le plus souvent les objectifs servent à cibler la matière à apprendre et, pour ce test, il n’y en avait aucune, étant donné qu’il s’agissait d’un test à livre ouvert. Il aurait cependant été utile de leur donner les compétences qui allaient être examinées, et de rajouter celles-ci sur le test.
Les élèves ont eu à disposition 45 minutes pour faire le test. N’ayant pas l’habitude des tests à livre ouvert, beaucoup d’entre eux étaient inquiets au début de la période. Mais, en fin de compte, tous les élèves ont eu assez de temps pour répondre. Avant le test, j’ai averti les élèves que je ne répondrai pas aux questions, à part pendant un laps de 5 minutes au début de la période. Pendant ce laps de temps, peu d’élèves ont posé des questions, les plupart étant pour demander s’ils avaient bien compris ce qu’ils devaient faire.
Le test est divisé en deux parties, chacune voulant évaluer une compétence différente. La première partie regroupe environ les deux tiers des points du test. En effet, il s’agit de la compétence principale évaluée ; la seconde compétence n’étant pas exercée de manière complète en classe, il est normal qu’elle comptabilise moins de points.
L’échelle a été fixée selon les habitudes des enseignants de sixième année, à savoir à mettre la moyenne – 4 – aux deux tiers des points environ, puis de faire une échelle le plus linéaire possible.
En annexe, vous trouverez un tableau synthétisant les résultats des élèves [2], détaillés par questions. Cette manière de procéder est intéressante car elle permet de nombreuses observations.
Tout d’abord, une remarque sur les résultats finaux des élèves. La moyenne de classe est très élevée : 5,3. Les tests manquant influencent, certes, ce résultat, mais celui-ci dépasse néanmoins 4.5 en les incluant. Il faut noter que la plupart des élèves ont réalisé un nombre de points supérieur au deux tiers du total. Le 4 étant fixé aux deux tiers, la majorité des élèves ont donc atteint les objectifs du test. On peut ajouter que les autres classes ayant fait le même test obtiennent des résultats variés. Alors qu’une classe a une moyenne de classe comparable à celle obtenue dans « ma » classe, une autre classe obtient une moyenne nettement inférieure. Cela ne signifie sans doute pas que cette classe est composée d’élèves moins intelligents, mais qu’ils ont peut-être moins exercé les compétences du test en classe.
Il est ensuite intéressant d’observer les résultats obtenus pour chaque question. En effet, certaines questions n’ont pas posé de problème et la totalité des élèves ou presque ont pu y répondre et obtenir tous les points (question 1 par exemple). Tandis que pour d’autres questions (question 12 par exemple) les résultats des élèves sont très variés. Cela est sans doute dû au fait que la question 12 est plus complexe et que, dès lors, les élèves doivent mobiliser plus de ressources pour parvenir à une réponse correcte.
En analysant de manière détaillée les résultats de chaque question pour un élève, on remarque que les difficultés rencontrées varient en fonction des élèves. En effet, certains élèves ont très bien réussi la partie une, alors que d’autres font l’essentiel de leurs points à la deuxième partie du test. Une grille de ce type permet de visualiser les difficultés des élèves directement en lien avec les objectifs. Ainsi, il est plus aisé par la suite de cibler les exercices afin de travailler les objectifs qui n’ont pas été atteints pendant le test.
Le tableau des résultats des élèves montre qu’il n’y a pas une question en particulier qui a posé des problèmes à l’ensemble des élèves. On pourrait en déduire que dans l’ensemble les consignes du test ont été bien comprises. C’est un élément important, car la formulation des questions peut poser problème. En effet, chaque enseignant présente les questions à sa façon et les élèves ont besoin d’un temps d’adaptation pour s’habituer au fonctionnement d’un nouvel enseignant. Afin de ne pas pénaliser les élèves pendant ce laps de temps, il est primordial de se concentrer sur les consignes pour que celles-ci soient en tout compréhensibles par tous. De plus, veiller à ne pas favoriser les bons élèves qui auront plus de facilité à comprendre la consigne. En effet, il ne faut pas évaluer la capacité à comprendre la consigne, mais bien sûr la capacité à y répondre.
À la question deux, par exemple, une élève a vraisemblablement répondu de manière incorrecte à cause du vocabulaire utilisé. En effet, cette élève n’a sans doute pas compris le mot « dynastie », vu qu’elle répond par le nom d’un seul personnage, Charles Martel. Cependant, cette question n’ayant pas posé de problème à la plupart de la classe, il s’agit sans doute d’une difficulté propre à l’élève et non pas en lien avec la consigne.
Analyse des résultats de trois élèves
Je vais à présent regarder les résultats de trois élèves plus particulièrement. Afin de respecter les consignes, je vais analyser les tests d’élèves ayant des résultats différents. Je prends pour cela les élèves 2 (note 6), 5 (note 3.5) et 9 (note 4.5).
Élève 5
L’élève 5 est l’élève ayant eu le plus de difficultés dans le test. Il est donc intéressant d’étudier plus particulièrement ses réponses afin de comprendre les éléments qu’il faudrait retravailler avec elle en classe. Un premier élément concerne la compréhension des consignes. En effet, pour plusieurs questions (1, 2, 4, 5, 7, 9), cette élève perd des points car ses réponses ne sont pas assez précises. À la question 1, par exemple, elle ne donne qu’une partie de la réponse, sans s’apercevoir, a priori, que sa réponse n’est pas suffisamment complète, ou vraiment trop vague comme c’est le cas à la deuxième question. Pour les questions 4 et 5, elle donne un seul argument alors que, dans le livre, ceux-ci sont plus nombreux. Pour l’aider dans sa tâche, il serait judicieux de préciser dans la donnée combien d’arguments l’enseignant attend (comme c’est le cas pour les questions 6, 7, 8). Pourtant, il s’agit sûrement aussi de problème de lecture de consignes. En effet, à la question 7 le nombre d’arguments est donné, mais elle en oublie un. De plus, elle n’a vraisemblablement pas lu jusqu’au bout ou compris la question 8, étant donné qu’elle répond totalement à côté de la question. Il est intéressant de noter que les réponses de la questions huit figuraient dans un encadré violet du livre, et que cette élève a puisé toutes ses réponses dans un autre encadré. Elle n’a donc pas su identifier où elle devait tirer l’information. Elle ne maîtrise donc pas cette compétence. Elle a un outre de la peine à identifier correctement le personnage dans la deuxième partie du document : elle a bien compris quel était le personnage qui se faisait couronner, cependant elle note pas correctement son nom.
Par contre elle ne rencontre visiblement pas de problème ni dans la comparaison des deux documents, ni dans l’analyse des documents (la scène, la date et les personnages sont correctement identifiés).
Élève 9
L’élève 9 a obtenu un peu plus de la moyenne, elle devrait donc avoir atteint le degré de maîtrise minimum pour chacune des compétences évaluées dans le test. Dans la première partie, elle obtient 13 points sur 15. La première compétence est donc a priori maîtrisée. Lorsqu’on regarde ses réponses, il paraît évident que son erreur à la question deux est une erreur d’inattention. En effet, elle répète un élément de la donnée à la place d’y répondre. Mon hypothèse est qu’elle n’a pas lu la donnée jusqu’au bout et s’est arrêtée au mot dynastie. Elle peut également avoir été distraite en répondant.
Par contre, la deuxième partie a posé plus de problèmes à cette élève. En effet, elle a d’abord perdu des points (question 9) par une réponse trop vague (là aussi une précision de la question de la part de l’enseignant lui aurait facilité la tâche), puis par une identification peu claire (question 10a), qui donne l’impression qu’elle a tiré une information du texte sans l’avoir comprise. Et enfin, par une identification fausse à la question 12 : elle a bien identifié une date dans le texte, mais n’a, a priori, pas vérifié que cette date corresponde à l’événement de la scène. Mon hypothèse est qu’elle a noté la première date repérée dans le texte sans le lire totalement. Elle peut également avoir des difficultés soit dans la comparaison des documents, soit dans la compréhension des documents. Ainsi, même si elle obtient une note supérieure à la moyenne, elle ne maîtrise pas totalement la deuxième compétence.
Élève 2
L’élève 2 a obtenu la note 6 à son test. Elle devrait donc maîtriser parfaitement les compétences évaluées. Cela semble le cas. En effet, lorsque l’on regarde sa réponse à la question 4, on peut voir qu’elle ne s’est pas limitée à recopier les arguments du livre, mais les a classés. Elle a rassemblé deux arguments (« propager le christianisme » et « convertir les païens ») et montre ainsi qu’elle considère que ces deux arguments n’en sont en fait qu’un seul. Cela illustre, selon moi, qu’elle a compris ce qu’elle écrivait.
Dans la deuxième partie, elle arrive également à être très précise dans ses réponses et montrer ainsi qu’elle a compris non seulement la question mais aussi ce qu’on attendait d’elle. En effet, à la question 10, elle ne se contente pas de désigner un élément de la scène qui lui a permis d’identifier les personnages, mais elle cite un élément du texte puis le mets en évidence sur l’image. Elle a donc en effet comparer les documents et réussi à en tirer des informations.
Cette élève maîtrise donc les compétences évaluées dans ce test.
Analyse de l’évaluation
Le test a été très bien réussi par les élèves et ils ont eu bien assez de temps pour le finir. Je me demande alors si le test n’était pas trop facile pour eux. En effet, aucun élève ne semble avoir rencontré de problème majeur, alors que beaucoup d’entre eux semble avoir eu de la facilité. Dès lors, il doit être possible de leur demander plus, afin de les stimuler et d’approfondir leurs compétences. En effet, avec des exercices de ce type, les élèves n’acquièrent pas de nouvelles compétences car ils restent dans un savoir-faire ou même un « savoir refaire »[3]. Il faudrait donc amener les élèves vers de nouvelles situations pour dépasser le stade de la compréhension mais exercer l’application puis l’analyse et la synthèse.
Une des consignes données pour la préparation de ce test significatif était qu’il devait y avoir une question de niveau 4 de la taxonomie de Bloom. J’ai choisi de demander aux élèves de comparer deux documents historiques afin d’en tirer des informations. Il s’agit de la deuxième partie du test, c’est-à-dire les questions 9 à 12. Je pense qu’il s’agissait d’un exercice relativement complexe, étant donné que les élèves ne connaissaient ni le sujet, ni les documents donnés, ce qui a pu les induire en erreur. À titre d’exemple, une élève a pensé que « Grandes Chroniques de France », donné en légende était en fait le nom de l’événement décrit. De plus, le texte n’était pas aussi facile qu’il n’y paraissait. En effet, le texte comportait non seulement un vocabulaire non maîtrisé par certains élèves, mais il relatait également deux événements et il s’agissait, pour les élèves, d’identifier lequel de deux était illustré sur la scène à analyser. Les élèves ont donc bien dû comparer ces deux documents afin de répondre aux questions. Je pense que le niveau quatre de la taxonomie a été atteint. Cependant, il aurait été intéressant de moins leur « mâcher » le travail en décomposant l’analyse en une série de questions, mais de leur poser une question plus générale et observer la manière dont ils arrivent à analyser l’image.
Il est en outre important de revoir quelles sont les tâches que l’on recherche à évaluer dans ce test. En effet, bien que les questions paraissent toutes différentes, il apparaît à la lecture de la grille de critères que finalement la plupart des questions évaluent la même compétence, c’est-à-dire identifier et tirer des informations d’un ouvrage de référence. Certes, il est bien de se limiter à une ou deux compétences évaluées dans un même test, mais il serait par contre judicieux de varier les degrés de complexité. En effet, quasiment toutes les questions posées relèvent du même niveau de la taxonomie de Bloom, alors qu’il aurait été intéressant d’en varier la complexité, afin de connaître vraiment le degré de maîtrise des élèves. Ainsi, à la place de poser des questions fermées sur le texte de référence, il serait possible de demander une réflexion aux élèves, leur demander un résumé par exemple.
Cependant, pour évaluer des compétences, il faut les travailler en classe. Comme les élèves n’ont pas l’habitude, il faut donc les introduire progressivement. « En effet, la qualité première d’un outil d’évaluation doit être sa pertinence par rapport au système dans lequel il s’insère. À quoi servirait-il de déclarer vouloir développer des compétences si l’évaluation des acquis, qu’elle soit formative ou certificative, ne se fonde que sur la maîtrise de savoir-reproduire et/ou de savoir-faire isolés, aussi performants soient les outils utilisés ? Inversement, il serait absurde de vouloir évaluer les acquis scolaires par l’intermédiaire de situations complexes si la résolution de problèmes n’a pas fait préalablement l’objet d’un apprentissage systématique, que celui-ci soit permanent ou ponctuel. » [4] Les compétences sont donc à travailler en classe et, avant de demander aux élèves une analyse sans canevas de questions, il est primordial qu’ils aient pu l’exercer plusieurs fois en classe, ce qui n’a pas été le cas pour ce test, mais qui doit être un élément à travailler de manière transversale, quel que soit le sujet traité en classe.
De plus, j’ai remarqué en classe, lors d’analyses d’image, que les élèves ont de la peine à saisir l’importance d’une description avant de passer à l’analyses. Quand je leur demande d’analyser une image, ils me disent directement tel personnage est X, la scène représente la situation Z, sans comprendre que pour pouvoir faire de telles affirmations ils doivent être en mesure de les justifier, d’où l’importance de la description. Cet élément est également à travailler en classe.
Faire une grille détaillée sur les critères d’évaluation, à l’avance, aurait sans doute permis de voir que tout évaluait la même compétence. En effet, pour la plupart des questions, il s’agit essentiellement de rechercher des informations dans des documents, ce qui relève du niveau de la compréhension selon la taxonomie de Bloom.
De plus une évaluation par degré de compétence aurait permis une meilleure pondération des résultats. Alors que dans le cas de ce test significatif, deux critères reviennent quasiment à toutes les questions : la pertinence et la complétude. Et, pour ces critères la pondération est quasiment nulle : soit l’élève répond correctement et l’élève obtient la totalité des points, soit la réponse est fausse et l’élève n’obtient aucun point.
Propositions de remédiation
Il serait judicieux d’apporter quelques modifications au test. Tout d’abord, préciser certaines consignes afin que les élèves comprennent mieux ce que j’attends d’eux. Ainsi, aux questions 4 et 5, il serait possible de rajouter entre parenthèse le nombre d’arguments attendus. Je changerai également la dotation des questions 6 à 8. En effet, ces questions rapportent beaucoup de points aux élèves qui la réussissent, mais finalement n’évaluent qu’une compétence limitée. De plus, nous pouvons remarquer, à l’aide du tableau des résultats des élèves, deux cas de figures : soit l’élève trouve l’information dans le livre et obtient la totalité des points, soit l’élève ne la trouve pas et n’obtient aucun point. Dès lors, donner trois points paraît gratifier ou sanctionner de manière importante face aux autres questions. Les questions dotées du plus grand nombre de points devraient être des questions demandant aux élèves des activités complexes, qu’il est possible de pondérer. Les questions de complexité faible devraient donc être moins dotées.
Il serait également intéressant de modifier la complexité de certaines questions, afin d’avoir une progression dans la difficulté et examiner des tâches de niveaux variables de la taxonomie de Bloom. Ainsi, les exercices de la page une, par exemple, n’évalueraient pas tous la même compétence. Pour cela, au lieu de poser uniquement des questions précises pour lesquelles l’élève n’a qu’à rechercher la réponse dans le texte, le test pourrait comporter quelques questions ouvertes, pour lesquelles l’élève doit développer sa réponse et donc ne plus faire du recopiage. Demander à l’élève de faire un résumé serait un excellent moyen de vérifier la compréhension de l’élève, tout en le faisant travailler des compétences de niveau élevé dans la taxonomie de Bloom. Cependant, avant de demander une telle tâche à un élève, il est primordial de pouvoir l’exercer en classe avant le test, ce qu’ils n’ont pas du tout l’habitude de faire. Ainsi, il peut être judicieux de commencer par demander aux élèves de reformuler les réponses et non pas recopier les éléments du livre. Ainsi, une première réflexion est nécessaire et cela permet à l’enseignant d’observer le niveau de compréhension des élèves. En effet, un élève peut avoir la capacité de trouver une information dans le livre et la copier sans pour autant comprendre ce qu’il copie. Une fois que l’élève arrive à reformuler sans difficulté, l’enseignant peut proposer des tâches plus complexes pour arriver à la capacité de faire un résumé.
Je changerai aussi les consignes de la deuxième partie du texte afin de moins guider les élèves dans l’analyse de l’image et de les inciter à une comparaison plus précise des deux documents. C’est une activité que j’ai continué à exercer en classe et que j’ai réexaminée dans le test suivant. En comparant les résultats des deux tests, je remarque que les élèves ont beaucoup de peine à expliquer la démarche qui leur a permis l’identification la scène. Il est donc important d’exercer avec eux également le discours argumentatif. Cependant il ne faut pas oublier que les compétences doivent être évaluées graduellement et qu’il est bien qu’un premier test évaluant celles-ci ne mette pas les élèves devant une difficulté trop importante, afin qu’ils restent dans leur zone proximale de développement.
Deux éléments amélioraient encore la qualité du test. D’une part, même s’il s’agit d’un test à livre ouvert, donner clairement les objectifs aux élèves et leur expliquer quelles seront les compétences évaluées. Et d’autre part, afin de faire un test adapté au niveau des élèves, il serait possible de faire préalablement une évaluation diagnostique ou un test formatif.
Conclusion
Analyser de la sorte un test significatif permet de s’apercevoir qu’évaluer n’est pas une tâche si facile, mais au contraire extrêmement complexe de l’élaboration du test à la mise de notes. Cet exercice était donc bien intéressant.
Cependant je m’interroge sur la faisabilité des évaluations par compétences en classe. Bien évidemment, vu que c’est une exigence du Plan d’Etudes vaudois, c’est à cela que les enseignants doivent tendre. Mais, lorsque l’on regarde ce qu’il se passe dans la pratique de nos stages, le résultat est bien différent : la plupart des enseignants que j’ai rencontrés réalisent avant tout des évaluations de connaissances. Cela s’explique en partie par la difficulté de la tâche si l’on veut réaliser une évaluation par compétences. En effet, « la compétence se définit comme un savoir-agir ou comme la capacité à mobiliser ses savoirs, savoir-faire et savoir-être ou d’autres ressources. Elle ne se réduit pas à un exercice, à une capacité abstraite, à un corpus de connaissances, ou à un ensemble de savoir-faire. La notion de compétence se démarque de la notion d’objectif, en ce qu’elle relève de la vie de tous les jours et non d’aspects d’ordre scolaire.» [5] De plus, affirmer qu’un élève maîtrise une compétence est extrêmement subjectif : l’élève a surtout réussi à accomplir une tâche dans un contexte particulier à un moment particulier. Dans un autre contexte, l’élève va-t-il pouvoir réutiliser cette compétence ? Les compétences ne peuvent être évaluées de la même manière que les connaissances. C’est pour cela que, selon F.-M. Gerard, on devrait « donner à l’élève au moins trois occasions indépendantes l’une de l’autre de démontrer sa compétence […]. On considérera qu’un élève maitrise un critère lorsqu’il réussit au moins 2 des 3 occasions qui lui sont offertes. » [6]. Et, pour conclure, j’aimerais reprendre Geneviève Meyer, qui nous rappelle que « toute compétence reste invisible. On évalue que des résultats, seules traces visibles des compétences. »[7]
Bibliographie
BOUHON M. & DAMBROISE C. (dir.) (2002), Evaluer des compétences en classe d’histoire, Louvain-La-Neuve : Unité de didactique de l’Histoire de l’Université catholique de Louvain.
CRAHAY M. (2006), “Dangers, incertitudes et incomplétude de la logique de la compétence en éducation”, in Revue française de pédagogie, n° 154, janvier-février-mars 2006, pp. 97-110.
GERARD, F.-M. (2005), L’évaluation des compétences à travers des situations complexes, Actes du Colloque de l’Admee-Europe, IUFM Champagne-Ardenne, Reims, 24-26 octobre 2005.
MEYER G. (1995), “Pratiquer l’évaluation normative en classe”, in Meyer G., Evaluer : pourquoi ? comment ?, Paris : Hachette, pp. 38-42.
SCALLON G. (2007), L’évaluation des apprentissages dans une approche par compétences, Bruxelles : De Boeck.
Cadre général de l’évaluation
http://www.vd.ch/fileadmin/user_upload/organisation/dfj/sg-dfj/fichiers_pdf/CGE.pdf
Plan d’études vaudois
http://www.vd.ch/fileadmin/user_upload/organisation/dfj/dgeo/fichiers_pdf/PEV2008-B-789.pdf, page 111
Pièces jointes:
Grille des critères d’évaluation
[ 1] À titre d’exemple, un élève a répondu, à la question 3, « en 768 avant J.-C. ». De mon point de vue, la réponse est incorrecte car il s’agit d’un non-sens. Cependant, la réponse a été acceptée comme totalement acquise, étant donné que, selon mes collègues, l’élève a réussi à identifier clairement le nombre 768.
[2] Les critères de réussite sont détaillés sur un second tableau afin de favoriser une meilleure visibilité. Ce deuxième tableau se trouve bien évidemment également en lien sur la page.
[3] DAMBROISE C., BOUHON M. (dir.) (2002) , Évaluer des compétences en classe d’histoire, Louvain-la-Neuv, Unité de didactique de l’Histoire de l’Université catholique de Louvain
[4] GERARD, F.-M. (2005), L’évaluation des compétences à travers des situations complexes, Actes du Colloque de l’Admee-Europe, IUFM Champagne-Ardenne, Reims, 24-26 octobre 2005.
[5] SCALLON G. (2007), L’évaluation des apprentissages dans une approche par compétences, Bruxelles : De Boeck, p.124
[6] GERARD, F.-M. (2005), L’évaluation des compétences à travers des situations complexes, Actes du Colloque de l’Admee-Europe, IUFM Champagne-Ardenne, Reims, 24-26 octobre 2005.
[7] MEYER G. (1995), “Pratiquer l’évaluation normative en classe”, in Meyer G., Evaluer : pourquoi ? comment ?, Paris : Hachette, pp. 38-42.
