[Evaluation] Débat : Classement de Shanghai, un palmarès pas très classe !
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Alain Beretz, Université de Strasbourg
Chaque été sort le 15 août la nouvelle mouture du « classement de Shanghai » – plus précisément le classement de l’Université Jiao Tong de Shanghai. Son but initial était de situer les universités chinoises par rapport à leurs homologues américaines. Il peut d’ailleurs « être considéré comme le symptôme du goût traditionnel de la civilisation chinoise pour l’ordonnancement et la classification ».
Sorti des frontières chinoises depuis sa création en 2003, ce classement est devenu au fil des années un outil de comparaison universel, non seulement des universités mais aussi des pays entre eux. Cependant, la communication qui l’entoure n’est-elle pas disproportionnée par rapport à sa qualité technique ?
Une méthodologie à questionner
Notons d’abord que ce classement se concentre exclusivement sur l’activité de recherche des établissements. Certaines disciplines, comme les sciences humaines et sociales, n’y sont pas prises en compte.
L’activité d’enseignement n’y est pas évaluée, pas plus que la vie étudiante, les activités culturelles ou l’insertion dans les territoires. Autant de dimensions qui sont pourtant essentielles pour un futur étudiant voulant juger de la « qualité » d’une université. Globalement, ce classement favorise les universités qui sont fortes en sciences expérimentales, situées dans les pays où l’on parle l’anglais.
Sa méthodologie soulève aussi les critiques, sur le plan de la bibliométrie, de ses indicateurs, imparfaits et biaisés, de la difficulté d’homogénéiser les données entre plusieurs pays. C’est le jugement subjectif du fournisseur du classement qui détermine les indicateurs les plus importants, sans aucune justification théorique, et qui les impose de fait aux utilisateurs.
Plus généralement, il est aberrant qu’un classement qui se base sur une seule note globale puisse refléter la qualité d’une université, structure très complexe et diverse. C’est un peu comme s’il s’agissait de désigner la meilleure voiture du monde. Une Zoé est-elle une « meilleure » voiture qu’une Porsche ou une Kangoo ? Cela dépend bien sûr de l’usage du véhicule, du budget qu’on peut lui consacrer, et aussi de paramètres subjectifs (esthétique, « marque préférée » etc..). Alors pourquoi fait-on pour les universités ce qu’on ne se permettrait pas de faire pour l’automobile ?
Une perversité dans les usages
Même faux, même biaisés, les classements ne poseraient pas un gros problème s’ils n’étaient pas devenus un produit de consommation, une aubaine commerciale et même un dangereux outil de management stratégique.
Revenons sur les différentes catégories de « consommateurs » de classements. Au départ, les classements s’adressaient aux étudiants et à leurs familles, afin de les aider à effectuer leurs choix. C’était le cas du premier d’entre eux, celui de US News and World report en 1983, puis aujourd’hui du « classement de Shanghai ».
On aboutit ainsi à des sortes de « Guides Michelin » des universités. Comparaison intéressante, car on sait que la légitimité du guide rouge a été fortement remise en cause, à la fois sur des questions de méthodologie (système ancien, flou, manque de transparence), mais aussi d’usage (pression accrue sur les bénéficiaires).
Mais la comparaison s’arrête là : si je fais confiance à une mauvaise évaluation dans un guide gastronomique, je ferai, au pire, un mauvais repas. Si je n’utilise que les classements pour choisir mes études, je risque de faire un mauvais choix de vie !
Autres usagers des classements, les entreprises. Elles embauchent quelquefois plus un diplôme « bien classé » qu’une personne. Dans notre pays, cette tendance existe dans le privé mais aussi dans la fonction publique avec l’exception culturelle des « grands corps », où certaines écoles ont le monopole de certains emplois.
Les universités elles-mêmes peuvent être tentées de les utiliser pour sélectionner un partenaire étranger. Mais elles peuvent, hélas, aussi construire une stratégie visant à progresser dans les classements, plutôt que se concentrer sur leurs objectifs fondamentaux : qualité des formations, compétitivité des recherches, services rendus à la société. On passe ainsi du classement comme simple « élément d’information et de contexte » à un « élément d’une stratégie ».
Enfin, l’État a pu considérer la progression dans les classements comme objectif stratégique pour ses universités. De même, le risque existe de voir les classements pris en compte par des organismes de contrôle ou comme variables dans des algorithmes d’attribution de ressources.
Du commercial au politique
Oui, le classement des universités « fait vendre ». Il s’insère dans la passion de la presse magazine pour les palmarès en tous genres, et est devenu un des principaux marronniers de la presse estivale. L’analyse sémantique montre que c’est paradoxalement la contre-performance des établissements français qui fait évènement (« les universités françaises piétinent », « les universités françaises restent en retrait »…).
Comme un club de football, les principaux classements commercialisent aussi de lucratifs produits dérivés : consultance, publicités, congrès, salons, aides à la rédaction de candidatures…
La manière dont les universités ou les gouvernements communiquent sur ces classements ne peut qu’augmenter ce véritable cercle vicieux qui transforme le classement d’un simple outil en un objectif stratégique. On ne devrait pas commenter la place de nos universités dans ces classements avec un vocabulaire sportif : les universités ne sont pas dans un championnat.
Les classements transformeraient-ils l’enseignement supérieur en terrain de championnat ?
Shutterstock
Il existe malgré tout un effet positif à cette médiatisation, celui de voir le public s’intéresser à un succès académique. Mais alors, pourquoi aussi peu d’écho à d’autres réussites ? Ainsi, l’attribution à Martin Karplus, professeur à l’université de Strasbourg et à Harvard, du prix Nobel de chimie 2013, est passée quasiment inaperçue en France.
L’appétence pour les classements ne reflèterait-elle qu’un manque d’information sur la science et l’université ? L’importance prise par les classements comme celui de Shanghai comblerait-elle un vide créé par des universités ne communiquant pas assez avec le grand public ?
Évaluer, et non classer
On pourrait dire que tout cela est un argument de « mauvais perdant » : moins bien on est classé, plus on critique les classements ! Or la LERU (League of European Research Universities), qui regroupe les universités européennes les mieux classées, a adopté une position très claire :
Les classements sont, au mieux, sans rapport avec les valeurs de l’université ou, au pire, les saperont. Ils encouragent la convergence vers un modèle dominé par la recherche, réduisant la diversité du système et sapant le potentiel de contribution à la société par d’autres moyens (..) Cela pourrait conduire à une culture obsessionnelle de la mesure et du contrôle, et promouvoir l’idée d’« universités-supermarchés ».
Mais attention, questionner les classements, mettre en cause leur importance, discuter leur fiabilité ne veut pas dire que les universités ne veulent pas être évaluées, puisque l’évaluation est dans leur quotidien.
Répétons-le, on ne peut pas résumer la diversité et la richesse de nos universités par des chiffres à la fiabilité contestée. Le but de l’université n’est pas de figurer dans les classements. Elle travaille à la réussite de ses étudiants, pour qu’ils approfondissent le plus loin possible leurs savoirs. Elle se consacre à une recherche à la fois désintéressée et tournée vers la société, toute la société. C’est à l’aune de ces objectifs fondamentaux que la qualité de l’université devrait être regardée, analysée, commentée, mais sans classer.
Alain Beretz, Professeur, Université de Strasbourg