Voyage en absurdie: les rankings des universités

Chronique rédigée par le comité de Carta Academica, publiée en primeur sur le site du Soir

Durant la période estivale et sa diète de nouvelles «juteuses» les médias font leurs choux gras des classements. C’est l’époque où l’on désigne le footballeur de l’année, l’acteur le mieux payé au monde, l’homme (c’est rarement une femme) qui a amassé la plus grosse fortune, et d’autres classements encore. C’est aussi l’époque où, chaque année depuis 2003, le Shanghai Ranking Consultancy publie les «Shanghai Rankings». L’édition 2020, publiée le 15 août, a classé Harvard University en numéro un, et deux universités belges (UGent et KULeuven) dans les 100 premiers. Les médias se sont jetés sur ce classement. Certains ont même été jusqu’à titrer «Harvard est la meilleure université au monde, UGent la meilleure université belge». Et les recteurs des universités belges qui ont progressé par rapport à leurs concurrentes de bomber le torse par communiqués interposés. Ils se taisent, par contre, dans toutes les langues lorsqu’ils régressent.

Comparaison n’est pas raison

Il est évidemment absurde de penser qu’une université puisse être «la meilleure du monde», ou que «l’université X serait meilleure que l’université Y». Chaque université remplit des fonctions multiples et se donne des objectifs propres. Comparer la très bonne recherche en biologie de l’une avec l’excellente qualité de l’enseignement en anthropologie de l’autre n’a dès lors aucun sens. Et vouloir rassembler ces caractéristiques vastes et diversifiées dans un chiffre unique, comme en rêvent les obsédés de la gouvernance par les chiffres, est presque une atteinte à l’intelligence humaine et à la dignité de l’université.

Rappelons d’abord qu’il existe plusieurs classements des universités qui sont publiés chaque année par diverses institutions spécialisées. Les plus connus sont ceux du Times Higher Education (THE), Shanghai, Leiden, Quacquarelli Symonds (QS), U-Multirank. Les classements issus de ces diverses institutions sont tous différents, car les critères utilisés le sont. Ainsi, le dernier classement du THE, tout aussi «réputé» que celui de Shanghai, a comme podium Oxford, California Institute of Technology, puis Cambridge; Harvard s’y classe 7e et la première belge est la KULeuven. Catastrophe donc: les journaux qui ont clamé que Harvard est la «meilleure» université au monde, et UGent la meilleure en Belgique, nous ont trompés. Oui, bien entendu, car tout dépend des critères utilisés par ces instituts de classements.

Le seul bon enseignement est-il celui qui produit des Prix Nobel?

Et puisque c’est le classement de Shanghai qui a agité le petit monde universitaire et les médias en plein mois d’août, penchons-nous sur ses critères. Ils sont au nombre de 5, dont 4 sont relatifs à la recherche et comptent chacun pour 20 %: le nombre de Prix Nobel en physique, chimie, médecine et économie, ainsi que de Médailles Fields en mathématiques; le nombre d’articles publiés dans les revues Nature et Science; le nombre d’auteurs très fortement cités; et le nombre total de citations. Remarquons que les Prix Nobel en littérature ne sont pas comptabilisés, et que les sciences sociales et humaines sont quasiment exclues de ces rankings. Et l’enseignement? Il n’est pas tout à fait oublié: il compte pour 10 % du total des points, qui sont fonction du nombre d’anciens étudiants de l’université qui ont obtenu un Prix Nobel. Une université qui ne produit pas une flopée de futurs Prix Nobel est donc considérée comme dispensant un enseignement de piètre qualité. À l’énoncé des critères des Shanghai rankings, on comprendra tout de suite que qualifier une université de meilleure au monde parce qu’elle arrive au top de ce classement est absurde. C’est un peu comme si on classait comme meilleur footballeur de l’année celui qui a marqué le plus de buts en retourné acrobatique. Certes, il doit être excellent, mais d’autres que lui ont peut-être marqué beaucoup plus de buts, fait plus de passes décisives ou démontré des qualités de meneur de jeu bien supérieures.

Any number beats no number

Les critères de performance scientifique ont fait leur irruption dans le monde scientifique au début des années 2000, et ont envahi tous les aspects de la recherche: évaluation individuelle du chercheur par le fameux h-index (1), évaluation de chaque revue scientifique par le Facteur d’Impact (FI), évaluation des universités par les rankings. Cette irruption était soutenue par les pratiques managériales du New Public Management qui ont envahi nos universités et nos services publics. «Any number beats no number» était le nouveau leitmotiv, ce que l’on peut traduire par «Donnez-moi un nombre, quel qu’il soit». Le rêve des évaluateurs et des décideurs! Un seul chiffre (le h-index) permet d’affirmer que tel chercheur est meilleur qu’un autre. L’engouement des décideurs pour ces «indicateurs de performance» a été tel que certaines institutions et universités ont exigé que les candidats à des postes, des bourses ou des Prix scientifiques indiquent leur h-index sur leur CV, et qu’ils notent le Facteur d’Impact des revues pour chacune de leurs publications. Évaluer un chercheur ou un groupe de recherche sur base d’un indicateur chiffré est tellement facile et tentant que, par paresse, beaucoup de membres des commissions d’évaluation basent leur jugement principalement sur cette nouvelle «science» appelée bibliométrie.

Des effets délétères sur la qualité de la recherche

Comme l’a montré Manuela Cadelli (4), quand un indicateur s’introduit dans un domaine, il avance masqué en se présentant comme un instrument de mesure. Mais il devient très rapidement prescripteur des comportements des agents qu’il est censé évaluer, puisque ceux-ci sont récompensés lorsqu’ils s’y conforment. Cette tendance lourde à adapter son comportement aux normes de l’indicateur peut induire une transformation profonde, voire une dénaturation de la profession.

Cette course aux chiffres a en effet rapidement produit des effets délétères sur la qualité de la recherche et sur la carrière des chercheurs, en particulier les jeunes chercheurs. Elle a détérioré la crédibilité des revues scientifiques. La publication est devenue une unité monétaire qui a dévalué dramatiquement sous l’effet de la course forcenée aux publications. Elle a enfin entraîné les universités dans des courses folles et coûteuses à la concurrence, les objectifs de qualité de la recherche, de l’enseignement et du service à la société étant remplacés par des objectifs visant à améliorer leur score dans les classements.

Les indicateurs tuent la recherche créative

L’objectif d’un jeune chercheur qui veut faire une carrière académique n’est plus de s’attaquer à des problèmes de recherche véritablement novateurs mais qui présentent un risque d’échec. Il va plutôt se lancer dans des avenues déjà largement explorées où il pourra rapidement produire plusieurs publications qui seront citées par les pairs de ce domaine déjà bien établi. Même des chercheurs confirmés seront enclins à adopter cette stratégie, car ils doivent se préoccuper de leur promotion, de l’obtention de crédits de recherche, voire de Prix. Il faut parfois de longues années avant qu’un véritable pionnier, qui s’est lancé dans une toute nouvelle direction de recherche, soit reconnu et bien cité. Les pionniers et les découvertes de rupture, nécessitant de prendre ces risques, se font donc rares. Or c’est précisément le rôle des universités d’innover, de créer des ruptures et des précédents.

Compétition sans merci

Il va sans dire que l’instauration de telles pratiques entraîne de nombreux effets pervers dont des dégâts sur le bien-être des chercheurs: la santé mentale des doctorants, en première ligne et soumis à une compétition sans merci pour espérer accéder à un poste académique, est par exemple particulièrement préoccupante, notamment en Belgique (5). On peut également citer la fraude, favorisée par un climat de compétition, et qui se manifeste par une augmentation énorme du nombre de retraits de publications scientifiques ces dernières années (6) (7).

Les pires dégâts ont été opérés dans les revues scientifiques, où c’est le Facteur d’Impact (FI) qui fait la loi. Il mesure le nombre de publications de la revue qui ont été citées pendant les 2 ou 5 ans après la publication. Pour augmenter leur FI, certaines revues ont été jusqu’à n’accepter de publier un article que si l’auteur citait un nombre suffisant d’articles parus dans cette même revue. Les disciplines, comme l’histoire, le droit ou la philosophie, où c’est la monographie qui fait référence, sont malmenées car elles sont difficiles à quantifier. L’obsession du chiffre fait dévoyer la science.

Quant aux universités, certaines ont déployé d’énormes efforts et dépensé d’importantes ressources pour «grimper dans les rankings». Il faut savoir que rien qu’y figurer coûte déjà cher. En effet, chaque université qui souhaite se retrouver dans les «1.000 meilleures universités du monde» a dû mettre en place des équipes qui ont pour tâche d’alimenter les institutions de rankings en un nombre incalculable de données. Et les demandes de ces institutions ne font que s’accroître au fil du temps.

Le marché des stars: footballeurs et académiques

La chasse au meilleur classement a engendré un véritable marché au niveau des académiques, que l’on s’arrache comme des stars de football. Certaines universités engagent des académiques «prestigieux» pour de courtes durées en leur imposant, à l’avenir, de citer cette université dans leurs publications.

Ces dérives multiples, qui se sont développées sur un court laps de temps, ont amené la communauté des chercheurs, ainsi que certains experts en évaluation scientifique, à sonner le tocsin. De multiples colloques et ouvrages ont été consacrés à l’évaluation scientifique. En 2011 paraissait un ouvrage collectif sur l’évaluation de la recherche en sciences humaines, très critique par rapport aux indicateurs qui étaient en train de s’imposer (8). En 2013 l’Academia Europaea organisait un colloque à Stockholm sur le thème «Bibliometrics: Use and Abuse in the Review of Research Performance» (9). En 2016 l’Académie Royale des Sciences organisait à son tour un colloque sur «L’évaluation des sciences en question(s)» (10).

Des critères objectifs…

Des experts en évaluation scientifique ont élaboré des critères de qualité auxquels doivent répondre les rankings des universités sous peine de perdre toute crédibilité. C’est ainsi que cinq critères ont été proposés par Yves Gingras (11) et Michel Gevers (12). Sans entrer dans les détails, assez techniques, ils précisent que l’indicateur de performance utilisé doit être en adéquation avec l’objet qu’il mesure: il doit tenir compte de l’inertie de l’objet mesuré (la qualité d’une université ne change pas en une année); il doit être homogène (2); il doit être insensible à de petites variations dans les données et ne peut donc être basé sur de tout petits nombres; il doit enfin être normalisé par rapport à la discipline, la taille de la communauté scientifique correspondante et la période.

… violés par le ranking de Shanghai

À titre d’illustration, un ranking qui aurait pour effet qu’une université dépasserait, en un an de temps, 40 de ses concurrentes parce qu’un de ses professeurs a obtenu un Prix Nobel pour un travail effectué 30 ans plus tôt violerait plusieurs de ces critères.

À l’exception du U-Multirank, les rankings qui ont pignon sur rue violent plusieurs de ces cinq critères de qualité. Le ranking de Shanghai les viole tous. L’attention que lui portent encore aujourd’hui les médias et pas mal de responsables universitaires est dès lors atterrante. Elle souligne la dérive managériale qui pèse sur l’Université comme sur nombre d’institutions de service public et montre à quel point la fascination du nombre est un piège puissant. La volonté de marchandisation de l’université exige aujourd’hui de faire du chiffre! Ce piège fonctionne encore, dans les médias, chez certains recteurs, et hélas, chez de plus en plus d’étudiants.

Si l’université ne retrouve pas ses valeurs, elle périra comme la grenouille

Les milieux scientifiques et beaucoup de professionnels de l’évaluation scientifique ont pris conscience des dangers mortels que représente cette obsession des indicateurs pour l’avenir de nos universités et d’une recherche de qualité. Ainsi, à partir de 2010, l’Australian Research Council (ARC) avait-il classé des milliers de revues scientifiques en quatre catégories censées représenter leur qualité. Ce classement a été utilisé dans le monde entier par des commissions d’évaluation, mais a soulevé tant de critiques que l’ARC a arrêté de le produire trois ans après sa création. La charte DORA (3), signée par plus de 2.000 organisations et institutions scientifiques, établit notamment que le Facteur d’Impact d’une revue ne peut pas être utilisé pour juger les qualités d’un chercheur.

En tentant de «grimper dans les rankings» chaque université tente de coller au moule imposé par les indicateurs de performance, eux-mêmes calqués sur le modèle des grandes universités anglo-saxonnes qui disposent de moyens presque illimités. Il est temps que les médias comprennent qu’il n’y a pas de meilleure université au monde, et que nos autorités universitaires se rappellent que chacune de nos universités a des valeurs, des spécificités et des objectifs qui lui sont propres, et qui ne se résument pas à un chiffre. Et qu’à force d’avoir l’œil rivé sur les classements et de jouer à la grenouille qui veut se faire plus grosse que le bœuf, elles risquent bien de se retrouver un jour à la tête d’une institution qui n’a plus rien d’une université. Nos institutions universitaires s’honoreraient à prendre la tête d’un mouvement qui viserait, en les refusant et en ne s’y soumettant plus, à sortir de la spirale destructrice qu’engendre ce genre d’évaluations et de classements.

(1) Le h-index a été inventé par J.E. Hirsch, physicien de UC San Diego, en 2005; il a connu un succès foudroyant. Un chercheur a un h-index de 20 si 20 de ses articles dans des revues scientifiques sont cités chacun au moins 20 fois par d’autres chercheurs, mais qu’il n’a pas 21 articles cités par au moins 21 chercheurs. (2) Pour dire simple: il ne doit pas mélanger des pommes et des poires. (3)  San Francisco Declaration on Research Assessment. (4) Manuela Cadelli, Radicaliser la justice, Samsa, 2018, pages 144 et suivantes. (5) K. Levecque, F. Anseel, L. Gisle, J. Van der Heyden & A. De Beuckelaer, The mental health of PhD students in Flanders, ECOOM. (6) R.G. Steen, A. Casadevall & F.C. Fang (2013). Why has the number of scientific retractions increased?, PloS one, 8(7), e68397. (7) S. Gutwirth, & J. Christiaens, Les sciences et leurs problèmes: la fraude scientifique, un moyen de diversion?, Droit en contexte. Revue Interdisciplinaire d’Etudes Juridiques, 2015.74, 21-49. (8) Paul Servais coord., L’évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs, Louvain-la-Neuve, Bruylant-Academia, 298 pages, 2011. (9) Academia Europaea, Bibliometrics: Use and Abuse in the Review of Research Performance, Blockmans, Wim, Engwall, Lars and Weaire, Denis (eds.), Portland Press, London, 2014. (10) Edwin Zaccai coord., L’évaluation de la science en question(s), ouvrage collectif, Académie Royale de Belgique, 176 pages, 2016. (11) Yves Gingras, Bibliometrics and research evaluation: Uses and abuses, MIT Press, 2016. (12) Michel Gevers, Scientific performance indicators: a critical appraisal and a country by country analysis, in Bibliometrics: Use and Abuse in the Review of Research Performance, Blockmans, Wim, Engwall, Lars and Weaire, Denis (eds.), Portland Press, London, 2014.