[Science ouverte] Les belles histoires de la science ouverte : Vers une « évaluation par les pairs » accessible à tous
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Alex O. Holcombe, Professor, School of Psychology, University of Sydney
Il y a une vingtaine d’années, trouver des avis sur des restaurants n’avait rien d’évident, à l’exception de ceux publiés par les restaurateurs eux-mêmes.
Aujourd’hui, grâce à Internet, il est très simple d’avoir accès à des points de vue d’autres consommateurs. Il serait grand temps que cela soit aussi le cas dans le domaine de la recherche scientifique.
Dans sa façon de communiquer ses avancées au public, la science reste un domaine imparfait. Les découvertes sont souvent rendues possibles grâce à de nouveaux appareils ou des procédés inédits. Mais, le plus souvent, leur portée et les travaux qui y sont associés nous échappent. « Si nous savions ce que nous faisions, on ne parlerait pas de recherche », aurait dit Einstein un jour.
Si l’humilité est de mise dans la recherche, ce n’est pas toujours le cas dans les comptes-rendus de nouvelles études scientifiques qui font la une des grandes revues et la façon dont les chercheurs eux-mêmes présentent leurs travaux. Les scientifiques ont en effet parfois à asséner leurs conclusions sans admettre la remise en cause. Il leur arrive aussi d’être quelque peu présomptueux, tellement ils sont convaincus de la large portée de leurs découvertes.
Chez les scientifiques, comme chez la plupart des gens, les partis pris sont inéluctables. Pour éviter de pêcher par excès de confiance, il est donc indispensable de tenir compte d’avis divergents. Hélas, les désaccords entre chercheurs sont systématiquement passés sous silence.
Les nouvelles découvertes font l’objet d’une « évaluation par les pairs ». Si cette procédure permet bien souvent de faire ressortir toute la complexité, les interrogations et les divergences qui entourent les travaux de pointe, les conclusions qui en découlent ne sont pas rendues publiques.
Par conséquent, les activités scientifiques sont perçues par le grand public comme étant beaucoup plus fiables, universelles et irréfutables qu’elles ne le sont en réalité.
La procédure d’évaluation par les pairs
Les êtres humains se caractérisent par leur parti pris. Ouvertement ou non, les chercheurs ont donc tendance à donner crédit à leurs théories.
Bien heureusement, les scientifiques sont régulièrement amenés à confronter leurs points de vue. Dans le cadre de la présentation de mes travaux, je suis souvent obligé de remettre en cause mes hypothèses et les méthodes employées pour y parvenir. Je dois donc parfois reconnaître que mes détracteurs ont raison sur certains points.
Une grande partie de ces échanges ont lieu dans les colonnes des revues spécialisées. Lorsque je propose un article, un responsable de la rédaction des revues le soumet à deux ou trois autres chercheurs. Ces « pairs », qui comptent généralement parmi les plus grands experts mondiaux du sujet concerné, sont chargés de vérifier l’article et les travaux qui y sont présentés.
Aux observations formulées par ces experts se mêlent des éloges et des critiques, accompagnés de commentaires concernant l’analyse des données, les procédés employés, la rigueur avec laquelle les résultats obtenus ont été confrontés à ceux issus de travaux antérieurs, ou encore la fiabilité des éléments présentés à l’appui des conclusions de l’article.
Même lorsqu’elles sont succinctes, ces évaluations donnent l’occasion aux experts de se prononcer sur certains points d’une publication, ce qui peut présenter un réel intérêt pour les lecteurs.
Il arrive par ailleurs que ces expertises soient particulièrement détaillées et que les informations qui y figurent ne puissent être trouvées nulle part ailleurs. À titre d’exemple, mes trois dernières contributions personnelles comptaient chacune plus de mille mots, ce qui représente au total seize pages d’analyse.
Individuellement, la plupart des commentaires ne présentent que peu d’intérêt pour qui ne connaît pas le domaine scientifique auquel ils se rapportent. En revanche, lorsqu’on les considère dans leur globalité, ils sont susceptibles de renforcer le crédit accordé aux conclusions des travaux concernés.
National Cancer Institute/Unsplash
Les chercheurs qui publient des études donnent généralement suite aux évaluations réalisées par leurs pairs en reprenant certaines de leurs observations, en corrigeant les erreurs flagrantes de leurs travaux et en modifiant certaines parties de leur exposé de manière à écarter tout postulat contestable. Il arrive toutefois que certains s’abstiennent de tenir directement compte des aspects sujets à caution, privant ainsi leurs lecteurs des réserves émises par les pairs dans le cadre des évaluations.
Pour bien faire passer le message principal d’une étude, il faut généralement éviter les digressions lorsqu’on examine les lacunes ou hypothèses sujettes à caution. C’est pour cette raison que je m’efforce de présenter mes articles de façon structurée. Je tiens à ce qu’ils soient irréprochables. Je dois cependant reconnaître que je cherche aussi à ce que les lecteurs ne se rendent pas compte des éventuelles failles dans le raisonnement qui mène à la conclusion de mes travaux.
Une version aseptisée de la science
La majorité des revues scientifiques considèrent que les évaluations par les pairs sont confidentielles. Seuls les auteurs de l’article, les experts qui ont procédé à son examen et les éditeurs de la revue y ont accès. Les lecteurs et le grand public sont donc confrontés à une version aseptisée de la science. Les acteurs de la recherche – qu’il s’agisse d’autres chercheurs, d’ingénieurs, de responsables politiques, de journalistes ou de membres de l’industrie pharmaceutique – sont privés des informations qui figurent dans ces évaluations.
Lorsqu’ils rédigent un article sur une nouvelle découverte, les journalistes sont de fait contraints de faire eux-mêmes procéder à une évaluation indépendante. Ils sollicitent les experts disponibles et leur demandent leur avis sur les éventuels points faibles de l’étude qui les intéresse. Ils cherchent donc à reproduire une démarche déjà accomplie. Les observations qu’ils recueillent sont par ailleurs rarement aussi détaillées que celles issues de la procédure formelle d’évaluation par les pairs, sans compter qu’ils ne procèdent à ce type de consultations que pour une infime partie des nouvelles études qui paraissent quotidiennement.
Si les conclusions de la procédure initiale d’évaluation par les pairs étaient rendues publiques de façon systématique, les articles publiés dans les médias seraient plus critiques et permettraient au grand public de mieux appréhender les travaux scientifiques. Les chercheurs, s’ils étaient en mesure de consulter ces évaluations dès la publication de nouvelles études, seraient quant à eux parfois moins enclins à considérer qu’une découverte est obligatoirement fondée, une tendance en partie responsable de la crise actuelle de la reproductibilité.
Le monde d’après dans le domaine de la recherche
L’année dernière, la propagation de l’épidémie de coronavirus a donné lieu à une prise de conscience générale : les évaluations par les pairs se rapportant aux recherches sur la Covid étaient bien trop précieuses pour demeurer confidentielles. Les chercheurs se sont alors rapidement mis à passer en revue les nouvelles études et à partager leurs observations sur des plates-formes telles que Twitter ou le site de commentaires sur les publications scientifiques PubPeer.
Un certain nombre de ces constatations ont été relayées par des journalistes et ont contribué ainsi au retrait d’une étude discutable consacrée à l’hydroxychloroquine, ainsi qu’à la rectification expresse d’études consacrées aux taux d’infection.
Les débats sur Twitter sont parfois assez houleux, et l’algorithme du réseau social ne contribue pas à mettre en avant les avis nuancés. Compte tenu de ces dérives, certains chercheurs ne se sont pas réjouis du processus d’ouverture des observations, ce qui laisse penser qu’à l’issue de la pandémie, la communauté scientifique risque à nouveau de se replier sur elle-même. En revanche, les initiatives d’évaluation publique par les pairs menées par des chercheurs, et non par des sociétés de réseaux sociaux qui cherchent uniquement à tirer profit des polémiques, attirent désormais de nombreux experts.
Ces vingt dernières années, à la faveur du mouvement du « libre accès », la proportion d’articles scientifiques pouvant être consultés gratuitement est passée d’une infime minorité à près de la moitié des publications. Au cours des vingt prochaines années, pour permettre au grand public de pleinement saisir la portée des avancées de la science, il nous faudra également démocratiser les évaluations par les pairs.
Traduit de l’anglais par Damien Allo pour Fast ForWord.
Cet article fait partie de la série « Les belles histoires de la science en libre accès », publiée avec le soutien du ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation. Pour en savoir plus, veuillez consulter la page Ouvrirlascience.fr.