[Evénement] Atelier « Nouvelles pratiques d’évaluation scientifique » 22 mai 18h-20h (Paris)

L’évaluation par les pairs ou peer-review subit aujourd’hui une profonde remise en question. En vue du taux de rétraction des articles croissant, les critiques se multiplient à l’égard de cette pratique de régulation néanmoins primordiale dans l’activité scientifique. Parallèlement, les nouveaux outils de communication et de publications offerts par le web 2.0 autorisent des alternatives crédibles, au point que certains parlent d’un printemps académique.

Pourrait on imaginer un fonctionnement de la recherche sans peer-review classique ? D’autres alternatives vont elle le remplacer ou lui permettre d’évoluer ?

HackYourPhd vous convie mercredi 22 mai de 18h à 20H à échanger sur ces thématiques lors d’un atelier à la maison de la Recherche.

Quel avenir pour le peer review ?

 L’évaluation par les pairs ou peer review est loin d’être une invention récente. Cette régulation semble naturelle pour un contrôle de l’activité scientifique mais aussi pour une connaissance mutuelle des travaux scientifique de la communauté.

Elle consiste en une relecture par les pairs d’un article soumis par un chercheur. Les pairs représentent d’autres scientifiques de la même discipline jugés aptes à apporter des critiques constructives à l’article et aux résultats présentés. Un point essentiel de cette évaluation est l’anonymat des pairs.

Dès le XVIIe siècle, quelques revues scientifiques britanniques font appel à des comités plus ou moins formalisés ayant pour mission de vérifier l’exactitude et l’intérêt des informations publiées. Pour autant, l’évaluation par les pairs ne se généralise qu’au cours du XXe siècle. Jusqu’ici l’apanage de petites structures artisanales, les revues scientifiques deviennent l’émanation d’éditeurs ressemblant plus à de grandes organisations économiques. La fiabilité d’une publication cesse d’être une donnée relative, évoluant au gré des années et au gré des contenus. Elle devient une construction volontaire et, dans une certaine mesure, un argument de vente pour ces éditeurs.  Le processus d’évaluation se précise et se fige en grandes étapes bien ritualisées. Le schéma ci-dessous permet de se faire une idée des procédures fondamentales du peer-review « standardisé » :

Schéma Peer-Review simplifié

La généralisation de la publication en « libre accès » a contribué à révéler des multiples ratés du peer-review. Depuis le début des années 2000, le taux de rétractation (c’est-à-dire le nombre d’articles dénoncés après publication dans une revue scientifique) connaît une croissance exponentielle. L’activité scientifique n’est pas moins fiable, mais la fraude est plus visible. Le psychologue Diederick Stapel a ainsi pu duper des dizaines de comité de lecture pendant 20 ans, jusqu’à ce que des jeunes chercheurs mettent en doute la crédibilité des expériences réalisées.

Parallèlement les alternatives prennent de l’ampleur. En 1982, Perloff et Perloff proposaient sur le ton d’une boutade un modèle aujourd’hui bien établi, celui de l’archivage automatique avant même l’évaluation par les pairs (pre-print). . Dans cette optique, toutes les publications ayant une prétention à la scientificité, sont conservées. Dans le domaine de la physique et des mathématiques, la pratique de dépôt dans ArXiv est par exemple bien établie. Les scientifiques notoires y recourent de plus en plus sans que cela n’affecte leur taux de citation.

On assiste également à l’émergence d’interface d’évaluation autonomes. Peer-Evaluation.org ou F1000 permettent de recueillir les réactions et suggestions de ses collègues en dehors du circuit éditorial traditionnel.

En dehors du milieu académique, les projets collaboratifs en ligne adaptent les grands principes du peer-review à leurs besoins propres. Wikipédia repose ainsi sur une évaluation continue de tous par tous : « Pris individuellement les wikipédiens sont bien moins savants que les savants, mais en s’imposant à chacun d’être le maître ignorant des autres […] ils font advenir une forme de production de connaissance plus solides que celle des savants. »

À la lumière de ces nouveaux usages, la notion même d’article publié a-t-elle encore du sens ? Preprint, postprint, carnet de recherche : les versions se multiplient, rendant de plus en vaine la perspective d’une évaluation unique et ponctuelle.

Atelier HackYourPhd sur les nouvelles pratiques de publications scientifiques.

HackYourPhd vous convie mercredi 22 mai de 18h à 20h à venir discuter de cette thématique lors d’un atelier à la maison de la Recherche. Les échanges  s’ouvriront sur une discussion-conférence animée par Pierre-Carl Langlais (notre doctorant « hacker » de cette session cf : bio) .  Elle permettra de faire le point sur la situation actuelle de l’évaluation par les pairs ainsi que sur ses évolutions et ses éventuels remplaçants. Dans un second temps, ces réflexions donneront lieu à une application concrète. Les participants réfléchiront sur un cas pratique : l’élaboration d’une revue alternative mettant en œuvre de nouveaux procédés d’évaluation. La plupart des dimensions de son activité seront questionnées, éventuellement sous la forme de sous-ateliers plus spécifiques : le format éditorial, le rôle dévolu au lecteur ou les modalités de l’organisation économique.

Ce cas pratique ne constitue pas qu’une simple expérience de pensée. Il permettra d’enrichir un projet initié il y a quelques mois sur la liste de diffusion wiki@research.com sous le nom de code « Knowledge Now » : une publication périodique sur les nouvelles médiations scientifiques. Il ne s’agit pas uniquement d’une initiative théorique. Sur les conseils du concepteur de l’interface wiki, Ward Cunningham, la publication mettra effectivement en œuvre certaines des médiations qu’elle prétend étudier.

Un article basé sur les échanges lors de cet atelier viendra enrichir le principal périodique d’information francophone dédié aux recherches sur les wikis, les Nouvelles du Wikilab.

Nous vous attendons nombreux !

Notre « doctorant hacker » : Pierre-Carl Langlais

Pierre Carl langlais

 

 

 

 

Je suis doctorant à Paris-IV en sciences de l’information et de la communication. Ma thèse porte sur l’émergence de la rubrique boursière dans la presse quotidienne. Outre l’information financière, mes thématiques de recherche concernent également le journalisme de données (participation au projet Jourdain, financé par le CNRS) et l’encyclopédie collaborative Wikipédia. Contributeur régulier de la Wikipédia francophone, je suis devenu l’un de ses administrateurs en octobre 2012. Je publie régulièrement des articles sur les projets de libre diffusion des connaissance sur Rue89.

 


 

Ce message est également disponible en : Anglais