Where is the datas?, ou un coup de gueule contre les mauvais referees

Posté par Timothée le 5 Apr 2008 dans , 14 commentaires

Hier, j’ai battu une sorte de record mondial. Enfin je pense. Notre papier s’est fait refuser, avec une des revues qui tenait en quatre mots : Where is the data? [1]. La réponse qui m’est venu, instinctivement, comportait entre autres le mot ass. J’ai appliqué la règle numéro 1, ne pas répondre à un email sous le coup de la colère. Mais quand même.

Que le papier soit refusé, ça fait partie du jeu. Sans en rajouter, disons que c’était relativement nouveau, qu’on mettait en relation des concepts assez complexes qu’on ne traite que trop rarement ensemble — au moins avec un protocole comme le notre — et que notre méthode était peu orthodoxe (ce qu’un des referees a avoué ne pas comprendre, un des indicateurs que nous avions forgé pour l’occasion méritant probablement plus d’explications).

Mais, j’en ai parlé autour de moi, j’ai fait lire les brouillons à plusieurs parasitologues ou écologistes de ma connaissance, qui ont trouvé que le papier était bon.

Alors une review en quatre mots, ça énerve.

La question du referee 1 (j’aimerai vraiment savoir qui c’est, juste pour voir) est dénuée de sens, d’après moi, pour une raison toute simple : les données sont dans le papier. Pas sous forme de tableau, mais elles sont malgré tout indiquées. Le problème que nous avons est le suivant : nous avons pris beaucoup de données (j’ai imprimé le tableau par erreur, ça va chercher dans les 40 pages). Il était illusoire de les reproduire dans le détail.

Nous aurions pu prendre le parti de donner un tableau bien conventionnel (minimum, moyenne ± écart type, maximum), mais ce qui nous intéressait n’était pas les valeurs pour le groupe, mais l’ensemble des valeurs individuelles. Je ne vois pas en quoi avoir ces données aurait aidé le referee à comprendre le papier (ce qu’il n’a vraisemblablement pas cherché à faire), sachant qu’elles ne permettaient en aucun cas de reproduire les résultats (étant donné que nous avons utilisé des analyses multivariées, et que nous avons construit des indicateurs sur la base de ces données).

En d’autres termes, le referee 1 est incapable de lire un papier s’il n’a pas à sa disposition des données chiffrées, quand bien même ces données n’aident en rien à interpréter les résultats. Est-ce que parce qu’il n’est pas capable de comprendre un papier (autrement dit, qu’il ne fait pas l’effort de comprendre que les données qu’il aurait voulu voir ne sont pas informatives au vu des méthodes utilisées) lui donne le droit de refuser un papier (et plus encore, de réduire à néant 6 mois de travail en 4 mots)? Je crains que non.

Mais le pire n’est pas là (le pire, c’est peut-être la revue 2, en fait, ou le referee nous reproche de ne pas avoir fait un papier sur le sujet qui l’intéresse, c’est à dire les parasites protozoaires…). Le pire, c’est le problème que ce genre de referees pose à l’éditeur. D’une part, il donne du journal une image déplorable, l’image d’un manque total de rigueur (je ne suis même pas sûr qu’il aie pris la peine de lire le papier) et de respect de ses collègues, et bien d’autres choses encore.

L’éditeur de la revue locale me disait qu’il n’aurait jamais toléré une revue comme ça (je peine à appeler ça une revue, pour être franc), puisqu’elle décrédibilisait aussi bien le journal que le referee. Je pense que si le journal en question pratiquait l’open review, ce genre de travail bâclé serait appelé à disparaître.

D’autant que se permettre ce type de remarque révèle une profonde incompréhension du rôle de la review. Quand on lit que les auteurs remercient two anonymous referees for helpful comments on the manuscript, c’est souvent vrai. La revue est censée être un acte de dialogue, qui vise à améliorer la qualité du papier — à moins qu’il ne soit franchement très mauvais et irrécupérable, mais ce n’est pas le cas du notre.

Ceci est en substance la réponse que nous allons faire à l’éditeur (moins la réponse aux remarques du deuxième referee, essentiellement techniques). En attendant d’aller soumettre ailleurs (dans une meilleure revue, d’ailleurs).

Notes

  1. Ou sont les données? []

Timothée is
| All posts by Timothée

14 commentaires

» Flux RSS des commentaires
  1. Quel abus ! Je compare ca avec toutes les revues que j’ai vu faire autour de moi, meme quand c’etait pour démolir un papier, c’etait fait avec un grand nombre d’arguments et de critiques précises. Il y a vraiment des gens sans décence. Allez, courage, a force de refus tu finiras dans Nature.

  2. C’est le métier qui rentre.

    Bon courage

  3. Allez Come on Fight Timothée !
    Avoir un referee de mauvaise foi, ce peut être un atout pour une resoumission au même journal. Cela m’est arrivé une fois : un referee me disait que que je faisais une analyse linéaire (alors que mon analyse était tout ce qu’il y avait de non-linéaire) et m’ a rejeté le papier sur ce motif. J’ai resoumis malgré le rejet initial en disant à l’éditeur que ce referee était un imbécile et que c’était parfaitement illégitime de me refuser le papier là-dessus. Le papier est passé comme une lettre à la poste malgré le rejet initial.

  4. Merci pour vos commentaires…

    On pense effectivement resoumettre, mais dans une autre revue…

    Je ne perd pas espoir!

  5. Bon, j’ai fait pas mal non plus récemment puisque j’ai eu un referee qui a complètement disqualifié mon papier et a pris la peine de rajouter que mon papier précédent n’aurait jamais dû être publié !!

    Dans on cas :

    - sur la forme : il faut écrire une “rebuttal letter” à l’éditeur. Sans se faire d’illusions, il y a peu de chances qu’il donne une seconde chance à ton papier. Mais pour marquer le fait que vous trouvez ce genre de revue inacceptable, qu’elle n’honore pas le journal, etc. Il y a au moins des chances que cela n’incite pas l’éditeur à reprendre le même referee ni à laisser passer de nouveau un tel commentaire. Dans mon cas, nous envisageons très sérieusement de publier sur notre site web les commentaires des referees (une fois que le papier sera accepté ailleurs) pour en faire la publicité qu’ils méritent.

    -sur le fond: tu dois quand même trouver un moyen de présenter les données. 40 pages de tableau peuvent tenir dans un seul graphique !

    Courage

    PS: il y a une typo dans ton titre

  6. PS : non non, même pas, c’est la VO…

  7. Il est vrai que dans la forme ce genre de revue n’est pas eccaptable, mais il y a un truc que j’ai du mal à comprendre dans ta justification sur le fond: comment les données peuvent elles être dans le papier,
    -si elles n’y sont pas en détail
    -etr surtout, si ce sont les valeurs individuelles qui sont intéressantes?

    A côté des quatre mots, il y a évidemment une bonne part de non dit; s’il ne s’est pas fendu de plus d’explications, c’est parce qu’il suggérait clairement de refuser le manuscrit. En ce sens, quatre mots sont aussi efficaces que quatre cents.

    … et l’autre referee a avoué ne pas comprendre la méthode. Problème!

    Bon courage pour la suite

  8. Disons que le referee 1 voulait un tableau récapitulatif, que nous n’avons donné (il sera en supplement online de la prochaine version). Ce qui se serait trouvé dans ce tableau est donné dans le texte ou en légende des figures.

    Comme le disait pablo, il faut pouvoir représenter toutes les données en une figure (ce que nous avions fait, bien évidemment).

    Quant à l’autre référé, il a seulement posé des questions sur la méthodologie… Notre indicateur tient la route, mais c’est la première fois qu’il est utilisé (puisque construit pour l’occasion, ce qui peut expliquer qu’il surprenne). Le reste de la méthode est largement compréhensible (d’ailleurs, de l’avis des personnes à qui j’ai montré les commentaires, aucun point ne mérite un rejet sans invitation à resoumettre).

    Je crois simplement qu’il y a trop de choses inhabituelles dans ce papier (ça ne nous mènera pas au Nobel, mais il y a des choses vraiment intéressantes), et qu’on est tombé sur deux reviewers qui n’ont pas cherché à s’ouvrir. Espérons qu’on aura plus de chance la prochaine fois…

  9. Hello,

    Si l’idée véhiculée par ton article est intéressante mais demande une réflexion (du fait du caractère novateur), peut-être est-il cavalier de vouloir la démontrer ou l’objectiver avec un protocole lui aussi peu orthodoxe : casser plusieurs “schémas” en même temps peut conduire à ce genre de choses m’est avis…

    NB : n’est-il pas possible de fournir au referee, en addendum, les 40 pages de données et le tableau récapitulatif ? Comme ça il pourra se rendre compte de l’inutilité de ce tableau pour la justification de vos dires et pourra s’intéresser aux valeurs individuelles si le cœur lui en dit…

  10. @Tim > Merci.
    @ Nox > Oui, je suis jaloux, et alors… Sans moi, point de “Tea’n'Science”, alors j’ai le droit d’être jaloux. :p

    F.

    P.S. Petit message de mise en forme pour Tim, il manque une balise”/q” à la fin de ta note… du coup sa casse tout ton joli template.

  11. A vrai dire, je vois non seulement une erreur typographique (le ’s’ à data, suggèrant évidemment un reviewer non anglophone), mais également du grammaticalement douteux (pour de l’écrit): si l’usage tolère le “data is” à l’oral (et apparemment cela passe également à l’écrit), le grammaticalement correct voudrait un “data are”…
    Voir ici sur le sujet (je n’ai encore jamais entendu un anglophone natif faire l’erreur, mais il peut y avoir des variations géographiques ou sectorielles, je souscris à l’hypothèse d’un effet langue commune):
    http://www.gi.alaska.edu/ScienceForum/ASF3/334.html

  12. PS: Bon courage! J’ai eu un papier dans le genre, nouveau à plusieurs égards, et de telles reviews effarantes. Rejeté quatre fois, finalement accepté dans un journal de la sous-communauté la moins hostile au “concept” testé. Le plus dur reste à mon avis des lecteurs amicaux qui avouent qu’ils ne comprennent pas/rien, après publication…

  13. […] plus élevés. Une courbe en cloche inversée, en quelque sorte. Et qui sait, il pourrait bien, comme le disait Mathieu, finir dans […]

  14. […] prend forme à propos de la publication (ici), mais surtout du refus adressé à certains auteurs (ici). Enro vient de publier sur son blog un billet très intéressant où l’on y apprend, […]

Commenter


Sitemap