Who's Afraid of Peer Review?

Who's Afraid of Peer Review? (in italiano: Chi ha paura della revisione paritaria?) è il titolo di un articolo pubblicato dalla rivista Science il 4 ottobre 2013, a firma del corrispondente scientifico inglese John Bohannon.

L'articolo riporta i risultati di una sua inchiesta giornalistica in merito alla revisione paritaria delle riviste a pagamento consultabili in modalità open access. Tra gennaio e agosto 2013, Bohannon inviò una serie di documenti scientifici falsi a 304 riviste di proprietà di altrettanti editori di pubblicazioni open access a pagamento. I paper, scrive Bohannon, "sono stati progettati con difetti scientifici così gravi ed evidenti che avrebbero dovuto essere immediatamente respinti dagli editori e dagli autori [selezionati] per la revisione paritaria", ma, al contrario delle aspettative, il 60% dei periodici accettò.

Contesto

Le riviste scientifiche Open Access a pagamento nacquero nei primi anni 2000 con la creazione di BioMed Central e della Public Library of Science. Il modello di business di tali riviste non derivava dagli abbonamenti dei lettori e delle istituzioni accademiche e culturali, quanto piuttosto dalle commissioni di pubblicazione corrisposte dagli autori (o dai loro finanziatori). Gli articoli erano resi disponibili gratuitamente su Internet subito dopo la loro prima pubblicazione. Il cosiddetto modello gold open access fu una delle soluzioni ideate per rendere economicamente sostenibile la pubblicazione ad accesso aperto.

Nel 2013, oltre la metà dei lavori scientifici pubblicati due anni prima risultavano disponibili gratuitamente.

La scarsità di barriere all'ingresso e un ritorno sugli investimenti rapido e potenzialmente elevato, attirò in questo mercato vari "editori predatori", che crearono riviste di bassa qualità scientifica, prive di revisione paritaria o di un'iniziativa di controllo editoriale interna, che in sostanza pubblicavano qualsiasi articolo fosse loro sottoposto, pur di introitare le commissioni di pubblicazione. Anche gli autori talora furono ingannati riguardo alle spese di pubblicazione, inserendo ignari scienziati fra i nominativi degli autori o dei revisori a loro insaputa ovvero omettendo nominativi, ruolo ed eventuali conflitti di interessi dei veri autori. La diffusione di questo tipo di editoria a pagamento aprì un acceso dibattito all'interno della comunità scientifica.

Metodo

Generazione dei paper

Bohannon impiegò il linguaggio Python per creare una "versione scientifica di Mad Libs", un videogioco basato su un modello fraseologico: Bohannon scelse la frase "La molecola X delle specie di licheni Y inibisce la crescita della cellula tumorale Z", dove alle lettere doveva essere sostituito il nome di molecole, licheni e cellule tumorali, estratti da una database da lui creato.

Gli articoli presentavano tutti i medesimi dati e conclusioni, oltre allo stesso falso elenco di autori con relative affiliazioni. Tutti i paper descrivevano la scoperta di un nuovo farmaco antitumorale estratto da un lichene, i risultati erano privi di riscontro nei dati sperimentali e inoltre erano stati deliberamente introdotti errori palesi.

Scelta del campione

Per creare un elenco completo di editori di riviste open access a pagamento, Bohannon si è basato su due fonti: la lista di editori predatori aggiornata da Jeffrey Beall, professore all'Università del Colorado, e l'elenco delle riviste di accesso aperto (DOAJ).

Dopo aver filtrato entrambi gli elenchi per selezionare gli editori che avevano almeno una rivista di medicina, chimica o biologia ad accesso aperto pubblicate, in lingua inglese e che addebitasse agli autori una commissione di pubblicazione, fu estratta una lista target di 304 editori: 167 del DOAJ, 121 dell'elenco di Beall e 16 comuni a entrambi.

L'indagine si focalizzò esclusivamente su riviste Open Access a pagamento. Bohannon decise di non prendere in considerazione altri tipi di riviste tradizionali ad accesso aperto o riviste in abbonamento per il confronto perché i loro tempi di revisione erano eccessivamente lunghi a confronto con quelli del campione di riferimento. Di conseguenza, lo studio non trasse conclusioni in merito alla qualità relativa dei diversi tipi di riviste.

Risultati

Accettazione vs rifiuto

In totale, 157 delle riviste accettarono il paper inviato, 98 rifiutarono la pubblicazione, mentre altre 49 non avevano completato la propria valutazione quando Bohannon firmò l'articolo. In altre parole, quasi il 60% dei 255 articoli che avevano concluso l'iter di revisione paritaria con un'accettazione o un rifiuto, non era in pratica stata presa seriamente in esame. Mentre una quota parte dei rifiuti può aver riflettuto un filtro a livello editoriale, l'accettazione può solo correlata soltanto al processo di revisione che presenta criticità e aree di necessario intervento.

Solamente in 36 casi, i revisori e le riviste hanno trasmesso dei commenti che riconoscono uno qualsiasi degli errori o difetti scientifici del paper. In 16 di questi 36 casi di commento, gli articoli sono stati comunque accettati. Dai risultati emerse che numerose riviste che avevano accettato i paper, erano pubblicate da prestigiose istituzioni e case editrici, fra le quali: Elsevier, SAGE, Wolters Kluwer (attraverso la controllata Medknow), oltre a diverse università.

Al contrario, PLOS e Hindawi erano gli editori di riviste che avevano respinto il documento. PLOS ONE è stata segnalata come la rivista che aveva il processo di revisione paritaria più rigoroso di tutte, come l'unica rivista che ha identificato i problemi di natura etica della ricerca, quali la carenza documentale in merito alle modalità di trattamento degli animali ai fini della creazione delle linee cellulari tumorali.

DOAJ e lista di Beall

L'82% degli editori classificati come "predatori" nella lista di Beall che avevano concluso il processo di revisione, avevano anche accettato il paper. Bohannon asserì che "i risultati mostrano che Beall è bravo a individuare editori con scarso controllo di qualità". Secondo Jeffrey Beall, inventore della lista, l'indagine confermerebbe il valore della banca dati da lui aggiornata e la validità della definizione di "editoria predatoria" da lui utilizzata. Tuttavia, il restante 18% degli editori identificati da Beall come predatori, avevano respinto il paper falso, dato che il comunicatore scientifico Phil Davis commentò dicendo: questo "significa che Beall sta accusando ingiustamente quasi un [editore] su cinque".

Fra gli editori DOAJ che avevano completato il processo di revisione, il 45% accettò il paper. Dopo la diffusione dell'articolo, sul sito web di DOAJ fu comunicato che erano stati modificati i criteri di ammissione delle riviste alla directory.

Mappa globale

Science integrò il rapporto con la mappatura geografica degli editori, dei redattori e dei rispettivi conti bancari, evidenziando con colori distinti quelli che avevano accettato o rifiutato il paper. Le mappe furono elaborate a partire dalle tracce di indirizzi IP presenti nelle intestazioni delle e-mail, da registrazioni di WHOIS e da fatture bancarie relative alle spese di pubblicazione.

L'India è risultata essere il più grande mercato mondiale dell'editoria predatoria per la pubblicazione Open Access a pagamento, con 64 editori che avevano accettato i paper, a fronte di soli 15 rifiuti. Gli Stati Uniti si sono posizionati al secondo posto, con 29 editori che avevano accettato il paper, a fronte di 26 che avevano rifiutato. Nel continente africano, il quadro peggiore è risultato essere quello della Nigeria, con una quota relativa di accettazioni pari al 100%.

Reazioni

Nell'editoria accademica

Tre editori annunciarono la chiusura delle riviste interessate dall'indagine. Il DOAJ riesaminò la propria directory e introdusse criteri di selezione più rigorosi.

L'Open Access Scholarly Publishers Association (OASPA) istituì una commissione d'inchiesta interna per accertare le circostanze che portarono tre dei suoi membri all'accettazione di un documento falso. L'11 novembre 2013, l'OASPA espulse la Dove Medical Press e Hikari Ltd.

SAGE Publications fu sospesa per sei mesi per aver accettato un paper falso. La casa editrice annunciò che avrebbe modificato la linea editoriale della rivista che aveva accettato il paper falso, precisando che non intendeva chiuderla. A conclusione dei sei mesi e delle iniziative intraprese, l'associazione riabilitò SAGE fra i suoi membri.

Nella comunità scientifica

A poche ore dalla sua pubblicazione, l'articolo fu fortemente criticato da parte di alcuni sostenitori del movimento Open Access.

La prima critica sostanziale fu condivisa dal cofondatore di PLOS, Michael Eisensul, nel suo blog personale: "Suggerire - come la scienza (sebbene non Bohannon) sta provando a fare - che il problema con l'editoria scientifica è che l'accesso aperto abilita le truffe su Internet equivale ad affermare che il problema del sistema finanziario internazionale siano le truffe nigeriane sui bonifici bancari. Si tratta di problemi profondi dell'editoria scientifica. Ma il modo di risolvere questo problema non è limitare le pubblicazioni ad accesso aperto. È quello di correggere la revisione paritaria". Eisen fece notare anche che la stessa revisione paritaria di Science aveva prodotto nel 2010 gli articoli sul GFAJ-1.

Collegamenti esterni

• (EN) Who's Afraid of Peer Review?
• (EN) Full Data Set
• (EN) Interactive Map