Un'analisi statistica per le citazioni negative degli articoli scientifici

Pubblicato il da Cronache Lodigiane

Copertina della rivista "Journal of Immunology", sul cui database di articoli è stato testato il nuovo metodo di analisi delle citazioni negative (Cortesia Journal of Immunology)
Copertina della rivista "Journal of Immunology", sul cui database di articoli è stato testato il nuovo metodo di analisi delle citazioni negative (Cortesia Journal of Immunology)

Le critiche ai metodi o ai risultati di una ricerca fanno parte della normale prassi scientifica, e riguardano soprattutto gli articoli più recenti e molto rilevanti, come ha dimostrato uno studio che ha elaborato un metodo statistico per evidenziare e catalogare le citazioni negative di un articolo. Applicato al database di una rivista di immunologia, il nuovo metodo ha dimostrato che le citazioni negative sono solo il 2,4 per cento del totale e che un articolo su tre ha ricevuto almeno una citazione negativa.

Gli articoli scientifici possono essere citati da altri lavori in modo negativo, soprattutto nei primi anni dopo la pubblicazione e se si tratta di studi di qualità e rilevanza elevate. È quanto emerge da un nuovo studio apparso sulla rivista "Proceedings of the National Academy of Sciences" a firma di Christian Catalini del Massachusetts Institute of Technology a Cambridge e colleghi di altri istituti statunitensi e canadesi.
Dato che la conoscenza scientifica evolve grazie ai contributi complementari di diversi ricercatori, una delle regole fondamentali delle pubblicazioni è che ogni contributo citi i lavori precedenti su cui si è basato. Il numero di citazioni che riceve un articolo scientifico d'altra parte serve da base a un'analisi statistica che stabilisce l'importanza della ricerca stessa, dei suoi autori, dell'istituto per cui lavorano e infine della rivista che l'ha pubblicato, secondo il meccanismo dell'impact factor.

Pur essendo molto utili, però, queste analisi non prestano sufficiente attenzione alle intenzioni che hanno portato alla una citazione. Nella maggior parte dei casi infatti in uno studio sono citati i lavori che hanno ottenuto risultati simili, o che sono serviti da base o da stimolo per la nuova ricerca. Ma capita anche che un articolo venga citato per le sue limitazioni metodologiche, per le incoerenze, o per altri difetti.
Ma come tenere conto statisticamente di queste citazioni negative? I testi dei lavori scientifici oggi sono disponibili in formato digitale in grandi banche date online, rendendo così possibile l'analisi automatica e la ricerca per parole chiave, ma spesso le citazioni negative sono espresse con le parole del linguaggio naturale e non in termini scientifici.
Un grosso contributo alla soluzione di questo

problema viene dai recenti progressi nell'elaborazione del linguaggio naturale, che permette di ricostruire il contesto in cui è stata fatta una citazione e quindi anche perché è stata fatta all'interno di uno specifico articolo.
Sulla base di questi progressi e utilizzando come base di dati 15.731 articoli pubblicati sul “Journal of Immunology” tra il 1998 e il 2007 e le 762.355 citazioni che contenevano, Catalini e colleghi hanno sviluppato un metodo per identificare le citazioni che mettono in dubbio la validità di precedenti risultati e per analizzarne la ricorrenza, in modo da poterne determinare ruolo e rilevanza.

Lo studio ha permesso di stabilire come sono espresse le citazioni negative, la loro incidenza o frequenza ,il tipo di articoli che riceve le critiche e il tipo di articoli che le formulano, le parti di un articolo che vengono citate negativamentecon maggiore frequenza, nonché le relazioni tra autori che citano e autori che vengono citati, ele conseguenze di una citazione negativa in termine di frequenza di citazioni successive.

In primo luogo, le citazioni negative sono solo il 2,4 per cento del totale. La probabilità che un articolo sia citato negativamente è massima nei primi anni dopo la pubblicazione. Inoltre, gli articolo citati negativamente sono quelli di alta qualità e importanti, il che conferma l'ipotesi che le citazioni negative prendono di mira gli articoli che più destano l'attenzione della comunità scientifica

il fatto che un articolo abbia ricevuto una critica non implica di per sé che nel complesso non sia stato considerato positivamente. I 4888 articoli, pari al 31 per cento del totale, che hanno ricevuto almeno una citazione negativa hanno una distribuzione di citazioni che è statisticamente indistinguibile da quella dei 10.843 articoli che non ne hanno ricevuta alcuna.

Dato che gli articoli di immunologia tendenzialmente sono schematizzati in modo rigido in diverse sezioni, è stato abbastanza facile scoprire che l'84 per cento delle citazioni negative ha preso di mira la sezione “risultati e discussione”, mentre il 42 per cento riguardava la sezione “Obiettivi”.

Infine, le citazioni negative a uno studio vengono scritte con maggiore probabilità da ricercatori che si occupano dello stesso ambito di ricerche o di uno molto vicino.

http://www.lescienze.it/news/2015/10/28/news/analisi_citazioni_negative_articoli_scientifici-2820589/

Commenta il post