Ma i media influenzano davvero il “successo” delle pubblicazioni scientifiche?

Tutte le università di questo mondo sono interessate a fare ricerca e a far sì che i lavori prodotti dai propri membri siano pubblicati da riviste scientifiche che, per accettarli, usano il sistema della revisione fra pari, la peer review. Dopo che questi lavori sono usciti, però, interessa persino di più capire in dettaglio quale impatto scientifico hanno, ossia – per farla semplice – quante volte altre pubblicazioni scientifiche citano quei lavori. Carriere e allocazione di fondi di cui c’è sempre un maledetto bisogno dipendono in buona misura da questo impatto.

Però, c’è un altro tipo di impatto, un altro genere riscontro dei lavori pubblicati. È quello non-scientifico, cioè il modo con il quale i media generalisti, quelli non per addetti ai lavori, reagiscono all’uscita degli articoli degli scienziati. Le istituzioni scientifiche si preoccupano sempre di più dell’impatto non-scientifico di quanto producono (1).

Ma quale rapporto c’è fra copertura degli articoli pubblicati dagli scienziati, cioè l’impatto non-scientifico (chiamiamolo NSI, Non-Scientific Impact) e quello scientifico (SI, Scientific Impact), sarebbe a dire il numero di citazioni che ricevono gli articoli su altre pubblicazioni scientifiche? È proprio quest’ultimo tipo di menzioni, quelle che compaiono su altre pubblicazioni scientifiche, a far guadagnare “punti” su un ideale pallottoliere.

La domanda concernente questo legame è meno oziosa di quanto possa sembrare. Se la sono posta di recente alcuni scienziati della comunicazione e statistici della Brigham Young University dello Utah. Coordinati da Matthew Seeley, nel luglio scorso hanno presentato sulla rivista open access PLoS ONE gli esiti di una loro ricerca sulla questione (2).

Seeley e i suoi colleghi hanno raggruppato le possibili risposte su quale rapporto ci sia fra NSI e SI in due gruppi. Il primo è quello della ipotesi dell’allocazione dei fondi, il secondo quello degli effetti della pubblicità. L’ipotesi dell’allocazione dei fondi sostiene che i media generalisti dedicano attenzione agli studi scientifici perché ne scorgono il valore intrinseco, cioè per il fatto che “valgono”; di conseguenza, secondo questa posizione quegli studi potrebbero godere di un impatto scientifico (SI) simile a quello che avrebbero raggiunto anche senza esser promossi dai media “popolari” (3). L’ipotesi degli effetti della pubblicità, invece, dice che gli studi ricevono dai media “popolari” una spinta che non sarebbero in grado di darsi da soli: il grado di SI al quale un lavoro riuscirebbe ad arrivare, dunque, dipenderebbe almeno in parte dal fatto che i media ne parlino (4).

Seeley e gli altri studiosi hanno cercato di portare un po’ di chiarezza sul dilemma. Così, hanno preso un buon numero di pubblicazioni (un po’ più di 800) uscite in un arco di tempo definito (fra il 2007 e il 2008) in un ambito specifico ma di grande interesse pubblico (salute fisica ed esercizio) su cinque riviste prominenti del settore e hanno provato a capire meglio quale legame c’è fra l’attenzione data dai media (NSI) a quei lavori e le citazioni fattene da altri scienziati (SI).

L’ipotesi che li interessava è che NSI e SI fossero correlate in senso positivo, e cioè che gli scienziati tutto sommato si comporterebbero, quando usano e citano lavori di colleghi, come il pubblico “laico”, non specializzato. Insomma, quel lavoro ha cercato di capire meglio se gli scienziati analizzano, impiegano, citano e commentano di più quegli articoli di colleghi che hanno ricevuto e che stanno ricevendo maggiore attenzione sui media generali e sui social.

Ma davvero esistono prove per sostenere affermazioni tanto forti sul rapporto fra NSI e SI?

Oggi esistono sistemi per misurare le menzioni dei lavori scientifici da parte delle fonti d’informazione generale. Uno di questi sistemi di valutazione è il cosiddetto AAS (Altmetric Attention Score), ed è proprio quello ad esser stato impiegato da Seeley e colleghi. L’AAS tiene conto sia dei siti di notizie mainstream, sia dei blog, di Wikipedia, di Twitter e di Facebook. Per l’impatto scientifico (SI), invece, sono stati usati metodi di misurazione come Scopus e Web of Science (WOS), affiancati dai dati che pubblica Mendeley, sito di gestione delle citazioni. 

Non paghi, volendo aver presenti altri fattori che influenzano SI e NSI, come la reputazione degli autori (AR) e della rivista che li ospita (JR) (5), hanno usato alcuni indici ad hoc presenti nel WOS.

Tutto ciò, preso insieme, richiedeva un approccio sofisticato. Si è fatto ricorso ai cosiddetti modelli di equazioni strutturali, che in analisi statistica multivariata servono a collegare variabili legate fra loro da relazioni complesse con altre variabili.

Che cosa è saltato fuori? In termini generali, l’ipotesi degli autori dello studio è stata confermata: l’impatto scientifico e la copertura da parte dei media sono legati in maniera stretta. Ma siamo sicuri che uno dipenda dall’altro? Che cosa vuol dire che sono “legati”?

Tanto per cominciare, i risultati dicono che la reputazione dell’autore (AR) e quella della rivista su cui scrive (JR) sono assai utili per capire quale sarà l’impatto scientifico di un lavoro (ossia, si dimostrano buoni predittori della SI).

Al contrario, risulta assai più difficile dire quali siano le relazioni di causa-effetto fra impatto scientifico, impatto non-scientifico, reputazione dell’autore e reputazione della rivista. Sta di fatto che secondo lo studio non basta che gli scienziati abbiano buoni uffici stampa o che si diano da fare sui social per ottenere, alla fine, un più alto impatto scientifico dei loro lavori. Semmai, visto che NSI e SI sono fortemente connessi, è ragionevole dedurre che le istituzioni in cui lavorano i singoli ricercatori dovrebbero valutare con cura il riscontro che i loro studi hanno sui media generali e anche sui social.

Capire meglio i legami fra NSI ed SI è senz’altro importante per ottenere attenzione, consenso e comprensione pubblica proprio nei confronti delle ricerche che stanno ricevendo un impatto più forte.

Nello scrivere dell’impatto che le ricerche stanno ricevendo non si è scelto a caso l’uso dei tempi verbali. Seeley e collaboratori ci tengono molto a far notare che ciò che è emerso non conferma l’idea intuitiva che NSI e SI arrivino uno dopo l’altro, cioè che l’attenzione dei media generali semplicemente “pompi” il successivo successo dei lavori scientifici presso i colleghi. In realtà, i due fenomeni sembrano manifestarsi in larga misura in maniera contemporanea. Quel che invece più conta per gli studiosi, è che la ricerca fa capire meglio che i modi in cui i media generali e i social sono attirati da uno studio invece che da un altro contano. Sotto parecchi aspetti, questi modi sono ancora poco chiari. Nell’esplorarli e nello spiegarli meglio, istituzioni e scienziati potrebbero discernere meglio che cosa proporre e promuovere nella società.

Il guaio più serio, scrivono Seeley e i suoi, è che in ultima analisi il concetto di impatto scientifico di una pubblicazione è complicato ed ha molte sfaccettature. Anche i fattori da loro usati (impatto non-scientifico, reputazione dell’autore e reputazione della rivista) spiegano solo una parte modesta della varianza statistica dell’impatto scientifico dei lavori considerati.

Insomma, dall’analisi dei legami fra impatto non-scientifico ed impatto scientifico sembra uscire rafforzata l’idea che quest’ultimo è fatto da tanti di quei fattori (6) da dover essere considerato con una maggior prudenza. Invece, di solito è “usato forse in maniera eccessivamente fiduciosa” (perhaps over-confidently used).

Note:

1) Maximin S., Green D., Practice corner: the science and art of measuring the impact of an article, Radiographics. 34(1) (2014) 116–8. https://doi.org/10.1148/rg.341134008

2) Anderson PS, Odom AR, Gray HM, Jones JB, Christensen WF, Hollingshead T, et al. (2020) A case study exploring associations between popular media attention of scientific research and scientific citations. PLoS ONE 15(7): e0234912. https://doi.org/10.1371/journal.pone.0234912

3) Fanelli D., Any publicity is better than none: newspaper coverage increases citations, in the UK more than in Italy, Scientometrics 95(3) (2013) 1167–1177. https://doi.org/10.1007/s11192-012-0925-0

4) Dumas-Mallet E., Garenne A., Boraud T., Gonon F., Does newspapers coverage influence the citations count of scientific publications? An analysis of biomedical studies. Scientometrics 123(1) (2020) 413-427. https://doi.org/10.1007/s11192-020-03380-1

5) Petersen A.M., Fortunato S., Pan R.K., Kaski K., Penner O., Rungi A., et al., Reputation and impact in academic careers, Proceedings of the National Academy of Sciences of the USA 111(43) (2014) 15316–15321. https://www.ncbi.nlm.nih.gov/pubmed/25288774 PMID: 25288774

6) Bornmann L., What do citation counts measure? A review of studies on citing behavior, Journal of Documentation 64(1) (2008) 45–80. https://doi.org/10.1108/00220410810844150.

Immagine in evidenza: By Poughkeepsie Day School da Flickr, rilasciata in licenza CC BY-NC-SA 2.0