Quando sbagliare il metodo fa travisare i risultati di un’indagine

del Direttivo CICAP

Vogliamo raccontarvi una vicenda che riguarda il CICAP e che può aiutare a capire perché commettere degli errori di metodo può portare a travisare completamente i fatti. È un racconto in tre episodi, seguiteci perché riteniamo che ne valga la pena.

Il primo episodio è ambientato a Peschiera del Garda il 25 maggio 2024: siamo all’ultima lezione del corso che ogni anno il CICAP organizza per chi vuole conoscere meglio le sue attività. C’è un certo fermento tra i corsisti perché quel giorno si presenterà una persona, R.B., il quale sostiene di avere dei poteri straordinari, che gli consentono di avvertire delle cavità presenti nel sottosuolo. Quell’incontro sarà dunque l’occasione per testare questi presunti poteri, mettendo in pratica quanto imparato al corso. Con l’accordo di R.B., si stabilisce che egli dovrà entrare in un campo e indicare alcuni punti in cui avverte una cavità sotterranea e alcuni punti in cui non la avverte. Poi R.B. verrà bendato, verrà portato un po’ in giro per il campo in modo che non possa riconoscere immediatamente dove era passato e verrà riportato sui punti indicati in precedenza. Giunto lì, indicherà se “sente” o meno la cavità. Una volta che si sarà tolta la benda, si verificherà se le sue risposte sono congruenti, se cioè ha indicato la presenza di una cavità sia quando non era bendato, sia quando lo era.

La metodologia è semplice e per ogni domanda le possibili risposte sono solo due: sì o no. R.B. porta a termine il compito, si fanno le verifiche e il risultato è inequivocabile: su 20 tentativi le risposte congruenti sono 10. Nessuna prova di un potere; siccome la scelta era tra due sole alternative è chiaro che 10/20 indica un risultato puramente casuale. Alcuni giorni dopo la prova, però, R.B. ricontatta uno dei partecipanti alla prova. Gli spiega di aver capito meglio come dovesse essere eseguito il test e gli chiede di ripeterlo.

E qui arriviamo al secondo episodio della nostra storia. Questa volta ci si trova a Treviso, il 19 giugno 2024. Per ripetere la prova, R.B. ha chiesto di delimitare le aree in cui avverte una cavità e quelle che indica come piene con dei nastri o della polvere bianca. Una volta bendato, lui sarebbe poi rientrato in quelle aree da varie direzioni, e avrebbe indicato cosa sentiva. Per effettuare il nuovo test si pensa ad un campo da calcio, che ha un’estensione sufficientemente ampia. La giornata però è molto calda e così, dopo qualche ripensamento, si decide per un grande spazio coperto da un tendone che protegge dal sole e che è adiacente al campo da calcio. Il test viene effettuato e, anche questa volta, il risultato è negativo: su 20 tentativi effettuati le risposte corrette sono 15. Più della prima volta, ma ancora sotto la soglia della significatività statistica per poter dire con sufficiente certezza che il risultato non sia dovuto al caso. Nessuna prova di un potere neppure questa volta, insomma.

E qui arriviamo al terzo episodio, perché R.B. non si perde d’animo e propone di fare qualche ulteriore prova nel campo di calcio accanto al tendone. Si fanno solo 5 tentativi e in 4 casi il risultato è quello corretto. È chiaro che 5 tentativi non possono dimostrare nulla perché sono troppo pochi: se io faccio testa o croce 5 volte la probabilità di ottenere almeno quattro croci è circa una su cinque. Ma se lo faccio 500 volte, allora la probabilità che risulti croce almeno 400 volte diventa minuscola (circa 10 -44 , uno preceduto da 44 zeri dopo la virgola). Altrimenti, per paradosso, si potrebbe dire che se si tira la moneta una sola volta ed esce croce la probabilità di ottenere croce è del 100%. E già qui c’è un errore. L’esperimento era stato progettato con un certo protocollo concordato; una modifica “in corso d’opera” del protocollo (per esempio appunto aggiungendo delle prove) può invalidare completamente il suo risultato. Con numeri relativamente piccoli come quelli in questione, le fluttuazioni statistiche possono essere piuttosto grandi, e paradossalmente si potrebbe andare avanti facendo ancora un paio di prove fino a che il risultato non si avvicini a quello desiderato, e poi fermarsi: è per questa ragione che il numero di prove deve essere stabilito a priori. In più, i due test si erano svolti in condizioni diverse; ma invece di considerare i test come indipendenti, i risultati delle ultime due prove vengono sommati.

E così, in un video prodotto al termine della giornata, viene detto che su 25 prove effettuate R.B. ha dato 19 risposte esatte e che, sulla base della tabella di probabilità, la probabilità che ciò sia dovuto al solo caso è dell’1% circa. Non una prova certa dell’esistenza di un potere, ma un indizio di qualcosa che andrebbe approfondito. Solo che quella somma ha poco significato perché, appunto, non si possono sommare test svolti in violazione del protocollo iniziale e in condizioni diverse, sotto un tendone o in un campo da calcio. Per dirla in termini un po’ brutali ma chiari: se sommo una mela e una pera, non ho due mele o due pere, continuo ad avere due frutti diversi. Un momento, diranno i più attenti tra coloro che stanno leggendo: ma se si sono sommati gli ultimi due test, perché allora non si è aggiunto anche il primo test? Come è intuibile, non è corretto scartare i test coi risultati più bassi e tenere solo quelli coi risultati migliori. E in effetti se si fossero sommati i tre test effettuati il risultato indicherebbe che non vi è prova di alcun potere. Ma neppure questa operazione sarebbe corretta, per la stessa ragione indicata prima, e cioè che in una sperimentazione è necessario seguire lo stesso protocollo e mantenere le stesse condizioni per poterle confrontare, se si vuole verificare l’esistenza di un qualche effetto.

A questi errori si è aggiunta l’ingenuità di realizzare un video senza aver prima aver fatto delle nuove repliche. Infatti, come ha ben spiegato Andrea Ferrero, – e come era indicato anche nel protocollo di sperimentazione consegnato a R.B. – un singolo risultato o un singolo studio non sono di per sé conclusivi. Cosa succederà ora? Se R.B. sarà disponibile, potremo effettuare nuovi test metodologicamente adeguati per testare i poteri da lui dichiarati. Fino a quel momento, non possiamo ritenere di avere alcuna prova di sue capacità extrasensoriali. Nel frattempo, per quanto ci riguarda possiamo riflettere sugli errori che sono stati commessi e sull’importanza di non essere superficiali nella comunicazione, per cercare di migliorare in quel che facciamo. Alla prossima!

Immagine in evidenza: di ashutoshbg , da Pixabay