(🇮🇹 ITA) POST-TRUTH 4⃣ La crisi della riproducibilità - (🇪🇸 ESP) POST-TRUTH 4⃣ La crisis de la reproducibilidad

Capitoli anteriori:

1. Gli inuit
2. La verità
3. Metodo scientifico

La crisi inizió nel campo della psicologia.

Nel 2006, uno studio evidenziava che nel 73% dei casi i dati necessari per riprodurre una ricerca non potevano essere ottenuti quando l'autore di un articolo veniva contattato. [1]

Nel 2012, anche un altro studio mostrava che al richiedere dati per 394 articoli, solo il 38% rispose.

Questi risultati sono in linea con le stime della volontà di condividere i dati in psicologia del passato recente o remoto. Sebbene la recente crisi di fiducia che ha scosso la psicologia abbia messo in evidenza l'importanza di pratiche di ricerca aperte e i progressi tecnici abbiano facilitato enormemente la condivisione dei dati, le nostre scoperte chiariscono che la psicologia non è affatto una scienza aperta. [2]

Un altro studio pubblicato nel 2011 sulla rivista Nature, rivela che di un'analisi di 67 studi su trattamenti di cui 47 erano ontologici e altri cardiovascolari o legati alla salute delle donne, solo il 6% erano riproducibili.

Oggi abbiamo tutti sentito parlare delle varie fasi di sperimentazione che un farmaco deve attraversare. Potete facilmente immaginare che se un processo non è riproducibile non può passare dalla fase I alla fase II.

Secondo il citato studio, negli ultimi anni i progetti che giungono alla fase II sono scesi dal 28% al 18%. [3]

Nel 2012, in un altro articolo della rivista Nature, C. Glenn Begley e Lee M. Ellis rilevano che su 53 opere considerate come riferimento, solo 6, un 11%, ha potuto essere confermato e propongono cambi nei metodi, nelle pubblicazioni e negli incentivi a beneficio dei pazienti.

Lo studio ammette che questi fallimenti possono essere dovuti a difficoltà o a differenze tecniche.

Nella maggior parte dei casi in cui i risultati erano riproducibili, gli autori avevano fornito una descrizione completa dell'insieme di dati, mentre i risultati non riproducibili non si riflettevano nell'insieme di dati, poiché non esistono linee guida che lo esigono e spesso questi dati vengono rimossi nel processo di esame.

Qualche documento preclinico non riproducibile aveva generato un intero campo, con centinaia di pubblicazioni secondarie che ampliavano gli elementi dell'osservazione originale, ma che in realtà non cercavano di confermare o falsificare la sua base fondamentale. Ancora più preoccupante è il fatto che alcune delle ricerche hanno innescato una serie di studi clinici, suggerendo che molti pazienti sono stati sottoposti a una sperimentazione di un regime o di un agente che probabilmente non funzionerà.

Questo non vuol dire che tutto ció sia intenzionale, affermano gli stessi autori:

Tutti questi ricercatori erano scienziati competenti e ben intenzionati che volevano davvero fare progressi nella ricerca sul cancro.

Questi risultati, pur essendo inquietanti, non significano che l'intero sistema sia difettoso. Ci sono molti esempi di ricerche eccezionali che sono state tradotte in modo rapido e affidabile in benefici clinici. Nel 2011 sono stati approvati diversi nuovi farmaci antitumorali, sulla base di solidi dati preclinici.

Quali sono i motivi della pubblicazione di dati errati, selettivi o inaffidabili? chiedono gli autori dell'articolo.

Il sistema accademico e il processo di peer review tollerano e forse anche inavvertitamente incoraggiano tale comportamento. Per ottenere finanziamenti, occupazione, promozione o incarico, i ricercatori hanno bisogno di una solida esperienza di pubblicazione, spesso anche di una prima pubblicazione ad alto impatto. I direttori di giornale, i revisori e i comitati di revisione delle sovvenzioni spesso cercano una scoperta scientifica che sia semplice, chiara e completa - una storia "perfetta". Pertanto, è allettante che i ricercatori siano tentati di inviare set di dati selezionati per la pubblicazione, o anche di massaggiare i dati per adattarli all'ipotesi di base. [4]

Alcuni pregiudizi possono anche apparire nell'autore e nel gruppo di ricerca che rappresenta. Quando uno ha dedicato molti sforzi a un progetto può essere difficile abbandonarlo e ammettere il fallimento.

Bacon ci ha avvertì già nel 1620:

Gli uomini sono attaccati a certe scienze e speculazioni particolari, sia perché si immaginano loro stessi come autori e inventori, sia perché gli hanno dato tanti dolori e si sono abituati ad esse.

In un sondaggio di Monia Baker del 2016, anch’esso pubblicato sulla rivista Nature, su 1576 ricercatori, il 70% di essi aveva trovato impossibile riprodurre i risultati di altri scienziati, e il 50% non è stato in grado di ripetere i propri esperimenti, anche se il 31% si fida ancora alla letteratura scientifica.

Per oltre il 60% dei partecipanti la causa dell'impossibilità di riprodurre i risultati è dovuta alla pressione per la pubblicazione e alla selettività delle informazioni. [5]

Parte di questa impossibilità di ripetibilità è dovuta alla scarsa qualità della documentazione fornita, o come abbiamo visto nel caso degli studi psicologici, alla sua totale assenza in alcuni casi.

Pensate ad esempio a quando state sperimentando un nuovo software o un nuovo strumento che richiede diversi passaggi. All'improvviso riesci a fare qualcosa di geniale. Nella maggior parte dei casi, il giorno dopo non ti ricorderai di quello che hai fatto e impazzirai cercando di replicarlo, se non l'hai appuntato, o se l'hai appuntato male saltando qualche passaggio.

Come ho detto nel capitolo precedente, la quantità di dati che trattiamo oggi è più grande che mai, e alcuni dettagli importanti possono rimanere nascosti tra loro e possono perdersi lungo il percorso.

Il prossimo unicorno della scienza potrebbe rimanere sepolto a lungo dall'immensa quantità di informazione fino a quando qualcuno non gli presterà la dovuta attenzione.

Oppure, nel peggiore dei casi, potrebbe andare perso per sempre.

Dall'8 al 10 marzo 2017 si tenne il convegno Sackler "Riproducibilità della ricerca: problemi e proposte di rimedio", in cui diversi integranti della comunità scientifica affrontarono il problema.

Alcuni proposero criteri più severi come filtro all'oceano delle pubblicazioni, in modo che il lavoro più significativo possa facilmente distinguersi e non sprecare sforzi e risorse per progetti che difficilmente portano da qualche parte. [6]

Per Richard M. Shiffrin, Katy Börner e Stephen M. Stigler, perché la scienza progredisca quando scoperte di importanza critica sembrano perdersi in un mare di rapporti scientifici, alcuni validi e altri no, bisogna continuare a procedere come al solito, per prove ed errori.

Gli studi che sembrano promettenti vengono replicati, costruiti o ampliati da altri. Molti vengono respinti durante questo processo. Gli studi che possono essere replicati sono quelli che vengono valorizzati e costituiscono la base del progresso. Sono gli studi che ci fanno "stare sulle spalle dei giganti" - antiche generazioni di scienziati che hanno gettato le basi del progresso scientifico di oggi.

[...] Nella scienza esplorativa, la mancanza di validità non impedisce l'apprendimento. [7]

Anche per Daniele Fanelli non esiste una crisi, le sfide che affrontiamo sono in linea con i nostri tempi, la nostra tecnologia e la nostra crescente capacità di generare dati.

Gli sforzi per migliorare la riproducibilità e l'integrità della scienza sono tipicamente giustificati da una narrativa di crisi, secondo la quale la maggior parte dei risultati pubblicati sono inaffidabili a causa dei crescenti problemi nelle pratiche di ricerca e pubblicazione. Questo articolo fornisce una panoramica delle recenti prove che suggeriscono che questa narrativa è imperfetta, e sostiene che una narrativa del cambiamento epocale e del potenziamento degli scienziati sarebbe più accurata, ispiratrice e avvincente.

L'emergere di pratiche di ricerca e di pubblicazioni discutibili o imperfette può essere rivelato da un alto tasso di falsi positivi e risultati "P-hacked". Tuttavia, mentre questi problemi sembrano essere più comuni di una palese cattiva condotta scientifica, il loro impatto sull'affidabilità della letteratura sembra essere contenuto. Le analisi basate sulla distribuzione dei valori P nella letteratura medica, ad esempio, suggeriscono un tasso di falsi risultati pari solo al 14%.

In sintesi, una letteratura in espansione di meta-ricerca suggerisce che la scienza, pur affrontando indubbiamente sfide vecchie e nuove, non si può dire che stia attraversando una "crisi di riproducibilità", almeno non nel senso che non sia più affidabile a causa di un problema diffuso e crescente di scoperte che vengono prodotte, falsificate, distorte, sottovalutate, selezionate e non riproducibili. Se da un lato questi problemi esistono e devono essere affrontati, dall'altro l'evidenza non suggerisce che essi minino l'impresa scientifica nel suo complesso. La scienza è sempre stata e sarà sempre una lotta per produrre conoscenza a beneficio di tutta l'umanità contro i limiti cognitivi e morali dei singoli esseri umani, compresi i limiti degli scienziati stessi.

La nuova narrativa di "la scienza è in crisi" non solo non ha alcun sostegno empirico, ma è ovviamente controproducente. Invece di ispirare le giovani generazioni a fare più e meglio la scienza, potrebbe favorire il cinismo e l'indifferenza in loro. Invece di invitare a un maggiore rispetto e a maggiori investimenti nella ricerca, rischia di screditare il valore dell'evidenza e di alimentare i programmi anti-scienza. [8]

Sono d'accordo che la corretta gestione dei dati è probabilmente una delle grandi sfide del nostro tempo, che non riguarda solo il campo scientifico.

Ognuno di noi è sempre più consapevole della sua importanza nella nostra società e di come essa influenza la nostra vita.

Sono convinta che la tecnologia blockchain possa aiutare molto a superare questa sfida moderna per l'umanità.

I dati in sé non sono un problema, abbiamo bisogno di un modo più efficace ed efficiente per gestirli e condividerli in piena trasparenza e fiducia.

Mai prima d'ora abbiamo avuto più strumenti per analizzare la realtà che ci circonda, e ci troviamo in un paradosso, dove le sempre più informazioni che generiamo e condividiamo invece di accelerare il progresso possono diventare un ostacolo.

Il Large Hadron Collider o LHC di Ginevra, Svizzera, è la macchina che genera più dati al mondo.

Genera così tanti dati che è impossibile conservarli tutti ed è necessario filtrare i più importanti con algoritmi creati dai fisici [9].

Alfred Marshall, che contribuì all'introduzione della matematica in economia, scrisse nel 1885:

Il più spericolato e traditore di tutti i teorici è colui che professa di lasciare che fatti e cifre parlino da soli, colui che tiene in secondo piano il ruolo che ha svolto, forse inconsciamente, nel selezionarli e raggrupparli.

La tecnica del p-hacking, che Fanelli citava come causa del 14% delle false scoperte, i dati e la sfida che rappresentano per il progresso scientifico e la società in generale, saranno l'argomento del prossimo capitolo.

Alla prossima.
Baci, !BEER & abbracci 😘 🍻 🤗

Capitulos anteriores:

1. Los inuit
2. La verdad
3. Método científico

La crisis empezó en ámbito de la psicología.

En 2006 un estudio evidenció que en el 73% de los casos no se pudieron obtener los datos necesarios para la reproducir las investigaciones cuando se contactaba con el autor de un artículo. [1]

En 2012 otro estudio también expone que al solicitar los datos de 394 artículos solo el 38% respondieron.

Estos hallazgos están en línea con las estimaciones de la voluntad de compartir datos en psicología del pasado reciente o remoto. Aunque la reciente crisis de confianza que sacudió a la psicología ha puesto de relieve la importancia de las prácticas de investigación abiertas, y los avances técnicos han facilitado en gran medida el intercambio de datos, nuestros hallazgos dejan claro que la psicología no está ni mucho menos cerca de ser una ciencia abierta. [2]

Otro estudio publicado en 2011 en la revista Nature, revela que de un análisis de 67 estudios sobre tratamientos de los que 47 eran ontológicos y otros cardiovasculares o relacionados con la salud de la mujer, solo el 6% era reproducible.

Hoy todos hemos oído hablar de las varias fases de experimentación por la que tiene que pasar un fármaco. Imaginarán que si un ensayo no es reproducible no puede pasar de la fase I a la fase II.

Según dicho estudio, los proyectos que llegan a la fase II han caído desde un 28% a un 18% en los últimos años. [3]

En 2012, en otro artículo de la revista Nature, C. Glenn Begley y Lee M. Ellis al observar que de 53 trabajos considerados como de referencia, solo se pudieron confirmar los resultados de 6, el 11%, proponen cambios en los métodos, publicaciones e incentivos para que los pacientes se beneficien.

El estudio admite que estos fracasos pueden ser debidos a dificultades o diferencias técnicas.

En la mayoría de los casos en que los resultados fueron reproducibles, los autores habían facilitado una descripción del conjunto de datos completa mientras que en los resultados no reproducibles, no se reflejaba el conjunto de datos, ya que no existen directrices que lo exijan y a menudo estos datos eran eliminados en el proceso de examen.

Algunos documentos preclínicos no reproducibles habían generado todo un campo, con cientos de publicaciones secundarias que ampliaban los elementos de la observación original, pero que en realidad no trataban de confirmar o falsificar su base fundamental. Lo que es más preocupante, algunas de las investigaciones han desencadenado una serie de estudios clínicos, lo que sugiere que muchos pacientes se han sometido a un ensayo de un régimen o agente que probablemente no funcionaría.

Esto no quiere decir que esto sea intencionado, los mismos autores afirman:

Todos estos investigadores eran científicos competentes y bien intencionados que realmente querían hacer avances en la investigación del cáncer.

Estos resultados, aunque inquietantes, no significan que todo el sistema sea defectuoso. Hay muchos ejemplos de investigaciones sobresalientes que se han traducido rápida y fiablemente en beneficios clínicos. En 2011, se aprobaron varios nuevos medicamentos contra el cáncer, basados en sólidos datos preclínicos.

¿Qué razones subyacen a la publicación de datos erróneos, selectivos o irreproducibles? se preguntan los autores del artículo.

El sistema académico y el proceso de revisión por pares tolera y tal vez incluso fomenta inadvertidamente tal conducta. Para obtener financiación, un empleo, un ascenso o una titularidad, los investigadores necesitan un registro de publicaciones sólido, que a menudo incluya una publicación de primer autor de gran impacto. Los editores de revistas, los revisores y los comités de revisión de subvenciones suelen buscar un hallazgo científico que sea simple, claro y completo: una historia "perfecta". Por lo tanto, es tentador para los investigadores presentar conjuntos de datos seleccionados para su publicación, o incluso masajear los datos para que se ajusten a la hipótesis subyacente. [4]

Cierto sesgo también puede aparecer en el autor y grupo de investigación que representa. Cuando uno ha dedicado muchos esfuerzos a un proyecto puede ser difícil abandonarlo y admitir el fracaso.

Ya nos advertía Bacon en 1620:

Los hombres se apegan a ciertas ciencias y especulaciones particulares, ya sea porque se imaginan a sí mismos como autores e inventores de las mismas, o porque les han dado los mayores dolores y se han acostumbrado a ellas.

En una encuesta de Monia Baker del 2016, publicada también en la revista Nature, sobre 1576 investigadores, para el 70% de ellos ha sido imposible reproducir los resultados de otros científicos, y el 50% no han sido capaces de repetir sus proprios experimentos, aunque el 31% sigue confiando en la literatura científica.

Para más del 60% de los participantes la causa de la imposibilidad de reproducir resultados se debe a la presión por publicar y a la información selectiva. [5]

Parte de esta imposibilidad de repetibilidad se debe a la deficiente calidad de la documentación aportada, o como vimos en el caso de los estudios psicológicos su total ausencia en algunos casos.

Piensen en por ejemplo en cuando están experimentando con un nuevo software o una nueva herramienta que requiere de varios pasos. De repente te sale algo genial. En la mayoría de los casos, al día siguiente no se acordarán de lo que hicieron y se volverán locos intentando replicarlo, si no lo han apuntado, o lo han apuntado mal saltándose algunos pasos.

Como adelantaba en el capitulo anterior la cantidad de datos que manejamos hoy es más grande que nunca, y algunos detalles importantes pueden quedar escondidos entre ellos y se pueden perder por el camino.

El próximo unicornio de la ciencia puede quedar sumergido durante mucho tiempo en la inmensa cantidad de información hasta que alguien le preste atención.

O en la peor de las hipótesis perderse para siempre.

Del 8 al 10 de marzo de 2017 tuvo lugar la conferencia Sackler "Reproducibilidad de la investigación: Cuestiones y remedios propuestos" donde varios interesados de la comunidad científica abordaron el problema.

Algunos proponen criterios más estrictos como filtro al océano de publicaciones, para que los trabajos más significativos puedan destacar fácilmente y no malgastar esfuerzos y recursos en proyectos que probablemente no llevarán a ninguna parte. [6]

Para Richard M. Shiffrin, Katy Börner, and Stephen M. Stigler, para que la ciencia pueda progresar cuando los hallazgos de importancia crítica parecen perderse en un mar de informes científicos, algunos válidos y otros no, hay que seguir procediendo como siempre, por ensayo y error.

Los estudios que parecen prometedores son replicados, construidos o ampliados por otros. Muchos son rechazados durante este proceso. Los estudios que pueden ser replicados son los que se valoran y forman la base del progreso. Son los estudios que nos hacen "pararnos en los hombros de los gigantes" - antiguas generaciones de científicos que sentaron las bases del progreso científico actual.

[...] En la ciencia exploratoria, la falta de validez no impide el aprendizaje. [7]

Para Daniele Fanelli tampoco existe una crisis, los desafíos a los que nos enfrentamos están a la altura de nuestra época, nuestra tecnología y nuestra creciente capacidad de generar datos.

Los esfuerzos por mejorar la reproducibilidad e integridad de la ciencia se justifican típicamente por un relato de crisis, según el cual la mayoría de los resultados publicados no son fiables debido a los crecientes problemas de las prácticas de investigación y publicación. En este artículo se ofrece una visión general de las pruebas recientes que sugieren que esta narrativa es errónea, y se argumenta que una narrativa de los cambios de época y el empoderamiento de los científicos sería más precisa, inspiradora y convincente.

La aparición de prácticas de investigación y publicación cuestionables o defectuosas puede ser revelada por una alta tasa de falsos positivos y resultados "P-hacked". Sin embargo, si bien estas cuestiones parecen ser más comunes que las faltas de ética científica flagrante, su repercusión en la fiabilidad de la bibliografía parece estar contenida. Los análisis basados en la distribución de los valores de P que figuran en la bibliografía médica, por ejemplo, sugieren una tasa de falsos descubrimientos de sólo el 14%.

En resumen, una literatura de meta-reinvestigación en expansión sugiere que no se puede decir que la ciencia, aunque indudablemente se enfrenta a viejos y nuevos desafíos, esté atravesando una "crisis de reproducibilidad", al menos no en el sentido de que ya no sea fiable debido a un problema generalizado y creciente de hallazgos que son fabricados, falsificados, sesgados, poco potentes, seleccionados e irreproducibles. Si bien estos problemas ciertamente existen y deben ser abordados, la evidencia no sugiere que socaven la empresa científica en su conjunto. La ciencia siempre ha sido y siempre será una lucha por producir conocimiento en beneficio de toda la humanidad contra las limitaciones cognitivas y morales de los seres humanos individuales, incluyendo las limitaciones de los propios científicos.

La nueva narrativa de "la ciencia está en crisis" no sólo no tiene apoyo empírico, sino que es obviamente contraproducente. En lugar de inspirar a las generaciones jóvenes a hacer más y mejor ciencia, podría fomentar en ellos el cinismo y la indiferencia. En lugar de invitar a un mayor respeto e inversión en la investigación, corre el riesgo de desacreditar el valor de las pruebas y alimentar los programas anticientíficos. [8]

Estoy de acuerdo con que probablemente el correcto manejo de los datos en uno de los grandes desafíos de nuestra época, que no afecta solamente el campo científico.

Cada uno de nosotros es cada día más consciente de su relevancia en nuestra sociedad y de como influyen en nuestra vida.

También estoy convencida que la tecnología blockchain puede ayudar mucho para superar este reto moderno para la humanidad.

Los datos en sí no son un problema, necesitamos una manera más eficaz y eficiente de manejarlos y compartirlos en total transparencia y confianza.

Nunca como hoy hemos tenidos más instrumentos para analizar la realidad que nos rodea, y nos encontramos en una paradoja, en la que la mayor información que generamos y compartimos en lugar de acelerar el progreso puede convertirse en un obstáculo.

El gran Gran Colisionador de Hadrones o LHC de Ginebra (Suiza) es la maquina que más datos genera al mundo.

Genera tantos datos que es imposible almacenarlos todos y es necesario filtrar con algoritmos creados por los físicos los que se consideran más importantes [9]

Alfred Marshall, que contribuyó en la introducción de las matemáticas en la economía, escribió en 1885:

El más imprudente y traicionero de todos los teóricos es el que profesa dejar que los hechos y las cifras hablen por sí mismos, el que mantiene en un segundo plano el papel que ha desempeñado, tal vez inconscientemente, en la selección y agrupación de los mismos.

La técnica de p-hacking, que Fanelli mencionaba como causa del 14% de falsos descubrimientos, los datos y el desafío que representan para el progreso científico y la sociedad en general será el argumento del próximo capitulo.

Hasta la próxima.
Besos, !BEER & abrazos 😘 🍻 🤗