ARTÍCULO ESPECIAL
A propósito de un artículo en NATURE destacando la importancia de los resultados negativos
On occasion of an article in Nature outlining the importance of negative results
Jesus M Culebras1, Ángeles Franco-Lopez2, Ignacio Jauregui-Lobera3
1 De la Real Academia de Medicina de Valladolid y del IBIOMED, Universidad de León. Miembro de Número y de Honor de la Academia Española de Nutrición y Dietética. Académico Asociado al Instituto de España. AcProfesor Titular de Cirugía. Director, Journal of Negative & No Positive Results. Director Emérito de NUTRICION HOSPITALARIA, España
https://orcid.org/0000-0003-3234-6957
2 Jefa de los Servicios de Radiología de los hospitales de Vinalopó y Torrevieja. AcProfesora de Universidad por ANECA, Alicante, España
https://orcid.org/0000-0001-5267-9957
3 Instituto de Ciencias de la Conducta y Universidad Pablo de Olavide. Sevilla. España
* Autor para correspondencia.
|
|
Attribution-NonCommercial-ShareAlike 4.0 International License La revista no cobra tasas por el envío de trabajos, |
|
Resumen
Un articulo aparecido en Nature destaca la importancia de los resultados negativos a la par que las dificultades que se encuentran en el momento de su publicación. Se hacen consideraciones sobre estos temas que son el motivo fundamental de la existencia de la revista JONNPR
Palabras clave
Resultados negativos; JONNPR
Abstract
An article published in Nature outlights the importance of negative results and the difficulties found at the time of publication. Some considerations about these facts are made, facts that are the main target of the journal JONNPR
Keywords
Negative results; JONNPR
Devang Mehta publica en Nature un artículo en el que hace notar que hay que "Destacar los resultados negativos para mejorar la ciencia. Los editores, revisores y otros miembros de la comunidad científica deben luchar contra la preferencia de la ciencia por los resultados positivos, para beneficio de todos",(1). Sin duda los resultados negativos suponen el 50% del conocimiento(2). Es conveniente distinguir entre un estudio negativo y el que no lo es(3). Un estudio verdaderamente negativo es aquel que se ha realizado con un protocolo adecuado, con la potencia necesaria y que, aun a pesar de intentar demostrar la superioridad de una intervención sobre otras o sobre un placebo, no lo consigue. Estos estudios son verdaderamente importantes; pueden tener gran impacto en el conocimiento y abonan el terreno para investigaciones posteriores. La ocultación de este tipo de estudios obliga a su repetición con la consiguiente pérdida de tiempo y despilfarro de dinero.
A finales de abril, Mehta y sus colegas publicaron un insólito artículo científico - uno que informaba sobre un experimento fallido - en Genome Biology(4). La publicación de su trabajo en una revista bien considerada y revisada por pares debería haber sido un alegre evento de celebración para un joven investigador. En cambio, tratar de navegar a través de otras tres revistas e innumerables revisiones antes de encontrar un hogar en la Genome Biology le reveló uno de los peores aspectos de la ciencia hoy en día: sus definiciones tóxicas de "éxito". El International Committee of Medical Journal Editors (ICMJE), conocido clásicamente como el “grupo Vancouver”, establece en su apartado IIIA la obligación de publicar los resultados negativos. Los editores de revistas deben considerar siempre la publicación de los estudios correctamente planteados sobre temas relevantes, sean los resultados negativos -esto es, que confirman la hipótesis null- o positivos -que rechazan la hipótesis null-. No publicar resultados de experimentos que confirman la hipótesis null contribuye grandemente al sesgo de las publicaciones2
Volviendo al trabajo de Mehta, indicamos que comenzó como un intento de usar la tan mentada herramienta de edición genética CRISPR para hacer a la mandioca (Manihot esculenta) resistente a una enfermedad viral increíblemente dañina, la enfermedad del mosaico de la mandioca (cassava mosaic disease). (La mandioca es un cultivo de raíces tropicales que es un alimento básico para casi mil millones de personas). Sin embargo, a pesar de los informes previos de que CRISPR podría proporcionar inmunidad viral a las plantas mediante la interrupción del ADN viral, sus experimentos mostraron consistentemente el resultado opuesto.
De hecho, el trabajo también mostró que el uso de CRISPR como un "sistema inmunológico" en las plantas probablemente llevó a la evolución de los virus que eran más resistentes a CRISPR. Aunque este resultado fue científicamente interesante, no fue el resultado "positivo" que los científicos aplicados aprenden a valorar. Mehta habia iniciado su carrera de investigación tratando de diseñar plantas para que fueran resistentes a las enfermedades virales y, en cambio, cuatro años después, tenía buenas noticias sólo para el virus. Todos los revisores estuvieron de acuerdo en que el estudio era metodológicamente sólido, pero pronto se hizo evidente que el hallazgo era un mensaje que nadie quería compartir. ¿Por qué fue tan difícil para los revisores y editores publicar un solo informe que mostraba un fracaso limitado de la tecnología CRISPR?
Los resultados negativos parecen herir la reputación de ciertos investigadores, obligados a dar “novedades” en su ámbito de trabajo. No siempre hay novedades, muchas veces hay reiteraciones y pequeños hallazgos que, junto con los “no hallazgos” hacen avanzar la ciencia. Además, el resultado negativo parece poner en entredicho al investigador: ¿diseñó bien?, ¿estableció bien las hipótesis?, ¿se precipitó?, etc., son interrogantes que ahí quedan a modo de duda acerca de la solidez del investigador y su equipo(5)
En ciencias biomédicas y en la industria se realizan millones de experimentos al año y, sin embargo, más del 60% de los experimentos realizados por equipos de investigación o en la industria internacional fracasan (entendiendo como fracaso que no producen ningún resultado positivo) y quedan olvidados. Aunque estos experimentos “secundarios” puedan considerarse frustrantes, generan gran cantidad de conocimiento de alto nivel y su divulgación aumentaría el conocimiento de otros equipos de investigación que trabajan en la misma línea de investigación con los mismos métodos, para modificarlos o sustituirlos. Los resultados negativos de una investigación concreta se consideran positivos para toda la comunidad científica y ayudan a ahorrar costes de todo tipo(6).
Los científicos se han acostumbrado tanto a celebrar sólo el éxito que se ha olvidado que la mayoría de los avances tecnológicos provienen del fracaso. Según Mehta "todos queremos ver nuestro trabajo salvando vidas o resolviendo el hambre en el mundo". Existe el criterio de que es mejor y más fácil la publicación de experimentos con resultados positivos, es decir, aquellos que concuerdan con la hipótesis del investigador (y que generalmente es la aceptada por la comunidad científica del momento) que aquellos que obtienen resultados negativos, creándose por ello una resistencia por parte de los autores a escribir y enviar los resultados negativos de sus investigaciones 6
El sesgo colectivo hacia la búsqueda de resultados positivos frente al fracaso es una motivación peligrosa. Además, en campos como la ingeniería genética, los activistas de la ciencia siempre están dispuestos a declamar cualquier indicio de fracaso como una acusación del campo en su conjunto. El trabajo de Mehta cuando se publicó, fue diligentemente tergiversado por algunos que estaban ansiosos por dañar la reputación de la ingeniería genética.
Incluso aunque la investigación fuera defectuosa, el problema sigue siendo que el mundo científico ignora en gran medida los resultados negativos. Es obvio que los resultados negativos son tan valiosos como los positivos y consideramos que su publicación es sustancial y deseable puesto que su divulgación y conocimiento puede economizar mucho tiempo y patrimonio a los investigadores e instituciones, ya que haciéndolo así se evitaría iniciar o profundizar en aspectos o vías exploradas anteriormente sin éxito6.
Los datos de un estudio de 2012 de 4.600 artículos publicados muestran que la literatura científica en su conjunto tiende hacia una mayor positividad. El autor del estudio, Daniele Fanelli(7), encontró que la frecuencia con la que los artículos que probaban una hipótesis daban una conclusión positiva aumentó en más de un 22% entre 1990 y 2007. Para 2007, más del 85% de los estudios publicados afirmaron haber producido resultados positivos. Fanelli concluyó que la objetividad científica de los trabajos publicados está disminuyendo.
Se ignoran los datos negativos
Incluso si la investigación de Mehta fuera defectuosa, el problema sigue siendo que el mundo científico ignora en gran medida los resultados negativos. Los datos del estudio arriba aludido de Fanelli7 muestran que la literatura científica en su conjunto tiende hacia una mayor positividad. La labor de los investigadores tiene estas cosas. A veces, tras meses (incluso años) de trabajo, no hay resultados. Al menos no los que se esperaban. Esto genera muchos problemas: tiempo invertido, dinero gastado y, sobre todo, una merma en la autoestima y motivación no siempre fácil de gestionar. Si además se es un joven investigador que necesita publicar, puede inundarle la angustia.
Cuando los resultados negativos no se publican en revistas de alto impacto, otros científicos no pueden aprender de ellos y terminan repitiendo experimentos fallidos, lo que lleva a un desperdicio de fondos públicos y a un retraso en el progreso genuino. El estudio de Mehta no resolvió el flagelo de la enfermedad viral en la mandioca, pero sí mostró a los investigadores dónde no buscar una solución y eso es importante para un progreso real. Al mismo tiempo, a los jóvenes científicos como Mehta se les bombardea con historias sólo de éxito científico, en conferencias y en revistas, lo que lleva a una exacerbación del "síndrome del impostor" cuando el propio trabajo no se ajusta a estas expectativas.
Presión por publicar resultados positivos
La presión para publicar una historia positiva también puede llevar a los científicos a dar una mejor imagen de sus resultados y, en casos extremos, a cometer fraudes y manipular datos. En muchas ocasiones surgen dos grandes tentaciones: no remitir el trabajo a ninguna publicación con la certeza de que los “no resultados” no serán aceptados o “arreglar” los “no resultados” y enviar el trabajo para su revisión. Conductas equivocadas en ambos casos(8).
En campos como la biotecnología y la genómica, los científicos sociales ya han señalado que exagerar la ciencia podría fomentar expectativas poco realistas en un público ya escéptico, lo que conduciría a una mayor desconfianza cuando los avances del mundo real se producen a un ritmo más lento.
Resultados positivos claramente preferidos
El problema se ve agravado por los organismos de financiación que sólo recompensan a los investigadores que publican resultados positivos, cuando son los científicos que informan de resultados negativos los que tienen más probabilidades de hacer avanzar un campo. Si sólo se aceptan los resultados positivos (sesgo conocido como “publication bias”), resulta muy difícil evaluar los “falsos positivos” pues el arma de la replica es bastante endeble, por ejemplo, en biomedicina y el contraste con resultados no positivos no es posible. Así, que ahí queda. Si aparece un trabajo posterior que no encuentre los mismos resultados positivos, siempre cabe aquello de las “diferencias metodológicas”(8) . Y no siempre hay novedades, muchas veces hay reiteraciones y pequeños hallazgos que, junto con los “no hallazgos” hacen avanzar la ciencia(8).
Referencias
1. Mehta D. Highlight negative results to improve science. Nature. 2019 Oct. DOI: 10.1038/d41586-019-02960-3.
2. Culebras JM. Resultados negativos, cincuenta por ciento del conocimiento. JONNPR. 2016;1(1):1-2. DOI: 10.19230/jonnpr.2016.1.1.926
3. Culebras JM, Franco-López A. ¡Nos copian! JONNPR. 2017;2(2):43-45. DOI: 10.19230/jonnpr.1300
4. Mehta, D., Stürchler, A., Anjanappa, R.B. et al. Linking CRISPR-Cas9 interference in cassava to the evolution of editing-resistant geminiviruses. Genome Biol 20, 80 (2019). https://doi.org/10.1186/s13059-019-1678-3
5. Culebras, Jesus M.Negative is positive The American Journal of Gastroenterology; New York Tomo 112, N.º 4, (Apr 2017): 654. DOI:10.1038/ajg.2017.30
6. Tárraga López PJ, Rodríguez Montes JA. ¿Se deben publicar los resultados negativos o no positivos?. JONNPR. 2016;1(2):43-44. DOI: 10.19230/jonnpr.2016.1.2.928
7. Fanelli, Danielle (2012).'Negative results are disappearing from most disciplines and countries', Scientometrics 90 (3): 891–904
8. Jáuregui-Lobera I. La publicación no excluyente de resultados de investigación. JONNPR. 2016;1(5):159-162. DOI: 10.19230/jonnpr.2016.1.5.1022