“No me resulta el protocolo”, “no puedo llegar a las mismas conclusiones del paper”, “no encuentro la diferencia significativa“. Muchos hemos sufrido o escuchado esas u otras frases, lo que nos lleva a preguntarnos…

¿Existe una crisis en la reproducibilidad? ¿Qué pensarían si les digo que, en una encuesta donde participaron más de 1.500 científicos de distintas disciplinas como química, biología y física, entre otras, más del 50% dijo que si frente a esta pregunta?

Publicada con el título “1,500 scientists lift the lid on reproducibility en la revista Nature. Este es sólo un documento más de los muchos que han surgido en el último tiempo cuestionando las prácticas metodológicas en investigación y la posibilidad, o no, de llegar a los mismos resultados obtenidos en algún artículo publicado en revistas consideradas de “calidad” (con métricas de dudosa interpretación, pero ello será materia de otro artículo).

El problema es cómo ello afecta a la credibilidad de la ciencia. En un mundo lleno de información pero muy poco conocimiento, no es tan fácil, como podríamos imaginar, acceder a la información para poder contrastarla, sea porque se debe pagar para acceder a él, o simplemente porque no se tiene acceso a Internet.

No sólo se trata de malas praxis, sino de acceso a la información en forma adecuada, con protocolos que indiquen todos los pasos realizados, con citas que puedan ser susceptibles a leer, con análisis estadísticos que se puedan volver a realizar, conociendo su código y no solo exponiendo el resultado del análisis (como ocurre con los software wysiwyg que no se sabe realmente que se realizó, entre otros).

En esta discusión, la reproducibilidad aparece como el centro de atención, pero a grandes rasgos, ¿cómo podríamos definirla? ¿Cómo el lograr obtener los mismos resultados, valores de p, intervalos de confianza, tablas, figuras o lo que sea haya sido reportado por el investigador?

Pero no es sólo es la reproducibilidad, también es importante que hablemos de replicabilidad, generalizabilidad y robustez metodológica.

Entre toda la documentación que se puede leer al respecto, al ser una forma de trabajar, podemos mencionar a los principios FAIR para el manejo y administración de datos científicos. Estos principios surgieron en 2014 durante el workshop Lorentz https://www.force11.org/group/fairgroup/fairprinciples y corresponden a las características de los datos, científicos u otros, que deben poseer como parte de estas buenas prácticas: “encontrables” o accesibles, inter operables y reutilizables. Estos principios fueron adoptados por el programa Horizonte 2020 de Investigación e Innovación de la Unión Europea, deberíamos conocer si es que queremos hacer algo al respecto.

Sin embargo, nada de esto es posible sin los generadores y usuarios principales de este conocimiento: los investigadores. Es por ello que queremos encuestarlos, saber que opinan, conocen y sufren respecto a este tema.

De esta forma, podemos empezar a visualizar las necesidades y poder aportar a la discusión de que deberíamos definir como productos de investigación y cómo evaluar la calidad de lo generado, que sabemos no ha sido discutido abiertamente en nuestras agencias de ciencia y tecnología.

ACCEDE A LA ENCUESTA AQUÍ

Encuesta modificada del artículo 1,500 scientists lift the lid on reproducibility publicado en Nature 533, 452–454 (doi:10.1038/533452a

Comenta con Facebook

5 Comentarios

  1. La encuesta es de opinión o nivel de percepción acerca de la reproducibilidad en ciencia, pero no profundiza en preguntar directamente a los investigadores si utilizan protocolos de aseguramiento de la integridad de sus resultados, uso correcto de métodos estadísticos, protocolos de registro de información, GLPs y de reporte correcto de resultados, materiales y métodos, etc, etc. Las percepciones subjetivas de cada investigador no creo ayuden a “visualizar las necesidades y poder aportar a la discusión de que deberíamos definir como productos de investigación y cómo evaluar la calidad de lo generado”.

  2. Hola Iván! Gracias por el interés y los comentarios. Estamos de acuerdo contigo y por ello lo preguntaremos en la próxima. Pensamos en algún momento preguntar todo de una vez pero nos recomendaron que no. Slds

  3. De acuerdo con lo expresado por Ivan. Sesga los factores externos al invetigador pero propio del lugar por ejemplo o de las normativas burocráticas

  4. Hola Eduardo,

    Como comentaba arriba no pudimos abordar todo en la primera encuesta. Teniendo estos resultados generales haremos una segunda, tratando de incluir más preguntas ya que hay diferentes “culturas” asociadas a las disciplinas, por ejemplo, al análisis de datos, y siendo tan específico, quienes nos asesoraron con la encuesta nos sugirieron no hacerlo en esta primera oportunidad.
    Sobre los factores externos estamos de acuerdo, jerarquización, el que no consideren preprint y otras formas de producción, trazabilidad, etc etc etc.
    Saludos

Dejar respuesta

Por favor ingrese su comentario
Por favor ingrese su nombre aquí