LA REPRODUCIBILIDAD

BRIAN KNUTSON

Profesor asociado de psicología y neurociencia de la Universidad de Stanford.

Al constatar que una serie de maestros itinerantes diferentes habían estado defendiendo un conjunto de ideas filosóficas contradictorias, los aldeanos de una cierta localidad india se dirigieron al Buda para preguntarles a quién debían creer. El Buda les dio entonces el siguiente consejo: «Cuando conozcáis por vosotros mismos […] que esas cosas, asumidas y puestas en práctica, conducen al bienestar y a la felicidad, entonces podréis actuar y vivir de acuerdo con dichas máximas». Esta admonición empírica, que podría resultar sorprendente en boca de un líder religioso, no nos llamaría en cambio la atención si viniera de un científico.

El lema «Compruébalo por ti mismo» constituye uno de los credos tácitos de la ciencia. No basta con realizar un experimento e informar después de los resultados. Los colegas que repitan el experimento en sí han de poder llegar al mismo resultado. Cuando un experimento puede repetirse decimos que es «replicable». Y a pesar de que los científicos tienden a respetar implícitamente el hecho de la reproducibilidad, lo cierto es que no siempre fomentan de manera explícita la cualidad de que los experimentos puedan replicarse de facto.

Podría decirse que, hasta cierto punto, resulta perfectamente natural pasar por alto el requisito de la reproducibilidad. El sistema nervioso de los seres humanos ha sido concebido para responder a la ocurrencia de cambios muy rápidos, cambios que van del sutil signo visual de un parpadeo a los patentes arrebatos del éxtasis. La fijación evolutiva que nos permite percibir la aparición de transformaciones muy veloces tiene un gran sentido desde el punto de vista adaptativo, dado que lo que no resultaría coherente sería que nos viéramos en la obligación de gastar energías —siendo como es la energía un recurso limitado— en el aprovechamiento de una oportunidad pretérita o en la evitación de una amenaza ya disipada. Sin embargo, al tener que bregar con un conjunto de problemas sujetos a una lenta progresión, el hecho mismo de fijar la atención en el cambio puede resultar desastroso (pensemos en este sentido en las langostas que se cuecen a fuego lento en una olla que va calentándose poco a poco o en las personas sometidas a los gases causantes del efecto invernadero).

Las culturas también pueden promover la obsesión por el cambio. En el ámbito científico, son bastantes las publicaciones de alto nivel —e incluso las áreas de conocimiento— que hacen especial hincapié en la aparición de novedades, pudiéndose comprobar que, por regla general, ninguna de ellas tiene inconveniente en echar la reproducibilidad en el saco roto de lo que no resulta publicable o de lo que parece insuficientemente digno de mención. En términos más formales podemos decir en cambio que resulta frecuente que la labor de los científicos se juzgue más en función del carácter novedoso de su trabajo que en atención al hecho de que sus conclusiones se revelen reproducibles o no. El «índice h»^[*], cuya popularidad va en aumento, cuantifica el impacto de la obra o de las publicaciones de un científico mediante la asignación de una cantidad («h») con la que se indica que un determinado investigador ha publicado «h» artículos y que estos han sido citados «h» veces o más (de este modo, un académico cualquiera tendrá un índice «h» de cinco si ha conseguido publicar cinco trabajos científicos y si cada uno de ellos ha sido citado cinco veces o más). Pese a que los factores de impacto guarden relación con el hecho de que un estudioso concreto sea o no una personalidad eminente en su campo, por ejemplo en física, no por ello es menos cierto que la valoración de la trascendencia de una aportación dada puede plantear problemas. Por ejemplo, un académico que posea el grado de doctor podría potenciar su factor de impacto mediante la publicación de una serie de hallazgos de carácter polémico (y por consiguiente muy citados) sin necesidad de preocuparse de que dichos descubrimientos puedan replicarse o no.

¿Por qué no construir un índice de reproducibilidad (al que podríamos llamar «r») para completar la información que nos proporcionan los factores de impacto? Como ya vimos que ocurría con el índice «h», el índice «r» podría señalar que un determinado científico ha documentado la existencia de «r» efectos originales distintos capaces de ser reproducidos «r» veces de manera independiente (y de este modo, una investigadora dada tendría un índice «r» de cinco si hubiera publicado cinco efectos independientes, dándose además la circunstancia de que otros científicos del mismo campo lo hubieran reproducido satisfactoriamente «r» veces o más). En términos numéricos, los índices de reproducibilidad serían necesariamente inferiores a los índices con los que se mide el número de citas de un determinado artículo, dado que es preciso publicar primero los efectos de un descubrimiento concreto para que alguien pueda reproducirlos más tarde, pero esto no impediría que nos proporcionaran una información clara y distinta sobre la calidad de una determinada investigación. Y como acabamos de constatar que ocurre con los índices de impacto, los índices de reproducibilidad podrían aplicarse incluso a las revistas científicas y a las diferentes áreas de especialización, puesto que ofrecerían una valoración numérica susceptible de combatir los prejuicios que dificultan tanto la publicación del hecho de que ha logrado reproducirse con éxito un experimento concreto como la divulgación de esa misma circunstancia.

Es más, el índice de reproducibilidad podría resultar aún más útil en el caso de los trabajos de carácter no científico. La mayoría de los investigadores que han dedicado una significativa cantidad de tiempo a trabajar en la fatigosa mina de sal que es el laboratorio han comprendido hace tiempo que muchas de las ideas que conciben no logran verse coronadas por el éxito, y que aquellas que sí alcanzan a triunfar lo consiguen a veces gracias al simple azar o a una interpretación benévola. Y a la inversa, esos mismos científicos admiten igualmente que la reproducibilidad significa que verdaderamente han dado con un hallazgo que presenta un interés real. No ocurre lo mismo en cambio con el público en general, ya que este no suele informarse de los progresos científicos a través de las revistas especializadas, sino que alcanza a conocerlos habitualmente con cuentagotas y a través del filtro de los medios de comunicación sensacionalistas. Por consiguiente, es muy frecuente que tanto a las personas no versadas en temas científicos como a los periodistas les sorprenda constatar que el descubrimiento de nuevos resultados pueda tirar por tierra los últimos hallazgos antiintuitivos logrados con anterioridad en un determinado campo del saber. La valoración de la reproducibilidad podría contribuir a canalizar la atención y a enfocarla preferentemente en la ocurrencia de un determinado cúmulo de contribuciones. Además de estas cuestiones, conviene considerar la posibilidad de aplicar los criterios de la reproducibilidad a las distintas intervenciones que se producen en el ámbito de las políticas públicas destinadas a mejorar la salud de los ciudadanos, a incrementar los progresos de la educación o a doblegar la incidencia de los actos violentos. De hecho, los individuos podrían beneficiarse incluso de la aplicación de los criterios de reproducibilidad, ya que estos podrían contribuir a optimizar sus hábitos personales, por ejemplo en lo tocante a intentar seguir una dieta más eficaz, a perseverar en la práctica del ejercicio físico o a consagrarse más eficientemente al trabajo.

Mucho mejor que denigrar las virtudes de la reproducibilidad es ensalzarlas. Pese a que muy a menudo demos por supuesta la posibilidad de aplicarla, lo cierto es que la reproducibilidad tendría más de excepción que de regla. Si una corriente o un chorro de agua revela la presencia de un conjunto de rocas enterradas en el barro, también la reproducibilidad podría venir a poner de manifiesto la presencia de los hallazgos más fiables, así como el trabajo de los mejores investigadores, las revistas más competitivas, e incluso las áreas de conocimiento más destacadas. Y en términos más generales, la reproducibilidad podría constituir una herramienta indispensable y permitirnos valorar tanto la calidad de las decisiones personales como la idoneidad de las medidas que se adoptan en el ámbito público. Como ya se sugiere en el Kalama Sutta^[*], la reproducibilidad podría llegar incluso a ayudarnos a decidir a quién nos conviene más creer.