Experimentos: ¿logros médicos extraordinarios o resultados engañosos?

En este capítulo

Distinguir entre experimentos y estudios de observación

Analizar los criterios para un experimento válido

Detectar resultados engañosos

Los avances en medicina llegan y desaparecen en un santiamén. Un día lees en el periódico que han descubierto un tratamiento nuevo y prometedor para curar una enfermedad, y luego te enteras de que el fármaco en cuestión no cumplió las expectativas en la última fase de pruebas. Las compañías farmacéuticas bombardean a los televidentes con anuncios de sus productos y consiguen que millones de personas acudan a sus médicos de cabecera suplicando curas milagrosas para sus enfermedades, a veces sin saber siquiera para qué son los medicamentos. Todo el mundo puede buscar en Internet los detalles de cualquier dolencia, enfermedad o síntoma imaginable, y obtener toda clase de información y consejos. Pero ¿cuánta de esa información es realmente creíble? ¿Y cómo puedes decidir qué es lo que más te conviene si te pones enfermo, tienen que operarte o te encuentras en una emergencia?

En este capítulo haremos un recorrido entre bastidores para conocer los entresijos de los experimentos, la fuerza impulsora de los estudios médicos y de otras investigaciones en las cuales se realizan comparaciones (comparaciones que intentan dilucidar, por ejemplo, qué materiales de construcción son mejores, qué refrescos gustan más a los adolescentes, etc.). Conocerás la diferencia entre experimentos y estudios de observación y descubrirás qué utilidad tienen para ti los experimentos, cuál es la forma correcta de llevarlos a cabo y cómo detectar resultados engañosos. Con tantos titulares sensacionalistas y tantos “expertos” ofreciéndote consejos en todas partes, tienes que utilizar toda tu capacidad crítica para evaluar esa información y los conflictos que a menudo se presentan.

Consideraciones básicas sobre los estudios

Básicamente existen dos tipos de estudios: los experimentos y los estudios de observación. En este apartado veremos qué es exactamente lo que diferencia a los experimentos de otros estudios. Pero antes de entrar en detalles tengo que enseñarte la jerga básica de este campo.

Terminología técnica

Para entender los estudios, primero debes conocer el significado de los términos más utilizados:

En los siguientes apartados verás las diferencias entre estudios de observación y experimentos, cuándo se utiliza cada uno y cuáles son sus puntos fuertes y débiles.

Observar los estudios de observación

Igual que ocurre con las herramientas, hay que elegir el tipo de estudio adecuado para la tarea que tienes entre manos. Hay ciertas situaciones en que los estudios de observación son el método idóneo. Los estudios de observación más comunes son las encuestas y los sondeos (se explican en el capítulo 16). Si el objetivo es simplemente averiguar lo que piensa la gente y recopilar algunos datos demográficos (por ejemplo, sexo, edad, ingresos, etc.), las encuestas y sondeos no tienen rival, siempre y cuando se diseñen y se lleven a cabo correctamente.

En otras situaciones, sobre todo cuando se busca una relación de causa y efecto, los estudios de observación no son la mejor elección. Por ejemplo, supongamos que la semana pasada te tomaste un par de comprimidos de vitamina C; ¿fue eso lo que evitó que tus compañeros de trabajo te contagiaran el resfriado? A lo mejor te has salvado porque últimamente duermes un poco más o porque te lavas las manos un poco más a menudo, o puede que esta vez simplemente hayas tenido suerte. Con tantas variables en juego, ¿cómo puedes saber cuál de ellas influyó en el resultado de no haberte resfriado? En este caso necesitas un experimento que tenga en cuenta estas otras variables.

Cuando examines los resultados de un estudio, primero determina cuál era su propósito y si el tipo de estudio es adecuado para tal propósito. Por ejemplo, si se ha realizado un estudio de observación en lugar de un experimento para establecer una relación de causa y efecto, las conclusiones alcanzadas deberían analizarse con gran detenimiento.

Examinar los experimentos

La finalidad de un experimento es ver si la respuesta cambia como resultado del factor que estás estudiando; es decir, buscas una relación de causa y efecto. Por ejemplo, ¿tomar Ibuprofeno provoca un aumento de la tensión arterial? En caso afirmativo, ¿cuál es ese aumento? Pero como los resultados varían en todo experimento, quieres tener la certeza de que tus resultados presentan una alta probabilidad de repetirse, si has descubierto que ocurre algo interesante. Es decir, quieres estar seguro de que tus resultados difícilmente pueden ser fruto del azar (lo que en estadística se conoce como resultados estadísticamente significativos). Ése es el objetivo de cualquier estudio, ya sea de observación o experimental.

Un buen experimento se lleva a cabo creando un entorno muy controlado, tanto que el investigador pueda ver si un determinado factor o combinación de factores causa un cambio en la variable de respuesta, y en tal caso, la medida en que ese factor (o combinación de factores) influye en la respuesta. Por ejemplo, a fin de obtener la autorización gubernamental para un fármaco antihipertensivo, los investigadores farmacéuticos realizan experimentos con los que determinan si ese fármaco ayuda a reducir la tensión arterial, qué dosis es la más adecuada para cada población de pacientes, qué efectos secundarios (en su caso) se producen, y en qué medida ocurren esos efectos secundarios en cada población.

Diseñar un experimento válido

La forma de diseñar un experimento es lo que marca la diferencia entre resultados válidos y basura. Como la mayoría de los investigadores procuran redactar comunicados de prensa lo más llamativos posible sobre sus experimentos, tienes que ser capaz de distinguir el grano de la paja para determinar si los resultados que te están contando merecen ser creídos. Para decidir si un experimento es creíble, comprueba si cumple todos los criterios expuestos a continuación. Un experimento válido:

En este apartado te explicaré e ilustraré con ejemplos todos estos criterios.

Diseñar el experimento para realizar comparaciones

Todo experimento debe realizar comparaciones fidedignas para ser creíble. Esto puede parecer obvio, pero a menudo los investigadores están tan deseosos de verificar sus resultados que olvidan (o les da igual) demostrar que la causa real de las diferencias observadas en la respuesta es su factor, y no otros factores, incluida la probabilidad aleatoria.

Por ejemplo, supongamos que un investigador está convencido de que tomar vitamina C previene los resfriados, y para demostrarlo les pide a varias personas que tomen un comprimido de vitamina C al día durante seis meses. Ahora imagina que los sujetos se resfrían muy pocas veces durante ese tiempo. ¿Puede atribuir esos resultados a la vitamina C y a ninguna otra cosa? No; no existe forma de saber si los sujetos habrían estado igual de sanos sin tomar vitamina C, debido a otro(s) factor(es) o por puro azar. No hay nada con lo que comparar los resultados.

Para averiguar cuál es el efecto real (si lo hay) que tu factor tiene sobre la respuesta, necesitas una referencia contra la cual comparar los resultados. Esta referencia es lo que se denomina grupo de control. Existen diferentes métodos para crear un grupo de control en un experimento. La situación particular es la que determina cuál de estos métodos debe considerarse el más apropiado. Los tres métodos más habituales para incluir un grupo de control consisten en administrar: 1) un tratamiento ficticio; 2) un tratamiento estándar; o 3) ningún tratamiento. Estos métodos se describen en los siguientes apartados.

Cuando examines los resultados de un experimento, asegúrate de que los investigadores crearon un grupo de control para establecer una referencia. Sin un grupo de control no tienes nada contra lo que comparar los resultados, y entonces no puedes saber si el tratamiento aplicado fue la causa real de las diferencias que puedas haber observado en la respuesta.

Tratamientos ficticios: el efecto placebo

Para el sujeto, un tratamiento ficticio (también llamado placebo) es indistinguible de un tratamiento “real”. Por ejemplo, cuando se administra un medicamento, los sujetos asignados al placebo reciben una pastilla falsa que tiene exactamente el mismo aspecto y sabor que la pastilla auténtica, pero sólo contiene una sustancia inerte, como el azúcar, en lugar del medicamento real. Un placebo establece una medida de referencia correspondiente a las respuestas que habrían ocurrido de todos modos si no se hubiera administrado el tratamiento estudiado (esto habría sido útil en el estudio de la vitamina C mencionado en el apartado “Diseñar el experimento para realizar comparaciones”). Pero, además, un tratamiento ficticio tiene en cuenta lo que los investigadores llaman efecto placebo, una respuesta que la gente experimenta (o cree experimentar) porque saben que están recibiendo algún tipo de “tratamiento” (incluso si ese tratamiento es ficticio, por ejemplo pastillas de azúcar).

Las compañías farmacéuticas deben considerar el efecto placebo al examinar los efectos positivos y negativos de un fármaco. Quizá creas que si el grupo de control toma un placebo, los sujetos no deberían manifestar ningún efecto secundario, pero no es así. Si tú mismo estuvieras tomando una pastilla, supieras que podría tratarse del fármaco auténtico y te preguntaran si estás experimentando o no algún efecto secundario, te sorprendería ver cuál sería tu respuesta.

Si no tienes en cuenta el efecto placebo, tienes que creer que todos los efectos secundarios (o resultados positivos) manifestados por los sujetos se deben al fármaco administrado. En ese caso obtienes un número artificialmente elevado de efectos secundarios, ya que al menos una parte de ellos se deben probablemente al efecto placebo y no al fármaco. Si tienes un grupo de control con el que comparar, coges el porcentaje de personas del grupo experimental que hayan manifestado los efectos secundarios y le restas el porcentaje de personas del grupo de control que hayan manifestado dichos efectos. Lo que te queda es básicamente el número neto de efectos secundarios debidos al fármaco, y no el número bruto de efectos secundarios, algunos de los cuales se deben al efecto placebo.

Se ha comprobado que el efecto placebo es real. Si quieres examinar de manera imparcial los efectos secundarios (o reacciones positivas) de un tratamiento, debes tener en cuenta también los efectos secundarios (o reacciones positivas) que manifieste el grupo de control, sabiendo que esas reacciones se deben exclusivamente al efecto placebo.

Tratamientos estándares

En determinadas situaciones, por ejemplo, cuando los sujetos padecen enfermedades muy graves, la opción de administrar un tratamiento ficticio puede ir en contra de la ética. Un ejemplo famoso de comportamiento no ético ocurrió en 1997. El gobierno de Estados Unidos recibió críticas muy duras por financiar un estudio del VIH con el que se pretendía valorar nuevas dosis de AZT, un fármaco que, según se sabía ya entonces, reducía en dos tercios el riesgo de que las mujeres embarazadas transmitieran el virus al feto. Ese estudio en particular, que contó con la participación de 12.000 mujeres embarazadas de África, Tailandia y la República Dominicana, todas ellas infectadas con el VIH, tenía un diseño mortal. Los investigadores administraron a la mitad de las mujeres distintas dosis de AZT, pero a la otra mitad le dieron pastillas de azúcar. Naturalmente, si el gobierno de Estados Unidos hubiera sabido que se estaba dando un placebo a la mitad de los sujetos, no habría financiado el estudio. No es ético administrar un tratamiento ficticio a alguien que tenga una enfermedad mortal para la cual exista un tratamiento estándar (en este caso, la dosis estándar de AZT).

Cuando el uso de tratamientos ficticios deba descartarse por razones éticas, el nuevo tratamiento se compara con al menos un tratamiento existente o estándar cuya efectividad se haya comprobado. Cuando los investigadores reúnen datos suficientes para ver que uno de los tratamientos funciona mejor que el otro, generalmente detienen el experimento y asignan todos los sujetos al mejor tratamiento, también por razones éticas.

Ningún tratamiento

Si los integrantes del grupo de control no van a recibir “ningún tratamiento”, el investigador no tiene otro remedio que comunicárselo, debido a la propia naturaleza del experimento. En este caso no se influye de ningún modo en el comportamiento de los sujetos, pero igualmente sirven como grupo de control al establecer una referencia contra la cual comparar los resultados del grupo o grupos experimentales. Por ejemplo, supongamos que quieres determinar si dar diez vueltas diarias a la manzana caminando rápido disminuye la frecuencia cardíaca en reposo al cabo de seis meses. Los sujetos incluidos en el grupo de control sabrán que ellos no van a dar vueltas a la manzana, ya que, obviamente, eso es algo que no puede simularse (aunque no estaría mal que pudiéramos hacer ejercicio simulado y aun así ponernos en forma, ¿verdad?).

Cuando el grupo de control no recibe ningún tratamiento, igualmente hay que asegurarse de que los grupos de sujetos (en este caso personas que caminan frente a personas que no caminan) son similares en tantos aspectos como sea posible, y que además se cumplen el resto de los criterios para un experimento válido (los tienes en el apartado “Diseñar un experimento válido”).

Seleccionar el tamaño muestral

El tamaño de una muestra (válida) influye mucho en la precisión de los resultados. Cuanto más grande es la muestra, más precisos son los resultados y más potentes son las pruebas estadísticas (para poder detectar resultados reales, si los hay). En este apartado comento los aspectos más importantes de esta cuestión, y en el capítulo 14 entro en detalles.

La palabra “muestra” generalmente se asocia a las encuestas, donde se selecciona una muestra aleatoria de la población objetivo (tal como se describe en el capítulo 16). Sin embargo, en el contexto de los experimentos, una muestra es el grupo de sujetos que se han presentado voluntarios para participar.

Muestras pequeñas, conclusiones a pequeña escala

De todos los resultados de investigación que se dan a conocer en los medios y que hacen referencia a poblaciones muy grandes, te sorprendería saber cuántos están basados en muestras muy pequeñas. Esto es motivo de preocupación para los estadísticos, quienes conocen de primera mano la dificultad que entraña detectar resultados estadísticamente significativos en una población grande utilizando una muestra pequeña, ya que los conjuntos de datos pequeños presentan más variabilidad de una muestra a otra (la explicación está en el capítulo 12). Si el tamaño muestral es pequeño y el investigador extrae conclusiones a gran escala, significa que no ha utilizado el contraste de hipótesis correcto para analizar los datos (por ejemplo, utilizar la distribución Z en lugar de la distribución t; vuelve al capítulo 10) o bien la diferencia era tan grande que sería difícil equivocarse. Esto último, no obstante, no siempre se cumple.

Ojo con los estudios que encuentran resultados significativos a partir de tamaños muestrales pequeños (sobre todo en experimentos que comparan muchos tratamientos pero tienen pocos sujetos asignados a cada tratamiento). A los estadísticos les gusta ver al menos cinco sujetos en cada tratamiento, pero cuantos más, mejor. A pesar de todo, hay que ser consciente de algunas limitaciones propias de los experimentos (por ejemplo, los costes, el tiempo y los problemas éticos) y entender que el número de sujetos de un experimento es a menudo inferior al número de participantes en una encuesta.

Si los resultados son importantes para ti, pide una copia del informe de investigación, averigua qué tipo de análisis han hecho con los datos y comprueba si la muestra de sujetos es realmente representativa de la población sobre la cual los investigadores están extrayendo conclusiones.

Definir el tamaño muestral

Si preguntas por el tamaño muestral, tienes que dejar claro a qué te refieres con este término. Por ejemplo, puedes preguntar cuántos sujetos fueron seleccionados para participar o también cuántos terminaron realmente el experimento, ya que estos dos números pueden ser muy diferentes. Asegúrate de que los investigadores tienen una explicación para los casos en que los sujetos decidieran abandonar el experimento o no pudieran terminarlo (por alguna razón).

Por ejemplo, en el periódico The New York Times leo un artículo titulado “Marihuana: alivio eficaz para el tratamiento contra el cáncer”, en cuyo primer párrafo se afirma que esta droga es “mucho más eficaz” que cualquier fármaco destinado a mitigar los efectos secundarios de la quimioterapia. Cuando entras en detalles, descubres que los resultados se basan en tan sólo 29 pacientes (15 de ellos siguieron el tratamiento, y 14 tomaron un placebo). Y luego te enteras de que únicamente 12 de los 15 pacientes del grupo experimental llegaron a terminar el estudio. ¿Qué pasó con los otros tres sujetos?

A veces los investigadores basan sus conclusiones únicamente en los sujetos que terminaron el estudio. Esto puede inducir a error, ya que la falta de información sobre los sujetos que abandonaron (y por qué) puede conducir a datos sesgados. En el capítulo 13 hablo sobre el tamaño muestral que se necesita para alcanzar cierto grado de precisión.

La precisión no es lo único necesario para que los datos puedan considerarse “válidos”. También debes eliminar el sesgo seleccionando una muestra aleatoria (en el capítulo 16 explico la forma de hacerlo).

Seleccionar a los sujetos

Una vez elegido el tamaño muestral, el siguiente paso de un experimento consiste en seleccionar a los sujetos (participantes). Aunque a los investigadores les gustaría que los sujetos se seleccionaran de forma aleatoria de sus respectivas poblaciones, en la mayoría de los casos esto no es adecuado. Por ejemplo, supongamos que un grupo de investigadores oftalmológicos quieren probar un nuevo método de cirugía láser para miopes. Necesitan una muestra aleatoria de sujetos, de manera que seleccionan aleatoriamente a varios oftalmólogos de todo el país y seleccionan aleatoriamente a pacientes miopes de esos oftalmólogos. Llaman por teléfono a cada una de las personas seleccionadas y le dicen: “Estamos experimentando con una nueva técnica de cirugía láser para la miopía, y usted ha sido seleccionado al azar para que participe en nuestro estudio. ¿Cuándo le va bien que lo operemos?”. Algo me dice que este enfoque no daría buen resultado con la mayoría de las personas (aunque probablemente algunos estarían encantados de aceptar, sobre todo si tienen una cola de espera de dos años para la intervención).

Obtener una muestra de personas realmente aleatoria para que participen en un experimento generalmente es más difícil que obtener una muestra aleatoria de personas para que participen en una encuesta. No obstante, los estadísticos pueden diseñar el experimento de manera que se reduzca al mínimo la posibilidad de sesgo.

Realizar asignaciones aleatorias

Una manera de reducir al mínimo el sesgo en un experimento es introducir algo de aleatoriedad. Una vez seleccionada la muestra, los sujetos se asignan aleatoriamente al grupo o grupos experimentales y al grupo de control. Los grupos experimentales reciben los distintos tratamientos que se estén estudiando, mientras que el grupo de control recibe el tratamiento actual (o estándar), ningún tratamiento o un placebo (está explicado en el apartado anterior “Diseñar el experimento para realizar comparaciones”).

Asignar aleatoriamente los sujetos a los distintos tratamientos es de vital importancia para reducir al mínimo el sesgo en un experimento. Imagina que un investigador quiere determinar los efectos del ejercicio físico sobre la frecuencia cardíaca. Los sujetos de su grupo experimental salen a correr 8 kilómetros y les miden las pulsaciones antes de empezar y después. Los sujetos de su grupo de control se quedan sentados en el sofá viendo reposiciones de series antiguas. ¿A ti qué grupo te gustaría que te tocara? Siempre hay adictos al deporte que preferirían estar en el grupo experimental, pero, si no te atrae la idea de correr 8 kilómetros, podrías ir a lo fácil y presentarte voluntario para despanzurrarte en el sofá (o también puede que odies tanto las reposiciones que serías capaz de correr 8 kilómetros para evitarlas).

¿Qué repercusiones tendría sobre los resultados del estudio el hecho de que los propios participantes eligieran grupo? Si para el grupo experimental se presentaran voluntarios únicamente los adictos al deporte (quienes probablemente tienen una frecuencia cardíaca excelente), el investigador tan sólo analizaría los efectos del tratamiento (correr 8 kilómetros) sobre personas muy saludables y activas. No vería cuáles son los efectos sobre la frecuencia cardíaca de personas muy sedentarias. Esta asignación no aleatoria de los sujetos al grupo experimental y al grupo de control podría influir mucho en las conclusiones que luego extrajera del estudio.

Para evitar el sesgo en los resultados de un experimento, los sujetos deben ser asignados aleatoriamente a los tratamientos por un tercero, y no se les debe permitir que elijan grupo según sus preferencias personales. El objetivo de la asignación aleatoria es crear grupos homogéneos, de manera que en todos los grupos exista la misma probabilidad de sesgo o características inusuales. Ten esto siempre presente cuando evalúes los resultados de un experimento.

Controlar las variables de confusión

Imagina que participas como sujeto en un estudio de investigación que examina los factores que influyen en coger un resfriado. Si el investigador se limita a anotar si te has resfriado después de cierto período de tiempo y te hace preguntas sobre tus hábitos (cuántas veces al día te lavas las manos, cuántas horas duermes cada noche, etc.), estará realizando un estudio de observación. El problema de este tipo de estudio es que, si no se controlan otros factores que puedan ejercer alguna influencia y no se regulan las cosas que haces en cada momento, el investigador no podrá determinar exactamente cuál de tus acciones influyó realmente en el resultado (si es que alguna lo hizo).

La mayor limitación de los estudios de observación es que en realidad no permiten ver auténticas relaciones de causa y efecto, debido a lo que en estadística se llama variables de confusión. Una variable de confusión es una variable o factor que no se estaba controlando en el estudio pero que pudo influir en los resultados.

Por ejemplo, hace tiempo se publicó una noticia con el siguiente titular: “Un estudio relaciona la maternidad tardía con una mayor longevidad”. El primer párrafo decía que las mujeres que dan a luz a su primer hijo después de cumplir los cuarenta años tienen una probabilidad mucho más alta de vivir más de cien años, en comparación con las mujeres que tienen su primer hijo siendo más jóvenes. Cuando lees los pormenores del estudio (hecho en 1996), descubres, en primer lugar, que se basó en 78 mujeres que residían en zonas residenciales de las afueras de Boston, nacieron en 1896 y vivieron al menos cien años, en comparación con 54 mujeres que también nacieron en 1896 pero fallecieron en 1969 (el primer año para el cual los investigadores pudieron encontrar registros de mortalidad informatizados). El supuesto “grupo de control” estaba formado por mujeres que vivieron exactamente setenta y tres años, ni uno más ni uno menos. De las mujeres que pasaron de los cien años de edad, el 19% habían dado a luz después de cumplir los cuarenta, mientras que únicamente el 5,5% de las mujeres que fallecieron a los setenta y tres habían dado a luz después de cumplir los cuarenta.

Tengo un problema gordo con estas conclusiones. ¿Cómo puede ser que el “grupo de control” se basara exclusivamente en las mujeres que fallecieron en 1969 a la edad de setenta y tres años? ¿Qué pasa con el resto de las mujeres que fallecieron antes de cumplir los setenta y tres o que fallecieron a una edad comprendida entre setenta y tres y cien años? ¿Qué pasa con el resto de las variables que pudieron influir en la edad de las mujeres al dar a luz o en su esperanza de vida, como por ejemplo la situación económica, la estabilidad matrimonial u otros factores socioeconómicos? Las mujeres de este estudio ya habían cumplido los treinta cuando vivieron la Gran Depresión; eso pudo influir en su longevidad y en el momento elegido para dar a luz.

Los investigadores controlan las variables de confusión lo mejor que pueden, las anticipan en la medida de lo posible y procuran reducir al mínimo su posible efecto sobre la respuesta. En los experimentos con personas, los investigadores se enfrentan a muchas variables de confusión.

Por ejemplo, para un estudio que intente determinar el efecto de diferentes tipos y volúmenes de música sobre el tiempo que pasa una persona comprando en una verdulería (sí, hasta eso se investiga), los investigadores tienen que prever y controlar el mayor número posible de variables de confusión. ¿Qué otros factores, aparte del volumen y el tipo de música, podrían influir en el tiempo que pasa alguien en una verdulería? Se me ocurren varios: el sexo de la persona, la edad, la hora del día, si va con niños o no, cuánto dinero lleva encima, el día de la semana, cómo de limpia está la tienda, lo amables que sean los dependientes, y (lo más importante de todo), por qué razón ha ido (¿quiere hacer la compra de toda la semana o tan sólo ha entrado a por una lechuga?).

¿Cómo pueden los investigadores controlar todos esos factores de confusión? Algunos pueden tenerse en cuenta al diseñar el estudio, por ejemplo, la hora del día, el día de semana y la razón de haber ido a comprar. Sin embargo, hay otros factores (por ejemplo, la percepción de las condiciones de la tienda) que dependen totalmente de la persona que participa en el estudio. La forma de controlar esas variables de confusión específicas de cada cual consiste en utilizar pares de personas emparejadas con arreglo a variables importantes, o bien utilizar a la misma persona dos veces: una vez con el tratamiento y la segunda vez sin él. Se dice entonces que el experimento tiene un diseño de datos apareados. (Encontrarás más información al respecto en el capítulo 15.)

Antes de creerte una noticia referida a un avance médico (o cualquier noticia que aporte estadísticas), averigua cómo se llevó a cabo el experimento. Los estudios de observación no pueden controlar las variables de confusión, de manera que sus resultados no tienen tanta significación estadística (con independencia de lo que digan las estadísticas) como los resultados de un experimento bien diseñado. En los casos en que no sea posible realizar un experimento (al fin y al cabo, no se puede obligar a una mujer a tener un hijo antes o después de los cuarenta), asegúrate de que el estudio de observación está basado en una muestra suficientemente grande que sea representativa de la población. Y piensa en posibles variables de confusión que puedan influir en las conclusiones.

Problemas éticos

El problema de los experimentos es que algunos diseños experimentales no son éticos. Por poner un ejemplo, no puedes obligar a los sujetos a que fumen para ver si desarrollan cáncer de pulmón. Tienes que examinar a personas que tengan cáncer de pulmón e ir hacia atrás para determinar qué factores (las variables estudiadas) pueden haber causado la enfermedad. Pero como no puedes controlar los diversos factores en los que estás interesado (ni ninguna otra variable, en realidad), en los estudios de observación es muy difícil aislar una causa concreta. Pero eso hicieron falta tantas pruebas para demostrar que fumar causa cáncer de pulmón, y por eso pasaron tantos años hasta que se obligó a las tabaqueras a compensar económicamente a las personas afectadas. Aunque las causas del cáncer y de otras enfermedades no pueden determinarse realizando experimentos con personas (no sería ético), los nuevos tratamientos contra el cáncer sí pueden ser (y están siendo) verificados por medio de experimentos. Los estudios médicos en los que se realizan experimentos se denominan ensayos clínicos. El gobierno de Estados Unidos tiene un registro de todos los ensayos clínicos que se realizan en el mundo con fondos públicos o privados, y también dispone de información sobre quiénes pueden participar en varios ensayos clínicos. Encontrarás más información al respecto en www.clinicaltrials.gov.

Los experimentos serios deben superar numerosas pruebas que pueden tardar años en llevarse a cabo. La aprobación de un nuevo medicamento, por ejemplo, es un proceso muy lento y minucioso que, en Estados Unidos se encuentra bajo el control y la supervisión de la FDA (la Food and Drug Administration, el equivalente de la Agencia Española del Medicamento). Una razón de que los medicamentos de venta con receta tengan un precio tan elevado es la enorme cantidad de tiempo y dinero necesarios para la investigación y el desarrollo de nuevos fármacos, la mayoría de los cuales no consiguen superar los ensayos y no consiguen la autorización para ser comercializados.

Además, todos los experimentos donde los sujetos son personas están regulados por la ley y deben contar con la autorización oficial. Las investigaciones que se realizan con animales no están tan bien reguladas y continúan generando mucha controversia en todo el mundo.

Las encuestas, sondeos y otros estudios de observación van bien para conocer la opinión de la gente, para examinar sus estilos de vida sin influir en ellos o para analizar algunas variables demográficas. Si tu propósito es determinar la causa de un determinado resultado o comportamiento (es decir, la razón de que haya ocurrido algo), es mucho mejor realizar un experimento. Si un experimento es inviable por razones éticas (o porque resulta muy caro o por otros motivos), lo siguiente mejor es realizar un número elevado de estudios de observación que analicen muchos factores distintos y lleguen a conclusiones similares. (En el capítulo 18 encontrarás más información sobre las relaciones de causa y efecto.)

Recopilar datos válidos

Para determinar si los datos son válidos, los estadísticos aplican tres criterios, cada uno de los cuales está relacionado con la calidad del instrumento de medición utilizado en el proceso de recopilación de esos datos. Para considerarse válidos, los datos de un estudio deben reunir las siguientes características:

El sesgo es probablemente el mayor problema a la hora de recopilar datos válidos. No obstante, es posible reducirlo al mínimo utilizando métodos similares a los que ya vimos en el capítulo 16 para las encuestas y en el apartado “Realizar asignaciones aleatorias” de este mismo capítulo, y también haciendo que el experimento tenga doble enmascaramiento.

Doble enmascaramiento (a menudo llamado “doble ciego”) significa que tanto los sujetos como los investigadores desconocen qué tratamiento recibe cada persona y quién está en el grupo de control. Los sujetos no deben saber qué tratamiento se les está administrando porque de otro modo los investigadores no podrían medir el efecto placebo. En cuanto a los investigadores, tampoco deben estar al tanto de esa información para que no traten a los sujetos de manera diferente por el hecho de esperar o no esperar determinadas respuestas de determinados grupos. Por ejemplo, si un investigador está estudiando los efectos secundarios de un nuevo medicamento y sabe que estás en el grupo experimental, quizá espere que te encuentres mal y por ese motivo te preste más atención que si supiera que estás en el grupo de control. Esto puede dar lugar a datos sesgados y resultados engañosos.

Si el investigador sabe qué tratamiento está recibiendo cada persona pero los sujetos no lo saben, se dice que el estudio está enmascarado (no doblemente enmascarado; o ciego simple). Los estudios enmascarados son mejor que nada, pero lo ideal son los estudios doblemente enmascarados. A lo mejor se te ocurre la siguiente pregunta: en un estudio con doble enmascaramiento, ¿hay alguien que sí sepa qué tratamiento está recibiendo cada sujeto? La respuesta es sí. Lo normal es que haya un tercero, por ejemplo un ayudante de laboratorio, que tenga esa información.

En algunos casos los sujetos saben en qué grupo están porque no hay manera de ocultárselo; por ejemplo si se comparan los beneficios de practicar yoga contra los de practicar jogging. Sin embargo, el sesgo es menor cuando no se comunica a los sujetos el propósito exacto del estudio. Esta forma irregular de proceder debe ser supervisada por una junta de revisión institucional para tener la certeza de que no va en contra de la ética. (Relee el apartado anterior “Problemas éticos”.)

Analizar los datos correctamente

Una vez recopilados, los datos se meten en esa misteriosa caja llamada análisis estadístico, donde se realizan los cálculos numéricos. La elección de un análisis es igual de importante (en lo que respecta a la calidad de los resultados) que cualquier otro aspecto de un estudio. El análisis debe planificarse con antelación, durante la fase de diseño del experimento. De este modo se evitan problemas graves después de haber recopilado los datos. Cuando vayas a seleccionar la forma de análisis, hazte la siguiente pregunta: “Después de haber analizado los datos, ¿podré responder de manera legítima y correcta a la pregunta que he formulado?”. Si la respuesta es “no”, significa que ese análisis no es el adecuado.

Entre los tipos de análisis básicos están los intervalos de confianza (se utilizan para estimar un valor poblacional, o la diferencia entre dos valores poblacionales); los contrastes de hipótesis (se utilizan para contrastar una afirmación referida a una o dos poblaciones, por ejemplo, que un medicamento es más eficaz que otro); y los análisis de correlación y regresión (se utilizan para determinar si una variable cuantitativa puede predecir o causar cambios en otra variable cuantitativa o de qué forma lo hace). En los capítulos 13, 15 y 18, respectivamente, encontrarás información sobre estos tipos de análisis.

Cuando estés decidiendo la forma en que vas a analizar los datos, debes asegurarte de que los datos y el tipo de análisis son compatibles. Por ejemplo, si quieres comparar un grupo experimental con un grupo de control para saber cuánto han adelgazado los sujetos tras seguir una nueva dieta (frente a una dieta ya existente), tendrás que recopilar datos sobre los kilos que adelgazó cada persona, no simplemente el peso de la persona al término del estudio.

Extraer conclusiones apropiadas

En mi opinión, los principales errores que cometen los investigadores al extraer conclusiones sobre sus estudios son los siguientes (los comento en los apartados siguientes):

Exagerar los resultados

Muchas veces los medios de comunicación difunden noticias que exageran los resultados de una investigación. Cuando leas una noticia o te hablen de un estudio, entérate de cómo lo hicieron y a qué conclusiones llegaron exactamente.

Los comunicados de prensa también tienden a exagerar los resultados. Por ejemplo, en un reciente comunicado de prensa del Instituto Estadounidense sobre el Abuso de Drogas (NIDA), los investigadores afirmaban que el consumo de éxtasis había disminuido con respecto al año anterior. Sin embargo, según pude ver en los resultados estadísticos del informe, aunque el porcentaje de adolescentes de la muestra que dijeron consumir éxtasis fue inferior al del año anterior, los investigadores consideraron que esa diferencia no era estadísticamente significativa cuando intentaron extrapolarla a la población formada por todos los adolescentes del país. Es decir: aun siendo cierto que en la muestra de ese año hubo menos adolescentes que consumieron éxtasis, la diferencia no puede atribuirse más que a la variabilidad de una muestra a otra. (En el capítulo 14 encontrarás más información sobre la significación estadística.)

Los títulos y los párrafos iniciales de los comunicados de prensa y los artículos de periódico generalmente exageran los resultados de los estudios. Los hallazgos espectaculares y los grandes avances científicos proporcionan muy buenos titulares, y muchas veces los periodistas sacan noticias de donde no las hay. ¿Cómo distinguir entre la verdad y la exageración? Lo mejor es leer la letra pequeña.

Llevar los resultados un paso más allá de los datos reales

El estudio que relaciona la maternidad tardía con una mayor longevidad ilustra otro error común de los investigadores. ¿Los resultados de ese estudio de observación permiten inferir que dar a luz a una edad tardía puede hacer que las mujeres vivan más años? Los investigadores dijeron que no. Su explicación de los resultados fue que tener un hijo a una edad más avanzada de lo habitual pudo deberse a que esas mujeres tuvieran un reloj biológico “más lento”, lo cual podría ralentizar el proceso de envejecimiento.

Mi pregunta para esos investigadores es la siguiente: “Entonces, ¿por qué no estudiasteis eso en lugar de fijaros tan sólo en la edad?”. El estudio no incluía ninguna información que pudiera llevarme a concluir que las mujeres que tuvieron un hijo después de cumplir los cuarenta envejecieron más despacio que otras mujeres. Por tanto, a mi juicio, los investigadores no deberían haber llegado a esa conclusión. O bien deberían haber indicado claramente que se trata de una simple teoría que requiere más estudios. Si nos basamos en los datos de ese estudio, la teoría de los investigadores es un esfuerzo de fe (de todos modos, como yo tuve a mi hijo a los cuarenta y uno, me gustaría que tuvieran razón).

Es habitual que en un comunicado de prensa o en un artículo de periódico el investigador explique por qué razón cree que los resultados del estudio fueron los que fueron y qué implicaciones tienen esos resultados para la sociedad en su conjunto, por mucho que no haya estudiado aún esa razón. Estas explicaciones pueden darse en respuesta a las preguntas del periodista sobre la investigación, preguntas que luego se eliminan para dejar tan sólo las declaraciones más jugosas del investigador. Muchas de estas explicaciones a posteriori no son más que teorías todavía por verificar. En estos casos, desconfía de las conclusiones, explicaciones o asociaciones que no estén respaldadas por los estudios.

Los periodistas quieren que leas el artículo (para eso les pagan), de manera que utilizan titulares sensacionalistas o dan como ciertas relaciones “causaefecto” no confirmadas, porque su trabajo consiste en venderte la noticia. Tu trabajo, en cambio, consiste en desconfiar.

Generalizar los resultados a personas que escapan al alcance del estudio

Únicamente puedes extraer conclusiones sobre la población que está representada por la muestra. Si en tu muestra sólo hay hombres, no puedes extraer conclusiones sobre mujeres. Si en tu muestra sólo hay personas jóvenes y sanas, no puedes extraer conclusiones sobre todo el mundo. Sin embargo, eso es justo lo que intentan hacer muchos investigadores, que pueden acabar obteniendo resultados engañosos.

Para determinar si las conclusiones de un investigador son válidas (en el capítulo 16 encontrarás más información sobre muestras y poblaciones), haz lo siguiente:

1. Averigua cuál es la población objetivo (es decir, el grupo sobre el cual el investigador quiere extraer conclusiones).

2. Averigua cómo se seleccionó la muestra y comprueba si dicha muestra es representativa de la población objetivo (y no de una población más pequeña).

3. Verifica las conclusiones a las que han llegado los investigadores y asegúrate de que no están intentando extrapolar sus resultados a una población más grande de la que realmente han estudiado.

Tomar decisiones con conocimiento de causa

Que alguien diga que ha hecho un “estudio científico” o un “experimento científico” no es razón para pensar que lo ha hecho bien o que los resultados son fiables (tampoco estoy diciendo que debas rechazar todo lo que veas y oigas). Por desgracia, cuando era asesora en asuntos relacionados con la estadística me encontré con muchos experimentos mal hechos. Lo peor de todo es que si un experimento no se ha hecho bien, ya no tiene remedio. Sólo te queda no hacer caso de los resultados.

Aquí tienes algunos consejos para decidir con conocimiento de causa si puedes o no creer los resultados de un experimento, sobre todo si esos resultados son muy importantes para ti: