Últimamente se ha puesto de moda hacer «experimentos» en medios de comunicación. En las últimas semanas hemos visto un especial sobre «superalimentos» en Antena3 presentado por Alberto Chicote donde se planteaban diferentes experimentos para ver las propiedades de los alimentos en cuestión.
Anteriormente en «Equipo de Investigación» vimos lo que le pasaba a dos personas que dejaban de tomar azúcar durante un periodo de tiempo. La moda no es nueva. El cineasta Morgan Spurlock en su documental Super Size Me monitoreaba los cambios que sufría su organismo al pasar una temporada comiendo únicamente en restaurantes de comida rápida. ¿Podemos considerar estos programas útiles desde el punto de vista de la ciencia? ¿Son válidas las conclusiones a las que llegan? ¿Obtenemos nuevo conocimiento? La respuesta es clara, no.
Para empezar hay que tener en cuenta la finalidad de cada uno. Un experimento trata de responder a una hipótesis previamente planteada. Un medio audiovisual trata de hacer algo que guste a los espectadores. Partimos de una disparidad de objetivos. ¿Podemos aunarlos? Podría plantearse un experimento y que a la vez fuera visualmente atractivo. Podría, pero no es el caso, puesto que en todos los casos, cuando hay cámaras de por medio se olvidan las reglas básicas de diseño de un experimento.
En los tres casos tienen una hipótesis de partida. Hay una pregunta que quieren responder. Por ejemplo, Chicote quería ver las bondades del brécol para la vista o la pasta para el rendimiento deportivo y planteó experimentos para verlo. Suena bien, pero había un problema. Un experimento es tan bueno como buenos son sus controles.
¿Dónde estaba el control en esos experimentos? Normalmente cuando planteamos un experimento hay que tener un control negativo, es decir, algo que sabes que no va a salir, y un control positivo, algo que sabes que sí que va a salir. ¿Qué sentido tiene? Para empezar, eliminar la variabilidad externa al experimento. Por ejemplo, en el experimento del brécol. Imaginemos que la concentración de pigmentos en la retina cambia a lo largo del año porque depende de las horas de luz y da la casualidad que realizas el experimento en primavera. Una persona que no haya comido brécol, también aumentará el contenido en pigmentos de la retina. Si el aumento es igual que los que sí que han comido brécol, la conclusión del experimento es que el brécol no hace nada; en cambio, si no llevas el control negativo la conclusión sería que el brécol es bueno para el ojo. No llevar un control te puede alterar drásticamente las conclusiones. En este experimento se podría plantear un control positivo de forma que a otro grupo se le administrara una dosis fija del compuesto que se acumula en la retina y que se supone que está en el brécol. Como se lo estamos dando directamente, sin necesidad de comer brécol, sabemos que se tiene que acumular sí o sí. ¿Y esto para qué sirve? Para empezar nos sirve de medida del efecto. Si los del control positivo aumentan un 100% respecto al control negativo y los del brécol 10%, pues el brécol hace, pero muy poco. Por otra parte, sirve para calibrar los instrumentos de medida. Si vas a medir y no ves diferencia en los del control positivo, algo falla en el aparato.
Otro error típico de los experimentos televisivos es que la ciencia se basa en repeticiones y confirmaciones. Un resultado es ningún resultado, puesto que el resultado no se da por bueno hasta que no se confirma y se hacen repeticiones. Por ejemplo, Super Size Me, donde UNA persona se somete al cambio de dieta es irrelevante. Algo mejor en el programa de Chicote, donde los experimentos se hacían con varias personas.
En general, cuanto más, mejor. Pero aquí viene el otro problema. Cuando repites un experimento nunca te va a dar el mismo resultado. Intervienen muchas variables y, volviendo al brécol, puede ser que a uno le aumente mucho la pigmentación y a otro no. Esto hay que gestionarlo utilizando herramientas estadísticas. Simplificando podemos decir que hay que hacer un tratamiento de los resultados y sacar una media, y lo que es importante, un error. Normalmente el resultado de un experimento no es «SI» o «No» o «Blanco» o «Negro» sino «cuánto» y con un margen de error, que refleja la exactitud de la medida. Por ejemplo. Imaginemos que estamos midiendo la acumulación de pigmento en la retina y en el control negativo vemos un aumento de 2 y en la muestra de 4. Conclusión, el brécol hace que aumente el doble la pigmentación. Pero resulta que teníamos mucha variabilidad en las medida y el error es de 3. Es decir realmente el control negativo no da un valor de 2, sino que da un número indeterminado comprendido entre entre -1 y 5, y la muestra oscila entre 1 y 7. En este caso la conclusión sería que el error es muy grande para sacar conclusiones, y queda abierta la posibilidad de que no haya diferencias ya que nada impide que en los dos casos el valor sea 3 ó 4, es decir, podría ser el mismo.
Por lo tanto, aunque en muchos programas les encante decir que lo que hacen es ciencia y experimentos científicos, si realmente quieren aportar datos útiles… menos efectos visuales y más controles.
