Texto publicado por Jose Antonio

Hace unas semanas la revista Nature publicaba “20 consejos para interpretar afirmaciones científicas“1 con el objetivo de orientar a los no especialistas a la hora de interpretar la fiabilidad y rigor de un estudio. En este artículo hemos resumido y adaptado los 20 puntos (que no traducido) que podrían ser útiles para que el lector los tenga en cuenta. Hay quizá otros muchos sesgos y factores que podrían formar parte de la lista, pero aquí nos hemos limitado a recoger los 20 señalados por William J. Sutherland, David Spiegelhalter y Mark A. Burgman, adaptando alguna explicación para que se entienda mejor:

1. Las diferencias y la probabilidad originan los cambios. En el mundo real hay miles de variables y conviene no hacer una interpretación lineal de los hechos.

2. Ninguna medición es exacta. Todas tienen algún margen de error, por pequeño que sea. Todos los estudios deben mostrar claramente cuál es para no dar a entender un grado de certeza que no se tiene.

3. Hay sesgos en todas partes. El propio diseño experimental puede estar sesgado. Los científicos buscan resultados significativos y tienden a dar una visión exagerada de los problemas o de la efectividad de las soluciones. Lo más importante es que el experimento sea de doble ciego y que ni el experimentador ni los sujetos conozcan los detalles del experimento. Otro sesgo muy frecuente es el de confirmación, pues se tiende a insistir más en la línea del resultado que se espera obtener.

4. Cuanto más grande es la muestra, mejor. Que la muestra sea grande es especialmente importante en estudios donde hay grandes variaciones naturales o grandes márgenes de error. Siempre es más fiable un estudio con decenas de miles de participantes que con unas pocas decenas.

5. Correlación no implica causalidad. La correlación entre dos variables puede ser meramente casual, por tentador que nos parezca afirmar lo contrario. La mayoría de las veces entra en juego un tercer factor oculto. Por ejemplo, en su día algunos ecologistas pensaron que las algas venenosas estaban matando a los peces en algunos ríos. Resultó que las algas crecían donde los peces morían, y no eran la causa de las muertes.

6. La regresión a la media puede confundir. En ocasiones los fenómenos tienen sus propios ciclos y el momento de la medición puede inducirnos a error. Un ejemplo muy común de esta ilusión cognitiva es el que sucede con la homeopatía: la mayoría de los catarros suele remitir por sí mismos y los homeópatas aprovechan para reclamar poderes curativos de su placebo. Otro ejemplo es el que da Ben Goldacre en su libro ‘Mala Ciencia’ sobre la maldición de los deportistas que salen en la portada de Sports Illustrated. Cuando aparecen, lo natural es que estén en la cima y lo más probable es que empeoren.

7. Extrapolar más allá de los datos es arriesgado. Los patrones encontrados dentro de un determinado rango no tienen por qué funcionar fuera de él Observar un fenómeno en un ámbito y asumir que se da en otros ámbitos es un error común.

8. Cuidado con la negación del ratio base. Este error se produce cuando identificamos mal la probabilidad de que se dé un hecho al tomar como referencia un dato concreto. Por este motivo, por ejemplo, nos parece más probable morir en un atentado o un accidente de avión que en un resbalón en la bañera, cuando es al contrario. O el motivo por el que si a una persona le hacen un análisis de sangre que detecta una enfermedad con un acierto del 99% hay muchas posibilidades de que no tenga nada, aunque él crea que hay un 99%. Así, si la enfermedad afecta a 5 de cada 10000 personas y el test da siempre positivo si efectivamente tienes la enfermedad, eso significa que al realizar el test habrá 99,95 (1% de 9995) falsos positivos y 5 positivos reales. Por lo tanto la probabilidad de que tengas la enfermedad si has dado positivo es 5/(5+99,95) = 0.048, es decir, el 4,8%, muy lejos del 99% que suponías.

9. Los controles son importantes. Un grupo de control se mantiene en las mismas condiciones que el grupo del experimento, salvo que el tratamiento no se les aplica a sus miembros. Sin esta medida es muy difícil saber si un tratamiento tiene realmente un efecto.

10. La aleatoriedad reduce el sesgo. Cuando se diseña un experimento, los grupos y los individuos deben ser elegidos de forma aleatoria. Si se atiende a distintas características de los miembros del grupo, es más que probable que los resultados tengan un sesgo.

11. Busca la replicación, no la pseudorreplicación. Para comprobar la consistencia de un estudio los resultados deben ser replicables, pero si se replican en poblaciones independientes, son más sólidos. Cuando se diseña un ensayo con un tipo concreto de población es habitual que se obtengan resultados que no son extrapolables a otros tipos de poblaciones.

12. Los científicos son humanos. Los investigadores tienen intereses privados y, como en todos los colectivos, puede haber algún tramposo. El propio sistema de revisión por pares es engañoso puesto que los editores son más propensos a pasar los resultados positivos y tumbar los negativos. Para dar algo por comprobado de forma convincente, se necesita la confirmación por varias fuentes.

13. La significación es importante. La significación estadística está relacionada con la probabilidad de que algo haya sucedido por mero azar. Cuanto menor es el valor de esta probabilidad, menores son las posibilidades de que los resultados del estudio sean un espejismo o una casualidad.

14. Significación y efectos. La falta de significación estadística no quiere decir que no haya ningún efecto subyacente, sino que no se ha detectado ninguno. En ocasiones, un estudio pequeño puede no detectarlo, pero un estudio más exhaustivo puede encontrar una relación oculta, un efecto secundario o una consecuencia no observada.

15. La estadística no lo es todo. Las respuestas sutiles son más difíciles de ser detectadas, pero la importancia de un efecto, aunque éste sea pequeño, no es simplemente una cuestión estadística, puede tener implicaciones biológicas, físicas o sociales. En los años 90, la revista Epidemiology pidió a los autores que dejaran de usar simplemente la significación estadística porque estaban malinterpretando sistemáticamente los resultados.

16. Cuidado con las generalizaciones. Un ejemplo claro son las conclusiones que se sacan de un experimento en ratones respecto a lo que puede suceder en humanos.

17. Los sentimientos influyen en la percepción de riesgo. A pesar de los datos objetivos, la percepción del riesgo puede obedecer a factores psicológicos y sociales. En EEUU, por ejemplo, se sobrevalora el riesgo de vivir junto a una central nuclear y se subestima el de tener un arma en casa.

18. La confluencia de factores cambia los riesgos. Se pueden calcular los riesgos que tienen hechos independientes, pero en ocasiones puede ocurrir que los riesgos evaluados no sean realmente independientes y el riesgo real sea mucho mayor . Con que se desate el primer factor aumenta la posibilidad de que confluyan los otros y crece el riesgo. En el colapso de las hipotecas basura en EEUU se dio un caso claro de un cálculo erróneo de la independencia de los riesgos de las hipotecas individuales.

19. Los datos pueden ser seleccionados intencionadamente. El denominado ‘cherry-picking’ consiste en seleccionar solo aquellas pruebas o argumentos que dan la razón a nuestra tesis. Cuando se buscan resultados muy concretos se tiende a seleccionar solo los datos convenientes, cuando lo adecuado para hacer buena ciencia es reunir cantidades ingentes de datos, como sucedió en la búsqueda del bosón de Higgs, por ejemplo.

20. Las mediciones extremas pueden confundir. En los estudios donde se quiere medir una variable para comparar distintos elementos que tienen esa variable, como por ejemplo si queremos elaborar un ranking de universidades o de centros de investigación (elementos) en función de su productividad científica (variable), suele ocurrir que existen muchas fuentes de variabilidad que afectan a esa variable, en nuestro ejemplo la financiación disponible, el equipamiento, la calidad del profesorado o, incluso, la serendipia. Cuando se obtienen los resultados de estudios así es muy fácil simplificar y atribuir la variación de la variable a un sólo factor, por ejemplo la financiación, con lo que las comparaciones que se realizan de los valores extremos, la universidad número 1 y la última, ya sea entre sí, con la media o con la mediana, no son realmente significativos. Esto se da en prácticamente todos los rankings.

Sobre el autor: Antonio Martínez Ron es periodista. Fuente: Cuadernos de cultura científica.