Un estudio con pocos participantes que no encuentra diferencias suele interpretarse como una mala noticia para la hipótesis que estaba poniendo a prueba. Si el tratamiento no funcionó, si el efecto no apareció, si la diferencia no fue estadísticamente significativa, pareciera que la respuesta está dada.
Muchas veces no es así.
Puede significar simplemente que el estudio era demasiado pequeño para detectar el efecto que buscaba.
Lo menos intuitivo es que el problema contrario también existe. Un estudio con decenas de miles de participantes puede encontrar diferencias tan pequeñas que resultan estadísticamente significativas pero prácticamente irrelevantes para la vida real.
En ambos casos, los datos muestran algo.
La pregunta es si realmente encontraron algo importante.
El mecanismo
El tamaño de una muestra determina qué preguntas puede responder un estudio y cuáles no.
Cuando la muestra es demasiado pequeña, un efecto real puede pasar desapercibido simplemente porque no hay suficientes datos para detectarlo con confianza. Pero también puede ocurrir lo contrario: que una fluctuación favorable haga que un efecto parezca más grande de lo que realmente es.
Cuando la muestra es muy grande ocurre algo distinto. Diferencias mínimas pueden alcanzar significación estadística aunque tengan poca relevancia práctica. Un tratamiento puede producir un efecto medible en los datos sin que eso implique una mejora significativa para los pacientes.
Por eso el tamaño muestral no es un detalle técnico.
Es uno de los límites que determinan qué puede y qué no puede afirmar un estudio.
Porque una diferencia puede aparecer en los datos por azar.
Y también puede aparecer en los datos sin que importe demasiado fuera de ellos.
Para seguir leyendo
¿Cómo decide la ciencia cuándo una diferencia observada es suficiente para considerar que un resultado es real? Durante décadas, gran parte de la investigación respondió esa pregunta utilizando un único umbral estadístico.