Seré breve (ya que en este otro post ya di la lata), y básicamente hay 7 puntos en los cuáles yo pondría atención:
¿Son estudios epidemiológicos?
¿El tamaños de la muestra es significante?
¿La muestra es aleatoria?
¿Hay sesgo de usuario?
¿Hay buen entendimiento de la estadística?
¿Existe conflicto de intereses?
¿Tiempo de duración válido?
¿Son estudios epidemiológicos?
Si son estudios epidemiológicos observacionales realizados a través de cuestionarios, los descarto inmediatamente por el sesgo. No son representativos de la realidad. No son fiables. No puedo pretender basar las recomendaciones mundiales (o nacionales) de salud y bienestar de una población, asumiendo como cierta el vago recuerdo en la memoria de las personas al contestar un par de preguntas de una encuesta sobre su comportamiento pasado.
¿El tamaños de la muestra es significante?
Cuando se identifica la población total, se desea obtener un tamaño de muestra representativo. Si el tamaño mínimo de muestra (para un cierto intervalo de confianza) es de 370 personas, y mi estudio fue únicamente de 20 personas, donde la mitad "presentó" la característica buscada y la otra mitad "no la presentó", inmediatamente se sabe que los resultados no son concluyentes. La matemática NO DA (revisar post de literatura científica para más información).
¿La muestra es aleatoria?
Al seleccionar una muestra de forma no-aleatoria, es prácticamente 100% esperable encontrar sesgos de usuario (en mayor/menor medida). Por eso existe la "aleatoriedad", para evitar/disminuir/eliminar lo más posible ese sesgo. Con una muestra aleatoria (que no es fácil hacerla), se busca "balancear" (por decirlo de alguna forma) los factores confusos conocidos y desconocidos que puedan estar alterando el resultado.
¿Hay sesgo de usuario?
No preocuparnos de este punto puede llevar a los siguientes errores: un estudio (epidemiológico) contempló 21.000 ciudadanos del reino unido que fueron caracterizados como “saludables”. De este grupo, había 8.000 que eran vegetarianos y otros 13.000 que comían animales y plantas (omnívoros). Los resultados de este estudio epidemiológico indicó que los “vegetarianos” del grupo en estudio tenían una tasa menor de mortalidad al compararlos con la población general, sin embargo, su tasa era muy similar a los no-vegetarianos del mismo grupo. Por lo que las conclusiones de los investigadores fueron “gran parte de los beneficios de la baja tasa de mortalidad que se atribuye a ambos grupos es independiente del consumo de productos animales (no se ven diferencias significativas), sino más bien por sus hábitos diarios saludables (fuera de la alimentación), como lo son el no fumar y un mayor status socio-económico. Es muy probable que los comportamientos saludables de ambos grupos hayan sido la causa de la mejora de la tasa de mortalidad, en comparación con la población general, y no el consumo de productos animales.
Si los investigadores no hubieses experimentado con 2 grupos, y únicamente hubiesen comparado "grupo de vegetarianos saludables" vs "población normal", entonces la conclusión habría sido: “sin consumo de productos animales, menor es la tasa de mortalidad”, y esa conclusión habría estado errada, producto de un sesgo propio de los individuos que componen el grupo.
Este fenómeno se le conoce en inglés como "Healthy user bias", está estudiado y se sabe que invalida los hallazgos de un estudio epidemiológico. Sin embargo, los "investigadores" continúan ignorando el daño y siguen utilizándolos como "prueba fehaciente para demostrar sus puntos".
¿Hay buen entendimiento de la estadística?
Interpretar un artículo de investigación científica no es sencillo. Una cosa es escribir números, desviaciones estándar, intervalos de confianza, error muestral, etc. Pero otra cosa totalmente distinta es que el conjunto de esos datos sean estadísticamente significativos. Una de las palabras más fuertes en este tipo de documentos, es la palabra "prueba de" o "causalidad". No es usual que los investigadores utilicen estos términos, es más frecuente encontrar términos como "relación de una variable con otra". Sin embargo, es extremadamente sencillo de forma intencional (o-no) confundir al lector (sobretodo cuando hay poca información compartida) para que crea que 2 variables tienen relación de causalidad, más allá de la correlación.
Esto me recuerda un ejemplo que vi en mi época de estudiante. Se analizaba la información de compra de un famoso retail de un pequeño pueblo, donde se encontró correlación entre la compra de pañales y cervezas. Estaban directamente relacionadas: a medida que subía la compra de una, subía la otra. ¿significa esto que el consumo de cervezas generaba un uso descontrolado de pañales por parte de la población ? o al revés, ¿que las personas que usaban pañales desarrollaban el hábito de tomar cerveza?
Ni una ni la otra, porque correlación no es causalidad. Este caso lo pueden estudiar acá, y los resultados muchas veces no son replicables y conducen directamente a error (que fue lo que le pasó al resto de los retails, cuando quisieron copiar la data). A veces las verdaderas razones no son consideradas en los estudios, como en este caso de los pañales y las cervezas: en esa época, el pequeño pueblo vivió una situación no antes vista de divorcios masivos. Por lo que era usual en padres/madres ir a comprar lo esencial para su hijo, y cervezas para su distracción mental. A pesar de que ambas variables estaban estrechamente correlacionadas, no había ninguna relación de causalidad en ellas, y esa situación particular sólo se generó en ese pequeño pueblo, y no en el resto del país (ni otros países tampoco).
Otro concepto importante es la "validez". Esta es usualmente ignorada. Perdí la cuenta de la cantidad de estudios epidemiológicos que satanizan la carne, porque en su "definición de carne" incluyen: pizza, empanadas, comida chatarra, tacos, bolas fritas con aceite vegetal rellenas de carne, etc. Todo eso genera que la investigación pierda validez, porque ya no estamos estudiando "impacto de la carne", sino que el impacto de "comida chatarra, exceso de carbohidratos, grasas oxigenadas transaturadas en combinación con carne" y esa es otra historia completamente diferente. Esto se puede apreciar en un ejemplo un tanto extremo, pero didáctico: imagínense un grupo de personas con cáncer (que no saben que tienen cáncer), y se ofrecen para ser parte de un estudio, en donde se busca probar el efecto positivo y de longevidad que tiene el deporte en la vida de las personas. Luego de 3 meses de esfuerzos, se ve que el grupo de personas cada día tiene menos fuerza, están más agotados y finalmente terminan muriendo. ¿significa eso que el deporte es causante de muerte? No. La realidad no es esa, pero es la conclusión errada que podrían afirmar los investigadores cuando no validan que la data utilizada sea "limpia". Esto pasa siempre.... ya que es muy difícil obtener data limpia. La única forma de hacerlo es tener a personas "encerradas" en un edificio controlando sus exámenes, lo que hacen, cómo se alimentan y manteniéndolas en observación constante día y noche. Esto -comprenderán- es difícil de hacer (y caro), sin embargo, se hizo alguna vez....
Otro ejemplo de "validez" se aprecia si quisiéramos medir "inteligencia" entre dos personas. Una que tiene familiarización con la tecnología, y otra que no.
Vea el siguiente video desde el segundo 00:14
Creo que la mayoría de los que tiene la capacidad para leer este post, puede desactivar un filtro en Zoom. ¿eso nos hace más inteligentes que el abogado? Por supuesto que no. No necesariamente, al menos. Si quisiéramos medir inteligencia a través de una prueba sobre activación/desactivación de filtros, lo único seguro que tendríamos es que es una mala prueba para medir IQ. No es válida, ya que lo único que mide esa prueba es "qué tanto conocimiento y habilitad tengo de la plataforma zoom". Nada más. Esto mismo pasa con muchos estudios no-válidos, que se utilizan para obtener conclusiones sesgadas y peor, erradas.
¿Existe conflicto de intereses?
Es auto-explicativo. No es novedad que la industria del azúcar y farmacéutica han pagado a científicos para desarrollar investigaciones que entreguen como conclusiones "justo" lo que ellos están buscando. Lo mismo pasó para el cambio climático. La ciencia es increíble, pero el poder del dinero no respeta la ciencia, y muy frecuentemente es manipulada para respaldar sesgos personales individuales y $$$.
Nadie se queda afuera. Incluso el aclamado documental "Game Changers" está -curiosamente- plagado de conflictos de intereses no declarados. Revisemos:
AZÚCAR Y SU RELACIÓN CON ENFERMEDAD CARDIOVASCULAR (negando hasta el final)
PAGOS A MÉDICOS POR ASESORÍAS DE LA INDUSTRIA FARMACÉUTICA
AZÚCAR "NO ES DAÑINA" (LO DICEN LAS INVESTIGACIONES FINANCIADAS POR LA INDUSTRIA DEL AZÚCAR)
BIG PHARMA Y FINANCIAMIENTO
GAME CHANGERS
ESTATINAS
¿Tiempo de duración válido?
Cada cosa tiene su tiempo, y los tiempos se deben respetar. Aprender a hablar un nuevo idioma requiere un intervalo de tiempo mínimo, aún cuando pasemos todos los días durante 1 mes estudiando, difícilmente podremos aprender un nuevo idioma en un mes. Para que un árbol crezca corre el mismo principio, y para ciertos procesos metabólicos no es distinto.
¿es correcto indicar que un niño tiene trastornos del aprendizaje porque a sus 4 años aún no sabe multiplicar fracciones?
Por supuesto que no es correcto. Es ridículo afirmar semejante cosa, ya que un niño a los 4 años no se espera que sea capaz de resolver eso. Aún tiene varios años de colegio antes de estar en condiciones, y no es correcto juzgarlo de forma anticipada.
Lo mismo ocurre con investigaciones científicas:
Miren el siguiente titular "3 semanas consecutivas de cetosis nutricional no tiene ningún efecto sobre (...) comparado con una dieta alta en carbohidratos y baja en grasas". Sin embargo, olvidaron mencionar que los beneficios de la dieta cetogénica (cetosis nutricional) no se ven den 1, 2 ni 3 semanas. Hay bastante documentación disponible sobre los efectos de "keto flu" al inicio de un protocolo LCHF (lowcarb high fat). Son numerosos los testimonios que indican que recién a la semana 6-8 se comienzan a apreciar los cambios que menciona este titular:
https://pubmed.ncbi.nlm.nih.gov/31098615/
Ahora, si lo que se busca es el máximo rendimiento en deportistas/atletas, entonces el periodo puede ir desde unos 4 hasta 8 meses. Bastant más extenso que los estudios comparativos que se hacen entre una dieta alta en carbohidratos vs una alta en grasas:
https://pubmed.ncbi.nlm.nih.gov/28239404/
En el primer ejemplo, el tiempo mínimo para sentir beneficios de cetosis nutricional no se cumple en 3 semanas. Y en el segundo ejemplo, el tiempo mínimo para lograr ceto-adaptación no se logra en 6 semanas. No es posible concluir de forma correcta, cuando el parámetro de tiempo mínimo para cada medición está incorrecto.
