Uno de los pilares básicos del método científico es que cuentes como haces las cosas para que los demás investigadores puedan replicar tu experimento. De esa forma se verifica si se llega a las mismas conclusiones (o no) y el cuerpo del conocimiento entorno al tema de la investigación va creciendo.
A mi personalmente me pone los pelos de punta cada vez que leo un artículo y encuentro incoherencias entre lo expuesto en la metodología y los resultados planteados. Reconozco que en la mayoría de las casos se debe a que los investigadores podemos hacer "corta-pega" de otros artículos en los que hemos usado metodologías semejantes, pero la existencia de esas incoherencias nunca se le debería pasar a un revisor y mucho menos a uno de una revista de primer cuartíl. Antes de avanzar y para ahondar sobre hacia donde vamos con la evolución del proceso peer review es tremendamente interesante la visión y explicación que sobre el mismo se dá en el Blog "La Ciencia de la Mula Francis"
(El gran problema de la revisión por pares: La falta de revisores).
Bien, sigo con el tema, he leído con atención el paper de Amy L. Evans y colaboradores publicado en el Journal of Bone and Mineral Research (
Bone Density, Microstructure and Strength in Obese and Normal Weight Men and Women in Younger and Older Adulthood; Journal of Bone and Mineral Research Volume 30, Issue 5, pages 920–928, May 2015). El tema de la investigación no viene a cuento, digamos que está relacionado con mi campo de investigación y de ahí viene el interés. Se trata de un estudio en el que se han comparado diferentes parámetros óseos entre dos grupos de mujeres y hombres emparejados (paired). Los investigadores han cogido sujetos y los han emparejado para ver como se diferenciaban en unos parámetros de interés. Este emparejamiento se realizó en base a una serie de características para minimizar los sesgos y que por tanto las diferencias fueran debidas a las variables que les interesaban a los investigadores. Las variables de control fueron según el paper: género, edad (más/menos 3 años), altura (más/menos 5 cm), código postal y hábito tabáquico (fumador o no fumador). Es decir se crearon dos grupos y cada elemento del grupo 1 tiene una pareja del grupo 2 con la que coincide en género, edad (más/menos 3 años), altura (más/menos 5 cm), código postal y hábito tabáquico (fumador o no fumador). Esta distribución se llevó a cabo con todos los participantes en un ratio 1:1.
La sorpresa vienen cuando en la tabla 1 del artículo se indica que en todas las comparaciones (menos en una) la frecuencia de fumadores y no fumadores fue diferente entre grupos. A ver, si los investigadores cogen un fumador para el grupo 1, según su metodología deben incorporar un fumador al grupo 2, y si cogen un no fumador para el grupo 1 deberán incorporar un no fumador para el grupo 2, lógicamente si la frecuencia de fumadores y no fumadores (tabla 1 del artículo) no es la misma entre grupos significa una de dos cosas: o que la metodología utilizada no está bien descrita y que por tanto el criterio de fumador/no fumador no se utilizó para formar las parejas (¿entonces porque lo pones?) o, que el análisis estadístico está mal hecho, porque los participantes se han distribuido de forma errónea entre los grupos. Esta segunda opción nos lleva a la inquietante hipótesis de que pudiera ser que todo el análisis que se presenta en el paper pudiera ser erróneo. Recordemos que estamos hablando de una revista de primer cuartil, índice de impacto 6.832.
Desde mi punto de vista existen indicios en el trabajo que llevan a pensar que puede existir algún tipo de error en los cálculos aplicados, pero reconozco que mi análisis sobre la pertinencia de los métodos estadísticos utilizados en el paper puede ser cuestionado. En cualquier caso, el error metodológico me parece incuestionable y como tal se lo hice saber a la editora de la revista. esta fue su respuesta.
(...) "Overall it was felt that the issues raised were not sufficiently substantive to warrant publication of your letter, but we would encourage you to share your concerns with the authors of the paper in question through direct communication with them if you wish to pursue the matter.
Como digo entiendo que mi análisis estadístico del los datos presentados pueda ser cuestionado, pero no entiendo muy bien como la editora pasa de puntillas por el error metodológico. Siguiendo sus instrucciones me puse en contacto con los autores del trabajo, les comuniqué mis observaciones y esta fue su respuesta:
Hi Jose,
Thanks for your interest in our paper.
We didn't quite achieve perfect matching- so we used a hierarchy of importance of the matching criteria- gender, then age, then height, then postcode, then smoking. Therefore there were a few pairs who weren't matched for smoking, but the number of smokers overall was quite low so we don't think this had any significant effect on the results of the study.
Es de agradecer que respondieran rápidamente, por otra parte la respuesta era esperada "didn't quite achieve perfect matching" .... eso no es lo que pone en el paper.... en el paper pone el emparejamiento fue 1:1... si no fue así (que es comprensible por muchisimas razones) pues hay que ponerlo, pero desde luego queda mucho mejor decir que todo lo hiciste perfectísimo y así quedará para la eternidad si nadie te saca los colores y, luego la parte mejor "we don't think this had any significant effect".
Frase mítica para incluir en la sección "ahí queda mi ciencia" ¿como que no creemos que haya ningún efecto significativo? ¿y para que se inventó la estadística? o hay o no hay. ¿El análisis estadístico presentado en el trabajo se hizo contando la variable fumador/no fumador como controlada o no?, ¿el análisis se hizo pensando que estaba controlada pero realmente no lo estaba? en mi opinión los test estadísticos apropiados pueden variar en un caso o en otro. Bien es cierto que el resultado final puede que no difiera del presentado en el paper pero es nuestra labor intentar hacer las cosas lo mejor posible.
