La validez de las revisiones sistemáticas de la Cochrane está seriamente amenazada. Mientras sean los investigadores y sus patrocinadores, la industria farmacéutica, los que seleccionen la información que se publica y, por tanto, es revisada y sintetizada por los autores de la Cochrane, serán sus intereses los que prevalezcan y no la objetividad. Si entra basura en una revisión sistemática o un meta-análisis, por muy buena que sea la metodología, sale basura.

Tom Jefferson lo explicó claro en este texto ya clásico traducido por Salud y Fármacos:

«Entonces, ¿deberíamos ignorar la evidencia de los artículos de revistas? Si no se toman medidas urgentes para abordar la situación, nuestra respuesta sería “probablemente. Siguiendo la ley de Garbage In Garbage Out (si se mete basura se saca basura), todo lo que produzcamos en nuestras revisiones se ensamblará y sintetizará sistemáticamente con un bonito logotipo de Cochrane”

El sesgo de información selectiva es muy prevalente en la literatura científica biomédica. Este sesgo implica que los investigadores no comunican todos los resultados de las intervenciones que habían decidido investigar: entre el 71% y el 88% de las publicaciones de ensayos clínicos tienen al menos un resultado no comunicado en el artículo. Sospechamos que si no lo comunican es porque no interesa hacerlo… aunque, no seamos mal pensados, podría ser fruto del error. 

Desde luego, para los metodólogos, la falta de información acerca de unos resultados que explícitamente se querían investigar, haya sido por error o deliberadamente, equivale a mala ciencia. La propia Colaboración Cochrane señala que es mandatorio examinar el sesgo de información selectiva existente en los artículos incluidos en sus revisiones para otorgar más o menos credibilidad a las investigaciones incluidas en sus trabajos de síntesis de la evidencia. 

En el manual de la Colaboración Cochrane, elaborado entre otros por el expulsado Peter C Gøtzsche, uno de los siete dominios a explorar es el «sesgo de información selectiva». El Manual Cochrane señala que los autores de la revisión deben señalar que el riesgo del sesgo es bajo si el protocolo del estudio está disponible prospectivamente (es decir, antes de iniciar la investigación) y si todas las medidas de resultado, primarias y secundarias, especificadas en dicho protocolo y que son de interés en la revisión, fueron comunicadas.

El Manual, y esto nos parece increíble, abre la puerta a la discrecionalidad cuando acepta que el riesgo de sesgo pueda seguir siendo considerado bajo aunque el protocolo no esté publicado si «del informe del estudio se desprende claramente que se informaron todos los resultados esperados pre-especificados» (aunque -menos mal- también se señala que «un texto convincente de esta naturaleza será ser poco frecuente»)

Los autores del artículo que reseñamos en esta entrada, pertenecientes al Centro Cochrane de la Universidad Católica de Croacia en Zagreb, han publicado varios textos previamente señalando la falta de adherencia de los autores Cochrane a las normas Cochrane. Por ejemplo, el este trabajo, examinaban si los revisores Cochrane evaluaban adecuadamente el sesgo de deserción o pérdidas (attrition bias), es decir, la ponderación del efecto en los resultados finales de los pacientes que salen del ensayo clínico antes de su finalización (aquí comentamos el efecto de este sesgo en los ensayos clínicos con los nuevos antiagregantes y anticoagulantes). Sus conclusiones son descorazonadoras:

«Se encontró una inconsistencia muy alta en los métodos de evaluación del riesgo del sesgo de deserción en las revisiones Cochrane recientes.»

En el texto que nos sirve de excusa para este comentario, el mismo grupo de investigadores evalúa el rigor de los evaluadores de Cochrane a la hora de ponderar el sesgo de selección de resultados. Se incluyeron 729 revisiones Cochrane que incluyeron 10.527 ensayos clínicos. Los resultados son los siguientes:

(1) En 15 ensayos clínicos no existe evaluación de sesgo alguno

(2) En 970 ensayos (9%) no existe evaluación del sesgo de selección de información.

(3) Los 9.542 ensayos restantes, 4.901 (51%) fueron evaluados como de «bajo riesgo» de sesgo de selección de información; 3.405 (36%) como «riesgo poco claro» o intermedio y 1.236 (13%) con «alto riesgo» de sesgo.

(4) De los 4.901 ensayos juzgados por los autores de Cochrane con bajo riesgo de sesgo de información selectiva, tan solo 418 (8,5%) eran lo suficientemente informativos como para concluir que los autores de la revisión Cochrane habían actuado en concordancia con las instrucciones del Manual Cochrane. 

En los 4.483 ensayos restantes (91,5%), juzgados con una puntuación baja de riesgo de sesgo de información selectiva, los autores de Cochrane no proporcionaron información convincente que justificara el juicio realizado y, por tanto, la evaluación del sesgo no era conforme con la norma Cochrane. 

En el cuadro arriba podemos ver la casuística. Por ejemplo, en un 75% de los ensayos evaluados como de bajo riesgo ni siquiera se menciona alguna fuente de datos que apoye su opinión; en un 7,5% los evaluadores señalan que el protocolo no era accesible y a pesar de ello considertan el riesgo de sesgo bajo: en un 1,6% de los ensayos existe el protocolo pero su reanálisis no permite clasificar el riesgo de sesgo como bajo; en 5 ensayos clínicos el protocolo se publica retrospectivamente (tras terminar el ensayo) y a pesar de ello, los autores evalúan el riesgo de sesgo como bajo.

La mala ponderación de los ensayos clínicos catalogados como de bajo riesgo contrasta con la buena de los ponderados como de alto riesgo entre los cuales el 90% cumplía con los requisitos Cochrane; entre los ensayos evaluados como de riesgo intermedio o difícil de evaluar, el 34% debía haber sido evaluado como de alto riesgo.     

(5) Globalmente de los 9.542 ensayos con evaluación completa del riesgo de sesgo selectivo en la presentación de la información, al menos el 60% (5.739) no cumplían con las normas Cochrane; este porcentaje es muy superior entre los evaluados como de bajo riesgo donde la falta de cumplimiento es superior al 90%.

CONCLUSIONES

El error en la evaluación del sesgo de selección de la información no está en absoluto distribuido al azar ya que es mucho mayor entre los ensayos clasificados como de bajo riesgo (>90%) que entre los clasificados como de alto riesgo (10%). Descartamos el error aleatorio como fuente de sesgo de los evaluadores Cochrane. O, dicho de otra manera, los evaluadores Cochrane se equivocan sistemáticamente otorgando más credibilidad de la debida a los trabajos de investigación que incluyen en sus revisiones. 

Este resultado se repite con otros tipos de sesgo (como el que evalúa el peso de las pérdidas) donde, de igual manera, los autores Cochrane muestran una tendencia sistemática a sobrevalorar la validez de las investigaciones incluidas en sus revisiones.

Ante estos resultados podemos hacer tres cosas:

(1) Seguir tan contentos: y aceptar los resultados de las revisiones Cochrane -que posteriormente son la base de las recomendaciones de las Guías de Práctica Clínica- como la mejor verdad posible (ignorar la investigación metacientífica)

(2) Preocuparnos pero seguir confiando en la Cochrane: y pensar que mejorará sus procedimientos de evaluación (no ignorar estos trabajos pero ignorar el comportamiento de la Colaboración Cochrane cuando alguien osa criticar sus procedimientos como hizo con el expulsado Peter C Gøtzsche)

(3) Preocuparnos mucho, mucho, mucho, mucho… y, dos posibilidades:

• «cruzar los dedos» con el siguiente enfermo al que prescribamos un nuevo tratamiento «basado en los resultados de la última revisión Cochrane» (lo cual es como jugar a la ruleta rusa pero en cabeza ajena)

• asumir un escepticismo sistemático (como el que recomienda Stegenga) con los nuevos medicamentos y tecnologías y utilizar solo aquellos que, independientemente de las revisiones Cochrane o las Guías, cuenten con un conocimiento amplio y sólido (Sidney Wolf, fundador de Public Citizen, cree que no deberían utilizarse fuera de protocolos de investigación medicamentos con menos de 7 años en el mercado… y nos parece poco)

Por supuesto el/la amable lector/a sabe cuál es nuestra opción y cuál es la respuesta a la pregunta de título «¿Es la Cochrane un instrumento de blanqueo de la mala ciencia?»

Ustedes mismos