Cochrane pierde credibilidad científica y social por la deficiente gestión de las críticas a su revisión sobre la vacuna del papiloma (VPH)

Cuando leímos la crítica de Jørgensen, Gøtzsche y Jefferson (en adelante JGJ), publicada en BMJ EBM, a la revisión Cochrane sobre la vacuna del papiloma, ya adelantamos en nuestro comentario la posibilidad de guerra civil dentro de la organización Cochrane y entre editores científicos. 

La crítica de JGJ se sustentaba en ocho elementos con enorme carga de profundidad (ver arriba) y ponía en entredicho, además del rigor de los procedimientos metodológicos de los autores, a la propia organización Cochrane en algunos aspectos como permitir que haya revisores con conflictos de interés con los productos evaluados y en las estrategias de divulgación pública

La contestación a la crítica de JGJ no se hizo esperar. Como suponíamos, los editores responsables de la Colaboración Cochrane (David Tovey, Editor in Chief, y Karla Soares-Weiser, Deputy Editor in Chief) se dieron por aludidos y respondieron en nombre de los autores (?) justificando la publicación de la revisión Cochrane y considerando las críticas de JGJ exageradas:   

1. La revisión Cochrane no desestimó «casi la mitad de los ensayos elegibles». Un pequeño número de estudios no publicados fueron incluidos por ser una revisión centrada en los artículos publicados, pero la adición de éstos datos no cambian sustancialmente los resultados de la revisión para las medidas principales;
2. Los comparadores de los ensayos se describieron de forma inequívoca, transparente y precisa;
3. La selección de las medidas de resultado para los beneficios fue apropiada y coherente con la Organización Mundial de la Salud.
4. La revisión incluyó datos publicados y no publicados sobre daños graves, y los informes sobre mortalidad se informaron de forma transparente y responsable;
5. Los autores de la revisión cumplían con las políticas actuales de conflicto de intereses de Cochrane;
6. La cobertura de los medios de comunicación  a la revisión de Cochrane fue cautelosa y equilibrada, pero reconocemos que podría haber mejoras en relación con la transparencia cuando se cite a expertos externos
7. El artículo publicado en BMJ EBM exageró sustancialmente sus críticas.

La respuesta de los editores jefes de la Cochrane carga fuerte contra los autores críticos JGJ (recordemos que los tres colaboran y/o forman parte de Cochrane):

«Concluimos que Jørgensen et al han hecho alegaciones que no están justificadas y han realizado un análisis inexacto y un informe sensacionalista»

Pero también contra el proceso editorial del BMJ EBM que publicó la crítica:

«Creemos que hay preguntas que formular sobre el rigor de la revisión por pares y de la edición realizada por BMJ Evidence-Based Medicine. Hacemos un llamamiento a BMJ para que considere nuestro informe e investigue si los procesos de garantía de calidad de la revista se cumplieron adecuadamente y si las conclusiones del artículo están justificadas y son proporcionadas.»

Ahora son los editores de la revista BMJ EBM los que contestan a las críticas de los editores jefe de la Cochrane.

En una muy interesante tabla, describen los 18 puntos que fueron deliberados en el proceso de revisión por pares (ver arriba los dos primeros). Los editores de BMJ EBM, Carl Heneghan e Igho Onakpoya, ambos expertos en MBE de la Universidad de Oxford, defIenden en última instancia la pertinencia del contenido del artículo crítico publicado en su revista:

«Creemos que el artículo de Jørgensen et al provoca un debate saludable y plantea preguntas importantes sobre la necesidad de asegurar que toda la evidencia disponible se incluya en las revisiones sistemáticas para informar adecuadamente las decisiones de atención sanitaria»

Pero además recuerdan a Cochrane que la crítica y la rendición de cuentas son inherentes al debate científico y que ni la censura ni el intento de intimidar son legítimos en ciencia:

«Reconocemos que los artículos de nuestra revista tratan de hacer que las organizaciones rindan cuentas y no rehuyen las críticas que puedan considerarse inconvenientes. La libertad académica significa comunicar ideas, hechos y críticas sin ser censurados, dirigidos o reprendidos»

Hoy en una noticia comentada, publicada en el BMJ, sobre el editorial del BMJ EBM, se habla de la necesidad de la «crítica inconveniente»:

«Las revistas no deben dejar de ofrecer críticas que pueden considerarse inconvenientes»

No sale muy bien parada la Cochrane como organización al intentar intimidar y reprender en vez de aceptar la crítica que es inseparable del verdadero espíritu científico. NoGracias lo tiene claro, Cochrane se ha «pegado un tiro en el pie» con esta reacción tan alejada de las normas que regulan los debates científicos y que está siendo legítimamente interpretada por la comunidad científica -vinculada a grupos con enorme crédito como los que representa el BMJ o la Universidad de Oxford- como un intento de anular la «crítica inconveniente» de sus revisiones.

Comentario editorial

NoGracias comparte las críticas del BMJ y BMJ EBM por los siguientes motivos: 

1- Hay una crisis de la ciencia biomédica. Desde una perspectiva meta-científica, hay una importante crisis de fundamentos y rigor científico en la ciencia biomédica (como lo expresan perspectivas como la de Ioannidis o la ciencia pos-normal) que incomprensiblemente Cochrane no está asumiendo: las evidencias empíricas que alimentan las revisiones de los estudios y su síntesis en meta-análisis tienen una elevada posibilidad de estar sesgadas y amplificar errores.

2-El Control de sesgos y errores en el proceso de producción científica requiere nuevas salvaguardas.La elevada posibilidad de sesgo a priori en la misma metodología científica (Stegenga) obliga a la Colaboración Cochrane a activar nuevas exigencias de salvaguarda, que no solo han de ser técnicas (aunque estas sean necesarias y, en general, rigurosas, no resultan suficientes) sino también epistemológicas, metodológicas, políticas y morales, como son: la transparencia, la publicidad de datos, el debate abierto y la participación ampliada, la contrastación y replicación, el análisis de las fuentes de financiación, los usos y aplicaciones, la rendición de cuentas, la explicitación de los procesos para determinar estándares, etc. Estas son condiciones que no pueden eliminarse si se opta por poder refutar o confirmar con rigor y objetividad las metodologías, los datos y las conclusiones de los estudios biomédicos que se someten a la investigación científica y meta-científica. Se trata de herramientas que favorecen el control de los factores internos del «contexto de justificación» y de los externos del «contexto del descubrimiento», y que entre otros fines sirven para reducir la incertidumbre y detectar errores y sesgos en los estudios y la experimentación biomédica sobre determinados medicamentos.

3- La buena ciencia siempre requiere debates abiertos en la comunidad científica. Tal y como se viene recalcando desde hace décadas por muy diversos teóricos de la ciencia, como por ejemplo el reconocido K. Popper, la diferencia central de los estudios y el conocimiento científico en comparación con otro tipo de conocimientos reside en la aplicación rigurosa del «método científico» en sus dos vías de indagación (empírica y racionalista) y también reside en el mismo «ethos» que caracteriza a las comunidades científicas: el debate abierto y crítico que hace posible la revisión y contrastación continuada de los estudios, hipótesis, metodología, resultados y aplicaciones. La conjunción de ambos tipos de controles (interno o metodológico y externo a través del debate) sobre las exigencias epistémicas en la ciencia posibilita unas mayores garantías de objetividad y una mayor productividad en torno a los resultados, el conocimiento y las verdades científicas. Luego el prestigio de una institución científica tiene que ver con su capacidad para favorecer y gestionar la difusión de información y los debates críticos en la comunidad científica, entre los profesionales, expertos e investigadores, no con censurarlos. La ciencia pos-normal representa una nueva perspectiva, muy aconsejable ante realidades y problemas de muy alto riesgo y daño y de muy alta indeterminación, que implica además un ampliado sistema de garantía ciudadana. Este paradigma establece un nuevo mecanismo de control científico al no restringir la participación y el debate abierto y crítico a la comunidad científico-investigadora, abriendo la participación a otros actores ciudadanos (afectados, responsables, preocupados, profesionales expertos…)

4- Hay que defender la autonomía y la libertad académica y científica. Los investigadores que han criticado la revisión Cochrane sobre la vacuna del papiloma son científicos cualificados, con criterios, autoridad y voz propia (Jefferson no trabajan en exclusiva para la Alianza y los tres tienen carreras académicas o clínicas independientes). Es decir, los miembros y colaboradores de Cochrane además de ser parte de dicha organización, son sujetos con derecho individual a la libertad de discrepar, opinar y criticar públicamente, a contradecir metodologías y resultados de estudios científicos y metacientíficos, a cuestionar opiniones y acuerdos adoptados por la dirección de la organización. La calidad y fundamento de la crítica debe ser evaluada en todo caso, por el resto de integrantes de la organización, por los investigadores especialistas y profesionales, por las revistas científicas que publican las críticas, por los ciudadanos, etc. En suma, las afirmaciones públicas críticas que como miembros de la organización puedan hacer los científicos-investigadores de Cochrane no deben de someterse a ningún filtro previo, institucional, político, económico o ideológico, y mucho menos han de ser objeto de censura, represión, persecución inquisitorial o exclusión. La independencia y neutralidad respecto a los poderes e intereses sociales de cualquier tipo, es un valor y criterio irrenunciable y una garantía de calidad, objetividad y rigor aceptada en ciencia, algo que es muy opuesto al criterios de estar o no de acuerdo con determinadas políticas institucionales que suponemos se aducirán internamente.

5- Las influencias estructurales del sistema de producción de conocimiento científico. Algunas de las principales causas de la actual crisis de la ciencia y de su creciente pérdida de legitimidad tienen que ver con la abrumadora intervención que ejercen gobiernos, instituciones y empresas económicas en las diferentes fases de la producción científica, para coartar a libertad de los científicos estableciendo formas de presión, propiedad, secretismo, manipulación y censura al servicio de intereses particulares extra-científicos, sobre todo económicos y políticos. Cochrane no puede caer en esa deriva degenerativa que pondría en duda su propia historia, su gran autoridad y credibilidad.

6- La protección de los derechos de libertad, controversia y crítica científica. Los derechos a la discrepancia y crítica científica son por autonomasia una parte central de la práctica científico-investigadora y de los descubrimientos y avances en conocimiento. El ejercicio de tales derechos no ha de ser restringido de ningún modo y en este caso Cochrane está utilizando estrategias intimidatorias que van contra su merecidamente ganado prestigio científico y social. 

Comentario editorial de Mara Cabrejas (miembro del Consejo Asesor de NoGracias y profesora de sociología de la Universidad de Valencia) y Abel Novoa (presidente de NoGracias)