Jacob Stegenga ha escrito una verdadera bomba de relojería contra la actual santificación de la evidencia. Desde el título su apuesta es provocadora:

«El nihilismo médico es una perspectiva que defiende que debemos tener poca confianza en la efectividad de las intervenciones médicas»

Esta desconfianza está sustentada en la escasa fiabilidad de la metodología de investigación que la medicina utiliza para generar evidencias: sobre todo, ensayos clínicos y derivados, como los meta-análisis y las revisiones sistemáticas.

La maleabilidad inevitable y la manipulación «que pasaba por allí»

El argumento fundamental para recomendar esta «desconfianza de principio» es que la metodología utilizada para evaluar la efectividad de las intervenciones médicas es «maleable»:

«El diseño, la ejecución, el análisis, la interpretación, la publicación y el marketing de los estudios médicos requiere numerosas decisiones de grano fino y, por tanto, abiertas a ser realizadas de diferentes formas y con capacidad para influir en las conclusiones»

Pero el verdadero problema no es exactamente esta malebilidad, ciertamente inevitable como veremos, sino que la maleabilidad es aprovechada por los ingentes intereses económicos existentes alrededor de la salud para influir en la medicina basada en la evidencia (MBE), normalmente, haciendo que sus recomendaciones exageren la efectividad y seguridad de las intervenciones médicas:

«Se ha realizado un excelente trabajo para denunciar como los conflictos de interés afectan a investigadores, sociedades científicas y revistas médicas, pero no se acaba de explicar convenientemente cómo consiguen afectar esos intereses, gracias a su maleabilidad, a la metodologia científica»

Para Stegenga no es científico evaluar la evidencia sin considerar su alta probabilidad de manipulación interesada:

«Está claro que debemos intentar evaluar empíricamente la efectividad de las intervenciones médicas. Pero esa evaluación no puede sustraerse de una visión más amplia que considere la frecuencia con la que la evidencia falla, la enorme cantidad de discordancias y manipulaciones existentes, el marco teórico sesgado en el que están sustentadas las recomendaciones y la maleabilidad que tiene la mejor metodología empírica utilizada para demostrar relaciones de causalidad en medicina» 

La sobrevaloración de la seguridad y efectividad de los medicamentos lleva a la sobreutilización

El autor reconoce la existencia de intervenciones efectivas en medicina pero, sobre todo en los últimos años, señala el contraste existente entre el gigantesco número de pacientes «afectados», medicamentos prescritos y euros gastados en las condiciones médicas más frecuentes, con la escasa efectividad de las terapias:

«En los EE.UU el 10% de las mujeres y el 4% de los hombres utilizan antidepresivos. Las personas diagnosticadas de depresión utilizaban en 1997 con cuatro veces más frecuencia que en 1987 algún medicamento; durante los años 90 los antidepresivos incrementaron su utilización en EE.UU un 600%. Entre los más prescritos de los medicamentos, su uso se ha doblado en 5 años en todo el mundo. Entre 1990 y 2000, el número de antidepresivos utilizados con adolescentes australianos se ha multiplicado por 10 y la utilización de medicamentos contra el colesterol en ciudadanos canadienses por 300.» 

En España, el consumo de antiepilépticos como la pregabalina, áltamente tóxica y de escasa efectividad, se ha duplicado en 8 años

Igualmente, en 7 años, la utilización de los opioides, fármacos con indicaciones muy restrictivas.

Los poco útiles antidepresivos se utilizan 4 veces más en 2013 que en el año 2000. 

La prescripción de hipolipemiantes ha aumentado un 500% en 12 años.

Este incremento en la utilización de fármacos, a todas luces desproporcionada a su utilidad, tiene muchas causas pero, sin duda, una de ellas, la más importante por peligrosa, es la maleabilidad de la metodología de investigación y de sus procesos de divulgación y síntesis, y la utilización, por parte sus principales patrocinadores y beneficiarios, la industria farmacéutica, para manipular sus resultados.

La maleabilidad es inevitable; la manipulación de la maleabilidad a favor de intereses comerciales, no. 

Stegenga repasa en su libro las oportunidades que existen para maleabilizar la evidencia a través de decisiones de grano-fino y cómo son aprovechadas por la industria, su máxima financiadora, para defender sus productos haciéndolos parecer más efectivos y seguros de lo que son.

La maleabilidad de los meta-análisis

El capítulo 5 lo dedica a la maleabilidad de los meta-análisis recordando como diferentes meta-análisis sobre los mismos medicamentos o intervenciones muestran resultados contradictorios. El factor determinante para un resultado u otro es la existencia de conflictos de interés entre los autores:

«Un tercio de los meta-análisis en medicina son realizados por empleados de la industria farmacéutica que produce el medicamento analizado: sus resultados tienen veinte veces menos probabilidad de ser negativos que cuando los autores son independientes» 

¿Qué decisiones de grano fino se realizan a la hora de diseñar un meta-ánálisis que puedan influir en sus resultados?

Stegenga señala y explica en sus detalles cuatro tipo de decisiones de elevada maleabilidad: la elección de la evidencia primaria incluida en el meta-análisis, la elección de la medida de resultado, la elección del instrumento utilizado para evaluar la calidad de los ensayos clínico analizados y la elección de la técnica para calcular el efecto medio de la evidencia agregada

El meta-análisis es una herramienta válida para sintetizar la evidencia, reconoce Stegenga, sin embargo, no está justificada su actual preponderancia:

«la importancia epistémica otorgada al meta-análisis no está justificada dada su maleabilidad: su metodología permite demasiadas elecciones arbitrarias capaces de influir en sus resultados.. y las diversas iniciativas que han intentado introducir transparencia en su metodología no han sido capaces de incidir en dicha arbitrariedad» 

Abajo las jerarquías y arriba la estrategia Hill

De hecho, Stegenga crítica fuertemente, en el capítulo 5 del libro titulado «Down with the Hierarchies», la jerarquía de la evidencia:

«No hay una significancia absoluta del lugar que cada método de investigación ocupa en la jerarquía: no todos los trabajos que utilizan los métodos que se encuentran en la cúspide son confiables y no todos los trabajos que utilizan los métodos que se encuentran en la parte baja son de poca confianza»

Sin embargo, la jerarquía de la evidencia transmite una cierta rigidez en la interpretación del valor de las evidencias. De hecho, las Guías de Práctica Clínica solo suelen utilizar las evidencias que se encuentran en la parte más elevada de la pirámide. Esta jerarquía epistémica no está fundamentada desde un análisis de la filosofía del conocimiento.

Para evaluar la causalidad existente entre un tratamiento y sus resultados se debería utilizar toda aquella evidencia suficientemente buena, independientemente de la metodología utilizada en su consecución. El sistema jerárquico propuesto, según Stegenga, no está suficientemente bien justificado (la maleabilidad del meta-análisis que hemos visto es un buen ejemplo) y puede contribuir, dice, a «una sistemática sobreestimación de la fuerza de las relaciones causales utilizada en la investigación médica.»

Al final del capítulo 6 sobre la maleabilidad del meta-análisis Stegenga propone una alternativa para sintetizar la evidencia, la estrategia Hill:

«Una antigua tradición vinculada al epidemiólogo Sir Bradford Hill pone a nuestra disposición un procedimiento más consistente para considerar todos los tipos de evidencia producidos por la investigación médica»

Cuando Bradford Hill utilizó la fuerte correlación entre el tabaco y el cáncer de pulmón, en la década de los 50, para determinar su causalidad, el estadístico Ronald Fisher criticó la falta de evidencia experimental controlada que permitiera establecer dicha causalidad: podría existir una causa común, como una predisposición genética compartida entre los fumadores y los que desarrollaban un cáncer de pulmón, argüía Fisher.

Hill respondió que la causalidad que defendía, estaba basada en diferentes juicios y criterios: (1) asociación estadística (con cualquier estudio, incluyendo estudios de cohortes y de casos y controles), (2) constancia o consistencia (conocer si la relación entre las dos variables ha sido confirmada por más de un estudio, en poblaciones y circunstancias distintas, y por autores diferentes), (3) especificidad (es más fácil aceptar una relación causa-efecto cuando para un efecto solo se plantea una única etiología, que cuando para un determinado efecto se han propuesto múltiples causas), (4) temporalidad, (5) relación dosis-respuesta (gradiente biológico, es decir, la frecuencia de la enfermedad aumenta con la dosis o el nivel de exposición), (6) plausibilidad biológica, (7) coherencia (la interpretación de causas y efectos no puede entrar en contradicción con el comportamiento propio de la enfermedad o lesión; este criterio combina aspectos de consistencia y plausibilidad biológica), experimentación (criterio deseable de alta validez), (8) analogía (si un factor de riesgo produce un efecto a la salud, otro con características similares debería producir el mismo impacto sobre la salud).

Hill señaló que no existían criterios necesarios ni suficientes y que el juicio de causalidad debería considerar todos de una manera agregada y/o cualitativa.

Lo más notable para Stegenga es que este procedimiento «cuasi cualitativo» contrasta fuertemente con la jerarquización de la evidencia propuesta por la MBE:

«La evidencia de causalidad no puede proceder solo de una media numérica de efectos cuantificados y con tantas posibilidades de maleabilidad»

Aunque es verdad que la estrategia Hill no evita la posibilidad de maleabilidad sí que permite sintetizar toda la evidencia disponible sin rechazar ninguna simplemente por proceder de una metodología que ha sido calificada como de inferior categoría:

«Contrariamente a lo que pasa con el meta-análisis, no se utiliza un simple algoritmo para amalgamar las diversas formas de evidencia»

Stegenga reconoce que la maleabilidad no es evitable:

«La complejidad requerida para evaluar y amalgamar la enorme cantidad de evidencias existentes hace inevitable su maleabilidad. Pero la estrategia Hill es más fiable que los meta-análisis»

Ambos métodos, la estrategia Hill y el meta-análisis, requieren juicios de valor. La diferencia es que Hill lo reconoce y la jerarquía de la evidencia de la MBE, que santifica el meta-ánálisis, lo oculta.

Si hay que elegir entre «niveles de maleabilidad», elijamos el procedimiento con más probabilidades de acercarse a la verdad que, contrariamente a lo que nos han transmitido desde la MBE, no está basado en números.

La irresponsabilidad de la cuantificación

La MBE ha caído con sus jerarquías de la evidencia en lo que los metacientífico pos-normales llaman la «irresponsabilidad de la cuantificación». Comentábamos en otro sitio un texto de Saltelli y Funtowitz:

«Saltelli y Funtowitz plantean algunas razones por las que es muy delicado aceptar que un modelo matemático pueda ser aplicado a realidades complejas: se suelen usar los modelos para dar una falsa imagen de científicidad a lo que suele ser la defensa de intereses particulares; con frecuencia se ignoran asunciones o suposiciones realizadas al principio de la construcción del modelo y que no vuelven a revisarse; muchos modelos utilizan parámetros no por su relevancia sino por la facilidad de su acceso o análisis (no solo hay que sumar correctamente sino también que hacer las sumas correctas)«

Touché.

En el mismo texto, Saltelli y Funtowitz plantean una definición de pseudociencia que nos ha encantado:

«Aquella práctica que ignora u oculta las incertidumbres. Es decir, cualquier forma de falsa precisión”.

Y citan a Gauss:

“La falta de cultura matemática no se revela en ninguna parte tan notablemente como en la precisión sin sentido de los cómputos numéricos”.

¡Dios no existe!

Tomar decisiones clínicas (solo) basándonos en las conclusiones de los meta-análisis es ser (absolutamente) pseudocientífico.

Conclusiones

Stegenga señala que el emperador está desnudo:

(1) La jerarquía de la evidencia propuesta por la MBE, con los meta-análisis en su ápice, es falaz desde el punto de vista epistémico ya que transmite una idea de niveles de objetividad que oculta la inevitable maleabilidad que existe en los procedimientos de elaboración de los métodos científicos que coloca en su cúspide. Un método es bueno si es capaz de responder adecuadamente a la pregunta de investigación. Y punto.

(2) La jerarquía de la evidencia es engañosa ya que transmite una falsa idea de cientificidad en las conclusiones de los meta-análisis, y en las Guías de Práctica Clínica que los utilizan, a los profesionales sanitarios

(3) La jerarquía de la evidencia es, sobre todo, hoy por hoy, un instrumento comercial ya que está ocultando la manipulación que hace la industria de la maleabilidad de la metodología científica para defender sus intereses y vender más medicamentos; a la vez, transmite una rigidez en la interpretación de la evidencia que es anticientífica, aunque, obviamente, comercialmente muy rentable. No más jerarquías, por favor. 

(4) La jerarquía de la evidencia es maleficente ya que los profesionales sanitarios utilizarán sus conclusiones en sus procesos de toma de decisiones clíniucas con más seguridad simplemente porque la metodología de investigación empleada se encuentre más cerca o lejos del ápice de la pirámide, algo, como hemos visto, absurdo desde el punto de vista de la filosofía del conocimiento. Stetenga lo llama riesgo inductivo. 

(5) Es decir, la «inevitabilidad de la maleabilidad» ya debería hacer que los profesionales sanitarios reconsiderasen la jerarquía epistémica concedida a la metodología del meta-análisis; la frecuencia con la que, además, esta maleabilidad es utilizada para manipular la verdad y la capacidad que ha mostrado para modificar las decisiones de los profesionales sanitarios conduce, sencillamente, según Stegenga, a lo que tenemos hoy en día, una medicina nihilista: ¡TODO VALE!

(6) La maleabilidad de los meta-análisis puede jugar a favor y en contra. Es decir, también hay intereses en atacar todo fármaco o tecnología. La menor dimensión de estos intereses concede, en principio, más credibilidad a los meta-análisis realizados de manera independiente que a los realizados por encargo, pero la utilización de los resultados por unos y por otros puede ser igual de dogmática y, por tanto, anticientífica. Los comportamiento pseudocientíficos están tanto entre los que creen que la ciencia es capaz de autoregularse y gestionar la incertidumbre mediante procedimientos técnicos como la jerarquía de la evidencia y los meta-análisis (a favor y en contra de determinados fármacos, vacunas o tecnologías) como entre aquellos que piensan que «todo vale» y, por tanto, creen en que una medicina nihilista es inevitable (el título de Stegenga que hemos criticado nos parece más una descripción de la situación actual que un modelo ideal)

 (7) En el término medio no está la virtud sino en el término complejo. La evaluación de la efectividad y seguridad de las intervenciones médicas es un juicio de valor (una decisión post-normal porque es de elevada incertidumbre, conflictividad y riesgo) que debe integrar las mejores evidencias (no jerarquizadas según un rígido modelo sino según su capacidad de responder a la pregunta de investigación o a la duda clínica y amalgamadas siguiendo un modelo más parecido a la estrategia Hill), con la opinión de los mejores expertos y, por supuesto, también, la de los afectados. Los afectados o, por decirlo en términos pos-normales, la «comunidad extendida de pares», no son solo los enfermos sino también los ciudadanos -o el bien común que deberían representar-, la naturaleza, los políticos, las empresas, los gestores, etc.. que pueden y deben introducir principios reguladores legítimos como sostenibilidad, rentabilidad o equidad.

Abel Novoa es presidente de NoGracias