Interesante texto, muy técnico, que señala sin embargo aspectos sobre el estatuto del conocimiento que producen los ensayos clínicos de enorme relevancia para la práctica clínica.

Sin duda, el ensayo clínico es lo mejor que tenemos para hacer inferencias causales y estimaciones promedio del efecto de los tratamientos. 

Pero, a la vez, es una metodología con enormes limitaciones epistemológicas. De hecho, los autores afirman que el grado de objetividad otorgado a los ECAs está claramente sobrevalorado en la práctica médica:

«Impugnamos enérgicamente la idea de que el efecto promedio de un tratamiento calculado a partir de un ECA es automáticamente confiable, que la aleatorización controla automáticamente los sesgos no observables y, la peor creencia de todas, que el efecto del tratamiento es verdadero»

Generalizar los resultados

Los autores explican que no es posible aceptar como posiblemente verdadero ningún resultado de un ECA: siempre habrá que recurrir a otros argumentos auxiliares para aceptar una hipótesis; la evidencia empírica siempre va a ser insuficiente:

«Si, por casualidad, el resultado del ECA está cerca de la verdad, la verdad a la que nos referimos es la verdad en la muestra utilizada en el experimento solamente. Para hacer cualquier inferencia más allá de eso se requieren otros argumentos adicionales»

Es claro que la literatura que ha analizado los ECAs ha prestado más atención a cómo obtener resultados que a considerar qué se puede hacer de forma justificada con ellos:

«No hay suficiente trabajo teórico y empírico para guiarnos sobre cómo y con qué fines utilizar los hallazgos. .. no puede ser que saber cómo usar los resultados sea menos importante que saber cómo demostrarlos.»

Si los ensayos van a ser útiles, necesitamos estrategias para saber usar sus resultados que estén tan cuidadosamente construidas como las que utilizamos para obtener dichos resultados.

¿Qué estrategias se necesitan para poder hacer inferencias de una muestra a una población?

Supongamos que hemos estimado un efecto promedio de un tratamiento a partir de un ECA bien realizado y nuestro error estándar nos da motivos para creer que el efecto no se produjo por casualidad. Por lo tanto, tenemos una buena garantía de que el tratamiento causa efectivamente el efecto en nuestra muestra experimental. 

«El error es pensar que la inferencia estadística es lo mismo que la inferencia científica».

Un ensayo clínico nos informa de una cierta regularidad pero no de las razones por las que dicha regularidad se produce, que normalmente tienen que ver con condiciones estructurales que pueden cambiar 

«..la evidencia de un ECA no se puede generalizar automáticamente: su validez interna superior, si existe, no le proporciona la garantía de aplicabilidad al contexto real»

El análisis de aplicabilidad exige descubrir si las condiciones estructurales (económicos, culturales, sociales, psicológicos..) en las que se establecieron los resultados se mantienen. Los autores los llaman factores de soporte:

«Los procesos causales a menudo requieren estructuras económicas, culturales o sociales altamente especializadas que les permitan funcionar. Diferentes estructuras permitirán diferentes procesos con diferentes causas y diferentes factores de soporte.»

Los autores ponen un ejemplo bien gráfico:

«Usamos una palanca para tostar nuestro pan, pero las palancas solo funcionan para tostar pan en una tostadora; no podemos tostar pan presionando un acelerador, incluso si el principio de la palanca es el mismo tanto en una tostadora como en un automóvil.»

Si no comprendemos el entorno, si no clarificamos qué factores contextuales están contribuyendo a que el tratamiento funcione en un determinado ECA, corremos los mismos riesgos que el pollo de Russell (ver arriba): pensaba que su vida no corría peligro porque la evidencia empírica le informaba cada día de una regularidad: era alimentado y cuidado.

Pero esa tranquilidad le impidió investigar las condiciones estructurales en las que funcionaba y llegar a saber que era un pollo en una granja destinado ser engordado hasta su sacrificio.

Ignorar los factores socioeconómicos en los que se producía la regularidad de la vida en la granja impidió que el pollo inductivista pudiera activar un plan para salvar su vida. 

La inferencia inductiva, no importa cuantos resultados «verdaderos» se tengan, que proporcionan los ECAS, puede llevarnos a una predicción falsa si no conocemos los factores estructurales en la que se produce, algo mucho más complejo que los criterios de inclusión y exclusión de los que informan los ECAs

Los autores proponen estrategias como realizar estudios de replicabilidad en diferentes contextos y grupos de pacientes y un análisis inteligente sobre las diferencias en resultados cuando se encuentran. Por eso los ECAs negativos son mucho más importantes de lo que parecen: podrían estar dándonos pistas sobre diferencias en los factores de soporte.

Al pollo de Rusell le debemos la máxima anti-inductivista:

La ausencia de evidencia no es evidencia de ausencia. 

Individualizar los resultados

Del mismo modo que existen problemas con la generalización de los resultados de un ECA, también existen con la individualización.

«Un ECA bien realizado entrega un promedio de efecto para la población de prueba pero ese promedio no se aplica a todos los participantes»

No es cierto que si se demuestra cierto efecto promedio en una muestra ese efecto se produzca en cada individuo. Los autores consideran equivocado el argumento que expresa la guía del usuario de la literatura médica de la American Medical Association que afirma:

«si la paciente hubiera estado inscrita en el estudio, cumplido todos los criterios de inclusión y ninguno de exclusión, no hay duda de que los resultados le son aplicables».

Al contrario, tampoco es cierto que un ECA que demuestra un efecto de tratamiento promedio insignificante haya demostrado que el tratamiento no funciona para nadie.

Como recuerdan los autores, estos problemas son familiares para los médicos que practican la medicina basada en la evidencia cuyas directrices requieren «integrar la experiencia clínica individual con la mejor evidencia clínica externa disponible de la investigación sistemática»

Exactamente lo que esto significa no está claro; los médicos saben mucho más sobre sus pacientes que los simplificados criterios de inclusión o exclusión que aportan los ECAs y, por eso, a menudo tienen una experiencia práctica intuitiva que puede ayudar a identificar si los hallazgos de un ECA son aplicables a un paciente particular. 

Claramente, hay situaciones en las que seguir las evidencias producidas en un ECA es lo mejor pero otras en las que no.

La buena práctica médica es precisamente una toma de decisiones capaz de utilizar con inteligencia y prudencia tanto el conocimiento práctico y contextual que se tiene del paciente individual como el conocimiento científico obtenido mediante los ECAs.

En el saber bascular entre la «medicina basada en la evidencia» y la «evidencia basada en la medicina» está el arte médico.

Conclusiones

Los autores han intentado contestar a dos desafíos.

El primero lo llaman «el desafío médico»:

«Si a usted le están prescribiendo un nuevo medicamento, ¿no le gustaría que hubiera pasado por un ECA?»

La respuesta es obviamente sí. Pero los médicos no deberíamos quedarnos ahí:

«Sería bueno que preguntara a su médico, que sabe mucho sobre usted, cómo se supone que funciona esta clase de medicamento y si es probable que ese mecanismo funcione para usted. Si la única información disponible es de la compañía farmacéutica cuyos antecedentes e intereses financieros podrían haber influido de algún modo en los resultados, solo la información de un ECA ya no parece tan buena idea.»

Y concluyen con un consejo para los pacientes:

«Si su médico le dice que respalda un medicamento basado en evidencia, y que el medicamento funcionará para usted porque un ECA ha demostrado que «funciona», es hora de buscar un médico que sepa que usted y el promedio no son los mismos»

El segundo desafío es metodológico:

«Está bien. Parafraseando a Churchill, «los ECAs son horribles, excepto cuando se los compara con las alternativas»».

No tanto. Los autores son partidarios de hacer una interpretación no fetichista del conocimiento que aportan los ECAs y atender otras fuentes de evidencias distintas:

«El ECA puede ser mejor que un estudio observacional pero hay un largo camino para poder decir que un ECA puede resolver todos los problemas, y ​​mucho más largo para poder afirmar que es la única forma de resolver los problemas»

Sin embargo, la comunidad médica parece lenta y reacia a adoptar otros métodos confiables de inferencia causal: variables instrumentales, el modelado econométrico, la deducción de la teoría, las redes bayesianas causales, el rastreo de procesos o el análisis comparativo cualitativo.

Los ECAs dicen muy poco acerca de por qué ocurren los resultados y por ello tienen una desventaja con respecto a otros estudios que usan una gama más amplia de información y datos previos para ayudar a identificar las condiciones en las que el conocimiento funciona:

«Sin una estructura que nos permita ubicar los resultados del ECA en contexto, o comprender los mecanismos detrás de esos resultados, no podemos transportar el «funciona» a otro lugar»

Los ECAs pueden ser como cuentos de hadas si sus resultados no se interpretan adecuadamente: bonitos pero falsos

«Sin saber por qué suceden las cosas y por qué las personas hacen las cosas, corremos el riesgo de trabajar con teorías causales inútiles e insignificantes»

Debemos alejarnos del fetichismo que en este momento existe alrededor de los ECAs porque está implicando una toma de decisiones erróneas aunque, por supuesto, basadas en la evidencia:

«Quizás paradójicamente.. la credibilidad del ECA nos está haciendo muy poco bien.»

Post scríptum

El principio de infradeterminación de Duhen-Quine dice:

«La evidencia empírica nunca es suficiente para elegir una teoría ya que siempre es posible encontrar otra teoría compatible con los mismos datos empíricos pero contraria a la primera».

Aplicado a los ECAs sería algo así como:

«La evidencia proporcionada por los ECAs no es suficiente para tomar decisiones verdaderas en medicina ya que siempre es posible encontrar otra evidencia basada en los mismos datos pero contraria a la primera»

Infradeterminación no es lo mismo que incertidumbre.

La incertidumbre se soluciona con más investigación.

La infradeterminación señala los límites del conocimiento y se soluciona con más humildad epistemológica.

Amén

Abel Novoa es médico de familia y presidente de NoGracias