Gracias a Carlos Coscollar conocemos este interesante texto,«On the ethics of algorithmic decision-making in healthcare» publicado en el Journal of Medical Ethics. Hay un interés creciente por la automatización de la actividad médica a través de las llamadas «machine learning algorithms» . Se ha empezado por el diagnóstico médico dado que en algunos campos, que van desde las enfermedades retinianas (las imágenes de fondo de ojo son analizadas a través de las llamadas redes neuronales profundas) a la detección del riesgo suicida, los algoritmos han demostrado una elevada fiabilidad.

Lo cierto es que desde hace al menos dos décadas, los hallazgos de la psicologia cognitiva no hacen sino confirmar la vulnerabilidad del pensamiento médico en las diversas tareas. Como escribía Jerry Avorn en el NEJM es necesaria un revolución cognitiva en medicina (nosotros ya comentamos su texto):

«El problema clave es seguir suponiendo que los médicos son agentes que toman decisiones racionales. En realidad, todos estamos influenciados por preferencias irracionales en relación con las recompensas, los riesgos, el tiempo o las compensaciones, que nos alejan de las predicciones realizadas con herramientas cuantitativas»  

Por lo tanto, se están poniendo grandes esperanzas en algunas estrategias como el rediseño de “arquitecturas de elección” mediante el uso del concepto del “empujón” (nudge) -o hacer que una alternativa preferida sea la opción predeterminada- cuando existen varias opciones. En este texto se analiza otra de esas estrategias de mejora del juicio individual y la decisión organizacional: el aprendizaje automático. Como escriben Grote y Berens:

«…los algoritmos de aprendizaje automático podrían compensar las debilidades o incluso mejorar las capacidades de toma de decisiones de los médicos individuales…. En el nivel institucional… sería posible minimizar las ineficiencias en el flujo de trabajo, el potencial desperdicio de recursos, las desigualdades y la explosión de costes»

Pero este texto no es una defensa sino, al contrario, pretende equilibrar las excesivamente positivas expectativas que esta tecnología está generando. Grote y Berens creen que la teoría detrás de los algoritmos de aprendizaje automático tiene una narrativa «poco sólida». Veamos.

Empiezan haciendo un resumen del estado actual del aprendizaje automático en la atención sanitaria del que destacaría dos aspectos:

(1) No confundir inteligencia artificial clásica con sistemas de aprendizaje automático: la primera consiste en sistemas expertos que contienen una base de datos de reglas deductivas explícitas por las que -dado un conjunto de hechos conocidos- se pueden inferir ciertas consecuencias; el aprendizaje automático, por su parte, da un paso más ya que es capaz de extraer por su cuenta patrones implícitos y hacer inferencias para reconfigurar automáticamente sus parámetros internos y así mejorar progresivamente las predicciones

(2) En este cambio es muy importante el hecho de que cada vez se recogen mas datos digitalmente, lo que los hace susceptibles de ser analizados mediante algoritmos de aprendizaje automáticos.

Pronto vienen las malas noticias cognitivas. Los algoritmos son también, como la mente humana, cajas negras, pero sin responsabilidad. Parece claro que las máquinas pueden informar a los médicos y hacer más fiables sus decisiones al procesar con gran exactitud grandes conjuntos de datos o imágenes. Pero ¿Qué pasa si un médico y una máquina están en desacuerdo?

El problema es que, en el posible debate que puede suscitarse, puede no ser posible saber cómo ha llegado el algoritmo a su conclusión. Es lo que en la literatura al respecto se denomina «opacidad de los algoritmos de aprendizaje automático».

Esta opacidad puede ser de tres tipos: debida a que alguien está ganando dinero con la tecnología (opacidad como secreto corporativo), debido a una falta de comprensión técnica (opacidad como analfabetismo técnico) o, la más difícil de revertir, la opacidad que surge debido a la forma compleja de representación matemática del algoritmo, que no es inteligible para los humanos; un problema que es intrínseco al aprendizaje automático.

Es decir, los algoritmos de aprendizaje automático plantean inevitablemente otra fuente de incertidumbre para los médicos con importantes implicaciones éticas. Porque los médicos son responsables de sus decisiones: están obligados a justificarlas y pueden tener que resarcir a los enfermos de cualquier daño que produzcan. Pero ¿cómo se gestionan las responsabilidades cuando el juicio clínico debe interaccionar con una decisión algorítmica?:

«Si el médico acepta la decisión del algoritmo, tiene una buena una justificación normativa. Pero si no lo hace, y su diagnóstico resulta ser erróneo, podría ser acusado de actuar de manera irresponsable al ignorar la evidencia proporcionada por el algoritmo»

Parece inevitable que el juicio clínico, muchas veces desarrollado en condiciones de limitación de tiempo o información, vaya siendo laminado por el algoritmo Son los vicios epistémicos:

«…en la interacción entre algoritmos de aprendizaje automático y los clínicos, existe un alto riesgo de que el juicio médico acabe sucumbiendo a vicios epistémicos como el dogmatismo o la credulidad.. (y) en lugar de mejorar las capacidades de toma de decisión, el despliegue de los algoritmos de aprendizaje automático acabe imponiendo procesos decisionales más propios de la «medicina defensiva» 

Claro. Los médicos acaban tomando la decisión de menos riesgo personal, hacer caso a la máquina, que no tiene por qué ser la decisión más adecuada para el enfermo, entre otras cosas, porque el algoritmo es incapaz de incorporar los valores de pacientes que, en ocasiones, pueden optar por la decisión menos racional:

«..la implicación de la inteligencia artificial en las decisiones de tratamiento corre el riesgo de re-introducir un modelo paternalista de toma de decisiones médicas, bajo la apariencia de «hagamos caso al ordenador que es el que más sabe»»

No es que el algoritmo no introduzca valores en sus decisiones (también privilegiando un tipo de evidencia científica sobre otra ) sino que los oculta tras una supuesta objetividad matemática:

«Por ejemplo, la mayoría de los algoritmos clasificarán las decisiones de tratamiento basándose en qué opción maximiza la vida de un paciente. Sin embargo, un paciente puede preferir un tratamiento que minimice su sufrimiento.»

¿Quién tiene la culpa si el algoritmo se equivoca? Se complica la atribución de la responsabilidad. ¿Es culpa del médico que aceptó la recomendación de la máquina? ¿Es culpa de la firma tecnológica que diseñó el algoritmo? ¿Es culpa de la organización que puso en manos del médico la tecnología? Es algo semejante a lo que ha pasado con los coches sin conductor, donde se ha planteado que existan nociones menos individualistas de responsabilidad, como la distribuida o colectiva. ¿Cómo implementar estos sistemas?

En definitiva: la participación de la inteligencia artificial, además de socavar los aspectos que requieren más compromiso ético del médico -como es la gestión de la incertidumbre- generando procesos decisionales dogmáticos, opacos y defensivos, puede llegar a ser una amenaza para la autonomía y la dignidad del paciente, así como para su derecho a saber quién es responsable de los potenciales resultados adversos.

Desde mi punto de vista, este tipo de tecnología, como ha pasado con la MBE, puede ser fácilmente capturada por los intereses comerciales y acabar convirtiéndose en parte del proceso, ya iniciado, de empobrecimiento de la inteligencia clínica y la complejidad relacional y ética inherente al cuidado.

Los algoritmos de aprendizaje, en mi opinión, son más invasivos que el diseño de arquitecturas decisionales facilitadoras (nudging) -donde en ningún caso se anula la discrecionalidad decisional- y podrían tener su lugar en los procesos decisionales que más se benefician de la estandarización como todos aquellos que dependen de la lectura de imágenes.

Que seamos capaces de poner reflexión crítica a la imparable difusión de este tipo de tecnología dependerá que estemos, o no, ante el fin de la clínica.

Abel Novoa es médico de familia y presidente de NoGracias