Las herramientas de IA deben probarse en datos reales

Las herramientas de IA

Las herramientas de IA deben probarse en datos reales

Las herramientas de IA (inteligencia artificial) siempre deben probarse en una amplia gama de poblaciones, según una nueva investigación publicada en PLOS Medicine, donde los investigadores dicen que algunos modelos tienen peor desempeño cuando se los prueba en datos de un sistema de salud externo.

Las herramientas de IA de aquellos creadores que están considerando el despliegue rápido de plataformas de inteligencia artificial sin evaluar rigurosamente su desempeño en entornos clínicos reales que reflejen dónde se están implementando deben considerar la información de dicha investigación.

El autor principal  de este estudio, Eric Oermann, MD, de la Escuela de Medicina Icahn de Mount Sinaí en la ciudad de Nueva York, ha señalado que «los modelos de aprendizaje profundo entrenados para realizar diagnósticos médicos pueden generalizarse bien, pero esto no puede darse por sentado ya que las poblaciones de pacientes y las técnicas de imagen difieren significativamente entre las instituciones».

Contar con herramientas de IA estudiadas en su totalidad es importante y como reconocen Oermann y sus colegas quienes examinaron el desempeño de las redes neuronales convolucionales (CNN) desarrolladas por la Escuela de Medicina Icahn para identificar la neumonía en las radiografías de tórax en tres instituciones diferentes: los Institutos Nacionales de la Salud, el Hospital Mount Sinai y el Hospital Universitario de Indiana.

En general, los investigadores encontraron que el rendimiento interno de la detección de neumonía en los rayos X de los hospitales fuera de su propia red fue «significativamente menor» que en los rayos X dentro de la institución de origen. En tres de cada cinco comparaciones naturales, los investigadores encontraron que las CNN podían detectar la neumonía en su institución mejor que en otras.