Los algoritmos presentados para un desafío de IA organizado por la Sociedad Radiológica de América del Norte (RSNA) han mostrado un excelente rendimiento para detectar cánceres de seno en imágenes de mamografía, aumentando la sensibilidad de detección mientras se mantiene bajas tasas de retiro, según un estudio publicado hoy en RadiologíaEl Premier Journal de la RSNA.
El desafío de detección de Cáncer de mama de mamografía de RSNA fue una competencia de crowdsourcing que tuvo lugar en 2023, con más de 1,500 equipos participando. El Radiología Detalla un análisis de un análisis del rendimiento de los algoritmos, dirigido por Yan Chen, Ph.D., profesor de detección de cáncer en la Universidad de Nottingham en el Reino Unido.
Nos sentimos abrumados por el volumen de concursantes y el número de algoritmos de IA que se presentaron como parte del desafío. Es uno de los desafíos de RSNA AI más participados. También nos impresionó el rendimiento de los algoritmos dados la ventana relativamente corta permitida para el desarrollo de algoritmos y el requisito de obtener datos de capacitación de ubicaciones de código abierto “.
Yan Chen, Ph.D., Profesor de Examen del Cáncer, Universidad de Nottingham
El objetivo del desafío era obtener modelos de IA que mejoren la automatización de la detección del cáncer en las mamografías de detección, ayudando a los radiólogos a trabajar de manera más eficiente, mejorando la calidad y la seguridad de la atención al paciente, y potencialmente reduciendo los costos y los procedimientos médicos innecesarios.
RSNA invitó a la participación de equipos en todo el mundo. La Universidad de Emory en Atlanta, Georgia, y la victoria de la pantalla de seno en Australia proporcionaron un conjunto de datos de capacitación de alrededor de 11,000 imágenes de detección de senos, y los participantes de los desafíos también podrían obtener datos de capacitación disponibles públicamente para sus algoritmos.
El equipo de investigación del Prof. Chen evaluó 1,537 algoritmos de trabajo sometidos al desafío, probándolos en un conjunto de 10.830 exámenes de un solo pecho separados completamente del conjunto de datos de capacitación, que los resultados de la patología fueron confirmados por los resultados de la patología como positivos o negativos para el cáncer.
En total, los algoritmos arrojaron tasas medias de 98.7% de especificidad para confirmar que no había cáncer en imágenes de mamografía, 27.6% de sensibilidad para identificar positivamente el cáncer y una tasa de recuperación, el porcentaje de los casos que IA juzgó positivo de 1.7%. Cuando los investigadores combinaron los algoritmos de rendimiento 3 y principales principales, aumentó la sensibilidad a 60.7% y 67.8%, respectivamente.
“Al conjunto de las entradas de mejor rendimiento, nos sorprendió que diferentes algoritmos de IA fueran tan complementarios, identificando diferentes cánceres”, dijo el profesor Chen. “Los algoritmos tenían umbrales que estaban optimizados para un valor predictivo positivo y una alta especificidad, por lo que diferentes características de cáncer en diferentes imágenes desencadenaban puntajes altos de manera diferente para diferentes algoritmos”.
Según los investigadores, la creación de un conjunto de los 10 algoritmos de mejor rendimiento produjo un rendimiento cercano al de un radiólogo de detección promedio en Europa o Australia.
Los algoritmos individuales mostraron diferencias significativas en el rendimiento dependiendo de factores como el tipo de cáncer, el fabricante del equipo de imágenes y el sitio clínico donde se adquirieron las imágenes. En general, los algoritmos tenían una mayor sensibilidad para detectar cánceres invasivos que para los cánceres no invasivos.
Dado que muchos de los modelos de IA de los participantes son de código abierto, los resultados del desafío pueden contribuir a la mejora adicional de las herramientas de IA experimentales y comerciales para la mamografía, con el objetivo de mejorar los resultados del cáncer de mama en todo el mundo, explicó el profesor Chen.
“Al publicar los algoritmos y un conjunto de datos de imágenes integral al público, los participantes proporcionan recursos valiosos que pueden impulsar más investigaciones y permitir la evaluación comparativa que se requiere para la integración efectiva y segura de la IA en la práctica clínica”, dijo.
El equipo de investigación planea realizar estudios de seguimiento para comparar el rendimiento de los algoritmos de desafío principales contra productos disponibles comercialmente utilizando un conjunto de datos más grande y más diverso.
“Además, investigaremos la efectividad de conjuntos de pruebas más pequeños y desafiantes con puntos de referencia de lectores humanos robustos, como los desarrollados por el esquema Performs, un programa con sede en el Reino Unido para evaluar y asegurar la calidad del rendimiento del radiólogo como un enfoque para la evaluación de la IA, y comparar su utilidad con la de los datos a gran escala”, dijo el profinario Chen.
RSNA organiza un desafío de IA anualmente, con la competencia de este año buscando presentaciones para modelos que ayudan a detectar y localizar aneurismas intracraneales.
Fuente:
Referencia del diario:
Chen, Y., et al. (2025) Rendimiento de algoritmos presentados en el desafío de AI de detección de cáncer de mama de mamografía de Mamografía 2023 RSNA. Radiología. doi.org/10.1148/radiol.241447.
