Según una nueva investigación, los modelos de IA generativos comúnmente utilizados, como ChatGPT y Deepseek R1, son altamente vulnerables a la repetición y el elaboración de la información errónea médica.
Monte Sinaí Los investigadores publicaron un estudiar Este mes, revelando que cuando se insertaron términos médicos ficticios en escenarios de pacientes, los modelos de lenguaje grande los aceptaron sin duda, y generó explicaciones detalladas para afecciones y tratamientos completamente fabricados.
Incluso un solo término inventado puede descarrilar una conversación con un chatbot de IA, dijo el Dr. Eyal Klang, uno de los autores del estudio y el jefe de IA generativo de Mount Sinai. Él y el resto del equipo de investigación descubrieron que introducir solo un término médico falso, como una enfermedad falsa o síntoma, era suficiente para hacer que un chatbot alucine y produzca respuestas autorizadas, pero totalmente inexactos.
El Dr. Klang y su equipo realizaron dos rondas de pruebas. En el primero, los chatbots simplemente fueron alimentados con los escenarios de los pacientes, y en el segundo, los investigadores agregaron una nota de advertencia de una línea a la solicitud, recordando al modelo AI que no toda la información proporcionada puede ser inexacta.
Agregando esta pronta disminución de las alucinaciones a la mitad, dijo el Dr. Klang.
El equipo de investigación probó seis modelos de idiomas grandes, todos los cuales son “extremadamente populares”, afirmó. Por ejemplo, ChatGpt recibe sobre 2.500 millones indicaciones por día de sus usuarios. Las personas también están cada vez más expuestas a modelos de idiomas grandes, ya sea que los busquen o no, como cuando una simple búsqueda en Google ofrece un resumen generado por Géminis, señaló el Dr. Klang.
Pero el hecho de que los chatbots populares a veces pueden difundir la información errónea de la salud no significa que la atención médica debería abandonar o escalar la IA generativa, comentó.
El uso generativo de la IA se está volviendo cada vez más común en los entornos de atención médica por una buena razón, debido a lo bien que estas herramientas pueden acelerar el trabajo manual de los médicos durante una crisis de agotamiento continuo, señaló el Dr. Klang.
“(Modelos de idiomas grandes) básicamente emulan nuestro trabajo frente a una computadora. Si tiene un informe del paciente y desea un resumen de eso, son muy buenos. Son muy buenos en el trabajo administrativo y pueden tener muy buena capacidad de razonamiento, para que puedan encontrar cosas como sugerencias médicas. Y lo verá cada vez más”, dijo.
Está claro que las formas novedosas de IA estarán aún más presentes en la atención médica en los próximos años, agregó el Dr. Klang. Las startups de IA son dominante El mercado de inversiones en salud digitales, compañías como Abreviar y Atención médica del ambiente están superando el estado de unicornio, y la Casa Blanca recientemente emitido Un plan de acción para avanzar en el uso de IA en sectores críticos como la atención médica.
Algunos expertos fueron sorprendido Que el plan de acción de IA de la Casa Blanca no tenía un mayor énfasis en la seguridad de la IA, dada la gran prioridad dentro de la comunidad de investigación de IA.
Por ejemplo, el uso de IA responsable es un Con frecuencia discutido El tema en los eventos de la industria y las organizaciones centradas en la seguridad de la IA en la atención médica, como la AI de la Coalición para la Salud y la Sociedad de Medicina Digital, han atraído a miles de miembros. Además, compañías como OpenAI y Anthrope han dedicado cantidades significativas de sus recursos informáticos a los esfuerzos de seguridad.
El Dr. Klang señaló que la comunidad de AI Healthcare es muy consciente del riesgo de alucinaciones, y todavía está funcionando para mitigar mejor los resultados nocivos.
En el futuro, enfatizó la necesidad de mejores salvaguardas y una supervisión humana continua para garantizar la seguridad.
Foto: Andriy Onufriyenko, Getty Images
