Un derrame cerebral robó su capacidad de hablar: 18 años después, los científicos usaron AI para traerlo de vuelta

Ann Johnson se paralizó después de un derrame cerebral del tronco encefálico a los 30 años. Como participante en un ensayo clínico dirigido por investigadores de UC Berkeley y UC San Francisco, finalmente escuchó su voz nuevamente.

A los 30 años, Ann Johnson tenía mucho en marcha. Enseñó matemáticas y educación física en una escuela secundaria en Saskatchewan, Canadá, donde también entrenó voleibol y baloncesto. Acababa de tener un bebé un año antes con su nuevo esposo, y había dado un alegre discurso de 15 minutos en su boda.

Sin embargo, todo cambió un día soleado en 2005, cuando Johnson sufrió un golpe del tronco encefálico mientras jugaba voleibol con amigos. El accidente cerebrovascular causó una parálisis extrema, y perdió la capacidad de hablar y mover cualquier músculo en su cuerpo.

Tenía lo que comúnmente se conoce como síndrome bloqueado, una condición rara cuando alguien tiene parálisis casi completa y no tiene capacidad para comunicarse naturalmente. Ella intentaría hablar, pero su boca no se movería y no saldría ningún sonido. Con mayor frecuencia, es causado por un accidente cerebrovascular o el trastorno neurológico.

Pasaron dieciocho años antes de volver a escuchar su voz.

Ese momento llegó durante un ensayo clínico realizado por los investigadores de UC Berkeley y UC San Francisco tratando de restaurar la capacidad de las personas para comunicarse usando una interfaz cerebro-computadora. La tecnología, dicen los investigadores, tiene un enorme potencial para hacer que la fuerza laboral y el mundo sean más accesibles para personas como Johnson.

Modelando el proceso del habla

En 2015, Gopala Anumanchipalli comenzó a trabajar como investigador postdoctoral con Edward Chang, un neurocirujano en UCSF, para comprender cómo ocurre el habla en el cerebro. Querían saber qué nos permite pasar de pensar en algo para decirlo en voz alta.

“Pudimos tener un buen sentido de la parte del cerebro que es realmente responsable de la producción del habla”, dijo Anumanchipalli, ahora profesor asistente de ingeniería eléctrica y ciencias de las computadoras en UC Berkeley.

A partir de ahí, descubrieron cómo modelar computacionalmente el proceso para poder sintetizar de la actividad cerebral lo que alguien está tratando de decir.

Esencialmente, fijaron cómo ir a la fuente de conocimiento, el cerebro, y luego evitar lo que está roto, la conexión con el cuerpo, y restaurar lo que se pierde. En este caso, están utilizando una neuroprotésis que está leyendo de la parte del cerebro que procesa el habla.

Comenzaron el ensayo clínico en 2020, y Johnson se unió como el tercer participante en 2022.

Aunque la población de personas que pierden su capacidad de hablar de esta manera es relativamente pequeña, dicen los investigadores, se encuentran entre los más vulnerables en términos de calidad de vida.

Desde su accidente cerebrovascular, Johnson ha recuperado algo de control muscular. Ahora tiene un movimiento completo del cuello, y puede reír, llorar y sonreír. Ella se comunica principalmente usando un sistema de seguimiento ocular que le permite seleccionar letras para deletrear palabras en la pantalla de una computadora. Es un proceso lento; Ella solo puede escribir alrededor de 14 palabras por minuto, en comparación con el discurso conversacional, que está más cerca de 160 palabras por minuto.

Entonces, cuando finalmente escuchó sus pensamientos en voz alta por primera vez en casi dos décadas, fue profundamente emocional para ella.

‘No queríamos leer su mente’

“¿Qué opinas de mi voz artificial?” Johnson preguntó, sentado junto a su esposo durante el juicio. “Háblame de ti mismo. Hoy lo estoy haciendo bien”.

Doctor en Filosofía. El estudiante Kaylo Littlejohn, co-líder en el estudio con Anumanchipalli y Chang, recuerda bien el momento. Como investigador en el Grupo de Discurso de Berkeley, parte del Laboratorio de Investigación de AI de Berkeley, dirigió los esfuerzos de modelado de IA del estudio, capacitando decodificadores para que el modelo tradujera de manera precisa y efectiva la actividad cerebral de Johnson.

Para darle a Johnson una experiencia encarnada, los investigadores eligieron entre una selección de avatares, y usaron una grabación de su discurso de boda para recrear su voz. Un implante conectado a una computadora cercana descansaba sobre la región de su cerebro que procesa el habla, actuando como una especie de decodificador de pensamiento. Luego mostraron sus oraciones y le pidieron que intentara decirlas.

“No puede, porque tiene parálisis, pero esas señales aún se están invocando de su cerebro, y el dispositivo de grabación neural está sintiendo esas señales”, dijo Littlejohn. El dispositivo de decodificación neural los envía a la computadora donde reside el modelo AI, donde se traducen. “Al igual que Siri traduce su voz al texto, este modelo de IA traduce la actividad cerebral en el texto o el audio o la animación facial”, dijo.

Si bien el modelo puede sentir de manera confiable la intención de hablar y luego traducir lo que está tratando de decir, no puede leer los pensamientos errantes de una persona. Solo funciona cuando alguien está haciendo un esfuerzo concertado para decir algo.

“No queríamos leer su mente”, dijo Anumanchipalli. “Realmente queríamos darle la agencia para hacer esto. En algunas sesiones en las que no está haciendo nada, tenemos el decodificador en funcionamiento, y no hace nada porque no está tratando de decir nada. Solo cuando intenta decir algo, escuchamos un comando de sonido o acción”.

Pero, ¿qué tan realista es realmente? ¿Suena y se parece a Johnson? ¿O es más rudimentario y robótico? La respuesta, al menos en este punto, está en algún punto intermedio.

Neuroprótectas y clones digitales enchufables

Cuando ves un video de Johnson hablando con el interfaz cerebro-computadora Desde que se unió por primera vez al ensayo clínico, puede escuchar su voz reunir palabras en tonos cantantes, pero no es perfecto. También hay un retraso de ocho segundos entre el aviso y cuándo habla el avatar.

Pero en marzo pasado, el equipo publicó nueva investigación en Neurociencia de la naturaleza Eso disminuyó drásticamente este retraso. En 2023, el decodificador usó arquitectura de secuencia a secuencia, lo que requería que un usuario intentara una oración completa antes de que el modelo pudiera convertir la oración en sonido o movimiento. Pero ahora el decodificador utiliza la arquitectura de transmisión, que permite que los modelos escuchen y traduzcan activamente actividad cerebral Suena en tiempo real, con solo un retraso de un segundo.

En el estudio de 2023, el Avatar mueve su boca cuando Johnson está hablando, y hace pequeños movimientos cuando se le pide que haga una cara, como una sonrisa o un ceño fruncido. Aunque el Avatar no se usó en el estudio de marzo, los investigadores creen que la arquitectura de transmisión también funcionará con el Avatar.

El avatar se parece a Johnson, pero no es un gran parecido. Sin embargo, en el futuro cercano, Anumanchipalli dijo que es posible que pueda haber avatares fotorrealistas 3D.

Anumanchipalli dijo que podría suceder en solo unos años, pero la investigación debe suceder en varias áreas. “No es algo que tengamos modelos estándar que podamos usar ahora”, dijo. “Por lo tanto, el desarrollo debe ocurrir en la ciencia, en la tecnología, también en la traducción clínica, todos ellos juntos para que esto suceda”.

‘Las discapacidades no necesitan detenernos o ralentizarnos’

En febrero de 2024, Johnson le quitaron el implante por una razón no relacionada con el juicio. Pero ella continúa comunicándose con el equipo de investigación. Ella envía correos electrónicos elocuentes utilizando su tecnología actual sobre lo que sintió durante la prueba y lo que preferiría ver en futuras iteraciones.

Le gustaba escuchar su propia voz, les dijo, y el enfoque de síntesis de transmisión la hizo sentir en control. También quiere que los implantes sean inalámbricos, en lugar de conectarse a una computadora, algo en lo que el equipo de investigación está trabajando.

“Pensando más en el futuro, ¿cómo te imaginas que funcione?” Le pregunté a Anumanchipalli. “¿Te imaginas a una persona, en tiempo real, comunicando exactamente lo que quiere con las personas que los rodean?”

“Es difícil de predecir”, dijo, riendo. “Pero lo que estoy viendo son innovaciones que nos permiten permitir que las personas tengan la mejor calidad de sus vidas. Si eso significa que tienen una versión digital de sí mismos comunicándose para ellos, eso es lo que necesitan poder hacer.

“Necesitamos poder hacer que las neuroprotesis sean enchufar y jugar, para que se convierta en un estándar de atención y no un experimento de investigación”, continuó. “Ahí es donde necesitamos estar”.

Johnson espera algún día convertirse en consejero en un centro de rehabilitación física, idealmente utilizando una neuroprótesis para hablar con sus clientes. “Quiero que los pacientes allí me vean y sepan que sus vidas no han terminado ahora”, ella escribió en respuesta a una pregunta de un reportero de UCSF. “Quiero mostrarles que las discapacidades no necesitan detenernos o ralentizarnos”.