Redacción
Investigadores de la Universidad de California en San Francisco (UCSF) y de la Universidad de Berkeley han desarrollado una interfaz cerebro-ordenador (BCI) que gracias a la inteligencia artificial ha permitido volver a hablar a través de un avatar digital a una mujer llamada Ann con parálisis grave provocada por un ictus. Los investigadores aseguran en un articulo publicado en la revista Nature que es la primera vez que se sintetizan el habla y las expresiones faciales a partir de señales cerebrales. El sistema también puede decodificar estas señales en texto a casi 80 palabras por minuto, lo que supone una gran mejora respecto a la tecnología disponible en el mercado.
Una interfaz cerebro-ordenador traduce las señales cerebrales del participante del estudio en el habla y los movimientos faciales de un avatar animado
El Dr. Edward Chang, catedrático de cirugía neurológica de la UCSF, lleva más de una década trabajando en esta tecnología BCI y espera que este último avance de la investigación conduzca en un futuro próximo a un sistema aprobado por la Administración de Alimentos y Medicamentos de Estados Unidos (FDA) que permita hablar a partir de señales cerebrales. “Nuestro objetivo es restablecer una forma de comunicación plena y corporal, que es realmente la forma más natural de hablar con los demás. Estos avances nos acercan mucho más a convertirlo en una solución real para los pacientes”, afirma Chang, miembro del Instituto Weill de Neurociencia de la UCSF.
El equipo de Chang demostró anteriormente que era posible descodificar las señales cerebrales en texto en un hombre que también había sufrido un ictus en el tronco encefálico muchos años antes. El estudio actual demuestra algo más ambicioso: descodificar las señales cerebrales en la riqueza del habla, junto con los movimientos que animan el rostro de una persona durante la conversación.
Los investigadores aseguran en un articulo publicado en la revista Nature que es la primera vez que se sintetizan el habla y las expresiones faciales a partir de señales cerebrales
Chang implantó un rectángulo fino de 253 electrodos en la superficie del cerebro de la mujer, en zonas que su equipo ha descubierto que son fundamentales para el habla. Los electrodos interceptaron las señales cerebrales que, de no haber sido por el ictus, habrían ido a parar a los músculos de la lengua, la mandíbula y la laringe, así como a la cara. Un cable, conectado a un puerto fijado a su cabeza, conectaba los electrodos a un banco de ordenadores.
Durante semanas, la participante trabajó con el equipo para entrenar los algoritmos de inteligencia artificial (IA) del sistema a reconocer sus señales cerebrales únicas para el habla. Para ello, repitió una y otra vez distintas frases de un vocabulario conversacional de 1.024 palabras, hasta que el ordenador reconoció los patrones de actividad cerebral asociados a los sonidos. En lugar de entrenar a la IA para que reconociera palabras enteras, los investigadores crearon un sistema que descodifica palabras a partir de fonemas. Éstos son las subunidades del habla que forman palabras habladas del mismo modo que las letras forman palabras escritas. “Hola”, por ejemplo, contiene cuatro fonemas: “HH”, “AH”, “L” y “OW”.
La participante trabajó con el equipo para entrenar los algoritmos de inteligencia artificial del sistema a reconocer sus señales cerebrales únicas para el habla
Con este método, el ordenador sólo necesitaba aprender 39 fonemas para descifrar cualquier palabra en inglés. Esto mejoró la precisión del sistema y lo hizo tres veces más rápido. “La precisión, la velocidad y el vocabulario son cruciales”, asegura Sean Metzger, que desarrolló el descodificador de texto junto con Alex Silva, ambos estudiantes de posgrado del Programa Conjunto de Bioingeniería de la UC Berkeley y la UCSF. “Es lo que da a un usuario la posibilidad, con el tiempo, de comunicarse casi tan rápido como nosotros y mantener conversaciones mucho más naturalistas y normales”.
Para crear la voz, el equipo ideó un algoritmo para sintetizar el habla, que personalizaron para que sonara como la voz de Ann antes de la lesión, utilizando una grabación de Ann hablando en su boda. Además, el equipo animó el avatar con la ayuda de un software que simula y anima los movimientos musculares de la cara, desarrollado por Speech Graphics, una empresa que realiza animaciones faciales basadas en IA.
Los investigadores crearon procesos personalizados de aprendizaje automático que permitieron al software de la empresa engranar las señales que enviaba el cerebro de la mujer mientras intentaba hablar y convertirlas en los movimientos de la cara del avatar, haciendo que la mandíbula se abriera y cerrara, los labios sobresalieran y se fruncieran y la lengua subiera y bajara, así como los movimientos faciales de felicidad, tristeza y sorpresa.
El equipo ideó un algoritmo para sintetizar el habla, que personalizaron para que sonara como la voz de Ann antes de la lesión, utilizando una grabación de Ann hablando en su boda
“Estamos compensando las conexiones entre el cerebro y el tracto vocal interrumpidas por el ictus. Cuando el sujeto utilizó por primera vez este sistema para hablar y mover la cara del avatar a la vez, supe que esto iba a ser algo que tendría un impacto real”, explica Kaylo Littlejohn, estudiante de posgrado que trabaja con Chang y el Dr. Gopala Anumanchipalli, catedrático de ingeniería eléctrica e informática de la Universidad de Berkeley.
De cara la futuro, los investigadores quieren crear una versión inalámbrica que no requiera que el usuario esté físicamente conectado a la BCI. “Dar a las personas como Ann la capacidad de controlar libremente sus propios ordenadores y teléfonos con esta tecnología tendría profundos efectos en su independencia y sus interacciones sociales”, concluye David Moses, profesor adjunto de cirugía neurológica de la UCSF.
