Enseñanza de programación con sensores de actividad cerebral

El propósito principal de este proyecto fue integrar el conocimiento de la ingeniería mecatrónica con las neurociencias y la interpretación musical. El proceso consistió en desarrollar ejemplos de programación de una BCI en diferentes lenguajes de programación para diferentes materias donde pudieran integrar la BCI en sus proyectos o actividades.

El hecho de que los conceptos de la ciencia y la tecnología se encuentren inmersos en contextos musicales no es un fenómeno reciente. Actualmente se puede observar que la comunidad artística tiene acceso a gran cantidad de herramientas de software y hardware que se integran a su proceso creativo. Las interfaces de electroencefalograma ya no se restringen solamente a estudios clínicos y el avance de la tecnología ha permitido que se comercialicen y lleguen a más personas, aplicándose en diferentes tipos de interacción, en videojuegos, en música y otras áreas.

Además, existen distintos campos interdisciplinarios que se benefician del uso de estas interfaces, entre ellos el de la robótica musical. Es por ello que el objetivo principal de esta investigación fue la integración del conocimiento de los alumnos de ingeniería en producción musical, mecatrónica y sistemas computacionales en el diseño de una interfaz-cerebro computadora orientada a la programación, robótica y práctica musical. Específicamente se trata del diseño y programación de una interfaz que permita al usuario controlar una mano robótica a partir de gestos faciales que son reconocidos utilizando una diadema que detecta la actividad eléctrica de la corteza cerebral. Una vez que un gesto es reconocido, se envía una señal que activa un dedo de la mano robótica, y este dedo presiona una tecla para tocar una nota. Si el usuario realiza una secuencia de gestos faciales, se puede tocar una secuencia de cuatro notas musicales.

Se generaron diferentes talleres y actividades que permitieron a los alumnos aprender a programar en diferentes lenguajes de programación la comunicación de una interfaz de EEG (el headset de Emotiv) para diferentes materias. Y en específico también se utilizó dicha interfaz en un proyecto para controlar un brazo robótico inMoov (w​ww.inmoov.fr) mediante parpadeos y gestos, de tal manera que sea capaz de tocar una secuencia de cuatro notas mediante la comunicación con el dispositivo Arduino Uno. Cabe mencionar que por el momento no se cuenta con un sistema de desplazamiento autónomo del brazo robótico a través del teclado musical.

Además de lo que se hizo en el proyecto específicamente en cada materia, se impartieron alrededor de 10 cursos a lo largo del 2016 para alrededor de 100 alumnos, para la enseñanza y uso del sensor Emotiv EPOC (con los sensores que se compraron y el que ya se tenía).

Para la clase de Fundamentos del Diseño Interactivo se probó en 1 grupo de alrededor de 25 alumnos que tenía estudiantes tanto de las carreras de Ingeniería en Tecnologías Computacionales y Licenciatura en Comunicación y Medios Digitales donde en especial estos últimos alumnos se sorprendieron y les gustó utilizarlos.

Para la clase de Proyecto de Desarrollo de Videojuegos se probó en 2 grupos de alrededor de 18 alumnos cada uno para un total de 36 alumnos de las carreras de Ingeniería en Tecnologías Computacionales y Licenciatura de Animación y Arte Digital.

Para el proyecto de las materias de Psicoacústica, Mecatrónica y Estancia de Investigación tomaron el curso de cómo usarlos alrededor de 12 alumnos tanto de Ingeniería en Producción Musical Digital como de Ingeniería en Mecatrónica, de los cuales 2 alumnos de ellos participaron en el proyecto de controlar los dedos de una mano de robot con ciertos gestos detectados con el Emotiv EPOC y se tocaban notas musicales en un teclado musical con la mano del robot. Para este proyecto la conexión de la interfaz con la computadora y el dispositivo Arduino fue exitosa. El headset Emotiv mandaba los datos al programa desarrollado en C y los datos se visualizaban en forma CSV (Comma Separated Values) con valores de 0’s cuando no se detectaba ninguna señal por parte de la diadema, y 1’s cuando algún gesto de la cara era leído. Estos datos eran enviados al Arduino para hacer la comunicación con los servomotores. Así los dedos de la mano robótica respondían y hacían el movimiento correspondiente, en forma de abrir y cerrar, para presionar las teclas del teclado musical.


Créditos

Este proyecto fue realizado gracias al apoyo de NOVUS 2015

Participantes del proyecto:

Mtra. Diana Urquiza
Mtro. Mijael Gutierrez
Dr. Moisés Alencastre
Dra. Lourdes Muñoz
Dr. Milton Elías

Santiago Rentería (IMI)
Daniel Yañez (IMT)
Daniel Sissa (IMT)
Gerardo García Teruel (ITC)

Ing. Octavio Navarro (DCC)
Ing. Mario Maqueo (DCI)
Lic. Cecilia Silva (LAD)
Lic. Zaira Grostieta (LAD)