La tecnología avanza y progresa a un ritmo endiablado. Apenas estamos asumiendo e integrando en nuestras vidas un nuevo avance cuando ya nos están vendiendo otro. Es una rueda del no parar. Hace unos días, Samsung Electronics lberia, en colaboración con la Fundación Luzón, ha presentado la aplicación ‘Tallk’. Se trata de una herramienta que permite comunicarse a personas con movilidad reducida y ausencia del lenguaje oral como los pacientes de esclerosis lateral amiotrófica (ELA).
Tallk ha sido desarrollada por la startup española Irisbond, especializada en soluciones de ‘eye tracking’. Esto la convierte en la primera aplicación basada en tecnología de seguimiento ocular que hace uso de la cámara integrada en una tablet para la comunicación interpersonal. Esta aplicación está disponible en castellano para determinados modelos de Galaxy Tab de Samsung en España. Su objetivo, como hemos dicho, es el de facilitar la comunicación verbal a las personas que sufren este tipo de patologías y otras similares. De esta forma, se pretende dotarles de una mayor independencia, mejorar su calidad de vida y la de sus seres queridos y cuidadores.
El proyecto ha tenido un fuerte componente de I+D. Su funcionamiento se basa en una combinación de Inteligencia Artificial, mecanismos de seguimiento facial y metodologías de Deep learning basado en redes neuronales. Con todo ello se ha conseguido desarrollar un seguimiento ocular sin necesidad de dispositivos adicionales. Simplemente usando la cámara integrada de determinados modelos de Galaxy Tab.
Soluciones innovadoras
El proyecto desde sus inicios ha pasado por diferentes fases hasta poder llegar a la solución final. Por un lado, una fase de desarrollo de algoritmos para realizar el ‘eye tracking’ utilizando las cámaras de las tablets Samsung Galaxy. Y por otro lado, se ha desarrollado la aplicación “Tallk”, diseñada especialmente para ser controlada con la mirada. Finalmente, se ha realizado la integración del resultado de ambas fases aplicando diferentes herramientas de usabilidad, con el objetivo de hacer posible el control de la aplicación con la mirada.
Para llevar a cabo este proyecto, se ha involucrado a un gran equipo con diferentes perfiles dada la gran complejidad del producto final. Por un lado, están los expertos en ‘eye tracking’ e Inteligencia Artificial, que se han ocupado de desarrollar las metodologías para la interacción a través de la mirada en tablets Samsung Galaxy. Por otro, los expertos en usabilidad han desarrollado las herramientas que han permitido integrar la tecnología con la aplicación de forma óptima. Además, cabe resaltar que todo el equipo involucrado es experto en el campo de la comunicación utilizando tecnologías asistidas. A este equipo encargado de crear la solución se le une el asesoramiento de expertos en la enfermedad y problemas de comunicación, como la Fundacion Luzón, logopedas. Incluso un grupo de pacientes de ELA que han hecho posible adaptar la aplicación a las necesidades reales.
“Desde Samsung buscamos crear soluciones innovadoras que contribuyan a mejorar la calidad de vida de las personas. Con Tallk pretendemos facilitar la comunicación entre las personas que sufren una enfermedad tan compleja como la ELA. Por eso hemos decidido confiar a Irisbond el desarrollo de una aplicación tan especial, que pueda utilizarse de forma sencilla e intuitiva tan sólo con la mirada y en dispositivos ligeros, con gran autonomía y pantallas amplias, como las Galaxy Tab de Samsung. De esta forma, ofrecemos a las personas con movilidad reducida y ausencia del lenguaje oral un gran avance tecnológico y asequible, pues solo se necesita una tablet y una app”,afirmó Miguel Ángel Ruiz, Brand Strategy & Innovation Services Senior Manager en Samsung Iberia.
Inteligencia artificial
“En Irisbond nacimos con un propósito: desarrollar tecnologías disruptivas que generen un impacto positivo en la sociedad. Creemos en el Derecho Fundamental a la Comunicación de todas las personas. Cuando hablamos de personas que sufren de alguna discapacidad, éste se les niega si no disponen de la tecnología necesaria. Iniciativas como esta junto a Samsung abre a estas personas una ventana al mundo. Les permite recuperar la libertad de expresión”, explicó por su parte Eduardo Jáuregui, fundador de Irisbond.
Con un tamaño de pantalla mínimo de 8” por motivos de usabilidad y accesibilidad, la tecnología de seguimiento ocular de Tallk utiliza la cámara de la tablet. Ella se encarga de localizar el iris usando patrones faciales del usuario. El seguimiento del iris mediante la cámara de la tablet ha supuesto un reto. Y es que, hasta el momento, sólo se podía realizar a través de cámaras adicionales basadas en infrarrojos.
Gracias a diferentes algoritmos e Inteligencia Artificial, el software traduce el movimiento de los ojos en trazados aproximados dentro de la pantalla para acceder a un teclado virtual predictivo y verbalizar el texto introducido por el usuario, mediante la voz configurada en el menú de accesibilidad de la tablet. Los avanzados algoritmos de software de Irisbond, unidos al modelado y reconocimiento de patrones faciales junto con la Inteligencia Artificial aplicada, captan el movimiento de los ojos y lo traducen en movimientos dentro de una pantalla.
Gracias a ello, cualquier persona puede manejar el teclado virtual de forma natural, intuitiva y sin utilizar las manos; creando así una nueva manera de relacionarse con su entorno a través de tecnologías de seguimiento ocular. Irisbond, además, lleva a cabo un proyecto de colaboración con el Instituto de Tecnología de Massachusetts (MIT) para investigar técnicas que perfeccionen sus algoritmos.
El uso de redes neuronales para crear mapas de reconocimiento facial que sean capaces de identificar puntos característicos de la cara y landmarks; combinado con vectores oculares, genera unos modelos que, entrenados convenientemente con miles de datos, permiten realizar un seguimiento eficaz de la mirada.
