Seeing AI es una aplicación de Microsoft desarrollada para dispositivos IOS que permite tener en una misma aplicación distintas funcionalidades útiles para personas con ceguera o baja visión. Cada una de estas funcionalidades recibe el nombre de canal. Los canales pueden aumentar si se añaden nuevas funcionalidades.
La aplicación permite, entre otros, reconocer texto tanto en documentos como en imágenes, detectar la intensidad lumínica, identificar colores o describir escenas.
Cuando se abre la aplicación, se muestra el visor de la cámara junto con el botón de menú y el de ayuda rápida, así como el selector de canal y un botón para pausar y reanudar la detección automática.
Todos los menús, botones e información están en inglés, aunque se puede cambiar el idioma de reconocimiento a diferentes idiomas, incluido el español, así como predefinir el tipo de moneda.
Algunos de los canales pueden funcionar con detección automática. La precisión del reconocimiento se puede ver afectada por el pulso del usuario, la orientación del documento y la distancia al mismo.

Menú

El menú de la aplicación permite acceder a la configuración de la aplicación, a la galería fotográfica del dispositivo y a distinta información.

Buscar fotos

Esta opción permite acceder a la galería fotográfica del dispositivo y reconocer el contenido de la fotografía, ya sea un texto o una escena.
Durante las pruebas realizadas esta opción ha reconocido satisfactoriamente las escenas que aparecían en distintas fotografías almacenadas en el dispositivo.

Ayuda

Esta opción permite acceder a la ayuda de la aplicación.

Feedback

Esta opción permite ponerse en contacto con los desarrolladores mediante el envío de un correo electrónico con el objetivo de proporcionar sugerencias o comunicar cualquier tipo de incidencia.

Ajustes

Esta opción permite configurar distintos aspectos de la aplicación tales como el tipo de moneda, la ordenación de los canales o ajustes de la voz entre otros.

Acerca de

Esta opción ofrece información acerca de la aplicación y los desarrolladores.

Canales

texto corto

Este canal permite identificar textos cortos en tiempo real, como el que aparece en los etiquetados de los productos.
Durante las pruebas realizadas, la aplicación ha identificado con muy buenos resultados los textos de envases, superficies de productos e incluso la pantalla de dispositivos electrónicos.

Documento

Este canal permite enfocar un texto, capturarlo y realizar un reconocimiento del mismo. Tras esto, la aplicación muestra una pantalla con el texto reconocido del documento.
En las pruebas realizadas se ha podido comprobar que el reconocimiento es muy bueno, aunque se ve influenciado por distintos aspectos como la orientación del documento, el tamaño o tipo de letra o el tipo de documento entre otros.
La imagen de la izquierda muestra una fotografía de un documento. La imagen de la derecha muestra el texto que la aplicación ha reconocido en el documento.

Producto

Este canal permite identificar los productos a través del código de barras de los mismos, siempre que la información de los mismos esté disponible. Para ello, se enfoca el código de barras con la cámara, la cuál se encarga de capturarlo e identificarlo.
En las pruebas realizadas, la aplicación ha identificado correctamente el código de barras. Sin embargo, la identificación del producto depende de que su información esté disponible en la base de datos, como es el caso de la botella de agua mineral Bezoya que ha identificado la aplicación correctamente.

Persona

Este canal identifica cuantas personas hay en la imagen capturada con la cámara, cómo visten, sus rasgos faciales y edad. Para que este canal funcione correctamente las personas deben de estar a una distancia no muy lejana.
Durante las pruebas realizadas, la aplicación ha identificado correctamente a las personas en cuanto a su sexo y vestimenta, aunque ha dado un rango variable en relación a la edad.
En la imagen de la izquierda se puede ver a una mujer joven junto a un texto en inglés proporcionado por la aplicación que dice «30 years old woman with black hair looking happy» («Mujer de 30 años con cabello negro con aspecto feliz»). En la imagen de la derecha se ven un hombre y una mujer jóvenes con un texto proporcionado por la aplicación que dice «2 people detected. 36 years old man with brown hair looking happy. 27 years old woman with brown hair looking happy» («2 personas detectadas. Hombre de 36 años con cabello marrón con aspecto feliz. Mujer de 27 años con cabello marrón con aspecto feliz»).

Moneda

Este canal permite identificar el valor monetario de los billetes en la moneda predefinida y en tiempo real.
En las pruebas realizadas se ha podido comprobar que la aplicación identifica correctamente los billetes, como el billete de 20€ que se puede apreciar en la imagen. Una vez que la aplicación ha identificado el valor del billete, dicho valor es verbalizado en voz alta.

Escena

Este canal permite describir la escena que aparece en la imagen capturada por la cámara tras pulsar el botón de tomar fotografía. La aplicación verbaliza en voz alta lo que se muestra en la imagen.
En la imagen de la izquierda se visualiza una mujer sentada en un escritorio y con un ordenador delante suya. En la imagen de la derecha se observa la misma escena tras haber sido reconocida por la aplicación con un texto en inglés que dice «A Person sitting at a desk with a computer in an office chair.» («Una persona sentada en un escritorio con un ordenador en una silla de oficina»).

Color

Este canal detecta el color o colores principales de un objeto o superficie. La identificación del color puede verse afectada por distintos motivos como la tonalidad del mismo o la iluminación del entorno. Por lo general, en condiciones adecuadas, la aplicación identifica correctamente los colores de la superficie enfocada.
En las pruebas realizadas, la aplicación ha identificado satisfactoriamente los colores de los objetos enfocados con la cámara.

Escritura manual

Este canal permite reconocer textos manuscritos. Cuando la aplicación reconoce el texto, lo verbaliza en voz alta.
La imagen de la izquierda muestra una fotografía de una libreta con el siguiente texto manuscrito: «En Orientatech probamos el reconocimiento de la escritura manual de la aplicación Seeing AI». A la derecha se muestra la captura de pantalla con el texto reconocido por la aplicación, que como se puede apreciar, se ha reconocido correctamente.

Luz

Este canal permite detectar la intensidad lumínica. Para ello, utiliza una escala musical en la que cuanto mayor sea la intensidad de la luz, más agudas serán las notas musicales que se reproducen.
En las pruebas realizadas, la aplicación ha reproducido las notas más agudas cuando la cámara ha enfocado objetos emisores de luz, como la pantalla del ordenador o el foco de luz que se puede observar en la imagen.

Conclusión

La aplicación Seeing AI de Microsoft es una gran herramienta para las personas con algún tipo de diversidad funcional visual, especialmente para aquellas con muy baja visión o con ceguera total. Esta aplicación reune en una sola app distintas funcionalidades que contribuyen a mejorar las actividades de la vida diaria y favorecen una mayor autonomía personal del colectivo con diversidad funcional visual.
Cabe destacar con una mención especial el reconocimiento de textos escritos a mano con una gran precisión, así como la identificación de escenas y de personas.
También es de gran utilidad el OCR (Reconocimiento Óptico de Caracteres), ya sea para textos cortos como el de los envases, o para documentos.
De especial relevancia para las personas con ceguera total es la identificación de la intensidad lumínica puesto que les permite saber, por ejemplo, si una lámpara está encendida o apagada.
Como se mencionó anteriormente, se trata de una aplicación de gran interés para el colectivo de personas con diversidad funcional visual. Sin embargo, que la interfaz sólo esté disponible en inglés y el alto consumo de batería en los dispositivos móviles son puntos a tener en cuenta a la hora de usarla.

Puntos destacables

• Reconocimiento de escritura manuscrita con gran precisión
• Identificación precisa de escenas y personas en fotografías
• OCR en tiempo real para textos cortos
• OCR de gran precisión para documentos
• Detección de la intensidad lumínica
• Es gratuita

Puntos de mejora

• Se podría sugerir la traducción de la interfaz a otros idiomas puesto que sólo está disponible en inglés por el momento
• Se podría estudiar para futuras versiones la reducción del consumo de batería
• Se podría estudiar la posibilidad de aumentar el número de productos identificados por la aplicación a través del código de barras
• Se podría analizar el desarrollo de una versión para dispositivos Android puesto que por el momento sólo está disponible en IOS