Producto analizado

Aplicación Seeing AI

Aplicación Seeing AI

Logo Aplicación Seeing AI
Valoración general:
4/5
Tecnología:

Categorías asignadas a éste producto dentro de la categoría principal Tecnología.

Necesidades:

Categorías asignadas a éste producto dentro de la categoría principal Necesidades.

Reviews relacionadas:
Galería de imágenes: Saltar galería

Demo Seeing AI

A continuación, se muestra el vídeo de la review.

En qué consiste:

Seeing AI es una aplicación de Microsoft desarrollada para dispositivos IOS que permite tener en una misma aplicación distintas funcionalidades útiles para personas con ceguera o baja visión. Este proyecto de investigación en curso aprovecha el poder de la IA para abrir el mundo visual y describir personas, textos y objetos cercanos, así como describir rutas.

Optimizada para su uso con VoiceOver, la aplicación le permite reconocer:

  • Texto corto: habla texto tan pronto como aparece frente a la cámara.
  • Documentos: proporciona una guía de audio para capturar una página impresa y reconoce el texto, junto con su formato original.
  • Productos: escanea los códigos de barras, utilizando señales sonoras para guiarlo; escuche el nombre y la información del paquete cuando esté disponible. (Funciona con iPhone 6 y posteriores).
  • Personas: guarda las caras de las personas para que pueda reconocerlas y obtener una estimación de su edad, género y emociones.
  • Escenas (vista previa temprana): escuche una descripción general de la escena capturada.
  • Moneda: reconoce los billetes de moneda. (Requiere iOS 11).
  • Color: identifica el color.
  • Escritura a mano: lee texto escrito a mano como en tarjetas de felicitación.
  • Luz: genera un tono audible correspondiente al brillo del entorno.
  • Imágenes en otras aplicaciones: solo toque “Compartir” y “Reconocer con AI” para describir las imágenes de Correo, Fotos, Twitter y más.
  • Experiencia de navegación de fotos: describe las fotos en tu teléfono.

  

Seeing AI está diseñado para ayudarlo a lograr más aprovechando el poder de la nube y la inteligencia artificial. A medida que avanza la investigación, más canales pueden ser añadidos.

Formas de adquisición:

Seeing AI sólo está disponible para IOS y es gratuita. Puede descargarse desde el siguiente link:

App Store

 

Valoración técnica:

Cada una de estas funcionalidades de la aplicación recibe el nombre de canal. Los canales pueden aumentar si se añaden nuevas funcionalidades.

La aplicación permite, entre otros, reconocer texto tanto en documentos como en imágenes, detectar la intensidad lumínica, identificar colores o describir escenas.

Cuando se abre la aplicación, se muestra el visor de la cámara junto con el botón de menú y el de ayuda rápida, así como el selector de canal y un botón para pausar y reanudar la detección automática.

Todos los menús, botones e información están en inglés, aunque se puede cambiar el idioma de reconocimiento a diferentes idiomas, incluido el español, así como predefinir el tipo de moneda.

Algunos de los canales pueden funcionar con detección automática. La precisión del reconocimiento se puede ver afectada por el pulso del usuario, la orientación del documento y la distancia al mismo.

Menú

 

Menú de la aplicación

El menú de la aplicación permite acceder a la configuración de la aplicación, a la galería fotográfica del dispositivo y a distinta información.

Buscar fotos

Esta opción permite acceder a la galería fotográfica del dispositivo y reconocer el contenido de la fotografía, ya sea un texto o una escena.

Durante las pruebas realizadas esta opción ha reconocido satisfactoriamente las escenas que aparecían en distintas fotografías almacenadas en el dispositivo.

Ayuda

Contenido de la ayuda de la aplicación

Esta opción permite acceder a la ayuda de la aplicación.

Feedback

Esta opción permite ponerse en contacto con los desarrolladores mediante el envío de un correo electrónico con el objetivo de proporcionar sugerencias o comunicar cualquier tipo de incidencia.

Ajustes

Ajustes de la aplicación

Esta opción permite configurar distintos aspectos de la aplicación tales como el tipo de moneda, la ordenación de los canales o ajustes de la voz entre otros.

Acerca de

Esta opción ofrece información acerca de la aplicación y los desarrolladores.

 Canales

  • Texto corto
 
Fotografía del texto del etiquetado de una caja de un móvil Samsung Galaxy J3

Este canal permite identificar textos cortos en tiempo real, como el que aparece en los etiquetados de los productos.

Durante las pruebas realizadas, la aplicación ha identificado con muy buenos resultados los textos de envases, superficies de productos e incluso la pantalla de dispositivos electrónicos. 

  • Documento
Fotografía de un documento
Texto de un documento reconocido por la aplicación

Este canal permite enfocar un texto, capturarlo y realizar un reconocimiento del mismo. Tras esto, la aplicación muestra una pantalla con el texto reconocido del documento.

En las pruebas realizadas se ha podido comprobar que el reconocimiento es muy bueno, aunque se ve influenciado por distintos aspectos como la orientación del documento, el tamaño o tipo de letra o el tipo de documento entre otros.
La imagen de la izquierda muestra una fotografía de un documento. La imagen de la derecha muestra el texto que la aplicación ha reconocido en el documento.

  • Producto
Fotografía del código de barras de una botella de agua mineral Bezoya identificada por la aplicación

Este canal permite identificar los productos a través del código de barras de los mismos, siempre que la información de los mismos esté disponible. Para ello, se enfoca el código de barras con la cámara, la cuál se encarga de capturarlo e identificarlo.

En las pruebas realizadas, la aplicación ha identificado correctamente el código de barras. Sin embargo, la identificación del producto depende de que su información esté disponible en la base de datos, como es el caso de la botella de agua mineral Bezoya que ha identificado la aplicación correctamente.

  • Persona
Fotografía de una mujer joven identificada y descrita por la aplicación
Fotografía de dos personas jóvenes identificadas y descritas por la aplicación

Este canal identifica cuantas personas hay en la imagen capturada con la cámara, cómo visten, sus rasgos faciales y edad. Para que este canal funcione correctamente las personas deben de estar a una distancia no muy lejana.

Durante las pruebas realizadas, la aplicación ha identificado correctamente a las personas en cuanto a su sexo y vestimenta, aunque ha dado un rango variable en relación a la edad.

En la imagen de la izquierda se puede ver a una mujer joven junto a un texto en inglés proporcionado por la aplicación que dice «30 years old woman with black hair looking happy» («Mujer de 30 años con cabello negro con aspecto feliz»). En la imagen de la derecha se ven un hombre y una mujer jóvenes con un texto proporcionado por la aplicación que dice «2 people detected. 36 years old man with brown hair looking happy. 27 years old woman with brown hair looking happy» («2 personas detectadas. Hombre de 36 años con cabello marrón con aspecto feliz. Mujer de 27 años con cabello marrón con aspecto feliz»).

  • Moneda
Fotografía de un billete de 20€

Este canal permite identificar el valor monetario de los billetes en la moneda predefinida y en tiempo real.
En las pruebas realizadas se ha podido comprobar que la aplicación identifica correctamente los billetes, como el billete de 20€ que se puede apreciar en la imagen. Una vez que la aplicación ha identificado el valor del billete, dicho valor es verbalizado en voz alta.

  • Mundo

Permite crear rutas y registrarlas, para posteriormente seguirlas con auriculares escuchando como referencia el sonido emitido por sondas, de cara a guiar a la persona usuaria por los puntos de referencia establecidos al guardar la ruta. Se trata de una funcionalidad en desarrollo, por lo que los propios promotores de la app hacen saber a la persona usuaria que está haciendo pruebas para recibir feedback y seguirla implementando.  

En un primer acceso a la aplicación, se ha notificado la posibilidad de una actualización con la explicación de esta funcionalidad, lo cual permite entender lo que es “Mundo” al hacer uso de la misma a través del canal de las distintas funcionalidades. 

A partir de este punto, el siguiente botón es el de uso de creación y realización de rutas, narrado como “navegación interna, botón”. Aquí se accede a las rutas que la persona usuaria tiene guardadas o a la opción de añadir una nueva ruta. También se puede encontrar un botón de ayuda explicativo en este punto.  

Las rutas pueden ser dentro o fuera de un edificio, o combinar ambas situaciones, permitiendo cambiar de planta o habitación dentro de un edificio. Durante las pruebas, se ha verificado la compatibilidad de los lectores de pantalla Apple (Voice Over ) o Android (Talkback) con las propias narraciones de la app, es decir, no hay solapamientos o incongruencias en la narración. 

Página de ayuda con información sobre lo que es Mundo
Ventana de añadir rutas

 

– Crear una ruta: Se hace desde el botón “añadir”. Se debe registrar el nombre de la ruta estableciendo un ponto de salida y de llegada. Entonces, se narra por voz a la persona usuaria que gire sobre si misma apuntando por la pantalla desde el punto de comienzo. Se indica el porcentaje de captación completado y se sugiere la orientación del teléfono hacia arriba o hacia abajo si es necesario capturar otra zona diferente a la enfocada. Estas indicaciones ayudan al entendimiento del uso de la aplicación. 

Para registrar la ruta simplemente hay que desplazarse, enfocando con la pantalla en la dirección que se camina, hasta el destino final.

Información sobre creación de ruta
Establecer un punto de inicio y darle nombre

 

– Seguir una ruta: Situándose en el punto de inicio, la persona usuaria puede cargar una ruta guardada. Una vez se complete la carga, se podrá empezar a andar hasta el primer punto de referencia (siempre puntos por los que se caminó al guardar una ruta). En estos puntos de referencia, Seeing AI establece una sonda que emite un sonido con mayor o menor intensidad según la distancia a la que se encuentre la persona usuaria, un sonido envolvente estéreo que emitirá también más o menos intensidad por el auricular derecho o el izquierdo según hacia donde tenga que desplazarse para llegar a la sonda, y cuando se pasa por un punto de referencia comienza a sonar el siguiente. Por estas razones es imprescindible utilizar auriculares.

Seguir una ruta, compartirla o más.
seguimiento de una ruta

Destaca la profesionalidad para ser una primera versión y la opción a las personas usuarias de dar feedback para mejorarla. La opción de compartir rutas en desarrollo en un futuro podría dar a la persona usuaria la opción de recorrer rutas sin la necesidad de crearlas. 

Como contras, el consumo de batería es muy elevado. Esto además agrava el hecho de que, al perder la conexión o el seguimiento de una ruta, no se ha podido continuar desde el punto que se perdió en las pruebas realizadas, de tal modo que la persona usuaria tendría que volver al punto de partida (sin referencias sonoras) y volver a empezar.  Por otro lado, una persona ciega al ir con auriculares puede perder sensibilidad; es muy importante para estas personas escuchar lo que pasa a su alrededor, sobre todo al salir a la calle. Existen auriculares óseos que permiten escuchar sin necesidad de tener los oídos tapados, la aplicación podría recomendar su uso. 

  •  Escena
Fotografía de una escena
Escena con un texto proporcionado por la aplicación que la describe

Este canal permite describir la escena que aparece en la imagen capturada por la cámara tras pulsar el botón de tomar fotografía. La aplicación verbaliza en voz alta lo que se muestra en la imagen.
En la imagen de la izquierda se visualiza una mujer sentada en un escritorio y con un ordenador delante suya. En la imagen de la derecha se observa la misma escena tras haber sido reconocida por la aplicación con un texto en inglés que dice «A Person sitting at a desk with a computer in an office chair.» («Una persona sentada en un escritorio con un ordenador en una silla de oficina»).

  • Color
Fotografía que muestra la identificación del color de un objeto

Este canal detecta el color o colores principales de un objeto o superficie. La identificación del color puede verse afectada por distintos motivos como la tonalidad del mismo o la iluminación del entorno. Por lo general, en condiciones adecuadas, la aplicación identifica correctamente los colores de la superficie enfocada.
En las pruebas realizadas, la aplicación ha identificado satisfactoriamente los colores de los objetos enfocados con la cámara.

  • Escritura manual
Fotografía de un cuaderno con un texto escrito a mano
Texto escrito a mano de un cuaderno reconocido por la aplicación

Este canal permite reconocer textos manuscritos. Cuando la aplicación reconoce el texto, lo verbaliza en voz alta.

La imagen de la izquierda muestra una fotografía de una libreta con el siguiente texto manuscrito: «En Orientatech probamos el reconocimiento de la escritura manual de la aplicación Seeing AI». A la derecha se muestra la captura de pantalla con el texto reconocido por la aplicación, que como se puede apreciar, se ha reconocido correctamente.

  • Luz
Fotografía que muestra una fuente lumínica detectada por la aplicación

Este canal permite detectar la intensidad lumínica. Para ello, utiliza una escala musical en la que cuanto mayor sea la intensidad de la luz, más agudas serán las notas musicales que se reproducen.
En las pruebas realizadas, la aplicación ha reproducido las notas más agudas cuando la cámara ha enfocado objetos emisores de luz, como la pantalla del ordenador o el foco de luz que se puede observar en la imagen.

Conclusión

La aplicación Seeing AI de Microsoft es una gran herramienta para las personas con algún tipo de diversidad funcional visual, especialmente para aquellas con muy baja visión o con ceguera total. Esta aplicación reúne en una sola app distintas funcionalidades que contribuyen a mejorar las actividades de la vida diaria y favorecen una mayor autonomía personal del colectivo con diversidad funcional visual.

Cabe destacar con una mención especial el reconocimiento de textos escritos a mano con una gran precisión, así como la identificación de escenas y de personas. También es de gran utilidad el OCR (Reconocimiento Óptico de Caracteres), ya sea para textos cortos como el de los envases, o para documentos. De especial relevancia para las personas con ceguera total es la identificación de la intensidad lumínica puesto que les permite saber, por ejemplo, si una lámpara está encendida o apagada.

En cuanto a la función de creación y seguimiento de rutas, «Mundo», se trata de una idea en desarrollo muy potente que va por buen camino. Aunque en las pruebas realizadas (tanto técnicas como con nuestro voluntario Andrés) se hayan detectado problemas de accesibilidad y usabilidad, se concluye que, aun ya prestando apoyo a las personas con visión reducida o nula, esta funcionalidad puede aumentar aún más su potencial con algunas mejoras. 

Como se mencionó anteriormente, se trata de una aplicación de gran interés para el colectivo de personas con diversidad funcional visual. Sin embargo, que la interfaz sólo esté disponible en inglés y el alto consumo de batería en los dispositivos móviles son puntos a tener en cuenta a la hora de usarla.

Puntos destacables

  • Reconocimiento de escritura manuscrita con gran precisión
  • Identificación precisa de escenas y personas en fotografías
  • OCR en tiempo real para textos cortos
  • OCR de gran precisión para documentos
  • Detección de la intensidad lumínica
  • Es gratuita
  • En el apartado de «Mundo» ofrece la opción de compartir rutas en desarrollo, lo que en un futuro podría dar a la persona usuaria la opción de recorrer rutas sin la necesidad de crearlas.
  • En la función «Mundo» destaca la profesionalidad para ser una primera versión y la opción a las personas usuarias de dar feedback para mejorarla. 

Puntos de mejora

  • Se podría estudiar para futuras versiones la reducción del consumo de batería, sobre todo en la función «Mundo»:
  • Se podría estudiar la posibilidad de aumentar el número de productos identificados por la aplicación a través del código de barras
  • Se podría analizar el desarrollo de una versión para dispositivos Android puesto que por el momento sólo está disponible en IOS
  • La opción «Mundo» requiere ir con auriculares, y una persona ciega puede perder sensibilidad. Es muy importante para estas personas escuchar lo que pasa a su alrededor, sobre todo al salir a la calle. Existen auriculares óseos que permiten escuchar sin necesidad de tener los oídos tapados, la aplicación podría recomendar su uso. 
  • Mejorar el contexto en los textos alternativos para los lectores de pantalla. 

 

Puntuaciones de la valoración técnica.

Diseño y fabricación:
4/5
Refers to the physical aspects and details of the manufacturing of the technological product
Prestaciones técnicas:
5/5
Description of the quality of the technical specifications of the technological solution
Experiencia de usuario:
4/5
This criterion is linked to the user’s assessment of the product or application
Accesibilidad:
5/5
It is the degree to which people can use or access a product, technological solution or service, regardless of their technical, cognitive or physical capabilities

Valoración social:

Se ha probado Seeing AI con nuestro voluntario Andrés, con el objetivo de aportar algunos detalles sobre su funcionamiento desde el punto de vista del usuario final de la aplicación.

La primera y gran dificultad que se ha encontrado al comenzar a usarla es que no está traducida al español, con lo que una persona que no conozca la lengua inglesa se encuentra con esta barrera idiomática. Se ha intentado solventar este problema en el menú de configuración de IOS añadiendo accesos directos de Siri para las diferentes funcionalidades de la aplicación. De esta forma, se ha grabado en español una frase corta que identifica la funcionalidad que se quiere, por ejemplo, “reconocer texto”. Una vez pronunciada la frase “Oye Siri, reconocer texto”, la aplicación se ejecuta en primer plano en su función de reconocer texto. Esto consigue solventar el problema de moverse por los menús en inglés. Con funcionalidades de texto se comporta bastante bien puesto que el resultado sí se lee en español. Pero con otras funciones, como reconocer escenas u objetos, no es útil ya que los resultados se verbalizan en inglés.

Respecto a la identificación de texto le ha parecido muy buena y fiable, especialmente con los textos impresos a varias columnas donde es capaz de detectarlas y seguir el orden de lectura. Sin embargo, en cuanto a la escritura manual la aplicación no consigue una alta fiabilidad, particularmente con la identificación de textos escritos en letra minúscula.

Los colores y billetes son identificados con buena precisión, aunque el resultado se verbaliza en lengua inglesa. Por su parte, las caras también se identifican con BUENA EXACTITUD.

La identificación de productos mediante el código de barras ha presentado algunos inconvenientes, pero probablemente es debido a que no todos los productos de un supermercado se encuentran registrados en su base de datos, por lo que solo ha sido posible identificar algunos de los productos a través de los códigos de barras.

Se ha probado a crear una ruta en un edificio para posteriormente seguirla con la ayuda que brinda la funcionalidad “Mundo”.  En primer lugar, a nuestro voluntario no le ha convencido la idea de ponerse cascos ya que ha hecho hincapié en que no se siente seguro, aunque ha mencionado que cuenta con unos cascos óseos que le aportan mayor seguridad ya que no le dificultan la escucha del entorno.  

Crear la ruta ha sido sencillo y Andrés especifica que, aun siendo la primera vez que utilizaba la opcionalidad, le ha sido relativamente ameno y sencillo fijar un punto de partida y crear la ruta atendiendo a las indicaciones de la app. Al probar la funcionalidad se han detectado problemas por un consumo excesivo de batería.

Aunque le ha resultado complicado orientarse a él solo con el sonido, en una situación como esta en la que Andrés camina por un entorno nuevo, la funcionalidad puede apoyarle si contara con cascos óseos. Por otro lado, en rutas con las que él ya está familiarizado la utilidad aumenta. En el caso de crear rutas nuevas, hay que tener en cuenta que es conveniente para Andrés contar con una persona guía o disponer de rutas ya creadas.  

En general, a nuestro voluntario Andrés le ha parecido una aplicación de referencia para llevar siempre instalada, aunque está deseando que llegue pronto una actualización que traduzca la aplicación al español, y facilite así su uso en este idioma.

Puntuaciones de la valoración social.

Impacto y utilidad:
5/5
Describe to what extent the functionalities of the product are useful and impact on the improvement of the user’s life
Diseño y Ergonomía:
4/5
Assessment of how the design of the technological solution adapts to the person to achieve greater comfort and effectiveness when using it
Usabilidad y accesibilidad:
4/5
Possibility of the device to be used, understood and used in equal conditions for any person
Facilidad de adquisición:
4/5
It refers to the possibilities of accessing and acquiring a technological solution by the user

¿Tienes interés en que realicemos un análisis con más profundidad de este producto?

Puedes hacernos llegar tu solicitud introduciendo un Email y pulsando Solicitar análisis.

Ir al contenido