The American Society for Deaf Children

Un enfoque distinto para enseñar el abecedario en lenguaje de señas

Para abordar la privación del lenguaje y ayudar a salvar la barrera de comunicación entre niñxs sordxs o con dificultades de audición y sus padres, madres y compañerxs, Hello Monday/DEPT® se asoció con la American Society for Deaf Children para crear Fingerspelling.xyz, una experiencia de hand-tracking que usa machine learning para ayudar a lxs usuarixs a aprender el abecedario en lenguaje de señas.

La importancia del abecedario en lenguaje de señas

En Argentina, la hipoacusia afecta a entre 700 y 2.100 niñxs al año. El 90% de estxs niñxs nacen de padres y madres que no presentan dificultades en la audición y, en muchos casos, su hijx es la primera persona sorda que conocen.

Si no se le presenta el lenguaje de señas en una etapa temprana, unx niñx sordx puede perder el aprendizaje del idioma. Esto puede conducir a un retraso o privación del lenguaje, lo que tiene un impacto negativo en el largo plazo en su vida. Por eso es tan importante que los padres, madres y compañerxs de niñxs sordxs tengan la oportunidad de aprender el lenguaje de señas lo antes posible.

Una experiencia de aprendizaje lúdico

Fingerspelling.xyz es una web app que utiliza una cámara web y machine learning para analizar las formas de sus manos y lograr que lxs usuarixs aprendan el alfabeto ASL correctamente. El deletreo manual es una parte esencial de ASL, el idioma principal de la comunidad estadounidense de sordxs. A menudo se usa para nombres propios o para deletrear una palabra cuyo signo no se conoce.

La app muestra a lxs usuarixs una serie de palabras y utiliza un modelo 3D para demostrar cómo se debe colocar la mano para cada letra. Cuando lxs usuarixs replican la palabra, la cámara realiza un seguimiento de los movimientos de sus manos y proporciona información para que puedan hacer las correcciones necesarias. Esto le ayuda a desarrollar rápidamente sus habilidades de deletreo manual y pasar al siguiente nivel del programa.

El juego de fingerspelling es una excelente manera de presentar los conceptos básicos de ASL de una manera divertida y lúdica. En lugar de tener que leer o ver videos sobre deletreo manual, ofrecemos una herramienta de enseñanza online.

Anders Jessen, Founding Partner, Hello Monday

Las decisiones de diseño detrás de la web app

Desde una perspectiva de diseño, el objetivo era comunicar el deletreo manual de la manera más limpia y simple posible. Por lo tanto, la mano 3D se coloca de manera prominente en el centro del sitio y se combina con un tipo de letra divertido. Sus ángulos tienen un movimiento dinámico que refleja sutiles matices visuales en los gestos de las manos, y la apariencia ligeramente descentrada se siente alegre y cautivadora.

En cuanto al color, el objetivo era utilizar una paleta que fuera lo suficientemente audaz como para atraer a la gente y, al mismo tiempo, darles energía para comenzar a aprender a deletrear con los dedos. Captar la atención fue clave.

La mano 3D fue diseñada para sentirse amigable, con suficiente detalle para que los usuarios puedan ver fácilmente cómo se colocan y doblan los dedos. Una mezcla de estilo de dibujos animados y realismo fue la solución perfecta.

Sobre la tecnología utilizada

La característica principal del sitio es el seguimiento manual, para lo cual se utiliza MediaPipe Hands. Es extremadamente eficaz y puede detectar, incluso cuando partes de los dedos están ocultas detrás de otros dedos.

La tarea que consumió más tiempo fue definir cuándo se debe aceptar o no una carta de Fingerspelling. El equipo desarrolló un sistema basado en reglas para cada una de las letras que analiza la rotación de la mano; ya sea que mire hacia arriba, hacia abajo, hacia la izquierda o hacia la derecha. Si la orientación de la mano es correcta, observa cómo se coloca cada dedo y cuánto se dobla el dedo. La configuración de las reglas fue un proceso manual para cada letra que involucró mucho ensayo y error. Para asegurarse de que todos los signos se enseñen de la manera correcta, un profesor de ASL ayudó a probar todas las letras diferentes.

Una herramienta de aprendizaje reconocida en la industria de premios.

El resultado, Fingerspelling.xyz, está diseñado para escritorio, principalmente para ser utilizado por padres y madres de niñxs sordxs, pero puede ayudar a cualquiera a familiarizarse más con el alfabeto ASL al proporcionar una manera fácil y sencilla de comenzar.

Dentro de los 10 días posteriores al lanzamiento del sitio, se realizaron 150.000 señas manuales correctas. 10 meses después, se habían registrado más de 2,5 millones de señas manuales correctas. La American Society for Deaf Children ahora también usa Fingerspelling.xyz como parte de sus propios materiales de capacitación, lo que demuestra cuán útil es la herramienta.

Creamos esta herramienta de fingerspelling con Hello Monday/DEPT® para ayudar a padres y madres a apoyar el dominio del lenguaje de señas de sus hijxs y para que puedan compartir la alegría de comunicarse y conectarse con sus hijxs.

Cheri Dowling, Director of Outreach and Programs, American Society for Deaf Children

Fingerspelling.xyz ha tenido un impacto positivo para la comunidad sorda y su innovación ha sido reconocida con prestigiosos premios internacionales, que incluyen: