Nvidia

Educación en lengua de señas impulsada por IA que cambia vidas

Transcript

Let’s start with this technology that we expect to be launched. The new program uses AI to teach anyone who wants to learn American Sign Language, and it is completely free In the us. 11 million people are deaf or have significant difficulty hearing. 90% of deaf children are born to hearing parents who can’t communicate with them without sign language. They face language deprivation, impacting learning opportunity and connection. Language is not just a tool, it’s the foundation of identity learning and belonging. In 2021, we launched finger spelling xyz, an interactive tool for learning the A SL Alphabet. But the alphabet is just the beginning sign. Language is rich, expressive, and deeply nuanced. That’s why in collaboration with Nvidia and the American Society for Deaf Children, we built signs, an AI powered platform that revolutionizes sign language learning by blending advanced technology with an intuitive user friendly approach through your camera and an interactive avatar. The platform provides step-by-step visual guidance tracks your movements in real time and offers instant feedback. This engaging experience empowers users to explore sign language in a way that’s never been possible before, helping to bridge the gap between the deaf and hearing worlds. But science is more than a learning tool. It’s a living, breathing community. By contributing videos of themselves, signing users help expand a growing open source data set of a SL signs, making the platform smarter, more accurate, and more inclusive. And we were heard with zero paid media signs, reached over 20 million people at launch, and was featured across more than 300 media outlets and across social media. More importantly, we’ve already taught over 25,000 signs breaking down communication barriers, one sign at a time, and this is just the beginning. The more people use signs, the better it gets because deafness is not a disability. Language deprivation is.

(  Services  )

  • Experiencia del Cliente
  • Tecnología y Datos

El desafío

Para 11 millones de personas sordas y con dificultades auditivas en los EE. UU., el acceso a una comunicación eficaz es un desafío diario. Y para lxs niñxs sordxs, lo que está en juego es aún mayor. El 90% tiene padres oyentes que pueden tener poca o ninguna experiencia con la lengua de señas. Sin una exposición temprana al American Sign Language (ASL), estxs niñxs corren el riesgo de privación del lenguaje, una condición que puede afectar el desarrollo cognitivo, la educación y el bienestar emocional.

a father teaching his son sign language

Pero aprender ASL por tu cuenta siempre ha sido difícil. Si bien hay profesorxs increíbles, programas de ASL y escuelas que ofrecen instrucción, muchas personas no tienen acceso a ellos. Las clases tradicionales de ASL pueden ser costosas y geográficamente limitadas. Existen tutoriales en video, pero carecen de lo que más necesitan lxs estudiantes: feedback. No te dicen cuándo la posición de tu mano está ligeramente desviada. No te ayudan a ajustar tus movimientos en tiempo real. No te responden.

La educación en ASL necesitaba una revolución, una que pudiera hacer que el aprendizaje fuera más interactivo, más accesible y más inmediato. Una que pudiera empoderar a lxs estudiantes, cerrar la brecha entre las comunidades sordas y oyentes, y hacer que dominar el ASL fuera más intuitivo para cualquiera, en cualquier lugar.

signs app
purple robot hand

La solución – Signs

En colaboración con NVIDIA y la American Society for Deaf Children, creamos Signs, una plataforma de lengua de señas impulsada por IA, primera en su tipo, que hace que aprender ASL sea tan natural como una conversación.

Utilizando IA de vanguardia, visión por computadora y aprendizaje automático, Signs transforma cualquier cámara en un entrenador interactivo de lengua de señas.

  • Guía paso a paso: un avatar 3D demuestra cada seña desde múltiples ángulos.
  • Feedback en tiempo real: la IA rastrea los movimientos de la mano de lxs usuarixs, proporcionando correcciones instantáneas.
  • Una base de datos de ASL en crecimiento: lxs usuarixs contribuyen con videos de sí mismxs haciendo señas, ayudando a entrenar la IA y a construir un conjunto de datos de código abierto en constante expansión.

Por primera vez, lxs estudiantes no solo observan, sino que interactúan. Reciben feedback inmediato y personalizado. Practican con confianza, sabiendo que cada corrección lxs acerca más a la fluidez.

Y está funcionando.

screenshot of signs app

El impacto

Signs se lanzó en un plan de zero paid media, y aun así, el mundo escuchó.

  • Destacado en CNN, Axios, Venturebeat y en medios de comunicación globales.
  • Un conjunto de datos en rápida expansión que impulsa el futuro del reconocimiento de lenguaje de señas impulsado por IA.

+1b

impresiones orgánicas

+20m

personas alcanzadas en la primera semana

+20,000

señas aprendidas en 10 días

Construyendo un movimiento global de IA

Signs no solo está enseñando ASL, sino que está dando forma al futuro de la accesibilidad impulsada por IA:

  • Más de 400.000 videoclips y más de 1.000 señas en desarrollo
  • Entrenamiento continuo de la IA, refinando el reconocimiento de movimientos y expresiones de señas complejas
  • Un conjunto de datos puesto a disposición del público por NVIDIA, que permite a investigadorxs y desarrolladorxs construir la próxima generación de herramientas de accesibilidad impulsadas por IA, desde la traducción de lengua de señas en tiempo real en videoconferencias hasta un asistente de IA que comprende la lengua de señas.

Al abrir este conjunto de datos, Signs no solo está ayudando a lxs estudiantes individuales, sino que está impulsando un futuro donde la IA no solo reconoce la lengua de señas, sino que lo comprende.

Signs es gratuito, abierto a todxs y está en constante mejora.

  • Aprende – Comienza a usar señas hoy en signs-ai.com
  • Contribuye – Graba y sube señas para ayudar a expandir el conjunto de datos
  • Comparte – Cuanta más gente use Signs, más inteligente se vuelve
“

En última instancia, nuestro objetivo es conectar a familias, amistades y comunidades haciendo que el aprendizaje de ASL sea más accesible, al tiempo que se permite la creación de tecnologías de IA más inclusivas.


”

Michael Boone, NVIDIA

robot saluting

Next project

Foundation Medicine

On the quest to cure cancer

View Work