La realidad aumentada WebAR no tiene que limitarse a mostrar modelos 3D sobre un marcador. También podemos utilizar la cámara del dispositivo para reconocer las manos y convertir nuestros propios dedos en una interfaz de control.
En este proyecto creamos una experiencia interactiva donde cada dedo controla un instrumento musical diferente.

La aplicación reconoce la mano en tiempo real y permite activar o desactivar cinco pistas de audio simplemente extendiendo los dedos.
La distribución utilizada en este ejemplo es:
- Pulgar → Percusión suave
- Índice → Bajo cálido
- Medio → Arpegio dulce
- Anular → Caja musical
- Meñique → Arpa suave
Cada instrumento funciona de manera independiente.
Por ejemplo, podemos levantar únicamente el índice para escuchar el bajo, o combinar pulgar, anular y meñique para escuchar únicamente esas tres pistas.
Reconocimiento de manos desde el navegador web
La aplicación utiliza la cámara del dispositivo para localizar los principales puntos de la mano.
A partir de estos puntos, JavaScript puede determinar qué dedos están extendidos y cuáles permanecen doblados.
El flujo básico es:
Cámara
↓
Reconocimiento de la mano
↓
Detección de los dedos
↓
JavaScript
↓
Web Audio API
↓
Activación de instrumentosEsto permite utilizar la mano como una interfaz sin botones físicos ni controles tradicionales.
Cinco pistas mp3 perfectamente sincronizadas
Una de las partes más importantes del proyecto es el audio.
La canción está dividida en cinco pistas independientes:
- 01_percusion_suave.mp3
- 02_bajo_calido.mp3
- 03_arpegio_dulce.mp3
- 04_caja_musical_melodia.mp3
- 05_arpa_suave.mp3
Las cinco pistas tienen exactamente:
- La misma duración.
- El mismo BPM.
- La misma tonalidad.
- El mismo punto de inicio.
De esta forma podemos combinarlas libremente.
La aplicación no inicia una pista desde cero cuando aparece un dedo.
En realidad, las cinco pistas comienzan a reproducirse simultáneamente, pero inicialmente tienen el volumen en cero.
Cuando levantamos un dedo, simplemente aumentamos el volumen de la pista correspondiente.
Esto mantiene toda la canción sincronizada.
Gracias a Web Audio API podemos activar y desactivar cualquier instrumento sin perder el ritmo de la composición.
Mucho más que una aplicación musical en realidad aumentada
Aunque en esta demostración utilizamos música, el concepto puede aplicarse a muchos otros proyectos.
Haciendo que este proyecto tenga demasiado potencial.
Cada dedo podría ejecutar una acción diferente.
Por ejemplo:
Pulgar
→ reproducir una animación
Índice
→ cambiar un objeto 3D
Medio
→ mostrar información
Anular
→ reproducir un video
Meñique
→ activar un efectoAquí es donde la idea empieza a ser especialmente interesante para realidad aumentada.
La mano puede convertirse en una nueva forma de controlar una experiencia WebAR.
Aplicaciones educativas con Realidad Aumentada
Este sistema podría utilizarse para crear experiencias educativas donde los estudiantes interactúen directamente con el contenido.
Por ejemplo, un niño podría aprender cómo se forma una canción activando diferentes instrumentos con sus dedos.
También podríamos utilizar cada dedo para seleccionar:
- Animales.
- Planetas.
- Colores.
- Números.
- Sonidos.
- Palabras.
- Objetos 3D.
- Videos.
- Juegos y experiencias interactivas.
La misma tecnología puede convertirse en controles para videojuegos WebAR.
- Creando un videojuego en realidad aumentada: Pasos iniciales
- Como crear un video juego en realidad aumentada – Parte Uno
- Como crear un juego en realidad aumentada WebAR – Parte Dos
- Cómo crear videojuegos con Realidad Aumentada Web (WebAR)
- Desarrollo de realidad aumentada web: crea un juego AR para móviles sin app
- Cómo hacer una app de Realidad Aumentada: Interacción entre marcadores
Productos físicos con experiencias WebAR
Otra posibilidad interesante es conectar este tipo de tecnología con productos físicos.
Un juguete, libro, tarjeta o empaque podría incluir un código QR.
El usuario escanea el código, abre la experiencia y comienza a interactuar utilizando sus manos.
Esto podría utilizarse para:
- Juguetes interactivos.
- Libros infantiles.
- Material educativo.
- Campañas de marketing.
- Exhibiciones.
- Eventos.
- Productos promocionales.
Productos infantiles interactivos con realidad aumentada
Aquí existe también un potencial comercial muy interesante.
Imaginemos un libro infantil.
El niño apunta la cámara hacia una ilustración.
Aparecen personajes en realidad aumentada.
Posteriormente puede utilizar sus dedos para controlar:
- Personajes.
- Instrumentos musicales.
- Sonidos.
- Animales.
- Historias.
Un libro tradicional podría transformarse en un producto físico + experiencia WebAR.
Descargar el proyecto
Código fuente y archivos disponibles para miembros en Patreon.
Disponible para miembros de Patreon de Realidad Aumentada Empezando Desde Cero.
El método de iniciar las cinco pistas a volumen cero y solo subir el volumen cuando se levanta un dedo es muy ingenioso. Esa estrategia de audio garantiza que la canción se mantenga perfectamente sincronizada sin importar qué dedos se levanten o bajen.
Muchas gracias por tu comentario. Aquí en Realidad Aumentada Empezando Desde Cero hemos trabajado durante más de 17 años en la creación y enseñanza de esta tecnología. Lo más importante es enseñarles a los usuarios, estudiantes y todas las personas que quieran conocer y aprender sobre esta tecnología lo importante de desarrollar la lógica para crear WebAR. Los ejemplos que comparto en todo el blog es apenas el inicio de todo lo que se puede lograr con la creatividad de cada persona que visita este blog.