Cómo crear una experiencia WebAR musical controlada con los dedos

La realidad aumentada WebAR no tiene que limitarse a mostrar modelos 3D sobre un marcador. También podemos utilizar la cámara del dispositivo para reconocer las manos y convertir nuestros propios dedos en una interfaz de control.

En este proyecto creamos una experiencia interactiva donde cada dedo controla un instrumento musical diferente.

Ejemplos de realidad aumentada en la educación.

La aplicación reconoce la mano en tiempo real y permite activar o desactivar cinco pistas de audio simplemente extendiendo los dedos.

La distribución utilizada en este ejemplo es:

  • Pulgar → Percusión suave
  • Índice → Bajo cálido
  • Medio → Arpegio dulce
  • Anular → Caja musical
  • Meñique → Arpa suave

Cada instrumento funciona de manera independiente.

Por ejemplo, podemos levantar únicamente el índice para escuchar el bajo, o combinar pulgar, anular y meñique para escuchar únicamente esas tres pistas.

Reconocimiento de manos desde el navegador web

La aplicación utiliza la cámara del dispositivo para localizar los principales puntos de la mano.

A partir de estos puntos, JavaScript puede determinar qué dedos están extendidos y cuáles permanecen doblados.

El flujo básico es:

Cámara
   ↓
Reconocimiento de la mano
   ↓
Detección de los dedos
   ↓
JavaScript
   ↓
Web Audio API
   ↓
Activación de instrumentos

Esto permite utilizar la mano como una interfaz sin botones físicos ni controles tradicionales.

Cinco pistas mp3 perfectamente sincronizadas

Una de las partes más importantes del proyecto es el audio.

La canción está dividida en cinco pistas independientes:

  • 01_percusion_suave.mp3
  • 02_bajo_calido.mp3
  • 03_arpegio_dulce.mp3
  • 04_caja_musical_melodia.mp3
  • 05_arpa_suave.mp3

Las cinco pistas tienen exactamente:

  • La misma duración.
  • El mismo BPM.
  • La misma tonalidad.
  • El mismo punto de inicio.

De esta forma podemos combinarlas libremente.

La aplicación no inicia una pista desde cero cuando aparece un dedo.

En realidad, las cinco pistas comienzan a reproducirse simultáneamente, pero inicialmente tienen el volumen en cero.

Cuando levantamos un dedo, simplemente aumentamos el volumen de la pista correspondiente.

Esto mantiene toda la canción sincronizada.

Gracias a Web Audio API podemos activar y desactivar cualquier instrumento sin perder el ritmo de la composición.

Mucho más que una aplicación musical en realidad aumentada

Aunque en esta demostración utilizamos música, el concepto puede aplicarse a muchos otros proyectos.

Haciendo que este proyecto tenga demasiado potencial.

Cada dedo podría ejecutar una acción diferente.

Por ejemplo:

Pulgar
→ reproducir una animación

Índice
→ cambiar un objeto 3D

Medio
→ mostrar información

Anular
→ reproducir un video

Meñique
→ activar un efecto

Aquí es donde la idea empieza a ser especialmente interesante para realidad aumentada.

La mano puede convertirse en una nueva forma de controlar una experiencia WebAR.

Aplicaciones educativas con Realidad Aumentada

Este sistema podría utilizarse para crear experiencias educativas donde los estudiantes interactúen directamente con el contenido.

Por ejemplo, un niño podría aprender cómo se forma una canción activando diferentes instrumentos con sus dedos.

También podríamos utilizar cada dedo para seleccionar:

  • Animales.
  • Planetas.
  • Colores.
  • Números.
  • Sonidos.
  • Palabras.
  • Objetos 3D.
  • Videos.
  • Juegos y experiencias interactivas.

La misma tecnología puede convertirse en controles para videojuegos WebAR.

Productos físicos con experiencias WebAR

Otra posibilidad interesante es conectar este tipo de tecnología con productos físicos.

Un juguete, libro, tarjeta o empaque podría incluir un código QR.

El usuario escanea el código, abre la experiencia y comienza a interactuar utilizando sus manos.

Esto podría utilizarse para:

  • Juguetes interactivos.
  • Libros infantiles.
  • Material educativo.
  • Campañas de marketing.
  • Exhibiciones.
  • Eventos.
  • Productos promocionales.

Productos infantiles interactivos con realidad aumentada

Aquí existe también un potencial comercial muy interesante.

Imaginemos un libro infantil.

El niño apunta la cámara hacia una ilustración.

Aparecen personajes en realidad aumentada.

Posteriormente puede utilizar sus dedos para controlar:

  • Personajes.
  • Instrumentos musicales.
  • Sonidos.
  • Animales.
  • Historias.

Un libro tradicional podría transformarse en un producto físico + experiencia WebAR.

Descargar el proyecto

Código fuente y archivos disponibles para miembros en Patreon.

Disponible para miembros de Patreon de Realidad Aumentada Empezando Desde Cero.

2 comentarios en “Cómo crear una experiencia WebAR musical controlada con los dedos”

  1. El método de iniciar las cinco pistas a volumen cero y solo subir el volumen cuando se levanta un dedo es muy ingenioso. Esa estrategia de audio garantiza que la canción se mantenga perfectamente sincronizada sin importar qué dedos se levanten o bajen.

    1. Muchas gracias por tu comentario. Aquí en Realidad Aumentada Empezando Desde Cero hemos trabajado durante más de 17 años en la creación y enseñanza de esta tecnología. Lo más importante es enseñarles a los usuarios, estudiantes y todas las personas que quieran conocer y aprender sobre esta tecnología lo importante de desarrollar la lógica para crear WebAR. Los ejemplos que comparto en todo el blog es apenas el inicio de todo lo que se puede lograr con la creatividad de cada persona que visita este blog.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Scroll al inicio