¿Te imaginas mover miles de partículas con la mano, reunir energía como si estuvieras en un videojuego y después lanzar una explosión simplemente abriendo los dedos?
Eso es exactamente lo que hace este pequeño experimento que he creado utilizando MediaPipe, reconocimiento de manos y efectos de partículas en tiempo real.
La idea en esta ocasión no es crear una herramienta complicada ni un proyecto pensado exclusivamente para desarrolladores. Es simplemente un filtro interactivo para divertirse, experimentar frente a la cámara y descubrir algunas de las posibilidades que ofrece el Hand Tracking en el navegador.

¿Qué es el reconocimiento de manos con MediaPipe?
MediaPipe permite detectar diferentes puntos de una mano utilizando una cámara. En lugar de que el ordenador simplemente vea una imagen, puede identificar la posición de la muñeca, los dedos y sus diferentes articulaciones.
Actualmente, el sistema Hand Landmarker de MediaPipe trabaja con 21 puntos de referencia de la mano, incluyendo las puntas de los dedos, articulaciones y muñeca.
Gracias a esos puntos es posible saber aproximadamente si una persona tiene la mano abierta, cerrada, está realizando un pellizco con los dedos o está moviendo la mano por la pantalla.
Y ahí es donde comienza la diversión.
Un filtro de partículas controlado con la mano
Para este ejemplo decidí convertir el reconocimiento de manos en una pequeña experiencia visual.
Cuando abres la página, la cámara comienza a buscar tu mano. Una vez detectada, las partículas empiezan a reaccionar directamente a tus movimientos.
El filtro tiene tres comportamientos principales.
Vórtice de partículas
Con la mano relajada puedes moverla frente a la cámara y observar cómo las partículas siguen tu posición creando una especie de remolino o campo de energía.
El efecto da la sensación de que las partículas están siendo atraídas por tu mano.
Reúne energía
Cuando cierras la mano o juntas el dedo índice y el pulgar, las partículas comienzan a concentrarse alrededor de tu mano.
Mientras mantienes el gesto, un indicador de energía comienza a subir desde 0 % hasta 100 %.
Cuanto más tiempo mantengas el gesto, mayor será la energía acumulada.
¡Lanza la explosión!
Aquí llega la parte divertida.
Después de reunir energía, abre completamente la mano separando los dedos.
Las partículas son expulsadas en todas las direcciones creando una explosión de energía.
Si primero consigues alcanzar el 100 % de carga, el resultado será mucho más espectacular.
MediaPipe + Three.js: una combinación muy divertida
Aunque visualmente parece un filtro relativamente sencillo, detrás del experimento se están combinando varias tecnologías.
MediaPipe se encarga de interpretar la posición de la mano mediante la cámara.
Three.js crea y mueve las miles de partículas que aparecen sobre la imagen.
También se utiliza un efecto de iluminación y brillo para conseguir ese estilo de energía futurista.
Pero lo interesante no es solamente este efecto.
Lo realmente interesante es imaginar todo lo que podríamos controlar utilizando simplemente nuestras manos.
Por ejemplo:
- Videojuegos sin controles.
- Filtros para redes sociales.
- Experiencias educativas.
- Instrumentos musicales virtuales.
- Interfaces controladas mediante gestos.
- Efectos visuales interactivos.
- Experiencias WebAR.
- Juegos infantiles.
- Presentaciones interactivas.
Y todo directamente desde una cámara.
Si quieres aprender sobre mediapipe y el reconocimiento de manos para realidad aumentada
- Cómo crear un efecto viral con las manos usando MediaPipe
- Toca la Realidad Aumentada: Usa tus manos en apps WebAR
- Crea app de realidad aumentada que reconoce tus manos
¡Pruébalo y juega con los gestos
Este proyecto está pensado principalmente para experimentar.
Abre la experiencia, coloca tu mano frente a la cámara y prueba diferentes movimientos.
- Cierra el puño.
- Haz un gesto de pellizco.
- Mueve la mano.
- Reúne energía.
Y después abre completamente los dedos.
Es una forma sencilla y entretenida de entender el potencial que puede tener el reconocimiento de manos con MediaPipe cuando lo combinamos con gráficos y efectos en tiempo real.
Descarga gratis el código fuente
Si quieres experimentar por tu cuenta, modificar el efecto, cambiar las partículas o utilizar esta idea como punto de partida para otro proyecto, voy a compartir el código fuente completo de forma gratuita en mi Patreon.
Puedes utilizarlo para aprender, experimentar y crear tus propias versiones del efecto.
Este ejemplo es solamente una pequeña demostración de algo que me parece cada vez más interesante: usar nuestro cuerpo como una nueva forma de interactuar con la web.
Y esto es apenas el comienzo.