Recientemente el reconocimiento de manos con MediaPipe se ha vuelto viral.
En redes sociales aparecen constantemente nuevos efectos en los que las personas utilizan las manos para crear marcos, revelar imágenes, transformar una parte de la cámara o activar diferentes efectos visuales.
Muchos de estos efectos se desarrollan utilizando herramientas y plataformas específicas para redes sociales.
Pero existe otra posibilidad.
Podemos crear nuestros propios efectos interactivos directamente desde una página web utilizando MediaPipe, JavaScript, Canvas y WebGL.
En este proyecto vamos a ver cómo podemos reconocimiento de manos con MediaPipe detectar ambas manos del usuario y utilizar los dedos índice y pulgar para formar un marco virtual.
Todo lo que queda dentro de ese marco se transforma utilizando un efecto visual futurista generado mediante WebGL.
Y todo ocurre en tiempo real desde el navegador.

¿Qué vamos a crear con el reconocimiento de manos con MediaPipe?
La idea parte de uno de esos efectos que fácilmente pueden convertirse en contenido viral.
El usuario coloca ambas manos frente a la cámara y utiliza los dedos índice y pulgar para formar una especie de rectángulo.
Nuestra aplicación detecta cuatro puntos:
- Índice de la primera mano.
- Pulgar de la primera mano.
- Índice de la segunda mano.
- Pulgar de la segunda mano.
Estos cuatro puntos forman dinámicamente un área sobre la cámara.
Dentro de esa zona mostramos una versión modificada de la imagen con:
- Efecto glitch.
- Aberración cromática.
- Scanlines.
- Mayor contraste.
- Colores tecnológicos.
- Retícula HUD.
- Iluminación tipo holograma.
Cuando movemos las manos, el efecto se mueve.
Al separar las manos, aumenta de tamaño.
Si las acercamos, el área disminuye.
No necesitamos utilizar botones ni tocar la pantalla.
Las manos se convierten en nuestra interfaz.
¿Qué tecnologías estamos utilizando?
Para desarrollar esta experiencia de reconocimiento de manos con MediaPipe. Combinamos varias tecnologías.
HTML5
HTML crea la estructura principal de la aplicación y contiene los elementos necesarios para trabajar con la cámara y el resultado final.
Principalmente utilizamos:
<video id="webcam" autoplay playsinline></video>
<canvas id="output_canvas"></canvas>El elemento video recibe la cámara del usuario.
El canvas es donde finalmente mostramos la experiencia procesada.
Aunque el usuario ve únicamente el resultado final, detrás de escena estamos procesando continuamente cada frame de la cámara.
JavaScript
JavaScript controla toda la aplicación.
Entre otras cosas se encarga de:
- Solicitar permiso para utilizar la cámara.
- Inicializar MediaPipe.
- Analizar cada frame.
- Obtener los puntos de las manos.
- Enviar la cámara a WebGL.
- Calcular el área formada por los dedos.
- Combinar todos los elementos en Canvas.
Esto significa que la experiencia funciona directamente dentro de una página web.
MediaPipe Tasks Vision
El elemento más importante para comprender qué están haciendo las manos es MediaPipe.
En este proyecto utilizamos MediaPipe Tasks Vision.
La importación básica se realiza de esta manera:
import {
HandLandmarker,
FilesetResolver
} from "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.14/vision_bundle.mjs";FilesetResolver
Nos permite cargar los recursos necesarios de MediaPipe.
HandLandmarker
por otra parte, es el modelo encargado de detectar las manos.
Canvas
Permite dibujar la cámara y combinar el resultado con los efectos gráficos.
WebGL
Procesa la imagen utilizando la GPU y permite crear efectos visuales mucho más avanzados.
GLSL Shaders
Son pequeños programas gráficos utilizados para modificar los píxeles de la cámara en tiempo real.
Detectando las manos con MediaPipe
En nuestro proyecto utilizamos HandLandmarker de MediaPipe Tasks Vision.
La aplicación está configurada para trabajar en modo video y detectar hasta dos manos simultáneamente.
MediaPipe no simplemente nos dice que existe una mano en pantalla.
Nos proporciona diferentes puntos, conocidos como landmarks, que representan posiciones importantes de la mano.
Esto incluye la muñeca, articulaciones y las puntas de cada dedo.
Para nuestro efecto nos interesan principalmente dos landmarks:
8 = punta del dedo índice.
4 = punta del pulgar.En el proyecto obtenemos esos puntos de ambas manos utilizando una estructura como esta:
const rawPoints = [ handA[8], handA[4], handB[8], handB[4] ];Con solamente estas cuatro coordenadas ya podemos comenzar a construir nuestro marco interactivo. En el código original, esos puntos se ordenan para evitar cruces en el polígono y posteriormente se adaptan a las dimensiones del Canvas.
Del movimiento de las manos a un marco dinámico
MediaPipe devuelve coordenadas normalizadas.
Nosotros debemos convertirlas en posiciones reales dentro de la imagen.
Además, como estamos utilizando la cámara frontal en modo espejo, necesitamos invertir el eje horizontal.
Una versión simplificada de esa conversión sería:
const polyPoints = rawPoints.map(p => ({
x: (1.0 - p.x) * canvas.width,
y: p.y * canvas.height
}));A partir de estas coordenadas podemos crear un polígono que cambia continuamente de forma y posición dependiendo de cómo el usuario mueve sus manos.
Esta parte es especialmente interesante porque el mismo principio podría utilizarse para muchas otras experiencias.
No necesariamente tenemos que mostrar un filtro.
Podríamos utilizar ese espacio para mostrar un video, una imagen, partículas, un modelo 3D o incluso una segunda escena.
Creando el efecto con WebGL
Una vez sabemos dónde está el marco, necesitamos crear el efecto visual.
Aquí entra WebGL.
Nuestro código utiliza un shader que modifica la imagen de la cámara y aplica diferentes efectos como:
- glitch;
- aberración cromática;
- contraste;
- tonalidad cian;
- scanlines animadas;
- una retícula tipo HUD.
El shader completo forma parte del proyecto disponible en Patreon, pero podemos ver un pequeño ejemplo de cómo generamos la separación de los canales de color:
float r = texture2D(
u_texture,
uv + vec2(0.003, 0.0)
).r;
float g = texture2D(
u_texture,
uv
).g;
float b = texture2D(
u_texture,
uv - vec2(0.003, 0.0)
).b;
vec3 color = vec3(r, g, b);En lugar de leer los canales rojo, verde y azul exactamente desde la misma posición, desplazamos ligeramente algunos de ellos.
Esto genera la aberración cromática que ayuda a crear el estilo tecnológico del efecto.
El shader completo también incluye líneas animadas, tintes de color y una retícula visual.
Aplicando el efecto solamente dentro del marco
Ahora tenemos la cámara original y también una versión procesada con WebGL.
Pero queremos que el efecto aparezca solamente dentro de la zona formada por las manos.
Para conseguirlo utilizamos el recorte de Canvas.
El concepto principal es:
ctx.clip(); ctx.drawImage( glCanvas, 0, 0, canvas.width, canvas.height );ctx.clip() limita el área donde podemos dibujar.
De esta forma, el efecto WebGL solamente aparece dentro del polígono generado por los dedos. El proyecto después añade también un borde de neón y puntos luminosos en las esquinas.
Mucho más que un efecto viral
Lo realmente interesante no es solamente conseguir un efecto similar a los que vemos en redes sociales.
Lo importante es comprender que MediaPipe puede convertir las manos en una interfaz.
Una vez conocemos las posiciones de los dedos podemos utilizar esa información para controlar prácticamente cualquier elemento.
Por ejemplo, podríamos crear:
Portales interactivos
El marco formado con las manos podría mostrar un escenario diferente o una segunda realidad.
Modelos 3D
Podríamos combinar MediaPipe con Three.js para mostrar y controlar objetos tridimensionales.
Experiencias educativas
Los estudiantes podrían utilizar gestos para activar contenido, animaciones o modelos 3D.
Publicidad interactiva
Una marca podría hacer que un producto aparezca cuando el usuario realiza determinado gesto.
Juegos controlados con las manos
Abrir la mano, cerrar el puño o levantar determinados dedos podría activar acciones dentro de un juego.
MediaPipe también puede complementar WebAR
Cuando hablamos de WebAR normalmente pensamos en tecnologías como MindAR, AR.js, A-Frame, Three.js o WebXR.
MediaPipe puede complementar perfectamente este ecosistema.
Mientras otras tecnologías se encargan del tracking de imágenes, marcadores, superficies o contenido 3D, MediaPipe puede ayudarnos a comprender lo que está haciendo el usuario.
Podemos combinar:
WebAR + Hand Tracking + WebGL + Three.js
y crear experiencias mucho más interactivas.
Ese es precisamente uno de los aspectos que más me interesa explorar con este tipo de proyectos.
- Toca la Realidad Aumentada: Usa tus manos en apps WebAR
- Crea app de realidad aumentada que reconoce tus manos
Proyecto completo disponible en Patreon
En este artículo hemos visto cómo funciona la idea principal y algunas de las partes más importantes del código.
Sin embargo, el proyecto completo incluye:
- Configuración completa de MediaPipe.
- Acceso y configuración de la cámara.
- Detección de las dos manos.
- Seguimiento en tiempo real.
- Shader completo.
- Efecto glitch
- Scanlines
- Aberración cromática.
- Máscara dinámica.
- Borde holográfico.
- Gestión de Canvas y WebGL.
- Código listo para probar..
El proyecto completo y todos los archivos estarán disponibles para los miembros de mi Patreon.
Puedes utilizarlo como base para crear tus propios filtros, portales, efectos con partículas, experiencias educativas, juegos o nuevas aplicaciones WebAR.
Conclusión
MediaPipe nos permite incorporar reconocimiento de manos dentro de nuestras aplicaciones web de una forma relativamente sencilla.
En este proyecto utilizamos los dedos índice y pulgar de ambas manos para crear un marco dinámico.
Después combinamos Canvas y WebGL para aplicar un efecto gráfico solamente dentro de esa zona.
El resultado recuerda a algunos de los efectos virales que vemos actualmente en redes sociales, pero en este caso estamos desarrollando nuestra propia versión utilizando tecnologías web.
Y este ejemplo es solamente el comienzo.
Una vez podemos detectar y utilizar los movimientos de las manos, podemos llevar esa información a experiencias WebAR, modelos 3D, juegos, aplicaciones educativas, publicidad interactiva y muchas otras ideas.
Todo directamente desde el navegador.