Crear un modelo 3D desde cero normalmente requiere trabajar con herramientas de modelado, geometría, materiales y texturas.
Pero la inteligencia artificial está cambiando rápidamente este proceso.
Actualmente podemos partir de una simple descripción o una imagen y utilizar herramientas de inteligencia artificial para generar un modelo 3D en pocos minutos.
Una de estas herramientas es Meshy, una plataforma especializada en generación de contenido 3D mediante IA que permite crear modelos a partir de texto, imágenes y otros flujos asistidos por inteligencia artificial.
Esto resulta especialmente interesante para quienes desarrollamos aplicaciones de realidad aumentada WebAR, porque podemos acelerar considerablemente la creación de los objetos 3D que posteriormente aparecerán dentro de nuestras experiencias.
Sin embargo, existe algo muy importante que debemos tener en cuenta:
Que una inteligencia artificial pueda crear un modelo 3D no significa automáticamente que ese modelo esté optimizado para realidad aumentada.
¿Interesado en aprender realidad aumentada? Te recomiendo estos cursos de realidad aumentada Academia WebAR con MindAR | Cursos de Realidad Aumentada Web
WebAR Studio PRO para crear experiencias de realidad aumentada facilmente en cuestion de minutos sin necesidad de codigo: Plataforma WebAR sin Código | Crea Campañas de Realidad Aumentada con QR
En este tutorial vamos a realizar el proceso completo:
Imagen → Meshy → Modelo 3D → Optimización → GLB → Realidad aumentada WebAR
El objetivo no será simplemente generar un modelo.
Vamos a prepararlo para utilizarlo dentro de una experiencia real de realidad aumentada desde el navegador.
¿Qué es Meshy?
Meshy es una plataforma de creación 3D basada en inteligencia artificial.
Permite generar objetos tridimensionales utilizando diferentes métodos, entre ellos:
- Texto a modelo 3D.
- Imagen a modelo 3D.
- Múltiples imágenes a modelo 3D.
- Generación y edición de texturas.
- Remallado y reducción de geometría.
- Animación de determinados modelos.
Además, puede exportar modelos en formatos utilizados habitualmente dentro de diferentes flujos 3D, incluyendo GLB, FBX, OBJ, STL, USDZ y 3MF.
Para nuestro caso hay un formato especialmente interesante:
Modelos 3D en formato GLB.
Más adelante veremos por qué.
¿Qué vamos a crear en este tutorial?
Para que este artículo no se quede solamente en teoría, vamos a seguir un flujo práctico.
Vamos a partir de una imagen de un objeto.
Esa imagen será convertida en un modelo tridimensional utilizando Meshy Image to 3D.
Después revisaremos el modelo, reduciremos su complejidad si es necesario, lo exportaremos como GLB y finalmente podremos utilizarlo dentro de una experiencia WebAR.
Nuestro flujo será:
- Crear o conseguir una imagen.
- Convertir la imagen en 3D con Meshy.
- Revisar el modelo.
- Reducir polígonos si es necesario.
- Exportar como GLB.
- Optimizar para WebAR.
- Mostrar el modelo en realidad aumentada utilizando nuestro plugin para crear realidad aumentada en WordPress.
Esta última parte es precisamente la que diferencia este tutorial de simplemente aprender a utilizar un generador de modelos 3D.
Crear una imagen para convertirla en modelo 3D
Meshy permite generar directamente modelos desde una descripción escrita, pero para este ejemplo vamos a utilizar Image to 3D.
Recuerda que puedes utilizar cualquier inteligencia artificial para generar la imagen que tu quieras.
Personalmente me gusta este flujo cuando queremos tener mayor control sobre la apariencia inicial del objeto.
Primero conseguimos exactamente el diseño que queremos como imagen y después utilizamos esa imagen como referencia para la generación tridimensional.
Por ejemplo, podríamos comenzar con un modelo de una mujer.
Una imagen adecuada podría mostrar:
- El objeto completo o hasta donde quieras realizar el modelo.
- Buena iluminación.
- Fondo Limpio.
- Formas claramente definidas.
- Pocos elementos superpuestos.
- Una vista donde pueda entenderse correctamente su volumen.
Si estamos generando la imagen mediante inteligencia artificial, podemos utilizar un prompt similar a este:
Un retrato digital de estilo pictórico, óleo sobre lienzo, de una hermosa mujer joven con ojos azules y largo cabello rubio ondulado. Tiene mejillas sonrosadas y una sonrisa suave. Está sentada, con las manos entrelazadas en su regazo. Viste un delicado vestido de encaje vintage de color crema con cuello alto e intrincados bordados, y un collar de perlas de una sola hilera. El fondo es de un blanco puro y sólido, proporcionando un retrato limpio y aislado. La textura de las pinceladas de pintura es visible en toda la imagen. Iluminación de estudio.
Este fue el resultado:
También podemos utilizar una fotografía, ilustración, concept art u otra referencia visual que tengamos disponible.
Cómo convertir una imagen en modelo 3D usando Meshy
Una vez tengamos preparada nuestra imagen podemos entrar en Meshy y utilizar la función Image to 3D.
El procedimiento general es muy sencillo:
- Entramos en Meshy. https://www.meshy.ai/
- Seleccionamos la herramienta de generación 3D mediante imagen.
- Cargamos nuestra imagen.
- Configuramos las opciones disponibles.
- Iniciamos la generación.
- Esperamos a que Meshy cree la geometría.
Meshy utiliza la imagen proporcionada como referencia para reconstruir una representación tridimensional del objeto. Su plataforma también dispone de flujos con múltiples imágenes cuando necesitamos proporcionar información desde diferentes ángulos.
Cuando termine el procesamiento tendremos nuestro primer modelo 3D.
Pero todavía no debemos descargarlo inmediatamente.
Primero debemos revisarlo.
Este fue el resultado de meshy:
Revisar el modelo 3D generado por inteligencia artificial
Este paso es muy importante.
Cuando vemos el resultado desde el frente puede parecer perfecto.
Pero recuerda que estamos trabajando con un objeto tridimensional.
Debemos girarlo completamente y observar:
- Frente.
- Laterales.
- Parte posterior.
- Parte superior.
- Parte inferior.
- Geometría.
- Proporciones.
- Texturas.
Meshy recomienda precisamente inspeccionar el modelo rotándolo en su visor antes de continuar con los siguientes procesos.
¿Por qué?
Porque cuando trabajamos a partir de una sola imagen, la inteligencia artificial tiene información limitada sobre aquellas partes del objeto que no puede observar.
Si en nuestra imagen solamente aparece la parte frontal de la mujer, la IA tendrá que interpretar cómo debería ser su espalda.
Puede hacer un excelente trabajo.
Pero también puede inventar elementos o generar geometrías que necesitan correcciones.
Aunque meshy permite agregar 4 fotografías (Frente, atrás, lateral derecho e izquierdo) para limitar los errores que se puedan presentar.
Agregar texturas al modelo 3D
Una vez que estemos satisfechos con la geometría podemos continuar con las texturas.
Dependiendo del flujo utilizado en Meshy, la plataforma permite generar y aplicar texturas al modelo después de crear la geometría.
La propia guía de Image to 3D recomienda revisar primero la malla y realizar procesos como Remesh antes del texturizado cuando necesitamos modificar la cantidad de polígonos.
Esto es importante para nuestro caso.
Porque estamos creando contenido para WebAR.
Y antes de aumentar la calidad visual debemos preguntarnos:
cuánta geometría necesitamos realmente?
El error de pensar que más polígonos siempre significa mejor modelo
Meshy genero el modelo con:
Topologia Triangular.
Caras: 3.144.588
Vertices: 2.007.671Se ve excelente. Pero su peso es de 138MB.
Lo ideal para realidad aumentada WebAR es que tus modelos pesen en KB.
Descargar el modelo creado con Meshy como GLB
Cuando estemos satisfechos con nuestro modelo podremos exportarlo.
Para experiencias de realidad aumentada desarrolladas mediante tecnologías web, uno de los formatos que recomiendo es: GLB
Meshy actualmente permite exportar modelos directamente en GLB, además de otros formatos 3D.
GLB resulta especialmente cómodo porque puede agrupar dentro de un mismo archivo:
- Geometría.
- Materiales.
- Texturas.
- Información del modelo.
- Animaciones cuando existen.
Además, podemos utilizarlo directamente dentro de tecnologías como:
- Three.js.
- A-Frame.
- model-viewer.
- Diferentes herramientas para crear realidad aumentada WebAR.
¿El archivo GLB de Meshy ya está listo para WebAR?
La respuesta correcta sería:
Depende.
El modelo puede estar perfectamente preparado.
O quizá todavía sea demasiado pesado para nuestra experiencia.
Por eso debemos revisar:
- tamaño del archivo;
- cantidad de polígonos;
- resolución de texturas;
- cantidad de materiales;
- tiempo de descarga;
- rendimiento;
- memoria utilizada;
- comportamiento desde un teléfono.
Este punto es especialmente importante.
No debemos evaluar el modelo únicamente desde un computador potente.
Una experiencia WebAR normalmente será utilizada desde un teléfono.
Por eso:
La prueba real debe hacerse desde un dispositivo móvil.
Optimizar el modelo 3D antes de utilizarlo en WebAR
Una vez descargamos el GLB podemos realizar una optimización adicional si el modelo todavía resulta demasiado pesado.
Aquí entramos en un proceso específicamente pensado para distribución mediante Internet.
Nuestro objetivo será reducir:
Peso del archivo.
sin reducir significativamente:
Calidad visual.
Puedes utilizar una herramienta de optimización de modelos 3D para analizar y reducir el archivo antes de utilizarlo en una experiencia WebAR.
Comprime el modelo utilizando nuestra herramienta para comprimir modelos 3D en formato glb: AR Optimizer Pro: Comprime modelos GLB con Meshopt y WebP para aplicaciones de realidad aumentada
No reduzcas los polígonos de manera extrema
Optimizar no significa destruir el modelo.
Si nuestro modelo tiene por ejemplo 300.000 polígonos, no necesariamente debemos reducirlo inmediatamente a 5.000.
Puedes descargar el modelo comprimido y volverlo a subir a la herramienta para reducir más su peso.
Busca el equilibrio entre peso y calidad, el punto perfecto es cuando no puedas distinguir visualmente la diferencia desde nuestro teléfono.
En aplicaciones WebAR el navegador debe trabajar simultáneamente con:
- Cámara.
- Tracking.
- Renderizado WebGL.
- Modelo 3D.
- Texturas.
- Iluminación.
- Animaciones
- Interfaz.
- JavaScript.
Nuestro objetivo no debería ser utilizar el modelo más pesado posible.
Nuestro objetivo debería ser:
obtener la mejor apariencia utilizando la menor cantidad razonable de recursos.
Cómo reducir polígonos utilizando Meshy
Meshy dispone de herramientas de Remesh que permiten reducir la complejidad de una malla.
Podemos especificar un número objetivo de polígonos y obtener una geometría simplificada. Su documentación actual contempla tanto topología triangular como opciones dominadas por cuadriláteros en determinados flujos, además de diferentes niveles de decimación.
Las texturas también afectan el rendimiento
Existe otro error común:
Pensar que solamente debemos preocuparnos por los polígonos.
También debemos revisar las texturas.
Un modelo relativamente sencillo puede terminar siendo muy pesado si utiliza varias texturas de alta resolución.
En nuestro caso utilizamos para el modelo una textura en 8k. Meshy permite resoluciones de textura de 2k, 4k y 8k.
Así que todo depende del proyecto en el cual este trabajando.
Por eso debemos analizar conjuntamente:
geometría + texturas + materiales + peso final del archivo.¿Cómo crear un marcador para realidad aumentada WebAR?
Cuando ya tenemos nuestro modelo 3D listo pasamos a crear nuestro archivo .mind
Para crear un marcador para las aplicaciones de realidad aumentada utilizando MindAR utilizamos Compilador MindAR Online | Crea Marcadores .mind para WebAR
Resultado y visualización de la aplicación de realidad aumentada
La imagen utilizada como marcador para esta experiencia de realidad aumentada:
Errores comunes al crear modelos 3D con IA para realidad aumentada
Antes de terminar quiero mencionar algunos errores que debemos evitar.
Utilizar el primer modelo generado
La primera generación no siempre será la mejor.
Podemos probar diferentes imágenes, parámetros o nuevas generaciones.
No revisar la parte posterior
Un modelo puede verse excelente de frente y tener problemas detrás.
Siempre debemos rotarlo completamente.
Utilizar demasiados polígonos
Si no existe una diferencia visual apreciable, no necesitamos enviar cientos de miles de polígonos adicionales al teléfono del usuario.
Utilizar texturas innecesariamente grandes
Una textura 4K no siempre será mejor para una experiencia WebAR móvil.
Publicar sin probar desde un teléfono
Este probablemente es uno de los errores más importantes.
Nuestro computador puede cargar perfectamente un modelo que posteriormente presenta problemas desde un dispositivo móvil.
Pensar que IA significa automáticamente optimización
Son dos procesos diferentes.
Generación 3D mediante IA y optimización para WebAR.
¿Vale la pena utilizar Meshy para crear modelos para realidad aumentada WebAR?
Para prototipos, pruebas, objetos conceptuales y determinados proyectos, herramientas como Meshy pueden acelerar enormemente la creación de contenido.
Meshy automatiza una parte del proceso que tradicionalmente podía requerir bastante tiempo: transformar una idea o una imagen en geometría tridimensional.
Pero nuestro trabajo no termina allí.
Cuando el destino es WebAR debemos pensar también en:
Rendimiento.
Eso significa revisar y optimizar el modelo antes de publicarlo.
La combinación puede ser muy potente:
IA para acelerar la creación + optimización para mejorar el rendimiento + WebAR para distribuir la experiencia.Conclusión
Crear modelos 3D ya no significa necesariamente comenzar desde cero dentro de un programa tradicional de modelado.
Herramientas de inteligencia artificial como Meshy nos permiten comenzar con algo tan sencillo como una descripción o una imagen y convertirlo rápidamente en un objeto tridimensional.
Para realidad aumentada esto representa una oportunidad enorme.
Podemos pasar de:
Una idea a un modelo 3D.
y posteriormente llevar ese modelo directamente a una experiencia WebAR.
Pero debemos recordar que generar y publicar son dos etapas diferentes.
Antes de utilizar nuestro modelo debemos revisar:
- geometría;
- polígonos;
- texturas;
- materiales;
- Peso.
- rendimiento móvil.
Por eso, el flujo que recomiendo para realidad aumentada es:
Imagen → Meshy → Modelo 3D → Optimización → GLB → WebAR
La inteligencia artificial puede acelerar considerablemente la creación del contenido.
La optimización nos permite hacerlo viable para dispositivos móviles.
Y WebAR permite finalmente distribuir esa experiencia directamente desde Internet sin depender necesariamente de una aplicación instalada.
Esta combinación entre inteligencia artificial, modelos 3D y realidad aumentada WebAR puede convertirse en una de las formas más accesibles de crear contenido inmersivo durante los próximos años.