Gabriel Simonet ·
Cómo hacer un videoclip ilustrado con agentes
Este método parte de una canción y llega a un montaje compuesto por escenas ilustradas y clips animados. Sirve para trabajar con uno o varios agentes porque cada decisión tiene un nombre, una fuente y una forma de revisión. El agente puede producir variantes y preparar montajes; la dirección creativa se ejerce eligiendo imágenes, acciones y cortes concretos.
Las skills y herramientas que usamos
Una skill es una carpeta con un archivo SKILL.md que le explica a un agente cuándo y cómo hacer una tarea. Puede incluir scripts y referencias. El formato abierto de Agent Skills permite trasladar ese procedimiento entre agentes compatibles.
En este proyecto, el set fue pequeño y cada pieza tuvo una función:
| Pieza | Para qué la usamos | Dónde buscarla |
|---|---|---|
| ImageGen | Crear y corregir las imágenes de personajes y escenas con referencias adjuntas. | Herramienta de generación de imágenes integrada en nuestro entorno; comprobá qué capacidad equivalente tiene tu agente. |
| image-upscale | Probar ampliaciones conservadoras de imágenes y verificar el tamaño resultante. | Real-ESRGAN (repositorio oficial). Necesita un runtime local de Real-ESRGAN. |
| hyperframes-video | Componer y renderizar piezas HTML para redes, títulos y pruebas de video. | FFmpeg y FFprobe (herramientas públicas para montar y verificar video). Necesita Node, Python, navegador y FFmpeg. |
| AutorBot | Redactar y revisar estos artículos con criterios de claridad y precisión. | Criterios editoriales propios; podés pedir la revisión a tu agente. Es editorial; no genera imágenes ni video. |
También usamos FFmpeg y FFprobe para recortar, montar y comprobar archivos. Son programas de línea de comandos. fal y HeyGen fueron proveedores de generación de movimiento: probamos clips y elegimos resultados por plano. Si trabajás con HeyGen, su repositorio de skills incluye una guía de instalación para agentes. Esa instalación es opcional y corresponde al servicio de HeyGen; el método puede usar otro proveedor.
Una instrucción para que tu agente prepare el entorno
Podés pasarle este pedido a un agente con acceso a archivos y Git:
Revisá qué herramientas tenés disponibles para generar imágenes, ampliar su resolución y montar video. Para este método usamos generación de imágenes, Real-ESRGAN para ampliación y FFmpeg/FFprobe para montaje y verificación. Instalá solo lo que falte en mi entorno, desde sus fuentes oficiales, y explicame qué quedó listo y qué requiere configuración o acceso a un proveedor.
Las skills de la tabla describen cómo organizamos nuestro trabajo; no son requisitos para seguir este método. Podés usar herramientas equivalentes y los proyectos públicos enlazados. Los motores, dependencias y accesos a proveedores se preparan aparte.
1. Construí un inventario antes de generar
Reuní la canción, fotos de las personas, referencias de ambientes e imágenes de los instrumentos que deben reconocerse. Anotá procedencia y uso previsto. Si estudiás videos ajenos, extraé fotogramas o recortes para consulta; usalos para pensar acciones, proximidad y encuadres, y revisá derechos antes de publicar cualquier fragmento.
Asigná un ID estable a cada escena desde el comienzo. Un registro simple puede tener id, descripción, personaje, instrumento, referencia, imagen, estado y comentario. El mismo ID debe acompañar la imagen, el pedido de animación, el clip y el lugar en el montaje.
2. Definí el estilo con imágenes y reglas observables
Elegí pocas imágenes maestras que muestren el dibujo deseado. Sumá una referencia de color y separá sus roles: la imagen objetivo manda sobre identidad, pose y composición; las maestras mandan sobre trazo; la referencia cromática manda sobre el equilibrio de luz. En Tres Monedas el lenguaje es cómic pictórico de adultos, con pinceladas visibles, luces miel y sombras petróleo.
Dos funciones distintas: cómo se dibuja y cómo se equilibra el color.
Al agente dale un pedido acotado: «Editá esta imagen. Conservá persona, edad, peinado, ropa, pose y encuadre. Usá estas referencias solo para el tratamiento gráfico y el color. Cambiá únicamente el aspecto señalado». Adjuntá realmente las imágenes; escribir sus nombres en el prompt no las entrega al modelo.
3. Aprobá la imagen antes del movimiento
Revisá caras, manos, piernas, instrumentos, cables, micrófonos, muebles y texto. Verificá también continuidad entre escenas: paredes, ventanas, carteles y dirección de luz. Si una pose genera errores repetidos, simplificala. Una mano apoyada en la rodilla puede funcionar mejor que un agarre ambiguo sobre un instrumento.
Si el cuadro debe terminar en 16:9, probá primero unas pocas extensiones laterales. Pedí continuación simple de pared o paisaje y conservá el sujeto. Revisá por separado el formato de la imagen y el tamaño final del video. Una ampliación de resolución puede ayudar a la entrega, pero no arregla composición ni anatomía.
Una imagen estable permite evaluar el movimiento sin arrastrar errores del dibujo.
4. Montá una maqueta sobre la canción
Ordená imágenes fijas con el audio completo. Buscá primero el relato: presentación, cambios de foco, respiración instrumental y cierre. Una galería con tarjetas por ID permite mover escenas, asignar duración, comentar y excluir sin perder fuentes. Exportá esas decisiones a JSON o texto; el estado guardado en un navegador no debería ser la única copia.
Un esquema mínimo de decisión editorial:
{
"id": "P12",
"position": 12,
"source": "images/P12.png",
"in_seconds": 0,
"duration_frames": 120,
"fps": 24,
"action": "El músico escucha y gira apenas hacia el cantante"
}
5. Animá una muestra pequeña
Elegí unos pocos planos representativos: persona quieta, instrumento, conversación y coro. Escribí una sola acción principal para cada clip. Pedí cámara casi fija, gestos contenidos y conservación de caras, ropa, objetos y paleta. En diálogo, indicá quién habla y quién escucha con la boca cerrada. En coro, pedí la vocalización simultánea de forma explícita.
Una prueba corta permite evaluar cuánto movimiento soporta el estilo.
Compará obediencia al pedido y estabilidad cuadro a cuadro. Elegí el resultado por plano; guardá imagen de entrada, prompt, parámetros, proveedor y archivo devuelto. Si una imagen cambia después, sabrás qué clip debe regenerarse.
6. Cerrá el montaje en fotogramas
Para cada plano fijá punto de entrada y duración. A 24 fps, 120 fotogramas son cinco segundos. Construí límites absolutos en la línea de tiempo para evitar pequeñas derivas al sumar muchos recortes. Conservá selección, timeline, audio y script de montaje junto con los videos originales.
Usá FFprobe para comprobar resolución, duración y FPS. FFmpeg puede recortar, normalizar y unir las fuentes para una revisión. La exportación de revisión sirve para mirar la secuencia; conservá los originales de proveedor para color y composición final. Verificá con hashes que el paquete de fuentes contiene las copias esperadas.
7. Componé color, efectos y texto al final
Compará color por plano. Una referencia cálida puede ayudar, pero la noche debe seguir siendo noche y una cocina debe conservar sus luces propias. Aplicá los efectos sobre clips ya elegidos. Mantené letras y tiempos en archivos editables; así podés corregir una palabra sin rehacer la imagen base.
Los efectos se evalúan sobre la escena concreta y se ajustan al movimiento definitivo.
Qué entregarle al agente en cada vuelta
Una entrega útil contiene: objetivo de la vuelta, IDs afectados, referencias adjuntas, decisión anterior que debe conservarse, cambio pedido, formato de salida y criterio de aprobación. Pedí una galería o comparativa para revisar. Cuando apruebes, registrá la elección y su archivo fuente. Con ese circuito, el proyecto puede pasar entre personas y agentes sin depender de la memoria de un chat.
El método admite otros estilos y herramientas. Lo esencial es que la canción guíe el montaje, cada escena tenga identidad visual, y las decisiones puedan encontrarse y repetirse.