¿Tu personaje de manga con IA cambia en cada viñeta? Fija su cara con ficha, ControlNet, IP-Adapter y LoRA

Lo más desesperante de hacer manga con IA no es la «anatomía deforme o los brazos de más»: es que el mismo personaje parezca otra persona de una viñeta a la siguiente: el color de pelo se desvía, los ojos cambian, cambia la estructura de la cara y no logras armar una página consistente. No es que la IA esté fallando: así es como funciona. Cada generación vuelve a muestrear en el espacio latente un personaje nuevo que encaja con tu descripción, en lugar de «copiar al personaje de la vez pasada». Por eso fijar la cara exige armar una pila técnica ortogonal: un juego de anclas se encarga de la identidad del personaje (cara/rasgos) y otro de la pose/composición, fijados por separado para que no se estorben. Este artículo desglosa: una ficha de personaje como referencia, anclas de texto + pesos de etiquetas, ControlNet para la pose + IP-Adapter para la cara, un LoRA de personaje, ADetailer para corregir caras automáticamente, y además cómo controlar la contaminación entre varios personajes.

Por qué la generación de imágenes con IA nunca recuerda a tu personaje

Cuando entiendes la causa de fondo, sabes dónde poner tus anclas. Al dibujar a mano, el personaje se mantiene consistente porque quien dibuja recuerda cómo es. La IA no tiene esa memoria: cada generación es una muestra aleatoria única en el espacio latente, y aun con el mismo prompt, otra seed, otro ángulo u otra escena sacan un personaje «más o menos parecido, pero distinto».

Así que no es que «la IA tenga mala memoria»: es que no le diste suficiente restricción para copiar al personaje anterior. Y otra cosa crucial: «quién es» y «qué está haciendo» son dos cosas distintas, y se fijan con anclas distintas. Mucha gente mete las dos en un solo prompt y lo fuerza a la mala, y la cara se rompe en cuanto cambia la pose. La pila de abajo separa esos dos ejes y le pone ancla a cada uno.

La pila de consistencia de personajes para manga con IA

Ancla 1: haz primero una «ficha de personaje» y recorta una referencia limpia

El error común es saltarse el diseño del personaje y ponerse a generar viñetas de inmediato: cada viñeta se desvía. El primer paso correcto es fijar al personaje: genera (o elige) un aspecto que te guste y ponlo en una ficha de personaje con el pelo, los ojos, la ropa y los colores definidos.

Pero hay una trampa práctica: no le des a la IA como referencia una «hoja de giro / de tres vistas» entera. Meter esas filas de frente, espalda y perfil con los brazos abiertos en IP-Adapter o en i2i mezcla los rasgos de tres ángulos y produce anatomía deforme o brazos de más. En cambio, recorta de la ficha «una sola toma de frente, con fondo limpio y en alta resolución, de la cara o del busto» como fuente de referencia. Esta referencia limpia es el punto de partida de todas las anclas que siguen.

Ancla 2: anclas de texto — rasgos específicos + pesos de etiquetas + Negative

Convierte los rasgos del personaje en un prompt fijo, específico y reproducible que adjuntas cada vez. La clave es la especificidad + el peso:

  • ❌ Vago: «chica de pelo corto, linda»: libre de desviarse cada vez
  • ✅ Específico + con peso: (amber eyes:1.2), shoulder-length black hair, side ponytail, sailor collar (ojos ámbar, pelo negro a los hombros, coleta de lado, cuello marinero) + un Negative Prompt para excluir rasgos no deseados (blonde, long hair)

El peso de una etiqueta ((feature:1.2)) refuerza los rasgos clave durante el muestreo; el Negative bloquea las direcciones propensas a desviarse. Pero las anclas de texto por sí solas se desvían por más detalladas que sean: son el ancla más barata, la de la capa de abajo, así que siempre apila encima las anclas de imagen que siguen.

Ancla 3: fijar la cara vs. fijar la pose — ControlNet e IP-Adapter son cosas distintas

Este es el núcleo de la pila, y donde más se confunde la gente que empieza. «Referencia de imagen» son en realidad dos técnicas completamente distintas que fijan ejes distintos:

  • i2i (imagen a imagen): vuelve a dibujar a partir de la imagen que le das, así que amarra con fuerza la composición y la pose. Sube la intensidad de eliminación de ruido y la cara se desvía; bájala y no puedes cambiar la pose. Por eso el i2i sirve para «retocar la misma imagen», no para poner al mismo personaje en viñetas nuevas con otras poses.
  • IP-Adapter / InstantID / PuLID: inyectan el vector de cara/rasgos de la referencia y logran «fijar la cara, no la pose»: la herramienta de batalla para mantener al mismo personaje entre viñetas. Dale la cara limpia de frente que recortaste en el ancla 1.
  • ControlNet (OpenPose / Lineart / Depth): fija la pose y la composición, la acción y el plano que dibujaste en tu guion de viñetas o en tu boceto de composición.

La respuesta correcta es una combinación ortogonal: ControlNet fija la pose/composición de esta viñeta + IP-Adapter (o un LoRA) fija la cara/identidad del personaje. Uno se encarga de «qué está haciendo» y el otro de «quién es»; fija los dos ejes por separado y el mismo personaje puede adoptar cualquier pose y entrar en cualquier escena con la misma cara.

Ancla 4: entrena un LoRA propio del personaje — el ancla más fuerte, para personajes que aparecen mucho

Si un personaje aparece en cientos de viñetas (el protagonista de una serie), adjuntar IP-Adapter a mano en cada viñeta termina cansando. Aquí vale la pena usar el ancla más fuerte: entrenar un LoRA dedicado a ese personaje (lo que se conoce como entrenar u «hornear» un LoRA): lo entrenas con varias imágenes del personaje, lo adjuntas al generar y su aspecto queda «horneado» en el modelo.

Es avanzado y cuesta más (preparar imágenes de entrenamiento, gastar cómputo), pero para un protagonista que aparece todo el tiempo, entrenas una vez y cada viñeta queda estable de ahí en adelante: el menor esfuerzo a largo plazo. Los personajes secundarios y los extras no lo necesitan; con ficha de personaje + ancla de texto + IP-Adapter alcanza. Un LoRA también se apila con ControlNet para fijar cara y pose a la vez.

Ancla 5: corrección automática de caras con ADetailer / FaceDetailer — la consistencia del último tramo

Aun con las anclas apiladas, las caras pequeñas y lejanas y las composiciones complejas de vez en cuando se rompen o se desvían. Ya no hagas inpainting a mano viñeta por viñeta para el acabado: el estándar actual es ADetailer (SD WebUI) / FaceDetailer (ComfyUI Impact Pack), que detecta la cara automáticamente y la vuelve a renderizar de forma local al generar, y puedes adjuntar el LoRA del personaje durante ese nuevo renderizado para recuperar la consistencia de la cara. Intégralo a tu flujo como un paso fijo y las caras desviadas se reparan solas.

Viñetas con varios personajes: usa Regional Prompting para frenar la contaminación de rasgos

Las viñetas con varios personajes son donde un prompt sin más se rompe más seguido: los rasgos de dos personajes se mezclan (el pelo rojo de A se le pasa a B). La solución no es solo «darle a cada uno una imagen de referencia», sino dividir por regiones: Regional Prompting / Attention Couple / Latent Couple dividen el cuadro en regiones y le asignan a cada región el prompt y el IP-Adapter de su propio personaje, así que los rasgos de A solo actúan en la región de A. Ahora una viñeta compartida fija cada cara por separado, sin contaminación cruzada.

Antes / después: volver a muestrear en cada viñeta vs. fijación ortogonal

Sin pila (❌)Fijación ortogonal (✅)
Fuente de referenciahoja de giro entera, brazos de másuna sola cara limpia de frente, recortada
Textoprompt vagorasgos específicos + pesos de etiquetas + Negative
Cara/posemezcladas, se rompen al cambiar la poseControlNet para la pose + IP-Adapter para la cara
Protagonista frecuenteadjuntado a mano en cada viñetaLoRA de personaje horneado
Acabadoinpainting a mano viñeta por viñetacorrección automática de caras con ADetailer
Viñeta con varios personajeslos rasgos se mezclanRegional Prompting divide por regiones

Tres trampas comunes

  • Meter «quién es» y «qué está haciendo» en un solo prompt: la cara se rompe cuando cambia la pose. Fija la pose con ControlNet y la cara con IP-Adapter/LoRA: dos ejes separados.
  • Usar una hoja de giro entera como referencia: la IA mezcla los ángulos y sale anatomía deforme. Recorta una sola cara o busto limpio de frente como fuente de referencia.
  • Forzar la consistencia con inpainting manual después: es lento y propenso a nuevas roturas. Usa ADetailer/FaceDetailer para detectar y corregir automáticamente, e integra la corrección a tu flujo.

La solución de verdad: automatizar esta pila, sin conectar los nodos tú

Todo lo de arriba (ficha de personaje → anclas de texto → ControlNet + IP-Adapter → LoRA → ADetailer → Regional Prompting) es técnicamente posible, pero esta es la verdad: conectar tú esa cadena entera de nodos en ComfyUI, ajustar los parámetros y administrar la fuente de referencia y el LoRA de cada personaje es una barrera lo bastante alta como para que la mayoría se rinda. El techo de hacerlo a mano no es la técnica: es mantener el flujo en sí.

La generación de manga de LitMemo empaqueta esta pila de fijación de caras en algo listo para usar: define a tu personaje (ficha, rasgos, referencia) en la gestión de personajes, y al generar cada viñeta el sistema adjunta automáticamente las anclas de ese personaje y consulta las viñetas vecinas (anclaje en dos direcciones). Tú solo haces el guion de viñetas y dices «quién hace qué en esta viñeta»: la fijación de caras, el control de la contaminación entre personajes y la consistencia entre viñetas quedan resueltos, sin conectar nodos, ajustar la eliminación de ruido ni entrenar LoRAs. Convierte la «consistencia de personajes» de «mantener tú un flujo entero de ComfyUI» en «eliges un personaje y se mantiene estable».

Para cerrar

Los personajes de manga con IA se desvían no porque la IA tenga mala memoria, sino porque vuelve a muestrear en el espacio latente cada vez: necesitas una pila ortogonal que fije por separado la «cara» y la «pose».

La clave para fijar la cara: una ficha de personaje limpia como referencia, rasgos específicos + pesos de etiquetas, ControlNet para la pose + IP-Adapter para la cara, un LoRA para los protagonistas frecuentes, ADetailer para las correcciones automáticas y Regional Prompting para dividir las viñetas con varios personajes. Separa los dos ejes, apila las anclas, y el mismo personaje conserva la misma cara en cualquier pose y en cualquier escena.

Preguntas frecuentes

¿Por qué mi personaje se ve distinto en cada viñeta del manga con IA?
Porque cada generación es una muestra aleatoria única en el espacio latente, no una copia del personaje de la vez pasada. Aun con el mismo prompt, otra seed, otro ángulo u otra escena sacan otra cara. La solución es apilar anclas: una referencia de la ficha de personaje, rasgos específicos + pesos de etiquetas, IP-Adapter o LoRA para fijar la cara, y ControlNet para fijar la pose y la cara por separado.
¿Puedo mantener consistente a un personaje solo con prompts?
Casi nunca alcanza solo con prompts. Por más detalle y peso que tengan tus etiquetas, el resultado se desvía. Apila un ancla de imagen sobre el texto: para mantener al mismo personaje entre viñetas, la herramienta es IP-Adapter/InstantID (fija la cara, no la pose), no i2i (el i2i amarra la composición y rompe la cara cuando cambia la pose). Los protagonistas que aparecen mucho suman un LoRA de personaje.
¿Qué diferencia hay entre i2i, IP-Adapter, ControlNet y LoRA, y cuál fija al personaje?
El i2i vuelve a dibujar y amarra la composición: sirve para retoques, no para cambios de pose. IP-Adapter/InstantID fija la cara sin fijar la pose: es la herramienta de batalla entre viñetas. ControlNet fija la pose y la composición. Un LoRA hornea al personaje dentro del modelo: es el más fuerte. La respuesta correcta para fijar a un personaje es «ControlNet para la pose + IP-Adapter o LoRA para la cara», dos ejes separados.
¿Cómo evito que los rasgos se mezclen entre personajes en una misma viñeta?
Un prompt sin más es lo que más mezcla en las viñetas compartidas (el color de pelo de A se le pasa a B). La solución es dividir por regiones: Regional Prompting / Attention Couple / Latent Couple dividen el cuadro en regiones y le asignan a cada una el prompt y el IP-Adapter de su propio personaje, así que los rasgos solo actúan en la región de ese personaje.
Si una cara se rompe en una viñeta, ¿vuelvo a generar toda la viñeta?
No. Volver a generar es lento y provoca roturas nuevas. Usa ADetailer (SD WebUI) / FaceDetailer (ComfyUI) para detectar la cara automáticamente y volver a renderizarla de forma local, con el LoRA del personaje adjunto durante ese nuevo renderizado para devolverle la consistencia: más rápido y estable que el inpainting a mano, e integrado al acabado como un paso fijo.
No sé conectar los nodos de ControlNet/IP-Adapter/LoRA/ADetailer en ComfyUI, ¿hay una forma más sencilla?
Sí. La barrera es la pila en sí: conectar nodos, ajustar parámetros y administrar la referencia y el LoRA de cada personaje es donde la gente se rinde. Una herramienta integrada de manga con IA empaqueta la fijación de caras en algo listo para usar: defines al personaje y el sistema adjunta las anclas al generar y consulta las viñetas vecinas para mantener la consistencia; tú solo haces el guion de viñetas y dices quién hace qué en cada viñeta, sin armar el flujo por tu cuenta.