ИИ-манга: персонаж меняется в каждом кадре? ControlNet, IP-Adapter, LoRA

Больше всего в ИИ-манге бесит вовсе не «кривая анатомия и лишние пальцы», а то, что один и тот же персонаж от кадра к кадру превращается в совершенно другого человека: цвет волос плывёт, глаза меняются, меняется строение лица, и одну цельную страницу собрать не получается. Это не сбой ИИ, а принцип его работы: каждая генерация заново сэмплирует в латентном пространстве нового персонажа, подходящего под описание, а не «копирует персонажа из прошлого раза». Поэтому, чтобы закрепить лицо, нужно собрать ортогональный стек: одни якоря отвечают за идентичность персонажа (лицо и черты), другие — за позу и композицию, и закрепляются они по отдельности, не мешая друг другу. В этой записи разберём: лист персонажа как референс, текстовые якоря и веса тегов, ControlNet для позы + IP-Adapter для лица, LoRA персонажа, ADetailer для автоматической правки лиц и борьбу с перетеканием черт в кадрах с несколькими персонажами.

Почему генератор картинок никогда не помнит вашего персонажа

Поняв корень проблемы, вы будете знать, куда ставить якоря. Рисунок от руки остаётся постоянным, потому что художник помнит, как выглядит персонаж. У ИИ такой памяти нет — каждая генерация — это разовая случайная выборка в латентном пространстве, и даже с тем же промптом другой seed, ракурс или сцена вытягивают персонажа «вроде похожего, но другого».

Так что дело не в том, что «у ИИ плохая память», — вы не дали ему достаточно ограничений, чтобы повторить прежнего персонажа. И ещё один важный момент: «кто это» и «что он делает» — две разные вещи, и закрепляются они разными якорями. Многие запихивают и то и другое в один промпт и давят силой — и лицо ломается, как только меняется поза. Стек ниже разделяет эти две оси и ставит якорь на каждую.

Стек постоянства персонажа в ИИ-манге

Якорь 1. Сначала сделайте «лист персонажа» и вырежьте из него чистый референс

Типичная ошибка — пропустить дизайн персонажа и сразу генерировать кадры; тогда плывёт каждый кадр. Правильный первый шаг — закрепить персонажа: сгенерируйте (или выберите) облик, который вам нравится, и оформите лист персонажа, где зафиксированы волосы, глаза, наряд и цвета.

Но тут есть практическая ловушка: не скармливайте ИИ в качестве референса весь «разворот / лист с тремя проекциями» — если подать ряды «спереди / сзади / сбоку» с раскинутыми руками в IP-Adapter или img2img, черты трёх ракурсов смешиваются, и выходит кривая анатомия и лишние конечности. Вместо этого вырежьте из листа «один фронтальный портрет лица или по грудь в высоком разрешении на чистом фоне» и используйте его как референс. Этот чистый референс — точка отсчёта для всех следующих якорей.

Якорь 2. Текстовые якоря: конкретные черты + веса тегов + негатив

Превратите черты персонажа в фиксированный, конкретный, воспроизводимый промпт, который вы прикрепляете каждый раз. Ключ — конкретика и вес:

  • ❌ Расплывчато: «девушка с короткими волосами, милая» — каждый раз полная свобода плыть
  • ✅ Конкретно и с весами: (amber eyes:1.2), shoulder-length black hair, side ponytail, sailor collar + негативный промпт, исключающий ненужные черты (blonde, long hair)

Вес тега ((черта:1.2)) усиливает ключевые черты при сэмплировании; негатив перекрывает направления, куда персонаж склонен уплывать. Но одни текстовые якоря плывут, как их ни детализируй: это самый дешёвый, нижний слой, поэтому всегда добавляйте поверх него якоря-картинки из следующих пунктов.

Якорь 3. Закрепить лицо и закрепить позу — ControlNet и IP-Adapter делают разное

Это сердце стека и место, где новички путаются чаще всего. «Референс-картинка» — на деле две совершенно разные техники, которые закрепляют разные оси:

  • img2img (картинка в картинку): перерисовывает на основе исходного изображения, поэтому жёстко привязывает композицию и позу. Поднимете силу шумоподавления (denoise) — плывёт лицо; опустите — не сможете поменять позу. Так что img2img — для «доработки той же картинки», а для того, чтобы поставить того же персонажа в новые кадры с другими позами, он не подходит.
  • IP-Adapter / InstantID / PuLID: внедряют вектор лица и черт из референса и дают «закреплённое лицо при свободной позе» — это рабочая лошадка, чтобы персонаж оставался собой от кадра к кадру. Подавайте им чистое фронтальное лицо, вырезанное на шаге «Якорь 1».
  • ControlNet (OpenPose / Lineart / Depth): закрепляет позу и композицию — то действие и тот план, которые вы нарисовали в раскадровке или раскладке.

Правильный ответ — ортогональная связка: ControlNet закрепляет позу и композицию этого кадра + IP-Adapter (или LoRA) закрепляет лицо и идентичность персонажа. Один отвечает за «что он делает», другой — за «кто это»; закрепите две оси по отдельности, и тот же персонаж сможет принять любую позу и войти в любую сцену с тем же лицом.

Якорь 4. Обучите отдельную LoRA персонажа — самый сильный якорь для часто появляющихся персонажей

Если персонаж появляется в сотнях кадров (главный герой серии), прикреплять IP-Adapter вручную к каждому кадру надоедает. Тут стоит пустить в ход самый сильный якорь: обучить LoRA специально под этого персонажа (в обиходе — «натренировать» или «запечь» лору): обучаете на нескольких его изображениях, подключаете при генерации — и облик «впекается» в модель.

Это продвинутый и более затратный путь (нужно подготовить обучающие картинки и потратить вычислительные мощности), но для часто появляющегося главного героя: обучили один раз — и дальше каждый кадр стабилен, в долгосрочной перспективе это меньше всего усилий. Второстепенным персонажам и массовке это не нужно — хватит листа персонажа, текстового якоря и IP-Adapter. LoRA к тому же складывается с ControlNet, закрепляя лицо и позу одновременно.

Якорь 5. Автоматическая правка лиц через ADetailer / FaceDetailer — постоянство на последней миле

Даже с полным стеком якорей мелкие лица на дальнем плане и сложные композиции иногда ломаются или уплывают. Хватит вручную инпейнтить кадр за кадром на этапе доводки — сегодняшний стандарт — ADetailer (SD WebUI) / FaceDetailer (ComfyUI Impact Pack): он автоматически находит лицо и локально перерисовывает его прямо при генерации, а на время этой перерисовки можно подключить LoRA персонажа, чтобы вернуть лицу постоянство. Встройте это в конвейер постоянным шагом — и уплывшие лица будут исправляться автоматически.

Кадры с несколькими персонажами: Regional Prompting против перетекания черт

Кадры с несколькими персонажами — место, где голый промпт ломается чаще всего: черты двух персонажей перетекают друг в друга (рыжие волосы А «протекают» на Б). Решение — не просто «дать каждому референс», а разделение на области: Regional Prompting / Attention Couple / Latent Couple делят кадр на зоны и назначают каждой свой промпт персонажа и свой IP-Adapter, так что черты А действуют только в зоне А. Теперь в общем кадре каждое лицо закреплено отдельно и без взаимного заражения.

До и после: пересэмплирование в каждом кадре против ортогонального закрепления

Без стека (❌)Ортогональное закрепление (✅)
Источник референсавесь разворот целиком, лишние конечностивырезано одно чистое фронтальное лицо
Текстрасплывчатый промптконкретные черты + веса тегов + негатив
Лицо и позасмешаны, ломаются при смене позыControlNet для позы + IP-Adapter для лица
Часто появляющийся главный геройприкрепляется вручную в каждом кадреLoRA персонажа «запечена»
Доводкаинпейнт руками кадр за кадромADetailer автоматически правит лица
Кадр с несколькими персонажамичерты перетекаютRegional Prompting делит на зоны

Три частые ловушки

  • Запихнуть «кто это» и «что он делает» в один промпт: лицо ломается при смене позы. Позу закрепляйте через ControlNet, лицо — через IP-Adapter/LoRA: две отдельные оси.
  • Брать в референс весь разворот целиком: ИИ смешивает ракурсы, и анатомия выходит кривой. Вырежьте одно чистое фронтальное лицо или портрет по грудь как источник референса.
  • Добиваться постоянства ручным инпейнтом постфактум: это медленно и чревато новыми поломками. Пусть ADetailer/FaceDetailer автоматически находит и исправляет лица, а сама правка будет встроена в конвейер.

Настоящее решение: автоматизировать этот стек и не соединять ноды самостоятельно

Всё перечисленное (лист персонажа → текстовые якоря → ControlNet + IP-Adapter → LoRA → ADetailer → Regional Prompting) технически выполнимо, но правда такова: собрать всю эту цепочку нод в ComfyUI своими руками, подобрать параметры и вести референс и LoRA для каждого персонажа — настолько высокий порог, что большинство сдаётся. Потолок ручного подхода — не технология, а поддержка самого конвейера.

Генерация манги в LitMemo упаковывает этот стек закрепления лица в готовый инструмент: опишите персонажа (лист, черты, референс) в управлении персонажами, и при генерации каждого кадра система автоматически подключает якоря этого персонажа и сверяется с соседними кадрами (двусторонняя привязка). Вам остаётся нарисовать раскадровку и указать, «кто что делает в этом кадре», — закрепление лица, борьба с перетеканием черт и постоянство между кадрами уже решены, без соединения нод, подкрутки denoise и обучения LoRA. «Постоянство персонажа» из «поддерживайте целый воркфлоу в ComfyUI сами» превращается в «выберите персонажа — и он стабилен».

Итог

Персонажи в ИИ-манге плывут не потому, что у ИИ плохая память, а потому, что он каждый раз заново сэмплирует в латентном пространстве, — нужен ортогональный стек, который закрепляет «лицо» и «позу» по отдельности.

Ключ к закреплению лица: чистый лист персонажа как референс, конкретные черты + веса тегов, ControlNet для позы + IP-Adapter для лица, LoRA для частых главных героев, ADetailer для автоматической правки и Regional Prompting для разделения кадров с несколькими персонажами. Разделите две оси, сложите якоря — и тот же персонаж сохранит то же лицо в любой позе и любой сцене.

Частые вопросы

Почему в ИИ-манге персонаж выглядит по-разному в каждом кадре?
Потому что каждая генерация — это разовая случайная выборка в латентном пространстве, а не копия персонажа из предыдущей генерации. Даже с тем же промптом другой seed, ракурс или сцена дают другое лицо. Решение — выстроить связку якорей: референс с листа персонажа, конкретные черты и веса тегов, IP-Adapter или LoRA для закрепления лица и ControlNet для отдельного закрепления позы.
Можно ли сохранить внешность персонажа одними промптами?
Одного промпта почти никогда не хватает. Как ни детализируй и ни взвешивай теги, персонаж плывёт. Добавьте поверх текста якорь-картинку: чтобы персонаж оставался собой от кадра к кадру, нужен IP-Adapter или InstantID (закрепляют лицо, но не позу), а img2img не подходит (он привязывает композицию и ломает лицо при смене позы). Для частых главных героев добавьте LoRA персонажа.
Чем отличаются img2img, IP-Adapter, ControlNet и LoRA и что из этого закрепляет персонажа?
img2img перерисовывает и привязывает композицию — хорош для доработки, плох при смене позы. IP-Adapter и InstantID закрепляют лицо, не закрепляя позу, — рабочая лошадка для серии кадров. ControlNet закрепляет позу и композицию. LoRA «запекает» персонажа в модель — самый сильный вариант. Правильный ответ на вопрос о закреплении персонажа — «ControlNet для позы + IP-Adapter или LoRA для лица», две отдельные оси.
Как остановить перетекание черт между персонажами в одном кадре?
Голый промпт сильнее всего протекает в общих кадрах (цвет волос А переходит на Б). Решение — деление на области: Regional Prompting, Attention Couple или Latent Couple делят кадр на зоны и назначают каждой свой промпт персонажа и свой IP-Adapter, так что черты действуют только в зоне своего персонажа.
Если в одном кадре сломалось лицо, генерировать весь кадр заново?
Нет. Перегенерация медленная и порождает новые поломки. Используйте ADetailer (SD WebUI) или FaceDetailer (ComfyUI), чтобы автоматически найти лицо и перерисовать его локально, подключив на время перерисовки LoRA персонажа, — так лицо возвращается к постоянному облику быстрее и надёжнее, чем при ручном инпейнте, а правка становится постоянным шагом доводки.
Не получается соединить ноды ControlNet, IP-Adapter, LoRA и ADetailer в ComfyUI — есть способ попроще?
Да. Порог — сам стек: соединение нод, подбор параметров и ведение референсов и LoRA для каждого персонажа — именно на этом люди сдаются. Цельный инструмент для ИИ-манги упаковывает закрепление лица в готовое решение: вы описываете персонажа, а система при генерации подключает якоря и сверяется с соседними кадрами ради постоянства; вам остаётся нарисовать раскадровку и сказать, кто что делает в этом кадре, не собирая воркфлоу самостоятельно.