ИИ-манга: персонаж меняется в каждом кадре? ControlNet, IP-Adapter, LoRA
Больше всего в ИИ-манге бесит вовсе не «кривая анатомия и лишние пальцы», а то, что один и тот же персонаж от кадра к кадру превращается в совершенно другого человека: цвет волос плывёт, глаза меняются, меняется строение лица, и одну цельную страницу собрать не получается. Это не сбой ИИ, а принцип его работы: каждая генерация заново сэмплирует в латентном пространстве нового персонажа, подходящего под описание, а не «копирует персонажа из прошлого раза». Поэтому, чтобы закрепить лицо, нужно собрать ортогональный стек: одни якоря отвечают за идентичность персонажа (лицо и черты), другие — за позу и композицию, и закрепляются они по отдельности, не мешая друг другу. В этой записи разберём: лист персонажа как референс, текстовые якоря и веса тегов, ControlNet для позы + IP-Adapter для лица, LoRA персонажа, ADetailer для автоматической правки лиц и борьбу с перетеканием черт в кадрах с несколькими персонажами.
Почему генератор картинок никогда не помнит вашего персонажа
Поняв корень проблемы, вы будете знать, куда ставить якоря. Рисунок от руки остаётся постоянным, потому что художник помнит, как выглядит персонаж. У ИИ такой памяти нет — каждая генерация — это разовая случайная выборка в латентном пространстве, и даже с тем же промптом другой seed, ракурс или сцена вытягивают персонажа «вроде похожего, но другого».
Так что дело не в том, что «у ИИ плохая память», — вы не дали ему достаточно ограничений, чтобы повторить прежнего персонажа. И ещё один важный момент: «кто это» и «что он делает» — две разные вещи, и закрепляются они разными якорями. Многие запихивают и то и другое в один промпт и давят силой — и лицо ломается, как только меняется поза. Стек ниже разделяет эти две оси и ставит якорь на каждую.
Стек постоянства персонажа в ИИ-манге
Якорь 1. Сначала сделайте «лист персонажа» и вырежьте из него чистый референс
Типичная ошибка — пропустить дизайн персонажа и сразу генерировать кадры; тогда плывёт каждый кадр. Правильный первый шаг — закрепить персонажа: сгенерируйте (или выберите) облик, который вам нравится, и оформите лист персонажа, где зафиксированы волосы, глаза, наряд и цвета.
Но тут есть практическая ловушка: не скармливайте ИИ в качестве референса весь «разворот / лист с тремя проекциями» — если подать ряды «спереди / сзади / сбоку» с раскинутыми руками в IP-Adapter или img2img, черты трёх ракурсов смешиваются, и выходит кривая анатомия и лишние конечности. Вместо этого вырежьте из листа «один фронтальный портрет лица или по грудь в высоком разрешении на чистом фоне» и используйте его как референс. Этот чистый референс — точка отсчёта для всех следующих якорей.
Якорь 2. Текстовые якоря: конкретные черты + веса тегов + негатив
Превратите черты персонажа в фиксированный, конкретный, воспроизводимый промпт, который вы прикрепляете каждый раз. Ключ — конкретика и вес:
- ❌ Расплывчато: «девушка с короткими волосами, милая» — каждый раз полная свобода плыть
- ✅ Конкретно и с весами:
(amber eyes:1.2), shoulder-length black hair, side ponytail, sailor collar+ негативный промпт, исключающий ненужные черты (blonde, long hair)
Вес тега ((черта:1.2)) усиливает ключевые черты при сэмплировании; негатив перекрывает направления, куда персонаж склонен уплывать. Но одни текстовые якоря плывут, как их ни детализируй: это самый дешёвый, нижний слой, поэтому всегда добавляйте поверх него якоря-картинки из следующих пунктов.
Якорь 3. Закрепить лицо и закрепить позу — ControlNet и IP-Adapter делают разное
Это сердце стека и место, где новички путаются чаще всего. «Референс-картинка» — на деле две совершенно разные техники, которые закрепляют разные оси:
- img2img (картинка в картинку): перерисовывает на основе исходного изображения, поэтому жёстко привязывает композицию и позу. Поднимете силу шумоподавления (denoise) — плывёт лицо; опустите — не сможете поменять позу. Так что img2img — для «доработки той же картинки», а для того, чтобы поставить того же персонажа в новые кадры с другими позами, он не подходит.
- IP-Adapter / InstantID / PuLID: внедряют вектор лица и черт из референса и дают «закреплённое лицо при свободной позе» — это рабочая лошадка, чтобы персонаж оставался собой от кадра к кадру. Подавайте им чистое фронтальное лицо, вырезанное на шаге «Якорь 1».
- ControlNet (OpenPose / Lineart / Depth): закрепляет позу и композицию — то действие и тот план, которые вы нарисовали в раскадровке или раскладке.
Правильный ответ — ортогональная связка: ControlNet закрепляет позу и композицию этого кадра + IP-Adapter (или LoRA) закрепляет лицо и идентичность персонажа. Один отвечает за «что он делает», другой — за «кто это»; закрепите две оси по отдельности, и тот же персонаж сможет принять любую позу и войти в любую сцену с тем же лицом.
Якорь 4. Обучите отдельную LoRA персонажа — самый сильный якорь для часто появляющихся персонажей
Если персонаж появляется в сотнях кадров (главный герой серии), прикреплять IP-Adapter вручную к каждому кадру надоедает. Тут стоит пустить в ход самый сильный якорь: обучить LoRA специально под этого персонажа (в обиходе — «натренировать» или «запечь» лору): обучаете на нескольких его изображениях, подключаете при генерации — и облик «впекается» в модель.
Это продвинутый и более затратный путь (нужно подготовить обучающие картинки и потратить вычислительные мощности), но для часто появляющегося главного героя: обучили один раз — и дальше каждый кадр стабилен, в долгосрочной перспективе это меньше всего усилий. Второстепенным персонажам и массовке это не нужно — хватит листа персонажа, текстового якоря и IP-Adapter. LoRA к тому же складывается с ControlNet, закрепляя лицо и позу одновременно.
Якорь 5. Автоматическая правка лиц через ADetailer / FaceDetailer — постоянство на последней миле
Даже с полным стеком якорей мелкие лица на дальнем плане и сложные композиции иногда ломаются или уплывают. Хватит вручную инпейнтить кадр за кадром на этапе доводки — сегодняшний стандарт — ADetailer (SD WebUI) / FaceDetailer (ComfyUI Impact Pack): он автоматически находит лицо и локально перерисовывает его прямо при генерации, а на время этой перерисовки можно подключить LoRA персонажа, чтобы вернуть лицу постоянство. Встройте это в конвейер постоянным шагом — и уплывшие лица будут исправляться автоматически.
Кадры с несколькими персонажами: Regional Prompting против перетекания черт
Кадры с несколькими персонажами — место, где голый промпт ломается чаще всего: черты двух персонажей перетекают друг в друга (рыжие волосы А «протекают» на Б). Решение — не просто «дать каждому референс», а разделение на области: Regional Prompting / Attention Couple / Latent Couple делят кадр на зоны и назначают каждой свой промпт персонажа и свой IP-Adapter, так что черты А действуют только в зоне А. Теперь в общем кадре каждое лицо закреплено отдельно и без взаимного заражения.
До и после: пересэмплирование в каждом кадре против ортогонального закрепления
| Без стека (❌) | Ортогональное закрепление (✅) | |
|---|---|---|
| Источник референса | весь разворот целиком, лишние конечности | вырезано одно чистое фронтальное лицо |
| Текст | расплывчатый промпт | конкретные черты + веса тегов + негатив |
| Лицо и поза | смешаны, ломаются при смене позы | ControlNet для позы + IP-Adapter для лица |
| Часто появляющийся главный герой | прикрепляется вручную в каждом кадре | LoRA персонажа «запечена» |
| Доводка | инпейнт руками кадр за кадром | ADetailer автоматически правит лица |
| Кадр с несколькими персонажами | черты перетекают | Regional Prompting делит на зоны |
Три частые ловушки
- Запихнуть «кто это» и «что он делает» в один промпт: лицо ломается при смене позы. Позу закрепляйте через ControlNet, лицо — через IP-Adapter/LoRA: две отдельные оси.
- Брать в референс весь разворот целиком: ИИ смешивает ракурсы, и анатомия выходит кривой. Вырежьте одно чистое фронтальное лицо или портрет по грудь как источник референса.
- Добиваться постоянства ручным инпейнтом постфактум: это медленно и чревато новыми поломками. Пусть ADetailer/FaceDetailer автоматически находит и исправляет лица, а сама правка будет встроена в конвейер.
Настоящее решение: автоматизировать этот стек и не соединять ноды самостоятельно
Всё перечисленное (лист персонажа → текстовые якоря → ControlNet + IP-Adapter → LoRA → ADetailer → Regional Prompting) технически выполнимо, но правда такова: собрать всю эту цепочку нод в ComfyUI своими руками, подобрать параметры и вести референс и LoRA для каждого персонажа — настолько высокий порог, что большинство сдаётся. Потолок ручного подхода — не технология, а поддержка самого конвейера.
Генерация манги в LitMemo упаковывает этот стек закрепления лица в готовый инструмент: опишите персонажа (лист, черты, референс) в управлении персонажами, и при генерации каждого кадра система автоматически подключает якоря этого персонажа и сверяется с соседними кадрами (двусторонняя привязка). Вам остаётся нарисовать раскадровку и указать, «кто что делает в этом кадре», — закрепление лица, борьба с перетеканием черт и постоянство между кадрами уже решены, без соединения нод, подкрутки denoise и обучения LoRA. «Постоянство персонажа» из «поддерживайте целый воркфлоу в ComfyUI сами» превращается в «выберите персонажа — и он стабилен».
Итог
Персонажи в ИИ-манге плывут не потому, что у ИИ плохая память, а потому, что он каждый раз заново сэмплирует в латентном пространстве, — нужен ортогональный стек, который закрепляет «лицо» и «позу» по отдельности.
Ключ к закреплению лица: чистый лист персонажа как референс, конкретные черты + веса тегов, ControlNet для позы + IP-Adapter для лица, LoRA для частых главных героев, ADetailer для автоматической правки и Regional Prompting для разделения кадров с несколькими персонажами. Разделите две оси, сложите якоря — и тот же персонаж сохранит то же лицо в любой позе и любой сцене.
