같은 AI 캐릭터가 만화 패널마다 얼굴, 옷, 헤어스타일이 달라지는 이유

2026-08-13

AI로 생성한 빨간 머리 캐릭터를 세 번 렌더링했을 때 패널마다 얼굴형, 헤어스타일, 재킷 디테일이 미세하게 달라지는 모습을 보여주는 비교 스트립

패널 사이 정체성 드리프트의 진짜 원인은 무엇인가 — 프롬프트 문구인가, 모델 아키텍처인가?

AI 만화의 캐릭터 드리프트는 프롬프트 실수가 아니라 아키텍처의 한계입니다. 텍스트-이미지 모델은 이전 결과를 기억하지 못한 채 각 패널을 독립적인 샘플링 이벤트로 생성합니다. 따라서 ‘트렌치코트를 입은 빨간 머리 탐정’ 같은 설명은 매번 동일한 인물이 아니라 통계적으로 그럴듯한 다른 인물로 해석됩니다. 가장 신뢰도 높은 해결책은 텍스트가 아닌 참조 이미지와 에셋 시스템을 통해 정체성을 전달하는 것입니다. ComicInk, LTX Studio, Figma Weave, 그리고 Jenova의 Comic Creator는 서로 다른 방식으로 모두 이 원칙에 수렴합니다.

드리프트에 강한 워크플로와 취약한 워크플로를 가르는 요소는 다음과 같습니다.

✅ 참조 기반 생성 — 정체성을 매 패널 텍스트로 다시 설명하지 않고 이미지 에셋으로 유지합니다.
✅ 속성 분리 — 얼굴, 머리카락, 의상, 배경을 각각 독립적으로 고정하여 장면이 바뀌어도 캐릭터가 뒤섞이지 않게 합니다.
✅ 전경/배경 분리 — 얼굴이 유지되어도 배경 세부 요소는 달라진다는 연구 결과가 있습니다(CharaConsist, ICCV 2025).
✅ 어휘 규율 — ‘갈색 트렌치코트’는 항상 ‘갈색 트렌치코트’여야 하며, 이후에 ‘코트’나 ‘재킷’으로 바꾸면 안 됩니다.
✅ 동작 허용 범위 — 캐릭터의 포즈나 행동 변화가 커지면 일관성 유지 기법의 성능은 급격히 떨어집니다.

도구나 워크플로를 정직하게 평가하려면 먼저 ‘캐릭터가 달라 보인다’라는 하나의 증상 뒤에 숨어 있는 네 가지 서로 다른 실패 메커니즘을 이해해야 합니다.

캐릭터 드리프트를 일으키는 네 가지 기술적 원인은 무엇인가?

드리프트에는 네 가지로 분리할 수 있는 원인이 있으며, 각각 다른 해결책이 필요합니다. 이를 하나의 문제로 취급하는 것이 많은 제작자가 끝내 효과를 보지 못할 프롬프트 수정만 반복하는 이유입니다.

1. 메모리 메커니즘의 부재. 각 생성은 독립적인 이벤트입니다. LTX Studio의 기술 분석은 이를 명확히 설명합니다. 모델은 ‘이전에 생성한 캐릭터 특성’을 ‘기억’할 수 없으므로, 모든 렌더링은 텍스트 설명에서 다시 시작됩니다. 프롬프트는 명세서가 아니라 확률 분포입니다. ‘녹색 눈, 30대 중반’은 수백만 개의 유효한 얼굴을 설명합니다.

2. 스타일과 정체성의 얽힘. 모델은 캐릭터가 누구인지와 이미지가 어떤 모습인지를 분리하기 어려워합니다. 패널 간 아트 디렉션을 바꾸면, 예를 들어 극적인 조명이나 더 넓은 샷을 사용하면, 모델이 이들을 독립 변수로 학습하지 않았기 때문에 얼굴 기하 구조도 함께 바뀝니다.

3. 원근과 3D 추론의 공백. 같은 인물을 새 각도에서 렌더링하려면 모델이 갖추지 못한 암묵적 3D 이해가 필요합니다. 측면과 후면 뷰에서 드리프트가 가장 심한 이유이며, LTX가 후속 활용의 유연성을 위해 정면 참조 이미지를 특별히 권장하는 이유이기도 합니다.

4. 어텐션 분산. 모델은 캐릭터, 의상, 배경, 스타일에 한정된 어텐션을 동시에 배분합니다. 서사적 복잡성이 늘어나면 캐릭터 디테일은 경쟁에서 밀려납니다.

🎯 의상이 얼굴보다 더 많이 달라지는 이유

의상은 가장 덜 논의되는 실패 유형입니다. ICCV 2025 CharaConsist 논문은 IP-Adapter와 PhotoMaker를 포함한 정체성 참조 기법이 ‘얼굴 정체성 유지에만 집중하며 의상이나 장면 같은 다른 속성의 일관성은 보장할 수 없다’고 지적합니다. 얼굴 고정 도구는 얼굴을 안정적으로 유지하면서도 재킷 색상이 바뀌고, 칼라 스타일이 달라지며, 액세서리가 사라지게 할 수 있습니다. 그 시스템은 애초에 이러한 요소를 보존하도록 학습되지 않았기 때문입니다.

현재 기법으로 실제 어느 정도의 일관성을 달성할 수 있는가?

측정된 일관성은 분명 존재하지만 부분적입니다. 어떤 기법도 정체성을 완전히 고정하지 못하며, 수치는 각 접근법이 정확히 어디에서 무너지는지 보여 줍니다. CharaConsist 연구팀은 전경(CLIP-I-fg) 및 배경(CLIP-I-bg) 구성 요소로 나눈 CLIP 이미지 유사도와 얼굴 임베딩 유사도(ID Sim)를 사용해 네 가지 주요 접근법을 벤치마크했습니다.

이들이 보고한 결과에 따르면, 배경 유지 과제에서 CharaConsist는 CLIP-I-fg 0.883, CLIP-I-bg 0.916을 기록했으며, ConsiStory는 각각 0.876과 0.895였습니다. 특히 대부분의 기법이 사실상 완전히 무시하는 배경 일관성에서 격차가 더 커집니다.

같은 논문에 보고된 인간 선호도 연구에서 평가자들은 의상 일관성에서 64%, **배경 일관성에서 98%**의 비율로 기준선 기법보다 CharaConsist를 선택했습니다. 반면 텍스트 정렬 선호도는 57%에 그쳤습니다. 이는 정체성 고정과 프롬프트 준수 사이에 측정 가능한 상충 관계가 있음을 보여 줍니다.

이 상충 관계는 이 분야 전체의 핵심 긴장입니다. 모든 일관성 메커니즘은 생성기를 제약하며, 제약은 프롬프트 반응성을 희생시킵니다. 논문의 절제 연구에서도 CharaConsist를 적용한 FLUX.1은 수정하지 않은 기본 모델보다 CLIP-T, 즉 텍스트 정렬 점수가 더 낮게 나타났습니다.

📊 동작 문제

일관성 유지 기법은 움직임이 커지면 성능이 저하됩니다. CharaConsist 저자들은 이를 직접 지적합니다. ‘전경 캐릭터가 큰 동작 변화를 겪을 때 정체성과 의상 디테일의 불일치가 뚜렷해진다.’ 달리기, 싸움, 제스처, 반응으로 구성된 만화에서는 이것이 가장 어려운 제약입니다. 대화 중심 패널은 액션 패널보다 훨씬 잘 유지되며, 정적인 인물화만 시험하는 도구 비교는 실제 성능을 과장합니다.

어떤 접근법을 사용할 수 있으며, 어떻게 비교되는가?

서로 다른 아키텍처 접근법은 네 가지가 존재하며, 설정 비용, 일관성 강도, 창작 유연성이라는 동일한 세 축에서 트레이드오프를 가집니다.

항목	범용 생성기 (Midjourney, DALL·E)	ComfyUI + IP-Adapter/ControlNet	참조 에셋 플랫폼 (LTX, Figma Weave, ComicInk)	Jenova Comic Creator
일관성 메커니즘	시드 재사용 + 프롬프트 반복	학습된 어댑터, LoRA, 얼굴 임베딩	생성마다 재사용되는 저장 캐릭터 에셋	지속형 대화 메모리 + 저장된 캐릭터 정의
얼굴 일관성	약함 — 사용자가 가장 큰 실패로 보고	강함 — IP-Adapter FaceID는 정체성에 최적화됨	강함 — 에셋 기반	정의된 캐릭터에는 강함, 선택한 모델에 따라 달라짐
의상 일관성	약함	약함 — 정체성 참조 기법의 문서화된 공백	의상 변형으로 처리(LTX의 복제 후 수정 방식)	세션 메모리 속 명시적 캐릭터 시트를 통해 유지
설정 비용	최소	높음 — 워크플로 구축, 모델 가중치, GPU 필요	보통 — 먼저 캐릭터 라이브러리 구축	낮음 — 대화형 설정, 기술 구성 불필요
포즈/액션 유연성	높지만 일관되지 않음	보통 — ControlNet이 포즈 제어 제공	보통 — 정면 참조 편향이 각도를 제한	보통 — 극단적 액션에서 드리프트 증가
로컬 하드웨어	없음	오프로딩 모드에 따라 3–37 GB VRAM	없음	없음
가격	Midjourney/DALL·E 구독 티어	무료 소프트웨어, 하드웨어 및 전기 비용	Figma Weave 무료 티어 + 유료 플랜, ComicInk 무료 4페이지 체험	무료 티어, 무료 사용량의 30배를 제공하는 Plus 월 $20
적합한 용도	인상적인 단일 이미지, 콘셉트 아트	최대 제어가 필요한 기술 사용자	반복 등장 캐스트를 표준화하는 팀	대화형으로 여러 패널의 서사를 작성하는 스토리 우선 제작자

범용 생성기

Midjourney와 DALL·E는 이미지 한 장당 가장 높은 미적 품질을 제공하지만 패널 간 일관성은 가장 낮습니다. 제작자 포럼에서도 같은 패턴이 지속적으로 보고됩니다. 사용자는 ‘전체에 걸쳐 같은, 혹은 비슷한 캐릭터조차 유지할 수 없는 문제’를 호소합니다. OpenAI 개발자 커뮤니티에는 ‘요청 간 얼굴 특징, 체형, 피부 톤, 의상, 포즈’를 보존해 달라고 명시적으로 요구하는 캐릭터 일관성과 스타일 고정 요청 스레드가 있습니다. 시드 재사용과 단일 원본 이미지 기반 참조는 도움이 됩니다. Midjourney 사용자들은 하나의 원본 이미지와 고정 시드를 유지할 때 의상 안정성이 더 좋아진다고 보고합니다. 하지만 어느 접근법도 정체성을 보장하지는 않습니다.

ComfyUI 어댑터 스택

가장 높은 기술적 한계치와 가장 가파른 학습 곡선을 가진 방식입니다. IP-Adapter는 외형과 스타일을 보존하고 ControlNet은 구조를 제어합니다. 실무자들은 둘 중 하나만으로는 충분하지 않기 때문에 두 도구를 결합합니다. CharaConsist 저장소는 하드웨어 현실도 명확히 문서화합니다. 단일 GPU 운영에는 37 GB VRAM이 필요하며, 순차적 CPU 오프로딩을 쓰면 3 GB까지 낮출 수 있지만 속도는 크게 희생됩니다. 이 경로는 하드웨어 조건만으로도 대부분의 만화 제작자에게 접근하기 어렵습니다.

참조 에셋 플랫폼

실용적인 중간 지점입니다. LTX Studio의 Elements 시스템은 캐릭터를 영구적이고 태그 가능한 에셋으로 저장하며 @ 멘션으로 호출합니다. Figma Weave는 ‘일관성은 우연이 아니라 구조’라는 노드 기반 접근법을 취합니다. ComicInk는 먼저 캐릭터 참조 이미지를 생성한 뒤 모든 페이지 렌더링에 이를 연결합니다. 세 플랫폼 모두 동일한 아키텍처적 선택을 합니다. 캐릭터를 설명하는 것을 멈추고, 캐릭터를 참조하라.

실제 만화 제작에서 드리프트를 막으려면 어떻게 해야 하는가?

가장 큰 효과를 내는 단 하나의 변화는 패널을 생성하기 전에 캐릭터를 설명이 아니라 에셋으로 바꾸는 것입니다. 나머지는 모두 정교화 과정입니다.

범용 사전 제작 단계:

먼저 캐릭터 시트를 만드세요. 첫 번째 패널이 존재하기 전에 하나의 기준 렌더링에서 얼굴, 머리카락, 체격, 의상, 팔레트를 고정합니다.
어휘를 고정하세요. LTX의 가이드는 명확합니다. ‘갈색 트렌치코트’는 이후 설명에서도 ‘코트’나 ‘재킷’이 아니라 항상 ‘갈색 트렌치코트’여야 합니다. 동의어 드리프트는 시각적 드리프트를 유발합니다.
정면, 중립 조명 참조 이미지를 사용하세요. 방향성 그림자와 측면 각도는 참조 이미지에 고착되어 이후 장면과 충돌합니다.
의상을 다시 설명하지 말고 의상 변형을 의도적으로 만드세요. LTX는 캐릭터를 복제한 뒤 의상 필드만 편집하는 방식으로 처리하며, @Sarah_casual과 @Sarah_formal 사이에서도 얼굴 정체성을 보존합니다.

Jenova의 Comic Creator에서는 세션의 지속형 메모리가 참조 고정 역할을 합니다. 대화 중 캐릭터를 한 번 설정하면 에이전트가 그 정의를 계속 유지합니다.

“Mara Voss의 캐릭터 시트를 만들어줘. 34세, 날카로운 턱선, 짧게 자른 은빛 머리, 왼쪽 소맷부리가 찢어진 빛바랜 올리브색 필드 재킷, 짙은 회색 카고 팬츠. 무표정, 정면 뷰, 부드럽고 균일한 스튜디오 조명, 평평한 중성 배경. 서양 코믹 잉크 스타일.”

그다음 패널마다 다시 설명하는 대신 참조합니다.

“패널 3: Mara Voss — 동일한 캐릭터 시트, 왼쪽 소맷부리가 찢어진 동일한 올리브색 필드 재킷 — 뒤집힌 자동차 뒤에 웅크리고 왼쪽을 바라본다. 얼굴, 머리카락, 의상은 시트와 완전히 동일하게 유지해줘.”

LTX Studio에서는 다음과 같은 흐름입니다. Elements 열기 → Create New Element → Character → 참조 이미지 5–12장을 업로드하거나 하나 생성 → 이름 지정 → 모든 샷 프롬프트에서 @CharacterName 태그 사용. 저장된 Element를 수정하면 태그된 모든 등장 장면에 자동으로 반영됩니다.

ComfyUI에서는 그래프를 구축합니다. 정체성을 위해 IP-Adapter FaceID 노드를 로드하고, 포즈 구조를 위해 ControlNet을 연결한 뒤, 캐릭터에 대해 LoRA를 학습하거나 모든 렌더링에서 고정 참조 이미지를 정체성 소스로 사용합니다.

⚠️ 효과가 없는 방법

프롬프트에 ‘일관된 캐릭터’나 ‘이전과 같은 사람’을 추가해도 아무 효과가 없습니다. 모델에게는 ‘이전’이 존재하지 않기 때문입니다. 커뮤니티 문서는 이 실패를 직설적으로 설명합니다. 대부분의 사람은 AI에 원하는 것이 무엇인지만 말할 뿐, 시스템이 고정할 수 있는 참조 자료를 제공하지 않습니다. 텍스트만으로는 누락된 메모리 메커니즘을 보완할 수 없습니다.

캐릭터가 유지되어도 배경은 왜 달라지는가?

배경이 달라지는 이유는 거의 모든 일관성 기법이 전경 피사체에만 최적화되어 있고, 환경은 매 패널마다 자유롭게 재생성되기 때문입니다. CharaConsist 저자들은 이를 기존 연구의 핵심 공백으로 지적합니다. 기존의 학습 없는 기법은 ‘일관된 배경 세부 사항을 유지하지 못하며, 이는 적용 가능성을 제한한다’는 것입니다.

측정된 비용도 상당합니다. 인간 선호도 연구에서 배경 일관성은 모든 차원 중 가장 큰 격차를 보였습니다. 이를 명시적으로 처리하는 기법에 대한 선호는 98%였고, 두 기준선 기법은 각각 2%와 0%였습니다. 이는 미미한 개선이 아니라, 기준선 기법이 사실상 배경 보존을 시도하지 않는다는 뜻입니다.

이는 단일 일러스트보다 만화에서 훨씬 중요합니다. 한 주방에서 이뤄지는 두 페이지 분량의 대화에서는 그 주방이 계속 같은 주방이어야 합니다. 패널 사이에 캐비닛 색상이 바뀌면, 독자는 이유를 명확히 설명하지 못하더라도 장면이 단절되었다고 느낍니다.

CharaConsist의 기술적 해결책은 어텐션 차이에서 파생한 전경-배경 마스크입니다. 이를 통해 ‘전경과 배경 일관성을 분리하여 제어’할 수 있습니다. 연속된 시퀀스에서는 장면을 고정하거나, 장소 전환 시에는 의도적으로 해제할 수 있습니다. 대부분의 소비자용 도구는 이 제어 기능을 제공하지 않으므로, 실용적인 대안은 배경을 별도로 생성하고 시퀀스 전반에 걸쳐 이미지 참조로 재사용하는 것입니다.

AI 만화 제작을 위해 여러 포즈와 표정에서 일관된 영웅 및 악당 디자인을 보여주는 일러스트 캐릭터 디자인 시트

캐릭터를 고정하면 어떤 트레이드오프를 예상해야 하는가?

일관성을 얻을 때마다 무언가를 포기해야 하며, 가장 흔한 비용은 프롬프트 반응성과 장면 다양성입니다. 이를 이해하면 제약을 강화한 뒤 모델이 왜 지시를 따르지 않는지 의아해하는 좌절의 순환을 막을 수 있습니다.

일관성 대 프롬프트 준수. CharaConsist 절제 연구는 이 점을 유난히 솔직하게 보여 줍니다. FLUX.1에 일관성 기법을 적용하면 기본 모델보다 CLIP-T 텍스트 정렬 점수가 낮아졌습니다. 선호도 테스트에서 텍스트 정렬은 57%로, 측정된 모든 차원 중 가장 낮았습니다. 강한 참조 고정은 생성을 참조 이미지 쪽으로 끌어당기고 새 지시에서 멀어지게 합니다.

참조 편향 대 각도 범위. 정면 참조 이미지는 이후 재사용성을 극대화하지만, 동시에 모델을 정면 출력으로 편향시킵니다. 정면에 고정된 캐릭터로 진정한 3/4 각도나 오버헤드 패널을 만들려면 참조 고정 효과와 싸워야 합니다.

정적인 충실도 대 액션. 일관성 벤치마크는 일반적으로 비교적 정적인 장면에서 측정됩니다. 만화에는 움직임이 필요하며, CharaConsist 논문이 명시적으로 성능 저하를 지적한 곳도 바로 움직임입니다.

초기 설정 투자 대 유연성. ComfyUI의 LoRA 및 어댑터 파이프라인은 가장 높은 성능 한계치를 제공하지만, 실무자는 현실적인 부담을 지적합니다. 한 워크플로 작성자는 ‘모든 캐릭터 체크포인트 파일을 저장할 필요가 없는’ 방식의 장점을 언급했는데, 이는 대부분의 워크플로가 정확히 그렇게 하고 있음을 시사합니다.

실무자들은 이 기술의 현재 수준에 대해 무엇을 말하는가?

제작용 만화 워크플로를 구축하는 사람들 사이의 공감대는 참조 고정이 문제의 대부분을 해결했으며, 남은 실패는 움직임과 의상에 집중된다는 것입니다.

“대부분의 사람이 AI 만화에 가져오는 사고방식은 첫 패널부터 잘못되어 있습니다. 그들은 프롬프트를 모델이 읽고 실행하는 사양서로 생각합니다. 그렇지 않습니다. 프롬프트는 샘플링 제약입니다. ‘빨간 머리 탐정’이라고 쓰면 가능한 얼굴의 공간을 수십억 개에서 수백만 개로 좁힌 것일 뿐, 하나의 인물로 좁힌 것이 아닙니다. 모든 패널은 그 좁아진 공간에서 새로 뽑는 결과입니다. 제작자가 이를 이해하면 프롬프트를 계속 고쳐 쓰는 대신 참조 에셋을 구축하기 시작하고, 문제는 대체로 사라집니다.”

“사람들을 놀라게 하는 점은 얼굴이 쉬운 부분이었다는 사실입니다. 얼굴 고정은 여러 아키텍처에 걸쳐 강력하고 잘 훈련된 해결책이 있습니다. 완고한 부분은 의상입니다. 의상은 얼굴보다 자유도가 높고 이를 보존하는 데 할당된 학습 신호도 훨씬 적기 때문입니다. 자체 테스트에서 캐릭터는 12개 패널 시퀀스 동안 얼굴을 유지하면서도 재킷 칼라가 조용히 세 번 바뀌곤 합니다. 그래서 제작자에게 의상을 일반적 설명이 아니라 고정 어휘를 가진 이름 붙인 개체, 예를 들어 구체적으로 ‘찢어진 왼쪽 소맷부리’로 다루라고 말합니다. 독특하고 이름 붙일 수 있는 세부 사항은 살아남지만, 일반적인 요소는 그렇지 않습니다.”

“아무도 광고하지 않는 정직한 한계는 액션입니다. 일관성 벤치마크는 비교적 정적인 샷에서 수행됩니다. 만화는 정적인 샷이 아닙니다. 사람들은 주먹을 휘두르는 중이고, 넘어지는 중이고, 전력 질주하는 중입니다. სწორედ 그 지점에서 모든 현행 기법이 통제력을 잃습니다. 격투 시퀀스를 계획한다면 반복 작업 시간을 확보하고, 독립적인 액션 패널 여덟 장이 자연스럽게 이어지기를 기대하기보다 하나의 넓은 장면 설정 패널을 중심으로 시퀀스를 고정하는 방안을 고려하세요.”

— Jenova 제품 팀, 멀티패널 AI 생성 워크플로 구축 6년

어떤 접근법이 당신의 상황에 맞는가?

올바른 도구는 기술 역량, 필요한 패널 수, 그리고 스토리 생성이 이미지 생성만큼 중요한지라는 세 가지 변수에 달려 있습니다.

범용 생성기를 선택해야 하는 경우: 적은 수의 인상적인 이미지가 필요하고 시각적 불일치를 감수할 수 있거나, 순차적 서사보다 콘셉트 아트를 제작하는 경우입니다. 순수한 이미지 미학만 보면 Midjourney가 여전히 가장 강력한 선택지입니다.

IP-Adapter와 ControlNet을 사용하는 ComfyUI를 선택해야 하는 경우: GPU에 접근할 수 있고, 기술적 인내심이 있으며, 최대한의 제어가 필요할 때입니다. 특히 캐릭터 LoRA 학습을 정당화할 만큼 많은 분량을 제작하는 경우에 적합합니다. FaceID Plus V2 워크플로가 현재의 실용적 표준입니다.

참조 에셋 플랫폼을 선택해야 하는 경우: 고정된 캐스트로 반복 제작하며 중앙 집중식 에셋 관리가 필요한 경우입니다. Figma Weave는 캐릭터 기준을 공유하는 팀에 적합하고, LTX Studio는 비디오 인접 작업에 적합하며, ComicInk는 빠른 엔드투엔드 만화 출력에 적합합니다.

Jenova의 Comic Creator를 선택해야 하는 경우: 병목이 아트만큼이나 스토리인 경우입니다. 에이전트가 하나의 대화 흐름에서 스크립트, 패널 분할, 생성을 처리하며, 세션 메모리가 장기 프로젝트 전반에 걸쳐 캐릭터 정의를 유지합니다. jenova.ai/a/comic-creator에서 이용할 수 있습니다. 세로 스크롤 형식에서는 Webtoon Creator가 에피소드 구조와 스크롤 리듬을 처리하며, Manga Creator는 흑백 패널 관례를 다룹니다. 여기에도 정직한 한계가 적용됩니다. 극단적인 액션 포즈와 복잡한 다중 캐릭터 패널은 여전히 반복 작업이 필요하며, 이 플랫폼은 연구 수준 기법이 제공하는 전경/배경 마스킹 제어를 노출하지 않습니다. 무료 티어에는 제한된 사용량이 포함되며, Plus는 그 허용량의 30배를 월 $20에 제공합니다.

어떤 경로를 선택하든 근본 원칙은 동일합니다. 캐릭터 일관성은 프롬프트 엔지니어링의 옷을 입은 에셋 관리 문제입니다. 먼저 참조 자료를 만들고, 모든 독특한 세부 사항에 이름을 붙이며, 같은 단어를 재사용하고, 액션 패널에는 추가 시도가 필요하다는 사실을 받아들이세요.