
GENJUTSU LAB · 2026.09
원본 영상을 다시 찍지 않고도 배우, 의상, 배경만 원하는 걸로 바꿀 수 있는 기능이 있다. Higgsfield Genjutsu의 Motion Transfer인데, 실제로 영상 1개와 이미지 3장만 넣고 만들어본 과정을 그대로 정리했다. 화면에 뜬 수치와 공식 문서를 대조해서 확인한 내용도 같이 넣었다.
뭘 할 수 있는 기능인가
색감이나 필터를 입히는 보정 기능과는 다르다. 원본 영상에서 동작·카메라 정보만 추출한 다음, 그 위에 인물과 배경을 통째로 새로 그려 넣는 방식이라 인물이 완전히 바뀌어도 움직임의 디테일은 그대로 남는다.
그래서 이 기능이 쓸모 있는 지점은 명확하다. 마음에 드는 동선이나 카메라 워크가 있는 영상을 찾았는데, 등장인물이나 분위기가 원하는 콘셉트와 다를 때 다시 촬영하지 않고도 원하는 버전으로 바꿔볼 수 있다는 것. 강의 자료용 영상, 브랜드 콘텐츠, 개인 프로젝트 어디에든 응용할 수 있다.
Genjutsu 안에는 Motion Transfer 말고 Object Swap이라는 자매 기능도 있다. 장면 전체를 새로 짜는 Motion Transfer와 달리, Object Swap은 인물 한 명이나 제품, 배경 같은 지정한 요소 하나만 바꾸고 나머지는 원본 그대로 둔다. 캐스팅 전체를 바꾸고 싶으면 Motion Transfer, 옷이나 소품 하나만 바꾸고 싶으면 Object Swap 쪽이 맞다.
준비물: 영상 1개, 이미지 3장
시작하기 전에 아래 네 가지를 먼저 준비해두면 훨씬 수월하다. 이미지마다 역할이 명확하게 나뉘어 있다는 게 핵심이다.
| 구성 요소 | 담당 역할 |
|---|---|
| 원본 영상 (4~30초) | 동작·카메라·타이밍 기준 |
| Image 1 | 얼굴 — 헤어스타일과 인상까지 이 사진 기준으로 반영 |
| Image 2 | 장면·색감 — 전체 톤과 배경, 주변 인물 분위기 |
| Image 3 | 의상 — 옷차림 구조만 가져오는 용도 |
이미지 역할을 나누지 않고 아무 사진이나 섞어 넣으면 결과물이 뒤섞인다. 얼굴, 장면, 의상을 각각 다른 사진에 맡긴다고 생각하면 정리가 쉽다.
확인해보니 — 공식 페이지에는 참고 영상 길이가 3~30초로 안내돼 있는데, 실제 업로드 화면에는 4~30초로 표시된다. 참고 이미지 개수도 자료마다 30장, 40장으로 제각각이었고, 이번에 캡처한 화면에는 최대 49장까지 열려 있었다. 업데이트가 잦은 기능이라, 시작 전에 화면에 직접 뜨는 숫자를 기준으로 삼는 게 안전하다.
단계별로 따라 하기
1단계. Genjutsu에서 Motion Transfer 선택하기
Higgsfield 사이트에서 Video 메뉴 → Genjutsu로 들어가면 두 가지 모드가 뜬다. 그중 Motion transfer를 선택하면 시작이다.

2단계. 원본 영상 업로드
“Add a reference video to extract motion” 영역에 준비해둔 영상을 넣는다. 4~30초 분량이면 충분하고, 이미 올려둔 영상이 있으면 목록에서 바로 선택할 수 있다.

3단계. 참고 이미지 3장 넣기
바로 아래 “Add your characters, products, or clothes”에 준비한 이미지 3장을 순서대로 올린다. 화면에 표시되는 순서가 곧 Image1, 2, 3 번호가 된다.

4단계. 필요할 때만 프롬프트로 역할 못박기
영상과 이미지 3장을 순서대로 넣으면 그것만으로도 자동으로 매칭된다. 실제로 이 글의 스크린샷 속 생성에서도 별도 프롬프트 없이 영상 1개와 이미지 3장만 순서대로 넣고 바로 Generate를 눌렀다.
확인해보니 — Higgsfield 공식 블로그에도 “프롬프트 없이 프리셋만으로 생성할 수 있다”고 안내돼 있다. 다만 등장인물이 여럿이거나 “이 사람은 반드시 이 이미지로” 하고 못박고 싶을 때는 문장으로 역할을 지정하는 기능도 함께 제공된다. higgsfield.ai/genjutsu 공식 가이드의 수녀 합창단 예시가 바로 이 방식이었다 — 인물 수가 많아서 문장으로 역할을 짚어준 경우다.
역할을 지정할 때는 영상은 동작·카메라·타이밍의 기준으로, 이미지는 얼굴·장면·의상 각각의 기준으로 지정해주는 문장을 적는다. 번호(@Video1, @Image1…)로 역할을 짚어주는 게 핵심이다.
@Video1 → choreography, camera movement, timing only.
@Image1 → main character's face and hair.
@Image2 → overall scene, background, color tone, surrounding people.
@Image3 → clothing/costume reference only, not face or background.
Keep the same identity and outfit consistent through every turn, occlusion and reappearance in the clip.
콘셉트가 바뀌어도 저 네 줄의 역할 배정 구조만 유지하고 인물·의상·배경 묘사만 바꾸면 재사용하기 쉽다. 등장인물이 비슷하게 여럿이라면 “왼쪽에서 두 번째 인물”, “가운데서 걸어나오는 사람”처럼 화면 속 위치나 동작으로 짚어주는 편이 인물이 뒤섞이는 걸 줄여준다.
5단계. Generate 누르고 기다리기
영상 1개, 이미지 3장이 채워지면 화면 아래 Generate 버튼이 활성화된다. 이번엔 720p, 30초, 1개 옵션으로 생성했고, 원래 210크레딧에서 할인이 적용돼 195크레딧이 들었다.

결과 확인하기
생성이 끝나면 상단 Assets 메뉴에서 날짜별로 결과물을 찾을 수 있다. 항목을 열면 오른쪽에 어떤 모델로, 어떤 소스로 만들었는지가 상세 정보로 남는다.



해보면서 걸렸던 부분
이미지 역할은 겹치지 않게
한 장의 이미지에 얼굴과 의상, 배경 정보가 다 담겨 있으면 어느 것을 기준으로 삼을지 모호해진다. 사진을 고를 때부터 “이건 얼굴용, 이건 배경용”으로 미리 구분해두는 게 결과물 완성도에 직접 영향을 준다.
인원수와 대형은 원본을 따라간다
참고 이미지 속 인원수가 원본 영상과 다르더라도, 실제 생성 결과는 원본 영상의 대형과 인원수를 기준으로 만들어진다. 참고 이미지는 “이런 느낌”을 알려주는 자료로만 보면 된다.
가려졌다 나오는 구간을 신경 써서 적기
사람이 다른 사람에게 가려졌다가 다시 화면에 나오는 장면에서 인물이 바뀌어 보이는 경우가 있었다. 프롬프트를 쓸 경우 “같은 인물·같은 의상을 계속 유지해달라”는 문장을 넣어주면 이 부분이 훨씬 안정적으로 나온다.
참고 이미지는 많다고 좋은 게 아니다
역할이 겹치는 사진을 욕심껏 채워 넣기보다, 얼굴·장면·의상처럼 역할이 분명한 사진 서너 장으로 정리하는 편이 결과가 더 안정적이다. 같은 인물을 여러 각도로 보여주고 싶다면, 그 사진들끼리는 순서상 붙여서 넣는 게 좋다.
결과물의 완성도는 프롬프트 문장보다 참고 이미지를 얼마나 명확하게 역할별로 나눴는가에서 갈렸다. 프롬프트는 그 역할을 말로 한 번 더 확인시켜주는 보조 수단에 가까웠다.
확인해보니 — 얼굴을 쓸 때 주의할 점. Higgsfield 이용 약관은 본인이 사용 권한을 가진 얼굴·영상·브랜드만 올리도록 안내하고 있고, 관련 리뷰들도 실존 인물을 재구성하는 기능인 만큼 본인 동의 없이 얼굴을 쓰지 말라고 짚는다. 동료나 지인 사진을 참고 이미지로 쓸 계획이라면, 사용 목적을 먼저 알리고 동의를 구한 뒤 진행하는 게 안전하다. 결과물 자체는 상업적으로도 쓸 수 있지만, 이 부분은 별개로 챙겨야 한다.
이 글은 실제로 Higgsfield Genjutsu의 Motion Transfer 기능을 사용해본 과정을 정리한 것이다. 기능 설명과 수치는 higgsfield.ai/genjutsu 공식 페이지와 공식 블로그 글을 기준으로 확인했고, 화면에 직접 뜬 수치와 차이가 있는 부분은 본문에 따로 표시해뒀다. Higgsfield는 업데이트가 잦은 서비스라, 실제 진행 시에는 화면에 뜨는 최신 안내를 우선으로 보면 된다.
KAKAO TALK갓진주 AI 활용 소통방새로운 AI 도구와 실전 프롬프트 소식을 함께 나눠요.소통방 참여하기 →

답글 남기기