CG (VFX) 이해하기 (딥페이크 간략한 설명 포함)

[popory]

일전에 3디 애니메이션 공정 관련해서 글을 써서 드렸었지요. 

https://cafe.daum.net/trumpandtheknight/nqQd/14437?svc=cafeapi

3디 애니메이션 작업 관련하여 (넷플릭스 아케인 Arcane)

오늘은 이전에 글을 드리겠다는 CG(컴퓨터 그래픽) 설명과 더 나아가서 딥페이크 기술을 간략하게 소개하는 글을 드리겠습니다. 

CG라 하면 3디 애니 공정과 크게 다르지 않습니다. 

하지만 필름으로 작업된 2디 이미지에 3디 요소를 집어넣어야 하는 것이 틀리지요. 

영화 CG 작업을 VFX (비쥬얼 이펙츠) 라고도 하는데, 각 VFX 업체에서는 자신들의 공정을 본작업이라 하지요. 

뭐 영화 기획, 제작팀에서는 후반작업으로 칭하기도 합니다. 

CG 작업 전 아래 영화 기획, 촬영이 진행됩니다. 

1. 스토리 기획

2. 콘티  

3. 촬영 (카메라와 렌즈가 중요합니다.) 

4. 촬영된 원본을 푸티지라고 하는데, 이것을 편집합니다.

5. 씬과 샷 단위로 컷브레이크다운을 만들어, 각 컷에 작업해야 하는 작업을 정리합니다. 

그리고, CG 작업이 시작되는데, 아래와 같이 분류해서 말씀 드릴게요. 

=====

1. 단순 리무브 & 페인트 리터치 과정

: 만약 영화 설정이 80년대인데, 2010년대 물건이 촬영장에 잘못 찍혔다 라고 하면, 

일정 부분을 지우고, 다시 이미지를 집어 넣는 보정 작업을 합니다. 

1초에 24컷이 지나가기 때문에, 1초에 24장의 작업이 진행되게 됩니다. 

만약 카메라 이동이 없으면 복붙 하면 되지만, 이동하게 되면, 움직임에 맞춰 수정합니다. 

아래 영상처럼 와이어 리무브 작업이 제일 많긴 합니다. 

https://www.youtube.com/watch?v=S1H4nGtj2Qw 

2. 로토스코핑 (그린 배경에서 찍은 이미지 추출하여 3디 배경으로 교체하기) 

촬영된 푸티지를 받으면, 특정 샷에 여러개의 소스 영상이 있는 경우가 있는데요, 

이건, 배우가 있는 촬영본에서 배우 이미지만 추출하고, 다른 배경 소스들을 합성시키는 경우입니다. 

그린 배경과 블루 배경이 있는데, 추출되는 이미지의 색에 따라 쉽게 추출되는 그린 또는 블루 배경을 사용합니다.  

만약 바람에 흔들리는 배우 이미지를 다른 이미지와 합성해야 한다고 하면, 머리카락 하나씩 다 정교하게 땁니다. 

자동 추출 프로그램이 있지만, 항상 그렇듯 사람 손이 더해져야 완벽해지지요. 

그래서 인건비가 싼 인도로 외주를 줍니다. 

1초에 24프레임이니, 5분 이미지 플레이에 얼마나 많은 이미지를 따야 하는지 이해가시지요? 

이전 근무할 때, 각 프레임을 체크하며 제대로 따졌는지 확인하고,

합성팀에 전달하고 피드백 받아 영문 번역하여 전달하는 업무도 한동안 했었네요. 

https://www.youtube.com/watch?v=VltAVKKwMvU 

3. 매치 무브 

만약 어떠한 이미지에 괴물이 들어가야 한다면? 괴물을 그냥 2디 이미지에 넣을 수 없어요. 

2디 이미지를 3디로 분석하여, 3디 공간으로 변형한 후 괴물 모델링이 들어갈 수 있답니다. 

이 때 필요한 것이 카메라 종류, 렌즈 정보가 필요한데, 카메라 이미지가 외곽으로 갈수록 왜곡이 생겨서 

이 정도를 알기 위해서랍니다. 

먼저 이미지 왜곡을 펴고요, 아래 예시 영상을 보면 깔때기 같은 체커들이 있는데,

이것들을 세워서 약 몇 미터, 공간감이 어떻게 되는지 설정을 해요. 

그 이후 바닥 플레인에 괴물 모델링을 세워서 각도를 조절하는 거죠. 

바닥이 기울어 있는데, 괴물이 빳빳하게 서 있으면 어색하니, 공간에 맞춰 설정한다고 보면 되겠습니다. 

매치무브 또한 로토 스코핑 처럼 사람의 손이 가야 완벽해지는 부분이 있어, 인건비가 싼 인도로 외주 소싱을 합니다. 

그리고 태국이 좀 더 비싼데, 참 잘해요 ^^ .

https://www.youtube.com/watch?v=po7d1NpqrVQ 

4. 풀씨지 

헐크가 다 때려 부셔뜨리는 영상 같은 경우, 전부 씨지로 작업된 컷이겠지요. 

이건 제가 일전에 드린 3디 애니메이션 공정과 일치하니 해당 글에서 확인하시면 되요. 

=====

자 그럼 아래 이미지를 볼게요. 다들 아시는 매트릭스 액션씬이지요? 

이 푸티지로 어떤 작업을 했을까요? 

1. 푸티지를 받아서 리무브 & 페인팅 (와이어가 잡아 늘어진  옷 부분 또는 와이어 겹치는 부분 리터치)를 하고요 

2. 리무브된 영상을 로토스코핑을 합니다.

3. 그리고 이 이미지를 매치무브로 3디 분석을 하고요, 

4. 작업한 환경 모델링을 배경에 집어 넣구요, 

5. 거기에 총알 모델링으로 애니메이션을 줍니다.

6. 총알 애니메이션 근처로 FX 효과를 넣구요, 

7. 라이팅을 넣어서 현실감을 줍니다.

8. 마지막 합성에서 그림자라던지, 각 레이어가 잘 붙도록 설정을 더해 주지요. 

아래 영상에서 1분 20초 부터 보세요. 

https://youtu.be/oKt-Jz_s9DE

===== 

그럼,  VFX 영화들의 비포 애프터를 확인해 보아요. 

https://youtu.be/_OQkeLE9Uyg

===== 

CG, VFX 영상에 대해 이해는 되셨을 듯 합니다.

그럼 딥페이크 영상은 무엇일까요? 

딥페이크는 전문 프로그램으로 만든 이미지 교체 AI 프로그램 입니다. 

AI가 가지고 있는 이미지 정보를 교체되어야 하는 대상을 분석해서 각도, 근육 움직임 등을 계산하여 이미지를 만들어 내는 것이지요. 

만약 트럼프 대통령을 음해하고 싶다, 라고 한다면, 

트럼프 대통령 이미지들을 최대한 많이 모아서 (자료가 많을수록 더욱 정교한 이미지를 만들어 내요) 

스위치를 시키는 것이지요. 

사실 바티칸 조작 영상이라던지, 일부 딥페이크는 2디 이미지 교체로 쉽게 처리한 것이라 

형태, 빛 등 좀 더 자세히 보면 쉽게 가짜라는 것이 판명이 되지만, 

이제 딥페이크 기술이 너무 발전되어서 일부 딥페이크는 그 사실 여부를 확인하기 어렵습니다. 

마치 수사 기법처럼, 그때 정말 그가, 그런 행동을, 그런 말을 했는지 사실 여부를 확인해야 할 정도이지요. 

아래 영상에서 딥페이크 기술을 잘 설명하고 있어서 공유 드립니다. 

https://youtu.be/OwN5YUCC_jc

===== 

세상에 너무 많은 거짓 정보와 뉴스가 많습니다. 

이런 정보에 바로 현혹되지 않고,

누가, 왜, 어떠한 의도로, 이런 영상을 보도하는지 확인하고, 

그 타당성 유무를 확인하는 게 저희의 숙제가 되어가는 것 같습니다.

이만, 재미있게 봐주셨길 기대하고,

오늘도 화이팅 입니다. 

[루디]

정보 감사합니다.

[popory]

감사합니다 ^^

[살찐 박신양]

감사합니다
주옥같은 정보이자 글입니다~
하트 팍팍~^^

[popory]

저도 하트 팍팍 드립니다.
감사합니다.

[암노깡]

고맙습니다.,

[popory]

감사합니다.

[클리어]

와~신기하네요.자세한 정보 감사합니다.^^

[popory]

네, 읽어주셔서 감사합니다.

[신선붓다]

고맙습니다.새벽에 정독할께요.

[popory]

넵 ^^ 감사합니다.

[흙돌]

감사합니다

[popory]

감사합니다.

[계 정혜]

고맙습니다

[popory]

감사합니다.

[가우리]

잘보았습니다.감사합니다.~

[popory]

감사합니다.

[라이라]

공부 잘 하고 갑니다. 고맙습니다^^

[popory]

네 씨지에 많은 공정이 필요해서 쉽게 씨지를 하지 못한다는 점을 말씀드리고 싶었어요.
읽어주셔서 감사합니다.

[버드나무]

과정에 많은 사람들의 손길과 돈이 많이 들어가겠네요^^
자세한 내용 설명 감사합니다~

[popory]

네, 맞습니다.
사람들이 이건 씨지네, 라고 아무렇지 않게 말하더라구요.
가짜 영상들이 씨지로 제작되려면 시간도 걸리기 때문에,
그 전에 그 영상들이 정말 가짜인지, 그렇게 시간과 돈 들여서 가짜 영상을 만들 필요가 있는지 등을 판단해 봐야 하겠습니다.

[크리스탈]

감사합니다.