흥미돋 특이점이 와버린 동영상 생성 AI

[칼퇴]

출처 : https://www.fmkorea.com/6727119102

챗GPT를 만든 오픈AI가 어제 공개한 동영상 생성 AI sora

오픈AI의 컴퓨팅 성능과 막대한 자본 그리고 그들의 능력까지 고려한다면 큰 기대가 되는 모델이었음.

그 결과...

??? 간판 글자, 반사 이상한거 외에는 실제 동영상이라고해도 믿을 수 있을 정도 결과물이 나왔음.

AI야 무한루프되는 산에서 자전거 타는 영상 만들어줘!

자전거 타는 영상인데 무한루프되는 영상도 만들 수 있음

AI야 마인크래프트 영상 만들어줘!

뭔가 이상한 마인크래프트도 만들 수 있음

AI야 전철 안에서 동영상 찍은거 만들어줘!

짜잔

특이점이 왔다

라고 끝내려고 했는데 이미 다른 글들이 포텐 가버려서

기술적 부분에 집중한 글을 더 써드리도록 하죠.

오픈ai의 접근도 여타 다른 AI 비디오 생성 접근 방식과 크게 다르지는 않은 것 같음. 비디오에서 특징을 추출해서 잠재공간(특징을 컴퓨터가 이해할 수 있는 함수 형태로 바꿔놓고 펼쳐놓은 공간)으로 전개를 해놨음.

또 잠재공간만으로는 해결 할 수 없는 일관성을 해결하기 위해서 patches라는 일시적 연속성 정보를 담고 있는 형태로 압축한 잠재공간을 도입했음. 

그래서 작동 원리를 간단하게 말하자면

이제 사용자가 글자로 인풋을 써주면, gpt같은 언어를 이해하는 모델이 글을 이해해서 적절한 잠재공간을 생성함. 그리고 그 잠재공간 사이에 패치를 이용해서 연속성을 확보하고 점점 그럴듯해지는 영상을 만드는 것임. (물론 이런 설명으로는 부족하지만 오픈AI가 기술 백서를 대충 써놨음)

그 결과 위와 같은 결과가 나왔는데, 

저게 사실은 엄청난 컴퓨팅 능력으로 구현된 결과라는 점이 개인 입장에서는 아직까지는 아쉬운 점임.

오픈 AI가 사용하는 GPU가 H200인데

H200 한대가 RTX 4090의 대략 25배의 성능, 6배 메모리임.

근데 그거 한대가지고 만드는 영상은

이런 이상한 영상밖에 못만듦.

저런 H200 16대를 사용해야지만 (대략 4090의 400배 성능, 150배 메모리) 위에서 봤던 그럴듯한 동영상이 나오는것임. 즉, 개인이 집안에서 개인용 컴퓨터로 퀄리티 있게 만들려면 10년은 기다려야 한다는 점

끝!

[LALE]

10년 안걸릴들…. 레디플레이원 온다..

[고운발가락]

나중엔 배우라는 직업도 없어지겠네

[으아아어]

4090의 400배요?...

[그만들해]

근데 학습되는 재료는 결국 사람들이 인터넷에 올린 개인 영상인거겠지..? 무한루프되는 산에서 자전거 타는 영상도 누군가 저렇게 탔던 영상들을 기반으로 합성한거겠지? 무에서 유를 만드는게 아니라서 ai 발달에 마음이 좀 복잡하다.. 그림도 내가 보는게 기존 그림을 창작자 동의없이 조합한 키메라구나.. 싶은데 사람이 등장하는 영상물은 뭔가 그 사람 동의없이 사생활을 훔쳐보는 기분이야ㅠ 나같은 여시없나