첫댓글우리는 T2I(Text-to-Image) 세대의 엄청난 최근 진전을 T2V(Text-to-Video)로 직접 번역하기 위한 접근 방식인 Make-A-Video를 제안합니다. 우리의 직감은 간단합니다 : 세계가 어떻게 생겼는지, 페어링 된 텍스트 이미지 데이터에서 어떻게 설명되는지 배우고 감독되지 않은 비디오 푸티지에서 세계가 어떻게 움직이는지 배우십시오. Make-A-Video는 세 가지 장점이 있습니다 : (1) T2V 모델의 교육을 가속화 (처음부터 시각적 및 다중 모드 표현을 배울 필요가 없음), (2) 페어링 된 텍스트 - 비디오 데이터가 필요하지 않으며 (3) 생성 된 비디오는 오늘날의 이미지 생성 모델의 광대 함 (미적, 환상적인 묘사 등)을 상속합니다. 우리는 새롭고 효과적인 시공간 모듈로 T2I 모델을 구축하는 간단하면서도 효과적인 방법을 설계합니다. 첫째, 우리는 전체 임시 U-Net과 주의 텐서를 분해하고 공간과 시간에 근사화합니다. 둘째, 비디오 디코더, 보간 모델 및 T2V 이외의 다양한 응용 프로그램을 사용할 수있는 2 개의 초해상도 모델을 사용하여 고해상도 및 프레임 속도 비디오를 생성하도록 공간 시간 파이프 라인을 설계합니다. 모든
첫댓글 우리는 T2I(Text-to-Image) 세대의 엄청난 최근 진전을 T2V(Text-to-Video)로 직접 번역하기 위한 접근 방식인 Make-A-Video를 제안합니다. 우리의 직감은 간단합니다 : 세계가 어떻게 생겼는지, 페어링 된 텍스트 이미지 데이터에서 어떻게 설명되는지 배우고 감독되지 않은 비디오 푸티지에서 세계가 어떻게 움직이는지 배우십시오. Make-A-Video는 세 가지 장점이 있습니다 : (1) T2V 모델의 교육을 가속화 (처음부터 시각적 및 다중 모드 표현을 배울 필요가 없음), (2) 페어링 된 텍스트 - 비디오 데이터가 필요하지 않으며 (3) 생성 된 비디오는 오늘날의 이미지 생성 모델의 광대 함 (미적, 환상적인 묘사 등)을 상속합니다. 우리는 새롭고 효과적인 시공간 모듈로 T2I 모델을 구축하는 간단하면서도 효과적인 방법을 설계합니다. 첫째, 우리는 전체 임시 U-Net과 주의 텐서를 분해하고 공간과 시간에 근사화합니다. 둘째, 비디오 디코더, 보간 모델 및 T2V 이외의 다양한 응용 프로그램을 사용할 수있는 2 개의 초해상도 모델을 사용하여 고해상도 및 프레임 속도 비디오를 생성하도록 공간 시간 파이프 라인을 설계합니다. 모든