LLaVA(Visual Instruction Tuning)

[김위제]

논문

https://arxiv.org/pdf/2304.08485

---

Visual Instruction Data Generation

---

Multimodal Instruction - Following Dataset 생성

기존 CC,LAION 데이터 셋은 단순한 Image Captioning에 그치기 때문에

LLaVA 모델 학습을 위한 Instruction - Following Dataset 생성 필요하다

단점으로

직접 생성하는 경우 많은 시간이 소요될 수 있고

Human Crowd - Sourcing을 하는 경우 데이터의 정의가 잘 이루어지지 않을 수 있다.

Human Crowd - Sourcing: 잡업자가 특정 업무를 위탁하여 분산 처리

image Xv와 해당하는 Caption Xc가 있는 경우, 이미지를 서술해 달라는 내용을 질문 Xq로한 데이터 셋생성

image Xv와 해당하는 Caption Xc가 있는 경우, 이미지를 서술해 달라는 내용을 질문 Xq로한 데이터 셋생성

장점:저비용으로 데이터셋 생성이 가능함

단점: 다양성부족/Instructions와 Responses에서 심도 있는 Reasoning 부족

image-Text Pair 데이터를 기반으로 ChatGPT /GPT4를 활용하여 Instruction-Following Dataset을 생성

2가지 문제 발생

1. ChatGPT /GPT-4가 Visual Content를 인지 할 수 없는 문제의 해결 Symbolic Representations
2. Instruction-Following Dataset의 형태를 어떻게 정의 할지 Conversation,Detailed Description,Complex Reasoning

Symbolic Representations: Captions

GPT-4/ChatGPT가 Visual Content 포함한 Instruction-Following 데이터를 만들기 위해 활용

Captions는 시각적으로 다양한 관점에서 바라본 Image Scene에 대해 설명

image caption은 기존의 coco 데이터 셋에서 가지고옴

Symbolic Representations: Bounding Boxes

GPT-4/ChatGPT가 Visual Content 포함한 Instruction-Following 데이터를 만들기 위해 활용

Bounding Boxes는 Scene에서 특정 물체가 어떠한 위치에 있는지를 설명

Conversation

주어진 Image에 대해 Assistant와 Human이 대화하는 형태를 의미

이미지만 보고 알 수 있는 것에 대한 Question-Answer쌍 생성해냄

이미지 내의 시각적 요소 자체에 대한 질문 포함
객체의 종류,개수,동작,위치,객체간의 상대적 위치 등

Detailed Description

Image에 대한 상세한 설명을GPT-4를 통해 생성

ComplexReasoning

 model Architecture

---

LLaVA의 목표 : Pre-trainedLLM과 Pre-trained VisualModel을 효과적으로 활용

LLM:Vicuna활용
당시 공개된 언어 Tasks의 Checkpoints중 가장우수한 Instruction-Following 능력을 가짐

Vision Encoder

Zv :VisionEncoder를활용하여 Image Xv를 Visual Feature화
Hv :LanguageModel의 Word Embedding Space와동일한차원을갖도록 Zv에 Projection Matrix인 W Project