[Transformer] self-attention

[명승연]

https://app.notion.com/p/Transformer-3b211f31421b80aebc53e16886f2cb8e#3be11f31421b80aca189f20ed2b08bad

Transformer | Notion

1. 어텐션에서 Query, Key, Value 의 의미를 설명하라
Query: 현재 위치에서 어떤 정보를 찾고 싶은지를 나타내는 벡터
Key: 각 정보의 특징을 나타내며 Query와 비교되어 관련성을 계산하는 벡터
Value: 실제로 전달할 정보를 담은 벡터로, Query와 Key를 통해 계산된 어텐션 가중치를 적용하여 가중합된다.

2. 싱글헤드 어텐션(single head attention)과 멀티헤드 어텐션(multi head attention)의 차이를 설명하라
single head attention은 하나의 어텐션 연산만 수행하여 정보 간 관계를 한 가지 관점에서 파악하지만 반면 Multi-Head Attention은 Q, K, V를 서로 다른 방식으로 여러 번 변환한 뒤 여러 개의 어텐션을 병렬로 수행한다. 이를 통해 각 head가 서로 다른 위치나 관계에 집중할 수 있으며 각 head의 결과를 연결하여 최종 결과를 만든다.

3. 셀프 어텐션(self attention)과 크로스 어텐션(cross attention)의 차이를 설명하라
Self-Attention은 Q, K, V가 모두 같은 시퀀스에서 생성되어 같은 시퀀스 내부의 요소들 사이의 관계를 계산한다.
Cross-Attention은 Q와 K, V가 서로 다른 곳에서 생성된다. Transformer의 Encoder-Decoder Attention에서는 Q는 Decoder의 이전 층에서 오고, K와 V는 Encoder의 출력에서 온다. 

4. masked attention이 무엇이고 왜 필요한가?
Masked Attention은 현재 위치에서 미래 위치의 정보를 참고할 수 없도록 Attention을 제한하는 방식이다. 학습 시에는 정답 출력 시퀀스 전체가 주어지기 때문에 Mask가 없으면 현재 위치가 뒤쪽의 정답 토큰까지 참고할 수 있다. 그러나 실제 생성 시에는 미래 토큰이 존재하지 않으므로, 미래 위치의 Attention Score를 −∞로 만들어 Softmax 이후 해당 위치의 가중치가 0이 되게 한다. 이를 통해 학습 과정에서도 실제 생성 과정과 같은 조건을 유지한다.

5. 층정규화가 무엇이고 왜 필요한가?
층정규화( Layer Normalization )은 각 입력 벡터의 값들을 정규화하여 값의 크기와 분포를 안정적으로 유지하는 방법이다. 이를 통해 층이 깊어지면서 값이 지나치게 커지거나 작아지는 것을 완화하고 학습을 안정적으로 수행할 수 있도록 한다.

6. postion encoding이 무엇이고 왜 필요한가?
RNN은 입력을 순차적으로 처리하기 때문에 단어의 순서 정보가 자연스럽게 반영된다. 반면 Transformer는 입력을 병렬로 처리하므로 Self-Attention만으로는 단어의 순서를 알 수 없다. 따라서 각 단어의 임베딩에 Position Encoding을 더하여 단어의 순서와 위치 정보를 제공한다.

[Sungryul Lee]

1. 어텐션에서 Query, Key, Value 의 의미를 설명하라
2. 싱글헤드 어텐션(single head attention)과 멀티헤드 어텐션(multi head attention)의 차이를 설명하라
3. 셀프 어텐션(self attention)과 크로스 어텐션(cross attention)의 차이를 설명하라
4. masked attention이 무엇이고 왜 필요한가?
5. 층정규화가 무엇이고 왜 필요한가?
6. postion encoding이 무엇이고 왜 필요한가?

[명승연]

추가했습니다.