첫댓글1. 어텐션에서 Query, Key, Value 의 의미를 설명하라 2. 싱글헤드 어텐션(single head attention)과 멀티헤드 어텐션(multi head attention)의 차이를 설명하라 3. 셀프 어텐션(self attention)과 크로스 어텐션(cross attention)의 차이를 설명하라 4. masked attention이 무엇이고 왜 필요한가? 5. 층정규화가 무엇이고 왜 필요한가? 6. postion encoding이 무엇이고 왜 필요한가?
첫댓글 1. 어텐션에서 Query, Key, Value 의 의미를 설명하라
2. 싱글헤드 어텐션(single head attention)과 멀티헤드 어텐션(multi head attention)의 차이를 설명하라
3. 셀프 어텐션(self attention)과 크로스 어텐션(cross attention)의 차이를 설명하라
4. masked attention이 무엇이고 왜 필요한가?
5. 층정규화가 무엇이고 왜 필요한가?
6. postion encoding이 무엇이고 왜 필요한가?
https://app.notion.com/p/seq2seq-Sequence-to-Sequence-attention-3d13d4314e0080ccab82cfa6c178927c?source=copy_link#3d33d4314e008014b27dc89d1062254e
추가했습니다!
트랜스포머 공부는 안한거냐 왜 자료가 없냐?