[2월 2주차] Self-supervise Auxiliary Learning with Meta-paths for Het. Graphs

[상추]

오늘은 아래글을 작성한 사람이 추천한 논문을 읽어봤다. 그래서 이전 글과 내용면에서 비슷한 부분이 많(다고 생각한)다.

이 논문은 NIPS 2020에서 발표된 논문이며, 다시는 닙스 논문을 읽지 않겠다고 다짐하는 좋은 기회가 되었다..

일단 내용을 설명해보자면, 이 논문의 핵심은 meta-learning이라고도 말할 수 있는, meta-paths를 이용한 auxiliary learning 방법을 제안하는 것이었다.

Auxiliary learning은 multi task learning과 유사하지만 task들을 모두 최적화하는게 아니라 primary task를 수행하는것을 목표로 한다는 점에서 차이가 있다.

이 논문에서는 real world problem에 더 알맞는, heterogeneous graph에 대해 auxiliary learning을 시도해 봤따고 한다.

이 auxiliary learning을 진행할 때의 어려운 점은 

1) 쓸모있는 auxiliary task 를 정하기 힘들고

2) auxiliary task와 primary task 간 균형을 어렵기 어려우며

3) 어려운 auxiliary task를 해결할 수 있게 만드는 것이 힘들다는 것이다.

그래서 이 논문에서는 SELf supervised Auxiliary leaRning (SELAR)를 제안하는데,

이 모델은 첫번째로 auxiliary task를 선택하고 primary task와의 비율을 맞추도록 weight function을 학습시키고,

auxiliary task를 유사한 solvable task로 바꾸는 Hint Network를 학습시킨다고 한다.

여기까지 읽었을 때는 마침 내가 heterogeneous graph를 써보고 싶었었고 다른 task 로 학습해 결국 primary task를 해결하는 auxiliary learning이라는 개념도 잘 맞아떨어져 기분이 좋았다.

하지만 논문은 heterogeneous graph에서 meta-path prediction을 하는 과정을 기호들로 설명하기 시작했고 너무 읽고 싶지 않아서 넘어갔다. 

그리고 이렇게 그림으로 이해하기 쉽게 만든척 하기 시작했다.

그런 뒤 이런 식들로 날 힘들게 만들었다.

그래도 적당히 (pr+au)로 weight 학습하면서 pr를 업데이트 하는 구나 정도로 눈치껏 넘어갔다.

마지막 hintnet은.. 데이터 크기 때문에 mini-batch를 사용해야하지만 아렇게되면 정보가 손상되는 믄제를 해결하기 위한 것이라고 한다. 이번에도 목적까진 이해했는데 저 hintnet이 정보를 줄지 말지 hint를 주는 여부를 학습한다는 설명을 이해하지 못했다.

결과는 생략하겠다. 잘했다고 한다.

결론 : 난 네이버에 절대 못들어가겠다.

[하마대장]

네이버 저도 못갈듯 하네요......