[2월 1주차] Graph Convolutional Networks for Text Classification

[노는게제일좋아]

이번에 리뷰할 논문이다.

AAAI 2019에 실린 논문이다. GCN을 이용해서 text classification하는 모델 TextGCN을 소개한다.

Introduction

기존의 딥러닝 text classification 모델의 경우 단어의 local 특징은 반영하지만 global한 특징은 잘 잡아내지 못한다는 단점이 있었다. 이 모델은 거대한 말뭉치에 대해 하나의 그래프를 생성한다. 이 그래프는 노드로 word와 document를 가지는 heterogeneous graph이다. 두 개의 word 간 edge는 word co-occurrence를 이용해서 생성되고, word와 document 간 edge는 word와 word의 document 빈도를 반영하여 생성된다. 이렇게 그래프를 생성해서 node classification을 통해 text classification을 구현하였다. 

Method

GCN을 여러 개의 층으로 쌓을 때 각 층은 아래와 같이 나타난다. A는 adjacency matrix로, intro에서 언급된 대로 word와 document의 속성이 고려되어 edge로 나타난다. 각 edge값을 계산 할 때 word-document edge는 TF-IDF를 사용하고, 각 word 간 edge에는 PMI를 사용했다. 이렇게 만들어진 그래프는 softmax classifier를 거치게 된다.

GCN의 layer

Result

아래는 사용한 dataset에 대한 정보이다. class의 개수는 많아야 50개이고, 전체 노드 개수는 5만개를 넘지 않았다. Training data 개수가 적은 것도 확인할 수 있다.

information for dataset

성능은 우수했다. 특히 train data가 적은 Ohsumed에서 상대적으로 매우 좋은 성능을 보여주었다.

TextGCN performance

Conclusion

TextGCN은 다른 임베딩을 사용하지 않고도 기존의 state-of-the-art 방법 보다 훌륭한 성능을 보였다. 특히 학습 데이터가 적을 때에 상대적으로 더 뛰어난 퍼포먼스를 보여줬다. Word 예측과 document 임베딩도 가능하다.

많이 썼다고 생각했는데 짧다.. 내용이 심플하다고 생각하겠지만 착각이다. 아무튼 그런거다..

[하마대장]

신기한 논문이네요~~ gcn을 nlp에 쓰다니~~~~ 그래서 언제 오시죠?