한국어 불용어, 토크나이징 툴

[ParkYK]

'아','휴','아이구','아이쿠','아이고','어','나','우리','저희','따라','의해','을','를','에','의','가','으로','로','에게','뿐이다','의거하여','근거하여','입각하여','기준으로','예하면','예를 들면','예를 들자면','저','저희','지말고','하지마','하지마라','다른','물론','또한','그리고','그러나','그래서','비길수 없다','해서는 안된다','뿐만 아니라','만이 아니다','만은 아니다','막론하고','관계없이','그치지 않다','그런데','하지만','든간에','논하지 않다','따지지 않다','설사','비록','더라도','아니면','만 못하다','하는 편이 낫다','불문하고','향하여','향해서','향하다','쪽으로','틈타','타다','오르다','이 외에','이 밖에','하여야','비로소','한다면','몰라도','외에도','이곳','여기','부터','기점으로','따라서','할 생각이다','하려고하다','이리하여','그리하여','그렇게 함으로써','하지만','일때','할때','앞에서','중에서','보는데서','으로써','로써','까지','해야한다','일것이다','반드시','할줄알다','할수있다','할수있어','임에 틀림없다','한다면','등','등등','제','겨우','단지','다만','할뿐','딩동','댕그','대해서','대하여','대하면','훨씬','얼마나','얼마만큼','얼마큼','남짓','여','얼마간','약간','다소','좀','조금','다수','몇','얼마','지만','하물며','또한','그렇지만','하지만','이외에도','대해 말하자면','뿐이다','다음에','반대로','반대로 말하자면','이와 반대로','바꾸어서 말하면','바꾸어서 한다면','만약','그렇지않으면','까악','툭','딱','삐걱거리다','보드득','비걱거리다','꽈당','응당','해야한다','에 가서','각','각각','여러분','각종','각자','제각기','하도록하다','와','과','그러므로','그래서','고로','한 까닭에','하기 때문에','거니와','이지만','대하여','관하여','관한','과연','실로','아니나다를가','생각한대로','진짜로','한적이있다','하곤하였다','하','하하','허허','아하','거바','와','오','왜','어째서','무엇때문에','어찌','하겠는가','무슨','어디','어느곳','더군다나','하물며','더욱이는','어느때','언제','야','이봐','어이','여보시오','흐흐','흥','휴','헉헉','헐떡헐떡','영차','여차','어기여차','끙끙','아야','앗','아야','콸콸','졸졸','좍좍','뚝뚝','주룩주룩','솨','우르르','그래도','또','그리고','바꾸어말하면','바꾸어말하자면','혹은','혹시','답다','및','그에 따르는','때가 되어','즉,지든지','설령','가령','하더라도','할지라도','일지라도','지든지','몇','거의','하마터면','인젠','이젠','된바에야','된이상','만큼어찌됏든','그위에','게다가','점에서 보아','비추어 보아','고려하면','하게될것이다','일것이다','비교적','좀','보다더','비하면','시키다','하게하다','할만하다','의해서','연이서','이어서','잇따라','뒤따라','뒤이어','결국','의지하여','기대여','통하여','자마자','더욱더','불구하고','얼마든지','마음대로','주저하지 않고','곧','즉시','바로','당장','하자마자','밖에 안된다','하면된다','그래','그렇지','요컨대','다시 말하자면','바꿔 말하면','즉','구체적으로','말하자면','시작하여','시초에','이상','허','헉','허걱','바와같이','해도좋다','해도된다','게다가','더구나','하물며','와르르','팍','퍽','펄렁','동안','이래','하고있었다','이었다','에서','로부터','까지','예하면','했어요','해요','함께','같이','더불어','마저','마저도','양자','모두','습니다','가까스로','하려고하다','즈음하여','다른','다른 방면으로','해봐요','습니까','했어요','말할것도 없고','무릎쓰고','개의치않고','하는것만 못하다','하는것이 낫다','매','매번','들','모','어느것','어느','로써','갖고말하자면','어디','어느쪽','어느것','어느해','어느 년도','라 해도','언젠가','어떤것','어느것','저기','저쪽','저것','그때','그럼','그러면','요만한걸','그래','그때','저것만큼','그저','이르기까지','할 줄 안다','할 힘이 있다','너','너희','당신','어찌','설마','차라리','할지언정','할지라도','할망정','할지언정','구토하다','게우다','토하다','옆사람','퉤','쳇','의거하여','근거하여','의해','따라','힘입어','그','다음','버금','두번째로','기타','첫번째로','나머지는','그중에서','견지에서','형식으로 쓰여','입장에서','위해서','단지','의해되다','하도록시키다','뿐만아니라','반대로','전후','전자','앞의것','잠시','잠깐','하면서','그렇지만','다음에','그러한즉','그런즉','남들','아무거나','어찌하든지','같다','비슷하다','예컨대','이럴정도로','어떻게','만약','만일','위에서 서술한바와같이','인 듯하다','하지 않는다면','만약에','무엇','무슨','어느','어떤','아래윗','조차','한데','그럼에도 불구하고','여전히','심지어','까지도','조차도','하지 않도록','않기 위하여','때','시각','무렵','동안','어때','어떠한','하여금','네','예','우선','누구','누가 알겠는가','아무도','줄은모른다','줄은 몰랏다','하는 김에','겸사겸사','하는바','그런 까닭에','한 이유는','그러니','그러니까','때문에','그','너희','그들','너희들','것','것들','너','위하여','동시에','하기 위하여','어찌하여','무엇때문에','붕붕','윙윙','나','우리','엉엉','휘익','윙윙','오호','아하','어쨋든','만 못하다하기보다는','차라리','하는 편이 낫다','흐흐','놀라다','상대적으로 말하자면','마치','아니라면','쉿','그렇지 않으면','그렇지 않다면','안 그러면','아니었다면','하든지','아니면','이라면','좋아','알았어','하는것도','그만이다','어쩔수 없다','하나','일','일반적으로','일단','한켠으로는','오자마자','이렇게되면','이와같다면','전부','한마디','한항목','근거로','하기에','아울러','하지 않도록','않기 위해서','이르기까지','이 되다','로 인하여','까닭으로','이유만으로','이로 인하여','그래서','이 때문에','그러므로','그런 까닭에','알 수 있다','결론을 낼 수 있다','으로 인하여','있다','어떤것','관계가 있다','관련이 있다','어떤것들','에 대해','이리하여','그리하여','하기보다는','하느니','하면 할수록','운운','이러이러하다','하구나','하도다','다시말하면','다음으로','에 있다','에 달려 있다','우리','우리들','오히려','하기는한데','어떻게','어떻해','어찌됏어','어때','어째서','본대로','자','이','이쪽','여기','이것','이번','이렇게말하자면','이런','이러한','이와 같은','요만큼','요만한 것','얼마 안 되는 것','이만큼','이 정도의','이렇게 많은 것','이와 같다','이때','이렇구나','것과 같이','끼익','삐걱','따위','와 같은 사람들','부류의 사람들','왜냐하면','중의하나','오직','오로지','에 한하다','하기만 하면','도착하다','까지 미치다','도달하다','정도에 이르다','할 지경이다','결과에 이르다','관해서는','여러분','하고 있다','한 후','혼자','자기','자기집','자신','종합한 것과 같이','총적으로 보면','총적으로 말하면','총적으로','대로 하다','으로서','참','그만이다','할 따름이다','쿵','탕탕','쾅쾅','둥둥','봐','봐라','아이야','아니','와아','응','참나','년','월','일','령','영','일','이','삼','사','오','육','륙','칠','팔','구','이천육','이천칠','이천팔','이천구','하나','둘','셋','넷','다섯','여섯','일곱','여덟','아홉','령','영' 

자연어 토크나이징 도구

토크나이징이란, : 입력 정보(문장 또는 발화)를 하나의 특정 기본 단위로 자르는 것

// 영어 토크나이징 라이브러리

- 여기서는 영어 토크나이징 작업을 수행할 수 있는 라이브러리를 소개.

=== NLTK ===

- 파이썬에서 영어 텍스트 전처리 작업을 하는데 많이 쓰이는 라이브러리이다.

- 50여 개가 넘는 말뭉치 리소스를 활용해 영어 텍스트를 분석할 수 있게 제공한다.

# 라이브러리 설치

> conda install nltk

> import nltk

> nltk.download()

- nltk는 단순히 라이브러리를 설치한다고 해서 바로 토크나이징 할 수 없다. 말뭉치를 다운 받아야 한다.

- 토크나이징을 위해 'all-corpora' 말뭉치를 다운 받는다.

# 단어 단위 토크나이징

from nltk.tokenizer import word_tokenize

sentence = "영문을 입력"

word_tokenize(sentence)

- word_tokenize 함수를 사용하면 입력한 문장이 단어 단위로 구분되어 리스트로 출력된다.

# 문장 단위 토크나이징

from nltk.tokenize import sent_tokenize

sentence = "영문을 입력"

sent_tokenize(sentence)

- sent_tokenize 함수를 사용하면 자동으로 문장 기준으로 나눠준다.

# 텍스트 데이터 전처리

- nltk 라이브러리는 불용어 사전이 내장돼 있어서 따로 불용어를 정의할 필요없이 바로 사용 가능하다. 

=== Spacy ===

- NLTK와 같은 오픈소스 라이브러리이다.

- 주로 교육, 연구 목적이 아닌 상업용 목적으로 만들어졌다는 점에서 다른 목적으로 만들어진 라이브러리이다.

- 현재 영어를 포함한 8개 국어에 대한 자연어처리 모듈을 제공한다.

// 한글 토크나이징 라이브러리

=== KoNLPy : 한글 자연어 처리를 쉽고 간결하게 처리할 수 있도록 만들어진 오픈소스 라이브러리이다.

# 라이브러리 설치 

> pip install JPype1-0.63-cp36-cp36m-xin_amd64.whl

> pip install konlpy

- 1.8버전 이상의 자바가 설치되어 있어야 한다

- JPype1을 설치해야 한다.

- 그 다음에 konlpy를 설치한다.

# 형태소 단위 토크나이징 

- 한글 텍스트의 경우에는 형태소 단위 토크나이징이 필요할 때가 있다.

- 각 형태소 분석기는 클래스 형태로 돼 있고, 이를 객체로 생성한 후 메서드를 호출해서 토크나이징

# 형태소 분석 및 품사 태깅 

- 형태소란, 의미를 가지는 가장 단위로서 더 쪼개지면 의미를 상실하는 것들이다.

- 형태소 분석기 목록

Hannanum / Kkma / Komoran / Mecab / Okt

- 위 객체들은 모두 동일하게 형태소 분석 기능을 제공하는데, 각기 성능이 조금씩 다르다.

- 그 중 하나인 Okt를 사용해서 예제를 실행

# Okt 형태소 분석기

from konlpy.tag import Okt

#객체 생성
okt = Okt()

1. okt = Okt()      객체 생성

2. okt.morphs()

- 텍스트를 형태소 단위로 나눈다. 옵션으로는 norm과 stem이 있다 

- norm은 normalize의 약자로 문장을 정규화하는 역할

- stem은 각 단어에서 어간을 추출하는 기능

3. okt.nouns()

- 텍스트에서 명사만 뽑아낸다.

4. okt.phrases()

- 텍스트에서 어절을 뽑아낸다.

5. okt.pos()

- 각 품사를 태깅하는 역할을 하며, 품사 태깅은 주어진 텍스트를 형태소 단위로 나누고, 나눠진 각 형태소를 그에 해당하는 품사와 함께 리스트화 하는 것을 말한다. 

# 실제 사용

text = "한글 자연어 처리는 재밌다. 이제부터 열심히 해야지"

okt.morphs(text)
okt.morphs(text, stem = True)

- okt.morphs(문장) : 텍스트를 형태소 단위로 나눈다.

- okt.morphs(문장, stem =True) : 텍스트를 형태소 단위로 나누며, 각 단어에서 어간을 추출한다.

- okt.nouns(text) : 명사만 추출

- okt.phrases(text) : 어절 단위로 나눠서 추출

- okt.pos(text) : 품사 태깅

- okt.post(text, join=True) : join=True로 주면 형태소와 품사가 함께 나온다.