[텍스트기반 데이터 분석] 취업사이트 it관련 분야 데이타 수집 및 워드클라우드

[최상태]

###### jobKorea에서 검색 내용 긁어오기 ######
def get_text():
    with open('program','a',encoding="utf-8") as f:
        url = f'https://www.jobkorea.co.kr/Search/?stext=program'
        html = urlopen(url).read()
        soup = BeautifulSoup(html, 'html.parser')
        #soup = BeautifulSoup(html, 'html.parser',from_encoding='utf-8')
        content_of_article = soup.select('p.etc')

        for item in content_of_article:
            f.writelines(item.text)
            print(item)

if __name__ == '__main__':
    get_text()


##########  사용하지 않는 단어 삭제 하여 만들기 #########

# 사용하지 않을 단어 지정 
# 사용하지 않을 단어 지정 
from wordcloud import WordCloud, STOPWORDS
import matplotlib.pyplot as plt 
import wordcloud

def word():
    stopwords = set(STOPWORDS) 
    stopwords.add('영업') 
    text = open('c:\\users/pc366\\program',encoding='UTF8').read()
    wordcloud = WordCloud(font_path='C:\\font\\NanumGothic-Regular.ttf',stopwords=stopwords,background_color='white').generate(text)
    #wordcloud.to_file('program.png') 


    plt.figure(figsize=(22,22)) #이미지 사이즈 지정
    plt.imshow(wordcloud, interpolation='lanczos') #이미지의 부드럽기 정도
    plt.axis('off') #x y 축 숫자 제거
    plt.show()
    #plt.savefig()
    
if __name__ == '__main__':
    word()

[결과물]

<p class="etc">제약, 국내영업, 법인영업, 제약영업, 가맹점관리, 거래선개발관리, 거래처관리, 고객관리, 납품관리, 대리점관리, 매출관리, 영업관리, 법인영업, 일반영업, 제약영업, 의약품</p> <p class="etc">전기제어, 전장, 제어, PLC, PLC</p> <p class="etc">국내영업, 일반영업, 거래처관리, 매출관리, 영업관리, 영업기획, 영업지원</p> <p class="etc">계장기술자, 공장자동화제어기술자, 공장자동화 PLC설계 기술자, 공장자동화 PLC전기제어 기술자, 전기제어기술자, PLC</p> <p class="etc">제어, HMI, PLC, 기계, 메카트로닉스, 시스템프로그래머, HMI, PLC, 기계, 메카트로닉스, 생산기술, 제어, 제품개발, 전기, 전기·전자회로</p> <p class="etc">반도체, 제어</p> <p class="etc">오픈마켓, 전자상거래, 서비스기획</p> <p class="etc">자동제어, 전기, 전기기사, 전기기술, 전기설계, 전기제어, 전기회로, 전자, 전자회로, 제어, PLC, 기술연구소, 기술직, 제어, R&amp;D, 기술연구소, 기술직, 전기·전자, 제어, 설계엔지니어, 전기, 전기·전자회로, 회로설계, PLC, 전기·전자, 연구·실험·기술, 제조·공정</p> <p class="etc">프로그램, 기계설계, 자동화설비, MCT, 기계, 기계설계</p> <p class="etc">오픈마켓, 전자상거래, 사업기획, 웹서비스기획</p> <p class="etc">오픈마켓, 전자상거래, 사업기획, 서비스기획, 신규사업·BD</p> <p class="etc">기계설계, 기계설비, 설계엔지니어, 전기, PLC, 2D, 3D설계, 기계설계, 기구설계, AutoCad</p> <p class="etc">금속, 금속가공, 용접기, 제관, 판금, 2D, 3D설계, 기계설계, 기구설계, AutoCad</p> <p class="etc">자동제어, 전기, 전기공사, 전기설계, PLC, 전기, PLC</p> <p class="etc">Batch, Cloud, Spring Framework, include boot, 정보처리기사, 데이터베이스, DB2, DBA, MySQL, Oracle, 데이터마이닝, 모바일기획, 웹기획, 웹서비스기획, 컨텐츠기획, UI설계, 웹프로그래머, HTML, Java, MS-SQL, MySQL, Python, 응용프로그래머, 전산전공, C#, C++, Java, Linux, Oracle, Python, Unix, Windows, 시스템프로그래머, 어셈블리, 펌웨어, 자바스크립트, HTML5, HTML코딩, UI·UX</p> <p class="etc">조사분석, 기획, 기획조사, 서비스기획, 전략, 타당성분석, 문서작성, 워드, Excel, OA, PowerPoint, 광고기획, 마케팅, 마케팅기획, 브랜딩, 시장분석, 브랜드, 설문조사, 시장조사, 통계, SAS, SPSS</p> <p class="etc">BM</p> <p class="etc">Associate, 조사분석, 컨설팅, 기획, 기획조사, 사업기획, 사업제휴, 영어, 일본어, 중국어, 해외영업, 고객관리, 매출관리, 영업관리, 영업기획, 영업지원, 경영컨설팅, 웹컨설팅, 컨설턴트, 투자심사, 투자자문</p> <p class="etc">경영기획, 기획, 사업기획, 서비스기획, 전략, 국내영업, 기술영업, 일반영업, 기술영업, 네트워크영업, 솔루션영업, 시스템영업, 신기술영업, 고객관리, 영업관리, 기술영업, 고객상담, 고객응대, 고객지원</p> <p class="etc">계장, 안전보건, 환경안전, Creo, Inventor, KOSHA, OMRON, Plant, PSA, KGS, 전기설비, 전기회로, 전자회로, 전장, 노사관리, 보상·승진, 인사, 인사기획, 인사통합, 인재개발, 채용·면접, HRD, MBO, 관리회계, 더존, 이카운트, 전산회계, 전표입력, 회계, 회계감사, ERP운용, 자금, 재무기획, 재무회계, 주식IR, 마케팅, 마케팅기획, 바이럴마케팅, 시장분석, 업무제휴, 납품, 물류, 물류관리, 배송, 재고관리, 택배, 자재관리, 시스템프로그래머, 어셈블리, 임베디드, 펌웨어, HMI, MMI, PLC, 공정, 공정관리, 안전, 품질, 품질검사, 품질관리, 품질보증, 기계, 생산직, 기구설계, 기술연구소, 기술직, 연구원, 제품개발, 화학, 임베디드, 전기, 전기설비, PLC, 3D설계, 기계설계, 기구설계, 공조냉동, 배관, 산업안전, 소방설비, 시설관리, 안전, 전기공사, 전기기사, 전기배선, 전기설비, 품질관리, 소방·방재, 가스점검, 위험물관리, 기계관리, 산업안전, 산업안전기사, 소방, 시설관리, 전기관리, 간호사, 전기·전자, 제조·공정, 화학·섬유</p>