<div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/R4uk/6e6cceaf63d38545899f6ae4f2659fca8d2b6b9e" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/R4uk/6e6cceaf63d38545899f6ae4f2659fca8d2b6b9e" data-orgin-width="388" data-origin-height="110"></div><p>2021년을 맞이하여 문득 그동안 유저들의 가장 뜨거운 감자는 뭐였을까 궁금해서 재미삼아 빅데이터 분석을 해봤습니다</p><p>제가 전공자이긴 하지만 머신러닝은 쬬끔 서툴러서 고수분들이 분석하는 것과 다를 수 있습니다</p><p>재미로만 봐주세요 ~ 😋</p><p> </p><p> </p><p><b><span data-ke-size="size18">1. 데이터 수집</span></b></p><p> </p><p>사이트: 매직위버 #<b>유저의소리</b> 게시판</p><p>기간 : <b>19.01.01 ~ 20.12.31</b></p><p>데이터: <b>1276개</b> 게시물 크롤링 데이터</p><p> </p><p> </p><p><span data-ke-size="size18"><b>2. 데이터 전처리</b></span></p><p> </p><p>네트워크 오류로 인한 중복데이터 삭제 + 사진만 있고 글 없는 빈 게시글 삭제 + ....</p><p> </p><p>=> <b>1232</b>개</p><p> </p><p> </p><p><span data-ke-size="size18"><b>3. 데이터 분석</b></span></p><p> </p><p>1) Python의 sklearn이라는 딥러닝 라이브러리 중 TF/IDF를 사용하여 형태소들을 가중치 벡터화</p><p> </p><p>  => 648개 단어조합 중 <b>50위</b>까지 출력</p><p> </p><p>* "있습니다", "바랍니다", "하는", "모든" "수" 등등의 의미 없는 불용어들은 최대한 제외시켰습니다</p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/R4uk/8a9c490d19e87d63a5ddc3da6e5c07ae1d4c3c55" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/R4uk/8a9c490d19e87d63a5ddc3da6e5c07ae1d4c3c55" data-orgin-width="643" data-origin-height="716"><div class="figcaption">1-50위까지 가장 많이 같이 쓰인 단어들</div></div><p>2) 그리고 다시 <b>100위</b>까지 데이터를 워드클라우드로 뽑아 봤습니다</p><p> => 위 데이터를 워드클라우드가 형태소 단위로 분석해서 위 표와 잘 안 맞을 수 있습니다</p><div class="figure-img" data-ke-type="image" data-ke-style="alignCenter" data-ke-mobilestyle="widthOrigin"><img src="https://t1.daumcdn.net/cafeattach/R4uk/ee245721a3bbfc12bab0720977ec182c0387c1df" class="txc-image" data-img-src="https://t1.daumcdn.net/cafeattach/R4uk/ee245721a3bbfc12bab0720977ec182c0387c1df" data-orgin-width="1702" data-origin-height="1033"><div class="figcaption">워드클라우드로 표현</div></div><p><span data-ke-size="size18"><b>4. 인사이트</b></span></p><p> </p><p>아무래도 지난해 초부터 가장 핫이슈였던, 그리고 꾸준히 언급되었던</p><p><b>머큐리얼 시드보상</b> / <b>머루 난이도</b> / <b>리노베이션</b> / <b>필드보스</b> / <b>서버렉</b>과 관련한 단어들이 눈에 띄네요</p><p> </p><p>시드보상은 다시 롤백됐고 머루 난이도도 개선됐고 이렇게 보면 또 은근히 패치된 것들이 많은 것 같습니다</p><p>역시나 지난해 말에 있었떤 보리스 막시민 리노베이션과 관련해서도 꽤 핫했구요</p><p> </p><p>데이터 범위가 19년도까지 포함되어 있어서 그런지 몰라도</p><p>'음 이 단어가 더 많을 것 같았는데?' 싶은 단어들이 50위권 밖에 자리하기도 했습니다.</p><p> </p><p>그리고 사실은 '아니' '이건' '좀' '진짜' 이런 단어들을 포함해서 욕설은 아니지만 욕 같은 단어들도 굉장히 많았는데</p><p>제가 전처리 과정에서 살짝 제외시켰습니다 ㅋㅋㅋㅋㅋ</p><p>그거 없이 그냥 진짜로 raw하게 보면 굉장히 재밌습니다 ㅋㅋㅋㅋ</p><p>'제발 고쳐주세요'나 '말도 안되는', '이유가 뭐죠', '이해가 안되네요' 같은 조합들은</p><p>제 웃음지뢰라 그냥 그대로 나뒀습니닼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ</p><p> </p><p>이걸 좀 더 고도화시키면 유저들 피드백을 더 수월하게 받을 수 있지 않을까 합니다</p><p>현업에서 사업기획이나 마케팅에서 많이들 쓰니깐요</p><p>(사실 그렇게 하지 않아도 유저 게시판 훑어만 보더라도 알 수 있을 텐데.... 그럴 일이 없겠죠....)</p><p> </p><p> </p><p>무튼 이렇게 보니까 여러분들의 고통이 리마인드 되는 것 같네요 ㅋ.ㅋ</p><p>2021년에는 레어도 많이 먹고 덜 고통스럽게 재밌게 즐겨봅시다~</p><p> </p><p>새해복 많이들 받으십쇼 !</p>
<!-- -->
첫댓글 승보가없네
뺐습니다 ㅋㅎ
재밌네. 진행 시켜.
드가자~
옆집 원기는 이름만 쳐도 애미가 나오는데.. 우리 승보는...
ㅋㅋㅋㅋㅋㅋㅋ할많하않입니다
재밌는 조사네요ㅋㅋ정성추!
감사합니다 🥳
삭제된 댓글 입니다.
하면서도 재밌었습니다 ~~ ㅎㅎ
제발고쳐주세요ㅋㅋㅋㅋㅋㅋㅋ
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
넷마이너 쓰신건가요? 단어 전처리 하신거보니 언어 네트워크 분석 하신것 같아서요!
비슷합니다 pandas로 데이터 다듬고 연관있는 단어끼리 묶어주는 벡터화 작업했습니다 ㅎㅎ