소비자 상담민원 접수내역을 바탕으로 분류별 이슈 분석 시각화

[15기_김유진]

■ 주제 

2019, 2020년도의 소비자 상담민원 접수내역을 비교하여 주제별(성별,연령대,지역) 주요 상담 이슈를 시각화 하여 분석해본다.

순서는 아래의 SQL제출물과 동일하게 했다.

데이터의 증가와 기계학습 | 소비자 상담민원 접수내역을 바탕으로 분류별 이슈 분석 - Daum 카페

■ 데이터 분석 및 시각화

1. 데이터로드

import pandas as pd 
consult = pd.read_csv("c:\\data\\consult.csv")
consult

1-1. 이용한패키지

import pandas as pd
import matplotlib.ticker as ticker
import matplotlib.pyplot as plt
import matplotlib.patches as patches
import seaborn as sns
import numpy as np
import matplotlib.patches as mpatches

from matplotlib import font_manager, rc
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)

2. 년도별 전년대비 증감률 및 성별에 따른 상담 총건수 

import pandas as pd 
import numpy as np 

#테이블 만들기 
consult = pd.read_csv("C:\\data\\consult.csv")
x1 = consult[['년도', '품목', '성별']]

x1['남성'] = x1['성별'][x1['성별'] == '남성']
x1['여성'] = x1['성별'][x1['성별'] == '여성']

result1 = x1.groupby('년도')['남성'].count().reset_index()
result2 = x1.groupby('년도')['여성'].count().reset_index()
result6 = x1.groupby('년도')['품목'].count().reset_index()
result7 = result6[['품목']].astype(int)
#증감률
a=[]
for i in np.arange(0,4):
    result3 = round(((result7.loc[i+1] - result7.loc[i]) / result7.loc[i])*100,2)
     
    #print(result3[0])
    a.append(result3[0])
#print(a)

a.insert(0,0)

result_df = pd.DataFrame({'증감률':a})
#print(result_df)

result4 = pd.merge(result1,result2,on='년도')
result4_1 = pd.merge(result4,result6,on='년도')

table1=pd.concat([result4_1,result_df],axis=1)
table1 = table1.fillna(0)
table1.columns=['년도','남성','여성','총건수','증감률']


#그래프 생성 

from matplotlib import font_manager, rc
import matplotlib.ticker as ticker
import matplotlib.pyplot as plt
import matplotlib.patches as patches

# 한글 깨지지 않게 하는 코드 
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)

# 스타일지정
plt.style.use('ggplot')

# 그래프 색 코드를 리스트로 저장
colors = [
    ['#004ACD', '#00163D'],
    ['#FF0000', '#4D0000'],
    ['#00B798', '#00372E'],
]

bar_xrange = np.arange(len(table1['년도'].values)) # 막대 그래프의 x축 범위 설정
bar_thickness = 0.40 # 막대 그래프 두께 변수
line_passvalue = table1['증감률'].values

fig, ax1 = plt.subplots(figsize = (10, 5))

# 남성 막대 그래프 표시
bar1 = ax1.bar(bar_xrange - bar_thickness, '남성', data = table1, width = bar_thickness, color = colors[0][0],
               align = 'edge', label = '남성', alpha = 0.65, tick_label = '년도')

# 남성 막대 그래프 위 숫자 표시
for rect in bar1 :
    height = rect.get_height()
    plt.text(rect.get_x() + rect.get_width()/2.0, height, format(height, ','), ha = 'center', va = 'bottom', color = colors[0][1], size = 10.5)

# 여성 막대 그래프 표시
bar2 = ax1.bar(bar_xrange, '여성', data = table1, width = bar_thickness, color = colors[1][0],
               align = 'edge', label = '여성', alpha = 0.65, tick_label = '년도')

# 여성 막대 그래프 위 숫자 표시
for idx, rect in enumerate(bar2) :
    height = rect.get_height() + 40 if idx in [3, 8] else (rect.get_height() - 100) if idx in [17, 18] else rect.get_height()
    plt.text(rect.get_x() + rect.get_width()/2.0, height, format(rect.get_height(), ','), ha = 'center', va = 'bottom', color = colors[1][1], size = 10.5)

# 막대 그래프 영역 축 설정
ax1.set_xlim(-1, 5)
ax1.set_ylim(0, 180000)
ax1.set_xticks(range(0, 5))
ax1.set_yticks(range(0, 180000 + 1, 20000))

plt.xticks(rotation = 0, size = 11)
plt.yticks(size = 11)

# 증감률 표시를 위한 보조축 생성
ax2 = ax1.twinx()

# 증감률 선 그래프 표시
line1 = ax2.plot(bar_xrange, '증감률', data = table1, marker = 's', markersize = 6, linewidth = 2, color = colors[2][0], alpha = 0.65)

# 증감률 선 그래프 위 숫자 표시
for i in range(len(bar_xrange)) :
    try :
        # 선 그래프 표시 위치 설정 (상/하 위치에 따라 변경)
        if (line_passvalue[i] < line_passvalue[i - 1]) & (line_passvalue[i] < line_passvalue[i + 1]) :
            height = line_passvalue[i] - 3.75
        else :
            raise IndexError

    except IndexError :
        height = line_passvalue[i] + 1.25

    plt.text(bar_xrange[i], height, ('%.1f%%' %(line_passvalue[i])), ha = 'center', va = 'bottom', size = 10.5, color = colors[2][1])

# 선 그래프 영역 축 설정
ax2.set_xlim(-1, 5)
ax2.set_ylim(-500,100)
ax2.set_yticks(range(100, 200, 20))
plt.grid(False)

ax2.axes.yaxis.set_visible(False)
# 왼쪽 y축 천 단위 표시
ax1.get_yaxis().set_major_formatter(ticker.FuncFormatter(lambda x, p: format(x, ',')))

# 오른쪽 y축 %표시
ax2.get_yaxis().set_major_formatter(ticker.FuncFormatter(lambda x, p: str(x) + '%'))

plt.title('년도별 전년대비 증감률 및 성별에 따른 상담 총건수', pad = 15, 
          fontsize = 17,fontweight='bold')
plt.yticks(size = 11)

#남성,여성라벨설정
variable_x = patches.Patch(color=colors[0][0],label='남성')
variable_y = patches.Patch(color=colors[1][0],label='여성')
plt.legend(handles=[variable_x, variable_y])

#사각형삽입
shp1=patches.Rectangle((2.5,-250),2,200 ,edgecolor='r',fill=False,
                       linestyle='dashed',linewidth=2)
shp2=patches.Arrow(1.3,150,0.5,0,width=50
                   ,edgecolor='black',linestyle='solid',linewidth=1.5,
                   fill=True,facecolor='red')

box1 = {'boxstyle': 'round',
        'ec': (1.0, 0.5, 0.5),
        'fc': (1.0, 0.8, 0.8)}

plt.gca().add_patch(shp1)
plt.gca().add_patch(shp2)
plt.gca().text(0.25,150,"증감률이 높은 지점",fontsize=12, fontweight='bold',bbox=box1)
plt.gca().text(2.5,-20,"비교할 년도",fontsize=12,fontweight='bold',bbox=box1)

#plt.text(2.5, -20, 'check year', fontdict=font1, bbox=box1)
#plt.text(0.75,150, 'high point',fontdict=font1,bbox=box1)
fig.tight_layout()
plt.show()

위의 그래프를 통해 2016년 ~ 2020년 모두 여성이 남성보다 상담 접수 건수가 많은걸 확인할 수 있었다. 
상담 총 접수 건수는 이전년도에 비해 2019년도 부터 크게 차이를 보였다. 
2020년도에는 2019년도에 비해 -2.4%건수가 줄었지만 다른 년도들에 비해 높은 상담접수가 이루어졌다.
전년대비 상담 접수건수의 증감률은 2018년도가 134.0%로 가장 높았다. 
( 2016년은 전년대비 비교할 데이터가 없어 임의로 0이라고 설정을 하였다. ) 

따라서, 위의 내용을 바탕으로 데이터 내 상담건수가 많았던 상위 2020년과 2019년을 분류별로 비교해본다.

3. 년도별 상위 TOP10 품목 

from matplotlib import font_manager, rc
import matplotlib.pyplot as plt
import seaborn as sns

# 한글 깨지지 않게 하는 코드 
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)

#2020년 상위10 항목 
consult2020 = consult[:][consult['년도']=='2020년']

consult2020_1 = consult2020.groupby('품목')['년도'].count().astype('int').reset_index()
consult2020_1.columns = ['품목','건수']
consult2020_1.sort_values(by='건수',ascending=False,inplace=True)
consult_yt20 = consult2020_1.head(10) # 2020년도 상위 항목 10개 
#consult_yt20

#2020 그래프 그리기 
consult_yt20.plot.pie(y='건수',autopct ='%1.1f%%',colors = sns.color_palette("autumn",10),
                     labels = ['헬스장','이동전화서비스','항공여객운송서비스','국외여행','정수기대여(렌트)',
'투자자문(컨설팅)','기타보건·위생용품','스마트폰','예식서비스','기타의류·섬유'],
                     explode = (0.1,0, 0, 0,0,0,0,0,0,0),startangle=100,counterclock=False)

plt.title('2020년 상위품목 TOP10', size=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(2,1))
plt.axis('off')

#2019년 상위10 항목 
consult2019 = consult[:][consult['년도']=='2019년']

consult2019_1 = consult2019.groupby('품목')['년도'].count().astype('int').reset_index()
consult2019_1.columns = ['품목','건수']
consult2019_1.sort_values(by='건수',ascending=False,inplace=True)
consult_yt19 = consult2019_1.head(10)  # 2019년도 상위 항목 10개 

#2019년 그래프 그리기 
consult_y19.plot.pie(y='건수',autopct ='%1.1f%%',colors = sns.color_palette("autumn",10),
                     labels = ['헬스장','이동전화서비스','기타의류·섬유','스마트폰','정수기대여(렌트)',
          '초고속인터넷','국외여행','투자자문(컨설팅)','점퍼·재킷류','중고자동차중개·매매'],
                     explode = (0.1,0, 0, 0,0,0,0,0,0,0),startangle=100,counterclock=False)

plt.title('2019년 상위품목 TOP10', size=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(2,1))
plt.axis('off')

2020년도,2019년도 모두 상담 접수 품목(주제) 중 '헬스장'이 1위, '이동전화서비스'가 2위였다.
전체적으로 2020년도에는 2019년도에 비해 새롭게 등장한 품목이 보이고있다. 
대표적으로는 '항공여객운송서비스' 3위, '국외여행' 4위가 있는데, 이는 코로나로 인한 환불 문의, 접수취소가 주된 원인으로 보여진다.

4. 년도별 성별 비율 

( 아래는 2020년의 코드이다. 2019년도의 코드는 비슷하여 생략했다 ) 

import pandas as pd 
import matplotlib.pyplot as plt
from matplotlib import font_manager, rc

# 한글 깨지지 않게 하는 코드 
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)

#2020년도 상담 총건수 성별비율
result_f = consult[['성별']][(consult['년도']=='2020년')&(consult['성별']=='여성')].value_counts().reset_index()
result_f.columns=['성별','접수건수']
result_m = consult[['성별']][(consult['년도']=='2020년')&(consult['성별']=='남성')].value_counts().reset_index()
result_m.columns=['성별','접수건수']

table2 =pd.concat([result_f,result_m],axis=0)
#table2

table2.plot.pie(y='접수건수',labels = ['여성','남성'],autopct ='%1.1f%%',colors = ['pink','gray'],
                wedgeprops=dict(width=0.7),
                explode=(0,0.1), shadow=True)
plt.title('2020년 성별비율',size=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(1,1))
plt.axis('off')

2020,2019년도 모두 여성의 상담접수 비율이 56%로 남성보다 높았다.

5. 성별에 따른 주요 상담 접수 품목비교 

import pandas as pd 

#테이블 만들기
#2020년 여성 상위10 품목 
f_2020 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='여성')]
f2_2020 = f_2020.groupby('품목')['년도'].count().astype('int').reset_index()
f2_2020.columns = ['품목','건수']
f2_2020.sort_values(by='건수',ascending=False,inplace=True)
f3_2020 = f2_2020.head(10)

#2020년 남성 상위10 품목 
m_2020 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='남성')]
m2_2020 = m_2020.groupby('품목')['년도'].count().astype('int').reset_index()
m2_2020.columns = ['품목','건수']
m2_2020.sort_values(by='건수',ascending=False,inplace=True)
m3_2020 = m2_2020.head(10)

fm_2020 = pd.merge(f3_2020,m3_2020,on='품목',how='outer')
fm_2020.columns=['품목','여성','남성']
fm2_2020 = fm_2020.fillna(0)
fm3_2020 = fm2_2020.astype({'여성':'int','남성':'int'})

#그래프그리기(1번그림)

import pandas as pd 
import matplotlib.pyplot as plt
from matplotlib import font_manager, rc
import seaborn as sns

# 한글 깨지지 않게 하는 코드 
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)
#그래프그리기

#스타일지정
plt.style.use('ggplot')

bars = fm3_2020.plot(kind = 'bar',width=0.7, x='품목',color=sns.color_palette("Pastel1")
                     ,align='edge',edgecolor='black') 

plt.title('2020년도 성별에따른 상위 품목 비교',fontsize=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(1.2, 1))

for p in bars.patches:
    width, height = p.get_width(), p.get_height()
    x, y = p.get_xy() 
    bars.text(x+width-0.25, 
            y+height+200,
            height ,
            horizontalalignment='center', 
            verticalalignment='top'
            ,fontsize = 8)
plt.xticks(rotation=45,fontsize=7,fontweight='bold')

#그래프그리기(2번그림)
# 특정 막대 그래프 색상넣기 
alloy = fm3_2020.iloc[:, 0].values.copy()
sigma_norm = fm3_2020.iloc[:, 1].values.copy()
sigma_norm2 = fm3_2020.iloc[:,2].values.copy()

fig, ax = plt.subplots(figsize=(6, 6))
a = ax.barh(alloy,-sigma_norm2,color="lightskyblue")
b = ax.barh(alloy,sigma_norm,color="lightcoral")

bars = ax.patches

aa=bars[13]
aa.set_facecolor(color= 'gold') 
aa.set_edgecolor("firebrick")
aa.set_linewidth(1.5)

bb=bars[2]
bb.set_facecolor('gold')
bb.set_edgecolor("firebrick")
bb.set_linewidth(1.5)

#범례설정
import matplotlib.patches as mpatches
x = mpatches.Patch(color='lightskyblue',label='남성')
y = mpatches.Patch(color='lightcoral',label='여성')
plt.legend(handles=[x, y])

#막대그래프에 값 추가 
for q in ax.patches: 
    x, y, width, height = q.get_bbox().bounds
    ax.text(width+1.05, y+height/2, "%.0f "%(width), va='center')

#타이틀넣기 
plt.title('2020년도 성별에따른 상위 품목 비교',fontsize=20,fontweight='bold')

2020년도 성별에따른 상위품목비교 

2019년도 성별에 따른 상위품목비교 

성별에 따른 상위 품목을 비교했을 때, 성별을 구분 하기 전 상위품목과 주요항목들은 비슷하였지만 작은 차이를 확인할 수 있었다.

먼저 여성의 경우 2020년,2019년 모두 '헬스장' 품목이 1위로 상담접수가 가장 많았다. 
그 뒤로 국외여행항목이 코로나로 인해 2위로 크게 상승했다.
또한, 두 년도 모두 여성의 경우 '원피스','점퍼재킷류'와 같은 의류 품목과 관련된 접수가 꾸준히 이루어졌다.

남성의 경우 두 년도 모두 '이동전화서비스' 품목이 1위로 상담접수가 가장 많았다. 
또한, 두 년도 모두 남성의 경우 '스마트폰','TV','중고자동차중개,매매'와 같은 전자기기&자동차와 관련된 접수가 꾸준히 이루어졌다.

이를통해 여성의 경우 의류 품목, 남성의 경우는 자동차,전자기기(주로 휴대폰)품목
이 두 분야의 품목은 코로나와 같은 경제 이슈와 상관없이 앞으로도 꾸준히 접수가 되어질 것이라고 예상된다. 

6. 워드클라우드를 통한 주요 사건접수내용 확인해보기 

#여성 워드클라우드 
# 테이블만들기
a1 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='여성')
                &(consult['품목'].isin(['헬스장', '국외여행','이동전화서비스','항공여객운송서비스','기타의류·섬유','기타보건·위생용품',
                                      '정수기대여(렌트)','예식서비스','투자자문(컨설팅)','점퍼·재킷류']))]
a2 = a1.groupby(['품목','사건제목'])['년도'].count().astype('int').reset_index()
a2.columns = ['품목','사건제목','건수']
a2.sort_values(by='건수',ascending=False,inplace=True)
#2020female.txt 파일로 저장 
a2.to_csv("c:\\data\\2020female.txt",index=False)

#긍정,부정단어 테이블에서 뽑아오기 
name = input('감정분석할 텍스트 파일의 이름을 입력하세요~')

#1. 텍스트 파일 3개를 불러온다.
origin_text = open("c:\\data\\" + name, encoding = "utf8")
positive = open("c:\\data\\pos_pol_word.txt",encoding="utf8")
negative = open("c:\\data\\neg_pol_word.txt",encoding="utf8")

#2. 위의 텍스트 파일 3개를 엔터로 구분해 변수에 담는다.
origin = origin_text.read()  # origin_text를 문자형 변수 origin에 담는다
pos = positive.read().split('\n') #긍정단어를 엔터로 구분해서 리스트로 구성 
neg = negative.read().split('\n') #부정단어를 엔터로 구분해서 리스트로 구성 

#3. pos와 neg 리스트에서 결측치를 제거한다. 
pos = list(filter(lambda x:x,pos))
neg = list(filter(lambda x:x,neg))

#4. 단어 한 자리는 삭제
pos1 = list(filter(lambda x: True if len(x) >1 else False, pos))
neg1 = list(filter(lambda x: True if len(x) >1 else False, neg))

#5. 분석하고자 하는 텍스트에 나오는 긍정단어를 저장할 csv파일 생성 
#5-1. 부정단어도 동일하게 f3으로 저장. 
f2 = open("c:\\data\\origin_pos.csv","w",encoding="utf8")
f3 = open("c:\\data\\origin_neg.csv","w",encoding="utf8")

#6. 긍정 단어에서 제외시키고 싶은 단어들을 제외시킨다. 
pos1.remove('ㅎㅎ')
pos1.remove('^^')
pos1.remove('이벤트')
pos1.remove('어진')

#7. 원본 데이터에서 긍정단어가 얼마나 포함되었는지 확인하고 내리는 코드
for i in pos1:
    if i in origin:
        #print(i+','+str(origin.count(i))+'\n')
        f2.write(i+','+str(origin.count(i))+'\n')

f2.close()

#8. 위에서 생성한 csv파일을 판다스 데이터 프레임으로 만들어서 출력하는 코드
import pandas as pd 

pd.set_option('display.max_rows',None)  #결과 출력시 중간에 생략하지 않고 다 출력하는코드

origin_df = pd.read_csv("c:\\data\\origin_pos.csv",header=None)
origin_df.columns=['word','cnt']
origin_df['순위']= origin_df['cnt'].rank(method='dense',ascending=False).astype(int)

a_pos = origin_df[:].sort_values(by=['순위']).head(20) #상위 20개만 출력

#9. 부정 단어에서 제외시키고 싶은 단어들을 제외시킨다. 
neg1.remove('저는')


#10. 원본 데이터에서 부정단어가 얼마나 포함되었는지 확인하고 내리는 코드
for i in neg1:
    if i in origin:
        #print(i+','+str(origin.count(i))+'\n')
        f3.write(i+','+str(origin.count(i))+'\n')

f3.close()

#11. 위에서 생성한 csv파일을 판다스 데이터 프레임으로 만들어서 출력하는 코드
import pandas as pd 

pd.set_option('display.max_rows',None)  #결과 출력시 중간에 생략하지 않고 다 출력하는코드

origin_neg_df = pd.read_csv("c:\\data\\origin_neg.csv",header=None)
origin_neg_df.columns=['word','cnt']
origin_neg_df['순위']= origin_neg_df['cnt'].rank(method='dense',ascending=False).astype(int)

a_neg = origin_neg_df[:].sort_values(by=['순위'])

#12. 긍정 데이터 프레임과 부정 데이터 프레임을 옆으로 이어 붙이기 

a_pos.reset_index(drop=True,inplace=True)  # a_pos데이터 프레임의 인덱스를 없앤다
a_neg.reset_index(drop=True,inplace=True)  # a_neg데이터 프레임의 인덱스를 없앤다.
df_posneg=pd.concat([a_pos,a_neg],axis=1)  #인덱스 없는 상태에서 옆으로 붙인다.

#return df_posneg.style.hide_index()

print(df_posneg)
df_posneg.to_csv("c:\\data\\femaleword.txt",index=False)

def  wordcloud():
    
    ss = 'c:\\data\\'    
    name = input('파일명을 입력하세요 ~ ')

    # 텍스트마이닝 데이터 정제
    from wordcloud import WordCloud, STOPWORDS  # 시각화, 데이터 정제를 위해 임폴트
    import matplotlib.pyplot as plt  # 그래프 그리는 모듈
    from os import path     #  os 에 있는 파일을 파이썬에서 인식하기 위해서
    import re   #  데이터 정제를 위해서 필요한 모듈 
    import numpy as np  
    from PIL import Image  # 이미지 시각화를 위한 모듈 

    # 워드 클라우드의 배경이 되는 이미지 모양을 결정
    thumbs = np.array(Image.open("c:/project/circle.png"))

    # 워드 클라우드를 그릴 스크립트 이름을 물어봅니다. 
    script = ss + name

    text = open( script , mode="r", encoding="utf-8").read()

    # 너무 공통적으로 자주 나오는 단어들을 제거하기 위한 작업  
    file = open('c:/project/word.txt', 'r', encoding = 'utf-8')
    
    word = file.read().split(' ')   # 어절별로 분리함
    for i in word:
        text = re.sub(i,'',text)      # 떡군이네 text 에서 word 에 있는 단어들을 전부 null 로 변경한다. 


    wordcloud = WordCloud(font_path='C://Windows//Fonts//malgunbd.ttf', # 글씨체
                          stopwords=STOPWORDS,   # 마침표, 느낌표,싱글 쿼테이션 등을 정제
                          max_words=10000, # 워드 클라우드에 그릴 최대 단어갯수
                          background_color='white', # 배경색깔
                          max_font_size = 150, # 최대 글씨 크기 
                          min_font_size = 20, # 최소 글씨 
                          mask = thumbs,# 배경 모양 
                          colormap='RdPu',
                         collocations=False).generate(text).to_file('c:/project/yys_cloud.png')
                      # c 드라이브 밑에 project 폴더 밑에 생성되는 워드 클라우드 이미지 이름

    plt.figure(figsize=(15,15))            # 워드 클라우드의 가로 세로 사이즈
    plt.imshow(wordcloud, interpolation='bilinear')  # 글씨가 퍼지는 스타일 
    plt.axis("off")
wordcloud()

#남성 상위품목 중 주요 사건접수내용 시각화 

#1. 테이블만들어 '2020male.txt'로 저장하기 
b1 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='남성')
                &(consult['품목'].isin([ '헬스장','국외여행','이동전화서비스','항공여객운송서비스','정수기대여(렌트)',
                                      '예식서비스','투자자문(컨설팅)','스마트폰','초고속인터넷','중고자동차중개·매매']))]
b2 = b1.groupby(['품목','사건제목'])['년도'].count().astype('int').reset_index()
b2.columns = ['품목','사건제목','건수']
b2.sort_values(by='건수',ascending=False,inplace=True)
#b2 
b2.to_csv("c:\\data\\2020male.txt",index=False)

#2. 위의 파일을 가지고 긍정, 부정단어 테이블 생성 및 'mlaeword.txt'파일 만들기( 다음 시각화를 위한 파일생성)

코드는 위와 동일하여 생략한다.

#3. 워드클라우드 시각화 하기 

코드는 위와 동일하여 생략한다. 

(왼) 여성 워드클라우드 (오) 남성 워드클라우드

7. 연령대별 상담접수 시각화 

앞서 4번분석에서 2020년, 2019년도 모두 상담접수 비율이 거의 동일하였다. 

따라서 해당 분석은 2020년도만 분석한다. ( 실제로 , 2019년도 분석결과 또한 2020년도의 분석결과와 유사하다 ) 

# squarify 라이브러리 설치 
! pip install squarify 

#2020년 연령대 
z = consult[:][(consult['년도']=='2020년')]
z1 = z.groupby('연령대')['년도'].count().astype('int').reset_index()
z1.columns = ['연령대','건수']
z1 = z.groupby('연령대')['년도'].count().astype('int').reset_index()
z1.columns = ['연령대','건수']
z1.sort_values(by='건수',ascending=False,inplace=True)
z2 = z1.head(10)
z2

import squarify

squarify.plot(sizes=z2['건수'],label = z2[2:1].index, value = z2['연령대'],
              color=sns.color_palette("hot",8),alpha=0.7,
              text_kwargs={'color':'black', 'size':10})
plt.axis('off')
plt.title('2020년 연령대별 상담건수 시각화',fontweight='bold')

색깔이 진할수록 높은 상담접수를 한 연령대이다. 
위의 시각화된 사진에서는 30대가 가장 상담접수를 많이했으며, 40대, 50대 순으로 접수를 많이한것을 확인할 수 있었다.
상담접수가 가장 적은 연렁대는 10대와 80대이상의 연령대이다. 

8. 연령대,성별에 따른 상담건수 비교 

#테이블 만들기
#2020년 여성 연령대 인원수
y20 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='여성')]
y20_2 = y20.groupby('연령대')['년도'].count().astype('int').reset_index()
y20_2.columns = ['연령대(여)','인원수']

#2020년 남성 연령대 인원수
y220 = consult[:][(consult['년도']=='2020년')&(consult['성별']=='남성')]
y220_2 = y220.groupby('연령대')['년도'].count().astype('int').reset_index()
y220_2.columns = ['연령대(남)','인원수']

y2020 = pd.concat([y20_2,y220_2],axis=1)
#y2020

import pandas as pd
from matplotlib import font_manager, rc
import matplotlib.pyplot as plt
import seaborn as sns
import matplotlib.patches as patches

# 한글 깨지지 않게 하는 코드 
font = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font)

#여성그래프 

fig, axs = plt.subplots(ncols=1 , sharey= True , figsize=( 15 , 5), gridspec_kw={ "wspace" : 10}) 
a = sns.barplot(y = y20_2['연령대(여)'], x = y20_2['인원수'], color= "lightcoral")
ax = a 

#남성그래프
b = sns.barplot(y = y220_2['연령대(남)'], x = -y220_2['인원수'], color= "cornflowerblue")
bx = b 

#그래프에 값 표시
for q in bx.patches: #bx.patches:
    x, y, width, height = q.get_bbox().bounds
    bx.text(width+1.05, y+height/2, "%.0f "%(width), va='center')

plt.xlim([-40000,40000])
variable_x = patches.Patch(label='남성',color= "cornflowerblue")
variable_y = patches.Patch(label='여성',color= "lightcoral")
plt.legend(handles=[variable_x, variable_y])

plt.title('연령대별 여성 남성 비율',fontsize = 20 , fontweight='bold')

남녀모두 30대가 가장 상담접수를 많이했으며, 10대&80대이상 나이대가 가장 적게 접수했다.
이를통해 성별로 분리했을 경우도 위의 6번분석(성별구분 X)과 동일하게 나타난것을 확인할 수 있었다. 

9. 연령대별 관심품목 

#2020년 연령대별 관심품목 top5 함수 생성 

def graph(name):
    name = input('연령대를 입력하시오')
    
    #테이블 생성 
    age1 = consult[:][consult['년도']=='2020년']
    age2= age1.groupby(['품목','연령대'])['년도'].count().astype('int').reset_index()
    age2['순위'] = age2.groupby('연령대')['년도'].rank(method='min',ascending=False).astype(int)
    age2.columns = ['품목','연령대','인원수','순위']
    age2.sort_values(by='순위',inplace=True)
    age3 = age2[:][age2['연령대']== name]
    #age_result = age3.sort_values(by='연령대')
    #age_result
    age_result = age3.sort_values(by='순위')
    age_result2 = age_result.head(5)
    #age_result2

    # name대 그래프 생성 
    age_result2.plot.pie(y='인원수',labels = age_result2['품목'],autopct ='%1.1f%%',
                        colors = sns.color_palette('GnBu'),
                        wedgeprops=dict(width=0.7),
                        startangle=100,counterclock=False)
    plt.title(name+' 상위품목',size=20,fontweight='bold')
    plt.legend(loc=(1,1), bbox_to_anchor=(1,1))
    plt.axis('off')
    
graph(name)

graph(name)함수를 이용하여 10대 ~ 80대 이상 연령대의 상위 접수품목 그래프를 모두 생성한다. 

각 연령대의 상위 5개의 상담 품목을 확인할 수 있다.
1위만 확인해보면 아래와 같다. 

10대는 '일반강습(입시학원등)'
20대,30대 '헬스장'
40대는 정수기대여(렌트),
50대,60대 '투자자문(컨설팅)'
70대,80대이상 '이동전화서비스' 

위의결과는 당연한 것이겠지만 4번 분석(성별에 따른 상위 항목 분석)에서의 상위 상담품목과 겹치고 있다. 
특이한 점이라면 10대의 '일반강습(입시학원등)'이지만, 10대의 경우 상담접수 건수가 작기 때문에 4번에서 분석한 항목에서는 확인되지 않고 있다. 

10. 지역 분석 

#2020년도의 지역별 상위 접수 
x1 = consult[['년도', '지역']]
x1['건수'] = x1['지역'][x1['년도'] == '2020년']

map= x1.groupby('지역')['건수'].count().reset_index()
map2 = map.sort_values(by='건수',ascending=False)
map3 = map2.head(10)

plt.style.use("bmh")

bars = map3.plot(kind = 'bar',width=0.7, x='지역',color=sns.color_palette("BuPu")
                     ,align='edge',edgecolor='black') 


plt.title('2020년도 지역별 상담건수 비교',fontsize=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(1.2, 1))

for p in bars.patches:
    width, height = p.get_width(), p.get_height()
    x, y = p.get_xy() 
    bars.text(x+width-0.30, 
            y+height+ 1000,
            height ,
            horizontalalignment='center', 
            verticalalignment='top'
            ,fontsize = 8,fontweight='bold')

plt.xticks(rotation=45,fontsize=10,fontweight='bold')

2019년도 데이터는 조건만 2019로 변경한다. 

#2020년도의 지역별 상위 접수 
x1 = consult[['년도', '지역']]
x1['건수'] = x1['지역'][x1['년도'] == '2020년']

map= x1.groupby('지역')['건수'].count().reset_index()
map2 = map.sort_values(by='건수',ascending=False)
map3 = map2.head(10)

#2019년도의 지역별 상위 접수 
y1 = consult[['년도', '지역']]
y1['건수'] = y1['지역'][y1['년도'] == '2019년']

mapp= y1.groupby('지역')['건수'].count().reset_index()
mapp2 = mapp.sort_values(by='건수',ascending=False)
mapp3 = mapp2.head(10)

result10 = pd.merge(map3,mapp3,on='지역',how='outer')
result11 = result10.fillna(0)
result11.columns = ['지역','2020년','2019년']
#result11

plt.style.use("bmh")

bars = result11.plot(kind = 'bar',width=0.7, x='지역',color=sns.color_palette("PRGn")
                     ,align='edge',edgecolor='black') 


plt.title('지역별 상담건수 비교',fontsize=20,fontweight='bold')
plt.legend(loc='best', bbox_to_anchor=(1.25, 1))

for p in bars.patches:
    width, height = p.get_width(), p.get_height()
    x, y = p.get_xy() 
    bars.text(x+width-0.30, 
            y+height+ 1000,
            height ,
            horizontalalignment='center', 
            verticalalignment='top'
            ,fontsize = 8)

plt.xticks(rotation=45,fontsize=10,fontweight='bold')

2020년,2019년 모두 경기도, 서울특별시, 부산광역시 순으로 상담접수 비율이 높았다. 
그 외의 순위들도 비슷하지만 2020년에는 6위가 '고양시'에서 '대전광역시'로 변경되었다. 
기존 6위였던 고양시는 9위로 내려갔다. ( ▼ 3위 ) 
이외로, 2019년에 9위였던 해외 및 기타 지역은 2020년에는 보이지 않고 있다. 
2020년에는 광주광역시가 10위로 새롭게 등장한걸 확인할 수 있었다. 

11. 상위 지역 경기도의 주요 상담접수 품목 시각화 

#2020년 경기도 상위품목 
a1 = consult[:][(consult['년도']=='2020년')&(consult['지역']=='경기도')]
a2 = a1.groupby(['품목','지역'])['년도'].count().astype('int').reset_index()
a2.columns = ['품목','지역','건수']
a2.sort_values(by='건수',ascending=False,inplace=True)
a3 = a2.head(10)
#a3

import squarify

squarify.plot(sizes=a3['건수'],label = a3[2:1].index, value = a3['품목'],
              color=sns.color_palette("hot",8),alpha=0.7,
              text_kwargs={'color':'black', 'size':10})
plt.axis('off')
plt.title('2020년 경기도 상담건수 시각화',fontweight='bold')

2019년도의 코드는 위와 동일하여 생략한다.  ( 년도 조건만 다름 ) 

경기도에서는 2020년, 2019년 모두 '헬스장','이동전화서비스'가 가장 높은 상담접수 품목인 것을 확인할 수 있었다. 
3위부터는 일부 품목의 상담접수 건수가 바뀐것을 시각화를 통해 확인할 수 있다.