Re: 오늘의 마지막 문제. 독일 은행 데이터로 머신러닝 모델을 생성하는데 정확도 외에 ...

[19기_안민영]

#1. 데이터 불러오기
credit <- read.csv('c:\\data\\credit.csv', stringsAsFactors = T)

#2. 데이터 관찰하기
str(credit)

#3. 훈련과 테스트 분할하기
library(caret)
set.seed(1)

k <-  createDataPartition( credit$default, p=0.8, list=F) #  훈련 데이터 80%
train_data  <- credit[ k,    ]
test_data <- credit[ -k,    ]

#4. 모델 훈련하기
library(e1071)
model <-  naiveBayes( default ~  . ,  data=train_data, laplace=0.0004 )

#5. 테스트 데이터 예측하기
result <-  predict( model,  test_data[    , -17] )  # 정답 빼고 넣어줍니다.

#6. 모델 평가하기 
library(gmodels)
sum(result == test_data[  , 17] )  / length( test_data[  , 17]) * 100
CrossTable(x=result, y=test_data[   , 17], chisq=TRUE )

nrow(test_data)
head(test_data)

actual_type <- test_data[ ,17]  #테스트 데이터의 실제값
predict_type <- result  #테스트 데이터의 예측값
positive_value <- 'yes' # 관심범주(yes)
negative_value <- 'no'# 관심범주(no)

#■ 정확도
library(gmodels)
g <-CrossTable( actual_type, predict_type )
x <- sum(g$prop.tbl *diag(2)) #정확도 확인하는 코드
x #0.9122807

#■ 카파통계량
#install.packages("vcd")
library(vcd)
table(actual_type,predict_type)
Kappa(table(actual_type, predict_type)) 

#■ 민감도
#install.packages("caret")
library(caret)
sensitivity(predict_type, actual_type, positive=positive_value) 

#■ 특이도
specificity(predict_type, actual_type, negative=negative_value) 

#■ 정밀도
posPredValue(predict_type, actual_type, positive=positive_value)

#■ 재현율
sensitivity( predict_type, actual_type, positive=positive_value) 

#■ F1 score 구하기 
library(MLmetrics)
F1_Score( actual_type,  predict_type, positive = positive_value) 

모델 정확도 카파 통계량 민감도 특이도 정밀도 재현율 F1score

laplace = 0.001	Naive Bayes	0.695	0.2413	0.4166667	0.8142857	0.4901961	0.4166667	0.4504505
laplace = 0.002	Naive Bayes	0.695	0.2413	0.4166667	0.8142857	0.4901961	0.4166667	0.4504505
laplace = 0.003	Naive Bayes	0.695	0.2413	0.4166667	0.8142857	0.4901961	0.4166667	0.4504505