#1. 데이터 불러오기
credit <- read.csv("c:\\data\\credit.csv", stringsAsFactors=TRUE)
#2. 데이터 관찰하기
dim(credit)
str(credit)
#3. 훈련과 테스트 분할하기
library(caret)
set.seed(1)
k <- createDataPartition( credit$default, p=0.8, list=F) # 훈련 데이터 80%
train_data <- credit[ k, ]
test_data <- credit[ -k, ]
#4. 모델 훈련하기
library(e1071)
model <- naiveBayes( default ~ . , data=train_data, laplace=0.0003 )
ncol(credit)
#5. 테스트 데이터 예측하기
result <- predict( model, test_data[ , -17] ) # 정답 빼고 넣어줍니다.
result
#6. 모델 평가하기
library(gmodels)
sum(result == test_data[ , 17] ) / length( test_data[ , 17 ]) * 100
CrossTable(x=result, y=test_data[ , 17], chisq=TRUE )
head(test_data[ , 17])
#■ 다른 성능 척도 구하기
actual_type <- test_data[ , 17] #테스트 데이터의 실제값
predict_type <- result #테스트 데이터의 예측값
positive_value <- 'yes' # 관심범주(yes) # 불이행자가 궁금하기 때문에 이거다
negative_value <- 'no'# 관심범주(no)
#■ 정확도
library(gmodels)
g <-CrossTable( actual_type, predict_type )
x <- sum(g$prop.tbl *diag(2)) #정확도 확인하는 코드
x #0.695
#■ 카파통계량
install.packages("vcd")
library(vcd)
table(actual_type,predict_type)
Kappa(table(actual_type, predict_type))
#■ 민감도
#install.packages("caret")
library(caret)
sensitivity(predict_type, actual_type, positive=positive_value) # 0.4166667
#■ 특이도
specificity(predict_type, actual_type, negative=negative_value) #0.8142857
# predict_type 예측값
# actual_type 실제값
#■ 정밀도
posPredValue(predict_type, actual_type, positive=positive_value) # 0.4901961
#■ 재현율
sensitivity( predict_type, actual_type, positive=positive_value) # 0.4166667
#■ F1 score 구하기
install.packages("MLmetrics")
library(MLmetrics)
F1_Score( actual_type, predict_type, positive = positive_value) # 0.4504505
| 정확도 | 카파 통계량 | 민감도 | 특이도 | 정밀도 | 재현율 | F1score |
laplace = 0.001 | 0.695 | 0.241 | 0.146 | 0.814 | 0.49 | 0.416 | 0.45 |