Logistic regression analysis시에 접하는 overfitting 문제

[cardiman]

안녕하세요, 논문을 쓰다가 해결이 어려운 문제가 있어 고수님들의 답변을 구합니다.

Logistic regression을 하여 데이터를 제시했는데, overfitting 문제를 언급해서요. 이 모델이 separation problem이 있어 Firth penalized logistic regression을 사용해서 제시했는데, 

1) Firth penalization method는 overfitting을 조금이라도 줄이는 데에는 효과가 없는지요?

2) Firth penalization과 maximum likelihood penalization은 전혀 다른 통계 기법인가요? 제가 알기로는 같은 것으로 알고 있는데, 그렇지 않다는 얘기를 들어서요.

고수님들의 답변을 간절히 바랍니다. 참고 문헌을 함께 알려주시면 금상첨화일 것 같습니다.

모두들 즐거운 연말 되세요^^.

[안재형]

분석방법에 대해서는 잘 모르겠고요. overfitting이라고 하면 너무 많은 독립변수를 넣었다는건데 쓸모없어보이는 독립변수를 모형에서 제거하면 될듯합니다.

[cardiman]

바쁘신데 답변주셔서 감사합니다. 확인해보니 두 개가 같은 방법이고, 표현을 다르게 하는 것 같습니다. Pre-shrinkage algorhithm으로 over-fitting을 줄일 수 있다고 되어 있네요^^.