# 이곳은 자유게시판입니다.
* 스터디 모집 관련 글은 "스터디 모집(참여)" 게시판에 글을 남겨주시기 바랍니다.
* 수험관련 매매 교환 관련 글은 해당 게시판에 글을 남겨주시기 바랍니다.
제가 수강하는 강사님께서 앞으로 표준점수 없이 원점수만 반영하여 등수를 매기신다는데
혹시 표점제에 반대하시는 분들은 이유가 무엇인가요?
제 아주 짧은 식견으로는 첨삭자마다 관대화/중심화/가혹화 경향이 나타나는 걸 통계적(?)으로 보완하여 표준점수를 통해 반영하는 거 아닌가요?
단순히 나보다 원점수 낮은 사람이 내 위 등수에 있다고 표점제를 반대하는 건 넌센스한 것 같아서요. (애초에 이 시험도 표점제를 반영하는 시험인데..)
표점제에도 원점수 그대로 반영하는 것만큼의 다른 한계가 있는 건가요?
시비 걸고 싶은 게 아니라 정말 궁금해서 여쭈어 봅니다.
첫댓글 그런사람이 있어요?
근데 애초에 모고라는게 최종 시험을 위한 준비인거지
첨삭 불만은 개선점 찾는용도인건 알겠지만 모고 점수랑 석차에 왤케 집착하는건지도 잘 모르겠어요 ㅋㅋ
반대하는 사람이 있을리가요
그냥 학원에서 일하기 싫으니 핑계대는거지요
표준점수라는건 원점수를 정규분포에 대응시켜 표준편차를 기준으로 변환한 점수입니다.
근데 정규분포가 되려면(적어도 가까우려면) 최소표본은 30개 이상이 요구됩니다. 이걸 중심극한의 정리라고 합니다.
그렇지만 보통 1명의 첨삭자가 10~15부를 채점하는데 이 표본으로는 각 첨삭자별로 정규분포에 가까워지기 어렵습니다.
(가령 하위권 9명, 상위권 1명의 수험생이 채점되면 상위권 1명의 표준점수가 매우튀게 됩니다)
전체 수강인원수가 수백명이라도, 강사님의 언급을 생각하면 아마 높은 확률로 채점자별로 산정된 후 합쳐질 것으로 보이는데 이는 제대로 된(신뢰도가 높은) 통계로 보기가 어렵습니다.
이는 표본수의 적음에서 오는 구조적인 문제이기에 통계처리로 보완되기가 어렵습니다. 거의 유일한 방법은 1분의 첨삭자가 30부 이상을 채점하는건데 이건 물리적으로 불가능하다고 생각됩니다.
결국 통계적으로는 별로 유의미한 결과를 얻을수 없는 방식이기 때문에 저는 반대의견을 표시했습니다.
이 댓글을 보니 그래도 수긍이 가네요
채점자가40명정도면 인당 10개정도라 표본이적긴하죠
배점내에서 자의적으로 판단하는 40명이 채점한 원점수 석차를 나열한 오류보다 심각한 오류라고 생각하시는거네요
오 감사합니다.
그럼 혹시 (표점으로 하든 원점수로 하든) 석차 자체가 큰 의미가 없다고 생각하시나요?
어떤 방법을 써도 딱히 신뢰도가 높지 않네요?
@iilililill 정확히는 강사님이 바쁘신 시간을 쪼개서 하실 필요가 적다고 생각합니다
@F.torres 애당초 문제미리보기, 시간초과가 만연한 상황에서 석차는 아무의미가 없다고 생각합니다. 수험생의 실제위치를 대변하기엔 이미 시험환경이 너무 오염되어 상대적인 위치파악에는 별로 의미가 없다고 생각합니다
@lllllliiilliili 전달하려했던 의사는 '수백명중 10~15개의 표본을 뽑아 표준점수를 산출해 비교하는게 통계적으로 유의미하다고 보기어렵다.' 였고 그 전달과정에서 중심극한정리를 언급한 건데 다소 잘못된 부분이 있었다면 사과드리겠습니다. 통계학 관련 전공이지만 졸업한지가 오래되어서 실수가 있었던것 같습니다.
@llllllililil 질문에 답을한게 왜 조롱의 대상이 되는지 이해가 안되네요 제 답변이 불편하셨다면 자세를 고쳐앉으시면 될것 같습니다.
@합격기준선 그이유가 굳이 본인이 반대표시까지 할 필요가 있는 이유는 아닌거 같습니다..답안지가 누락되거나 피해를 보셨다면 할말은 없지만이미 결론난거니 더 논의할필요는 없는거같네요
@lllllliiilliili 만약에 이게 '채점자별로' 표준점수가 산출되는 거에서 그친다면 반대하지 않았을 겁니다. 다만 이게 '다른 채점자와 합산되기때문에' 반대했습니다. 채점자별 표본이 10개인이상 상위권기준으로 '천국의 조(하위권다수 상위권소수)' '지옥의 조(상위권 다수 하위권소수)' 발생확률이 너무 높아지고 저는 여기서 오는 오류가 원점수 나열에서 나타나는 '관대화 또는 가혹화'의 오류보다 더 크다고 생각했습니다.
좀 더 정확히는 문제미리보기, 시간초과 오염이 가득한 상황에서 통계처리를 한다고 해서 그게 유의미한 결과가 되지 않고 그 처리방법도 타당성이 낮다고 생각해서 반대했습니다.
@lllllliiilliili 반대로 제가 여쭤보고 싶은건 한명당 10~15부씩 채점해 표준점수를 산출하는게 원점수 나열보다 더 낫다고 생각하시는 통계적인 근거가 있으신지 궁금합니다.
관대화, 가혹화 경향은 내 점수 기준 +,- 5점 정도로 늘려 내 상대적인 위치를 거시적으로나마 그나마 알수 있다고 생각하지만 이렇게
10개 정도의 표본의 2차가공으로 발생한 오류는 제거도 불가능해 석차 자체를 신뢰하기가 어렵다고 생각했습니다.
@lllllliiilliili 네 시험환경의 오염문제랑 표준점수 방식은 별개의 문제입니다. 그래서 그거때문에 표준점수제를 반대하는게 아닙니다. 1명당 표본이 10~15개 정도인 이상 통계적 의미가 크지않다고 생각하기 때문입니다.
@lllllliiilliili 표본이 너무 적기 때문입니다. 표본 10~15개로 산출된 표준점수는 신뢰도가 매우 떨어집니다. 20~25개 정도면 모르겠지만 10개정도라면 통계적으로 유의미한 결과 산출이 정말 어렵습니다.
오차가 '다소'생기는게 아니라 '많이' 생길수 있습니다.
관대화, 가혹화로 생기는 오류는 말씀드린 +,- 로 그나마 수험생이 상쇄 가능한 방법이 있지만, 적은 표본의 산출로 생기는 오류는 수험생이 상쇄할 방법도 없다고 생각합니다.
만약에 +,- 로 상쇄할 거라면 더욱더 통계처리는 왜 해야하는지 모르겠습니다.
@lllllliiilliili 표준점수 자체가 나쁘다는게 아니라 '표본이 10~15개인 표준점수 방식'이 나쁘다는 겁니다. 원점수에서 나타나는 가혹화, 관대화를 유의미하게 상쇄하려면 최소표본이 30개 이상 필요하다는게 제 입장입니다.(이에 대한 근거로 원댓글에서 중심극한의 정리를 언급한건데 제가 표현을 좀 잘못한것 같습니다)
그리고 원점수 나열에서 나타나는 오류는 제가 말씀드린방법으로 어느정도 상쇄가 가능하지만 '천국의 조, 지옥의 조' 오류는 말그대로 복불복이기에 상쇄가 불가능합니다. 이오류를 없애거나 줄이는 방법은 표본수를 늘리는 것 말고는 방법이 없기 때문입니다.
즉 강사님이 귀한시간을 쪼개서 작성해주시기는 하지만(진심으로 존경스럽게 생각하고 있습니다)
, 관대화, 가혹화 경향을 제대로 상쇄시키지도 못하면서 추가적인 통제불가능 오류가 발생할 수도 있는 지금의 방식 보다는
그래도 어느정도 예측, 상쇄가 가능하면서 강사님의 시간을 뺏지않는 원점수 나열방식이 더 효과적, 효율적이라고 생각하기 때문입니다.
@합격기준선 쭉 댓글을 봤는데 원점수를 어느정도 +- 해야하는건지도 정확하지 않고 설령 5점정도 자의적으로 자기점수를 조정한다한들
다른사람의 점수를 고정시켜놓고 자기점수만 플러스 마이너스해서 범위산정을 하는게 분배오류를 상쇄할수있다고 생각하는게 아무리 생각해도 이해가 되지 않네요
@iilililill 점수 조정 수치는 예시일 뿐 당연히 자의적인 것이고, 제 논지는 오류가 전혀 없다는 뜻이 아니라 원점수를 거시적으로 바라봄으로써 수험생이 그 오류를 '어느 정도 감안하고 상쇄'할 수 있다는 의미였습니다.
예시를 들면, 저는 윤성봉 강사님 행쟁 모의고사에서 이번에 91점이 나왔습니다. 여기서 오차 범위를 보수적으로 ±3점 정도로 잡는다면, '가혹한 채점자를 만났다면 88점, 관대한 채점자를 만났다면 94점이었을 수 있겠다'고 가정해 보는 것입니다. 이를 성적표 기준 등수로 환산하면 대략 16등에서 91등 사이의 범위가 되고, 전체 수강생(약 1,000명) 대비 상위 1.6% ~ 9.1% 수준이라는 '상대적 위치의 가늠'이 가능해집니다.
반면, 현재처럼 채점자 1인당 표본이 10~15개에 불과한 표준점수 방식을 쓰면, 내가 '천국의 조'나 '지옥의 조'에 속했을 때 발생하는 통계적 왜곡(2차 오류)이 고스란히 성적에 반영됩니다. 내 점수에 어떤 오류가 끼어있는지 파악조차 불가능해지므로, 성적표상의 등수 자체를 신뢰하기 어렵게 됩니다. 게다가 이는 수험생 개인이 거시적으로도 상쇄할 수 없는 무작위 오류입니다.
@iilililill 구체적인 예로, 손승주 강사님 2기 6회 모의고사 성적표를 보면 원점수 30.5점이신 분이 288등, 원점수 63점이신 분이 290등에 위치해 있습니다. 이는 채점자의 가혹화나 관대화 경향을 아무리 고려해도 납득하기 어려운 명백한 통계적 오류입니다. 원점수 63점을 받은 수험생 입장에서는 이러한 방식의 오류가 끼어들면, 자신의 상대적 위치를 거시적으로조차 파악할 방법이 없게 됩니다.
요약하자면, 원점수 나열 방식은 '채점자의 주관'이라는 1차적 오류만 존재하므로 위 예시처럼 수험생이 거시적으로 바라봄으로써 어느 정도 상쇄할 수 있습니다. 반면, 현재의 소규모 표준점수 방식은 불충분한 표본 탓에 1차 오류도 잡지 못하면서, 통계 처리에 의한 2차적 오류까지 추가로 발생시키는 방식입니다.
@iilililill 저는 표준점수 자체를 반대하는 것이 아닙니다. 만약 '1인당 채점 부수가 30개 이상'이었다면 (중심극한정리에 의해 정규분포에 가까워져) 2차적 오류가 현저히 줄어들고 1차 오류가 유의미하게 상쇄되므로, 저 역시 쌍수를 들고 찬성했을 것입니다.
통계학을 공부해 본 입장에서 통계는 잘 처리하면 유의미한 결과를 주지만, 잘못 처리하면 안 하느니만 못한 결과를 주는 양날의 검이라고 생각합니다. 저는 현재의 방식이 후자에 가깝다고 판단했습니다.
통계적 개념을 다뤄보지 않으셨다면 제 설명이 다소 낯설게 느껴지실 수 있다고 생각합니다. (결코 이 댓글을 읽는 분들을 조롱, 비하하려는 의도가 아니며, 혹시 불쾌하셨다면 미리 진심으로 사과드리겠습니다.) 위의 제 설명을 듣고 어느 정도 이해가 되셨으면 좋겠습니다.
저는 할 수 있는 최선의 설명을 드린 것 같아, 추가적인 댓글은 쓰지 않겠습니다. 더운 날씨에 다들 건강 잘 챙기시고 힘내셨으면 좋겠습니다.
@합격기준선 그러니까 다른사람이 어느정도 관대화 가혹되었는지도 알지 못하는데 자신의 점수만 플러스마이너스해서 나온 그 범위 자체도 타당성이 있냐는 말이었구요 막말로 그범위 내외로 본인보다 가혹화된사람들이 다수거나 관대화된 사람들이 다수면 그범위도 틀린범위라고 생각합니다
반면 표준점수제는 표본수가 적어서 오류가 있더라도 적어도 내점수가 가혹화된건지 관대화된건지는 정도는 파악할수 있다고 생각합니다.
심각한오류라고 생각되면 그모의고사등수는 그냥 무시하면되는거고 천국의조 죽음의조가 발생한다 하더라도 몇십명정도 오류에 불과할뿐이라는 생각이듭니다 과하게 잡아서 천국의조가 20개조로 편성되었다고 칩시다 오류가 당연히 발생하겠죠 그러나 전체 인원 중 소수에 불과하다고 생각합니다.
추가적으로 오류가 뭐가 더 낫냐는 차치하고 강사님께서 이의제기가 한번더 나오면 제도자체를 없애겠다고 말씀하셨습니다. 다른수험생들은 뭘 원하는지 알지도 못한채로 굳이 이의제기를하신거에 안타까운 감정이 듭니다 그렇게 총대메고 이의제기를 할정도로 말씀하신방법이 더나은방법이라고는 보이지 않습니다.
저도 여기까지만 쓰겠습니다 건승하십쇼
@iilililill 마지막으로 조금 더 구체적인 예시를 보여드리겠습니다.
원점수 분포가
60 61 62 63 64 65 66 67 68 69
일때, 즉 죽음의 조일때 원점수 60점의 표준점수(t점수)는
35. 14점으로 계산되고
60 59 58 57 56 55 54 53 52 51
일때, 즉 천국의 조일때 원점수 60점의 표준점수(t점수)는
64.86 점으로 계산됩니다.
물론 강사님께서 이런 극단적인 결과가 나오지 않게끔 어떤 처리를 하실것으로 예상되지만 표본이 적은 이상 그런 처리들이 오류를 없애기는 불가능에 가깝습니다.
천국의 조가 20개로 잡히면 수강생인원 중 절반이 넘습니다. 이런 결과왜곡은 특정 인원이 아니라 전체 집단에 영향을 미칩니다.
저는 오히려 관대화, 가혹화를 어떻게 파악할 수 있다는건지, 왜 오류가 소수일거라고 생각하시는지 이유를 모르겠습니다.
다시 말씀드리지만 저는 표준점수방식 자체가 아니라 '10개 내외 소수표본의 표준점수 산정방식'을 반대합니다.
그리고 통계방식의 옳고 그름과 별개로 강사님이 시간을 쪼개 수험생들에 조금이나마 의미있는 결과를 전달하려는 '취지와 노고'를 진심으로 존경하고 있습니다. 다들 화이팅 입니다.
엥 혹시 승주썜아니죠? 아무말도없으셨는데 수업에서 언급하셨나요?
넵
@두려워 말라 내가 너와 함께 함이라 감사합니다!
그 링크로 의견 보내는 시스템 생기기 전에는 승주쌤 카페 게시판에 표준점수 반대의견 글이 한번씩 올라오긴 했어서.... 아마 이후에도 불만 접수가 많이 됐나봐요...😂 저도 표점제가 윗분 말씀대로 정확하진 않더라도 채점자마다 편차가 크다보니 원점수 기준으로 비교하는 것보다는 더 좋은데 아쉽네요
원점수 석차나열보단 어느정도는 신뢰도 높았을겁니다
@iilililill 저도 그렇게 생각해서 표점제를 더 선호합니다
공감합니다. 여론이라는 게 소수의 불만이 과대대표되는 것 같아요. 정작 불만이 없는 다수는 가만히 있는데 불만 있는 분들의 목소리가 반영되니까요.
맞아요ㅠㅠ 어차피 모두의 의견을 다 반영할 수는 없는거기에 원래대로 하셨음 했지만... 아무래도 불만접수가 계속되면 강사님도 사람인지라 더 고생해가면서 그걸 유지할 마음이 안 드실 거 같긴 해요
저는 그냥 다른거 다 떠나서 대략 기수마다 취지를 설명하시고, 굳이 신뢰도를 높이기위해 공들여서 힘든 작업을 하셨는데 그럼에도 계속 불만을 제기해서 강사님 입장에서는 얼마나 진절머리 났으면 반대의견 묻지도 않으시고 그냥 의사를 접으셨는지 ㅋㅋ 오늘 강의 듣다가 진짜 여러모로 놀라웠습니다.
혹시 몇강에서 말씀하셨는지 말씀해주실수있으실까요?
@llllIIIIIlllIIIII 3기 4강일거에요 어제 수업 첫 시간에 말씀하시고 저는 온라인강의로 접했거든요
@경돌이형아 감사합니다!! 아직안들었는데 미리들어야곘네요!
바빠지신데다 밤새서 해야하고 빠진사람도 찾아내고 해야니까 벅차신거 아닐까요
제가 듣는 강사님 커뮤니티 같은데서는 그런거 공식으로 문제된적이 없은데..
점수가이드를 신경쓴다던가 채점자 영점조율을 시킨다던가 할수 있을텐데
표점 폐지라니.. 뭔가 학을 뗀 느낌
히스토리가 있나보네요
ㅋㅋㅋ 어디서는 오픈북하면 모집단 오염되니까 저주한다하지않나 이제는 강사괴롭혀서 표준점수제 없애지않나 아무리 수험생이지만 이렇게 ㅈㄹ맞을수가
표점제가 강사님 강점이라고 생각했는데 너무 아쉬워요ㅜㅜ 한편으로는 얼마나 시달리셨으면 지금까지 지켜온 곤조를 접으셨을까 싶어서 인간적으로 안쓰럽고.. 아쉽지만 강사님 결정을 받아들이려구요ㅜㅜ
요새 표점제 안하는 강사가 있나요? ㅋㅋ
걍 원점수 자기보다 낮은데 더 높은 점수 받아서 자기 등수 밀려나니까 자존감 스크레치 나서 항의하는 걸로 밖에 안보입니다
근데 원점수로 바뀌면 원점수 자기보다 높은데 표점 낮은 사람도 다시 자기 위로 올라갈텐데 그건 생각못하나봐요 하긴 그 생각할 지능이면 항의안하죠