평균과 표준점수 그리고 그 사이를 잇는 다리, 표준편차

[냥이베이베]

이 글은 다소 길 겁니다. 표준점수의 허실을 대체로 다루게 되었기 때문입니다.

하지만 읽는 분들이 관심 가지실만한 소결론만 먼저 서두에 꺼내자면,

레모나님 평균으로 만든 아래 표의 표준점수가 비현실적으로 높다는 이유만으로 레모나님의 평균이 무조건 틀렸다고 말 할 수 없다는 것입니다.

또한 레모나님의 평균치가 맞다고 해도 평균 넘는 분들은 좋아하실 필요가 없습니다.

---------- 본문 시작 ------------

표준편차표를 메가 버젼과 레모나 버전으로 올렸었습니다.

분명 평균에 의해서도 표준점수가 들쑥날쑥하게 되겠지만

더더욱 중요한 것은 표준편차입니다.

저~ 아래 어떤 글들에서는 원점수 1개당 2.2점 또는 2.3점으로 잡아

표준점수 표를 만드시기도 하셨는데,

원점수 1개당 몇 점이 왔다갔다 하는 지를 결정하는 것이 바로 표준편차 입니다.

본질적으로 표준점수라는 것은 내가 "몇 표준편차"를 더 잘 본 건지, 더 못 본 건지를 나타내는 점수입니다.

LEET의 경우 50점에 "몇 십 표준편차"를 더하거나 빼는 것이 바로 표준점수가 되지요.

그리고 그 '몇'에 해당하는 것이 Z점수입니다.

1. 표준편차가 치는 장난(부제-이해관계의 명암)

표준편차가 크면 원점수 1개당 표준점수가 낮아집니다.

50개를 맞으신 분은

평균이 37개여도 표준편차가 크다면 110이 나올 수도 있고

평균이 42개여도 표준편차가 작다면 130이 나올 수도 있습니다.

30개 맞으신 분은

평균이 37개여도 표준편차가 작다면 개.피.를 보시게 되고

평균이 43개여도 표준편차가 크다면 선방을 하시게 됩니다.

2. 표준편차는 큰 게 좋은가 작은 게 좋은가(부제:'난이도 조정에 성공했다 오바')

출제자측 입장에서 보면 표준편차는 큰 것이 좋습니다.

출제자가 "난이도 조정에 성공했다"라고 말할 때 두 가지 의미가 있을 수 있습니다.

   a) 해마다 평균이 고르게 유지된다.

   b) 각 점수대별로 골고루 분포한다

가 그것입니다.  생각이 없는 출제자라면 a)의 경우에 기뻐할 것이고 생각이 있는 출제자라면 b)의 경우에 기뻐합니다.

b)의 경우는 다들 맞추는 문제, 반 정도만 맞추는 문제, 거의 못 맞추는 문제 등이 골고루 분포되어 있다는 것을 의미하며

한 문장으로 요약하자면 "변별력이 있는 시험"이라고 평가 받게 됩니다.

열 명이 보는 시험이라고 한다면 1등만 맞추는 문제, 2등까지 맞추는 문제, 3등까지 맞추는 문제~10등도 맞추는 문제가 골고루 분포되어 있을 때 이를 '변별력 있는 시험'이라고 하며 좋은 출제로 평가받게 됩니다.

협의회에서 '난이도 조정에 성공했다'라고 자평한 것이 가채점 결과를 봤을 때에나 가능한, 확신적인 표현이라는 어느 강사님의 지적은 예리합니다만, 그 말이 작년 점수와 올해 점수가 비슷하다는 것을 의미한다는 데에는 동의할 수 없는 것도 그 말이 갖는 이러한 다의성 때문입니다.

(이는 전적으로 산출공식을 앞에 놓고 생각해 본 제 개인 의견이므로 교육학 등 해당 전공자분이 보실 땐 웃기실 지도).

어쨌든... 

1. 이상 설명드린 '변별력이 있는 시험'의 경우 표준편차는 높아집니다.

1-1. 또한 같은 평균이라 해도 소수의 초 저득점자가 너무 낮은 점수여서 평균을 깎아 먹는 경우나

1-2. 소수의 초 고득점자가 워낙 높은 점수여서 전체 평균을 높여버리는 경우에도 표준편차는 높아집니다.

1-3. 닭 아니면 천재만 있어서 위 두가지가 함께 발생하는 소위 쌍봉의 경우엔 더 심하겠지요.

하지만 8천명 가까운 인원이 보는 시험이니만큼 변별력이 있는 시험인 경우 이외의 상황은 좀체로 벌어지지 않습니다.

이 점은 제가 올린 표준점수표 게시물에 댓글을 다신 분이 지적하신 사항이기도 합니다.

하지만 1-1, 1-2의 상황은 어느 정도는 생길 수 있는데 어느 경우에나 표준점수가 실제 상대적 등위를 의미하지는 않게 만드는 왜곡을 일으키게 됩니다.

이런 이유로, 다수의 인원이 보는 시험, 그래서 정규분포에 수렴하는 정도의 시험에서는 표준편차가 높은 것은 대체로 변별력이 높다는 것을 의미하고 좋은 출제라고 볼 수 있습니다.

다시 약간 앞으로 돌아가 이 단락이 시사하는 가장 큰 의미를 말씀드리자면 협의회에서 난이도 조정에 성공했다고 말한 사실은 표준편차가 크다는 사실을 의미할 가능성이 있다입니다.

3. 그래서 어떻다는 거냐?

그래서...어쨌냐면요...

평균이 낮다 높다에 따라서 좋지만도, 나쁘지만도 않다는 겁니다.

그리고 제가 표준점수표 올리면서도 말씀 드렸지만 '결과 나와봐야 안다'는 것에는 변함 없다는 것 입니다.

그런데 결과가 나와도! 여러분이 평균과 표준편차는 알 수는 없다는 것입니다.

이 글을 보시면 원점수에 비해 표준점수가 생각한 것 보다 별로다 하시면

평균이 의외로 높거나 평균은 그저 그런데 표준편차가 높다는 여러 경우의 수로 생각하시는 것도 필요하다는 것입니다.

4. 그래...표준편차가 작은 경우는 왜 빼먹은 것이더냐

글을 마무리하고 읽어보니 빼먹은 게 있군요. 표준편차가 작을 수도 있습니다.

이는 맞추는 문제는 응시자 거의 모두가 맞추고 못 맞추는 문제는 응시자 거의 모두가 못 맞추는 상황에서 벌어집니다.

다른 말로 변별력이 없다!라는 거지요.

개나소나 맞추는 시험이었다는 경우나 전공자 데꾸와바라 푸나! 하는 시험이나 모두 변별력은 없지요.

이런 경우 한 개 덜 맞출 때마다 개.피.를 보고 한 개 더 맞출 때마다 로켓 상승이니...

리트 잘 본 분께 그대는 확정이니 미리 감축 드리오~하셔도 됩니다.

왜.냐.면.요.

표준편차가 크면 130점 받은 분의 위아래로 131, 132, 133...129, 128, 127...이런 식으로 빼곡하게 차 있어서

원서들을 쌓아놓고 보는 입장에서는 그닥 차이가 안 나 보이는데

표준편차가 작으면 130점 받은 분의 위아래로 그 점수 받은 사람이 아예 없거나 드문 표준점수대가 등장하게 되거든요.

그럴땐 돋.보.이.죠.

자....두 번의 수정을 했더니 어느덧 오후가 깊어 가네요.

회사를 나갈지언정 짤리면 안 돼므로 이만 마무리합니다.

건! 승! 하세요.

[낙타털코트]

야호 다 이해했다.. 수고하셨어욤. 표준편차가 커지면 문제 한개당 올라가는, 혹은 내려가는 점수가 작아진다. 올해는 한 문제당 2점 이하로 점수차가 생길 수 있다. 왜냐하면 난이도 조절에 성공했다 함은 표준편차가 크다는 것을 대체로 의미하므로.

[모레나]

문제 1개당 점수차이 적어지면 땡큐...

[낙타털코트]

만약 언어가 고득점부터 저득점자까지 고루 분포하여 표준편차가 크다면(그럴 개연성이 있어 보여욤) 한 문제당 올라가는 점수가 1.8점 정도로 작년보다 낮을 수 있고 평균을 23으로 잡았을 때 33개를 맞으면 표준 점수는 50+1.8x10=68점이 되네욤.
반대로 만약 추리는 평균 부근에 많은 사람이 몰려 있다면(고득점자가 언어보단 적어 보여서욤) 표준편차가 작게 되고 한 문제당 올라가는 점수가 커지겠네요. 2.2로 잡고 만약 평균이 18이라면 28개 맞은 분이 50+2.2x10=72점이 되고, 위에 예를 든 33개는 추리의 경우엔 83점이 되네요.
언어 33개는 68점 추리 33개는 83점.. 놀랍네욤 @.@
언어 만점은 71.6 추리 만점은 87.4

[포포리]

높고 낮다라는 의미가 이제 이해되네요 ^^ 저 역시 언어점수보다 추리점수 차가 좀 벌어질것 같긴 하더군요... 같은 50이라도 30/20 보다 25/25가 조금 더 높을 것 같긴 합니다. 반대로 20/30이면 젤 높게 나오겠네요 ^^

[냥이베이베]

아,,,수정하는 동안에만 댓글이 3개가 달렸네요. 표준점수 예측은 물론이고 표준점수가 나온 후에도 내 리트 점수가 독보적인 것인지 눈에 확 안 띄는 차이밖에 못 낼 지 등 여러 시나리오를 예상하는 데 활용들 하시기 바랍니다.

[凸◎▽◎凸]

감사합니다.