Re:심화내용에 대한 채점(feat.임용과 관련없는 내용들 서술)

[신선물고기]

아주 좋은 질문을 해 주신 선생님께 감사드립니다. 아울러 답하기 매우 어려운 질문이라는 점 먼저 말씀들 드리고요. 여기에 적히는 내용은 어디까지나 저의 경험에 기초한 매우 제한적인 조언으로 사실과는 차이가 있을 수 있다는 점 또한 말씀을 드릴 수밖에 없다는 점 이해해 주시기 바랍니다. 따라서 예비 선생님들께서는 이 주관적인 글을 참고하셔서 개별적으로 전략을 세우시기를 바랍니다.

제가 경험을 바탕으로 말씀을 드린다는 것이 무엇을 의미하는지 먼저 말씀을 드리겠습니다. 저의 모교(대학, 대학원)에서는 자연과학계열뿐 아니라 공학 계열, 의, 치의학 계열까지 모든 전공의 기초 수학 수업을 수학과에서 담당합니다. 당연히 강의 전담 교수님들과 외부인 강사까지 합해도 강사가 모자라므로 박사 과정에 있는 대학원생들에게도 강의의 문을 열어서 강의를 할 수 있도록 하였습니다. 또, 전공 교수님이 해당 전공의 경우에는 일부 수업을 박사 과정 학생에게 맡기는 일도 있습니다. 그래서 많은 수의 조교도 필요하고 따라서 대학원생이면 거의 예외 없이 두 과목 이상의 과목에 대한 조교 업무를 맡게 됩니다. 이러한 많은 수의 강사와 조교 업무를 조율하기 위하여 별도의 직책이 필요한데 이것이 조교장입니다. 이와 관련해서 저는 비교적 어린 나이에 조교장을 맡아서 비교적 오랫동안 조교장 업무를 해 왔으며 미적분학, 고등 미적분학, 선형대수학 등의 강사 지위를 수년간 유지해 왔었습니다. 여기서 공학 계열 학생들의 미적분학 채점과 같이 여러 사람이 분담을 해야만 채점이 가능한 상황에 매우 많은 경험을 하게 되었습니다. 그리고 조교장 업무를 하다 보니 입학처에서 주관하는 수리논술 시험의 채점이라던지 대한수학회에서 요청한 수학올림피아드 시험의 관리 감독등에도 직, 간접적으로 참여하게 되었습니다. 또한, 예전에는 평가원에서 주관하였으나 평생 교육원으로 이관된 사업인 '독학학위제에의한 학위취등시험'의 편집위원으로 다년간 활동을 하였는데 이때 업무는 교수님들이 출제하신 문제를 검토 편집하고 서술형의 경우 채점 기준을 '작성'하는 일이었습니다. 수능, 독학사시험, 임용 같이 보안이 매우 중요한 시험의 출제의 경우에는 출제 캠프를 시행하게 됩니다. 참고로 독학사의 경우 출제캠프에 참여하는 인원은 출제진이 아니라 저같은 편집위원입니다. 수능, 임용등은 출제진과 편집위원등이 모두 출제캠프에 말하자면 감금되게 됩니다. 이런 과정속에서 저는 대규모 채점에 대한 직, 간접적인 경험을 여러 번 하게 되었습니다. 이러한 경험과 제가 간접적으로 알게된 임용시험의 채점 과정을 비교해 보자면, '대동 소이'하다는 결론입니다.

먼저 학부 대형강의의 채점의 경우를 살펴보겠습니다. 공학수학, 고등미적, 선형대수 등 여러가지 경우가 서로 다르기는 하지만, 가장 규모가 큰 공학수학(미적분학)에 대해서 예를 들자면, 교수님과 강사분들이 출제하신 문제를 교수, 강사가 한 번 모여서 회의를 거쳐 선별합니다. 선별한 문제를 조교장이 편집하는데 이때 대략적인 풀이의 흐름을 검토하고 구체적인 해답을 작성하지는 않습니다. 시험이 시행되고 나서 조교들마다 채점할 '문제'를 배정합니다. 곧, 서로 다른 반의 문제를 다른 사람이 채점하면 형평성에 문제가 생길 수 있기 때문에 한 사람에게 정해진 문제를 '모든 반에'걸쳐서 채점하게 합니다. 이때 구체적인 채점기준 계획을 조교가 수립하고 해당 문제를 출제한 교수진에게 확인을 받습니다. 그런데 이때 생성되는 채점기준은 조교별로 다소 제각각입니다. 경험 없는 조교들은 분석적 점수화를 지나치게 선호하는 경향이 있는데 이는 채점 기준에서 벗어난 풀이에 대해서 점수가 제대로 부여되지 않는 단점이 있습니다. 이런 경우 채점 계획을 수정하여 재체점이 이루어져야하나, 사실 이것이 제대로 이루어지지가 않습니다. 저는 총체적 점수화하기를 선호하는 편입니다. 그러나 이 방법 역시 주관적인 요소가 강하기 때문에 채점자들마다 기준이 달라지는 단점이 있기는 합니다.

이번에는 입학처에서 주관하는 입학시험문제의 채점을 살펴보겠습니다. 이 문제들의 출제는 엄격한 보안 속에 오직 조교수 이상의 교수들만이 참여하여 만들어 냅니다. 그러나 채점은 교수님들이 모두 다 할 수는 없기 때문에 조교들이 참여합니다. 이때, 각 조교는 매우 적은 개수의 문제를 배정받아서 많은 개수의 답안을 채점하게 됩니다. 교수님들과 협의하여 채점 계획을 수립하고 채점을 하는데, 이때도 문제마다 분석적 점수화가 적용되는 문제가 생기고 총체적 점수화가 적용되는 문제가 생깁니다만, 채점을 맡은 사람과 출제진의 특성에 따라서 분리가 될 뿐 일반적인 기준이 없습니다. 이 경우에는 한 문제를 적어도 두 명의 조교가 크로스로 채점을 하여 점수를 평균을 내는데 점수 차이가 현저하면 재채점을 하지만 실제 발생한 일은 거의 없었던 것으로 기억이 됩니다.

국가 학위 취득시험의 경우에도 비슷합니다. 이건 어떤 면에서 임용시험과 상황이 더 유사할 수 있는데 우선 채점기준과 개별문항 취득 점수는 공개하지 않고 오직 총점만을 공개합니다. 또 모범 답안도 공개 하지 않습니다. 차이점은, 학위 취득시험의 경우는 문제 은행 방식이라서 문제 자체도 공개하지 않습니다. 그런데 이 시험의 경우에는 민원에 예민하게 반응하는 편입니다. 그래서 민원자가 평생교육교육원에 찾아와서 본인 답안에 대해서 항의를 하면 결국에는 채점 기준까지는 보여줄 수밖에 없도록 되어 있습니다. 물론 그렇다고 해서 채점 결과가 달라지기는 매우 어렵습니다. 해당 교수님의 확인을 거쳐야 하고요. 그런데 채점기준에 문제가 발생하여도 실제 재체점이 이루어진적은 없는 것으로 알고 있습니다. 이 부분은 되려 임용 시험과 반대되는 경우인데 수학의 경우에는 저와같은 편집 위원이 답안과 채점 기준을 수립하고 이를 바탕으로 교수님들이 채점을 하시는 것으로 진행이 되었었습니다.

여기까지가 제가 직접적으로 경험한 상황들입니다. 이제 제가 직접적으로 경험하지는 않았지만 간접적으로 알고 있는 임용시험에 대해서 말씀드리겠습니다. 임용 시험의 경우에는 근거 없이 알려져 있는 말들이 굉장히 많았는데 믿을만 한 내용이 문서로 만들어진 적은 전무합니다. 따라서 유경험자의 이야기로부터 얻어야 하는데 이것이 매우 제한적입니다. 실제로 수교과에 재직하는 교수 조차도 어떤 경우에는 채점 기준에 대해서 저에게 자문을 구하는 수준입니다. 그런데 이러한 상황에서 채점이 어떻게 이루어지는지 알아볼 수 있는 자료가 공개된 적이 있습니다. 제가 알기로는 처음이자 마지막이었는데 그것이 바로 감사원에서 펴낸 [공립교원 임용시험 관리실태]라는 제목의 문서입니다. 이 문서는 인터넷에서 쉽게 구할 수 있으므로 관심있는 예비 선생님들은 각자 찾아보시기 바랍니다. 이 문서에 적힌 내용을 분석해 볼 때, 임용 시험의 채점은 제가 그동안 경험해본 채점의 상황과 크게 다르지 않다는 점을 말씀 드릴 수 있을 것 같습니다.

우선 임용 시험의 출제는 거의 정교수 이상의 교수님들에 의해서 이루어지는 것 같습니다. 교수가 아닌 인원이 출제풀에 참여할 수 있는 법적인 근거가 있는데, 얼마나 일반적인가는 잘 모르겠습니다. 채점은 임용 시험에 합격한 교사 이상의 인력으로 위촉하는 관계 법령이 있으나 실제 어느정도 전문성을 갖춘 인력이 참여하는지는 미지수입니다. 채점 기준을 교수급 인력이 수립하면 이에 맞추어 채점 풀에서 3인 1개조로 채점을 진행하는 것 같습니다.

문제는 여기서부터 시작이 되는데요. 선생님들도 아시다시피 수학이라는 것이 정해진 답에 도달하는 과정이 여러 가지 있다보니 다양한 풀이가 혼재하게 됩니다. 그래서 채점 기준이 분석형이면 당연히 고려하지 않은 로직의 답안이 등장할 경우 채점 계획을 수정하여야 합니다. 또, 총채적 점수화에 의한 채점 기준이라 하더라도 기존의 기준의 적용이 모호한 경우에는 채점 계획을 수정하여야 합니다. 그런데 채점 기준의 수정을 ‘결심’하는 단계는 채점 풀에서 이루어집니다. 만일 채점풀에 채점에 참여하고 있는 사람이 어떤 특수한 수학적 사실에 대한 전문성이 부족하여 해당 답안을 오답 처리하더라도 이것을 막을 장치가 현재로써는 없는 것입니다. 게다가 채점 기준의 수정을 위해서는 출제 캠프에 참여했던 인력들의 광범위한 동의가 필요한데 문제는 이 인력들이 캠프가 끝난 이후에는 연락이 잘 되지 않습니다. 즉, 채점 기준의 수정이 정상적인 절차에 따라서는 일어나기 어렵다는 이야기이지요. 이런 와중에 다소 가벼운 채점 기준의 변화를 채점자 풀에서 자의적으로 진행하는 것 같습니다. 그런데 여기서도 문제가 채점 기준이 바뀌어서 재채점을 했는지가 관리가 전혀 되지 않고 있다는 것입니다. 이것이 2018년 7월에 만들어진 문서에 있는 내용이기 때문에 현재 크게 다를 것이라고 기대하기 어렵습니다.

다시 저의 경험으로 돌아와서, 제가 독학사 시험에서 편집위원으로 일할 때 고급 간부들이 가장 신경쓰는 분야는 ‘민원’이었습니다. 그리고 이것은 실제 출제 교수님들도 신경을 쓰고 계시는 부분이라고 했고 출제진을 위촉하기 어려운 점도 이것이 어느정도 작용하기 때문으로 보였습니다. 곧, 채점은 ‘소송’의 대상이 될 수 있다는 것입니다. 아무리 내규로 피시험자에게 답안 및 채점 과정을 공개하지 않는다고 한들 응시자가 채점 결과에 불만을 품고 ‘소송’을 하게 되면 이것을 적어도 수사기관에 보여주지 않기는 매우 힘들다는 입장인 것이지요. 그렇기 때문에 채점에 있어서 다양한 가능성을 열어두고 기준을 수립할 수밖에 없다는 것입니다.

이제 지금까지 논의한 내용을 바탕으로 해서 몇가지 가정을 하고 소설을 쓰면서 질문에 답을 해 보겠습니다.

우선. universal property를 사용해도 되느냐. 이 문제에 대해서 저는 일반적으로 ‘그렇다’는 답을 합니다. 그런데 이것은 어디까지나 원론적인 답입니다. 자, 한번 생각해 보겠습니다. universal property를 써서 쉽게 해결되는 문제가 출제된 적이 있나요? 제 기억에는 없는 것 같습니다. 왜냐하면 이 universal property는 주어진 대상이 우리가 소위 말하는 universal object와 동형이라는 것을 보일 때 사용하는 논법입니다. 그런데 말이죠, 이를테면 위상에서 ‘...한 위상 공간이 두 위상 공간 X와 Y의 곱공간임을 보이시오’라든가 ‘... 한 위상이 사실 위상 공간 X의 상공간임을 보이시오’와 같은 문제가 나온다면 당연히 universal property를 이용하는 것이 매우 현명한 방법입니다. 그런데 그런 문제가 잘 출제가 안 되죠? 물론 유한 아벨군의 구조를 물어보는 문제는 나옵니다. 하지만, 이런 경우 이미 알려져 있는 유한 아벨군 구조에 대한 정리를 사용하는 편이 훨씬 간단하겠죠? Univarsal property를 사용하는 것이 가장 정상적인 풀이인 경우에는 글세요. 이런 문제가 출제된다면 출제진이 해당 풀이를 염두에 두지 않을 리는 없다고 봅니다. 출제가 되어 봐야하겠지만요. 오히려 universal property를 사용하는 것이 어색한 경우에는, 저는 출제진이 자연스럽게 떠올릴 수 있는 경우가 아니라면 채점 기준에서 누락될 가능성이 있고 그렇다면 채점풀에서도 무시될 수 있을 가능성이 있다고 봅니다. 물론 정칙한 채점자라면 자신이 판단할 수 없는 논리가 등장했을 대 담당자에게 노티를 하리라 봅니다만, 그게 여러 가지 상황을 따져볼 때 쉬울거라고 생각하기 어렵습니다.

두 번째, group action입니다. 현재까지 group action을 사용해야 하는 문제가 출제된 적은 없습니다. 그러나 유한 군 분류 문제에서 group action을 사용하면 쉽게 풀리는 문제는 분명 존재합니다. 이런 문제의 경우 당연히 채점자는 group action을 사용한 풀이를 염두에 두겠지요. 그런데 기출에 거의 사용되지 않는 논리를 사용하여 문제를 출제하는 것이 부담이 되지 않을까 생각이 됩니다. 게다가 group action의 개념 없이는 풀 수 없는 문제를 출제할까요? 물론 저는 파이실에서는 group action을 사용하여 유한군을 분석하는 기술을 다룹니다. 하지만 기출 동형에서는 거의 다루지 않습니다. 상황은 마찬가지입니다. 출제자가 염두하지 않은 풀이는 채점과정에서 누락될 가능성을 배제하기 어렵습니다.

Free group, Z-module, R-module을 질문하셨는데 답은 위와 거의 같습니다. 차이점은.. free group의 개념은 이론 전개하는 과정이 아니면 문제에서 등장할 일이 거의 없는데요 그렇죠? free group 의 개념을 사용하여 문제를 해결하신적이 있나요? Z-module은 이름만 생소할 뿐, 덧셈군 그 자체를 일컷는 말입니다. 당연히 덧셈군 구조를 분석할 때 Z-module의 테크닉이 사용되구요. 그 대표적인 기술이 조던 표준 형식입니다. 저는 이 기술을 선생님들께 알려 드립니다. 들어보신 적이 없다구요? 그럴수 밖에요. 저는 수업에서 Z-module이니 조던 표준 형식이니 하는 용어를 쓰지 않습니다. 용어를 쓰지 않을 뿐 표현 행렬이라 해서 여러분들이 문제를 푸는 데 필요한 부분가지만 딱 알려드립니다. 더는 필요가 없으니까요. R-module은 출제된 적이 없습니다. R-module의 개념을 써서 딱히 잘 풀리는 문제도 출제된 적이 없습니다. R-module은 벡터 공간과 비슷하지만 차원과 같은 개념이 잘 정의되지 않기 때문에 배우기 어렵고 시간도 많이 걸립니다. 이 개념을 따로 다루지 않는 현대 대수학 책도 많이 있고요. 이 개념을 사용해야만 풀리는 문제를 출제하기는 매우 부담스러울 것입니다. 이 개념을 사용하여 잘 풀리는 문제는, 글세요. 이건 캐바캐라 문제를 물어보시면 좋을 것 같습니다.

초른의 보조정리, 마찬가지입니다. 이건 우리가 이론을 전개할 때 피할 수 없는 부분인데 기출 문제를 풀 때 초른의 보조정리를 사용해야 풀 수 있는 문제가 출제된 적은 없습니다. 초른의 보조정리를 적용해서 해결할 수 있는 학부 수학의 부분들은 매우 잘 알려져있습니다. 이것을 출제진이 모를리는 없구요. 그런데 이 논법을 사용해서 풀 수 있는 문제는 매우 제한적입니다. 딱보면 그렇게 생긴 것들 뿐이에요. 가장 교묘한 것은 아마도 PID이면 UFD다 라는 증명일 것입니다. 이 부분을 공부하시면서 초른의 보조정리가 없으면 안 된다는 생각을 하신분은 많지 않을 것입니다. 굳이 교묘하게 초른의 보조정리를 사용해야 풀 수 있는 문제가 출제가 될까요? 저는 거의 그럴 가능성이 없다고 봅니다.

제가 말재주가 없어서 이런 이야기 저런 이야기를 두서없이 했습니다. 정리를 해 보자면,

1. 임용 출제진은 전문성이 뛰어나지만, 채점 풀은 반드시 그런 사람들로 채워진다고 볼 수 없다.

2. 채점시 재채점이나 채점기준 수정을 출제진에게 결재를 받지만, 재채점, 채점기준 수정의 결심은 채점 풀에서 자의적으로 이루어진다.

3. 채점기준이 수정되더라도 재채점이 이루어졌는지 관리가 제대로 되지 않는다.

4. 올바른 논리라도 초기 채점기준에서 벗어나면 채점에서 누락될 가능성이 존재한다.

어떻게 해야하는가

출제자의 의도를 파악해서 득점자가 가장 많이 사용했을 거라고 생각되는 논리를 펼쳐서 서술한다.

다른 풀이가 생각나지 않으면, 자신이 가지고 있는 지식을 총동원해서라도 어떻게 해서든지 문제를 푼다.

채점에서 불이익을 너무 많이 받은 것 같다면 적극적으로 컴플레인한다.

사안이 심각할 때는 소송을 고려한다.

평소 ‘내 풀이 어때요’게시판을 통해서 궁금한 점을 많이 공유한다.

[해대위]

궁금했지만, 잘 알려지지는 않았지만 꼭 필요한 내용인 것 같습니다! 감사합니다.^^

[신선물고기]

응원 댓글들 감사합니다. 그런데 글이 정돈이 잘 안 되어있네요 조만간 한 번 고칠게요. 그리고 궁금하신 부분 댓글 많이 남겨주세요 부족하지만 연구해서 반영해 보도록 하겠습니다!

[civilization]

좋은 글 감사합니다!