(이 연수는 아래 책을 바탕으로 합니다.)
사고력 함양을 위한 서·논술형 평가 도구 개발 이론과 실제 : 네이버 도서
네이버 도서 상세정보를 제공합니다.
search.shopping.naver.com
서술형, 논술형이라는 구분은 행정적 용어다. 학문적으로는 모두 논술형이다. 평가의 유형은 학생이 답을 구성하는지에 따라 선택형과 서답형으로 갈리고 누가 채점하는지에 따라 정답이 같은지 아닌지에 따라 객관식, 주관식으로 갈린다. 서・논술형은 학생이 답을 구성하므로 서답형이면서 채점하는 사람에 따라 정답이 달라질 수 있으므로 주관식이다. 이 구분 방식에서 문제는 우리나라는(사람들? 학생? 학부모? 교사?) 서・논술형(이하 논술형)도 '공정성' 아래 객관적이길 원한다. 채점의 객관도를 확보하라고 하는데 이 말 자체가 모순이다. 논술형은 주관적일 수밖에 없는 평가인데 말이다. 그래서 평가 양호도(이는 전국모 연수에서도 들었다.)의 신뢰도(채점자 내)에서 국어과에서는 0.7만 되어도(1이 가장 신뢰도 있다고 여기는 이론적 값) 양호하다고 한다. 객관도(채점자 간)는 0.6만 되어도 양호하다고 한다. 나머지 0.4는 개별 교사의 수업 목표, 상황, 강조 등에 따라 다를 수 있다고 여긴다. 예를 들어, 자세하고 쓰라고 하면 자세한 것이 무엇인가는 교사의 수업 목표와 강조점에 따라 다를 수 있다는 것이다. 그래서 논술형 평가는 채점자마다 답이 달라지는 것을 전제해야 한다.
논술형 평가는 고차적인 사고력을 측정하기에 효과적이다. 고차적인 사고력을 측정하는 최고의 평가 유형이 논술형은 아니지만 주어진 문제를 해결하기 위해 정보를 조직하고, 분석하고, 평가하는 복합적인 고차적인 사고력을 평가하는 데 논술형 평가가 효과적으로 활용된다.
고차적인 사고가 좋으니 학습과 평가는 고차적인 사고를 위해서만 이루어져야 한다고 생각하면 안 된다. 고차적 사고를 함양하기 위해서는 저차, 중차적 사고를 거쳐 고차적 사고에 이르도록 해야 한다. 그래서 유치원, 초등학교 저학년 때 암기 수준의 저차적 사고로 반복, 숙달하는 것이 꼭 필요하다. 그 다음이 요약이나 비교, 대조다.
하나의 흥미로운 사례를 소개해주셨다. 비행청소년들이 요악하는 능력이 떨어진다는 연구였다. 그들이 비행을 저지르는 이유가 비행을 저질렀을 때 어떤 일이 벌어질지를 잘 받아들이지 못해서 즉, 상황에 대한 요약과 훈계에 대한 요약 학습이 이루어지지 않아서다. 요약하기를 반복, 숙달로 시켰더니 비행을 저지르는 정도가 낮아졌다고 한다.
논술형 평가는 학생의 학습 습관 및 방법 개선에 도움을 주는 장점도 있다. 그러나, 다른 연구에서는 어떻게 평가하냐보다 어떤 수업과 피드백을 해주느냐에 따라 개선에 더 도움이 되기도 한다고 했다. 수업, 평가, 피드백 중요하지 않은 게 없다. ㅎㅎ
논술형 평가는 여러 단점도 있었다. 좋은 점이 더 많은 줄 알았다. 채점하는 데 시간이 오래 걸리는 건 많은 선생님이 익히 알고 있다. 그래서 논술형 문항은 적합한 교실 환경이 있다. 논술형 평가가 발달한 해외 국가는 한 교사가 담당하는 학생 수가 50명 미만인 곳이 많다고 했다. 우리나라는 중학교만 되어도 100명이 훌쩍 넘는 곳이 많다. 또한, 학습목표를 폭넓게 평가하기 어렵다. 학생이 답을 하는 시간, 학생 답안을 채점하는 데 걸리는 시간 때문에 논술형 문항의 수는 제한적이다. 특히, 논술형은 일부 학생에게 유・불리가 있을 수 있다. 미국은 인종과 지역에 따라 평가 유・불리가 있는지 검토한다고 한다. 생각해보니 논술형 문항이라고 모든 아이들이 접근하기 쉬운 것은 아닌 것 같다. 그런데 이건 선다형 문항도 그럴 것 같다.
흥미를 끄는 단점도 있었다. 내용에 상관없이 길게 쓰면 점수 획득에 유리하다고 판단하여 주제와 무관한 내용으로 장황하게 작성할 수 있다는 점, 제한된 시간에서 논술형 문항에 대해 답변하게 하는 반복적 경험이 때로 잘못된 글쓰기를 연습할 수 있다는 점이었다. 글을 쓰는 논술형 평가가 목표와 무관한 답을 쓰게 하거나 시간에 쫓겨 비논리적이고 다듬어지지 않은 답을 제출하게 해서, 오히려 자기 글을 다시 돌아보지 않게 하고 무슨 글을 쓰는지 모르게 해버리는 바람직하지 않은 학습이 벌어지게도 할 수 있다.
논술형 문항에 관한 일반적 오해 중 내용과 상관없이 무조건 고차적 또는 비판적 사고 기술을 평가한다는 점은 아래 링크를 통해 고민했다.
[독서 시험] 작년과 달라진 독서 영역 지필평가 서술형 문제
독서 과목 및 독서 영역에서 지필평가 서술형 문제는 2020년 2학기 독서 과목과 2021년 1학년 국어 독서 영...
blog.naver.com
위 링크에서 2021년 나의 서술형 문항은 연수에서 나온 기억력에 보상하는 방식이었다. 완전 서술형 문항으로 물을 필요가 없었다.
기억력에 보상하는 방식의 논술형 문항 예시: 논술형 문항의 주요 장점과 한계가 무엇인지 기술하시오.
위 링크에서 2022년에 독서 영역으로 낸 문제는 2021년 문항보다는 조금 나아졌다. 그보다는 더 높은 수준의 생각을 평가한 문항 같다.
- 더 높은 수준의 생각을 평가하는 논술형 문항 예시: 논술형 문항의 장점과 한계를 고려할 때, 문제해결을 위한 학생의 창의성을 평가하는 데 논술형 문항을 사용하는 것이 적절한지 판단하고, 자신의 판단에 대한 이유를 논술형 문항의 주요 장점과 한계를 설명하며 제시하시오.
논술형 문항에 관한 오해 중에서도 흥미로운 점이 있었다. 논술형 문항을 사용하면 추측에 의한 정답 문제를 해결할 수 있다고 생각하는데 그렇지 않을 때가 있다. 실제보다 지나치게 과장하여 글을 적거나 실속이 없이 겉으로만 멋있게 보이는 말을 적을 때 문제가 생긴다. 일부 답안은 실제 내용은 공허한데 마치 신뢰도가 높은 내용인 듯이 보이기 위해 모호한 일반화를 시도하거나, 군더더기를 붙이거나, 관련이 있든 없든 아는 내용을 다 쓰며 그럴싸하게 글을 쓰기도 한다. 누구나 한 번쯤 대학 전공 시험에서 이런 경험이 있을 것이다 ㅎ
논술형 문항의 구성 요소로는 문항(혹은 과제)과 채점, 채점기준표가 있다. 이 세 요소가 잘 맞물려야 응집력 있는 문항 설계가 가능하다. 학생들은 논술형 문항을 읽고 어떻게 답을 구성해야 할 것인지에 대한 구상을 가져야 하고 가질 수 있어야 한다. 문항(혹은 과제)가 엉망이면 구상 자체를 하지 못한다.
위 구성 요소만 봐도 논술형 문항에서는 채점기준표가 중요하다. 그래야 다른 구성 요소인 채점을 잘 할 수 있으니까. 채점의 신뢰도에 영향을 주는 요인 중에서 채점자의 주의력 변화 혹은 채점기준에 대한 해석 변화가 있다. 채점 분량이 많으면 채점자가 채점기준에 대한 주의력이 낮아지거나 혹은 채점기준을 다르게 해석할 수 있다. 그래서 채점자는 적절하게 휴식을 취해야 한다. 역시... 나만 그런 게 아니었다 !
채점기준표 작성이 힘들다면 이는 문항이 구조화되어 있지 않고 문항을 통해서 확인하려는 바, 목표에 도달하려는 바, 학생에게 바라는 바가 명확하지 않기 때문이다. 그래서 채점기준표를 작성할 때는 평가요소와 기대 수행을 잘 추출해야 한다. 평가요소와 기대 수행은 교육 목표와 맞닿아 있다. 분석적 채점기준표에서는 기대 수행으로 달성하는 수준은 4개 이하가 적당하다. 제일 최우수인 최대 기대 수행을 기술할 때 꼭 제일 잘하는 학생을 생각하지 않아도 된다. 보통 최우수를 성취도 80%이라고 볼 수 있으니 성취도 80%이상 학생을 염두에 두고 기술하면 된다. 기대 수행에는 미수행 학생에 대한 기술은 할 필요없다. 수행한 학생만 염두에 두고 작성하고 미수행 학생은 학업성적관리규정에 따라 최하점 처리를 하면 된다.
보통 학교 수행평가에서(나 포함) A 수준이 많이 나온다. A 수준이 너무 많이 나오면 학생들의 평가 응시 태도가 좋지 않아진다. 평가를 통한 교육적 효과가 떨어지기 때문이다. 대충해도 점수가 잘 나올 수 있어서다. 학생이 성장할 의지를 상실한다. 반대로 수준이 너무 낮다면 학습 흥미를 상실한다. 둘 모두 수준에 적합하지 않은 과제를 제시해서다. 수행평가라 해서 무조건 점수를 잘 주면(또는 반대라도) 학습에 역효과가 생긴다.
질의응답에 속시원한 이야기가 있었다.
질문: 평가계획을 보통 학기 초 아이들을 제대로 알기 전에 세우는데요. 아이들을 만나고 난 후에 아이들에 맞게끔 수정하고 싶어도 수정 과정이 힘듭니다.
답변: 선생님 말씀이 맞습니다. 행정적으로 정보 공시 등으로 학기 초에 채점기준표까지 모두 세우는 경우가 많은데, 아이들을 제대로 알고 난 뒤에 구체적인 채점기준표를 세우거나 기존에 세웠던 채점기준표가 얼마든지 변경될 수 있습니다. 정보공시 올릴 자료를 간소화 한다든지, 정보공시 자료를 언제든지 변경할 수 있도록 하는 방안을 찾아야 합니다.
정말 행정이 문제구만 ! 배석해 있는 연구사, 장학사, 장학관이 들었으면 ^^
질문: 수학, 과학 교과는 논술형에 안 맞을 때가 있는 것 같습니다. 평가 요소를 논술형에 맞게 어떻게 구성할 수 있을까요?
답변: 다른 교과와 융・복합을 시도해보면 좋습니다.(교수님은 융・복합 평가를 많이 말씀하셨다.) 글쓰기 요소는 국어과에서, 내용적인 요소는 각 교과에서 평가를 하면 충분히 논술형으로 평가할 수 있을 겁니다. 역량 평가해야 한다는 말이 많은데, 역량은 모든 교과에서 배운 내요을 문제 해결에 새롭게 적용하는 능력입니다. 이는 개별 교과에서 평가하기 어렵습니. 융・복합 평가가 그 방안입니다.
질문: 국어과 글쓰기 평가 요소 중 응집성/통일성 등이 있는데 채점할 때 이를 구분짓기 힘든 경우가 있습니다.
답변: 평가요소 간에 포함관계를 최소화해야 합니다. 평가요소끼리 고유하게 채점돼야 합니다. 관련 정도가 아예 없을 수는 없으나 최대한 요소별로 독립적으로 평가할 수 있도록 해야 합니다.
(나의) 질문: 채점기준표를 아이들과 공유하여 채점 결과를 수용적으로 하고 피드백을 해주면 교육적 효과가 큰 것 같습니다. 대구는 지필평가에도 서술형 문항을 100점 만점 중 34점 이상 넣어야 합니다.(한 지필고사가 30%인 경우) 지필평가는 아이들과 채점기준표를 공유할 수도 없고, 피드백도 힘든데, 어떻게 하면 좋을까요?
답변: 일단 지필평가는 세세한 루브릭이 필요한 만큼의 서술형 문항을 출제하면 안 됩니다. 지필평가는 시간이 굉장히 제한적입니다. 그 시간 안에 선택형과 서술형이 섞여 있는 문항 모두를 풀기 어렵기 때문입니다.
질문: IB 평가기준에서 비판적 사고력을 평가하라고 하는데, 내용 교과에서는 '비판적 사고력'을 측정하기 애매할 때가 있습니다. 개념적인 내용 요소로 어떻게 비판적 사고력을 평가할까요?
답변: 비판적 사고력이라고 해서 꼭 '비판적 사고력' 그 자체를 평가하려고 할 필요가 없습니다. 내용 교과의 여러 가지 개념으로 비판적 사고력을 끄집어 낼 수 있기 때문입니다. 예를 들어 A라는 개념에 대해 한계나 대안을 마련해보라고 한다면 이 또한 비판적 사고력을 측정하는 것입니다. 일반화된 평가기준을 성취기준을 담을 수 있게 구체화하면 좋겠네요.
https://blog.naver.com/jhyp73/223477590498