|
측정하고자 하는 학습 성과를 혼동하는 것(여러 내용 영역의 기술을 분리하지 않고 한꺼번에 채점하는 것)
관련 없는 요소를 채점하는 것(예:깔끔함, 색상 등)
학습 성과에서 숙련도의 증거를 찾지 않고, 개별 요소의 개수를 세어 채점하는 것
학생들이 해야 하는지 몰랐던 것을 채점하는 것
학습의 성과보다는 결과물을 채점하는 것
목료로 하는 학습 성과가 아닌 과제에만 초점을 맞추는 것은 2단계의 오류를 범하는 것이다. 첫째, 학생들은 교사가 자신들에게 하라고 요구하는 것이 자신들이 배워야 하는 것이라고 생각하게 된다. 따라서 과제는 학습 성과를 나타낼 수 있는, "이해를 기반으로 한 수행performance of understanding"(Moss & Brookhart,2012)을 수반해야 하는데, 핵심을 비껴간 과제는 학생들의 배움 기회뿐 아니라 배워야 하는 것이 무엇인지 개념화할 수 있는 기회도 빼앗는 것이다. 둘째, 학습 기반 평가요소와 달리 과제 기반 평가요소는 수행한 과제에 대한 정보만 제공할 뿐(어쨌거나 과업은 완수했으므로), 향후 학습을 지원하는 데 필요한 정보를 제공하지 않으므로 다른 변화를 끌어낼 수 없다.
p.44
때로는 학문적인 학습목표를 수치화해 측정하는 것이 바람직한 경우가 종종 있을 수 있다(예:지문을 타자로 쳤을 때 오탈자 개수 세기). 그러나 대부분의 경우, 질적 수준을 설명하는 데 가장 좋은 방법은 실질적인 기술을 하는 것이다.
2장 요약: 체크리스트 같은 루브릭은 배움 대신 얼마나 지시 사항에 순응했는가를 평가한다. 과제대신 학습 성과를 평가해야한다. 루브릭은 판단적 척도evaluative scales가 아니라 기술적 척도decriptive scales 여야 한다.
p.52
학생이 무엇을 알고 있고, 무엇을 할 수 있는지를 보여주었을 때 추론하지 않고 비판적으로 생각할 수는 없다. 그런데도 추론을 전혀 할 필요가 없는 루브릭을 제작하려 한다면, 2장에서 살펴본 것처럼 다소 지엽적인 내용에만 치우치게 된다.
p.72
*수업에서 사용할 루브릭을 위한 바람직한 수행 수준별 기술의 특성
특성 수행수준별 설명은 | 설명 |
기술적임 | 과제를 수행할 때 관찰되는 모습을 기술한다. |
명확함 | 학생과 교사가 모두 이해할 수 있도록 기술한다. |
수행 수준의 전 범위를 다룸 | 평가요소별 수행의 질적 수준을 나타내는 연속선의 한쪽 끝(가장 하위 수준)에서 반대쪽 끝(가장 상위 수준)까지 기술한다. |
수준별 구분이 가능함 | 수행에 관한 설명은 수준별로 차이가 분명해 과제가 확실하게 분류된다. 과제 예시를 수행 수준별 기술과 연결 짓는 것이 가능해야 한다. |
목표로 하는 수행 수준이 적절함 | 목표로 하는 수행 수준을 성취기준, 교육과정 목표, 혹은 수업 목표에서 기대하는 수준으로 설정한다. |
과제의 동일 요소에 대해 수준별로 기술함 | 주어진 성취기준의 수행에 관한 수준별 기술은 한 과제의 동일한 요소에 대해 질적인 차이를 나타낸다. |
*생애주기 프로젝트의 루브릭 수정안
| 우수 | 능숙 | 보통 | 기초 |
생애주기 단계의 순서 | | 모든 생애주기 단계 순서가 정확하며 단계의 이름을 정확히 제시함. | 생애주기 단계 순서에 하나 혹은 그 이상의 오류가 있음. | 순서가 명시되어 있지 않거나 정확하지 않음. |
생애주기 단계의 삽화 | 단계별로 동물에게 어떠한 현상이 일어나는지 알려주는 삽화를 명확하고 구체적으로 제시함. | 단계별로 동물에게 어떠한 현상이 일어나는지 알 수 있도록 도와주는 삽화를 제시함. | 단계별로 제시된 삽화 중 몇 개가 해당 단계에서 동물에게 어떠한 현상이 일어나는지 보여주지 않음. | 생애주기 동안 동물에게 어떠한 현상이 일어나는지 삽화가 보여주지 않음. |
생애주기 단계의 설명 | 단계별로 정확한 설명을 제시함. 설명의 완결성 및 구체성이 돋보임. | 단계별로 정확한 설명을 제시함. | 단계를 설명하는데 있어서 부정확하거나 완결성이 부족한 정보를 사용함. | 단계에 대한 설명이 누락되었거나, 부정확한 정보를 사용함. |
->동물의 한살이 또는 식물의 한살이 평가에 이용할 수 있겠다.
'우수'에 해당하는 글의 수준은 "오류가 전혀 없는" 글이 아니라 "잘 읽히는" 글이다.
p.91 맞다. 글쓰기에선 오류보다는 잘 읽히는지를 봐야겠다.
*수학 문제 해결 능력 평가를 위한 루브릭->'나는'처럼 1인칭 시점을 사용하니 자신의 결과물을 생각해보는 기회를 제공한다는 측면에서 학생 친화적이다.
점수 | 수학 지식 증명(문제를 정확하게 해결할 수 있는가?) | 문제 해결 전략 사용(문제를 어떻게 해결하는가?) | 설명 작성(자신의 문제 해결 과정을 설명할 수 있는가?) |
5 |
|
|
|
4 |
|
|
|
3 |
|
|
|
2 |
|
|
|
1 |
|
|
|
*서면 보고서 프로젝트를 위한 일반적 루브릭
| 내용 | 추론과 논거 | 명료성 |
4 | 논지가 분명함. 다양하고 풍부한 자료와 증거가 논지를 뒷받침함. 모든 자료가 논지와 관련이 있으며 세부적인 내용을 포함함. 정확한 정보를 담고 있음. 적절한 출처를 참조함. | 제시된 정보는 자료가 뒷받침하려는 글쓴이의 생각과 분명하고 명시적인 관련이 있음. 정보가 논리적인 방식으로 구성되어 있으며 간결하게 표현됨. 글의 흐름이 자연스러움. 글의 시작, 전환, 그리고 연결 내용이 독자/청자가 따라가기 쉽게 작성됨. | 문법 및 용법(단어 사용)에서 오류가 거의 없음. 사소한 오류가 있으나 의미를 방해하지 않음. 문체와 단어 선택이 매우 효과적이고, 의미가 잘 드러나게 함. 해다 프로젝트에 적합한 문체와 단어를 선택함. |
3 | 논지가 분명함. 적절한 양의 자료와 증거가 논지를 뒷받침함. 대부분의 자료가 논지와 관련이 있고 세부적인 내용을 포함함. 대부분 정확한 정보를 담고 있으며 정확하지 않은 부분은 사소하고 글쓴이의 생각을 밝히는 데 방해가 되지 않음. 적절한 출처를 참조함. | 자료가 뒷받침하려는 글쓴이의 생각과 제시된 저보가 서로 관련이 있는 것은 분명하지만, 그 연관성이 모두 명확하게 설명되지는 않음. 정보가 논리적인 방식으로 구성되어 있고 흐름이 적절함. 글의 시작, 전환, 그리고 연결 내용의 상당 부분이 독자/청자가 따라가기 쉽게 작성됨. 자연스럽지 않게 전환되는 부분이 있으나, 의도를 전달하는 데 지장이 없음. | 문법 및 용법의 오류가 다소 있음. 오류가 있으나 의미를 방해하지 않음. 문체와 단어 선택이 대부분 효과적이고 해당 프로젝트에 적합함. |
2 | 논지가 다소 불분명함. 자료와 증거의 일부만이 논지를 뒷받침함. 일부 자료는 관련성이 있지만 일부는 관련이 없음. 세부 사항이 부족함. 정보에는 일부 정확하지 않은 내용이 포함되어 있음. 최소한 출처의 일부는 적절함. | 일부 정보는 자료가 뒷받침하려는 글쓴이의 생각과 관련이 있지만, 어떻게 연관되는지는 설명되지 않음. 일부 구조는 분명하지만 정보가 완전히 논리적으로 구성되어 있는 것은 아님. 글의 흐름이 끊김. 글의 시작과 전환, 연결되는 내용이 빠졌거나 부족함. | 문법 및 용법의 중대한 오류가 의미를 방해하기 시작함. 문체와 단어 선택은 단순하고 단조로우며, 혹은 그다지 효과적이지 않거나 적절하지 않음. |
1 | 논지가 불문명함. 대부분의 자료가 전체적인 주제와 관련이 없거나 부정확함. 세부 사항이 부족함. 적절한 출처를 참조하지 않음. | 정보는 자료가 뒷받침하려는 글쓴이의 생각과 아무 관련이 없음. 글의 구성이 논리적이지 않고 글의 흐름을 파악할 수 없음. 상관없는 자료들이 나열되어 있음. | 문법 및 용법의 중대한 오류로 인해 의미가 불분명함. 문체와 단어 선태기 효과가 없거나 부적절함. |
*창의성을 평가하는 분석적 루브릭
| 매우 창의적 | 창의적 | 평범함/보통 | 모방적 |
아이디어의 깊이와 질 | 아이디어가 여러 맥락이나 분야에서 놀랄 만큼 다양한 중요 개념을 보여줌. | 아이디어가 여러 맥락이나 분야에서 중요 개념을 보여줌. | 아이디어가 동일하거나 유사한 맥락 또는 분야에서 중요 개념을 보여줌. | 아이디어가 중요 개념을 보여주지 않음. |
출처의 다양성 | 다양한 글, 매체, 자료 제공자, 그리고/또는 개인적인 경험을 포함한 광범위한 여러 출처를 활용해 결과물을 만듦. | 다양한 글, 미디어, 자료 제공자, 그리고/또는 개인적인 경험을 포함한 다양한 출처를 활용해 결과물을 만듦. | 한정된 출처와 미디어를 활용해 결과물을 만듦. | 1가지 출처만 활용하고/활용하거나 신뢰할 수 없거나 적절하지 않은 출처를 활용해 결과물을 만듦. |
아이디어의 구성과 조합 | 독창적이고 놀라운 방법으로 아이디어가 조합되어 문제를 해결하고 쟁점을 거론하거나 새로운 것을 만들어냄. | 독창적인 방법으로 아이디어가 조합되어 문제를 해결하고, 쟁점을 거론하거나, 새로운 것을 만들어냄. | 다른 사람의 생각(예:참조한 출처의 저자)에서 얻은 아이디어를 조합함. | 참조한 출처에서 아이디어를 그대로 베끼거나 단순히 재서술함. |
제시한 의견의 독창성 | 만들어진 결과물이 흥미롭고 새롭거나 유용하며 이전에 몰랐던 문제, 쟁점, 또는 목적을 발견하고 이를 포함해서 독창적인 의견을 제시함. | 만들어진 결과물은 흥미롭고 새롭거나 유용하며 의도한 목적(예:문제 해결 또는 쟁점 거론)에 관해 독창적인 의견을 제시함. | 만들어진 결과물은 의도한 목적(예:문제 해결 또는 쟁점 거론)에 부합함. | 만드러진 결과물이 의도한 목적(예:문제 해결 또는 쟁점 거론)에 부합하지 않음. |
백분율을 사용하는 것이 적절하지 않을 수 있다는 점을 기억하자. 능숙도 기반 루브릭에서 백분율을 사용하기 위해서는 그 백분율이 "무엇의 백분율인가?"를 고려해야 한다.
p.132 점수가 피드백 역할을 하지 못하는 이유.
체크리스트와 평정 척도는 수행의 질에 대한 기술이 필요하지 않을 때 유용하다. 어떤 일이 수행되었는지의 여부를 확인할 때는 체크리스트를, 얼마나 자주 혹은 얼마나 잘 수행되었는지를 확인할 때는 평정 척도를 사용하는 게 바람직하다.
p.139
둘째, 질 평정 척도는 성취기준에 관한 설명없이 판단만 제공한다. 예를 들어 '우수' 수준의 학생이 '최우수' 수준에 도달하고자 하는 경우, 원하는 수준에 도달하기 위해 앞으로 무엇을 해야 하는지 결정하는 데 필요한 정보를 얻을 수 없다.
p.145
*과학 실험 보고서 루브릭
| 4 | 3 | 2 | 1 |
서론- 연구 질문과 가설 | 연구 혹은 타당한 추론에 기반하여 검증이 가능한 가설을 명시함. 보고서 제목이 연구 질문이나 가설을 나타냄. | 연구 혹은 타당한 추론에 기반하며 검증이 가능한 가설을 명시함. 보고서 제목이 연구 질문이나 가설을 나타내지 않을 수 있음. | 가설을 명시했으나,그 기반이 분명하지 않거나 검증이 불가능함. 보고서 제목이 연구 질문이나 가설을 나타내지 않을 수 있음. | 가설을 명시하지 않음. 서론이 빠져 있거나 불명확하거나 주제나 과제에 관한 일반적인 서술임. |
절차- 실험설계 | 실험이 어떻게 실행되었는지에 관한 매우 상세한 설명 혹은 단계별 절차를 포함하고 있음. | 실험이 어떻게 실행되었는지에 관한 매우 상세한 설명 혹은 단계별 절차를 포함하고 있지만 빠진 단계가 있음. | 실험이 어떻게 실행되었는지에 관한 매우 설명 혹은 단계별 절차가 모호하고 타인이 실험을 따라 하기가 어려움. | 설명이 불명확함. 설명이 부족해 실험을 반복해서 할 수 없음. |
결과- 데이터 수집 | 결과와 데이터를 정확하게 기록하고 정리해 전체적인 경향을 보기쉬움. 보고서의 데이터가 무엇을 나타내는지 적절히 명시함. | 결과가 명확하고 보고서의 데이터가 무엇을 나타내는지 명시함. 전체적인 경햐야이 분명하지 않음. | 결과가 불명확하고 보고서의 데이터가 무엇을 나타내는지 명시하지 않음. 전체적인 경향이 전혀 분명하지 않음. | 결과를 제시하고 있으나 정리가 체계적이지 않거나 기록이 빈약해 이해하기 어려움. |
데이터 분석 | 데이터와 관찰 결과를 정확하게 분석하고, 전체적인 경향에 관해 언급함. 충분한 양의 데이터를 통해 결론을 도출함. | 데이터와 관찰결과를 분석함에 있어 통찰력이 다소 부족함. 데이터의 양은 충분하나 추가적인 데이터가 분석 결과의 설득력을 향상시킬 여지가 있음. | 데이터와 관찰 결과를 분석함에 있어 통찰력이 부족함. 전체적인 경향을 도출할 만큼 충분한 양의 데이터를 수집하지 못함. 혹은 데이터와 분석 내용이 일치하지 않음. | 분석이 정확하고 불충분한 데이터에 기반함. |
결과 해석 및 결론 도출 | 데이터를 요약해 가설에 대한 논리적인 결론을 도출함. 연구 결과의 현실적인 적용방안을 논의함. | 데이터를 요약해 가설에 대한 결론을 도출함. 일부 논리의 타당성이 빈약하거나 현실적인 적용 방안이 명확하지 않을 수 있음. | 가설에 대한 결론이 데이터로부터 도출되지 않음. 일부 논리의 타당성이 빈약하거나 현실적인 적용 방안이 명확하지 않을 수 있음. | 가설에 대한 결론이 명시되지 않음. 논리의 타당성 혹은 현실적인 적용 방안이 빠져 있음. |
잘 만들어진 루브릭은 학생들(혹은 용접에 관해 잘 몰랐던 저자처럼, 학습목표가 정확히 무엇인지 아직 모르는 사람들)에게 학습목표가 무엇인지 명확하게 알려주며, 채점뿐 아니라 학습과 형성평가를 위한 토대가 된다. 가장 중요한 점은 이러한 루브릭은 학생들이 스스로 학습을 위해 사용할 수 있는 도구가 된다는 것이다.
p.159
2가지 색으로 표시하기(Chappuis,2009)는 동일한 과제에 대해서 교사평가와 학생의 자기평가 관점을 비교하는 데 사용할 수 있다. 학생들은 노란색 형광펜을 사용하고, 교사는 파란색 형광펜을 사용한다. 루브릭에 기술된 대로 수행했다는 것을 보여주는 부분으로 교사와 학생 모두 같은 부분을 표시했다면,결과적으로 형광펜으로 표시된 부분은 초록색이 될 것이다. 이것은 단순한 색칠 공부가 아니다. 색깔을 비교해 보면서 중요한 정보를 얻을 수 있다. 형광펜으로 표시된 영역 대부분이 녹색이라면 학생과 교사 모두 동일한 방식으로 과제를 해석하고 있으며 과제의 질적 판단에 동의한다는 것을 의미한다. 형광펜으로 표시된 영역 대부분이 노란색이면, 교사가 놓쳤거나 인정하지 않는 증거를 학생이 증거로 여기고 있다는 것으로, 학생이 평가요소의 의미에 관해 명확하게 알지 못하거나, 자신의 글을 과대 평가하는 것일 수 있다. 형광펜으로 표시된 영역 대부분이 파란색이면, 학생이 보지 못하는 증거를 교사가 찾은 것이다. 이 역시 학생이 평가요소의 의미에 관해 명확하게 알지 못하는 것을 의미하거나, 혹은 자신의 글을 과소평가하는 것일 수 있다.
p.186 글쓰기 평가때 꼭 해봐야겠다.
동료 피드백은 건설적인 비판이 배움에서 중요한 부분이라고 믿는 교실문화에서 최고의 효과를 발휘한다. 그러나 성적에 중점을 두는 평가 중심 문화("너 몇 점 받았니?")가 특징인 교실에서는 동료 피드백이 제대로 효과를 발휘하기 어렵다. 이런 교실에서는 학생들이 "틀린 부분"이 있음을 암시하게 될까봐 동료를 비판하는 것을 주저할 수 있기 때문이다. 그래서 학생들이 배울 기회를 중요하게 여긴다는 확신이 들 대만 동료 피드백을 시도해야 한다.
p.187 동료 피드백 전에 우리 학급의 문화를 점검해 봐야겠다.
*동료 피드백을 줄 때
동료의 과제를 주의 깊게 읽거나 살펴본다. 과제를 한 사람에 대해서가 아니라 과제에 관해 이야기한다.
과제에서 보이는 것을 설명하고 기술할 때 루브릭에 나온 용어를 사용한다.
자신의 아이디어나 제안을 주면서 왜 이런 제안이 과제를 개선하는 데 도움이 되는지 설명한다.
동료의 의견과 질문에 귀를 기울인다.
*동료 피드백을 받을 때
동료의 의견을 경청한다. 의견에 대해 반응하기 전에 충분히 생각할 시간을 갖는다.
동료의 의견을 루브릭과 비교해보고, 과제를 수정할 때 어떤 의견을 반영할지 결정한다.
동료의 피드백에 감사한다.
일지쓰기. 학생이 자기성찰의 하나로 정기적으로 일지 쓰기를 하는 수업에서는 자신이 사용하는 전략이 무엇이며, 그 전략을 어떻게 사용하고있는지를 성찰해서 기록하게 할 수 있다. "내가 계획한 전략을 실제로 사용했는가? 그것이 내 수행을 개선하는 데 도움이 되었는가?"와 같이 여기서 사용되는 질문은 비슷하지만, 그 전략이 구체적으로 무엇을 하는 데 도움이 되었는지(또는 도움이 되지 않았는지),그리고 왜 그러한지에 관해 더 깊이 성찰할 여지가 있다. 교사는 그러한 성찰 내용을 읽어도 되고, 굳이 읽지 않아도 된다. 이 활동의 의도는 학생들이 메타인지를 연습하고, 자신의 '생각에 관해 생각하게'하는 것이다.
p.190~191 평가원 자료에서 찾았던 성찰일지에 들어갈 내용: 무엇을 배웠나요? 어떤 내용을 실생활에 적용할수있을까? 공부를 하면서 어떤 느낌이 들었나요? 어떤부분이 이해하기 힘들었나요? 나의 노력 정도는?
[출처] 루브릭 어떻게 만들고 사용할까-수전M.브록하트|작성자 권모양처