영어교육론 구조화반 8주 읽기 자료 (영어평가)

[권영주]

이번주가 1-2월 기본 구조화반 마지막 주차입니다. 모두 추운 겨울 공부하느라 수고 많으셨어요.

3월 부터는 이제까지 공부한 내용을 점차적으로 문제에도 적용해보고 써볼 수 있는 시간을 점차적으로 심화학습 해나갈 수 있습니다. 모두 합격을 기원하며 힘내서 나갈 수 있도록 합시다. 오늘도 보람찬 하루 되세요!

PS: 수업자료에는 도표와 함께 편집 자료로 좀 더 명시적으로 볼 수 있음을 알려드립니다.

01. 평가의 원리

1. Practicality (실용도)

좋은 테스트는 실용적이라는 말에는 재정적인 면, 시간의 제한, 운영과 점수 매기기, 해석하기의 간편함 등이 포함되며 다음 두 평가체계로 판단될 수 있다.

① 규준지향평가 (norm-referenced):점수제로 나타나는 평가로서 실용성이 주요 목적이다.

② 준거지향평가 (criterion-referenced):시험자에게 특정코스나 레슨의 목표에 대한 피드백을 주기 위해 고안된 평가법이다.

2. Reliability (신뢰도)

신뢰도란 어떤 검사를 여러 차례 실시할 때 혹은 그 검사에 대한 평가를 여러 사람이 할 때, 평가결과가 횟수나 평가자에 관계없이 일정하게 나오는 일관성을 의미한다. 검사도구 자체에 관련된 신뢰도는 다음의 4가지 유형으로 구분된다.

• 검사-재검사 (Test-retest) 신뢰도: 이 신뢰도는 동일한 피평가자에게 동일한 검사지를 일정한 시간간격을 두고 2회 실시하고 난 뒤 얻은 점수간의 상관관계를 구하여 얻는 것을 가리킨다.
• 동형 (Alternate Forms) 신뢰도: 동일한 피평가자에게 2가지 유형의 동일한 검사지를 실시한 후 그 점수간의 상관관계를 구함으로서 얻어지는 신뢰도이다.
• Cronbach alpha 신뢰도: 알파 계수는 테스트나 설문지 등의 도구가 얼마나 신뢰할 수 있는지를 나타내는 통계적 측정 지표로 주로 내적 일관성(internal consistency)을 평가하는 데 사용된다. 알파 계수는 0과 1 사이의 값을 가지며, 일반적으로 높은 값에 가까울수록 도구나 시험이 내적으로 일관성이 높다고 판단된다. 이것은 동일한 개념을 측정하는 항목들이 서로 일관성을 유지한다는 것을 나타낸다.

이와 같이 검사도구 자체와 관련된 신뢰도외에 다음과 같이 채점자와 시험자, 운영방법 등에서 기인하는 신뢰도의 문제도 있다.

시험자관련 신뢰도 (student-related reliability):시험자가 시험 당일의 물리적 상황이나 심리적 상태로 인하여 시험 점수에 변화가 있음을 의미한다.

• 채점자 신뢰도 (rater reliability):두 명 이상의 채점자가 지속적인 점수 결과를 내고 있느냐에 관련된 신뢰도이다.
• 시험운영 신뢰도 (test administration reliability):테스트운영에서 생길 수 있는 신뢰도로서 소음 때문에 듣기 평가를 제대로 수행할 수 없었다면 신뢰도의 문제가 있는 것이다.
• 시험 신뢰도 (test reliability):테스트 자체의 문제로 측정오류가 발생할 수 있다:너무 긴 시험 문제, 시간의 제약, 답이 애매모호한 질문

3. Validity (타당도)

1) Construct validity (구인타당도)

구인 타당도는 타당도의 여러 범주 중에서도 가장 상위적 개념으로 다른 타당도를 모두 포함한다. 구인 타당도에서 의미하는 구인이란 이론적 구성요소, 특성(theoretical construct or trait)을 가리키는데, 구인 타당도란 바로 이러한 이론적 구인 혹은 행동 특성을 평가하고 있는 정도를 가리키는 말이다.

2) Criterion-related (준거 관련) 타당도

어떤 평가를 통해 얻은 점수와 그 평가에서 보고자 하는 능력을 잘 평가하고 있다고 이미 판정되는 다른 기준과의 상관관계를 통해 타당성을 입증하려고 한다. 다음과 같이 두 종류로 나뉠 수 있다.

∙Concurrent (동시적) 타당도: 기준이 현재 실시하고 있는 평가와 동시에 실시되는 평가나 혹은 약간의 시간적 차이만을 두고 실시되는 평가에 초점을 둔다. 계량화된 수치를 통해 타당도에 대한 객관적인 정보를 제공할 수 있다는 장점이 있으나 이미 타당도를 인정받은 평가도구가 없을 경우에는 동시적 타당도를 구할 수 없다는 단점이 있다.

∙Predictive (예언적) 타당도: 기준이 현재 실시하고 있는 평가와 상당히 시간적 차이를 두고 있는 미래의 행동에 초점을 두고 있다.

3) Content (내용) validity

내용 타당도란 평가에서 다루고 있는 문항들이 평가의 대상으로 되어있는 영역이나 기능과 관련이 있는지 그리고 그 영역이나 기술을 대체적으로 모두 다루고 있는지에 관한 문제이다. 테스트에서 시험자가 수행해야 할 행동을 잘 측정하고 주제 내용을 물어본다면 내용 타당도가 있는 것이다. 수행평가의 경우에는 과제의 교수목표 반영도, 교과내용과의 관련성, 과제의 실생활 반영도, 과제의 명료성, 고등사고 능력의 평가, 채점기준의 적절성, 과제들의 공정성, 학생들의 참여유도, 과제의 실행 가능성등과 같은 기준을 사용할 수 있게 된다.

4) Face (안면) Validity

학습자들의 입장에서 문제들이 타당하다고 느끼는 정도로서 외형적으로 테스트의 목적에 부합하는 가를 묻는 것이다. 따라서 테스트는 학습자가 달성하기로 기대하고 있는 것에 대한 실제 내용을 표본 표출해야 한다. 테스트를 신중하게 구성하고 학습자들에게 익숙한 과제를 사용하고 적당한 난이도가 필요하다.

4. Authenticity (실제성)

시험에 대한 실제성(authenticity)을 판단하는 기준으로 시험 과제의 특징과 목표어 과제의 특성들과의 상호교류의 정도

5. Washback (환류효과)

테스트를 보고 그들의 수행능력에 대해서 피드백을 받게 되는데 이것이 학생들에게 그들의 장점과 단점의 형태로 washback되어야 한다는 이론이다. 비공식적 테스트 (informal test)에서 피드백을 많이 받을 수 있으므로 더 많은 washback 효과를 받을 수 있다.

02. 평가 종류

1. 목적별 종류

• Proficiency tests (능력 시험) 총체적인 언어능력을 테스트하기 위해서는 언어의 능숙도를 테스트하는데 전통적으로 4지선다형으로 내용 타당도(content validity)를 충족하지 못하는 약점이 있다. 현대에는 의사소통 능숙도(communicative proficiency)를 측정하기 위한 말하기와 쓰기는 사람이 검사하고 읽기와 듣기는 컴퓨터가 검사하는 보안책이 도입되고 있다.
• Diagnostic tests (진단 시험) 교육과정을 구성하는 절차로서 학습자가 어려워하는 점을 알아내기 위해서 특정한 부분을 검사할 수 있어야 한다.
• Placement tests (배치도 시험) 능력과 진단 테스트(proficiency and diagnostic tests)는 배치도 테스트로 이용될 수 있다. 학생들을 적절한 레벨이나 커리큘럼의 맞는 영역에 배치될 수 있게 한다.
• Achievement tests (성취도 시험) 수업레슨, 단원 혹은 전체 커리큘럼과 직접적으로 관련되어있다. 이 테스트의 목표는 수업의 마지막에서 그 코스의 목표를 잘 달성했는지 판단하는 것이다.
• Aptitude tests (적성 시험) 2언어를 잘 배우고 성공할 수 있는가에 대한 학생의 재능과 일반적 능력을 측정하는 평가이다. 현재 평가의 추세는 작은 것에서 큰 내용까지 언어학적 단위의 연속성을 측정한다.

2. Norm-referenced and Criterion-referenced tests

1) Norm-referenced test (규준지향평가)

시험자에게 등수(rank order)를 주는 것이 중요하며 경제성이나 효율성이 주요 관심사이다. mean, median, standard deviation, percentile rank로 해석된다.

2) Criterion-referenced test (준거지향 시험)

시험자에게 특정의 코스나 레슨 목표에 대하여 점수(grade)의 형태로 피드백을 주기위한 테스트이다. 교사의 중요한 책임은 학생에게 유용하고 적절한 피드백을 주기 위한 것이라고 했다. Authenticity와 washback이 주요관심사가 된다. 특히 교실에서 이루어지는 평가는 가르치고 있는 코스의 특정한 목적의 수행을 알아보고자 하는 것이다.

3. Formative and Summative Assessment

1) 형성평가 (Formative Assessment)

• 교수학습의 진행 과정에서 수시로 그 과정을 개선하기 위해서 행해지는 평가로서 형성평가는 교수요목 계획(syllabus design)과 교수프로그램이나 교수자료를 개발하는데 이용되어 보다 좋은 교육과정을 향상시키고자 교육과정을 개발하는 동안 교육과정 개발자들에게 커리큘럼에 대한 정보를 제공해주기도 한다.
• 수업을 진행시켜가는 과정에서 부여되는 형성평가는 학생이나 교사에게 학생들이 얼마나 학습을 잘하고 있는가를 알려주는데 도움을 준다.
• 이 평가에서는 학습된 내용만을 취급하며 학생이 과외학습을 필요로 하는지의 여부를 보여준다.
• 형성평가는 당락 (pass or fail)시험으로 한 학생이 시험에 실패하면 더 공부해서 다시 시험을 치르도록 한다.

2) 총괄평가 (Summative Assessment)

강의과정이 끝난 후 부여하는 시험으로 학습과정에서 학생이 얼마나 많이 학습 했는가를 종합적으로 측정하는 평가로서 총괄평가의 결과는 학습교육과정/ 교육방법등의 장기적 계획수립에 도움이 된다.

총괄시험은 답안지를 채점해서 항상 그 점수의 크기에 따라 등급을 매기는 것이 특징이다. 총괄시험은 교육과정이 끝난 후에 그 교육과정이 효과적이고 성공적이었는지의 여부에 관해서 의사결정자에게 정보를 제공해 주기도 한다.

4. Conferences (면담법)

교사와 학습자간의 일대일 직접 feedback으로 교사는 facilitator로서, 학생은 self- reflection에 대한 내적인 동기를 부여받는다.

5. Observations (관찰법)

훌륭한 교사는 특별한 평가의 형식을 띄지 않고 학생을 관찰함으로써 판단할 수도 있지만 동시에 항상 정확할 수는 없으므로 feedback에 대한 신뢰도(reliability)와 안면 타당도(face validity)를 향상시켜야 한다.

관찰이 실제 현장에서 이루어지는 체계적이고 계획된 과정으로 학생들의 언어적, 비언어적 행동에 대한 비밀스런 기록이 된다.

04. 수행 평가 (performance assessment)

1. 수행 평가의 정의

수행평가란 새로운 문제나 특정의 과제를 해결하는 능력을 측정하기 위한 체계적인 시도로서 학습자 스스로가 자신의 지식이나 기능을 나타낼 수 있도록 산출물을 만들거나, 행동으로 나타내거나, 답을 작성하도록 요구하는 평가방식이다. 수행평가에서 수행(performance)의 의미는 실제로 일을 하거나 목표를 달성하는 과정을 지칭한다. 따라서 수행평가는 교육목표의 달성여부를 가능한 실제상황에서 파악하는 것이기 때문에 학습자들로 하여금 문제의 답을 구하거나 만들어가는 실제과정에서 능력이나 지식을 드러내 보일 것을 요구하는 다양한 평가방식을 사용한다.

05. 네 가지 언어 기능에 대한 평가 유형

1. Listening 평가 유형

• 집중형 (Intensive): 전형적인 intensive 평가는 언어의 음운론적(phonological), 형태론적(morphological) 요소들을 듣고 같은 형태를 알아내는 평가이다.
• 응답형 (Responsive): a greeting question, command, comprehension check 등과 같이 상대적으로 짧은 내용을 듣고 비슷하게 짧은 응답을 하는 평가이다.
• 선택형 (Selective): 어떤 정보를 찾아내기 위해서(scanning) 몇 분정도 길이의 짧은 독백의 담화내용을 듣고 평가한다.
• 확장형 (Extensive): 하향식 방법과 전체적 이해도 (top-down, global understanding)를 발전시키기 위한 듣기 평가이다.

2. Speaking 평가의 유형

말하기 평가의 방향은 실제적인 대화, communication 상황에서 학생들이 대화의 의미를 파악하고 전달하는 능력을 평가하되 대화의 자연스러움과 정확한 의미전달을 위하여 정확도와 유창도를 채점기준으로 하여야 한다. 쓰기와 같은 표현기능은 수행평가의 형태로 제작되어야 한다. 교실 내에서의 말하기 기능은 다음과 같다.

• 모방형 (Imitative): 단순히 단어, 구, 문장 등을 모방하는 능력에 대한 평가이다:
• 집중형 (Intensive): 좁은 영역의 grammatical, phrasal, lexical, 혹은 phonological (prosodic elements - intonation, stress, rhythm, juncture) 관계를 나타내기 위해서 계획된 짧은 구어체를 만들어 내는 능력을 평가한다.
• 응답형 (Responsive): 제한된 형태의 짧은 대화, 기본 인사와 간단한 요청과 코멘트 (somewhat limited level of very short conversations, standard greetings, simple requests and comments)
• 상호작용형 (Interactive): responsive와 interactive 평가의 차이점: interaction의 길이와 복합성(complexity)에 있다. interactive 평가에서는 여러 개의 상호작용과 여러 명의 참여자가 포함된다. ∙상업형 언어 (Transactional Language: 특정한 정보를 교환하는데 목적이 있다. (A, B)상호작용형 언어 (Interpersona Language)l: 사회적 상호작용을 교환하는데 목적이 있다. (C)
• 확장형/ 독백 (Extensive/ monologue): 복잡하고 다소 긴 형식의 담화 (discourse)와 언어유형 (language style)이 고려되고 주로 형식적이 글이 많지만 비형식적으로 가볍게 쓰여진 독백식 글도 포함된다.

3. Reading 평가의 유형

① 읽기 활동의 분류

• 상향식 (Bottom-up process): 문장 내에서 단어 및 구문구조를 해석하여 의미를 파악한 후 축적된 문장의미를 바탕으로 문단 및 글 전체의 의미를 파악한다.
• 하향식 (Top-down process): 글 전체의 의미 및 메시지를 추측하고 구조화하는 동시에 문장 단위의 의미를 파악해 나가면서 내용을 파악한다.

② 읽기의 성취 기준

• 인지형 (Perceptive): 담화의 언어 성분들에 집중을 하여 letters, words, punctuation, & other graphemic symbols등을 평가한다.
• 선택형 (Selective): 아주 짧은 내용의 글에서 시험자의 lexical, grammatical 혹은 discourse적인 지식을 알아보는 평가
• 상호작용형 (Interactive): 읽기를 의미협상의 과정으로 보며 독자는 일련의 배경지식(schemata)을 글에 활용시켜 이해하며 intake는 상호작용의 산물이다. 지문의 종류로는 일화(anecdotes), 짧은 이야기와 서술(short narratives and descriptions), 발췌문(excerpts), 설문지(questionnaires), 메모(memos), 성명서(announcements), 지시문(directions), 요리법(recipes)등이 있다.
• 확장형 (Extensive): 한 페이지 이상의 글에 해당되는 의미에 중점을 준 전체 읽기에 대한 평가이다. 지문의 종류로는 professional articles, journal articles, technical reports, longer essays, short stories 등이 있다.

4. Writing 평가의 유형

• Imitative (모방형): 문자 언어를 만들어내기 위해서 학습자는 글을 쓰는 기본적인 과업에서의 기술을 획득해야 하고 평가 종류로는 writing letters, words, punctuation, and very brief sentences등이 있다.
• Intensive/ Controlled (집중형/통제형): 적절한 단어를 맥락(context), 연어(collocations)와 관용구(idioms)에 알맞게 만들어내고 정확한 문법적 특징에서 문장까지 만들어 내는 기술이다. 의미(meaning)와 맥락(context)이 정확성과 적절성을 결정하는데 역할을 하지만 대부분의 평가 과업은 형식(form)에 초점을 맞추고 있다.
• Responsive (반응형): 평가 과업은 학습자들이 제한된 담화수준 (discourse level)에서 문장들을 문단으로 연결하고 논리적으로 연결된 두세 개의 문단을 만들어가면서 수행하도록 한다. 문장 레벨에서의 문법의 기초를 구축하는 것과 담화 관습 (discourse conventions)을 성취하는데 목적을 두고 있다.
• Extensive (확장형): 모든 목적의 쓰기에 대한 과정과 전략에 대한 성공적인 운영을 의미하고 지문의 종류로 term paper, major research project report, thesis등이 있다. 쓰기의 목적(purpose)을 성취하고, 아이디어를 논리적으로 구성하고 발전시키고, 주제를 보조하고 설명하기 위해 상세 내용을 이용하고, 통사적이고 어휘의 다양성을 제시하는데 초점을 둔다. 문법의 형태에 대한 초점은 때때로 하는 편집(editing)이나 초고(draft)에 대한 교정(proofreading)으로 제한시킨다.