심리평가도구 신뢰도 & 타당도 개념 및 유형

[마인드무브]

심리평가도구 신뢰도 & 타당도 개념 및 유형

1. 타당도

1) 타당도의 개념

좋은 평가 도구가 되는 요건으로 타당성, 신뢰도, 객관성, 실용성 등으로 보고 있다. 이러한 것은 평가 도구의 요건으로서 양호도 분석이라고도 한다.

평가도구를 선택하거나 구성하는데 고려하여야 할 가장 중요한 요소는 타당성(validity)이다. 이것은 평가결과가 의도하는 특정한 용도에 부합되는 정도를 말한다. 타당성 정보는 도구에 대한 것보다는 결과의 해석과 관련이 있다. 타당성은 정도의 문제를 중요시해야 하며 어떤 특별한 용도에 대한 구체적 특성이라는 것을 명심해야 한다. 예를 들어 국어 시험을 볼 때 일정 범위 내에서 범위에 적당한 문제를 내었는가를 묻는 것이다. 적성을 평가하려면 학습자의 적성과 관련된 평가도구가 문항 속에 들어있어야 한다. 그 속에 IQ를 재는 문항은 필요가 없는 것이다.

2) 타당도의 유형

평가의 타당도와 타당성에는 크게 보아 이론적 타당도(논리성)와 경험적 타당도(상관성)가 있다.

이론적 타당도에는 표면 타당성, 내용 타당성, 교과 타당성이 있다.

① 표면 타당성 : 피험자가 느끼는 문항의 적절성을 의미하는 것이다.

② 내용 타당성 : 가장 기본적인 것으로서 평가도구 문제들이 얼마나 대표적인 내용이 들어가 있는가, 내용을 얼마나 범위 내에서 대표적인 내용을 골라 문제를 출제하였는가를 묻는 것이며 평가할 때 이원분류표를 사용하면 타당도가 올라가며 효과적이다. 교수-학습과정에서 설정했던 교육목표를 평가도구가 얼마나 충실히 측정하고 있느냐는 것을 결정할 때 쓰이는 타당도의 개념으로 교수-학습과정을 거친 다음 학생에게 실시하는 검사가 타당한 평가도구가 되기 위해서는 가르치려고 했던 내용을 충실히 측정해야 한다. 타당도의 분석에서 검사의 타당한 정도를 알아보는 준거는 교육목표이기 때문에 이미 제시되어 있는 목표에 근거하여 분석하는 것이다. 수학검사 문항의 표집이 설정된 교수목표를 대표하는 전 영역에서 합리적으로 표집이 되었는가를 분석하는 것이다.

③ 교과 타당성 : 검사문항과 교과목표와의 유관성을 묻는 것이다.

경험적 타당도에는 공인 타당도, 예언 타당도, 구인 타당도, 요인 타당도가 있다.

① 공인 타당도 : 검사의 결과가 현재의 학습자의 행동과 얼마나 일치하는 가를 묻는 것이다. 예를 들어 학습자가 적성 검사에서 미술영역에 높은 점수를 보였다. 그렇다면 현재 그 학생이 미술영역에 흥미와 소질을 가지고 미술활동에 적극적으로 참여한다면 공인타당도가 높은 것이다. 즉, 공인타당도란 이미 타당도를 인정받은 측정도구와 그 측정결과가 일치하는 정도를 말한다. 이때의 준거는 이미 공인되어 비교되어지는 도구의 측정결과가 되는데, 예언 타당도와는 달리 준거가 미래에 있는 것이 아니라 현재에 있다. 공인 타당도는 예언이 아니라 공통부분을 알아보는 것이다.

② 예언 타당도 : 미래의 성취수준을 아는 것이다. 즉 현재의 문제에서 미래에 얼마나 잘 대처하는가를 평가하는 것이다. 예를 들어, 대학입학 학력고사의 예언타당도가 높다면 좋은 성적을 받은 학생이 대학에서도 좋은 성적을 내야 한다. 타당도의 준거는 그 학생의 미래에 나타날 행동이 된다. 적성검사는 예언 타당도를 가장 높은 수준으로 요구하는 측정도구이다. 목적하는 준거를 얼마나 정확하게 예언하는 능력을 가지고 있느냐의 정도이다.

③ 구인 타당도 : 측정하고자 하는 심리적 특성의 구성요인을 이론적으로 타당화 하여 그 측정결과를 정당화하는 정도를 의미한다. 한 검사도구가 측정하고자 하는 특성을 정의하고 상호관련이 있는 구인들과의 관계를 명료화함으로써 구인의 존재를 정당화하고 이를 바탕으로 실질적으로 구인을 측정하는 정도를 판단하여 검사의 구인타당도로 활용한다. 구인 타당도는 측정하고자 하는 구인을 정의하고 가설을 세워 경험적인 자료를 토대로 검증하는 것이다. 예를 들어 수학이라는 영역이 잘하고 싶은 경우 수학의 변인의 어떠한 것이 영향을 끼치는가를 파악해야 한다.

④ 요인 타당도 : 하위검사의 독립성 또는 독특성의 정도를 의미하는 것이다.




2. 신뢰도

1) 신뢰도의 정의

신뢰도(reliability)란 측정하고자 하는 현상을 일관성 있게 측정하는 능력으로 안정성, 일관성, 예측가능성, 정확성 등으로 표현할 수 있는 것을 의미한다. 반복 측정을 하였을 경우에 얼마나 동일한 결과를 얻게 되었는지, 측정도구가 측정하려고 하는 속성을 얼마나 진실에 가깝도록 측정했는지에 대해 파악함으로써 신뢰도를 정의할 수 있다. 즉, 신뢰도 측정의 여러 방법들은 일관성의 여러 유형을 의미한다. 신뢰도는 높을수록 좋지만 신뢰도가 높다고 해서 훌륭한 결과를 얻었다고 할 수 있는 것은 아니다. 믿을만한 측정방법이라고 반드시 타당한 것만은 아니며, 신뢰성은 엄격한 통계학적인 개념임을 염두해 두어야 한다.

2) 신뢰도의 유형

① 재검사법 (검사-재검사 신뢰도 : 안정선 계수)

재검사법은 일정한 시간 간격을 두고 같은 집단에 동일한 상황에서 동일한 측정도구로 두 번 측정하여 그 결과를 비교하는 방법이다. 측정한 결과간의 상관계수가 높을수록 신뢰도가 높다는 것을 의미한다. 재검사법의 장점은 측정도구 자체를 직접 비교할 수 있고, 적용이 간편하다는데 있다. 그러나 첫 번째 측정이 두 번째 측정에 영향을 미칠 수도 있고, 외생변수의 영향력을 파악하기가 어려우며 동일한 측정대상을 두 번씩 측정에 응하게 하는 것은 비용이 많이 드는 것은 물론 거의 불가능하다는 단점을 가지고 있다. 이런 문제를 해결하기 위해서는 척도의 항목수를 늘리고, 첫 번째 검사와 두 번째 검사의 기간 설정에 신중해야 한다. 검사기간은 조사자에 따라 차이는 있지만 대체로 2주에서 4주가 적당한 것으로 알려져 있다.

② 평행양식법 (동형검사 신뢰도: 동형성 계수)

평행 양식법은 재검사법의 한계점을 극복하게 해 주는 방법으로, 첫 번째 측정도구와 동등한 것으로 여겨지는 두 번째 측정도구를 고안하는 방법이다. 이 방법 역시 양 측정치간의 상관관계가 높을수록 신뢰도가 높다는 것을 의미한다. 그러나 동일한 현상을 측정하는 데 사용될 두 개의 측정도구를 개발하기가 어렵고, 확보된 신뢰도가 낮을 경우 측정효과의 신뢰도가 본래부터 낮아서 그런 것인지 아니면 두 개의 양식을 동등하게 하는 데 실패한 것인지, 그 이유를 밝혀내기 어렵다. 또한 많은 경우의 사회현상들이 한 시점에서만 측정되지 못하고, 다른 시점에서 측정되었다 하더라도 두 시점간의 사실상의 변화를 파악할 수가 없다.

③ 반분법 (반분신뢰도 : 동질성 계수)

반분법은 평행양식법을 보다 논리적으로 발전시킨 방법으로 전체의 문항을 두 개로 나눈 다음 그것의 상관계수를 보고 신뢰도를 평가하는 방법이다. 즉, 한번의 검사를 하여 기우(문항을 홀․짝으로 나눔) 또는 전후로 양분․채점하고 검사문항의 내용의 동질성을 확인하는 방법이다. 반분법은 전체의 문항을 어떻게 두 개로 나누느냐에 따라 신뢰도계수가 달라진다. 반분법을 사용하는 데에는 첫째 같은 개념을 측정해야 하고, 둘째 각 측정도구의 항목 수는 완전한 척도를 이룰 수 있도록 많아야 한다는 조건이 필요하다. 반분법은 항목의 동일성의 의미 즉, 내적 일관성을 강조하는 방법으로 어떤 특정 항목의 신뢰도를 정확히 파악할 수 없다는 문제점을 가지고 있다.

④ 내적 일관성 (문항 내적 합치도)

내적 일관성은 문항내의 정답반응과 오답반응의 일관성을 측정하는 방법이다. 내적일관성은 문항 상호간 어느 정도의 일관성을 가지고 있는가를 측정하는 방법으로 척도내 항목들의 상호관련성이 높을수록 그 척도의 내적일관성이 높다고 할 수 있다. 사전조사를 통하여 신뢰도가 낮은 항목을 삭제한 뒤 본 조사를 위한 측정도구를 개발할 때에 이용되기도 하며, 조사가 끝난 뒤에 신뢰도가 낮은 항목은 분석에서 제외시키기도 한다. 일반적으로 계수가 0.6 이상이면 비교적 신뢰도가 높다고 볼 수 있다.