신뢰도와 타당도의 개념과 종류

[직사모™(운영자)]

신뢰도, 타당도 개념/종류

1. 신뢰도 (안정성, 일관성)

(1) 신뢰도의 개념: 검사가 측정하고자 하는 것을 얼마나 일관성 있게 측정하는지를 나타내는 지표이다(검사-재검사 신뢰도, 동형검사 신뢰도, 반분신뢰도)

(2) 검사신뢰도의 종류

1) 검사-재검사 신뢰도(안정성계수): 동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 얻은 두 검사 점수 간의 상관계수, 연습효과의 단점, 두 검사 실시 사이의 시간간격으로 구함(동일한 검사를 동일한 피험자 집단에게 일정한 시간 간격을 두고 두 번 실시했다→검사-재검사신뢰도)

※ 검사-재검사 신뢰도의 단점 4가지

① 이월효과(검사 시간간격이 짧은 경우 선행 검사의 기억에 따른 높은 상관도 현상)

② 반응민감성효과(검사시간 간격이 긴 경우 망각이나 새로운 학습요인에 따른 낮은 신뢰도 현상)

③ 측정 속성의 변화(응답자의 연령, 측정하려는 특성의 본질 등의 시간 변화에 따른 영향)

④ 개인의 일시적 기분 상태의 변화로 결과가 달라질 수 있음

2) 동형검사신뢰도(동등성계수): 검사도구의 신뢰도를 검증하기 위하여 두 개의 동형검사를 제작한 뒤 동일한 개인, 또는 집단에게 검사를 실시하여 두 검사점수의 상관계수로 신뢰도를 추정하는 방법이다. 동형검사신뢰도는 두 검사의 유사성을 측정하며, 평행검사신뢰도라고도 한다.(동일한 유형의 A적성검사와 B적성검사를 실시했다→동형검사 신뢰도)

3) 반분신뢰도(내적합치도계수): 해당 검사를 문항수가 같도록 반씩 나누어 개인별로 두 개의 점수를 구한 후 두 점수간의 상관계수를 계산 → 크론바흐알파, 쿠더-리차드슨공식(Kr-20)사용. 반분계수의 평균값으로 구함.

4) 채점자신뢰도 : 주관적으로 채점해야 하는 검사도구들을 연구에 이용할 때 흔히 계산

(3) 신뢰도 계수에 영향을 미치는 요인 : 개인차, 검사의 문항수, 속도검사의 신뢰도(시간제한이 있는 속도검사의 경우에는 반분신뢰도보다는 검사-재검사법을 이용하는 것이 신뢰도 측정에 좋은 방법), 신뢰도의 종류

(4) 오차 : 체계적오차는 검사점수의 일관성에 영향을 주는 것은 아니지만, 검사점수를 부정확한 것으로 만드는 요소가 되므로 검사점수의 활용상에서 문제가 된다. 한편, 무선오차는 검사점수의 일관성과 정확성에서 모두 문제를 일으키는 요소가 된다.

1) 무선오차: 순수하게 우연적인 문제에서 비롯되는 오차

2) 체계적오차: 개별응답자의 특성이나 검사자체가 갖고 있는 특성에 따라 일어나는 것. 예)청각장애자에게 영어듣기평가를 실시했을 때 나타나는 오차

2. 타당도

(1) 타당도의 개념: 검사가 측정하고자 하는 것을 실제로 얼마나 잘 측정하고 있는지를 나타내는 지표이다.(내용타당도, 준거타당도, 예언타당도, 동시타당도, 구성타당도, 안면타당도)

(2) 내용타당도 : 검사를 구성하고 있는 문항들이 측정하고자 하는 내용영역의 문항들을 얼마나 잘 반영하는가에 관한 정도를 나타내는 타당도. 이것은 그 분야의 자격을 갖춘 사람들에 의해 판단된다.

(3) 준거타당도 : 어떤 심리검사가 특정준거와 어느 정도 관련성이 있는가를 말한다. 즉, 검사를 통해 예측하고자 하는 준거와 어느 정도 관련되어 있는가에 관한 정도를 나타내는 타당도. 종류에는 예언타당도와 동시<공인>타당도가 있다.

1) 동시<공인>타당도: 검사점수와 기존에 타당성을 입증 받고 있는 검사로부터 얻은 점수와의 관계에 검증되는 타당도이다. 예) 외국어 시험의 동시타당도를 높이기 위해 TEPS나 TOEFL 같은 공인된 시험을 같이 시행하고 상호비교하여 시험점수가 높으면 TOEFL도 높다고 판단한다.

2) 예언타당도: 제작된 검사에서 얻은 점수와 미래의 어떤 행위와의 관계로 추정되는 타당도이다. 예) 자격시험에 합격한 사람이 해당 분야에서 일을 제대로 수행하지 못한다면 그 자격시험은 예측타당도가 낮아 자격시험의 개편을 고려해야 한다.

(4) 구성타당도 : 객관적으로 관찰 가능하지 않은 추상적인 개념 즉, 적성, 지능, 흥미 등을 얼마나 잘 측정하는지를 나타내는 타당도. 요인분석법은 구성타당도를 점검하기 위해 가장 널리 사용되는 통계적 방법으로 수렴타당도와 변별타당도가 있다.

1) 수렴타당도: 새로 개발한 검사를 기존의 검사들과 비교해서 상관계수를 구하는 방법으로 상관계수가 높을수록 수렴타당도가 높다

2) 변별타당도: 새로 개발한 검사와 다른 특성을 측정하는 다른 종류의 검사와의 상관계수를 구하는 방법으로 상관계수가 낮을수록 변별타당도가 높다

∴ 요인분석: 검사를 구성하고 있는 문항들 간의 상호관계를 분석해서 서로 상관이 높은 문항들을 묶어주는 방법.

(5) 안면타당도: 검사문항을 전문가가 아닌 일반인들이 읽고 그 검사가 얼마나 타당해 보이는지를 평가하는 방법

http://cafe.daum.net/jiksamo

신뢰도와 타당도.hwp