주요문제 |
* 한 검사가 주어진 기준 변인 상에서의 행동이나 위치를 얼마나 잘 예언해 주고 있는가?* 검사점수와 준거 변인과의 관계에 관한 경험적(실증적) 자료의 수집이 필수적= 경험적 타당도 (empirical validity) | |
평가방법 |
* 검사점수와 기준 (준거) 변인 간의 측정결과를 상호 비교한다.* 상관계수가 가장 많이 사용됨 | |
주요관심사 |
* 기준(criterion)이나 예언하고자 하는 변인 | |
검증방법 |
예언타당도(predictive validity) |
* 검사점수가 대상의 미래 행동이나 수행을 얼마나 예측해 주는가의 정도* 타당도 계수는 검사 실시 후 얼마간의 기간 지난 후 준 거 변인의 자료를 수집하여 이 둘 간의 상관을 통해 구 해진다.* 미래의 학업 성취, 사회적 적응, 직업에서의 성공 같은 것을 예측하기 위한 것으로 인선이나 분류를 목적으로 하는 검사에서 가장 많이 적용됨 |
공인타당도(concurrent validity) |
* 외적 준거와의 상관을 통해 경험적 증거를 제시한다는 점은 예언타당도와 동일* 검사와 준거 간 시간 간격을 두지 않고 거의 동시에 자 료 수집이 이루어지며, 검사 결과와 다른 어떤 행동적 준거가 얼마나 서로 일치하는가를 비교* 현재의 상태를 보다 충분히 진단하기 위한 검사에서 많 이 사용됨 = 지위 타당도(status validity)* 준거 자료 수집에 드는 비용과 절차를 간편한 검사로 대 치하기 위한 목적도 있다. | |
적용의 예 |
▷ 학업적성검사를 통해 대학교 성적을 예언하는 경우▷ 성격검사를 통해 운전수의 사고 가능성을 예언하는 경우▷ 어떤 유명한 개인 지능검사 대신에 이와 상관이 높은 집단 지능검사를 사용하여 경비를 절약하고자 하는 경우 |
[그림 2] 준거 타당도
합리적 판단 과정에 근거를 두고 검사의 문항 표집이 내용의 전집을 얼마나 적절하게 대표하고 있느냐의 정도로서 판단하는 타당도
주요문제 |
▷ 검사 문항들이 측정하려는 행동 영역을 고르게 대표하는가의 문제▷ 검사 내용 표집으로서의 전집의 대표성을 검토하는 과정 | |
평가방법 |
▷ 표집의 적합성을 따진다.▷ 수량화된 지수에 의한 평가가 불가능함 | |
주요관심사 |
검사내용 또는 정의된 행동 영역 | |
검증방법 |
논리적 접근방법 |
* 검사가 측정하려는 행동의 영역 또는 내용의 전집(universe of content)을 정의하고, 그 행동 영역 또는 내용을 하위 영역으 로 세분화한다. → 문항이 지나치게 한 가지 영역으로 집중되 는 것을 방지해야 함이 중요하다.* 문항 내용뿐만 아니라 반응 양식과 검사의 지시 등을 고려해 야 한다. [예] 같은 내용이라도 지시 방법 (그림 vs. 글)에 따라 반응에 차이 보일 수 있음* 내용 타당도와 관련해서 전문가의 검토가 이루어진 과정을 검 사 요강에 상세히 기술함으로써 검사 사용자에게 충분한 정보 를 제공할 것.→ 검토 작업에 참여한 전문가의 수, 그들의 배경과 자격, 검토 과정이 이루어진 시기, 검토에 관련된 지시, 동의의 정도 등을 중요시 고려하여 요강에 명시할 것 |
안면 타당도(face validity) |
* 검사문항이 그 검사가 측정하고자 하는 것을 측정하고 있는 것으로 보이는 것과 관련된 타당도 → 검사 문항에 대한 인상 적이고 주관적 판단을 구하는 것* “검사가 무엇을 측정하는 것으로 보이는가?” 또는 “검사가 ~ 을 측정하는 도구로서 적절해 보이는가?”를 알아보는 것 | |
적용의 예 |
▷ 교과서의 한 단원 내용을 표집한 기말고사▷ 몇 가지 종류의 사람에 대한 반응을 표집하여 민족주의적 태도를 측정하고자 하는 성격검사▷ 초등학교 학년별 학업성취도 평가 도구 등 |
[그림 3] 내용 타당도
합리적 판단 과정에 근거를 두고 검사의 문항 표집이 내용의 전집을 얼마나 적절하게 대표하고 있느냐의 정도로서 판단하는 타당도
주요문제 |
▷ 이 검사는 어떤 특성을 측정하고 있는가?의 문제▷ 검사가 측정해 주고 잇는 심리적 구성요인(psychological construct)이 무엇이 며, 이 검사는 그 구성요인(또는 구성 개념)을 얼마나 잘 측정해 주고 있는가 하 는 문제와 관련된 타당도 | |
평가방법 |
▷ 검사가 측정하고 있는 특성과 측정하고 있지 않은 특성에 대한 각종 증거를 수 집, 축적한다.▷ 내용타당도와 준거관련 타당도 검증의 모든 방법을 포함한 다양한 방법으로 정 보가 수집된다. | |
주요관심사 |
그 검사가 측정하고 있는 특성 | |
발달적 변화 |
* 연령에 따라 검사점수가 뚜렷한 증진을 보이는가에 의해 분석됨 / [예] 지능검사 | |
검증방법 |
다른 검사와의 상관 |
* 한 검사점수와 그와 유사한 구인을 측정하는 다른 검사 점 수간의 상관을 분석함 / [예] 흥미검사와 적성검사 |
내적 합치도 |
* 검사의 내적 구조에 관한 검토 → 문항간 동질성의 정도를 분석* 주로 총점을 준거로 하여 총점과 문항반응간의 상관계수를 산출함* 총점에 따라 상, 하의 대비집단을 선정하여 두 집단의 반응 률에서의 차이를 검증하기도 한다. | |
요인분석법 |
* 변인간의 상호상관을 분석하고 이들 변인을 몇 개의 요인 으로 분류하여 상호관계를 설명하려는 수리적 절차 | |
수렴타당도 및 판별타당도 |
* 상관분석에 기초하여 구인타당도를 검증하는 절차 (Campbell, 1960)* 수렴타당도 (convergent validity)= 검사가 이론적으로 관련 있는 변인과는 높은 상관을 보여 야 함* 판별타당도 (discriminant validity)= 검사가 이론적으로 관련 없는 변인과는 상관이 유의미하지 않아야 함 | |
실험적 방법 |
* 측정하고자 하는 특정 구인에 미치는 효과를 실험적으로 연구하여 그 결과를 분석함 [예] 시험 불안 측정 검사의 타당도 검증 | |
적용의 예 |
▷ 지능이나 창의성 등의 특성을 측정하는 검사를 만든 다음 이 특성을 재고 있다 는 증거의 수집 |
[그림 4] 구인 타당도
▷ 검사의 결과 의사 결정에 적용할 때 (진로선택, 승진 등) 타당도를 의사결정의 맥락에서 접근하기도 한다.
[예] 어떤 직업에 응시한 100명의 지원자에게 선발 고사로서 적성검사를 실시하고, 일 정 기간 후 해당 직업에서의 성공 여부를 평가
▷ 적성검사의 최소 기준 점수 (cut-off score) 통과자 = 45명 (38명=성공 + 7명 = 실패의 평가)▷ 기준 점수 이하 = 55명 (성공의 평가 =22명 + 실패의 평가 = 33명)
|
검사점수 (기준점수)에 의한 평정 | ||
저 (불합격) |
고 (합격) | ||
검사에 의한예언(준거) |
긍정적(성공) |
A (예언 실패)거부의 오류(허위 부정)(false negative = miss)22명 |
B (적중 예언)타당한 수용(positive hit)38명 |
부정적(실패) |
C (적중 예언)타당한 거부(correct rejection)33명 |
D (예언 실패)수용의 오류(허위 긍정)(false positive = miss)7명 |
= 실패를 예언했으나, 실제로 성공함 = 성공할 사람을 탈락시킨 오류
= 예언과 준거 측정의 결과가 동일함 = 정확한 의사 결정
= 예언과 준거 측정의 결과가 동일함 = 정확한 의사 결정
= 성공을 예측하여 선발하였으나 실패한 경우 = 수용의 오류 = 허위긍정
(1) 결정의 정확도 = Pt = B + C / (A+B+C+D) → 71/100 = .71 → 전체 사례 수 중에서 정확한 판단에 이른 수의 비율
(2) 긍정적 적중비 (positive hit ratio) = Pc = B / B+D = 38/45 = .84 → 선발된 사람 중 실제로 성공한 사람의 비율
(3) 100명 지원자 전체의 검사 점수를 모르고 모두 고용했을 때의 성공률 = A+B / N (전 체 사례 수) = 60/100 =.60
▷ 위의 예에서는 (2) >(3) → 따라서, 검사를 선발에 사용함으로써 성공에 대한 예측을 보 다 정확하게 할 수 있음
▷ 검사의 유용성 여부는 타당도에 따른 의사결정의 정확도에 달려있다.
▷ 분할점수의 설정에 따라 의사결정의 정확도가 달라질 수 있으므로 여러 분할점을 선택하 여 각 지점마다 정확도가 어떻게 달라지는지 충분히 검토한 후 최적의 분할점을 찾아내 는 것이 중요함
표집의 특성 |
▷ 집단의 크기, 집단의 대표성(representativeness)과 같은 표집된 집단 의 특성▷ 대상집단 전체를 표집의 목표로 하여 타당도를 연구하는 경우 = 전반 적 적중률에 관심이 있는 경우에 더욱 타당한 표집 집단의 특성▷ 선발된 집단만을 대상으로 타당도를 연구하는 경우 = 긍정적 적중률 을 높이는데 관심이 있는 경우에 더욱 타당한 표집 집단의 특성 | |
기본구성비율 |
▷ 선발되지 않은 집단에서 어떤 현상이 발생하게 되는 기본비율▷ 검사의 유용성 = 검사결과에 의거한 결정이 기본구성비율보다는 더 정확한 결정률을 가져야 함▷ 예언하고자 하는 현상이 너무 흔하거나 너무 희귀할 때 기본구성비율 에 의존하는 것보다 정확률이 낮을 수 있다. | |
선발비율 |
▷ 전체 지원자 중에서 선발된 비율▷ 선발조건을 엄격하게 하면 선발비율 낮아져 적중률이 높아지게 되므 로 타당도 높아짐 | |
신뢰도 |
검사의 길이 |
▷ 검사의 길이를 충분히 늘리면 신뢰도 증가 → 타당도 증가▷ 신뢰도가 낮은 검사의 경우 검사의 길이를 늘림으로써(신뢰도의 증가 와 더불어) 타당도를 높일 수 있다. |
집단의 이질성 |
▷ 동질적 집단(homogeneous group)보다는 이질적 집단(heterogeneous group)을 통한 검사 결과의 신뢰도가 더 높은며, 따라서 보다 높은 타당도를 추정할 수 있다. | |
피험자반응특성 |
허위반응(faking response) |
▷ 검사결과를 어떤 방향으로 변화시키고자 하는 피험자의 고의적 의도 에 따른 반응▷ 허위반응은 검사 결과의 타당도를 낮추게 되므로 허위반응의 방지가 중요함▷ 솔직한 반응이 피검사자에게도 유리함을 숙지시키거나, 검사의 목적을 피검사자가 잘 알지 못하도록 하여 허위반응을 방지할 수 있다.▷ 허위척도 (또는 타당도 척도)를 사용하여 허위반응 여부를 가려내는 기법도 있다. |
반응경향(response tendency) |
▷ 피검사자가 제시된 답지 가운데에서 선택하기 어려울 때 일어날 가능 성 높다.▷ 추측하려는 경향/ 내용에 상관없이 “그렇다”고 대답하는 경향/ 어떤 것을 부정하거나 불찬성하는 경향/ 가능한 한 많은 문항에 응답하려 는 경향/ 극단적 입장만을 취하려는 경향/ 항상 자신이 사회적으로 우 수하다고 반응하는 경향 등▷ 반응 방법 및 문제의 제시를 명료하게 해 준다면 반응경향성 줄일 수 있다. |
1. 다음의 각 상황에 대하여 내용타당도, 예언타당도, 공인타당도, 구인타당도 중 어느 타당 도가 적절한지 지적하시오.
(1) 한 사회심리학자가 “직업관련스트레스” 징후를 나타내는 의사와 간호사를 구분하기 위 하여 검사를 개발하고자 한다. 이와 관련하여 높은 결근률, 병원규정의 위반, 동료 및 상 사와의 긴장 관계 등을 포함한 여러 신체적 징후가 “스트레스”를 정의하기 위하여 사용 되었다.(2) 어느 발달심리학자가 고등학교에서 중도 탈락할 것 같은 학생을 예언하기 위하여 중학 교 학생에게 실시할 검사를 개발하고자 한다.(3) 신규 임용된 교사들의 수업 능력을 관찰, 평가하기 위하여 평정척도가 개발되었다. 개발 과정에서 경력이 많은 교사들에게 평정척도에 포함된 문항들이 효과적인 수업 능력을 제대로 측정하고 있는지 검토하도록 요청하였다.
학습내용을 정리해 볼까요?다음의 질문에 대해 각자 정리해 봅시다.
1. 타당도의 정의와 의미를 설명해 봅시다.2. 타당도와 신뢰도의 관계는 서로 어떠한 지 설명해 봅시다.3. 타당도의 종류 중 준거관련 타당도는 무엇이며 어떻게 검증하는지 정리해 봅시다.4. 타당도의 종류 중 내용 타당도는 무엇이며 어떻게 검증하는지 정리해 봅시다.5. 타당도의 종류 중 구인 타당도는 무엇이며 어떻게 검증하는지 정리해 봅시다.6. 타당도가 의사결정에 어떻게 영향을 주는지 설명해 봅시다.7. 타당도 계수에 영향을 미치는 요인을 정리해 봅시다.
임인재, 김신영, 박현정 (2003). 심리측정의 원리. 서울: 학연사.
이은해. (1995). 아동발달의 평가와 측정. 서울: 교문사.
Anastasi, A., Urbina, S., &Anastasi, A. (1997). Psychological Testing. New York: Prentice Hall.
다음 시간에는 검사의 제작과정에 관해 학습합니다.