X O |
여기에서는 하나의 집단을 대상으로 독립변인으로서 한 번의 실험처지를 가하고, 그 실험처치가 종속변인에 미친 영향을 사후 측정하여 이들 두 변인간의 단순관계를 확인하는 방식을 취한다. 그러나 이 방법은 조건통제가 전혀 되지 않으며, 결과를 의미있게 비교할 만한 근거도 거의 갖추고 있지 못하다.
이는 한 집단만을 선정하여, 그들에게 특정의 프로그램을 실시하기 전에 사전검사를 하여 미리 종속변인과 관련된 특성을 확인해 놓은 다음, 그 프로그램을 실시한 후 사후검사를 실시하여, 두 검사결과의 차이를 분석함으로써 프로그램의 효과를 평가하는 방법이다. 이를 도식화하면 다음과 같다.
O1 X O2 |
위의 O1은 사전검사를, 그리고 X는 프로그램의 실시를, O2는 사후검사를 말하는데, 이 설계도 본질적인 실험방안은 못되나, 사전검사치와 사후검사치의 차를 산출하여 실험변인(독립변인) 즉, 프로그램의 효과를 확인한다는 점에서는 진일보한 연구설계라고 할 수 있다. 그러나 이 방법도 내적․외적 타당성에 관련된 여러 문제점을 내포하고 있기 때문에, 사전검사와 사후검사의 차이가 실험변인의 영향 때문이라고 단정하기 어렵다. 왜냐하면 사전검사와 사후검사 사이에 시간적 간격이 크면 연구설계의 내적 타당성을 저해하는 ①역사(history; 사전검사와 사후검사 사이에 개입되는 통제불가능한 외적 사건들), ②성숙(maturation; 시간경과에 따라 발생하는 피험자의 내적 변화들), ③검사(testing; 사전검사를 받은 경험이 사후검사에 영향을 미치는 것) 등의 가외변인(加外變因)들이 개재될 수 있기 때문이다. 또한, 외적 타당성을 위협하는 ①검사와 처치의 상호작용(interaction effect of testing; 사전검사의 영향이 처치효과에 개입하는 것), ②피험자 선정과 처치의 상호작용(selection-treatment interaction; 선정된 피험자집단의 고유한 특성에 따라 처치의 영향이 다르게 나타날 수 있는 효과) 등도 개재될 수 있다.
이는 무처치 집단비교 설계(static-group comparison design)라고도 하는데, 이 방법은 두 개의 집단의 피험자들을 대상으로 하되, 한 집단에게는 특정의 프로그램을 실시하고 다른 집단에게는 아무런 프로그램도 실시하지 않고 그대로 두었다가, 이 두 집단에 동일한 사후검사를 실시한 후 그 검사결과를 서로 비교하여 그 차이를 프로그램의 효과로 인정하는 방법이다. 이를 도식화하면 다음과 같다. 여기에서의 점선은 등질화 되지 않은 두 집단임을 나타낸다.
X O |
X O |
여기서 유의할 것은 두 개의 집단을 무선적으로 나눈 것이 아니라, 이미 존재하는 두 개의 집단을 활용한다는 점이다. 이와 같은 설계의 예로는, TV교육프로그램을 시청한 집단과 그렇지 않은 집단을 서로 비교함으로써 TV교육프로그램의 효과를 알아 볼 때 적용될 수 있다. 그러나 이러한 설계에서 내적 타당성을 가장 심각하게 위협하는 요인이 있는데, 이는 피험자 선정(selection of respondent)과 피험자 탈락(experimental mortality)이다. 먼저, 피험자 선정시 생기는 편파성(bias)으로 인하여 실험집단과 비교집단이 동질적이라는 것을 보장할 수가 없고, 그리고 실험기간 동안 피험자 탈락으로 인하여 실험집단과 통제집단간의 등질화가 더 깨지게 되어 프로그램의 효과에 편파적인 영향이 미치게 된다. 따라서 두 집단에 차이가 있다고 하더라도 그것이 프로그램의 효과 때문인지, 아니면 처음부터 두 집단간에 존재한 차이 때문인지 명확히 밝혀 낼 수 없다.
이는 어느 한 개인이나 집단을 대상으로 종속변인을 주기적으로 측정하고, 이러한 측정의 시계열 중간에 프로그램(실험처치)을 실시하여, 그 효과를 종합적으로 검증하는 방법을 말한다. 이는 동일집단 반복측정설계(repeated measure design)의 한 형태이다(임인재, 1987). 이를 도식화하면 다음과 같다.
O1 O2 O3 O4 X O5 O6 O7 O8 |
시계열 설계에서 실험처치가 가해진 후 관찰된 O5가 실험처치의 영향정도를 나타낸다고 할 수 있다. 그러나 시계열 실험설계는 내적 타당성을 저해하는 역사(history)라는 가외변인을 통제하지 못하고 있다는 점에 유념해야 한다. 따라서 실험처치 X의 영향이 있는 것으로 추리된 경우라도 이 역사 요인이 어떻게 작용하였는가를 면밀히 검토해야만 된다. 또한, 도구사용(instrumentation; 사전검사 또는 사후검사에 사용되는 도구 자체의 성격에 의해 생길 수 있는 효과) 요인도 내적 타당성을 위협하는 요소로 작용할 수 있다. 만약 종속변인을 측정하는 데 있어 평가자의 판단이 크게 개재되어 있는 경우라면, 가설을 검증하고 싶은 평가자의 ‘소망’이 변인측정에 작용했을지도 모르기 때문이다.
이는 실험집단과 통제집단이 존재하지만, 두 집단이 무선적으로 등질화된 것은 아니다. 대개는 학교나 학급과 같이 기존의 집단을 자연상태 그대로 유지한 채, 적당히 실험집단과 통제집단으로 삼아 연구에 이용하게 된다. 이를 도식화하면 다음과 같다. 여기에서도 점선은 등질화 되지 않은 두 집단임을 나타낸다.
O1 X O2 |
O1 X O2 |
이와 같은 설계는 특히 현장연구에서 많이 이용된다. 이때 사후검사의 결과가 사전검사의 결과보다 높게 나타났더라도, 이를 해석할 때는 우선 그 타당성을 따져 봐야 한다. 이 경우에 실험의 내적 타당성을 가장 위협하는 요인은 피험자 선정과 성숙의 상호작용(selection-maturation interaction; 앞에서 설명한 피험자 선정과 성숙 요인의 독특한 배합에 의해서 생길 수 있는 효과)이다. 또한, 실험집단과 통제집단을 등질화 시키지 못하였으므로, 실험집단의 피험자들이 통제집단의 피험자들에 비하여 현저하게 높은 잠재적 성장가능성을 지니고 있었기 때문에 프로그램 X의 효과 이상으로 더좋은 결과를 나타냈을지도 모른다. 따라서 조건통제를 제대로 할 수 없는 준실험설계를 이용하는 평가자들은 실험에 앞서 미리 실험결과와 적대가설을 생각해 보면서, 예상되는 비판에 대한 대책을 세워 둘 필요가 있다.
2. 실험설계
피험자들을 표집하여 두 개의 집단, 즉 실험집단과 통제집단에 무선적으로 배정한 후, 사전검사는 실시하지 않고, 실험집단에는 프로그램(실험처치)을 실시하고, 통제집단에는 프로그램을 실시하지 않는다. 그 다음 두 집단에 사후검사만을 실시하여, 이들 두 집단의 사후검사치의 차로써 프로그램의 효과를 확인하는 방식이다. 이를 도식화하면 다음과 같다. 여기에서 R은 피험자들의 무선표집(random sampling)되었음을 나타낸다.
R X O |
R X O |
사후검사 통제집단 설계에서는 무선적 방법으로 실험집단과 통제집단을 나누고, 사전검사를 실시하지 않기 때문에 실험의 내적 타당도를 위협하는 대부분의 요인들을 통제할 수 있고, 사전검사와 실험처치간의 상호작용에 의한 영향도 막을 수 있다. 이 방법은 사전검사가 불필요한 경우, 피험자의 익명이 요구되는 경우, 그리고 사전검사와 실험처치의 상호작용이 예상되는 경우 등에 유용하게 사용할 수 있다.
이는 가능한 한 무선적 방법으로 피험자들을 표집하여, 이들을 실험집단과 통제집단에 무선적으로 배정한 후, 이들 두 집단에 사전검사를 실시하고 일정한 기간이 경과한 후 무선적으로 실험집단을 선정하여 그 집단에게는 프로그램(X)을 실시하고, 다른 집단(통제집단)에게는 아무런 프로그램도 실시하지 않은 다음, 다시 두 집단을 대상으로 사후검사를 실시하여, 이들 두 집단의 사전-사후검사치의 차로써 프로그램의 효과를 확인하는 방법이다. 이를 도식화하면 다음과 같다.
R O1 X O2 |
R O1 X O2 |
사전-사후검사 통제집단 설계에서는 실험의 내적 타당도를 위협하는 요인들을 대부분 통제할 수 있다. 이 설계는 피험자들을 실험집단과 통제집단에 무선배치하기 때문에 역사, 성숙, 검사, 도구사용, 피험자 선정과 같은 요인들이 프로그램의 효과에 미치는 영향을 통제할 수 있다. 그러나 이 방법도 사전검사와 사후검사 사이에 개입될 수 있는 피험자 개개인의 특수 사건은 여전히 통제하기 어렵다.
이는 사전-사후검사 통제집단 설계의 결함을 보완하기 위해 사전검사를 실시하지 않은 두 개의 집단을 추가한 방법을 말한다. 이 방법은 1949년에 솔로몬(Solomon)이 고안한 것으로서, 이를 도식화하면 다음과 같다.
R O1 X O2 |
R O1 X O2 |
R O1 X O2 |
R O1 X O2 |
이 방법은 피험자를 네 개의 집단에 무선배정한 다음, 첫째 집단에는 사전검사를 실시하고 실험처치를 한 후 다시 사후검사를 실시하고, 둘째 집단에는 사전검사를 실시하고 일정한 시간이 흐른 후 실험처치 없이 사후검사를 실시하며, 셋째 집단에는 사전검사 없이 실험처치를 가하고 사후검사만을 실시하고, 넷째 집단에는 사후검사만을 실시한다.
솔로몬 4집단 설계는 그 복잡성이 다소 문제되지만, 실험설계의 타당성을 확보한다는 입장에서 볼 때 가장 이상적인 형태의 실험설계라고 말할 수 있다. 다시 말하면, 실험설계의 타당성에 영향을 미치는 가외변인들을 거의 통제할 수 있고, 그러한 가외변인의 효과가 어느 정도 되느냐 까지를 측정해 낼 수 있다. 그러나 피험자 선정과 처치의 상호작용(selection-treatment interaction)에 따른 문제라든지, 실험배치의 반동효과(reactive effects of experimental arrangement; 실험상황이 자연스런 일상적 상황과 차이가 심해 피험자가 실험에 참여하고 있다는 사실을 인식함으로써 발생하는 여러 영향들)의 문제는 여전히 미해결상태로 남게 되며, 실험과정과 그 결과의 분석이 약간 복잡하다는 단점을 가지고 있다. 따라서 다음과 같은 경우에는 구태여 복잡한 이 방법을 사용할 필요가 없을 것이다. 즉, 사전검사를 실시한 후 오랜 시간이 흐른 다음에 사후검사를 실시할 경우, 사전검사와 사후검사가 서로 다른 경우, 일상적인 과정에서 검사가 실시되기 때문에 피험자들이 지금 특별한 검사를 받고 있다는 생각을 갖지 않는 경우에는 굳이 이 방법을 사용할 필요가 없다.
지금까지 논의한 준실험설계와 진실험설계의 유형과 내적․외적 타당성을 저해하는 요인 간의 관련성을 정리하면 [표 1]과 같다.
[표 1] 준실험설계와 진실험설계의 유형별 타당성 요인 검토
타당성의 저해요인
설계유형 |
내적 타당성 |
외적 타당성 | ||||||||||
1. 역
사 |
2. 성
숙 |
3. 검
사 |
4. 도
구
사
용 |
5. 통 계 적 회 귀 |
6. 피 험 자 선 정 |
7. 피 험 자 탈 락 |
8. |
1. |
2. |
3. |
4. | |
<준실험설계> |
||||||||||||
① 단일집단 사후검사 설계 XO |
|
|
|
|
|
|||||||
②단일집단 사전-사후검사 설계 O1XO2 |
|
|
|
|
? |
+ |
+ |
|
|
|
? |
|
③ 이질집단 사후검사 설계 XO ……………… O |
+ |
? |
+ |
+ |
+ |
|
|
|
|
|||
④ 시계열 설계 O1O2O3O4XO5O6O7O8 |
|
+ |
+ |
? |
+ |
+ |
+ |
+ |
|
? |
? |
|
⑤이질통제집단 사전-사후사 설계 O1XO2 ……………… O1O2 |
+ |
+ |
+ |
+ |
? |
+ |
+ |
|
|
? |
? |
|
<진실험설계> |
||||||||||||
① 사후검사 통제집단 설계 RXO RO |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
? |
? |
|
②사전-사후검사 통제집단 설계 RO1XO2 RO1O2 |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
|
? |
? |
|
③ 솔로몬 4집단 설계 RO1XO2 RO1O2 RXO2 RO2 |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
+ |
? |
? |
*표에서 +는 해당요인이 통제됨
는 해당요인의 통제가 불가능함
?는 해당요인의 통제가 안 될 가능성을 시사함
빈칸은 해당요인과 관련이 없음을 뜻함
지금까지 설명한 실험설계에서는 독립변인 하나만을 변화시키고 기타의 모든 상태는 일정하게 유지하는 것을 공통원리로 삼는 것이었다. 그러나 우리 주변에서 일어나는 대부분의 현상은 매우 복잡하므로 그와 같은 통제가 용이하지 않을 경우가 많다. 독립변인 하나의 영향만을 확인하는 경우보다는 두 가지 이상의 독립변인이 상호 작용하여 미치는 영향을 확인하게 되면 훨씬 더 구체적이고 값진 정보를 얻을 수 있을 것이다. 이와 같은 상황에 적용할 수 있는 실험설계가 바로 ‘요인설계’이다.
요인설계에는 다양한 형태가 있는데, 두 개 이상의 독립변인을 포함시킬 수 있으며, 각 독립변인을 두 가지 이상의 수준으로 변화시킬 수 있다. 이 중 가장 간단한 형태의 요인설계는 두 개의 독립변인을 각각 두 가지 수준으로 변화시키는 경우인데, 이를 ‘2×2 요인설계’라고 한다. 이러한 설계에 의한 실험연구에서 얻을 수 있는 정보는 크게 세 가지로 구분할 수 있다. 먼저, 첫번째 독립변인의 종속변인에 대한 주효과(main effect)를 확인할 수 있다. 그리고 두번째 독립변인의 종속변인에 대한 주효과를 확인할 수 있다. 끝으로, 이 두 개의 독립변인이 상호 작용하여 종속변인에 미치는 연향인 상호작용효과(interaction effect)를 확인할 수 있다.