너무 어려운 통계, 고수님들의 도움을 구합니다.

[김규환]

초등학교 3학년 2개 학급을 대상으로 연구를 진행하려고 하는데요.

1반에는 전통적 교수법(A교수법)으로 2~4개월 과학수업을 하고 

2반에는 새로운 교수법(B교수법)으로 2~4개월 과학수업을 하고자 합니다.

(교수법 적용기간은 동일)

그러고 나서, 사후검사(과학 시험)를 실시하여 B교수법이 효과가 있는지를 알아보고자 합니다.

문제는 대상이 3학년 학생들이라,

사전검사(과학 시험)을 실시할 수가 없다는 점입니다.

왜냐하면, 2학년 때까지는 과학교과를 따로 배우지 않거든요.

과학은 3학년부터 배웁니다.

정규 교육과정 상에서는 과학수업을 한 번도 한 적이 없는

3학년 학생들을 데리고 2~4개월 동안 교수법을 적용한 후,

두 집단의 사후검사(과학시험) 결과 만으로, 독립표본 t-검정을 사용하려고 하는데,

이래도 문제가 없는 건가요? 

즉,

(3학년 이전에는 과학수업을 한적이 없으므로),

3학년에서 최초로 과학 수업을 받기 전의 과학에 대한 수준은 0으로 간주하여 동일하다고 간주하고,  

이후 과학 수업을 2~4개월 진행한 후에 실시한 사후평가만으로 검정을 하면 문제가 있느냐는 것입니다.  

제 질문의 요점은,

연구 전에 동질성 검사를 위해서 사전검사가 꼭 필요한 건가요?

사전검사가 불가능한 상황인, 이와 같은 경우에는 어떻게 하면 B교수법의 효과를 통계적으로 검정할 수 있까요?  

통계학술연구회 SPSS온라인 교육 : http://www.stats.or.kr/lecture.php

[이재호]

사전의 동질성이 확보가 안되면 사후 결과만을 비교하는건 신뢰성이 좀 떨어집니다. 1반과 2반의 수준이 비슷한 상황에서 시작했다는 입증이 되어야 사후 결과의 차이성을 볼 수 있겠습니다.
예를 들어,
1반 : 사전 평균 점수는 90점 -> 사후 평균 점수는 84점
2반 : 사전 평균 점수는 80점 -> 사후 평균 점수는 83점
이라고 할때 1반은 점수가 떨어진거고, 2반은 오른 상황입니다. 그런데 1, 2반 각각의 사후 평균 점수만 가지고 본다고 하면 2반보다 1반이 더 높게 나오기 때문에 1반의 교수법이 효과가 있었다라는 오류를 범하는 꼴이 되지요.

[김규환]

(3학년 이전에는 과학수업을 한적이 없으므로), 3학년에서 최초로 과학 수업을 받기 전의 정규 과학수업을 통한 지식의 수준은 "거의 미비하여 동일하다고 간주할 수 있다."고 설명하면 설득력이 부족할까요?

만약, 설득력이 없다면, 이처럼 "사전검사가 불가능한 상황"은 어떻게 통계적 검정을 수행하면 좋을까요?
정규 교육과정에서 다루지 않은 과학교과 내용에 대한 지식을 평가(사전검사)한다는 것이 일단 부적절할 뿐더러, 평가를 한다는 것은 마치 법적으로 금하고 있는 '선행학습' 정도를 검사하는 것이 되어버리는데....
.
현재, 3학년을 데리고 연구를 진행하여야만 하는 상황인데, 난감하네요.