연구자, 실험자, 및 참가자 편향

[studium]

연구자, 실험자, 및 참가자 편향

연구자가 한 연구를 설계할 때, 연구자는 구체적인 변인들간의 관계들을 검토하고자 한다. 연구자가 직면하는 가장 중요한 과제들 중의 하나는 관심있는 연구의 실험 변인들간의 관계에 영향을 미칠 수 있는 외재 변인들을 통제하는 것 또는 오차 변량(Kerlinger의 “MAXMINCON" 원리에 대한 심각한 위협)을 줄이는 것이다. 아주 가끔, 외재 변인들, 즉 측정 오차의 근원(source)들이 알려졌을 때, 그것들은 통제하기가 상대적으로 쉽다; 문제는, 설계되는 대부분의 연구들에서 불가능하지는 않을지라도 모든 가능한 외재 변인들과 오차 변량을 확인하는 것이 어렵다는 것이다.

이 장의 목적은 상담에서의 연구자들과 매우 관련된 참가자들, 연구자들 및 실험자들 편향의 잠재적인 근원을 확인하는 것이다. 편향이라는 용어에 관해서, 우리는 실험 변인들간의 관계들을 왜곡하거나 감출 수 있는, 외재 변인들의 체계적인 지시를 의미한다. 오차 변량(또는 “noise”나 “static”)은 무선적 사상들에 기인한 변량을 말하는 반면에, 편향은 몇 가지 체계적인 오차들에 기인한 참가자 집단들 또는 하위집단들간의 차별적인 효과의 발생을 말한다.

본 장에서, 연구자(investigator)는 연구를 설계하는 사람을 말하며, 실험자(experimenter)는 연구를 수행하는 사람을 말한다. 본 장의 첫째 절은 연구자와 실험자 편향을 검토하는데, 특히 (a) 실험자 태도, (b) 연구자와 실험자 기대, 및 (c) 실험 절차에 관한 것이다. 본 장의 두 번째 절은 참가자 편향을 검토하는데, 특히 (a) 요구 특징들, (b) 참가자 특징들, 및 (3) 내성 능력들에 관한 것이다. 두 절 모두에서, 우리는 상이한 편향 유형들을 명확하게 하기 위해 이전 연구 성과들의 예시들을 사용한다. 게다가, 다양한 편향 근원을 논의하는데 있어, 우리는 또한 이런 변인들을 통제하고 최소화하기 위한 몇 가지 전략들에 대해 논의한다.

1. 연구자와 실험자 편향

이상적인 세상에서, 연구자는 체계적이며, 과학적인 일에 관여하고, 모든 점에서 공정하며, 수동적인 관찰자로 남을 수 있는, 객관적이고, 편향되지 않은 진실의 추구자이다. 이런 면에서, 연구자는 어떤 방식으로든 그 연구를 오염시키는 것이 아니라, 오히려 어떤 현상의 편향되지 않은 관찰자이며 그러므로 진실에 대한 보고자이다. 우리는 심지어 다음을 가정할 수도 있다.

모든 실험자(연구자)들은 다음의 면에서 동등하게 창조되었다; 그들은 대학원생 훈련으로 특정한 상호교환 가능한 특성들을 부여받아왔다; 이러한 특성들은 그들이 똑같이 관찰되고 기록되는, 동일한 참가자 identical 자료에서 도출되게 하는 익명성과 비인격성이다.

한 때 측정 도구의 독자성에 관계없이 인치들(inches)이 탁자에 고정된 것으로 가정된 것과 같이, 필요, 동기, 특징, IQ, 불안, 및 태도들은 환자들과 참가자들에 고정되고, 독자성 그리고 조사자나 실험자의 태도에 의해 오염되지 않는다고 가정되었다(Friedman, 1967, pp.3-4).

그렇지만, 우리는 연구자들이 그런 편향되지 않은 방식으로 연구를 수행하지 않음을 알고 있다. 더욱이, 우리는 연구를 수행하는 실험자들이 자신들의 연구 결과에 의식적으로 또는 무의식적으로 영향을 미칠 수도 있다는 것을 알고 있다. 대신, 연구자들은 때때로 의견, 신념, 및 가치를 가지고 있으며, 이는 무의식적으로(또는 아주 의식적으로) 그들의 객관성을, 때로 매우 미묘한 방식으로 손상시킨다. 마찬가지로, 연구자들의 가치와 문화적 편향들은 참가자들, 연구 가설들, 자료 분석 전략들 및 결론들에 관한 그들의 가정들에서 이어받는다. 따라서, 문화적으로 조심스럽게 보호된 연구자들은 자신들의 연구에 수많은 체계적 편향을 가져올지도 모르는 많은 결정들을 부지불식간에 내릴지도 모른다.

영리한 Hans의 이야기는 미묘한 실험적 편향의 효과를 훌륭하게 설명한다. Hans는 20세기 초의 말로, 다양한 산수문제를 신뢰롭게 계산했으며, 음율 간격을 분간했고, 그리고 독일어 지식이 있었다. 그 말의 주인인 Herr Wilhelm von Osten은 Hans에게 모든 종류의 질문을 하였었다; Hans는 발굽이나 몸짓으로 숫자를 탁탁 쳤는데, 그의 머리는 대상을 향해 있었다. Hans는 다양한 지역 도시민들과 전문가들이 보는데서 많은 검사들을 통과하여, 모든 사람들이 많이 놀랐는데, 이는 젊은 심리학자인 Oskar Pfungst가 나타날 때까지 그랬다. Pfungst는 질문자가 정확한 답을 알고 있을 때만이 Hans가 질문에 확실하게(즉, 열 번 중 아홉 번) 대답할 수 있었지만, 질문자가 답을 모른다면 그의 수행은 열 번 중 한 번으로 떨어졌다. 다시 말해서, Hans는 수학이나 음악 또는 독일어를 배운 것이 아니라, 질문자의 자세, 호흡, 얼굴표정에서 미묘한 단서를 읽는 것을 배웠던 것이다(Pfungst, 1911). 1980년대의 연구는 의도적인 답을 내놓는 훈련자들에서 실험실 동물들이 광대하게 다양한 미묘한 행동 단서들을 읽는 것을 배울 수 있음을 밝혀냈다.

요약해서, 연구자들과 실험자들은, 연구의 결과를 매우 편향시킬 수도 있는, 외재 변수들과 오차 변량의 근원이 될 수 있다. 다음으로 우리는 주요 3가지 편향 유형을 살펴볼 것이다: 실험자 태도, 연구자와 실험자 기대, 및 실험 절차. 덧붙여, 우리는 이런 편향들을 감소시키기 위한 몇 가지 전략들을 제안한다.

(1) 실험자 태도

실험자 태도는 참가자들에게서 차별적인 반응을 유발할 수도 있는, 본래 실험자의 생물학적이고 대인적 특징들이다. 실험자의 나이, 성별, 인종/민족, 신체적 용모, 및 대인관계 양식이 그 예들이다. 예를 들어, 성추행(sexual harassment)을 연구하는 데 있어, 어떤 참가자들은 아마도 남성 연구자보다는 여성 연구자들에 더욱 정직하게 답변할 것이다. 마찬가지로, 50세의 한 실험자는 아마도 젊은 참가자들에게는 노출을 억제시킬 것이지만, 더 나이든 참가자들에게는 촉진시킬 것이다. 또 다른 경우에, 아마도 실험자의 대인관계양식(말하자면, 쌀쌀맞고 권위적인)은, 어떤 참자들이 실험동안에 불편하거나 심지어 위협받는다고 느낄 수도 있는 것과 같은 독립변인(예를 들어, 전문가 단서들)과 상호 작용할 것이다. 또 다른 잠재적으로 편향된 특징은 실험자와 참가자들간의 이전의 접촉과 관련된다. 어떤 참가자들은 실험자에 대한 어떤 이전의 지식을 가지고 있는 것이 그들에게 반응하기를 더 쉽게 만들어 줄 것이라 느낄 수 있으며, 반면에 다른 참가자들은 개인적 정보를 노출시키는 것에 훨씬 불편함을 느낄 수도 있다.

요약해서, 광범위한 실험자 특징들은 일부 또는 전체 참가자들이 특정 실험에서 차별적으로 반응하도록 영향을 미쳤을 것이며, 그 때문에 그 결과들이 혼동된다. 사실, 여러 저자들(예를 들어, Christensen, 1980; Kazdin, 1980 참고)은, 실험자 특징들이 자기보고 항목표들, 투사 검사들, 실험 과제들 및 지능 측정과 같은 다양한 과제들 상에서 참가자들의 반응에 영향을 미칠 수 있다는 경험적 연구들을 보고하였다(예를 들어, Barber, 1976; Johnson, 1976; Masling, 1966; Rumenik, Capasso, & Hendrick, 1977 참고).

요약해서, 실험자 태도는 타당도를 위협한다. 다음과 같은 예를 생각해 보면, 이것은 구성개념 타당도에 대한 의문들을 야기한다. 한 연구자(Kay Tharsis 교수)를 상상해 보자. 그는 정신역동적, 즉 통찰-중심 치료 집단이 인지-행동 치료 집단보다 폭식 환자들을 치료하는데 더욱 효과적일 것이라고 믿을 만한 이유를 가지고 있었다. 그 훌륭한 교수는, 두 명의 똑똑한 상급 대학원생들이 각각 10주 연속되는 집단 치료를 수행하는 실험자로 활동하는 연구를 디자인한다. 각 학생은 치료 집단 중 하나를 운영한다. 광범위한 외재 참가자 변인들이 통제되어졌으며(예를 들어, 나이, 성별 및 성격 역동들), 치료들은 주의깊게 짝지어졌고, 내담자들의 무선 배정이 사용되었다고 가정해보자. 나아가 그 결과들이 (자기-보고, 행동 지표, 및 치료자 관찰과 같은)광범위한 종속변인에서 정신역동 치료 집단에 분명히 편파적이었다고 상상해보자. 그럼에도 불구하고, 이 예에서 치료집단의 결과들은 상이한 실험자 태도들과 그것들의 잠재적 편향들을 분리할 수 없다. 실제로는, 두 치료자들의 태도가 내담자들에게 차별적으로 영향을 미치지 않았을 수도 있지만, 이것이 그런 경우인지의 여부를 결정할 방법이 없다. 따라서, 만약 상이한 실험자들이 상이한 치료를 관리하는 데 사용된다면, 그 결과들이 그 상이한 치료들 때문인지, 상이한 실험자들 때문인지, 아니면 둘 간의 상호작용때문인지를 결정하지가 어려울 것이다.

실험자 태도는 또한 독립 변인과 함께 몇 가지 방식들로 상호작용함으로써 외부 타당도나 연구의 일반화를 위협할 수도 있다. 예를 들어, 연구 결과들은 양성적인 남자들, 페미니스트 치료자들 또는 아프리카계-미국인 치료자들과 같은 특정한 특성을 지닌 치료자들에게만 일반화될 수도 있는 경우도 있었다. 방금 언급한 가공적인 예를 다음같이 수정하는 것을 상상해 보자. Kay Tharsis 교수 훌륭한 대인관계 기술을 가진 두 명의 30대 여성 치료자들을 찾아내어 두 집단에 보조 지도자로 쓴다고 가정해보자. 정신역동적, 즉 통찰-중심 치료내에서, 주요 치료적 중재는 대인관계 피드백을 가져오며 각 내담자들의 대인관계 양식과 개인내적인 역동에 대한 자각을 증진시키기 위한 치료적 관계를 사용하는 것이다(이런 치료적 오리엔테이션에 대해서는 Yalom, 1985 참고). 통찰-중심 치료가 분명하게 더 좋은 성과를 가져온다고 다시 한 번 상상해보자. 이 얻어진 결과들은 훌륭한 대인관계 기술을 가지고 있지 않은 다른 여자 치료자들에게, 또는 남자 치료자들에게 일반화될 수 있을까? 이것이 명백하게 경험적인 질문이라 할지라도, 이것은 실험자 태도들이 독립변인들과 어떻게 상호작용하며, 특정 결과들의 일반화 가능성을 어떻게 제한할 수 있는지를 강조하여주기 때문에 유용하다.

연구자들이 실험자 태도에서 있을 수도 있는 효과를 줄이기 위해 사용할 수 있는 많은 전략들 중의 몇 가지는 다음과 같다.

∙ 가능하다면 상이한 수준의 독립변인에 한 명의 실험자만을 사용하는 것은 피하라. 이것은 분명히 연구의 구성개념 타당도와 실험자 태도를 혼동시키기 때문이다. 할 수 있을 때마다, 독립 변인의 각 수준들에 두 명 이상의 실험자들을 사용하라.

∙ 두 명 이상의 실험자들이 독립변인의 각 수준에 사용된다면, 어떠한 차이점들이 성별과 같은 실험자 태도들과 관련되었는지의 여부를 결정할 수 있도록, 실험자들에 걸친 차이점들에 관한 자료를 통계적으로 분석하라. 종종 이것은 실험자 태도들과 관련된, 있을 수도 있는 혼동 변인들을 배제시키기 위해 예비 자료 분석으로 행해진다. 예를 들어, McCarthy, Shaw, 및 Schmeck(1986)은 상담 회기 동안에, 내담자 정보 처리(피상적 processor 대 심층적 processor)에서 문체상의 차이가 그들의 언어적 행동들과 관련될 것인가에 관한 연구에 관심을 가졌다. 그들은 두 명의 상담자들을 사용하였는데, 그들 각각은 모든 조건들에 걸친 절반의 참가자들을 맡았다. 주요 자료 분석을 행하기 전에, 그들은 종속 변인들 상에 상담자들에 기인한 어떤 주효과나 상호작용이 있는지의 여부를 결정하기 위해서 예비 분석을 하였다. 어떤 차이도 발견되지 않았고, 그 상담자들이 종속변인에 차별적으로 영향을 미치지 않았음이 시사되었다. 따라서, 저자들은 상이한 실험자들에 기인한 차이들을 배제시킬 수 있었고, 자신들의 주요 통계적 분석으로 진행시킬 수 있었다.

∙ 일반적으로 실험자 태도들의 영향들과 관련해서는 너무나 많은 것이 알려지지 않았기 때문에, 연구자들에게 치료 중재에 사용된 치료자들의 특징을 확인하는 것이 유용할 것이다. 아마도 시간이 흐르면 특정한 치료자 특징들에 부수적인 양상들이 드러날지도 모른다. Kazdin(1980)은 연구자들이 실험자 특징(성별)에 관한 자료를 분석하며, 그것은 시간이 지나면 유용한 지식 기반을 제공할 수 있음을 시사하였다. 두 개의 주요 상담 저널에 대한 한 평론은, 그 당시 더욱 많은 저자들이 10년 전에 그랬던 것보다 더 성차에 관한 결과를 분석했다고 밝혔다(Lee, Heppner, Gagliardi, & Lee, 1987).

∙ 저자들은 실험자 태도 측면에서 그들의 자료에 대한 일반화 가능성을 분명하게 검토해야할 것이며, 따라서 논의에 결론을 수정해야할 것이다. 예를 들어, 연구자들이 남자 치료자들만 사용하였다면, 그 결과에 대한 논의는 일반적으로 치료자들에게가 아니라 남자 치료자들에 초점이 맞추어져야 한다. 상담 연구에서 성별은 특히 중요한 변인이다. 당분간은, 연구자들이 10년 전에 그랬던 것보다는 훨씬 적지만 여전히 성별에 관한 자신들의 결과들을 과일반화하는 경향이 있다고 Lee 등(1987)이 밝혔음에 유의하는 것으로 충분하다.

(2) 연구자 및 실험자 기대

연구자 및 실험자 기대는 참가자들이 어떻게 수행할 것인가 또는 연구가 어떻게 결론이 날 것인가에 관한 신념과 바램이다. 연구자와 실험자가 참가자들에게 의도적으로 영향을 주려 하지는 않았을 지라도, 그것들은 실제로 언어적 행동과 비언어적인 행동들(고개 끄덕임, 미소, 흘끗 봄, 또는 미묘한 논평과 같은)을 통해서 무의식적으로 영향을 주고 있기 때문에, Kazdin(1980)은 이런 기대들의 효과는 ‘의도하지 않은 기대 효과’로 간주되어져 왔다고 언급하였다. 영리한 Hans 이야기에서 기술했듯이, 그러한 편향들은 분명히 변인 혼동을 초래한다.

1960년대 초에 이 주제에 대해 연구한 선구자 중 한사람인 Robert Rosenthal은 연구자 및 실험자 기대가 참가자들이 수행하는 방식에 직접적으로 영향을 미친다는 것을 밝혔다(Rosenthal, 1966 참고). 후속 연구는 연구자와 실험자 편향이 연구들을 학습 연구, 능력 연구, 정신 생리적 연구, 반응 시간 연구, 잉크 반점 검사 연구, 구조화된 실험실 연구 및 개인 지각 연구들과 같은 광범위하고 다양한 상황에서 참가자들에게 영향을 미칠 수 있음을 지적하였다(Rosenthal, 1966 참고). 비록 일부저자들은 실험자 편향의 효과가 과장되어져왔다는 것에 대해 논쟁하고 있을지라도(Barber, 1976; Barber & Silver, 1968), 일반적으로 연구자와 실험자가 참가자 반응에 영향을 미칠 수 있으며, 그렇게 하고 있다고 결론지어진다(Barber, 1976; Christensen, 1980).

기대들은 긍정적일 수도 아니면 부정적일 수도 있으며, 매우 상이한 방식으로 나타난다. 참가자를 모집하는 동안, 자료를 수집하는 동안, 또는 치료 중재 후와 같이, 중재의 어느 단계에서든지 연구자와 실험자 편향은 참가자들이나 내담자들에게 영향을 미칠 수 있다. 예를 들어, 활력 넘치는 한 실험자(치료자로서 일하는)는 다른 중재들 보다 어느 한 중재의 효과성을 미묘하게 또는 그렇게 미묘하지는 않게 촉진시킬 수도 있다. 새로운 치료 중재(아마도 자신이 개발했을)에 대한 한 연구자의 열정이 실험자에게 전달되고, 그 실험자가 연구 내에서 치료적 역할을 수행하는데 있어 의식적으로나 무의식적으로 너무나 열중하게 되었을 때 이런 형태의 편향이 영향을 미친다. 때때로 효과적이었으면 하는 바램은 치료자로 일하는 실험자로 하여금, 프로토콜을 무시하고 정상적인 치료적 또는 실험적 절차를 넘어서는 활동에 관여하게 한다. 예를 들어, 상담 과정을 검토한 한 연구에서, 상대적으로 경험이 부족한 치료자는 상담 회기 후에 즉시 내담자와 친근한 대화에 들어감이 밝혀졌는데, 그 시간은 내담자가 상담회기와 상담자에 대한 평가 양식을 작성하는 시간이었다!

연구자 및 실험자 편향은 또한 부정적인 방식으로 내담자들에게 영향을 미칠 수 있다. 예를 들어, 실험자가 연구를 수행하는데 별로 동기화되지 않았거나 관심이 없다면, 그 열정 부족이 내담자 모집과 참가 의지에 매우 영향을 미칠 수 있다. 건성건성하는 실험자들의 노력은 건성건성하는 내담자들의 반응을 가져올 수 있다. 실험자 동기가 부족한 데서 오는 편향들은 권위있는 논문과 함께 특별한 문제가 될 수 있는데, 이는 특히 저자들이 연구의 특정 측면(모집, 자료 수집 또는 자료 흐름 모니터링과 같은)에 대한 전체적인 책임을 친구에게 떠맡으라고 했을 때 그러했다: “가장 좋은 친구”조차 연구자로서, 특히 문제가 발생하고 좌절이 상승할 때는 동기화되지 않을 것이다. 때때로 경험이 없는 연구자들은 내담자에게 연구에 참여하기를 요구하는 것에 부끄러움과 죄책감을 느끼는데, 반드시 참가할 필요는 없음을 서너 번씩 변명조로 말하는 것이 특별하게 설득적이지 않다. 있을 수 있는 편향의 또 다른 원천은 참가자나 내담자들에게 항목표들을 실시하는 동안에 발생할 수 있다; 예들 들어, 바쁜 상담 센터 접수원은 부가된 연구 요구가 주어지면 아마도 일과가 끝날 무렵에 피곤할 것이며, 마지막 내담자에게 언어적으로나 비언어적으로 성급함(impatience)을 전달한다.

요약하면, 연구 결과를 오염시킬 수 있는 연구자 및 실험자 편향의 많은 기회가 있다. 실험자 및 연구자 기대는 연구를 수행하는 데 관여한 누구라도 참가자와 상호작용할 때마다 참가자들을 편향시킬 수 있고, 다른 치료보다 어떤 한 치료를 선호하도록 결과를 편파시킬 수 있고, 결과의 일반화 가능성에 영향을 미칠 수 있다. 따라서, 실험자 및 연구자 기대들은 실험자 태도를 고려하여 논의된 것과 유사한 방식으로 구성개념 타당도와 외부 타당도 모두에 영향을 미칠 수 있다.

다음은 연구자 및 실험자 기대의 효과를 줄이기 위한 몇 가지 전략들이다:

∙ 아마도 실험자 편향들을 상쇄하기 위한 가장 일반적인 전략은 그 연구의 목적에 대해 실험자들에게 ‘부지(또는 맹목 blind)'시키는 것이다. 따라서, 예를 들면, 두 치료 접근들의 효과를 비교하는 연구자는, 치료자로 일하는 실험자에게 연구의 특정 목적과 가설들을 알려주지 않을 것이며, 그러므로 치료자들이 참가자들에게 가설화된 방향으로 비의도적인 영향을 미칠 가능성을 줄인다. 사실, 연구자는 참가자들과 접촉하는, 연구에 관여한 누구에게나(예를 들어, 접수자들, 치료자들, 또는 참가자들로부터 자료를 수집하는 보조자들) 연구의 특정 목적에 대해 맹목시키기를 원할 수도 있다.

∙ 여러 임원들에게 맹목을 유지시키는 것은 다른 연구들보다 어떤 연구들에서 더욱 어렵기 때문에, 연구자는 부분-부지 전략에 관한 방책이 필요할 수도 있다. 예를 들어, 폭식증 환자들을 위해, 위약 비지시적 논의 집단과 비교될 인지-행동 집단 치료를 운영할 때 치료자의 맹목을 유지하는 것은 매우 어려울 것이다. 이런 경우들에서, 연구자는 가능한 한 치료자를 맹목시키려고 노력할 것이며, 특히 연구와 관련된 특정한 가설들과 변인들에 관해서 더욱 그럴 것이다. 또 다른 전략은 부분-부지 치료자들이 참가자들과 가지는 접촉의 수를 제한하는 것이다; 치료자들은 치료를 실시할 뿐이며, 참가자 선택, 자료 수집, 및 debriefing에는 관여하지 않을 것이다. 요약하면, 연구자는 부분-부지 상황만을 유지시킬 수 있을 때라도, 그 목표는 실험 임원들에게 그 연구의 목적에 대해 가능한 한 부지를 유지하는 것이다.

∙ 실험자 기대들은 참가자의 반응에 영향을 미칠 수 있기 때문에, 또 다른 전략은 연구자에 대해서 실험자 기대의 정확성을 평가하는 것이다. 예를 들어, 한 연구자는 실험자가 정확하게 연구의 목적이나, 심지어 일반적 가설들을 짐작하고 있는지의 여부를 평가할 수도 있다. 만약 실험자들이 정확하게 연구자의 목적을 종합하여 전모를 안다면, 실험자 기대로부터의 잠재적인 편향은 실험자가 연구의 본질을 충분하게 알지 못할 때보다 일반적으로 훨씬 크다. 비록 연구의 목적에 대해 부지가 유지되었을 때조차도 실험자가 여전히 미묘한 방식으로 참가자를 편향시킬지라도, 참가자들이 가설들을 향해 편향될 가능성은 줄어든다. 요약하면, 실험자 기대를 평가하는 것은 실험자가 맹목되는 것과 자신들의 기대에 대한 정확한 측정의 정도에 관한 평가 둘 다를 이루게 한다.

∙ 성의없는 노력들에 기인한 부정적인 실험자 편향을 감소시키기 위한 전략들을 사용하라. 연구자들은 연구의 다양한 측면에 대한 전체적인 책임을 떠넘기기 위해서 “친구들”을 모집하는 것을 경계해야만 하는데, 특히 그 연구자가 연구 장소로부터 신체적으로 떠나 있다면 더욱 그렇다. 어느 누구도 연구자가 가장 직접적으로 영향을 미치는 것과 같은 동일한 질의 연구를 할 수 없다고 시사하는 우리의 경험을 고려하여, 연구자들은 연구자가 없는 상태에서 연구를 실행하는 것을 피하기 위해 노력해야만 할 것이다; 만약 이런 경우를 피하기가 아주 불가능하다면, 연구자들은 정규적으로 그들의 협력자들과 대화해야하며 현장 방문을 반복해야 한다.

(3) 실험 절차

일단 연구자들이 조심스럽게 연구를 개발하고, 구성개념을 조작하며, 변인들을 확인하고, 그리고 가능한 한 많은 외재 변인들을 통제했다면, 그들은 대개 연속적이고 일관된 방식으로 실험 절차를 수행하는 것을 시도한다. 한 전형적인 연구는 광범위한 실험 절차들을 포함한다-참가자 모집하기, 참가자 맞이하기, 세련된 동의 얻어내기, 지시 주기, 논리적 근거 제공하기, 중재 시행하기, 관찰 기록하기, 참가자들에게 질문지를 되돌려 줄 것을 일깨워주기, 참가자들 면접하기, 질문지 시행하기, 및 debriefing; 그리고 수행된 실험 절차들 내에서 방식의 모호성과 모순들은, 따라서 편향과 오염의 주요 원천이 될 수 있다. 절차적 모호성은 실험의 활동, 과제들, 및 지시들이 명확하게 정의되지 않았을 때 발생한다. 결과적으로, 실험자들이 특정한 상황에서 그 실험을 수행할 방법이 명확하지 않기 때문에, 실험자들은 참가자들을 상이하게 다룰 것이다. 따라서, 실험자들은 실험적 절차의 변산성에 기인한 편향(또는 무선적으로 발생한다면, 오차 변량)을 실험에 도입한다.

예를 들어, 만약 한 연구자가 residence hall staff를 직업 자원 전문가로 훈련시키는 것의 효과를 연구하고자 한다면, 그 직원들에게 주어진 그 훈련은 분명하게 세분되어야만 하며, 직원들이 hall floor에서 학생들과 상호작용하는 특정한 방식도 마찬가지로 분명하게 기술되어야만 한다. 그 직원은 실제로 직업 정보를 제공한다고 생각하는가? 만약에 그렇다면, 정보의 종류는 무엇인가? 그들은 직업 센터에 위탁되어야 하는가? 만약 그렇다면, 특히 누구에게? 그들은 직업 평가 항목표들을 시행해야 하는가? 만약 그렇다면, 어떤 것을? 그들은 학생들과 함께 실제 상담 회기에 관여해야 하는가? 만약 그렇다면, 주제와 회기의 수에 대한 어떤 지침이 있는가? 그들은 정보-수집 활동들을 추진해야 하는가? 만약 그렇다면, 어떤 종류? 이 예들은 residence hall staff가 직업 자원 전문가로서 행동했을 방식들 중의 단 몇 가지를 나타낸다. 만약 이 연구자가 그 직원이 무엇을 해야 하고 무엇을 하지 말아야 하는지를 특별히 정확하게 기술하지 않는다면, 광범위한 활동의 변산성이 상이한 residence hall staff 구성원들에 걸쳐 발생할 것 같다. 게다가, 직원 책임에 대해 정확하게 기술하지 않으면, 똑똑한 학생들, 동성이나 이성의 학생들, 또는 가족의 사회경제적 위치가 높은 학생들을 우선적으로 처리하는 것과 같은, 체계적인 직원 편파가 더 많이 일어남직하다.

마찬가지로, 생물학적 성, 인종, 민족, 성적 선호, 연령 및 신체적 장애와 관련되는 연구자 및 실험자 편향은 참가자의 반응에 부정적으로든 긍정적으로든 무심코 영향을 미칠 수도 있다. 예를 들어, 성의 쟁점에 민감하지 못하고 성차별주의적 발언을 한 남자 연구자는 참가자들의 모집을 체계적으로 편향시킬 수도 있다. 요약하면, 연구자들과 실험자들에 의한, 문화적으로 민감한 수많은 행동, 발언, 지시 또는 절차들 중 어떤 것이라도 참가자 반응을 편향시킬 것이다.

연구자가 특별한 연구를 위한 절차를 주의깊게 세분화했을지라도, 실험자들 사이의 변산성은 수많은 이유들을 발생시킬 수 있는데, 그 중 우리는 3가지를 논의한다: 피로, 실험자 의도, 및 비동조. 시간이 지나면서 피로하게 된 실험자는 참가자들에 따라 상이한 수행을 가져오고, 만약 단 기간에 여러 참가자나 내담자를 면담하는 것과 같은 집중적인 활동을 한다면 특별한 문제가 될 수 있다. 또한 실험자는 시간이 지나면서 점차적이고 무의식적으로 자신의 수행을 변경시킬 수도 있다(실험자 의도); 실험자가 반복적 과제에 개입한다면 이것은 특별히 중요한 문제이다. 아니면 실험자가 몇 가지 절차들의 중요성을 자각하지 못하고 있어서 시간이 지나면서 정확한 실험적 절차를 따르지 못했을 수도 있다. 예를 들어, 한 연구에서 자료 수집 과정 후반에, 실험자는 시간 제한적 과제를 분명히 부정확한 절차인 “대략 가장 근사한 시간”으로 어림잡기 시작한다! 두 치료자들의 효과를 비교하도록 설계된 또 다른 연구에서, 연구자는 정상적인 50분 회기에 순응하는 한 상담자와, 반면에 매우 열심히 잘하려고 노력하면서 매번 70분 정도로 치료 회기를 수행한 다른 상담자를 발견하고 분개하였다! 요약하면, 절차들이 세심하게 구체적일 때조차, 실험자 변산성은 여전히 발생할 수 있다.

적어도 3가지 문제들이 절차적인 모호성과 연합되어졌다. 첫째, 이전의 예들에서 제시했던 것과 같이, 시간이 지남에 따라 도입되는 체계적 편향에 더하여 실험자들은 자신들 자체가 가장 각각인 것 같다. 따라서, 각각의 residence hall staff은 직업 자원 전문가의 역할에서 아주 상이한 활동을 할 기회가 있을 뿐만 아니라, 그들이 또한 학생들마다 상이하게 행동하기 쉬워서, 그 연구에는 혼동된 변인이 첨가된다.

둘째, 그 절차가 분명하지 않다면, 연구자는 실제로 무엇이 일어나는지 알지 못한다. 독립 변인이 일관되게 관리되어졌는지, 또는 다른 변인들이 개입되지는 않았는지의 여부가 불분명할 수 있다(4장의 구성개념 타당도와 11장의 독립 변인들에 대한 논의를 생각해 보라). 유의미한 결과들이 발견되었을지라도, 그것들이 독립변인 때문인지 아니면 다른 변인들 때문인지는 명확하지 않다. 요약하면, 연구자가 실험에서 행해지는 것에 대해 알지 못한다면, 그들의 결론은 혼동되며, 불가능하지는 않을지라도, 많은 정확성을 가지고 연구의 결과를 논의하기는 어렵다.

절차적 모호성의 세 번째 문제는 실험자 변산성에 기인하여 자료에 오차 변량 즉, “잡음(noise)”을 가져오는 것에 대한 통계적 쟁점과 관련된다. 통계적으로 말하자면, 실험자에 기인한 변산성은 독립변인에 기인한 효과(그러한 효과가 실재로 존재한다고 가정하는)를 더욱 밝히기 어렵게 하면서 집단내 변산성을 증가시킨다. 따라서, 독립변인은 실험차 차이에 기인한, 증가된 집단내 변산성을 상쇄하기 위해 더욱 강력해져야만 한다.

우리의 많은 연구들에 적용된 본질을 고려하면, 절차적 모호성은 상담에서 특별한 문제이다. 많은 실험자들에게, 연구 절차의 세부사항은 구체적이고 이행될 수 있다. 예를 들어, Feldman, Strong, 및 Danser(1982)는 역설적 해석과 비역설적 해석의 효과들을 비교하는데 관심이 있었으며, 우울증 환자들을 관리한다. 저자들은 일련의 역설적 해석과 비역설적 해석들을 통합하기 위해 10시간 과정 이상의 마스터 수준 상담자 훈련을 받았고, 기본 상담 면접을 지도한다. 이 경우, 해석과 관리는 상이한 처치 조건들 내에서 동일하였다. 훈련 끝무렵, 상담자들은 상담 면접 내 특정 지점의 해석적인 진술과 지시적인 진술 verbatim을 통합할 수 있었다. 그렇지만, 여러 가지 개인 또는 치료 회기를 필요로 하는 기타 상담 중재는 통제하기가 더 어렵기 때문에, 연구에 포함된 실험적 조작의 유형에 상담자에 따라 성취될 수 있는 일관성이 좌우된다.

다음의 전략들은 실험 절차들에 기인한 편향들을 줄이는데 유용하다:

∙ 아마도 가장 기본적인 전략은 특정 연구에 관련된 실험 절차를 주의깊게 기술하는 것 그리고 명시하는 것일 것이다. 논문 작성에 있어서 그 절차들을 포함시키는 것은 연구자의 생각들을 조직하고 연구를 수행하는 것에 관여한 임원에게 명확한 절차를 전달하는 것 둘 다이다. 만약 실험자들이 특정한 진술을 하게 된다면, 말 그대로 그리고 유창하게 전달하는 것이 중요하다. 특히, 복잡하거나 확장된 치료 중재들의 경우에 종종 자세한 훈련 매뉴얼을 쓰는 것이 유용한데, 이는 특정한 치료 중재를 확인시키고 서류화한다; 예를 들어, 여섯 번째 날 성역할 갈등 워크샵에 대한 자세한 기술에 관해서는 O'Neil과 Roberts Carroll(1987)을 참고하라(O'Neil & Roberts Carroll, 1988에서 인용). 이런 매뉴얼들은 실험자들을 훈련하는 것과 특정 중재 내용을 다른 연구자들에게 말해주는 것 모두에 도움이 된다.

∙ 또 다른 일반적인 전략에서, 연구자들은 몇 가지 유형의 구조나 심지어는 자동화를 통해, 절차를 표준화시키려고 시도한다. 예를 들어, 상담자 자기 노출의 효과들을 연구하는데 관심이 있는 한 연구자는, 상이한 내담자들에 따른 상이한 치료자들에게서 유사한 유형들의 자기 노출을 검토하는 것에 있어서 몇 가지 어려움에 봉착할 것이다. 그렇지만, 상담자 자기 노출을 생생하게 묘사하는 녹화나 녹음이 개발되고 참가자들에게 보여줄 수 있어서, 각각의 참가자가 동일한 상담자의 자기 노출을 보거나 듣는다(그러한 예를 위해서는 Dowd & Boroto, 1982 참고). 또 다른 표준화의 일반적인 예는 구조화된 면접을 개발하여 실험자는 정확히 동일한 단어들을 사용한 동일한 지시로 동일한 질문을 한다. 예를 들어, Josephson과 Fong-Beyette(1987)는 상담 동안의 성인 여성 내담자들의 근친상간에 대한 노출과 상관된 상담자의 구체적인 행동들 및 특징들을 명확히 하기 위해 구조화된 면접을 개발했다. 이 구조화된 면접은 질문의 목록들로 이루어져, 4가지의 일반 영역, 즉 인구통계학적 질문들, 근친상간 경험과 참가자들에게 지각된 효과에 관한 질문들, 어린 시절 동안의 상담 경험들에 관한 질문들, 및 18세 이후의 모든 상담 경험들에 관한 질문들을 특정한 순서대로 질문한다. 표준화의 또 다른 예는 실험자들이나 접수원을 위한 verbatim 진술 공식화, 참가자들이 과제나 항목표를 완성하는 것에 문자화된 지시 제공, 참가자가 도구를 완성하는 것에 특정 순서를 개발함, 및 자료의 관찰과 기록을 수월하게 하는 구조화된 형식들 사용하기이다. 모든 이런 예들의 의도는 다양한 절차들을 위해 구조를 표준화하거나 규정함으로서 연구의 다양한 측면들 전체의 일관성을 증진시키는 것이다.

∙ 오해들 및 상이한 가정들은 실험자 절차들에서 중요한 차이를 가져올 수 있음을 고려하여(예를 들어, 상담 회기들의 지속시간), 연구가 시작되기 이전과 연구 전체의 다양한 시간들에서, 모든 임원들과 함께 기본적 실험 절차를 반복하는 것이 유용할 수 있다.

∙ 그들이 실험자들을 훈련시킨다면 연구자들은 종종 표준화를 향상시킬 수 있다. 역할연기, 피드백, 및 기술 습득 연습들과 마찬가지로, 이런 훈련은 그들의 실험 과제와 중재들에 대하여 실험자들에게 구체적 지시를 한다. 실험자 행동을 표준화하는 한가지 방법은 바라는 방식으로 정확하게 행동하도록 실험자들을 주의깊게 훈련시키는 것이다. 모든 것이 가능할 때라면, 모든 실험자들은 그들이 동일한 정보를 받는다는 것을 보장하도록 동시에 훈련받아야 한다. 전형적으로 훈련은 예상되는 절차적 문제들이나 참가자들의 반응들에 주의를 기울이고 그것을 위한 지침을 시사받는 것이다. 이상적으로, 실험자들은 어려운 질문들(예를 들어, ‘나의 이름을 어떻게 알았나요?’)이나 흔치 않지만 어려운 상황(부가적인 도움에 대한 울음이나 변명들을 포함하여 극히 부정적인 내담자들의 정서적 반응들과 같은)에 반응하는 방식들에서 일관된 반응들을 얻을 것이다.

∙ 실험자 절차들에 관련된 문제들을 줄이기 위한 또 다른 전략은 연구에 관여한 모든 임원들과 가까운 만남을 유지하는 것이다. 특히 연구자가 막 연구를 진행하고 있을 때, 할당된 과제와 함께 실험자들의 경험에 대한 면밀한 모니터링은 예상하지 않은 문제들을 드러내는데, 이 문제들은 종종 프로토콜이나 절차들에 작은 변화들을 필요로 할 수도 있다. 게다가, 문제를 보고하고, 질문하고, 오류들을 확인하도록 실험자들을 적극적으로 고무하는 것은 유용한 피드백을 이끌고, 의사소통의 한계를 개방한다. 연구자가 연구의 모든 단계들을 면밀히 검토하도록 설명받는 것은 특히 중요하다. 그래서, 예를 들면 도구들을 완성하기 위한 모든 표준화된 지시들은 연구자가 의도한 방식으로 실시되어진다. 초보 연구자들은 일단 실험이 시작되면 수수방관하고 쉽게 할 수 있을 것이라고 잘못 믿을 수 있는 반면에, 노련한 연구자들은 연구가 계획대로 진행되는지를 확인하기 위하여 조심스런 모니터링과 문제 조정에 상당히 많은 시간을 보낸다.

∙ 연구자들은 실험자들의 수행을 점검하고 실험의 피로와 싸우는 다양한 전략들을 개발시켜왔다. 대부분의 이런 전략들은 본질적으로 (11장에서 논의한)조작 점검표이다. 예를 들어, Kazdin(1980)은 실험자를 점검하기 위해 공모 참가자들의 사용을 보고하였다. 이 공모자들은 다양한 실험 조건에 무선적으로 할당되었고, 실험자 수행의 적절성에 대해 연구자에게 피드백을 제공하였다. 때로는 실험자에게 공모 참가자들이 사용될 것이라고 알려주는 것만으로도 수행 표준을 유지시키는데 충분하다. 마찬가지로, 연구자들은 실험자의 수행을 평가하기 위해 구조화된 면접이나 상담 회기들의 녹음 또는 직접적인 관찰을 사용할 수 있다. 예를 들어, Hogg와 Deffenbacher(1988)는 우울증 치료에서 인지 집단 치료와 대인관계 과정 집단 치료를 비교했을 때, 그들은 실험 조작의 적절성에 대한 점검표로 인지적 또는 행동적 치료의 구성요소들을 확인하기 위해 학부생들을 훈련시켰다. 학부생들이 그 치료 회기들을 청취한 후, 치료의 유형을 정확히 구별하는데 있어 그들은 매우 숙달되었다(96%). Hogg와 Deffenbacher는 그 실험의 자세한 부분들을 알지 못하는 평정자들이 정확하고 확실하게 상이한 치료 유형들의 녹음 테잎을 구별할 수 있었기 때문에, 그 치료자들이 치료 지침을 신뢰롭게 따르고 있었다고 결론지었다. 또 다른 전략은 실험자들과 함께 실험자 피로에 대한 잠재적인 문제들을 검토하고 이 문제에 대한 해결책을 발견하는데 그들의 도움을 청하는 것이다.

∙ 일반적인 전략으로서, 인종차별주의, 성차별주의, 동성애 공포증과 같은 광범위하고 다양한 쟁점에 대한 자신들의 자각, 민감성, 및 기술을 증진시킬 수 있도록 연구자들이 광범위한 여러 가지 훈련 활동들에 참가하는 것이 좋은 방법이다(Fassinger & Richie, 1997; Pedersen, 1994; Pedersen, Draguns, Lonner, & Trimble, 1996; Ponterotto & Pedersen, 1993; Ridley, 1995; Ridley, Mendoza, & Kanitz, 1994).

2. 참가자 편향

우리의 이상적인 세계로 다시 되돌아가면, 완벽한 참가자는 어떠한 선입견도 지니지 않고 실험에 오고, 기꺼이 지시를 받아들이며, 가능한 한 성실하고 유익한 방식으로 반응하도록 동기화된 정직하고 순박한 사람이다(Christensen, 1980). 그러한 참가자는 부정적인 관점으로 보여지는 것을 두려워하지 않으며 가장 깊숙한 부분의 비밀에 대한 개인적 정보를 기꺼이 노출할 것이다. 마찬가지로, 상담 내에서 이상적인 내담자는, 상담에서 자신들의 경험, 그들이 스스로 해결할 수 없었던 문제, 상담에 오기로 택한 이유, 상담자에 대한 지각, 그리고 자신들이 변화한 방식에 대해 숨김없이 논의할 것이다. 더욱이, 이상적인 참가자는 그들의 주관적인 경험과 자신들의 주변 세계, 둘 다에 대해 자각할 것이고, 따라서 그들은 자신들의 내적 세계 및 외적 세계를 신뢰롭게 설명할 수 있다.

불행하게도, 우리는 참가자가 자주 선입견을 가지고 심리학 실험에 온다는 것을 알고 있는데, 때때로 조사연구에 그들이 참여하는 것을 불쾌하게 생각하기 조차 한다(Argyris, 1968; Gustav, 1962). Christensen(1980)이 관찰한 바와 같이, 심리학 실험에 오는 참가자는 단지 독립변인에 반응하려고 기다리는 수동적인 유기체가 아니다; 대신에 상이한 실험에서 그들이 반응하는 방식에 영향을 미칠 수도 있고 미치지 않을 수도 있는 많은 의견, 선호, 두려움, 동기, 능력, 그리고 심리적 방어를 가져온다. 우리는 참가자 편향의 세 가지 주요 원천-요구 특징, 참가자 특성, 및 자신들의 경험을 보고하는 참가자의 능력-을 논의하며, 또한 그러한 혼동변인을 막기 위한 몇 가지 전략을 제공한다.

(1) 요구 특징

참가자 편향의 한가지 주요 원천은 일반적으로 요구 특징으로 언급되는 것에 관련되는데, 이는 독립변인과는 별개로 특정 방식으로 반응하도록 참가자에게 영향을 미칠 수 있는 실험 내의 단서이다. 요구 특징은 실험자의 기대와 일치될 수도 있고 일치되지 않을 수도 있다; 그것들은 종종 실험자의 기대 이외의 사상들을 포함한다. 요구 특징의 예는 대부분의 대학생들이 사적인 문제를 지니지 않았다는 인상을 주는 사적인 문제 질문지들에 대한 지시, 잠재적인 참가자가 질문지를 완성하지 않는다면 죄책감을 느끼게 만드는 의도가 있는 것 같은 접수원의 비언어적 행동, 또는 통제 집단에서 참가자에 대하여 미안해하는 실험자의 비언어적 단서들이다.

때때로 요구 특징이 그렇게 미묘하지 않을지라도, 그것들은 전형적으로 미묘한 영향력 또는 압력이다. 예를 들어, 내담자의 선호에 대한 한 연구에서, 상담센터에 오는 내담자에게 “전문가 또는 비전문가 중 어떤 상담자를 만나기 원하는가?”와 같은 매우 중요한 질문을 하였다. 보다 일반적인 질문이 사용된다면 상담자 전문성이 내담자에 의해 일관되게 언급될 것 같지 않긴 하지만, 놀랍지 않게 이 연구 결과는 대부분의 내담자가 전문가를 선호했다고 밝혔다. 요구 특징은 실험 중에 어떤 단계에서라도 발생할 수 있는데, 예를 들어 참가자를 모집하는 동안, 실험과 관련된 임원과 상호 작용하는 동안, 항목표나 실험 과제를 완성하는 동안, 그리고 debriefing 동안에 일어난다.

특정 연구 내에서 작용하는 요구특징은 종종 분간하기가 어렵다. 비록 연구자의 의도는 객관적이고 정밀한 연구를 수행하는 것일지라도, 항목표 상의 특정 지시가 몇몇 참가자들에게 사적인 정보를 알리지 않도록 영향을 미칠 수도 있다는 것을 자각하지 못할 수도 있다. 마찬가지로, 참가자를 모집할 때 매우 사소한 설명이 독립변인의 효과를 가릴 수도 있다. 예를 들어, 참가자의 상담자 신뢰성 지각에 대한 비밀보장 위반의 효과에 흥미를 가진 연구자 집단의 이야기를 생각해보자. 예비연구에서, 상담 아날로그 내에서의 심한 비밀보장 위반은 전문성에 관해 참가자가 상담자를 평정하는 방법에 영향을 미치지 않는 것 같다는 결과에 연구자들은 충격을 받았다. 예를 들어, “방금 나간 사람을 보셨나요? 아이구, 그는 몇 가지 심각한 문제가 있어요!”와 같이 상담자가 이전 참가자에 대해 말하면서 면접을 시작할지라도, 두 번째 참가자는 여전히 상담자를 꽤 신뢰할 수 있는 것으로 평정했다. 참가자가 처음에 접촉될 때, 그들은 “매우 유능한 전문 상담자이며, 꽤 인기도 많고, 학교에서 학생에게 매우 평판이 좋은 사람”과 이야기할 수 있는 상담 연구에 참여할 의사가 있는지를 질문 받았음이 모든 실험 절차에 대한 철저한 조사로 밝혀졌다. 참가자에 대한 부가적인 예비 연구는 소개에서 명성에 대한 강조를 생략하는 것이 상담자 행동에 대해 좀더 정확한 지각을 가져온다고 밝혔다. 요약하면, 참가자에게 작용하는 요구 특징은 종종 미묘하며, 비의도적이다.

(2) 참가자 특성

모든 참가자가 상이한 실험 과제와 절차에 동일한 방식으로 반응하는 것은 아니다. 어떤 참가자들은 다른 사람들보다도 미묘한 단서나 압력에 더 반응할 수 있다. 광범위한 참가자 특성은 참가자가 요구특징에 뿐만 아니라 좀더 폭넓은 수준에 관한 실험 상황에 반응하는 방법에도 영향을 미칠 수 있다. 우리는 이제 참가자의 반응에 편향을 일으킬 수 있는 네 가지 참가자 특성에 대해 간단히 논의한다: 자기 표상 양식, 동기부여 수준, 지적 능력, 그리고 심리적인 방어.

1) 자기표현 양식

Christensen(1980)은 심리학 실험에서 참가자 동기간의 일관된 주제는 긍정적인 자기표현, 즉 긍정적인 관점에서 자기 자신을 표현하고 싶은 욕구라고 제안했다. 어떤 참가자들이 자신들의 수행이 부적절하다고 믿거나 자신들의 반응이 “틀린” 것이라고 믿는다면, 위협을 느끼기 시작할 수도 있다; 다른 참가자들은 그들 자신 또는 다른 사람에 대한 부정적인 정보를 노출하는 것을 꺼려할 수도 있는데, 특히 그들이 연구자가 어떤 식으로든 자신들의 반응을 이름과 연결지을 수 있을 것이라고 생각할 때 그렇다(Kelly & Achter, 1995; Kelly, Kahn, & Coulter, 1996; Kelly, Mckillap & NeiMeyer, 1991 참고). 예를 들어, 슈퍼비전 연구에서 박사과정 훈련생의 보고를 듣는 젊은 연구자는 참가자 중 한사람이 누가 자신의 반응을 볼 것이라고 “확신하지 않아서” 자신의 실제 지각을 감히 보고하지 못했다는 것을 인정했을 때 깜짝 놀랐다.

마찬가지로, 상담의 긍정적인 성과를 보고하는 것이나 그들의 치료자를 좋아하는 것과 같이, 참가자들은 사회적으로 바람직한 방식으로 반응하도록 강요받는다고 느낄 수 있다. 사회적 바람직성은 때때로 상담의 조기 종결과 같이 사회적으로 바람직하지 못한 반응을 요구하는 주제를 조사할 때 어려운 쟁점이다. 전자의 내담자는 상담자에 대한 부정적인 지각을 보고하는데 신중해야 한다고 느낄 수도 있는데, 특히 그들의 논평이 상담자에 대한 문제를 노출하거나 상담자에게 문제를 일으킨다고 믿을 때 그렇다.

자기 자신을 긍정적인 방식으로 나타내려는 강한 욕구를 지닌 참가자는 요구특징에 의해 좀더 영향을 받기 쉬울 수도 있다. 그러한 참가자는 자신들을 가장 긍정적으로 나타내는 반응 유형을 확인하는 데에 요구 특징을 사용한다고 Christesen(1980)은 주장했다. 요약하면, 자기 자신을 잘 나타내고 싶어하는 참가자들은 의식적이든지 무의식적이든지 “좋은 참가자”가 되려 하며, 자신들이 실험자의 요구나 바라는 바와 일치한다고 믿는 방식으로 반응하려할 수 있다. 관심있는 독자는 상담에서 자기 표상 이론에 대한 Friedlander와 Schwartz(1985)를 검토해도 좋다.

2) 동기부여 수준

참가자의 동기부여 수준 또한 편향의 원천이 될 수 있다. 때때로 심리학 실험에서 참가자는 어느 수준에서 연구에 많은 에너지를 발휘하기 원하지 않는다. 다양한 이유 때문에, 참가자는 실험 조건에 대한 염려, 실험 과제에 대한 무관심, 통제집단이 된 것에 대한 분노, 또는 단순히 피곤함을 느낄 수 있을지도 모른다. 그 결과, 참가자는 예정된 약속에 나타나지 않거나, 건성으로 반응하거나, 또는 한층 더 나쁘게 무작위적인 반응을 나타낼 수도 있다.

상담연구에서 어떤 내담자들은 상담자를 “돕기 위해” 동기화될 수도 있다. 따라서, 상담자의 어떤 측면을 평가하는 연구에서, 치료자에게 고마움을 느끼거나, 심지어 신세를 진 것으로 느끼는 내담자는 상담자를 “돕기 위해” 열렬한 반응을 하도록 동기화될 수도 있다.

3) 지적 기술

때때로 참가자가 읽기나 쓰기 능력같은 적절한 지적 기술을 지니지 못한 이유로 연구에 편향이 생긴다. 중서부 지역 대학의 한 연구자는 몇몇 참가자들이 평가 항목표를 읽는데 어려움이 있다는 것을 면접을 통해 알고서 놀랬다; 이것은 그녀가 세 가지 자기보고 항목표에 대한 자료를 수집한 후였다! 또 다른 연구자는 일반적으로 대학생에게 사용되는 네 개의 자기보고 항목표를 중서부지역의 시골 농부에게 주었으며, 그러한 지적 능력이 이 집단에게 매우 지나친 과제였다는 것을 알았는데, 그들은 양식을 완성하기 위해서 상당히 많은 시간을 필요로 했다. 게다가 또 다른 연구자는 알코올중독 입원환자 집단이 대학에서 일반적으로 사용되는 도구를 완성하는데 매우 많은 어려움을 겪었다는 것을 발견했다; 항목에서 많은 단어들을 명확히 한 후에, 이 집단의 평균 읽기 수준이 6학년 이하라는 것을 알았다. 간단히 말해서, 참가자의 지적 기술이 연구 결과에 편향을 일으킬 수 있고, 따라서 몇 가지 고려사항이 필요하다.

4) 심리적인 방어

때때로 어떤 참가자의 심리적인 방어 때문에 연구에서 편향이 생긴다. 예를 들어 비록 어떤 사람은 폭력적인 강간 영화를 보았을 때 성적으로 각성된 것을 느끼겠지만, 대부분의 사람들은 그러한 성적 각성을 타인에게 뿐만 아니라 심지어 자신에게 인정하는 것도 어려워한다. 따라서, 몇몇 참가자들은 특정 자료에 그들이 반응함으로서 위협받는다고 느낄 수도 있으며, 그들의 실제 감정을 부정하거나 억제할 수도 있다.

또 어떤 때에는 참가자들이 민감한 주제(예를 들어, 성적인 오리엔테이션, 인종 관계, 또는 부적절감이나 당혹감)에 대한 자신들의 감정이나 생각을 드러내는 것에 방어적이거나 편집적으로 생각할 수도 있다. 마찬가지로, 교도소 수감자 같은 참가자들은 실험자에 대해 의심이 많을 수도 있고 지각된 위험 때문에 자신들의 반응을 억누르거나 완화시킬 수도 있다. 요약하면, 참가자가 어떤 실제적 또는 상상적 위협을 지각하기 때문에 연구에서 편향이 일어날 수 있는데, 그것은 의식적으로나 무의식적으로 반응을 억누른다.

(3) 자신들의 경험을 보고하는 참가자의 능력

상담자와 많은 관련성을 지닌 주제는 자신들의 내적 경험을 정확히 보고하는 내담자의 능력이다. (이 논의는 12장의 자기보고 항목표에 대한 이전의 논의를 확장한다.) Nisbett와 Wilson(1977)은 자신들의 인지과정을 신뢰롭게 보고하는 참가자의 능력을 결정하기 위해서 광범위한 자료의 배열을 조사했다. 일반적으로, 그들의 분석은 원인이 되는 자극과 반응에 대한 그럴듯한 원인이 현저할 때 참가자가 좀더 정확한 보고를 제공한다고 제안했다. 게다가, 참가자들은 (a)역사적인 사실, (b)주의의 초점 (c)현재의 기분, 그리고 (d)그들의 계획, 평가, 그리고 감정에 대한 지식을 좀더 정확히 보고한다. 그렇지만, 상당한 양의 자료는 참가자가 자신들의 인지적 반응을 일으키게 하는 자극을 자각하지 못하는 경우와 같이 상황이 모호할 때, 자신들의 정신 과정을 설명하는데 좀더 많은 어려움을 겪는다고 제안한다.

Maier(1931)에 의해 수행된 실험은 모호한 상황에서 참가자가 인과관계 요소를 연결할 수 없음을 적절히 묘사했다. Maier는 “끈 문제(string problem)"을 사용했는데, 다양한 물건이 있는 방의 천장으로부터 약 10 피트 떨어져서 매달려 있는 두 개의 밧줄을 (한 손에 하나씩) 잡는 목표가 참가자에게 주어졌다. 시행착오 후에, 어떤 참가자들은 밧줄 중 하나에 물건을 묶고, 진자처럼 그것을 흔들고, 뛰어서 한 손으로 다른 밧줄을 부여잡고, 그리고 다른 손으로 흔들리는 밧줄을 붙잡을 것이다. 자 봐, 해결했어! 만약 참가자가 해법을 찾는데 실패했다면, 방 주위를 돌아다니고 있던 Maier는 밧줄 가까이로 가서 몸짓으로 그것들 중 하나를 흔들 것이다. 그러면 참가자 중 몇몇은 이어서 어떤 물체를 가져와, 밧줄의 끝에 그것을 묶고, 진자처럼 끈을 흔들고, 그리고 그 후에 간단히 문제를 해결할 것이다. 그러나 Maier가 이러한 참가자에게 해법에 도달한 방법을 물었을 때, 그들은 “그냥 떠올랐어요” 또는 “무거운 물건을 밧줄에 묶으면, 밧줄이 흔들린다는 것을 그냥 알았어요”와 같이 대답을 했다. 간단히 말해서, Maier의 참가자 대부분은 자신들의 인지 및 정서 과정과 관련된 인과적 사건을 정확하게 보고할 수 없었다. 실험 정보 처리에 대한 좀더 최근 연구는 참가자가 자신들의 인지 과정에서 사상의 인과적인 고리를 설명하는데 특히, 시간이 지남에 따라 어려움을 겪는다고 제안했다(Ericsson & Simon, 1984).

Nisbett와 Wilson의 연구(1977)가 논쟁의 주제이긴 했지만, 상담 연구자가 내담자의 인지 과정을 조사하려고 할 때, 특히 우리가 소위 상담이라고 하는 종종 애매한 상황 내에서 그들의 관찰은 신중히 고려되어야 한다. 예를 들어, 내담자가 변화된 이유나, 상담 중에 그들이 변화되도록 영향을 미친 것이 무엇인지는 그들에게 정확하고 신뢰롭게 대답하기에 매우 어려운 질문일 수 있다. 마찬가지로, 한 연구자가 깨달은 바와 같이, 어떻게 상담센터에 도움을 청하기로 결심했는가를 내담자에게 묻는 것은 매우 광범위한 반응을 일으킨다-그들 중에 일부는 이해력이 부족하다! 간단히 말해서 상담 연구자는 내담자의 정신 과정에 대해 정확하고 신뢰롭게, 특히 회고적으로, 얻을 수 있는 정보 유형을 특히 신중히 고려해야 한다. 연구자는 내담자가 알 수 있는 것보다 더 이야기하도록 질문할 수도 있으며, 따라서 내담자는 오도된 자기보고를 제공할 수도 있다.

(4) 참가자 편향을 줄이는 전략

연구자는 참가자 편향을 줄이기 위해서 여러 가지 전략을 사용할 수 있다:

∙ 아마도 “좋은 참가자” 역할에 기인하는 참가자 편향을 줄이기 위해서 가장 일반적으로 사용되는 전략은 참가자가 연구의 실제 목적을 모르게 하는 것인데, 이는 참가자로 하여금 의식적으로나 무의식적으로 예상된 가설과 유사한 방식으로 수행하는 것을 어렵게 한다. 참가자는 연구의 가설뿐만 아니라, 심지어는 연구의 목적에 대한 정보도 저지됨으로써 모르게 된다. 따라서, 연구에 개입한 참가자들은 세분화되지 않은 방식으로 대학직업센터에 대한 자신들의 지각에 대해서 항목표를 완성하도록 요구받을 수도 있다. 앞에서 논의된 것처럼 참가자와 실험자 모두가 모르게 될 때, 연구는 “이중부지"라고 불린다. 이중부지 절차는 실험자와 참가자 편향 모두를 줄이는 경향이 있기 때문에, 상담 연구에서 자주 권해진다.

∙ 긍정적인 관점에서 자신을 나타내려는 참가자의 욕구에 기인한 편향을 줄이기 위해서, 일반적인 전략은 실험과 관련된 위협을 줄이는 것이다. 따라서, 질문지 상의 지시에서 “옳고 그른 답이 없습니다”와 “이 항목표는 시험이 아닙니다”를 명백하게 진술할 수도 있다. 항목표의 실제 명칭이 불안을 자극하거나 요구 특징을 일으킨다면, 그것이 변경될 수도 있다. 게다가, 몇몇 연구자들은 전형적인 참가자 불안을 명확하게 표준화함으로서 위협을 줄이려고 한다. 예를 들어, 대처과정에 대한 연구에서, 참가자들은 미해결된 사적인 문제를 가지는 것은 정상적인 것이며, 실제로 “모든 사람이 그것을 가지고 있다”고 들을 수도 있다.

∙ 참가자의 정직함을 증가시키고 비밀 보장에 대한 두려움을 줄이기 위해 몇 가지 절차가 사용될 수 있다. 맨 첫째로, 연구자는 흔히 현상에 대한 전문적인 이해를 증가시키기 위한 정직한 반응을 얻을 수 있도록 자신들의 요구에 대해 정직하고 직접적인 진술을 한다. 게다가, 연구자는 전형적으로 참가자에게 그들의 반응이 엄격히 비밀로 지켜질 것이라고 전달하며, 그 후에 비밀 유지를 보호하기 위한 기제를 설명한다(예를 들어, 코딩). 더욱이 참가자 집단을 사용하는 연구에서, 연구자가 특정 개인보다는 오히려 참가자 전체 집단이 항목에 어떻게 반응하는지에 관심을 가진다는 것을 아는 것이 참가자에게 종종 유용하다. 때때로 참가자들은 질문지에 자신들의 이름을 생략하도록 요구받는데, 그럼으로써 익명성이 유지된다. 연구자가 몇 가지 경우에 대한 자료를 수집하고 나서 해당 참가자 반응을 시간에 걸쳐서 비교해야할 필요가 있을 때, 비밀유지를 보장하기 위해서 참가자는 그들의 실제 이름 대신에 코드명을 쓰도록 요구받을 수 있다. 아니면 가명을 쓰거나 그들의 생일, 나이, 사회보장번호 등과 관련된 숫자의 조합에 기반을 둔 코드를 만들도록 요구받을 수도 있다(Kandel, 1973 참고).

∙ 흔히 연구자는 참가자의 동기 수준을 증가시키기 위해 그들에게 호소할 것이다. 예를 들어, 참가자는 연구의 중요성과 있을 수 있는 성과를 간단히 들을 수 있다(예를 들어, 질문지에 대한 정직한 반응은 슈퍼비전 내에서의 변화나 성장을 명백하게 설명할 것이다). 대신에, 연구자는 연구 결과를 참가자에게 보내줄 것을 때때로 약속하는데, 특히 연구가 조사 특성을 지닐 때 그렇다.

∙ 요구 특징과 실험자 편향에 대해 걱정한 연구자는 때때로 사후실험 조사를 수행한다. 14장에서 논의한대로, 실험 후에 실험자는 참가자에게 실험 목적에 대한 그들의 이해, 실험자가 그들이 어떻게 반응해주기를 원했는지에 관한 그들의 생각, 그리고 그들이 부딪친 문제에 대해 질문함으로서 잠재적인 참가자 편향을 평가한다. 그러한 사후실험 조사는 (아마도 연구의 실제 목적을 확인했던 참가자들이나 어떤 식으로든 압력을 받았다고 느끼는 참가자에 대한 추적조사와 함께) 간단한 질문지로 이루어지거나 직접적인 면접에 의해서 수행될 수도 있다. 직접적인 면접은 그 자체가 요구 특징을 일으킬 수 있기 때문에, 이전에 참가자와 상호작용을 하지 않은 사람에 의해 가장 잘 수행될 수 있다. 비록 사후실험 조사에 상당한 가치가 있을지라도, 그것들은 몇 가지 제한점이 있다: 참가자들이 몇 가지 요구 특징에 의한 편향을 지녔으나 전적으로 그러한 영향에 대해 알지 못한다면, 사후실험 조사는 그러한 참가자 편향을 밝히지 못할 것이다.

∙ 연구 목적에 대한 정보를 알리지 않는 것에 더하여, 연구자는 가장 또는 속임수를 통하여 참가자 편향을 줄일 수 있다. 연구 목적은 참가자에게 특정 연구가 다른 연구주제를 조사하고 있다는 것을 믿도록 만드는 정보를 줌으로서 위장될 수 있다. 그렇지만, 그러한 전략은 중요한 윤리적 문제를 지닌다(5장 참고). 예를 들어, 태도변화 연구에 참여하려고 하는 참가자는 대학교가 모든 대학생에게 최종 구술 시험을 시행해야 하는지의 여부를 평가하도록 요청받을 수도 있다. 마찬가지로, 상담자에 대한 내담자 지각에 관한 연구는 상담센터 서비스의 적절성을 평가하는 측면에서 만들어질 수도 있다. 간단히 말해서, 참가자 편향을 줄이기 위한 또 다른 전략은 연구의 실제 목적을 위장시킨 정보를 제공하는 것이다.

∙ 수업 요건을 채운 대학생을 이용한 상담연구에서, 학생의 동기 결여나 무관심은 심각한 편향의 원천이 될 수 있다. 이러한 편향에 맞설 수 있는 한 가지 전략은 참가자 수행에 대해 “무작위 추출 검사(spot checks)"를 수행하는 것이다. 예를 들어, 질문지 중간에 참가자에게 “이 항목을 공백으로 남겨놓으세요” 또는 “‘강하게 동의하는 것’을 표시하세요’”라는 것이 삽입될 수 있다; 그러한 간단한 지시를 따르지 않은 참가자는 연구에서 제거된다.

∙ 지적 기능에 관련해서, 연구자는 연구에 사용되는 모든 도구의 읽기 수준을 평가할 수 있고 그렇게 해야 하며 그것들을 표본과 결합할 수 있어야만 한다. 전형적으로, 표본에 대한 그러한 정보는 상응하는 기관의 직원이나 흥미를 가진 참가자와 친한 동료로부터 얻어질 수 있다.

∙ 상담에서 연구자는 참가자의 인지와 정서과정을 보고하는 그들의 능력에 주의해야 한다. 한가지 전략은 참가자에게 가장 쉽게 접근할 수 있는 인지 과정에 기반을 둔 질문지를 개발하는 것이다. 또 다른 방법은 비디오 또는 오디오로 반응할 수 있게 하거나 대인관계과정회상(Interpersonal Process Recall)을 사용하는 것과 같이, 좀더 모호한 인지 및 정서과정에 대한 정확한 보고가 수월하도록 부가적인 정보를 참가자에게 제공하는 것이다(Kagan, 1975).