06/05 헤스티아 9차 모임

[20832 한혜윤]

안녕하세요 토론동아리 헤스티아입니다! 

이번 동아리 활동에서는 첫째, 설문지에 포함해야 할 요소를 선정하고, 둘째, 논문 연구조사방법론을 참고하고 그 중에서도 설문(Questionnaire surveys)부분을 요약, 정리하여 설문 제작 시 유의할 점을 공부하였으며, 셋째, 연구에 사용할 인터뷰 질문들을 제작하였습니다. 본격적으로 활동을 시작한 것 같아 뿌듯했고 의미 있는 시간이었습니다. 설문조사를 제작하는 것은 처음이었으나 부원들과 협력하여 새로운 것을 많이 배울 수 있었습니다. 앞으로 설문지를 잘 완성하고 인터뷰도 끝마쳐서 소논문 작성이 원활하게 이루어지만 좋겠습니다.

1. [설문지에 필요한 요소 선정]

학년, 성적분포(등급), 온라인수업 만족도, 실시간 쌍방향수업 vs 과제중심수업, 대면 vs 원격수업(학습효과측면에서 / 편리도측면에서), 비교과활동 만족도, 가장 아쉬운 것, 자유학년제 부분, 개선되어야 할 것, 온라인수업 장점 등의 요소들을 설문지에 포함시키기로 결정했습니다.

2. 또한 설문지를 작성하기에 앞서 설문조사 방법론을 공부하기 위해 관련 논문을 함께 분석하고 요약했습니다.

[설문조사 방법론]

https://post.naver.com/viewer/postView.nhn?volumeNo=15936030&memberNo=9353678 통계조사를 내는 설문조사서의 방법 및 개요

연구조사방법론(Social Science Research - Principles, Methods, and Practices) 논문의

조사연구- 설문(Questionnaire surveys) 부분 참조(70p~): 

[설문개요: ]

Francis Galton(프랜시스 갈톤) 에 의해 처음 고안된 설문은 표준화된 방식으로 응답자의 반응을 알아보기 위해 질문들로 구성된 연구도구이다. 질문은 비구조적일 수도, 구조적일 수도 있다.

본 연구는 비구조적 질문, 즉 응답자가 생각을 직접 기술하는 질문과 구조적 질문, 즉 답을 선택하는 질문을 혼합하여 진행할 것이다. 

기존에는 우편이나 대면을 그 매개로 한 설문이 많았으나 현대에는 인터넷을 활용한 설문조사가 많다. 드는 비용이 매우 저렴하고 응답자의 응답이 즉각적으로 데이터베이스에 기록되므로 편리하다. 다만 설문을 진행하기 힘든 디지털 사각지대에 놓인 사람들(e.g. 어린아이, 노인, 가난한 사람 등)이 있고 아이디와 패스워드를 새로 설정해 다시 응답할 수 있는 만큼 표집편향(sampling bias)이 발생하여 그 신뢰도가 감소한다.

[구조적 설문에서의 질문종류:]

구조적 설문에도 그 종류가 있는데, 이분화된 응답, 명목응답, 서열응답, 구간수준응답, 연속적응답이 그것이다. 

이분화된응답(dichotomous response)은 ‘참/거짓, 예/아니오, 동의/비동의’ 와 같이 응답자가 두 가지 가능한 대안 중 한 가지를 선택하는 것을 말한다. “특정한 환경에서 사형제도가 정당화 될 수 있다고 생각하는가?” (동그라미 하시오)라는 질문은 예/아니오 로 나타낼 수 있다.

명목응답(nominal response)은 두 개의 이상의 배열되지 않고 서열화 되지 않은 선택대안을 말한다. 가령 “당신이 종사하고 있는 직종이 어느 산업에 속해 있습니까?”라는 질문에 제조업 / 고객 서비스 / 소매업 / 교육 / 건강관리(의료) / 관광&서비스 / 외 라는 대안을 제공하는 것이 그 예라 할 수 있다. 

서열응답(ordinal response)은 서열화된 두 개 이상의 선택대안을 응답자에게 제공하는 것이다. 가령, “최종 학력은 무엇입니까?” 라는 질문에 대안으로 고등교육과정 / 학사과정 / 대학원 과정 이라고 대안을 제시하는 것이 그 예라 할 수 있다.

구간수준응답(interval-level response)은 리커트 척도나 어의차이 척도 혹은 거트만 척도 등에서 제시되는 5 점 혹은 7 점 범위의 문항을 응답자에게 제시하는 것을 말한다. 이 척도의 유형은 지난 장에서 논의된바 있다.

연속적응답(continuous response)은 응답자의 나이나 회사에서의 경력과 같이 의미 있는 영점을 지닌 비율척도화 된 연속적 값을 응답자에게 선택하도록 제시하는 것을 말한다. 이러한 응답은 일반적으로 빈칸으로 두어 응답자가 직접 작성하도록 제시하는 경향이 있다.

본 연구는 이분화된응답, 명목 응답, 서열응답, 구간수준응답의 형태를 선택하여 설문연구에 사용할 것이다. 

[문항 내용과 단어 선택:]

Dilman (딜먼, 1978)은 설문 작성 시에 주의해야 할 사항들에 대해 아래와 같이 말한다.

문항이 명료하고 이해 가능한 것인가: 설문 문항은 단순한 언어로 기술되어야 하고 능동태가 선호되며, 응답자가 이해하지 못할 수 있는 복잡한 단어나 은어(전문용어)가 없어야만 한다. 설문지에 포함되어 있는 모든 문항은 비슷한 방식으로 기술되어 응답자로 하여금 읽기 쉽고 이해할 수 있게 해야 한다. 만약 설문 대상이 의사, 변호사, 연구자와 같이 전문용어를 매일 사용하는 환경에 있는 특정 집단을 대상으로 하는 경우는 예외적으로 전문용어나 복잡한 단어를 활용할 수 있다.  

문항이 부정문으로 기술되었는가: 예를 들어,“만약 지방자치단체는 세금을 인상하지 말아야 한다면……”과 같이 부정적으로 기술된 문항은 응답자를 혼란하게 하고, 결국 부정확한 응답을 피할 수 없게 된다. 따라서 이러한 문항들을 피해야 하며, 모든 경우에 이중 부정문 또한 피해야 한다.  

문항이 애매모호한가: 설문문항은 응답자에 따라 다르게 해석될 수 있는 단어나 표현들(예, ‘어떠한’ 혹은 ‘단지’)와 같은 단어를 피해 작성해야 한다. 응답자에게 연 수입에 대해 물어본다면, 임금을 의미하는지, 배당금, 임대수입을 의미하는지 혹은 다른 종류의 수입을 의미하는지 와 같이 명확하게 제시해야 한다. 이와 마찬가지로, 동일한 질문이 개인적 수입을 의미하는지, 가계 수입(배우자의 수입도 포함)을 의미하는지, 개인 수입과 기업의 수익을 동시에 의미하는지에 대해서도 명확하지 않다. 응답자에 따른 서로 다른 해석에 대한 응답데이터는 연구자가 정확하게 해석할 수 없는 결과를 초래하게 될 것이다.  

문항이 편향되어 있거나 가치 판단적인 단어를 포함하고 있는가?: 편향은 응답자에게 특정한 방식으로 응답을 유도하는 문항의 특성을 말한다. 케네스 라신키(Kenneth Rasinky 1989)는 정부 지출에 대한 사람들의 태도와 관련된 여러 가지 연구를 진행하였고, 그 속에서 응답자들이 ‘복지’라는 것과 ‘빈곤층에 대한 지원’이 같은 의미를 지니고 있는 용어임에도 불구하고 후자 쪽으로 더 많이 응답하는 경향을 보이는 것을 발견하였다. 이와 비슷하게 ‘범죄 율을 낮추는 것’을 더 지지하였고(‘법 집행’을 적게 지지함), ‘대도시 문제에 대한 해결’을 더 지지하였고(‘대도시에 대한 지원’을 덜 지지함), ‘약물 중독을 해결하는 것’(‘약물 재활’을 덜 지지함)을 응답자들이 더 지지하고 있다는 것을 발견할 수 있다. 편향된 언어나 어조로 구성된 질문은 응답을 왜곡시키는 경향을 가지고 있다. 편향된 단어를 사전에 예측하는 것은 어렵지만, 설문 문항은 이러한 편향된 언어를 피할 수 있도록 면밀히 검토되어야 한다.  

이중적으로 해석되는가: 이중적으로 해석되는 문항은 다중의 답을 지닐 수 있는 문항이라 할 수 있다.“당신은 작업을 할 때 제공되는 하드웨어와 소프트웨어에 대해 만족하는가?”라는 문항을 예로 들어보자. 이 예에서 만약 응답자가 하드웨어에는 만족하고 소프트웨어에는 만족하지 못하는 경우나, 혹은 그 반대의 경우에는 어떻게 응답해야 할까? 이렇게 이중적으로 해석되는 문항은 (1) 당신은 작업을 할 때 제공되는 하드웨어에 대해 만족하는가? (2) 당신은 작업을 할 때 제공되는 소프트웨어에 대해 만족하는가? 로 서로 다른 문항으로 분리해서 질문해야 한다. 다른 예로, 당신의 가족들이 공영 TV 를 선호하는가? 라는 질문에 몇몇의 응답자는 공영 TV 자체에 대해 만족한다고 응답할 수 있고, 아동용 Sesame Street 케이블 TV 프로그램을 선호한다고 응답할 수도 있다.

문항이 너무 일반적인가: 때때로, 너무 일반적인 문항은 응답자의 인식을 정확히 전달하지 못할 수 있다. 만약 설문 대상자에게 “특정한 책에 대해 얼마나 좋아하는지” 에 대해 묻고 ‘전혀 좋아하지 않는다’ 부터 ‘매우 좋아한다’ 까지 응답 범위를 제공하였다고 하자. 만약 그 사람이 ‘매우 좋아한다’ 를 선택한다면, 그것은 무엇을 의미하겠는가? 이 질문 대신에 “이 책을 다른 사람에게 추천해줄 것인가?”, “같은 저자가 지은 다른 책을 읽을 계획을 가지고 있는가”와 같이 좀 더 특정하게 행동에 관한 질문을 하는 것이 좋다. 이와 마찬가지로, “당신의 회사가 얼마나 큰가?”(응답자 별로 다르게 해석될 수 있다.)라고 묻는 대신에, “회사에 종업원이 얼마나 많이 있습니까?” 혹은 “회사의 연 수입이 얼마나 되는가?”와 같이 회사의 규모를 측정할 수 있는 구체적인 질문을 하는 것이 좋다.  

문항이 너무 상세한가: 연구 목적을 포괄하지 않는 너무 상세한 질문을 피하는 것이 좋다. 예를 들면,“가족 구성원에 연년생의 자녀가 필요한가?”나“가족 구성원으로 몇 명의 아이가 적당하다고 생각하는가?”와 같은 질문이 그 예라 할 수 있다. 확실하지 않다면, 보편적인 측면보다는 세부 사항 측면에 실수를 범하는 것이 낫다.  

문항이 추정하고 있지는 않는가: 만약 “세금 할인에 대한 이익이 무엇인지?” 물어볼 경우, 응답자가 세금 할인을 이익으로 인식할 것이라고 추정하고 있는 것이다. 하지만 대부분의 사람들은 세금 할인을 이익으로 인식하지 않을 수 있다. 왜냐하면, 세금 할인은 아이들을 위한 공공 교육에 적은 양의 재원 투입을 의미한다고 인식할 수 있으며, 시민들에게 더 적은 공공 서비스(경찰, 구급차, 소방 서비스)를 제공할 것이라고 인식할 수 있기 때문이다. 따라서 추정에 기반한 문항은 피하는 것이 좋다.  

문항이 가상적인 개념인가: TV 게임 쇼에서 사회자가 “만약 당신이 백만 달러를 쇼에서 획득할 경우, 어느 곳에 지출하겠는가?”와 같은 질문하는 것을 많이 보았을 것이다. 대부분의 응답자들은 그 정도의 돈을 가지고 있던 경험이 없거나 혹은 그러한 일에 대해 상상해본 적이 없다. 그렇기 때문에, 그들의 대답은 세계일주를 한다거나, 식당이나 바를 산다거나, 교육에 사용하겠다거나, 은퇴 후 노후자금으로 활용한다거나, 부모나 자녀들을 돕는다거나, 또는 호화로운 결혼식을 치를 것이라고 응답하는 등 매우 임의적인 경향을 지닐 수 있다. 가상적인 질문은 가상적인 답변을 이끌게 되고, 그것은 과학적인 추론을 하는데 활용되지 못한다.  

응답자가 질문에 정확하게 대답하기 위한 정보를 가지고 있는가: 우리는 종종 어떠한 문제에 대답하기 위해서는 필요한 정보가 있다고 가정을 하게 된다. 하지만 현실에서는 그렇지 못한 경우가 있게 마련이다. 연구자가 연구대상으로부터 응답을 얻어질지라도, 그 응답은 질문문항에 대한 응답자의 정보 부족으로 인해 정확하지 않을 수 있다. 예를 들어, 회사의 CEO 에게 그들이 알지 못하는 “회사 내 매일의 공정 세부사항을 알고 있는가?”, 선생님들에게“그들의 학생이 얼마나 많이 배웠는가”에 대해서나 혹은 고등학교 학생들에게“미국정부가‘피그만 위기’때 정확하게 대응하였는가?”와 같은 질문을 해서는 안 된다는 것이다.

[문항의 순서배열]

- 응답자들이 쉽게 기억할 수 있고 당혹스럽지 않은 쉬운 문항으로 시작해라. 좋은 대안은 개인차원의 연구를 위한 인구학적 요소(나이, 성별, 교육 수준)나 회사 차원의 연구를 위한(종업원 수, 연간 수입, 산업)등이 될 수 있다.  

- 절대 개방형 질문으로 시작하지 마라.  사건의 역사적인 순서를 따르고자 한다면, 최초의 것부터 최후의 것까지를 연대순에 따라 배열한다.  

- 한 번에 한 가지 주제에 대해서만 질문해라. 주제를 바꾸고자 할 때, “다음 섹션은 xxx 에 대한 당신의 생각을 알아 보고자……” 과 같이 전환어(transition)를 제시해 주어야 한다.  

- 필요하다면, 필터나 인지질문을 활용한다. 예를 들어, “5 번 문항에 대해 ‘예’라고 답할 경우, 2 번째 섹션으로 이동하고, ‘아니오’라고 답할 경우, 세 번째 섹션으로 이동하시오”이 있다.

-  설문을 가능한 한 짧게 만들고 절대적으로 필요한 만큼으로 제한해야 한다. 

- 응답자들에게 그들의 응답에 대한 신뢰성을 확인시켜주어야 한다. 예를 들어, 그들의 응답데이터가 어떻게 활용되고(예: 학술적 연구) 도출되는 지를 알려주어야 한다.  조직적 차원의 설문을 위해 응답자에게 최종 결과에 대한 보고서를 전달해 줄 것을 확실하게 하며, 이를 정확히 이행할 것임을 밝혀 주어야 한다.  

- 응답자에게 연구에 참여해 준 점에 대해 감사의 말을 전해야 한다.  

- 설문문항에 대해 예비검사를 진행해야 한다. 이러한 예비검사는 설문 대상자에게 설문문항의 애매모호함이나 명확성의 결여, 문항의 편향된 단어들과 같이 제거되어야 할 오류들에 대해 확인하고 수정할 수 있게 해주기 때문이다

3. 인터뷰 질문 제작

선생님들의 허락을 구하고 익명으로 코로나 19 상황 비대면 수업에 대한 인터뷰를 진행할 예정입니다. 그렇기에 인터뷰를 위한 질문들을 선정했습니다.

• 작년에 코로나 19 펜데믹이 처음 터졌는데요, 비대면 수업도 처음인 학교가 많았고, 저희 학교도 그랬기에 어려움이 있었을 것 같습니다. 처음에 어떤 어려움이 있으셨나요?
• 비대면수업만이 가지고 있는 장점은 무엇이라고 생각하시나요?
• 올해는 시스템이 많이 정비되었고 작년에는 콘텐츠 활용 중심 시스템이었다면 올해는 실시간 쌍방향 시스템을 사용합니다. 무엇이 달라졌다고 느끼시나요? 또 어떤 시스템이 더 효과적이었다고 생각하시나요?
• 지금까지 지속되고 있는 기술적인 어려움은 무엇이 있으신가요?
• 학생들의 참여도 / 이해도 / 집중도는 어느 정도라고 생각하시나요?
• 코로나 19 전후로 학생들의 학업 성취도는 어떻게 변했다고 생각하시나요? 
• 앞으로 비대면 수업의 어떤 점이 개선되어야 한다고 생각하시나요?

감사합니다!

[최서영]

설문조사 방법론까지 공부하다니 정말 대단하군요 ㅠㅠ
우리 11/12 까지 12차시 채워야 하는 거 알고 있죠? ㅎㅎ 훌륭한 헤스티아 친구들 모두 다 잘 하리라 믿습니당 !
파이팅입니다 ㅎㅎ