사회복지조사론 12주 1강~3강

[이병철실장]

<12주1강>

14장 비반응성 자료 수집

• 비반응성 자료 수집의 방법은 연구 대상자의 반응성에서 야기되는 오류를 피하기 위한 것

• 반응성의 문제를 해결하기 위한 방법으로 기존 문헌이나 기록들을 분석하 거나 간접적인 관찰을 시도하는 경우의 자료 수집

1. 간접 관찰

직접 관찰로 도출되기 어렵거나 관찰의 단점이 두드러지는 경우에는 간 접관찰 방법을 쓴다. 특히 대상자의 반응성 문제가 크게 나타나고, 자료 왜곡이 심각한 경우에는 설문이나 직접 관찰보다 간접 관찰을 선택

========================================================

1)물리적 흔적 관찰

조사대상 인구가 흔적으로 남긴 것을 관찰해서 자료를 수집하는 방법

- 물리적 흔적의 두 가지 대조적인 성격

① 마모 측정(erosion measure):

마모된 정도를 통해서 유추되는 자료를 수집하는 것

예) 전시장의 작품이나 도서관의 책 중에서 어떤 것을 사람들이 좋아했는 지를 알려면, 전시 작품 앞바닥의 마모 정도나 책의 헤진 정도 등을 조사해서 간접적으로 유추할 수 있음

② 첨증 측정(accretion measure):

더해서 쌓여진 정도를 통해 자료를 수집하는 것

예)① 어떤 지역의 술 소비량을 단순히 측정해 보려면, 그 지역의 쓰레기장 에 모인 술병을 헤아려 볼 수 있음

② 선사 시대 사람이 어떻게 살았는지는 자연스런 생활 속에서 첨증시켜 놓은 패총(貝塚)을 조사해서 당시 사람의 생활사에 대한 자료 수집이 가능

• 간접 관찰을 통해 수집된 자료는 명백히 추정 자료의 한계를 벗어나기 힘 듬

• 물리적 흔적은 대개 집합적(gross) 단위로 수집되므로, 개별 대상자별 자 료로 환원되기 힘들다는 것도 한계

================================================

2)단순 관찰

• 단순 관찰은 물리적 흔적 관찰과 마찬가지로 간접 관찰의 한 유형

• 관찰자가 조사 상황에 아무런 통제를 가하지 않으며, 관찰자의 의도가 노 출되지 않은 상태에서 자료 수집이 이루어짐

• 조사대상자가 관찰을 인식하지 못하도록 철저히 주의해야 한다는 것이 특 징

(1) 신체 외형과 물리적 표식

행동이나 태도에 관한 지표를 신체 외부에 드러나 있는 표식에서 찾는 것 예) 어떤 사람의 문신이나 옷차림새, 장신구, 소지품 등을 관찰해서, 그 개인을 이해하는 데 필요한 지표 자료로 활용할 수 있음

• 외형과 물리적 표식을 통한 간접 관찰 방법은 집단이나 지역 단위에도 그 대로 적용될 수 있음

(2) 표현적 동작

• 얼굴 표정이나 몸짓 같은 신체적 표현을 통해 사회적 상호작용에 관한 자 료를 얻음

예) 웃음, 울음, 인상 씀, 머리 긁음, 팔짱 낌, 뒷짐 등을 통해 심리 상태를 분석

• 의미의 정확한 해석을 위해서는 복잡한 맥락 자료와 결부되어야만 함

=================================================

(3) 물리적 위치

사람들 간의 거리적 근접성 등을 지표 자료로 수집해서 조직 내 위계 서열이나 친구 사이의 가까운 정도 등을 추정하는데 사용

예) ①공식 행사장의 연단 중앙에서 좌우로 어떻게 좌석 배치가 이루어져 있 는지를 보고 그 조직의 위계 파악

②대학 수업에서 학생들이 앉는 자리의 위치 등을 파악해 보면, 학생들 의 소집단 구성이나 학생 간 친소 관계를 간접적 파악

(4) 언어 행동

사람들이 말로 나타내는 행동을 관찰 지표로 삼는 것

예) 어색한 장면에서 쓰이는 '괜찮아'와 칭찬하는 장면에서의 '괜찮아'는 다른 의미를 가짐

• 간접 관찰은 대상자의 반응을 유발시키지 않는다는 점에서 유용

• 간접 관찰로 얻는 자료는 명백히 현상에 대한 정황 자료만을 제시

=======================================================

2. 문헌 연구(document study)

• 문헌 연구는 과거 사건을 연구하거나, 연구 대상자의 반응이 지나치게 심 할 경우 등에 주로 사용(역사적 연구 방법에서는 대개 문헌 연구 기본채 택)

• 문헌 연구는 대상자의 반응성 문제가 예상되는 상황에서 문헌 자료에 대 한 접근 가능성만 있다면 적절히 쓸 수 있는 자료 수집 방법

1) 문헌 자료의 종류

(1) 문헌 작성자에 따른 분류

문헌을 기술한 사람이 문헌 내용과 관련해서 어떤 위치에 있었는지를 기 준으로 분류해 볼 수 있음

① 일차 문헌 자료: 경험자가 직접 기술한 것(조사자 자신의 주관적인 목적 이나 동기 등이 강하게 내포)

예) 자서전, 직접 조사자의 보고서

② 이차 문헌 자료: 비경험자가 기술한 것( 다른 연구로부터의 자료를 활용 하거나 인용한 결과물)

예) 전기(傳記), 인용 보고서

(2) 문헌 기술의 목적에 따른 분류

① 개인적인 글: 편지, 일기, 가계부, 유서 등

② 조직의 기록: 회계 장부, 업무 일지, 업무 분장표, 회의록 등

③ 인쇄 매체: 책, 신문, 잡지, 보고서, 출간된 통계 자료 등

==================================================

2)문헌 자료의 장단점

서베이나 관찰을 통한 자료 수집 방법과 비교해서 뚜렷한 특색이 있다. 과 거 시점에서 다른 목적으로 기록된 것을 현재 시점에서 연구 목적의 자료 로 활용한다는 것

(1) 장점

① 접근성 제고:

직접 경험이 불가능한 연구 주제의 자료 수집에 효과적

예) 역사적 인물이나 사건에 대한 자료는 직접 경험해 보는 것이 불가능 기존 문헌을 통해서만 접근이 허락

② 비반응성:

• 누군가에게 보여 줄 것을 전제로 기록된 것은 반응성의 문제에서 완전히 자유롭지는 못함

• 서베이나 직접 관찰보다는 문헌 자료 수집에서 반응성의 문제 감소

③ 종단 분석 가능:

• 종단 분석이란 시간적 요소를 도입하여 대상 현상을 분석하는 것

• 오랜 기간 동안 변천되는 과정 등을 연구하는 종단 분석에서는 문헌이 대 개 유일한 자료원

④ 표본 크기의 자유:

• 문헌 연구는 자료의 크기에 크게 구애받지 않음

⑤ 자발성:

• 기존의 문헌 자료를 사용하면, 자발성 확보 용이

⑥ 고백:

• 문헌에는 일기나 유서, 자기 메모 등과 같이 고백(confession) 형태의 자료도 찾아볼 수 있음

⑦ 비교적 저렴한 비용:

• 직접적으로 자료를 수집하는 방법에 비해서 대체로 적은 비용 듬

⑧ 높은 질의 자료:

• 기 인쇄된 문헌 자료는 대체로 높은 질을 담보 함

예) 신문 기사로 실린 자료는, 만약 연구 목적에 소용되는 충분한 내용을 담 고만 있다면 높은 질의 자료로 활용될 수 있다. 기사 작성의 엄격한 원 칙에 의거해 쓰인 기사라면, 함축적인 고급 정보의 자료원이 됨

========================================================

(2) 단점

① 가용성의 제한:

• 고문서와 관련한 문헌 부재와 접근제한, 보안의 대상으로 잡혀 있는 문헌 등에서 이러한 문제 발생

② 편견의 문제:

• 기존 문헌은 현재의 조사연구 목적과 무관하게 작성되었으며, 문헌 작성 자 의 당시 관점과 의도에 의거

• 국가가 작성하는 통계 자료의 생성에서도 의도적 편향성의 문제가 내포

③ 선별적 생존(selective survival):

• 역사적 자료가 선택적으로 살아남음으로 인해 나타나는 문제

예) 1500년 전 신라의 역사를 알기 위해서 현존하는 자료를 이용할 경우, 대부분 남아 있는 유물 자료는 왕족이나 귀족의 문화와 관련된 것이 기 쉽다. 석조물로 된 건축물과 초가집 중에 어느 것이 후대에 남겨질 가능성이 높은가의 문제인 것이다. 현재 남겨진 자료만을 가지고 '신 라인'의 모습을 온전히 보기는 어려움

• 선별적 생존은 연구 대상의 표집과정에서 이미 편향성을 내포하는 것

④ 샘플링의 편향성:

• 문헌 자료는 그 자체로 편향성을 내포하고 있음

(문헌을 통한자료 수집은 전적으로 식자 계급과 무식자 계급의 샘플링에 있 어서의 오류를 이미 내포)

========================================================

⑤ 불완전성:

• 대부분의 기록은 불명확한 지침에 의거해 작성되어 남겨지는 것이 보통

예) 일기나 서신의 경우

⑥ 언어적 행동에 국한:

• 문헌 자료의 내용은 대부분 말로 표현될 수 있는 것에 제한되어 있다. 말 로 표현되지 않는 것은 기록될 수 없음

⑦ 표준화된 양식의 부재:

• 다양한 문헌 자료가 활용될 때, 각각의 문헌 형식들이 일치하지 않음

예) 몇 개 기관의 업무 일지를 통해 자료를 얻으려 할 때, 일지의 내용이나 기록 방식이 서로 달라 이들로부터 합성 자료를 만들기가 어려움

⑧ 코딩의 어려움:

• 현재 진행 중인 조사연구의 의도에 맞게 수량화되어 있는 기존 문헌 자 료는 거의 없다. 그래서 기존 문헌 자료를 코딩(coding)해서 수량 자료 로 산출하는 데 많은 노력 필요

• 질적 문헌 자료를 계량화하는 방법으로는 내용 분석 등의 기법 사용

⑨ 시계열 자료 비교의 어려움:

• 시계열 자료(time-series data)란 시간 흐름에 따라 자료의 성격이 변화 하는 것을 보여 주는 자료

================================================

3)문헌의 편향성 배제

• 문헌 자료 수집 방법의 결정적인 한계는, 문헌 작성 과정에 개입되었던 작 성자의 의도와 편향성에서 비롯

• 편향성 배제의 과정은 기술적이라기보다는 질적

• 조사자가 해당 문헌에 대한 풍부한 지식과 깊은 이해가 있어야, 그런 문헌 으로부터 편향성이 배제된 자료를 수집해 낼 수 있음

=============================================

3. 내용 분석(content analysis)

• 내용 분석은 문헌 연구에서 자료 도출 과정을 체계화하는 기법

• 자료를 연구에서 의도하는 양적 측정 자료로 변환하는 작업이 요구

• 내용 분석은 신문 기사나 인쇄물을 비롯해서, 각종연구 결과물이나 개인과 집단 면접 자료 등을 분석해서 의미를 찾아내고, 이를 양적 자료화하는 것

1) 샘플링

• 모집단이란 연구가 대상으로 하는 전체 문헌 자료

• 샘플링 틀이란 표본을 뽑기 위한 문헌 자료들의 리스트

(전체 문헌의 명단, 추출 가능한 문헌 명단)

예) 신문 기사에 대한 내용 분석을 하려고 하면, 먼저 어떤 기간 동안의 어 떤 신문의 어떤 기사를 모집단으로 할 것인지를 결정

• 가급적이면 무작위적 방법으로 선별하는 것이 바람직

- 내용 분석을 위한 자료 수집

① 모집단 문헌 자료에 대해 대표성을 충분히 갖춘 표본을 추출

② 표본의 크기는 분석될 연구주제의 성격과 범주 설정에 따라 달라짐

③ 연구의 대상 범주를 분석하기에 충분한 만큼의 빈도로 나타날 수 있는 표본 크기를 확보

===================================================

2) 범주 설정(category)

• 표본으로 추출된 자료를 유형화시키기 위해 범주가 필요

• 연구대상이 되는 문헌 자료에 대한 충분한 검토를 통해 적절한 범주 체계 를 만들어 내는 것은 문헌 연구에서 무엇보다도 중요한 일

• 소수의 표본을 가지고 범주 설정을 위한 질적 조사의 과정을 사전에 시도 해 볼 수도 있음

- 범주의 설정은 상호 배타성과 포괄성이라는 측정의 두 가지 원칙에 입각

① 내용 분석의 대상이 된 어떤 문헌 자료도 범주 항목들 중 하나에 해당되 어야 함 (포괄성)

② 어떤 문헌 자료도 두 가지 이상의 항목에 중복해서 해당되어서는 안됨

(상호 배타성)

======================================================

3) 기록 단위의 설정(recording unit)

• 기록 단위란 표본 자료를 설정된 범주에 분류하는 데 사용되는 일종의 분 석 단위

• 연구의 목적과 문헌 자료의 성격을 감안하고, 경제성과 연구 문제에 대한 적합성이 동시에 고려되어야함

-기록 단위: 단어, 주제, 특성 인물, 문장이나 문단, 단락 전체 등이 가능

① 단어(word): 기록 단위(혹은 분석 단위)로 삼으면 단위 간에 명백한 구분 이 가능하다는 장점은 있으나, 자료 수집의 양이 많아지게 되는 것이 단점

② 주제(theme): 기록 단위로 선정하면 자료 수집의 양은 줄어드나, 주제를 구분하는 경계가 불명확해서 주관적 판단이 개입될 여지가 많음

③ 특성 인물(character): 소설이나 영화 대본 등과 같은 극작물에 대한 내 용 분석에서 손쉬운 기록 단위로 사용

④ 문장(sentence)이나 단락(paragraph): 기술적으로 구분은 쉬우나, 그 안 에 하나 이상의 주제가 들어 있는 경우가 많음

===========================================

4) 맥락 단위의 설정(context unit)

• 맥락 단위란 기록 단위가 들어 있는 상위 단위에 해당하는 것으로, 기록 단위의 의미를 파악하는데 쓰임

예) 단어(word)를 기록 단위로 했을 때, 그 단어가 쓰인 문장이나 단락,

혹은 전체 글이 맥락 단위가 될 수 있는 것

• 맥락 단위는 적어도 기록단위보다는 더 큰 것이어야 함

5) 계량화 체계(enumeration system)

• 계량화 체계란 연구자가 범주의 설정, 기록 단위와 맥락 단위에 대한 결 정을 하고 나면, 여기에서 도출되는 자료를 어떻게 양화시킬 것인지를 결 정 하는것

• 자료의 계량화는 ① 유무, ② 빈도, ③ 공간 차지, ④ 강도 등의 방법으로 가능하다. 각각은 명백히 구분될 수 있는 양적 측정 개념들

① 유무를 나타내는 체계는 문헌에서 특정 범주가 나타났는지의 여부를 이 진법(binary)으로 나타냄

② 빈도 체계는 얼마나 자주 나타났는지를 헤아리는 것

③ 공간 차지 체계는 특정 범주에 할당된 공간의 크기를 재는 것

(예:전체 신문에서 대상 기사가 차지하는 공간의 크기 등을 계산하는 것)

④ 강도 체계란 특정 범주가 강조되는 정도를 두고 계량화하는 방법

==============================================

6) 자료 분석 및 해석

• 내용 분석에서는 도출된 자료를 어떻게 분석할 것인지가 연구의 목적에 따 라 자유롭게 적용될 수 있다. 내용 분석의 결과가 대체로 양적 자료를 산 출하는 것이므로, 양적 자료 분석의 기법이 사용될 수 있음

• 산출되는 양적 자료의 성격은 어떤 계량화 체계를 적용했는지에 따라 결정

• 측정의 등급을 뛰어넘는 통계 분석 방법을 적용하는 것은 불가

• 분석 결과를 제시하는데 산출 자료를 그래프 형태로 전환하는 것도 좋은 방법

• 내용 분석의 최종 목적은 산출된 자료를 근거로, 연구 문제에서 제기했던 의문에 답하고자 하는 것

• 내용 분석의 최종과제는 산출된 자료를 의미 있게 해석해 내는 것

예) 자선 지향의 빈도가 감소하고, 복지 지향의 빈도가 증가했다고 볼 수 있겠는지를 분석해 본다. 시계열 분석 등의 기법이 적절

• 조사연구를 수행하게 만들었던 연구 의문이었을 것이고, 분석의 결과는 의 문과 관련된 조사연구의 이론에 대한 검증의 성격도 갖는 것

=================================================

<12주2강>

15장 자료 처리 및 통계 분석

• 자료 처리란 수집된 원자료를 분석에 적합한 형태로 구성하는 작업

• 다양한 출처의 자료를 분석 체계에 맞추어 일괄적으로 편집하거나, 분류, 재분류하는 것

• 연구의 목적에 맞게 정제된 최종 자료는 연구 문제나 가설 검증을 위한 분 석에 사용됨

• 연구 문제와 디자인, 수집된 자료의 성격 등에 따라 그에 적합한 자료 분 석의 방법을 선택하는 것이 필요

• 양적 조사연구에서는 자료 분석을 위해 대부분 컴퓨터 프로그램을 이용한 통계처리를 많이 이용

• 사회과학 분야에서는 SPSS나 SAS, Minitab등을 많이 사용함

====================================================

1. 자료 처리의 과정

• 원자료(raw data)란 현장에서 수집된 자료 형태 그대로를 말함

예) 우편 설문 조사에서 회송되어 온 설문지, 면접조사의 면접 조사표, 현 장 관찰 조사의 필드 노트 등

• 한 조사연구에서 필요한 자료가 둘 이상의 원천에서 도출된 경우라면, 분 석 체계에 맞게 조합하거나 재구성해서 통합된 자료 형태로 재구성

• 자료의 정리, 부호화, 입력 과정을 통틀어 자료 처리의 과정

• 오류가 발생하는 과정:

① 다양한 형태의 자료를 조합하는 과정

② 부실한 자료를 편집하거나 삭제하는 과정

③ 부호화와 입력 과정 등

================================================

1) 원자료의 정리 및 편집

수집된 원자료는 연구 목적에 맞게 정리될 필요가 있음

(1) 복수 양식의 원자료에 대한 정리

- 다양한 형태의 자료

① 우편 설문 기법에 의해 회신된 설문 응답지

② 인터뷰를 통해 얻은 면접 조사표

③ 관찰 조사에서 나온 관찰 기록지

④ 문헌 연구에서 획득한 각종 문헌 자료나 내용 분석의 결과 자료

======================================================

(2) 원자료의 편집

설문지 방식의 경우에는 일부 문항들에 대한 응답이 누락된 경우도 많고, 부적절한 응답이 주어진 경우도 많다. 따라서 수집된 원자료는 분석에 활 용되기 전에 적절하게 편집되어야 함

• 모호하거나 애매한 사항에 대해 정당한 판단 기준으로 수정이나 가감을 하는 과정을 원자료의 편집 과정이라 한다. 이 과정에서 특히 유의할 점 은 연구자나 자료 편집자의 의도가 인위적으로 개입되지 않도록 하는 것

과학적 조사연구는 진솔성과 객관성에 근거해야 하기 때문임

==================================================

2)부호화 (coding)

• 부호화는 수집 자료에 포함된 원래 형태의 속성값을 숫자나 문자등과 같은 기호로 치환하는 과정

• 수집된 원자료가 분석 목적에 용이하게 쓰이려면, 나름대로의 유형화가 필 요

• 질적 연구에서는 부호화작업 자체만으로도 연구의 주된 테마를 형성하는 것이 보통

• 양적 연구 방법에서는 부호화의 과정이 수월

(자료 수집 전의 측정 단계에서 대부분 이루어짐)

• 부호화 과정: 분석의 목적으로 자료를 유형화해서 부호를 할당하는 것

=====================================================

<표 15-1> 설문항목의 예

* 서비스 대상자에 관련된 다음 항목들에 체크하거나, 기입해 주세요.

• 대상자 성별 : 남 ( ) 여 ( )

• 대상자 나이 : 만 세

• 장애등급 : 1급 ( ) 2급 ( ) 3급 ( ) 4급 ( ) 5급 ( ) 6급 ( )

• 장애유형 : 지체( ) 시각( ) 청각( ) 언어( ) 정신지체( )

뇌병변( ) 발달장애( ) 기타

•

•

•

• SVS10 : (보호자의 판단으로는), 대상자가 현재 받고 있는 서비스가 전반 적으로 어떻다고 생각하십니까?

매우만족( ) 만족( ) 보통( ) 불만족( ) 매우불만족( )

================================================

<표 15-2> 입력된 자료의 예

00110631 • • • • • • • • • • • • • • • • • • 3

00220724 • • • • • • • • • • • • • • • • • • 4

00320545 • • • • • • • • • • • • • • • • • • 4

00413414 • • • • • • • • • • • • • • • • • • 1

• • • • • • • • • • • • • • • • • • • • • • • • •

09724311 • • • • • • • • • • • • • • • • • • 5

• • • • • • • • • • • • • • • • • • • • • • • • •

17911928 • • • • • • • • • • • • • • • • • • 3

18016021 • • • • • • • • • • • • • • • • • • 2

=======================================================

• 대부분 전산 자료의 배치는 행과 열로 구성된다. 행(row)은 대개 케이스 (case)를 나타내며, 열(column)은 변수(variable) 자리를 표시

- 케이스란 개별 응답자 혹은 자료 수집의 단위를 나타재며 자료 분석의 단 위와도 대개 일치

① 180명의 응답 자료가 입력되었으므로 케이스 수는 180개가 된다. 이는 3자리의 숫자이므로, 자료 파일에서 CASENUM 변수는 1째 열부터 3째 열까지 3자리를 차지

② 성별변수인 USEX를 보면 변수값이 '1' '2' 중 하나이므로, 1자리 수만으 로도 표기될 수 있다. 각 행 4번째 열의 수가 성별 변수값을 표기하는 것

③ USEX는 명목 변수로 측정되었으며, '남, 여'라는 변수값이 각기 '1, 2'로 부호화

④ SVS01~SVS10은 서비스 만족도를 10개의 문항으로 측정한 값을 담고 있는데, 당초자료 입력시에 입력의 용이함 때문에 '매우만족'이 1, '만족' 은 2, …' 매우불만족'은 5로 부호화했던 것이다. 높은 점수가 불만족이 높아지는 점수 체계가 되었으므로, 자칫 의미의 혼선을 초래할 우려가 있 다. 그래서 이를 코딩 변경(receding)함

================================================

⑤ 코딩 변경 혹은 재부호화란 기존의 부호 체계를 다른 부호 체계로 바꾸 는 것이다. 모든 SVS의 변수값들은(1→5, 2→4,4→2, 5→1)로 바뀐다. 실제로 입력값들을 바꾸는 작업은 전산 통계 프로그램에서 손쉽게 이루 어짐

• 부호화를 위해서는 보통 숫자 기호를 많이 쓴다. 자료 입력의 편이성 때문

• 구분 부호로만 사용된 숫자는 그 용도에만 쓰여야 한다. 자칫 이를 착각해 서 수의 의미를 갖는 것처럼 덧셈이나 곱셈과 같은 연산에 사용해서는 절 대 안됨

• SVS의 10문항을 모두 합해서 평균을 낸 만족도 평균(M_SVS)같은 경우는 합성 지표의 척도이므로, 여기에서 산출되는 값은 수량적 의미로 쓰는 경 우가 많음

==================================================

3) 자료 입력

• 최근에 개발되는 SPSS나 SAS 등과 같은 PC 기반 통계 프로그램들은 다 양한 자료 입력 양식을 포함하고 있어서, 자료들 간 호환성이 커지는 경향

• 소규모 연구에서는 부호화된 자료를 수작업으로 컴퓨터에 입력한다. 그것 이 효율적

==================================================

2. 통계 분석의 이해

• 양적 연구에서는 대부분 통계적 자료 분석 방법 사용

• 질적 연구에서도 단순 통계(예: 빈도 분석)를 쓰기는 하지만, 주된 자료 분 석의 방법으로 여기지는 않음

• 양적 연구가 주로 집단 성향(다수의 케이스로 구성된 집단의 성향)을 설명

• 질적 연구는 개별 성향(각 케이스가 갖는 고유 성향)의 묘사에 초점

• 최근에 양적 연구와 질적 연구가 결합되는 경향도 있는데, 질적 연구의 목 적에 고급 통계 기법이 보조하기도 함

• 통계 분석은 크게 기술(記述) 및 추론(推論) 통계 분석으로 분류

-기술 통계란 개별 변수에 대해서나 변수 간의 관계에 대해 이를 단순히 묘 사(기술)하려는 목적에 쓰는 통계적 방법

-추론 통계란, 연구 자료가 모집단의 일부분으로 추출된 표본 자료라는 점을 감안하여, 표본을 기술 통계 분석한 결과가 모집단을 어느 정도로 추정할 수 있을지를 설명하려는 목적에 쓰임

• 대부분의 연구에서는 기술 통계와 추론 통계가 함께 적용되어 쓰임

===============================================

1) 기술통계(descriptive statistics)

기술 통계는 주어진 자료를 묘사, 기술하는 분석의 목적에 쓰인다. 기술 통계는 다시 일원, 이원, 다원 분석으로 구분

• 일원 분석: 개별 변수를 묘사하는 것

• 이원 분석: 두 변수 간의 관계를 묘사하는 것

• 다원 분석: 셋 이상 변수 간의 관계 묘사하는 것

• 기술 통계 분석의 목적: 집단에 대한 묘사나 기술을 검약적이고도

효율적인 방법으로 수행하려는 것

=================================================

(1) 일원 분석(univariate analysis, 일변량 분석)

일원 분석은 단일 변수를 묘사하는 목적의 통계분석이다. 각 케이스가 가진 변수값들이 전체 혹은 부분적으로 어떻게 나타나고 있는지를 분석

• 명목 변수나 서열 변수를 함축적으로 묘사하기 위해서는 빈도나 백분율 을 보통 많이 사용

• 수량 변수는 평균과 표준편차 등을 통해 기술

- 개별 변수에 대한 분석은 일원 통계 분석에 해당한다. 먼저 성별은 빈도 분석을 사용해서 <표 15-4>처럼 나타낸다.

• 빈도(frequency): 해당 변수값이 포함된 케이스의 수

• 백분율(Percentage): [개별 변수값의 빈도를 전체 빈도로 나눈 것] x 100

• 누적 백분율(cumulative percentage): 개별 변수값들의 백분율을 누적시 킨 것

대상자의 UAGE(연령)변수는 질문지에서 '나이: 만 세'로 물었기 때문 수집된 변수값은 수량적 의미를 갖는 숫자로 취급된다. 앞서 성별의 '1'과 '2'는 의미가 없는 구분 기호에 불과했다.

===================================================

숫자를 변수값으로 가진 수랑 변수는 산술평균을 비롯한 제반 고급 통계치

의 계산이 가능하다. <표 15-5>에 몇몇 수량 변수에 대한 분석 통계치의 예

====================================================

- 용어설명

① 평균(산술평균, mean) : 전체 케이스의 해당 변수값을 모두 더하고 (180개의 연령 변수값들을 합하고), 이를 전체 케이스 수(N=180)로 나눈 것

② 표준편차(Standard Deviation, SD) : 모든 케이스에 대해 [개별 변수값 • 평균값]을 해서 그것을 각기 제곱한 뒤, 그 제곱값들을 모두 더하고

그것을 전체 케이스 수(N)로 나눈 다음, 그 값에 대한 제곱근을 한 것

• 표준편차는 전체적으로 보았을 때 개별 케이스의 변수값들이 평균값에서 부터 얼마나 떨어져 있는지를 제시하는 것이다. 표준편차값이 클수록 개 별변수값들은 서로 차이가 많고, 작을수록 변수값들은 평균에 가까이 있 는것이 됨

=====================================================

③ 최소값(minimum) : 전체 케이스의 변수값들 중에서 가장 작은 것

④ 최대값(maximum ) : 전체 케이스의 변수값들 중에서 가장 큰 것

⑤ 범위(range) : 최대값에서 최소값을 뺀 값 전체 케이스의 분산 정도를 한눈에 보여 줄 수 있는 기본적인 통계 수치

⑥ 중위수(median) : 변수값들을 최소값에서부터 최대값까지 순서대로 늘 어 놓았을 때, 한 가운데(N/2)에 위치해 있는 변수값

⑦ 최빈값(mode) : 전체 변수값들 가운데 빈도가 가장 높게 나오는 것

• 일원 기술 분석은 수집된 표본 자료가 모집단의 성격과 유사한지 아니면 특이성을 갖는지를 확인하는 정도의 중요성을 띰

• 대상 집단 전체에 대해서나 특정 표적 집단에 대한 묘사를 주목적으로 실 시되는 조사에서는, 일원 분석 자체가 조사의 일차적인 목적

==============================================

(2) 이원 분석(bivariate analysis, 이변량분석)

이원 분석은 두 변수 간의 연관성을 묘사하는 것 ① 관계의 크기는 어떠한가

(모든 이원분석에서는 관계의 크기에 대한분석은 기본적으로 행함)

② 그 방향은 어떠한가

③ 관계의 선후는 어떻게 나타나는지를 분석하는 것

• 통계 분석의 목적은 함축적으로 묘사하고, 설명하려는 것

• 복잡한 통계치들을 계산해 내는 것이 통계 분석의 목적이 되어서는 안됨

=================================================

(3) 다원 분석(multi-variate analysis, 다변랑 분석)

일원 분석이 하나의 변수를, 이원 분석이 두 변수를 다룬다면, 다원 분석

은 셋 이상의 변수들 간 관계를 묘사하는 것

(예)

<<15-12가아니고 15-6으로 표번호바꿀것>>

=====================================================

- 대표적인 다원 분석 방법

① 부분 상관관계(partiai correlation)

a, b 두 변수 간에 상관관계의 크기가 어느 정도로 나타나는지를 수치 혹 은 계수의 형태로 보여 주는 피어슨 상관관계계수에 대해, 제3의 변수(c) 를 계산에 포함시켜 원래의 관계가 어떻게 나타나는지를 계수로 보여 주 는 것

② 다중 회귀(multiple regression)

다중 회귀 분석은 복수의 변수군이 서로 어떻게 관련되어 있는지를 분석 한다. 마치 단순 상관관계가 두 변수(a, b)의 관계를 다루는 것이라면, 다 중 회귀에서는 A와 B는 각기 복수의 변수군으로 구성된 것이라 본다. 일 반적으로 가장 많이 쓰는 다중 회귀 분석의 유형은 하나의 종속 변수(Y) 에 대해 다수의 독립 변수군(X1, X2, X3,…)이 어떻게 관계를 맺고 있는지 를 분석하는 것

③ 요인 분석(factor analysis)

요인 분석은 다수의 변수들을 분해해서 단순한 요인들로 구성해 내는 데 사용

• 요인 분석은 예상(이론)과 결과(측정)가 일치하는 것을 보여 주는 분석을 통해, 측정의 타당도를 확인해 줄 수 있음

============================================

2) 추론 통계(inferential statistics)

추론 통계는 추정을 목적으로 하는 분석에 사용되는 통계 방법

• 추론 통계는 주어진 자료를 표본으로 간주하고, 그것을 통해 모집단을 추 정해 보려는 목적을 갖음 (모집단을 직접 조사하지 않고, 표본을 조사하 고 추정해서 결론을 내린다는 뜻)

<그림 15-1>은 추론 통계의 과정을 나타낸다. 표본을 모집단으로부터 샘 플링해서, 표본을 분석한 결과로 모집단을 추정해 보는 것

====================================================

• 일정 정도 차이가 있을 것으로 예상되는데, 그 차이의 예상을 통해 표본 결과로 모집단을 추정하려는 것이 추론 통계 분석임

• 만약 수집된 자료가 표본이 아닌 모집단이라면, 추론 통계 분석은 불필요 • 추론 통계는 표본을 통해 모집단을 추정하는 것

• 추론 통계는 변수값의 추정이나 가설검증의 목적에 주로 사용

• 특정 변수의 변수값 추정을 위한 조사는 대부분의 여론조사(opinion poll) 가 주목적으로 하는 것

• 모수를 직접 알 수 없으므로, 통계치를 통해 모수를 추정하려는 것

===================================================

- 조사에서는 실제로 서로 다른 통계치가 산출되어 나올 수 있다. 조사에 사 용한 표본들이 서로 다르기 때문임

예) A후보의 지지율이 표본 조사에서 46%로 나왔고, 표준오차가 2.3%로 계 산되었다 하자. 이것을 갖고 "95%의 확신(신뢰 수준)을 갖고 말하자면, A후보의 지지율이 46% ± 4.6%, 혹은 41.4%에서 50.6%사이에 있다"로 발표한다. 이제 다른 조사 기관에서 A후보의 지지율이 42%로 조사되었 다고 해도, 이것은 95%의 가능성 속에서 예견될 수 있는 일이 된다.

==================================================

• 지역사회 중심의 사회복지 서비스의 합리적인 기획(planning)을 위해서는 수요와 공급 규모의 예측이 중요한데, 특히 지역의 수요 변수들과 관련된 변수값을 추정해내는 데 추론 통계의 방법이 적절히 사용될 수 있음

예)①행정 기관에서 특정 지역의 차상위 계층 가구 수를 추정하는 것,

②지역에서 도움이 필요한 저소득 한부모 가구의 수를 추산해 내는 것,

③사회복지관이 지역 주민을 대상으로 개별 프로그램의 인지도나 선호 도를 파악하는 것 등이 이에 해당

=================================================

(1) 표준오차(Standard Error)

추론 통계에는 표준오차를 쓴다. 표준오차는 샘플링 과정에서 나타나는 오 류라 해서, 이를 샘플링 오차(Sampling Error, 표본 오차)라고도 부름

• 표준오차가 클수록 예측의 범위는 늘어남

• 표본 조사연구의 정확도를 높이기 위해서는 표준오차의 크기를 줄이는 것 이 관건

-표준오차의 크기의 결정요소:

①모집단과 표본의 크기 관계

②모집단의 분산 정도

===============================================

• 동일한 크기의 표본에서는, 모수의 분산이 클수록 표준오차도 크게 계산된 다는 것

• 표준오차는 모수의 분산 정도에 비례하고, 표본의 크기에 반비례

• 표본의 크기는 연구에서 요구하는 표준오차(SE)의 크기에 따라 결정되는 것

• 표준오차를 작게 잡으려는 연구는 표본의 크기를 크게 잡아야 하고, 그에 따라 연구 비용도 비례해서 커지게 됨

==================================================

(2) 모수의 추정

• 표본에서 구해지는 통계치를 표준오차의 정도를 감안하는 신뢰 수준과 신 뢰 구간에 부과하는 것이다.

• 신뢰 수준(confidence level)은 통계치로 모수를 추정할 때 얼마만큼 신뢰 할 수 있는지를 확률로 나타내는 것

• 신뢰 구간(cofidence interval)은 신뢰 수준과 함께 쓰이면서 해당 신뢰 수 준에서 통계치가 모수를 추정할 수 있는 범위를 나타냄

① 68%의 신뢰 수준에서는 신뢰 구간을 ± 1·SE(한 표준오차의 범위)로 설 정

② 95%신뢰 수준은 ± 2·SE (두 표준오차 범위)

③ 99% 신뢰 수준은 ± 3·SE의 신뢰 구간

• 사회과학 조사연구에서는 모수 추정을 포함하는 대부분의 추론 통계에서 95% 신뢰 수준을 일반적으로 쓰는 경향이 있음(95%의 신뢰 수준: 같은 조사를 100번 되풀이할 때 95번 정도는 옳을 것이라는 확률)

• 100번 중에서 약 5번 이하로 잘못된 값이 산출될 가능성(오류)을 허용한 다는 것과도 같음

• 조사연구에서 .05의 유의도(significance level)를 둔다는 것이 이와 같은 의미 ( P<0.05 )

===========================================

(3) 가설 검증

• 가설 검증에 쓰이는 추론 통계는 반드시 모수 추정을 전제로 할 필요는 없 음

• 모집단의 정상 분포와 수량 변수의 전제 조건을 필요로 하지 않은 비모수 추론 통계(nonparametic inferential statistics)의 방식도 가능

• 명목 변수 간 상관관계에 대한 가설을 검증하는 데 쓰이는 카이제곱(x2)분 석 등이 대표적인 비모수 추론 통계에 해당

• 평균-차이 가설 검증: 단일 변수값 대신에 두 변수값의 '평균 차이' 를 모 수로 두는 경우

• 무작위로 뽑았다고 해서 모집단과 표본이 일치하는 것은 아님

• 만약 표준오차가 1.7로 나왔다면 어떻게 되겠는가? 추론 통계는 확률적인 용어로써 설명한다. 95%의 신뢰 수준을 갖고 보면(유의도를 0.05에 두고 보면), 신뢰 구간은 5 ± 2×l.7이 되어 모수는 '1.6에서 8.4사이에 있다'

==================================================

(4) 영가설과 연구 가설

• 영가설(null hypothesis)이란 연구 가설을 검증할 목적으로 추론 분석에 서 사용하는 방법으로, 연구 가설과 배치되는 가설

• 보통 추론 통계에서는 연구 가설을 직접 검증하지 않고, 영가설의 가능성 을 부인해서 연구 가설의 타당성을 검증

• 가설 검증에는 통계치를 적용하지 않고, 모수에 대한 추정치를 사용

• 기술 통계 분석에서 계산되는 통계치들(예를 들어, 평균, 백분율, 상관계수, 혹은 이런 것들의 집단 간 차이)은 추론 통계의 논리를 붙여서 활용되어야 만 대부분의 연구 목적에 적절히 쓰일 수 있음

• 통계 분석은 자료 분석의 한 부분이면서 대표적인 방법

• 통계 분석이 곧 자료 분석이라고 생각해서는 안됨

• 통계 분석은 자료의 분석을 용이하게 하는 목적

================================================

<12주3강>

16장 질적 조사연구(qualitative research)

질적 조사연구는 양적 조사연구와 차별되는 개념으로 쓰인다. 질적 조사연구는 연역적-양적 방법을 강조하는 전통적인 조사연구 방법의 문제를 지적하면서, 귀납적-질적 방법을 연구에 활용

1. 과학적 방법과 실증주의(positivism)

과학적 패러다임은 흔히 실증주의라고도 불림

• 넓은 의미에서 실증주의는 곧 과학적 방법을 뜻함

(경험을 중시하는 모든 과학적 방법은 실증주의적 성격을 띤다)

• 과학적 인식 방법의 두 받침이 되는 논리와 경험

• 논리적 실증주의: 연역-양적인 결합 방법을 선호하는 입장

• 질적주의: 귀납-질적 방법을 주장하는 입장

=================================================

1) 객관적 세상 :

관찰자의 존재나 인식과는 무관하게 객관적인 세상이 존재하고 있다. 관 찰자와 관찰되는 현상은 독립적으로 분리되어 있으므로, 조사자는 어떤 식으로든 현상에 영향을 주지 않고서 관찰할 수 있다는 입장

2) 자연법칙의 발견 :

현상은 자연법칙의 작용에 의한 결과다. 조사연구자는 이러한 법칙과 작 용을 발견해 내는 것이 필요하다. 자연법칙은 창출되는 것이 아니라 스스 로 존재하는 것이다는 입장

3) 가치 중립 :

조사는 가치중립적이어야 한다. 가치로는 사실에 대한 객관적인 이해나 설명이 불가능

4) 표준 절차의 사용 :

과학적 방법이 되기 위해서는 표준화된 과학적 절차가 사용되어야 함

• 표준 절차를 강제하는 이유는 그것이 다수가 공증할 수 있는 객관적인 도구가 되기 때문이다. 연역적 이론 전개와 명제 도출, 가설의 경험적 검 증, 객관적 측정과 조작화, 통제 등이 그러한 절차에 포함

=============================================

2. 질적 조사방법의 특성

실증주의적 조사방법에 대한 불만으로 인해, 사회복지학, 사회학, 심리학, 교육학 등에서는 대안적인 조사 접근과 방법을 개발(질적 조사연구 방법)

- 질적 조사방법의 특성

1) 주관적 세상 :

• 양적 접근방법에서는 관찰자로부터 독립된 객관적인 현상이 존재

• 질적 접근방법에서는 연구자의 주관이 개입되지 않은 완전한 객관적인 관 찰이라는 것을 믿지 않음

• 질적 조사연구에서는 조사자와 조사 대상자의 주관적인 인지나 느낌, 해석 등을 모두 정당한 자료로 간주

==========================================

2) 과정에 대한 관심 :

• 양적 조사는 산출 결과(outcome)를 중시

• 질적 조사는 과정(process)에 보다 많은 관심

예) 장애인 아동을 가진 가족에 대해

① 양적 조사에서는 무슨 원인으로 어떤 문제가 발생했는지 등에 관심

② 질적 조사에서는 아동과 부모의 의사소통의 양식, 상호작용 및 상호 변 화, 외부의 영향에 대한 반응, 가족 체계의 적응 과정 등을 중시

3) 절차의 유연성 :

질적 조사는 양적 조사에 비해 유연하고 직관적이다. 질적 조사에서는 조 사에 필요한 절차나 단계를 사전에 엄격하게 결정하지 않으며, 연구자는 상황에 따라 적절한 방법들을 채택

=============================================

4) 귀납적 방법 :

• 양적 조사연구는 이론에서 출발하여 경험적으로 검증해 보는 연역적인 방 법을 주로 사용

• 질적 조사연구에서는 수집한 경험을 근거로 잠정적인 이론에 도달하는 귀 납적 과정을 선호

5) 내용의 질적 풍부성 :

연구 대상이 되는 사람이나 케이스의 현실 상황이나 맥락을 중요시하며, 따라서 다양하게 연결되어 있는 상황을 질적으로 묘사하기 위해 보통 이 야기(narrative)식의 서술 형태를 자료로 산출하는 것이 보통

6) 일반화의 한계 :

질적 조사에 의해 도출된 이론은 널리 일반화되는 데 한계가 있음

• 질적 조사에서 도출되는 이론은 결정적이라기보다 잠정적이라는 특성

• 질적 이론은 대개 특정한 집단에 관련된 경험을 깊이 있게 다룸

• 질적 조사연구는 양적 조사연구에 비해 비교적 구조적으로 느슨한 방법론

(연구 대상이 되는 현상에 대한 깊이 있는 이해와 통찰력이 우선)

=============================================

- 질적 조사연구의 다양한 이름

①근거 이론 (grounded theory)

②민속지 (ethno graphy)

③참여 관찰(participant observation)

④자연주의적 관찰 (naturalistic observation)

⑤현장 조사 (field research)

⑥현상학 (phenomenology)

⑦사례연구 (case study)

⑧역사적 방법 (historical method)

⑨행동 조사 (action research) 등

==================================================

3. 근거 이론 (일명 현실 기반 이론)

근거 이론은 1960년대 말에 몇몇 사회학자에 의해 개발된 것으로

복잡한 사회 현상을 연구하는 데 쓰이는 방법

• 근거 이론의 목적:사람이나 사건, 현상에 대한 이론을 발전시키는데 있음

- 근거 이론 접근에서는 자료에서 이론을 도출해 내는 데 주된 관심

① 이론적 기반이 갖추어지지 않은 분야를 연구하는 데 적합

② 기존 이론들이 있으나 수정 되거나 명확화 되어야 할 필요성이 있는 분야

• 근거 이론의 조사방법은 실제 삶의 현장에서 심도 있는 자료를 수집하기 위해 면접조사나 관찰과 같은 기법을 중요시

• 조사자에 의해 수행되는 관찰이나 인터뷰를 통해 도출되는 자료들 말고도, 갖가지 종류의 통계 자료, 기록물(케이스워크 일지, 기안서, 보고서, 회람, 예산 신청서, 메모 등), 신문 기사, 편지, 일기 , 자서전 등 가능한 모든 자 료가 수집과 해석의 대상

=========================================

(1) 지속적 비교

근거 이론 조사자는 비구조화된 인터뷰와 관찰을 사용

(막대한 분량의 노트나 녹음 기록 등의 자료에 직면)

① 조사자는 먼저 이러한 자료에 들어가는 것부터 시작

② 산만하게 흩어져 있는 자료를 체계화시키는 작업

③ 잠정적인 개념이나 범주 체계 혹은 이론이 드러나게 됨

④ 만들어진 개념과 범주 체계가 과연 자료를 적절히 잘 설명할 수 있는지 확인

⑤ 이론(체계)으로 가설(자료)을 검증하듯이 해 보는 것

⑥ 자료 분석의 결과

⑦ 자료의 수정 및 재검토

자료에 대한 검토-재검토를 통해 더 이상 새로운 통찰(개념 체계 혹은 이론)이 나오지 않을 때까지 계속 진행

⑧ 이미 개발된 개념적 이해의 틀을 가지고 새로운 자료를 수집 · 분석하면 서, 개념의 정확성이나 적합성 등을 확인

⑨ 개념적 이해의 틀은 다양한 자료들과의 비교를 통해 계속적 수정 보완

⑩ 더 이상 수정될 여지가 없다고 간주될 때 조사연구가 종결(연구의 결과는 현상에 대한 잠정적인 이론(설명)을 얻게 되는 것)

==================================================

(2) 이론적 샘플링

연구자가 자신의 의도에 맞는 표본을 선택하는 것이 의도적 샘플링

• 근거 이론의 특징인 지속적 비교 방법을 위해서는 이론 개발에 적절하다 고 판단되는 표본을 추가적으로 선택해 들어가는 의도적 샘플링이 요구

(3) 체계적 부호화

근거 이론의 조사자는 자료를 설명하기 위해 범주나 설명 부호 같은 것 을 사용

(4) 복수의 관점

조사자의 관점이 자료에 대한 선택, 수집 과정, 선별, 자료 해석 등과 같 은 모든 조사 과정에 개입

• 복수의 관점들을 포함시키는 것은 조사자의 주관성 한계를 극복하기 위 한 노력

(5) 조사자와 관찰 대상자의 상호관계

조사자는 관찰의 상호작용 과정에서 일어나는 변화 자체가 중요한 자료 라는 것을 인식하고, 자신의 생각과 성찰을 사용해서 이를 수집하고, 분 석의 대상

========================================

4. 사례연구(case study)

사례연구란 개인이나 가족, 집단, 지역사회, 조직 등을

개별 단위로 깊이있게 분석하는 것

• 사례연구의 중요한 특징: 하나의 단일한 사례에 초점

• 어떤 현상을 단일 사례로 보기 위해서는 현상에 대한 경계가 명확히 규정

• 사례연구의 조사 방법은 복잡한 인간 행동과 사회적 환경을 이해하는 데 유용하게 사용

============================================

- 사례연구의 조사 접근방법

① 질적(qualitative)연구- 현상에 대한 깊이 있는 이해를 목적으로 한다는 점

② 자연주의적(naturalistic)-실험실이나 서베이와 같은 인위적인 상황부여가 아니라 자연스런 일상생활 속에서 현상을 있는 그대로 관찰한다는 점

③ 전일(全一, holistic)적-연구 대상이 되는 사례 현상을 쪼개어서 분석하지 않고 전체적인 묘사를 시도한다는 점

④ 필드워크(fieldwork)- 관찰 자료 수집과 결합해서 조사자가 현장의 자연 스런 환경에서 자료 수집을 한다는 뜻으로 사용

==================================================

1) 사례연구의 구분

- 목적별로 분류한 세 가지 유형의 사례연구

① 내재적 사례연구:

단순히 개별사례를 더 잘 이해하려고 실시하는 것

예) 학교 폭력에 대한 깊이 있는 이해나 이론을 만들어 내는 것은 내재적 사례연구의 목적이 될 수 없음

② 도구적 사례연구:

일반 연구의 목적을 위한 조사 방법의 일환으로 사례연구가 채용되는 것 예) 청소년 비행이나 노숙자 문제 등과 같은 사회적 이슈를 적절히 이해 하고 이론을 개발하기 위한 연구 목적을 두고 있을 때, 특정 사례를 채택하여 사례연구를 수행하는 것

③ 집합적 사례연구:

사회적 이슈나 한 집단의 사람들에 대한 이해를 넓히기 위한 목적으로, 한 집단의 개인이나 사례들에 대해 각기 사례연구를 실시하는 것

(개별사례에 대한 관심은 이차적이고, 조사연구의 일차적인 관심은 사회 적 이슈나 연구되는 현장의 모집단을 이해하는 것에 주어짐)

======================================

2) 사례연구를 위한 조사 전략

(1) 삼각 측량(triangulation)

삼각 측량이란 복수의 관점을 활용하여 조사 대상의 의미를 명확히 파 악하는 방법

• 삼각 측량은 조사자나 조사 대상자의 주관적 판단이나 오류의 개입 문제 에 의한 오류를 완화하는 방법으로 사용

(2) 비교(comparison)

비교는 일반화될 수 있는 이론을 개발하거나 이론에 대한 검증을 시도 하는 과정에서 일종의 방법적 도구

• 어떤 변수를 비교의 목적으로 선택할 것인지가 매우 중요

(3) 집중 연루(intensive involvement)

사례연구의 목적인 질적으로 풍부한 사례에 대한 이해를 얻기 위해서는, 조사자가 사례의 현상에 깊숙이 연루되어 들어가야 한다는 것

• 조사자는 자료들을 통해 사례연구의 대상인 개인이나 집단 혹은 연구되 는 현상에 대한 느낌(감)이나 직관을 개발해내야 한다. 이것은 조사 자가 조사 환경에 깊숙이 연루되어 들어갈 때에만 발생함

======================================================

0047-12-123.hwp