12장 프로그램 평가의 단계와 절차

[이재걸]

P.163

1. 프로그램 평가를 위한 단계

프로그램을 평가하기 위한 단계들은 학자들에 따라 다양한 견해가 있다.학자들의 견해는 관점의 차이가 있지만 다음과 같다.

1) York의 프로그램 평가 단계

York(1982)는 프로그램 평가가 6단계로 실행된다고 한다(지은구, 2005 재인용).

1단계 :프로그램 확인 → 제2단계:프로그램 평가기준의 선택→ 3단계 : 평가를 위한 설계선택 → 4단계 : 자료수집→5단계: 결과분석 →6단계 : 평가의 잠재성과 한계 지적

2) Smith의 프로그램 단계

Smith(1990)도 York와 같이 평가의 단계를 6단계로 보고 있다(지은구, 2005).

1단계 : 프로그램에 관한 서술 →제2단계 : 프로그램 목적의 명확화→ 3단계 : 조사방법의 설계 → 4단계 : 프로그램 평가의 실행→ 5단계 : 자료분석제→ 6단계 : 프로그램 평가보고서의 작성(또는 보고하기)

P.163

3) Pietrzak, Ramler, Renner, Ford, Gilbert의 프로그램 평가단계

Pietrzak, Ramler, Renner, Ford, Gilbert(1990)는 투입평가, 과정평가, 결과평가를 강조하면서 11단계를 제시한다(지은구, 2005).

1단계 : 평가를 위한 계획수립→ 2단계 : 평가를 위한 질문의 구체화 →3단계 : 특정 변수의 선택→4단계 : 조사설계의 선정 → 5단계: 조사참여자의 선정→ 6단계: 연구방법론의 선택→ 7단계: 자료수집 도구의 획득→ 8단계: 자료수집 → 9단계: 결과를 평가하기 위한 기준의 구체화→10단계 : 자료분평가결과의 보고

4) Muraskin의 프로그램 평가단계

Muraskin(1994)는 평가의 단계를 8단계로 제시하였다. 평가를 위해 거쳐야 하는 8단계는 다음과 같다.

1단계: 소비자 확인→ 2단계 : 질문선정→ 3단계 : 실행계획서 작성→ 4단계 : 자원확보→ 5단계: 평가의 실제문제 도출→ 6단계 : 평가자문 요청 → 7단계 : 자료수집방법 및 도구선정 →8단계 : 분석과 보고

이상과 같이 학자들의 프로그램 평가단계는 다양하게 나타나지만, 결론적으로 프로그램 평가가 사회과학적 조사방법론을 사용해서 사회 프로그램이 성취하려는 목적을 성취하였는지를 정의한다면, 프로그램 평가에 있어서 필요한 과정들은 다음과 같이 정리될 수 있다(지은구, 2005).

1단계:프로그램에 관한 서술 → 2단계 : 프로그램 목적과 목표의 확인 → 3단계 : 프로그램 평가를 위한 조사설계 → 4단계: 평가의 실행→ 5단계: 자료분석→ 6단계 : 평가보고서의 작성

5) 평가단계 시 고려사항

프로그램을 평가하는 단계에 있어서 고려해야 할 몇 가지 사항이 있다.

P.165

① 프로그램 목표를결정한다

② 평가를 실시하기 위해 재정지원을 할당한다.

③ 평가기술 요원을 고용한다.

④ 평가고문과 계약을 체결한다.

⑤ 목표를 조직목표달성을 위한 측정가능한 지표로 전환시킨다.

⑥ 평가개념에 관해 관리자와 참모를 훈련시킨다.

⑦ 평가체계를 설계한다.

⑧ 정보체계를 개발하고 이를 정당화하고 집행한다.

⑨ 서비스를 받고 있는 수혜자와 서비스를 받고 있지 않는 유사집단의 지표에 관한 자료를 수집한다.
⑩ 두 집단에 관한 자료를 목표기준과 비교한다.
⑪ 평가를 개발하고 집행함에 있어서 각 전문분야의 전문가들의 활동을 조정한다.
⑫ 평가결과를 보고한다.

2. 프로그램 평가절차

앞에서 여러 학자들의 평가의 단계를 정리하여 지은구(2005; 2008)는 6단계로 제시하였다. 이 6단계를 구체적으로 살펴보겠다.

1) 프로그램 평가 1단계 : 프로그램에 관한 서술

프로그램이 어떠한 내용을 담고 있는지 또는 프로그램이 목적하는 것을 어떻게 성취하였는지를 아는 것은 프로그램 평가를 위한 전제조건이자 가장 먼저 이루어져야 하는 단계이고 또한 평가에 있어서 가장 결정적인 단계라고볼 수 있다.

그리고 프로그램 서술을 통해서 평가자들은 프로그램에 대한 전체적인 윤곽을 이해하고, 그 내용에 관한 이해의 폭을 넓힐 수 있는 기회를 갖게 된다.

P.166

프로그램에 관한 서술은 평가자에게 무엇이 프로그램을 성공 또는 실패로만들었는가를 알 수 있는 포괄적인 지식을 제공한다.

또한 프로그램에 관한 서술은 양적인 서술과 질적인 서술을 동시에 포함하기 때문에, 결국 양적인 조사방법과 질적 조사방법이 동시에 사용된다고 할수 있다.

프로그램 서술에는 다음의 내용이 포함되어야 한다(Smith, 1990).

• 프로그램의 개요; 프로그램에 대한 포괄적인 내용을 간략하게 서술• 사용된 개입방법(문제 또는 욕구해결을 위해 제공된 서비스), 접근방법(상담, 교육,개별치료, 집단치료 훈련 등)과 서비스 제공시간 등을 서술
• 프로그램의 영역이나 정황에 관한 주요 요소; 프로그램이 시·군·구 또는 국가 중 어느 수준에서 제공되어야 적합한지, 프로그램의 영역 또는서비스의 영역은 무엇인지, 특정 서비스의 영역에서의 사용기술은 무엇인가 등을 서술
• 프로그램이 제공된 장소, 정부조직인지 민간조직(비영리 조직)인지, 조직의역사는 어떠한지 등에 대한 대답을 중심으로 프로그램을 서술
• 프로그램의 재원과 비용; 재원과 비용은 반드시 사회적 비용과 사회적가치의 측면에서 고려되고 서술되어야 하며, 프로그램이 목적하는 문제를 해결할 수 있는 수준의 비용인지에 대한 확인이 반드시 필요.

•프로그램을 제공받은 클라이언트; 어떻게 클라이언트가 프로그램의 참여를 위해 선별되는가가 프로그램의 성공과 실패에 결정적이다.

• 서비스를 제공한 직원들의 특성; 직원들의 전문적 배경은 무엇인지, 그들이 이 서비스를 위해 어떠한 교육을 위해 어떠한 교육을 받았는지 등이포함
• 실행 시 나타나는 이슈; 평가자가 현재 실행되고 있는 프로그램이 적절한 방식으로 실행되고 있는지에 대한 정확한 평가

P.167

2) 프로그램 평가 2단계 : 프로그램 목적과 목표의 명확화

프로그램이 성취하려는 목적과 그 목적을 구체적으로 성취하기 위한 행동들의 총 집합체로서의 목표들이 보다 정확하게 정의되어 있어야만 그들 목표들이 성취하려는 것들이 완수되었는가를 측정할 수 있게 된다.

프로그램의 목적과 목표가 명확히 정리되어 있는가를 확인하기 위한 하나의 방안으로 프로그램 설계 시에 서술하였던 프로그램 이론을 확인하는 것도명확한 목적과 목표의 수행 그리고 성취 여부를 알 수 있는 데 도움이 되고,이는 무엇을 평가할 것인지를 확인시켜 준다.

(1) 프로그램 목적과 목표 : 독립변수와 종속변수(인과관계 확인)

평가조사를 위해서 프로그램이 목적과 목표들을 조사에 맞는 용어로 바꾼다면, 프로그램의 목적(목표들을 포함해서)은 종속변수가 되고, 프로그램 자체는독립변수가 된다. 즉, 프로그램의 목적과 목표는 프로그램이 성취하려는 것이고, 목적과 목표의 성취가 결국 결과로서 나타나기 때문에 프로그램 자체가영향을 미쳐서 어떤 특정한 결과가 산출된다고 할 수 있다.

독립변수는 프로그램 또는 프로그램이 제공하는 서비스들이 될 수 있다.이는 프로그램의 목적은 분명하고, 명확할 수 있지만, 그것을 성취하기 위해서 프로그램이 제공하는 서비스들은 다양할 수 있기 때문이다(그림 12-1).

프로그램의 목표인 종속변수들에 대한 독립변수의 관계를 확인하기 위해서는 광범위한 프로그램이 독립변수가 되기보다는 목표를 성취하기 위해 제공되는 보다 구체적인 서비스나 계획 등이 독립변수가 된다. 따라서 사회복

P.168

지사는 목적과 목표가 분명하고 명확한 것인가를 살피기 위해 프로그램과 프로그램이 수행하는 행동들과 목적과 목표들과의 관계의 명확성, 즉 분명한독립, 종속변수로서 자리잡고 있는지를 확인하는 것이 다음 단계의 프로그램평가를 위해서 반드시 필요하다.

3) 프로그램 평가 3단계 : 평가를 위한 연구조사방법의 설계

프로그램이 목적하는 바를 성취하였는지 성취하지 못하였는지를 프로그램평가자 또는 사회복지사가 구체적으로 어떠한 질문방식을 통해서 어떻게 조사할 것인가에 대한 계획을 수립하는 단계이다. 따라서 연구설계는 조사를하기 위한 계획을 수립하는 것이라 정의할 수 있다.

조사를 실행하기 위해 연구설계 단계는 다음과 같은 네 분야를 포함한다(Smith, 1990).

• 조사설계 방식의 선택; 사례조사(단일사례조사와 복합사례조사)와 민속학적조사설계, 단일사례설계와 실험조사(준실험조사) 등 조사방법

.어떻게 자료를 수집할 것인가를 결정; 양적인 방법(간접적 자료수집)와 질적인 방법(직접적 자료수집)

• 자료수집 도구의 확립; 질문지, 면접지, 지침서, 가이드, 관찰목록 등●ㆍ관찰할 프로그램의 부분들이나 인터뷰할 사람들의 선택; 샘플링(확률과 비확률)

프로그램평가조사는 평가조사의 일부로서 개입기술과 프로그램 목적의 달성 정도를 조사하는 응용조사의 하나이다. 기본적인 조사방법론의 과정을 따르지만 특이할 점은 다음과 같다(표 12-1).

P.169

4) 프로그램 평가 4단계:프로그램 평가의 실행

앞에서 제시한 1-3단계를 실행하게 된다. 이 단계는 수집된 자료를 분석할 수 있는 전단계라고 할 수 있다. 자료분석을 위해서는 수집된 자료를 어떻게 실행할 것인지를 조사해야만 한다. 예를 들면, 인터뷰를 실행하기 위해서인터뷰에 관한 조사자의 교육이 필요할 것이며, 샘플링을 했다면 샘플을 대상으로 실행한다는 것이다.

5) 프로그램 평가 5단계 : 자료분석

프로그램를 실행하고 실행되어 샘플로부터 수집된 자료를 분석하는 단계이다. 자료분석의 목적은 프로그램의 목적에 대한 성취 여부를 결정하도록자료를 요약·편집하는 것이다. 자료분석의 유형은 양적 분석방법과 질적 분석방법이 있다. 양적 분석방법은 질문지를 통한 숫자형태의 방법이라고 할수 있으며, 질적 분석방법은 관찰 및 인터뷰 등의 기법이라고 할 수 있다.

6) 프로그램 평가 6단계 : 평가보고서 작성

(1) 평가보고서 작성의 예

이 단계는 정리단계라고 할 수 있다. 분석한 평가결과를 요약하고 정리하여 일정한 규정과 형식을 갖추어 보고서를 작성한다. 평가보고서를 작성하는

P.170

목적은 프로그램에 대해서 서술하고 발견점들을 제시하고 권고를 하기 위한이다(Hall and Hall, 2004, 지은구, 2008 재인용)

그리고 평가보고서는 작성양식에 있어서 차이는 있지만 기본적인 내용은비슷하다고 하겠다(예시 1-1. 예시 1-2. 예시 1-3 참조).

P.171

(2) 평가 보고서의 작성의 원칙과 유의사항

평가보고서를 작성하는 데 있어 몇 가지의 원칙들이 있다(DePoy and Gilson,2003, 지은구, 2008 재인용).

첫째, 명확성평가 보고서는 복잡하고 장황하면 내용의 이해가 어렵기 때문에 될 수 있는 한 명확하여야 한다.

둘째, 정확성:보고서를 작성하는 데 있어 내용의 정확도를 의미한다. 평가의 과정이나 성과에 대한 정확한 묘사가 있어야 한다.

셋째, 간결성평가 보고서는 긴 문자보다는 간결한 문장으로 표현되어야한다.

넷째, 구조에 대한 주의:평가 보고서는 인용, 장, 절 등의 구분에 있어 보고서의 구조가 중요하다.

그리고 평가 보고서 작성 시 유의사항이 몇 가지 있는데, 다음과 같다(김학주, 2004).

P.172

첫째, 대상자의 수준을 고려한 보고서를 작성한다.

둘째, 문장표현에 있어 과거/현재 시제를 명확하게 표현해야 한다.

셋째, 항목별로 간결하게 기재한다.

넷째, 문장배열이 간결하고 필요한 내용만 선별적으로 기록한다.

[김윤미]

감사합니다 교수님

[정숙자]

감사합니다 교수님