11장 프로그램 성과와 성과 측정(124~149)

[이재걸]

P.124

프로그램의 영향력은 어느 정도의 성과(outcome)를 가져다주었는지에 대한강조라고 할 수 있다. 프로그램 성과측정은 프로그램의 결과인 성과를 가지고 사정 또는 측정하는 것을 의미한다. 성과를 측정한다는 것은 프로그램의수혜자에게 있어 상황, 조건 또는 문제의 진전을 반드시 측정하여야 한다는것과 문제를 극복할 수 있어야 하고 문제가 개선되어져야 한다는 것을 입증하는 것이다.

성과측정은 사회복지 프로그램들의 효율성, 품질, 효과성 등에 대한 정보를규칙적으로 수집하고 보고하는 것으로 정의할 수 있다. 즉, 성과측정은 프로그램에서 제공되어지는 서비스의 총량, 서비스의 품질, 프로그램의 결과나 영향, 투입자원(인적 자원과 물적 자원 등) 비용 등과 같은 정보들을 규칙적으로 수집하고 보고하는 것을 의미한다.

성과측정은 프로그램의 책임성을 제시하기 위한 많은 접근법 중의 하나이다. 프로그램의 어떠한 측면을 중시하느냐에 따라 책임성을 제시하기 위한다른 접근법에는 과정평가, 재정감사, 법적 사정, 전달체계 점검 등이 있다.성과측정은 프로그램의 결과와 영향, 효율성 등을 강조하는 평가방식으로 외부로부터 지원을 받아 진행한 프로그램의 성과를 제시하기 위한 수단이다.따라서 성과측정이란 사회복지실천 프로그램의 효율성, 품질, 효과성에 관한정보를 얻기 위해 정규적으로 수집 및 보고하는 것을 의미한다(Rossi & Freeman,1993).

P.125

1. 성과측정의 의의

왜 사회복지 행정가들은 성과측정을 받아들여야 하는가? 책임성 보고 외에 고려할 만한 다른 중요한 요소들이 있는가? 성과측정에 대해 지지자들은 적어도 세 가지를 강조한다.

① 성과측정은 사회복지 프로그램의 관리를 향상시키기 위해 잠재성을 가지고 있다.
② 성과측정은 사회복지 프로그램의 자원조정에 영향을 미칠 수 있는 잠재성을 가지고 있다.
③ 아마도 대부분의 중요한 성과측정은 대부분의 사회복지 프로그램은 아니라 할지라도 사회복지 프로그램의 강제된 선택이 되고 있다.

1) 성과측정과 프로그램 관리 개선

사회복지 프로그램을 적합하게 관리하기 위해서, 행정가들은 아래의 질문들에 대해 명확해야 한다.

● 누가 그들의 클라이언트인가?
● 그들의 인구통계학적 특성은 무엇인가?
● 그들의 사회적 또는 표출된 문제는 무엇인가?
● 그들은 어떤 서비스를 받고 있는가?
● 총계는 얼마인가?
● 서비스 품질은 어떤가?
● 어떤 결과가 달성되고 있나?
● 비용은 얼마인가?

대부분 사회복지 프로그램들은 1~4번 질문에 대한 대답은 상대적으로 분명하고, 몇몇 프로그램들은 종종 5~8번째 질문에 대해 불명확하고, 다른 프

P.126

로그램들은 어떤 질문에서도 확실하지 않다. 대부분 산출, 품질, 성과에 대한 공식적으로 채택된 측정이 없기 때문에 8가지 질문에 모두 답할 수 있는 사회복지 프로그램은 거의 없다.

성과측정을 통해 행정가들은 그들의 사회복지 프로그램에 대해 8가지 질문에 모두 답할 수 있다. 이러한 형태의 정보를 갖춘 사회복지 행정가들은 더 효율적이고 더 효과적이고 더 좋은 품질의 프로그램을 계획하고 설계하고 실행할 수 있어야 한다.

만약 프로그램 관리자들이 위 내용들을 충분히 담아내지 못했다면 성과측정은 프로그램의 가치 있는 관리도구로서 역할할 수 있는 다양한 특징들을 가지고 있다.

① 기관성과의 중심 구성요소로 클라이언트 성과를 만듦으로써 “클라이언트 중심”을 증진한다.
② 사회복지 행정가들은 그들이 관리하는 프로그램의 효율성, 품질, 효과성에 대한 평가판단을 내릴 수 있는데 활용할 수 있는 공동의 용어를 제공한다.
③ 사회복지 행정가들이 서비스 향상을 위한 “개입시점”을 파악하기 위해 그들의 프로그램을 지속적으로 모니터 할 수 있게 한다.
④ 어떤 클라이언트들이 얼마나 많이 도움을 받고 있는지에 대한 피드백을 해줌으로써 직접 서비스를 제공하는 사회복지사들의 도덕성을 증진한다.

2) 성과측정과 자원조정

한편 성과측정은 정부와 민간의 사회복지 프로그램에 대한 자원조정 결정에 중요하게 영향을 미칠 수 있다. 만약 모든 사회복지 프로그램들이 비교할 수 있는 성과측정을 수집하고 보고한다면, 정부와 민간자금 자원들은 예산, 보조금, 계약결정을 내리는 데 정보로 활용할 수 있다. 예를 들면, 같은 지역사회에서 운영되고 그들의 주요 재원을 공동모금회로부터 받고 있는 두 개의

P.127

민간 가족서비스 기관(기관 X와 기관 Y)이 있다고 가정하자 기관 X는 기관 Y보다 더 적은 비용으로 클라이언트에게 더 나은 결과를 얻고 성과 더 많은 서비스를 산출 제공한다. 예산이 축소되고 삭감되는 시대에 공동모금회 측에서볼 때, 당연히 기관 X는 기관 Y보다 더 매력적이다. 그렇다면 경과 주적은 사회복지의 예산과정 정책뿐 아니라, 일반적인 사회복지 자극적책 그리고 가마도 종합적인 정부예산과 자금정책에도 영향을 미칠 수 있다.

3) 강요된 선택으로서의 성과측정

일부 사회복지 행정가들은 성과측정을 채택하는 기회를 무시하고 싶어하지만, 사회환경의 변화가 그 문제에 관해 다른 선택권을 거의 주지 않는다.강제라는 방법은 최후의 결정일 수밖에 없는데도 불구하고, 오늘날 많은 사회복지 프로그램들은 성과측정을 실행하지 않을 수 없게 되었다.

2. 성과측정의 유형

1) 산출 

성과측정(Output Performance Measures

작은 사업체를 운영해본 사람은 누구나 산출 성과측정이 얼마나 중요한지를 알고 있다. 식당 운영자들은 그들이 제공한 식사의 수를 계산한다. 주유소운영자들은 그들이 공급한 가솔린의 양을 계산한다. 택시 운영자들은 그들이운행한 횟수를 계산한다. 이러한 산출 성과측정들은 제공된 서비스 양 혹은판매된 제품의 수 측면에서 얼마나 잘 하고 있는지 사업체 운영자들에게 피백을 제공한다. 산출과 산출 성과측정을 투입과 비교할 때, 그 결과로써 생는 생산성 비율은 사업체의 상대적인 효율성의 측정이다. 산출 산출 성측정은 사회복지 프로그램에서도 동일한 기능을 한다.

P.128

하나의 체계(또는 사회복지 프로그램)가 생산하는 어떠한 것도 산출이라고 넓게 정의할 수 있다. 산출 성과측정은 체계가 생산하는 산출의 유형과 양에 대한 정보를 획득한다. <표 11-1>이 보여주듯이 체계와 사회복지 프로그램은 두 가지 유형의 산출(중간산출과 최종산출)을 생산하고, 그러므로 두 가지 유형의 산출 성과측정을 필요로 한다. 최종산출은 체계이나 사회복지 프로그램의 마지막 생산물이다. 중간산출은 최종산출을 생산하는 데 소비되는 제품 및 서비스이다.

<표 11-1> 사회복지서비스 프로그램에서 산출 성과측정의 유형들
1. 중간산출

최종산출의 생산과정에서 생산되고 소비된 제품 및 서비스; 서비스 단위(Units of Service)

2. 최종산출

사회복지 프로그램의 마지막 생산물; 서비스 완료

사회복지 프로그램에서 최종산출과 최종산출 성과측정은 클라이언트에 초점을 두며, 중간산출과 중간산출 성과측정은 서비스에 초점을 둔다. 다음에 나오는 입양 프로그램의 예는 산출 성과측정의 유형 둘 다 사회복지 프로그램에서 왜 중요한지를 명확하게 하는 데 도움을 줄 것이다.

입양 프로그램은 두 가지 활동, 즉 (1) 입양하는 부모와 아동의 배치, (2) 예상되는 입양부모의 심사(screening) 및 사정(assessment)에 관련된다고 말할 수 있다. 입양 프로그램의 최종산출 또는 마지막 생산물은 한 명의 입양된 아동이다. 중간산출, 다시 말해 하나의 최종산출을 낳는데 소비되는 서비스 및 혹은 제품들의 측정은 심사와 사정방문이 이루어진 횟수이다. 만약 그 프로그램이 예상되는 입양가족에게 다섯 번의 심사와 사정방문을 하고 결과적으로 한 아동을 그 가족에게 배치한다면, 그 프로그램은 하나의 최종산출과 다섯 가지의 중간산출을 생산하는 것이다.

P.129

만약 입양 프로그램이 입양된 아동들의 숫자만 계산한다면, 실제 마지막결과를 얻기 위해 요구되는 활동의 양(중간산출)은 설명되지 않을 것이다. 반대로, 만약 그 입양 프로그램이 심사와 사정방문의 횟수만 계산한다면, 이러한모든 활동이 낳은 실제 입양의 수(최종산출)는 설명되지 않을 것이다. 하지만이 둘이 결합된다면, 중간 및 최종 산출 성과측정은 입양 프로그램의 포괄적인 그림을 제공하게 된다.

중간산출과 최종산출 성과측정은 사회복지에게 새로운 개념이 아니다. 중간산출 성과측정이 서비스 단위(units of service)로 알려져 있는 반면에, 최종 산출 성과측정은 서비스 완료(service completion)로 알려져 있다.

(2) 서비스 단위의 정의

서비스 단위는 얼마나 많은 서비스가 사회복지 프로그램에 의해 제공되는지를 결정하고 보고하기 위해 사용되는 표준화 측정이다. 다시 말해, 서비스단위는 프로그램, 즉 특정 서비스 양의 측정이다. 사회복지는 매우 다양한 프로그램을 포함한다. 주간보호(아동과 성인 모두), 상담, 부모훈련, 레크리에이션,직업훈련, 그리고 다른 것들도 사회복지의 범주가 되고, 모두 서비스 양의 측정을 필요로 하며, 그것에서 이득을 얻을 수 있다. 이러한 이유로, 상이한 서비스 단위의 유형들 또는 중간산출 성과측정이 개발되어왔다.

(3) 서비스 단위의 유형들

서비스 단위는 세 가지 상이한 방법으로 측정되는데, (1) 사건 또는 접촉 단위, (2) 물질적인 단위, 그리고 (3) 시간단위이다. <표 11-2>는 세 가지의 일반적인 사회복지 프로그램(정보 및 의뢰, 가정배달 식사, 그리고 상담 서비스)을 활용하는 이러한 세 가지 서비스 단위의 유형을 제시한다.

P.130

사건 또는 접촉 서비스 단위는 사회복지사와 클라이언트 사이의 접촉으로정의된다. 그것은 클라이언트 접촉정보의 기록이 중요할 때 사용되지만, 실제접촉의 지속시간)은 중요하게 고려되지 않는다.

물질적인 서비스의 단위는 클라이언트에게 제공되는 유형의 자원이며 용기에 담긴 음식, 의류, 현금, 처방 등과 같은 항목들을 포함할 수 있다. 물질적인 단위는 개별단위들 간에 존재할 수 있는 편차 때문에 세 가지 서비스 단위의 유형들 중에서 일반적으로 가장 정확하지 않다고 간주된다. 예를 들어, 두개의 용기에 담긴 음식에서 품목의 수는 매우 다양할 수 있지만, 각각의 용기는 여전히 하나의 서비스 단위로 계산된다.

시간단위는 개별 사회복지 프로그램의 필요에 의존하기 때문에 분, 시간,하루, 주, 또는 월 등으로 표현될 수 있다. 시간단위는 그것이 표준화 증가량으로 표현되기 때문에 세 가지 서비스 단위의 유형들 중에서 일반적으로 가장 정확하다고 간주된다. 시간이 서비스의 단위로 사용되면, 시간이 단지 클라이언트 접촉시간을 나타내는지 또는 간접적인 지원활동시간 또한 포함되는지의 여부를 나타내는 것이 중요하다. 또한 상이한 시간단위는 상이한 비용을 암시할 수 있고, 이것이 처음에는 명백하지 않을 수도 있다.

(4) 서비스 단위 선택

PART 03. 프로그램의 평가

특정 사회복지 프로그램에 있어서 서비스 단위를 선택하는 것은 세 단계의과정을 포함한다.

P.131

1단계 : 특정 사회복지 프로그램에 포함되는 이해관계자들 중에서 널리 대표하는 표적집단이나 위원회를 소집하라.

2단계: 사건이나 접촉단위, 물질적인 단위 그리고 시간단위를 포함해서 다양한 서비스의 단위를 모두 고려해 본다. 이러한 접근은 자주 잠재적으로 더 유용한 서비스 단위를 확인해 준다.

3단계 : 다음에 나오는 다섯 가지 기준, 즉 유용성, 정확성, 실행 가능성, 단위비용 보고, 그리고 합의에 따라서 각각의 권장된 서비스의 단위등을 평가하라.

1. 유용성(Utility): 이 기준은 발생된 정보가 유용하고 적절하다고 간주되는정도를 나타낸다. 유용성은 이해관계자들에게 있어서만 의미를 갖는다.가장 유용한 서비스의 단위는 사회복지 프로그램, 그 프로그램이 다루는주어진 사회문제의 특징 그리고 사회문제에 대해 이루어진 가정들에 대해서 관계자들에게 가장 적절한 정보를 제공하는 것이다. 유용성은 여기에서 목록으로 제시된 다섯 가지 중에서 가장 중요한 기준일 것이다.

2. 정확성(precision):일반적으로, 서비스의 단위가 더 정확하면 할수록, 사회복지 프로그램에 대해서 발생되는 정보도 더 정확하다. 정보의 단위에서정확성에 대한 필요는 안정되지만, 세 번째 기준과 대조되어야 한다.

3. 실행가능성(Feasibility): 실행가능성 기준은 서비스 자료의 단위를 수집하고보고하기 위해서 프로그램 직원들에 의해 요구되는 시간과 노력을 나타낸다. 예를 들어, 1시간에 대립하는 것으로 서비스의 시간단위로 15분을사용하는 것은 프로그램 직원들이 많은 자료를 네 번 수집하고 보고해야 한다는 것을 의미한다. 동일한 맥락에서, 만약 노숙자 쉼터가 거주하는 노숙자들에게 의류가 유용하게 사용되도록 한다면, 물질적인 서비스의 단위(하나의 의류품목)를 사용하는 자료수집은 서비스의 접촉단위(의류

P.132

센터를 방문하는 한 명의 거주자)를 사용하는 자료수집보다 더 많은 시간과 노력을 필요로 한다.

4. 단위비용 보고(Unit cost reporting) : 단위비용(서비스 한 단위를 제공하기 위해서 얼마나 많은 돈이 드는가은 손익분기점 계산, 수입, 비용 및 담당건수의 예상, 그리고 서비스 구매계약을 포함해서 사회복지 프로그램에서 다양한 목적을 위해 사용된다. 요구되는 단위비용 자료를 얻기 위한 상이한 서비스 단위의 상대적인 능력은 특정 유형의 선택에 영향을 미칠지도 모른다.

5. 합의(Consensus):사회복지 프로그램의 이해관계자들은 그들이 동의한 서비스의 단위를 수집하고, 보고하고, 사용하고, 지킬 것이라는 합의에 이른다. 서비스의 단위는 특정 사회복지 프로그램의 모든 운영자들이 말하는데 동의하는 공통의 언어로 나타낸다.

(5) 서비스의 단위와 서비스의 프로그램들

어떤 사회복지 프로그램들은 복합적인 서비스로 구성된다. 성인 주간보호(adult day care)가 좋은 예가 된다. 성인 주간보호 프로그램은 교통요소, 집단식사 요소, 사회화와 레크리에이션 요소, 건강관련 요소, 그리고 다른 것들을 포함할 수 있다. 성인 주간보호에 있어서 서비스 단위는 예를 들어, 하루 같이 시간단위에 기초를 둘 수 있다. 이러한 시간 서비스 단위를 기초로 할 때, 만약 20명 각각의 노인들이 일주일 동안 다섯 번 프로그램에 참여한다면, 그 성인 주간보호 프로그램은 일주일 동안 서비스 또는 중간산출 100단위를 낳을 것이다. 그러나 이러한 서비스의 단위(하루)는 실제로 성인 주간보호 프로그램이 실제로 무엇을 하는지에 대해서는 많이 알려주지 않는다.

<표 11-3>은 다양한 서비스 요소들이 개별적으로 확인되고 보고될 때 성인 주간보호 프로그램에 있어서 서비스 단위의 보고가 어떻게 나타나는지를 보여준다. 더 포괄적이고, 의미있고, 강력한 그림이 나타난다. 이제 서비스 단위, 또는 중간산출 성과측정은 책임성 목적을 위해서뿐만 아니라 의사소통

P.133

수단으로도 사용된다. 이러한 방법으로 서비스의 단위를 사용하는 부가적인 이득은 성인 주간보호센터 행정가가 이제 기획과 예산책정 목적을 위해서 사용될수 있는 프로그램에 대한 상당히 더 많은 자료를 갖게 된다는 것이다.

(6) 최종 산출 성과측정

사업체는 그 사업체에 자주 가는 고객들의 수(서비스의 접촉단위)에 의한 측정에 따라 상대적으로 효율적이거나 생산적일 수 있지만, 만약에 이러한 고객들이 상품을 전혀 구매하지 않는다면 상대적으로 비효율적이거나 비생산적이다. 마찬가지로 사회복지 프로그램이 서비스의 단위 또는 중간산출 성과측정에 의한 측정에 따라 많은 서비스의 양을 제공한다면 상대적으로 효율적이거나 생산적일 수 있지만, 만약 어떠한 클라이언트도 치료(treatment)과정을 완료하지 못한다면 상대적으로 비효율적이거나 비생산적일 수 있다. 중도포기율이 높은 사회복지 프로그램에서, 성취된 결과는 비용이 많이 드는 경향이있다. 다양한 관계자들(시민들, 공무원들 그리고 정부재정기관들은 완료비율에 대해서 상당히 의문을 갖고 있고, 사회복지 프로그램은 최종산출 성과측정이나비스 완료에 대해서 효율성 또는 생산성, 책임성 정보를 제공할 수 있어야

P.134

(7) 서비스 종료에 대한 정의

서비스 완료 또는 최종산출 성과측정은 한 명의 클라이언트가 치료(treatment)를 완료하거나 완전한 서비스의 전량을 받는 것으로 정의될 수 있다. 사회복지 프로그램의 클라이언트가 치료를 완료하지 않거나 완전한 서비스의 전량을 받지 않는다면, 그 치료가 효과가 있을 것이라는 어떠한 기대도 존재하지 않기 마련이다. 학대하고 방임하는 부모들을 위한 양육 기술 훈련 프로그램의 사례를 보자. 만약 훈련 프로그램이 10회의 세션으로 이루어진다면, 그리고 모든 10회의 세션이 학대하고 방임하는 행동을 변화시키는데 필수적이라고 간주된다면, 그때 클라이언트가 완전한 10회의 세션을 완료하는지 어떤지를 아는 것이 중요하다.

(8) 서비스 종료의 개발

서비스 완료를 결정하기 위해서 두 개의 접근, 즉 표준화 접근과 사례 계획 접근이 존재한다. 적절한 접근의 선택은 그 치료나 서비스가 표준화되어 있는지 혹은 변하기 쉬운지에 달려 있다.

표준화 접근에서, 클라이언트는 치료를 완료하기 위해 어떤 최소의 정해진 서비스의 양을 받아야 한다. 이러한 점에서만 서비스 완료 보고나 최종 산출의 기술이 기록될 수 있다. 중간산출(서비스의 단위)은 치료를 완료하거나 완전한 서비스의 전량을 받는데 필요한 최소의 정해진 서비스의 양을 결정하는데 다소 도움이 될지도 모른다. 사건이나 서비스의 접촉단위를 사용하는 사회복지 프로그램의 경우, 예를 들면 약물 중독자들이 약물중독을 극복하는 것을 도와주기 위해 설계된 집단상담 프로그램을 보자. 클라이언트가 그 프로그램을 완료하거나 완전한 서비스의 전량을 받기 위해서 얼마나 많은 세션이 요구되는가?

최종산출 성과측정 또는 서비스 완료의 개발에 대한 두 번째 접근은 사례계획 접근이다.

많은 사회복지 프로그램은 표준화 서비스의 양 또는 클라이언트가 치료를

P.135

완료하기 위해 받아야 하는 최소의 서비스의 양을 가지고 있지 않다. 예를 들어, 상담 프로그램에서, 어떤 역기능적인 가족들은 치료를 완료하거나 완전한서비스 전량을 받기 위해서 20 또는 30회의 상담세션을 필요로 할지도 모르는 반면에, 덜 심각한 문제를 가진 다른 가족들은 상당히 적은 세션을 필요로할지도 모른다. 이와 같은 상황들에서는 서비스의 완료를 한 명의 클라이언트가 개별적인 사례계획을 완료하는 것으로 생각하는 것이 더 유용할지도 모른다. 한 명의 클라이언트가 하나의 사례계획을 완료했을 때, 완전한 서비스의 전량이 제공되었고 서비스의 완료가 클라이언트를 위해서 기록된다.

사례계획 접근은 또한 클라이언트가 장기간 치료를 받을 것으로 예상되는만성 정신장애인이나 발달장애인을 위한 사례관리와 같은 사회복지 프로그램에도 적용될 수 있다. 장기간의 사례관리서비스를 몇 년간의 치료를 지시하는 것으로 보기보다는 오히려, 예를 들어, 서비스는 3개월 동안 지속하는불연속적인 사건으로 나눌 수 있다. 사례관리서비스의 3개월 후에, 클라이언트는 완전한 서비스의 전량을 받았다고 얘기하며 서비스의 완료가 클라이언트를 위해 기록된다.

일부 사회복지 프로그램에 있어서, 어떤 클라이언트들은 숙련된 간호보호(nursing care)와 재가서비스 프로그램(home-based programs) 같은 시설보호 프로그램들처럼, 거의 또는 전혀 퇴소(exit)를 예상하지 않는 프로그램에 참여할지도 모른다. 클라이언트가 아마도 퇴소를 예상하지 않고 장기간 보호를 받을지도모른다고 하더라도, 그럼에도 불구하고 대상자 요건(eligibility) 재결정 또는 보호 재사정의 차원이 필요하거나 요구되는 시점에 이르게 된다. 재결정 또는재사정은 클라이언트가 완전한 서비스의 전량을 받았고 서비스의 완료가 클라이언트를 위해 기록되는 휴지점(break point)으로 다루어질 수 있다.

(9) 서비스 완료와 클라이언트 성과

서비스의 완료는 최종산출 성과측정을 제공하는 것 외에 또한 결과 성과측정에도 역할을 한다. 일반적으로, 결과 성과측정은 치료를 완료하거나 완전한서비스의 전량을 받는 클라이언트들에 대해서만 사정되어야 한다.

P.136

만약 그 프로그램이 설계된 대로 이행되지 않는다면, 아무도 사회복지 프로그램의 효과성에 대한 타당한 결론을 끌어낼 수 없다는 것을 입증한 셈이된다. 서비스의 완료는 설계된 대로 사회복지 프로그램을 경험하는 클라이언트들과 그렇지 않은 클라이언트들을 구별한다.

어떤 프로그램 평가자들은 "서비스를 완료하지 못한 사람들(service noncompleters)”에 대한 평가자료를 획득하는 것이 또한 중요하다고 주장한다. 이러한 주장은 타당하기는 하지만 결과 성과측정 목적에 있어서는 그렇지 않다. 서비스를 완료하지 못한 자들에 대한 자료는 사회복지 프로그램의 운영에 유용한통찰력을 제공하고, 중요한 발견과 프로그램의 향상을 낳을지도 모른다. 그러나 그런 발견과 향상은 벌써 치료를 완료했거나 중도에 그만둔 클라이언트들에게는 영향을 미치지 않는다.

2) 품질 성과측정(Quality Performance Measures)

동일한 사회복지 프로그램에 고용된 적임의 두 사회복지사들의 다음 상황을 고려해 보자.

첫 번째 사회복지사는 시간당 4명의 클라이언트들의 평균을 달성했다; 두번째 사회복지사는 시간당 3명의 클라이언트들을 달성한다. 어느 사회복지사가 더 생산적인가? 책임의 효율성 관점은 첫 번째 사회복지사라는 점을 시사한다. 그러나 첫 번째 사회복지사가 두 번째 사회복지사보다 실수를 두 배로한다면 어떤가? 실수는 수정을 위해 추가적인 직원의 시간과 자원을 요구한다. 이제 어느 사회복지사가 더 생산적인가? 책임의 품질관점에서 두 번째 사회복지사가 아마도 더 생산적이라고 할 수 있다.

품질 성과측정은, 사회복지 프로그램의 경영자들이 품질관리 옹호자들에의해 불려지는 “효율성의 덫”이라 부르는 것에 빠지는 것을 막기 위해 만들어졌다. 오직 효율적 책임만을 본다는 것은, 필연적으로 서비스의 품질을 쇠퇴하게 한다고 그들은 주장한다. 서비스 품질의 후퇴는, 다시 말해, 책임 있는서비스를 감소시키고, 적절한 서비스를 감소시키며, 더 많은 실수, 더 많은 재

P.137

작업 (rework), 클라이언트들과 다른 이해당사자로부터 불평을 증가케 하고, 더많은 시간과 자금을 불만을 해결하는 데 쓰게 한다. 그리고 결국, 전체적인생산성을 떨어뜨린다.

(1) 품질의 정의

품질의 개념은 복합적이고 다차원적이기 때문에, 품질 성과측정이 사회복지서비스 프로그램을 위해 개발되기 전에 두 가지의 초기 장애물들은 극복되어야만 한다.

그 두 개의 장애물은 품질의 다양한 범주를 정의하는 것과 그 중 가장 중요한 것을 결정하는 것이다. 사회복지 프로그램의 종합적 품질관리를 다루고있는 Martin(1993)은 일반적으로 인식된 15개의 품질범주들을 정의하였다.

P.138

이들 다양한 품질범주들 중에서 사회복지서비스 프로그램에서 어떠한 것이 가장 중요할까?

서비스 품질의 중요조사에서, 연구자들은 사회복지 프로그램의 클라이언트로까지 확장하여 고객이 중요하게 보는 품질자원의 공통적 요소를 발견했다. 서비스의 형태에도 불구하고 등급배열과 그들 각각의 가중치(부담, 중요성)에 있어서, 더 나은 품질 차원군은 <표 11-5>에 있다. 두 가지 품질범주들로서 신뢰성과 측응성이 목록의 첫 머리에 있다.

품질차원으로서, 신뢰성은 품질에 대한 클라이언트의 기대들을 어떻게 만족시킬 수 있느냐에 달려있다. 예를 들면, 만일 사회복지 프로그램의 클라이언트가 중요한 품질적 차원들로서 확신성(assurance)과 감정이입(empathy)을 본다면, 그들은 개별적 접촉으로부터 직접적으로 프로그램 직원들이 보여주었던 확신과 감정이입의 단계 안에서 신뢰성을 또한 기대할 것이다. 신뢰성은 사회복지서비스 프로그램을 위해 무엇을 의미하는가? 신뢰성은 일관된 방식 안에서 제공하는 서비스를 의미한다. 항상 친근하고, 정중하고, 그리고 사려깊은(확신), 항상 클라이언트 욕구를 이해하기를 시도하는(감정이입), 항상 이해할 수 있는 언어로 클라이언트들과 이야기하기(전달) 등이다.

사회복지 프로그램이 확실한 방식 속에서 운영될 때, 이런 차원을 기본으로 하여 품질에 대한 판단을 하는 클라이언트들은 서비스 품질을 높게 평가하려는 경향이 있다. 클라이언트들에게 신뢰성은 얼마나 중요한가? 가능한 100점 중 32점의 점수를 획득한 신뢰성은 어떠한 다른 품질적 범주들보다 가

P.139

장 중요하다.

두 번째 매우 중요한 품질차원은 즉응성 또는 시의적절성이다. 대응하는 것은 가장 적은 시간 안에 서비스를 제공하는 것을 의미한다. 기다리는 것은 클라이언트들이 필요로 하거나 또는 원할 때와 그리고 서비스가 실제로 제공되었을 때 사이에서 경과된 시간을 말한다. 기다리는 것은 단지 몇 줄 서서 기다리는 육체적인 기다림뿐만 아니라, 어떠한 그리고 모든 형식의 기다림을 의미한다. 따라서 사회복지 프로그램은 최소한 신뢰성과 즉응성 또는 시의적절성에 대한 정보를 얻어 측정하는 품질성과 적용채택을 고려해야만 한다.

(2) 품질 성과측정의 유형

두 가지 기본 접근, (1) 품질 차원 접근에 의한 산출, 그리고 (2) 클라이언트 만족 접근이 품질 성과측정을 개발시키기 위해 존재한다. 이들 두 접근은 그들의 다른 초점과 품질 성과측정 자료들의 자원들에 의해 구별된다. 초점에 있어서, 품질 차원 접근에 의한 산출은 단지 서비스의 품질에 해당되는 것처럼 보인다. 다른 한편, 클라이언트만족 접근은 서비스의 품질뿐만 아니라 결과, 영향, 또는 서비스의 이행 등 양쪽 모두를 보여줄 수 있다. 자료자원에 있어서, 품질 차원 접근에 의한 산출은 기관기록으로부터 개발된 자료들을 기초로 하며, 클라이언트 만족 접근은 클라이언트 만족도 조사 자료들에 기초한다.

(3) 품질차원 접근에 의한 산출

품질차원 접근에 의한 산출은 품질차원들을 포함하기 위해 중간 산출 성과 측정(서비스 단위)을 확장하게 된다. 이 과정은 실제보다 다소 더 복잡한 것처럼 보인다. 단순한 세 단계 과정이 요구되는 모든 것이다. 첫 번째, 두 단계는 클라이언트와 다른 이해관련자들의 시각과 의견들의 고려사항을 취해야만 한다.

step 1. 사용되는 품질차원 선택하기
step 2. 품질차원을 사회복지 프로그램의 특수한 특성들과 연관하기

P.140

step 3. 품질차원을 중간 산출성과측정과 결합하기

몇몇 사례들은 이들 단계들의 각각을 보여주거나 설명하는 데 도움을 줄것이다. 연속성(신뢰성)의 목적을 위해, 세 가지 사회복지 프로그램들-정보와의뢰, 가정배달 식사, 그리고 상담 등은 전 장의 중간산출 성과측정들의 예로서 사용된 것들이 이곳에서 다시 이용된다.

step1. 품질차원 선택하기

대부분 사회복지 프로그램들은 아마도 최소한 신뢰성과 즉응성 또는 시의적절성 품질차원을 선택하기 원할 것이다. 다른 품질차원들(예 확신, 능력, 감정이입, 가시성 등)의 선택은 크게는 사회복지 프로그램의 형태와 클라이언트와다른 이해관련자들의 선호에 따라 달라질 것이다.

step2. 품질차원 연결하기

각각의 품질차원은 각 개별적 사회복지 프로그램의 특성들로 설명되어야만 한다. 예로, 신뢰성과 반응성은 정보와 의뢰 프로그램, 가정배달 식사 프로그램, 또는 상담 프로그램에서 무엇을 의미하는가?

1. 정보와 의뢰

a. 신뢰성은 의뢰가 적절히 이루어졌다는 것을 뜻할 수 있다(전화한 클라이언트를 서비스 이용이 불가능한 기관으로 의뢰한 적이 없음).

b. 즉응성은 방문자들이 첫 번 시도에서 연결된다는 것을 뜻할 수 있다(통화 중 없이바로).

2. 가정-배달 식사

a. 신뢰성은 식사는 따뜻하게 배달되었음을 뜻할 수 있다(최소한 적어도180도의 온도).

b. 즉응성은 식사는 정각에 배달되었음을 뜻할 수 있다(계획된 배달시간의10분 내).

P.141

3. 상담

a. 신뢰성은 클라이언트들이 일반적으로 같은 상담자를 매 시간에 보았음을 뜻할 수 있다.

b. 즉응성은 클라이언트들이 약속된 만남을(10분 이상) 기다리지 않음을뜻할 수 있다.

step 3. 품질차원 결합시키기

품질차원들은 특정 사회복지 프로그램을 위해 지정된 중간산출 성과측정(사건, 재료, 또는 서비스 시간단위)에 결합된다. 다음의 서비스의 단위가 세 가지사회복지 프로그램에 대해 지정되었다.

●•정보와 의뢰:일회의 접촉 또는 한 건의 조회

가정 - 배달 식사 : 한 끼의 식사

• 상담 : 1시간

다음은 어떻게 품질차원들이 이러한 서비스 단위들의 각각에 접목되는지를 설명한다.

P.142

(4) 클라이언트 만족 접근

만일 품질 성과측정을 개발하는 데 있어 품질차원에 의한 산출 접근법이방해가 되거나, 인위적인 결과를 낳거나, 단순히 효과가 없다면, 클라이언트만족 접근이 대안으로 사용될 수 있다. 클라이언트 만족 접근은 또한 필수적으로 품질차원 접근에 의한 산출에서와 동일한 두 단계들과 함께 단순한 세번째 단계과정을 수반한다.

step 1. 품질차원 선택하기

step 2. 품질차원 해석하기

세 번째 단계에서, 클라이언트 만족 접근은 품질차원 접근에 의한 산출과다르다.

step 3. 조사 질문사항 개발하기

앞에서와 마찬가지로, 이 세 단계 과정을 설명하는 최상의 방법은 사례에의한 것이다. 같은 세 개의 사회복지 프로그램(정보와 의뢰, 가정-배달식사, 그리고상담)은 다시 사용된다.

step 1. 품질차원 선택하기

첫 번째 단계는 중요한 품질차원을 정의하는 것이다. 모든 세 사회복지 프로그램의 클라이언트들과 이해관련자들이 중요한 품질차원로서 신뢰성과 즉응성을 정의한다고 가정해 보자.

step 2. 품질차원 설명하기

두 개의 선택된 각 품질차원(신뢰성과 즉응성)은 각 세 가지 사회복지 프로그램에 의미있는 특성들 속에서 설명된다. 클라이언트들과 이해관련자들은 또한 품질차원 접근에 의한 산출에 사용된 그 같은 특성들을 정의한다고 가정하자.

P.143

1. 정보와 의뢰
a. 신뢰성 : 의뢰는적절하게 이루어졌다.
b. 즉응성 : 전화건2. 가정-배달식사클라이언트는 첫 번 시도에서 연결되었다.

2. 가정-식사배달
a. 신뢰성 : 식사는 따뜻하게 도착했다.
b. 즉응성 식사는 정각에 도착했다.

3. 상담
a. 신뢰성:클라이언트는 같은 상담자를 본다.
b. 즉응성: 클라이언트는 기다리지 않았다.

step 3. 조사질문 개발하기

조사 질문지는 하나의 전반적인 만족질문과 각 품질차원에 지정된 하나의특정한 질문을 포함하도록 개발되었다(표 11-7의 A부분 참조). 전반적인 일반적만족질문의 목적은 어떤 품질차원이 클라이언트들에게 가장 중요한지를 통계적으로 결정을 할 수 있게 하는 점이다.
복합적인 사회복지 프로그램들을 가진 기관은 각 프로그램을 위한 과정들을 단순하게 되풀이한다(표 11-7의 B와 C 부분 참조).

P.144

클라이언트만족 접근법에서, 질문과 응답은 주의깊게 표현되어야 한다. 위의 표에 보여진 질문과 반응범주들은 유일한 접근이거나 최상의 접근이 아닌 단지 하나의 접근사례라는 것을 밝힌다. 덧붙여 모든 클라이언트가 조사되지 않았다면, 대표적인 표본을 추출하도록 주의해야 한다. 조사연구상의 기본적인 과제는 질문진술, 반응범주 개발, 표본추출 등에 관련된 필요한 지침을 제공해야 한다.

3) 결과성과측정(Outcome Performance Measures)

사회복지 프로그램에서의 가장 기본적인 중요요소로 효과성책임을 이야기하는 평가관계자들이 많이 있다. 이러한 생각을 가지고 있는 관계자들은 다음과 같은 사항을 알아야 한다고 주장한다. 즉, 예를 들어 125명의 클라이언트가 종료한 2,000 서비스시간을 제공하는 상담 프로그램의 경우 클라이언트

P.145

의 90%가 프로그램에 대해서 만족스럽다거나 또는 매우 만족스럽다고 이야기하는 경우를 고려해 보자. 그러나 평가관계자들이 진실로 알고자 하는 것은 프로그램 결과의 유형은 무엇인가, 프로그램 종료로 인한 영향은 무엇인가, 프로그램을 종료해서 성취한 것은 무엇인가와 같은 사항들이다.

(1) 결과성측정의 정의

사회복지 프로그램의 성과와 클라이언트를 연결시키고자 하는 시도가 클라이언트 결과(Client outcomes), 클라이언트 결과 모니터링(Client outcome monitoring)과 같은 이름으로 전개되어왔다. 이러한 접근법은 사회복지 프로그램의 의도된 결과로 나타난 클라이언트의 질적인 생활의 변화와 영향들에 대한 진단을포함한다. 이러한 여러 사항들을 복합적으로 고려하여 성과수행평가의 조작적인 정의를 클라이언트의 질적인 생활의 변화를 통해 측정되는 사회복지 프로그램의 결과, 영향 또는 공헌점이라고 내릴 수 있다.

(2) 클라이언트 문제점 대 클라이언트 종료상태

사회복지에 있어서의 클라이언트는 어떠한 문제요소들을 가지고 있다고생각되어진다. 어느 클라이언트가 약물중독의 문제, 거주의 문제, 수입의 문제, 자녀양육의 문제 또는 기타 문제들과 복합적인 문제들을 가지고 있다면이러한 "문제 접근법"은 진단과 치료 면에서는 매우 적절하겠지만 사회복지프로그램의 결과와 영향 및 성취물을 고려함에 있어서는 유용하지 못하다.

보다 유용한 사회복지 프로그램의 성과수행평가를 개발하는 것은 클라이언트 생활의 질적인 변화를 기대하고 예견하기 위한 작업이다. 이때 질적인변화는 클라이언트 상태와 지위, 행동, 기능, 태도, 느낌, 또는 생각들을 바람직한 방향으로 변화시키는 것뿐만이 아니라 바람직하지 못한 클라이언트의상태와 지위, 행동, 기능, 태도, 생각들로부터 멀어지게 하기 위한 활동을 의미한다. 이것을 "클라이언트 종료상태(Client end status)" 접근법이라고 하며 사회복지 프로그램의 어떠한 요소들(클라이언트 상태와 지위, 행동, 기능, 태도, 느낌, 생각 등)이 평가되어야 하는지에 대한 것뿐만이 아니라 결과와 영향 그리고 성

P.146

취물 등이 강조되는 이중적인 장점을 지닌다.

<표 11-8>은 성과수행평가라고 일컬어지는 클라이언트 생활의 질적인변화에 대한 예를 보여주고 있다. 또한 바람직하거나 바람직하지 못한 클라이언트의 상태와 지위, 행동, 기능, 태도, 느낌, 또는 생각들이 동전의 양면과같은 관계임을 보여주고 있다. 이러한 이분법적인 요소는 많은 사회복지 프로그램이 바람직하거나, 바람직하지 못하더라도 클라이언트의 상황과 행동들모두에 대한 자료들을 수집하여야 하는 이유가 된다. 이러한 자료들은 성과수행평가에 있어서 유용할 것이다.

P.147

(3) 결과성과측정의 4가지 유형

결과 성과측정을 4가지 타입으로 분류할 수 있다. 즉, 산술적인 계산(numericcounts), 표준화 측정(standardized measures), 기능수준 척도(level of functioring scales:LOF scales), 클라이언트 만족도(client satisfaction) 등으로 분류된다.

산술적인 계산은 단순히 생활의 질적인 향상을 보인 클라이언트의 수를 집계하는 방식이다. LOF척도는 클라이언트 생활의 질적인 향상을 측정하기 위한 목적으로 기관 또는 프로그램에 의해 만들어진 사전·사후 테스트를 의미한다(대개 바람직한 방법은 아니다). 성과수행 평가를 위해 위의 방법이 사용될 때에는 클라이언트에게 직접 생활의 질적인 향상을 묻는 자기보고서 형식을 참조하여 클라이언트 만족도를 측정한다.

결과성과측정의 다른 방식들은 클라이언트 생활의 질적인 향상의 다른 측면들을 측정하는데 어느 정도 적절하다고 할 수 있다. 예를 들어, 산술적인 측정이 일반적으로 클라이언트의 상태, 지위 또는 행동을 측정하는데 사용된다면, 표준화 측정은 클라이언트의 인식, 느낌 그리고 태도를 측정하는 데 사용된다. LOF척도는 클라이언트 또는 클라이언트의 가족의 기능적인 면을 측정하는 데 널리 사용되며 표준화 평가방법의 사용 자체가 불가능하거나 또는 표적집단의 연령 같은 기타 요소들로 인해 표준화 평가의 사용이 적절하지

P.148

못한 경우에 사용된다. 클라이언트 만족도는 생활의 질적인 변화에 대한 클라이언트의 생각을 측정하기 위해 널리 사용되는 방법이다. 우리는 서비스 종료 측면에서만 결과성과측정을 적용하고 측정하고 있다(예를 들면, 치료를 종료한 클라이언트 또는 서비스를 끝까지 마친 클라이언트).

(4) 중간 결과성과측정과 최종 결과성과측정

<표 11-10>에서 보는 바와 같이, 결과성과측정은 사용시기에 따라 중간 결과성과측정과 최종 결과성과측정이라고 크게 2가지 범주로 재분류할 수 있다.

중간 결과성과측정은 치료종료 후 바로 나타나는 클라이언트생활의 질적인 변화를 진단하거나 또는 서비스의 완전종료를 확인한다. 다시 말해서, 중간 결과성과측정은 치료의 효과를 진단한다. 아동 시설보호를 생각해 보자. 중간 결과성과측정의 경우 아동이 프로그램을 벗어난 후 또는 서비스를 완전히 마친 후 즉시 생활의 질적인 변화(상태 또는 행동)를 진단하고자 한다. 그러나 모든 치료의 효과가 치료의 종료 또는 서비스 종료에 따라 즉각적으로 식별되는 것은 아니다. 또한 평가 관계자 중에는 치료 후의 효과 또는 장기간의 효과에 흥미를 가지기도 한다. 따라서 정해진 일정 시기(3개월, 6개월, 1년이 되든지간에) 클라이언트 생활의 질적인 자료를 파악해야 한다. 이때, 최종결과는 가족과의 재결합 혹은 입양이 될 것이다. 사회복지 프로그램 중에는 중간 결과성과측정과 최종 결과성과측정 모두에 동일한 평가방법을 사용하는 프로그램도 있으며 서로 다른 평가방법을 사용하는 프로그램도 있다.

P.149

이론적으로 4가지 결과성과측정 유형들은 중간 또는 최종성과물을 파악하기 위해 사용될 수 있다. 그러나 실제 현장에서는 클라이언트 만족도를 최종결과성과측정으로 거의 사용하지 않고 있다. 이것은 사회복지 행정가가 클라이언트 만족도에 대한 자료는 치료의 효과를 진단하는데 있어서는 보다 유용하지만, 치료 후 또는 장기간의 효과성을 진단하는 데에는 그다지 유용하지못하다고 생각하기 때문이다.

(5) 결과성과측정 선택

산출 및 품질성과측정을 선택했을 경우와 같이, 3단계의 과정이 결과성과측정에서도 제안된다.

step 1 사회복지 프로그램 관계자들의 대표집단이 소집되어야 한다. 대표자들의 일원들은 가장 최신의 그리고 가장 널리 인정되는 개념적인 토대와 이론들, 평가들, 사회복지 프로그램에 관계되는 현장경험과 함께 고려된 연구(research) 등에 능통해야 한다.

step 2 가능한 많은 수의 결과성과측정들이 구분되고, 토의되며 심사숙고되어야 한다. 이러한 과정 가운데 사회문제와 사회복지 프로그램의위치 그리고 사회문제에 대해서 형성된 가정들은 보다 명확해질 것이다.

step 3 사회복지 프로그램을 위해 하나 또는 두 가지의 최상의 결과성과측정에 대한 합의를 이루어야 한다.

[김윤미]

책 보라는 건가요??

[임효진]

교수님 내용 잘 숙지하였습니다