* 회사 소개
C사는 정보보안 서비스를 핵심역량으로 하는 업체이다. 부서 중에 "웹 진단팀"은 고객사의 웹서버의 취약점을 분석하여 리포트를 제출하는 업무를 주 사업모델로 하고 있다. 매주 열리는 주례회의시에 이 부서의 업무 보고서 양식은 수치로 나타난 테이블 형태로서 아래와 같은 몇개의 컬럼에 걸친 데이타 형태였다.
고객명 | 서비스 종류 | Total 공수 | 투입공수 | 매출실적 |
H사 | Advance | 37 | 2 | xx |
K사 | Standard | 14 | 1.5 | xx |
이러한 수치 테이블 형태의 보고형식으로는 경영자나 관리자의 관리포인트를 잡기 어렵다는 생각을 가지게 되었고, 이를 구조화 시각화하고 경영자나 관리자의 의사결정에 도움이 되는 성과지표를 도출하기 위한 프로젝트를 하기로 하였다.
* 프로젝트 오너의 선정: 당연히 팀장이 주도
* 컨설팅 프로세스의 전개
1) 성과지표 선정의 원칙
성과지표를 선정하기 앞서서, 향후 도출될 성과지표가 합 목적성을 가지는 것을 판단하기 위한 원칙을 다음의 3가지로 결정하였다. 이러한 원칙은 지표의 선택이 올바른 것인지를 판단하는 기준으로 지속적으로 비교 검토되어야 한다.
(1) 웹 진단팀의 건강상태(업무상황)을 파악할 수 있어야 한다.
- 정확도(속도, 실수빈도)
- 생산성(난이도, 과부하 여부 등)
- 상대적 성과
(2) 관리적 의사결정을 위한 지표를 제시할 수 있어야 한다.
- 인력충원 및 교체 필요시점
- 자산투자시점
- 새로운 스킬 및 신규 서비스 개발 시점
(3) 시장 변화 및 고객 니즈를 인지하고, 이해할 수 있어야 한다.
- 보안 이슈등 시장 변화에 따른 고객요구사항 이해
2) 키워드의 지속적인 정리
컨설팅을 진행하면서 학습내용의 정리가 필요하다. 이는 이후 성과지표를 팀원과 공유하고 TQM스킬을 전수하기 위해 필요한 일로서, 컨설팅을 진행 중에 실무자가 처음 접하는 개념이 나올 때마다 색인을 만들어 갔다. 예를 들어 MECE(상호배제, 전체포괄), 정규화(Normalization), 학습곡선(Learning curve)와 같은 개념이다.
3) 목표 프로세스의 선정 및 정의
웹 진단팀의 성과측정을 위한 최적의 성과지표를 선정하기 위하여, 프로세스에 대한 이해가 선행되어야 한다. 이러한 작업은 프로세스 맵을 그리는 것으로부터 시작되어야 한다. 다행스럽게도 웹진단팀은 업무프로세스의 공정표를 지난해에 이미 표준화 하였다. 이미 그려져 있는 공정표상에 성과지표를 측정할 공정은 아래와 같이 도출 되었다.
-1차 Target Process
1차 Target Process는 [진단실시]단계를 우선 고려하여 작성하기로 하였다. [진단 실시] 단계에서의 중요한 테마는 “취약성을 정확히 판단하여 보고하는가?” 로 정하였다. 프로세스 상의 초기 단계가 전체적인 라이프사이클 코스트를 결정하는 영향력이 제일 크므로 성과지표도 후 공정 보다는 선공정에서 찾는 것이 보다 비용효율적이다.
* 취약성의 정확한 판단여부는 다음의 데이타 항목 혹은 접근방법들에 준거한다.
- 증적(Audit trail)된 로그
- 누락의 발생(누락을 찾아낼 수 있는 방법이 고려사항)
- 비슷한 사이트(동일사이트)에서 서로 불일치하는 로그 체크
- Peer Review 등이다.
* 진단 작업의 종류에는 다음 두가지가 존재한다.
- 툴진단
- 수동진단
* Risk 레벨
-진단 결과에 따라 5가지 Risk 레벨을 정한다. 리스크를 계량화하기 위하여 점수를 부여했다.
A(High) = 10점
B(Mediaum) = 5점
C(Low)= 2점
R(Reference) = 1점
N(No classification) = 0점
- Risk는 두가지가 존재한다.
. 존재하는 취약성 Risk(고객사 서비스 건강 상태를 파악할 수 있다)
. 취약성 누락 Risk (진단 업무 정확도 상태를 파악할 수 있다)
4) 성과 지표의 결정
(1) 평균 개인 업무량(P): 진단 액션수와 검출취약성으로 업무량을 측정할 수 있다.
* P (평균개인업무량) = Nt/En
* Nt = Na/1 + Ns/2 + Nl/1
범례 : Action수의 산정기준 (1) Action Count: Advance(1점), Standard(0.5점), Light(1점) • Na : Advance 안건 액션수 • Ns : Standard 안건 액션수 • Nl : Light안건수 • En : 검사인원(직원수) |
(2) 누락된 취약성의 비율(bY): 누락률을 바탕으로 품질 지표를 산정할 수 있다.
* bY = bV point / Server 대수
단위업무량 = 취약점에 의한 V point*(30%) + 기본작업시간*(70%)
※보조지표 1: 누락률(재작업량과 개연성 있음)
bV point = An*10 + Bn*5 + Cn*2 + Rn
※보조지표 2: 고객사의 사이트 관리 수준(개연성으로 판단)
활용 용도: 과거의 이력데이타를 가지고 업종별, 회사별 취약점 관리 포인트 관점에서 제시할 수 있음.
Y = V point / Server 대수
범례: • Y(=1-bY): 고객사의 사이트 관리수준 (보안상태) • bY: 누락된 취약성 비율(품질) • bV: 누락된 취약성 • An: High Risk레벨 취약성 누락건수 • Bn: Medium Risk레벨 취약성 누락건수 • Cn: Low Risk레벨 취약성 누락건수 • Rn: 보충사항 취약성 누락건수 |
(3) 실가동 인원(Hp): 생산성지표로 사용가능, 인력수급 시점, 인당 적정공수 등을 산정할 때 활용가능
* Hp = (처리대상 서버수 / 인당생산성) * 70% + (Va/Vs) * 30%
(예) 처리대상 서버가 100대일 경우
- 1명이 10대서버 수행. 표준 취약성 건수 10, 발견 취약성 건수 10 일때, 업무인원 는 [7.3]이 된다.
-> (100/10) *0.7 + (10/10) * 0.3 = 7.3
-1명이 10대서버 수행. 표준 취약성 건수 10, 발견 취약성 건수 20일때, 업무이원은 [7.6]이 된다.
-> (100/10) * 0.7 + (20/10) *0.3 = 7.6 -> 0.3만큼 업무 과중 되고 있음.
범례: • Hp : 업무 인원 • Va : V actual (실제 발견된 취약성 건수. 증가하면 노력이 + 된다) • Vs : V standard(표준 취약성 건수. 이전 분기기간의 중의 평균역량 건수) |
5) 성과지표의 활용
이상과 같이 결정된 3가지 지표는 팀장의 관리지표로 활용할 수 있겠지만, CEO가 주관하는 주례 미팅의 경우는 추상화 레벨을 더욱 올릴 필요가 있었다. 그러한 이유로 주례미팅에서 보고하는 시각화된 성과지표는 실가동인원(Hp)만 활용되어 아래의 그림으로 최종 확정되었다.
(1)주간 성과 지표:
l 진단/로그체크/보고서의 공수에 따른 업무량
l 상기 공수를 정규화(Nomalization)하여 비교하여 업무비율의 추이 판단. 이는 매출원의 추세를 판단하는 매우 귀중한 정보를 제공한다. 어느 업무에 인력을 배분하여야 할지 판단에 활용.
l 실 가동인원(Hp)의 산정. 평균 업무부하의 산정에는 상당한 시간의 데이터가 필요하여 양식만 만들어 놓고, 데이터를 축적하고 있다. 과부하가 지속될 경우는 신규 인원의 채용을 요구하는 자료로 사용하게 된다.
(2) 월간 성과지표, 분기별성과 지표: 매출 추이를 전월, 전분기, 전년도 데이터데 비교할 수 있을 경우, 예외관리의 시각을 제공할 수 있다.
상기의 도식화된 성과지표는 초기에 설정한 검증 기준인 아래의 "성과지표 선정의 원칙"에 어느정도 부합한다고 판단하였고, 새로운 개선포인트가 도출되기 전까지 지속적으로 데이타를 축적해 나가기로 결정하였다. 예전의 수치 테이블에 비하여 보다 이해도가 높은 도표(마치 자동차의 컨솔/대쉬보드 같은)는 경영자의 직관적 판단에 도움을 줄 것이다.
(1) 웹 진단팀의 건강상태(업무상황)을 파악할 수 있어야 한다.
- 팀의 품질지표가 표현되지는 않은 문제점이 있으나, CEO주관미팅의 자료에는 포함시키지 않았다.
이는 팀장의 관리포인트로 관리될 것이다. 그러나, 적정인원에 대한 판단 기준은 제공한다.
(2) 관리적 의사결정을 위한 지표를 제시할 수 있어야 한다.
- 요구되는 서비스의 추이를 제공하여 적정한 자산 투자 시점과 인력충원, 신규 서비스 개발
시점에 대한 아이디어를 제공한다.
(3) 시장 변화 및 고객 니즈를 인지하고, 이해할 수 있어야 한다.
- 서비스 항목별 매출의 추이를 통해 판단해 볼 수 있다.
(이상)