스크랩 (행사조사)연구개발평가의 신뢰성 제고방안 ;대덕

[peter탁기수]

2014년도 과학기술 관련 행사 조사 분석

□행사명 : 한국연구재단 정책세미나

- 주제명 : 연구개발 평가의 신뢰성 제고 방안

(조사자 : 구 영 우 )

   Ⅰ. 행사 개요

      1.  주최(주관)기관: 한국연구재단

      2. 일시 : 2014.6.9. 12:00 –13:30

      3.  장 소 : 한국연구재단 대강당

      4.  참가자 범위 및 참가자 수 :한국연구재단이사장 등 40인

   Ⅱ. 발표 및 패널 토론자

      1.  주제 발표자 : 이찬구(충남대학교 행정학과 교수)     

1. 주제발 표 제목 : 연구개발 평가의 신뢰성 제고  

주제

발표

내용

개요

1. 문제의식

● 평가결과 불신의 상존

● 평가의 신뢰성(credibility) 문제

⁃과학기술계(피평가집단) : 평가자들의 낮은 전문성(expertise)으로 평가

결과에 불신

⁃정부부처/연구관리 전문기과(평가수행자) : 평가의 객관성·공정성

(impartiality)에 대한 의구심으로 평가결과 활용에 소극적

● 연구개발평가의 신뢰성은 <평가자의 신뢰성>으로 귀결되는 문제

⁃전문성 보유

⁃외부의 영향 배제

2 이론적 논의 및 분석틀 전개

가. 평가자 신뢰성의 개념

(Eval‎uation Guideline; The Joint Committee. 1994)

● 신뢰할 수 있는 평가자 : <전문성과 공정성 겸비>

● 전문성과 공정성의 개념

⁃전문성 : 교육훈련, 연구, 경험 등을 통해 습득한 특정분야에서의 특별한 기술(skill) 이나 지식(knowledge)

⁃공정성 : 특정 상황과 직접적 관련이 없이 합리적이며 올바르며 정의롭게 의사결정 할 수 있는 상태

나. 평가과정에서의 평가자 신뢰성 영향요인

(1) 평가대상의 내용과 방법론적 지식의 겸비 여부

2) 특정 이해관계자의 관점 배제 여부

3) 특정 평가에서 지식이나 경험이 부족한 평가자의 참여 여부

4) 분야별 평가경험이 많은 전문가의 참여 여부

5) 평가자의 명성과 함께 이들의 실제적인 시간과 노력의 투입 여부

6) 신뢰성과 수용성 제고를 위한 적정한 자원의 투입 여부

7) 평가자의 정직성과 성실성 여부

8) 평가 대상자들이 활용된 평가방법의 수용 여부

9) 평가경험이 부족한 사람에 대한 평가 업무 위임 등

다. 평가자 신뢰성 확보 여건

⁃평가자가 전문성과 공정성 적절히 겸비

⁃평가활동 전/후에서 전문성과 공정성이 발휘될 수 있는 여건 마련

⁃전(全)주기 관점에서 평가자 신뢰성 관리 필요

(1)신뢰성 높은 평가자 선정→ (2)평가과정의 신뢰성 발휘여건

→ (3)평가자의 신뢰성 관리

1)신뢰성 높은 평가자 선정

⁃평가자 선정 방법

:평가 관리자의 주관적 판단 vs 전문가 풀 활용

⁃평가자 <개인>과 <평가위원회> 전체로서의 신뢰성 조화 필요

⁃신뢰성 높은 평가자 선정의 전제 조건

가)전문가 인력 DB 구축/운영 여부

나)선정기준으로서의 전문성 vs 공정성

다)평거내용과 방법론적 전문성의 조화

2)평가과정의 신뢰성 발휘여건

⁃외부 평가자들은 자원의 제약속에서 부수적 업무로서 단기간 동안 평가 참여

⁃공정성이 담보된 상태에서의 전문성 제고 방안 필요

⁃평가과정에서의 전문성 증진 또는 제약 요인

가)분석/가공된 2차 성과정보의 활용 가능성부

나)평가제 실명제(open peer review) 여부

다)다양한 정성/정량 평가방법의 활용여부

라)평가자에 대한 유/무형의 보상체계

3)평가자의 신뢰성 관리

⁃평가자의 전문성에 더해 준비성/헌신성/책임성/자발성/성실성 등이 평가 신뢰성의 영향요인으로 작용

⁃평가자의 평가이력 관리와 향후 평가에서의 적절한 활용 필요

(1)평가자 신뢰성 관리여부

(2)관리정보 유형과 활용 형태

4)평가 신뢰성의 분석들

평가과정 구성요인	신뢰성 높은 평가자 선정	평가과정의 신뢰성 발휘 여건	평가자의 신뢰성 관리
전문성	-전문가 풀 유무 -평가자 선정 기준 (전문성 vs 공정성) -전문성 유형 (내용 vs 방법론)	-평가정보 유형/ 활용형태 -평가방법 다양화 -평가자 실명제 -보상체계 다양성	-신뢰성 관리 여부 -관리정보 유형/ 활용형태
공정성

3.평가 신뢰성의 사례 분석

가.분석 사례

⁃연구재단 선도연구센터 이공학 분야(S/ERC)평가(2010, 2012)

⁃한국과학기술기획평가원 국가연구개발사업 특정평가(2011)

⁃정보통신산업진흥원(NIPA) 사업평가 제도(2012)

나.분석 대상 : 결과평가(단계평가/종료평가 등)에 한정

다.연구 방법

⁃문헌 분석 : 평가보고서 등

⁃심층 면담 : 평가담당 간사, 평가위원 등

항목	분석요소	분석 결과 요약	전문성/공정성 관계
평가자 선정의 신뢰성	전문가 풀	-국내 최대의 전문가 DB보유하나, 대학교수 중심	전문성>공정성
	선정 기준	-명확한 선정기준 적용으로 전문성/공정성 유지노력	전문성≒공정성
	전문성 유형	-내용 전문성과 연구관리/평가방법론적 전문성의 균형 노력	전문성>>공정성
평가과정신뢰성 발휘여건	정보 유형/ 활용형태	-성과 보고서와 연구책임자의 발표 내용 -건수 중심의 양적 정보와 1차 자료(raw data) 중심	전문성<공정성
	평가 방법 다양성	-문헌분석과 발표평가가 핵심 평가 방법 -예외적인 경우에 현장평가 활용	전문성<<공정성
	평가자 실명제	-평가 참여자 명단 전체 공개 -평가 의견은 평가팀 전체의 종합의견으로 발표	전문성≒공정성
	보상체계	-일률적 기준에 의한 평가수당 지급	전문성<공정성
평가자 신뢰성 관리	신뢰성 관리 여부	-2011년도부터 평가자 이력관리 시행 -평가이력 정보의 DB화 및 검색시스템 구축	전문성≒공정성
	신뢰성정보 횔용수준	-우수 평가자 선정 및 계속 활용 -특이 평가자의 평가자 풀 제외	전문성≒공정성

라 한국연구재단의 S/ERC 결과평가(2010)

항목	분석요소	분석 결과 요약	전문성/공정성 관계
평가자 선정의 신뢰성	전문가 풀	-평가 전문가 DB 보유하나, 직접 활용도는 낮음	전문성≒공정성
	선정 기준	-협조와 참여 가능성 고려하여, 평가책임자의 판단으로 선정	전문성>공정성
	전문성 유형	-내부 평가자 : 내용 전문성 우선 고려 -외부 평가자 : 방법론적 전문성 중시	전문성>>공정성
평가과정 신뢰성 발휘여건	정보 유형/ 활용형태	-성과보고서 대신 1차 현황자료 직접 활용 -현황자료의 분석/종합된 2차 자료 활용	전문성>>공정성
	평가 방법 다양성	-공통 방법 : 다양한 정량/정성적 방법 활용 -추가 방법 : 연구단계와 성격 반영한 방법 채택	전문성>>공정성
	평가자 실명제	-평가참여자 명단 전체 공개 -평가의견은 평가팀 전체의 종합의견으로 발표	전문성>공정성
	보상체계	-내부 평가자 : 별도의 보상 없음 -외부 평가자 : 일부 금전적 보상 시행	전문성<공정성
평가자 신뢰성 관리	신뢰성 관리 여부	-평가 이력보다는 기본 정보 중심의 정보 관리 -필요에 따라 부정기적으로 정보 갱신	신뢰성 미흡
	신뢰성 정보 횔용수준	-관리정보 자체의 부족의 시행사례 없음	신뢰성 미흡

마.KISTEP 국가연구개발사업 특정평가(2011)

항목	분석요소	분석 결과 요약	전문성/공정성 관계
평가자 선정의 신뢰성	전문가 풀	-공식적∙체계적인 전문가 풀 활용으로 공정성∙ 객관성 확보 노력 -활용 가능한 전체적인 전문가 부족	전문성<공정성
	선정 기준	-박사학위 소지자 및 유사 실무경험자가 최소 등록 기준 -평가자 제척사유의 광범위한 적용(동일기관, 동일 최 종학적자 등)	전문성<<공정성
	전문성 유형	-내용 전문성 우선 하되, 일부 평가방법론 전문성 고려	전문성≒공정성
평가과정 신뢰성 발휘여건	정보 유형/ 활용형태	-핵심 평가 자료인 성과보고서 평가 당일 배포 -일부 사전 검토보고서 당일 배포하나, 성과분석 자료 로는 미흡	전문성<<공정성
	평가 방법 다양성	-일반적으로 서면평가와 발표평가로 공정성 확보 -일부 사업에서 현장평가 의무화로 전문성 강화 노력	전문성<<공정성
	평가자 실명제	-평가위원 명단 전체 공개 -평가의견은 평가위원회 전체의 종합의견으로 발표	전문성≒공정성
	보상체계	-일률적 기준에 의한 금전적 보상	전문성<공정성
평가자 신뢰성 관리	신뢰성 관리 여부	-간사, 평가자 상호간, 과제 책임자의 평가위원 적격성 평가 시행 -성실성, 공정성, 전문성, 친절성 평가 -적격성 평가점수는 누적개념으로 관리	전문성≒공정성
	신뢰성 정보 횔용수준	-신용도 낮은 전문가는 차후 평가자 선정에서 배제 -eR&D 연동으로 지식경제부 전체적으로 정보 공유	전문성<공정성

바.정보통신산업진흥원 사업평가 제도(2012)

구 분	한국연구재단	한국과학기술 기획평가원	정보통신 산업진흥원
평가자 선정	전문성/공정성 적정 조화	전문성 중심	공정성 중심
발휘 여건	공정성 중심	전문성 탁월	공정성 중심
신뢰성 관리	전문성/공정성 적정 조화	신뢰성 미흡	공정성 중심
분석 종합	-적절한 신뢰성 확보 -평가과정에서의 전 문성 강화로 신뢰성 제고 가능	-높은 전문성 확보 -평가자 이력 관리 수행으로 신뢰성 제고 필요	-공정성 중심의 제도 운영 -잔체적인 전문성 강화로 신뢰성 제고 필요

사.전문성/공정성 관점에서의 분석사례 종합

4.평가 신뢰성 제고 방안

가. 평가자 선정과정의 신뢰성 제고

•연구관리 기관 간 전문가 인력 풀 연동

⁃개별 기관의 전문가 인력 풀의 한계 보완 가능

KRI : 약 22만명(대학 교수 중심, 기초연구)

NTIS : 약 8만 1천명(연구기관 중심, 응용연구 및 개발)

eR&D : 약 2만 7천명(산업계 전문가, 사업화 분야)

•전문가 인력 풀의 다양화/충실화

⁃인력 풀 다양화

기술사업화/특허 전문가 등 보강

연구관리/평가방법론 전문가 보강

⁃인력 풀 충실화 : 해외 전문가 포함

1단계 : 해외 활동 중인 국내 연구자와 교포 학자

2단계 : 1단계의 전문가로부터의 해외 학자 추천

나.평가과정에서의 신뢰성 제고

•1차 평가자료(성과보고서와 사전 검토보고서: raw data) 외의 2차 성과분석

(merit review) 자료 최대활용

⁃학술지의 영향력 지수 분석

⁃논문의 인용도 및 파급효과 분석

⁃특허의 수명주기 및 인용패턴 분석

⁃기술이전 경로 및 파급효과 분석

⁃기술료 수입의 형태(게약 기술료 vs 경상기술료) 구분 및 수입기간 분석 등

평가자의 주관성 감소와 평가자간 편차 해소에 도움

•평가방법 다양화 추구

⁃현재 : 문헌 분석, 발표 평가, 예외적으로 현장 평가

⁃계량서지학(bibliometrics), 과학 계량학(scientometrics), 설문조사, 심층면접, 경제/사회/문화/정책적 파급효과 분석 등으로 확대

⁃외부 전문기관의 적극 활용방안 모색 필요

•연구관리자(담당 간사) 역할 조정

⁃단순 평가 관리자에서 전문 평가자(professional eval‎uator)로 육성

⁃Merit Review와 평가방법 다양화의 전제 조건

다.평가자의 신뢰성 관리 제고

•평가이력 정보간의 균형적 활용 추구

⁃객관적 정보(시스템 입력 정보)

개인이력, 평가참여 이력, 평가결과 누적통계 등

⁃주관적 정보(연구관리자 판단/입력정보)

성실성, 공정성, 중립성, 연구윤리 의식 등

누적성을 가지고 있는 객관적 정보의 한계 인식

주관적 판단으로 인한 공정성/객관성 훼손 우려

•평가이력 관리에서 전문성 강화

⁃성실성/공정성/중립성/연구윤리 + 전문성

⁃전문성 = 내용적 전문성 + 방법론적 전문성

•평가이력 관리방법의 전환

⁃누적 형태 및 상대비교 방식에서 모니터링 형태의 절대방식으로 전환

5. 국가 연구개발평가에의 시사점

가. 전문가 인력DB의 부처 간 활용 강화 및 고도화

⁃개별 연구관리 기관의 인력DB를 NTIS로 통합 시급

⁃평가자 선정 시, 전문성 중심으로 제척 사유 완화

⁃전제조건 : 전문가 집단에 대한 신뢰문화 형성

전문가 집단의 자정능력 향상

나. 연구관리 전문기관의 전문성 강화

⁃평가 관리자에서 평가기획 및 <전문 평가자>로 전환

⁃다양한 평가방법의 적용으로 객관적∙분석적인 2차 성과 분석 자료의 산출

가능

다. 평가자 이력 관리에서 전문성 강화

⁃누적형태에서 평가담당자의 모니터링으로 이력관리 전환

⁃공정성보다는 성실성∙전문성의 비중 강화

4. 행사 스케치 : 한국연구재단에의 시사점

1).전문가 인력DB의 범부처간 연동체계 구축에서 지도력 발휘

⁃국내 최대의 전문가 인력 풀 및 평가인력 DB 보유

⁃평가 신뢰성 제고와 함께 평가집행의 효율성 증진 기대

2) 평가연구(eval‎uation research) 전담부서 설치

⁃각 연구본부/연구단에 산재한 평가의 연구/기획/활용 기능의 통합화 및

관련 자원의 집중화 필요

⁃전문성 제고를 통한 평가 신뢰성 증진의 하부구조 역할 기대

연구개발평가의 신뢰성제고방안조사 분석(연구재단).hwp

5. 행사사진