[바이오토픽] 동료검토 조작(The peer-review scam)

[관리자]

[바이오토픽] 동료검토 조작(The peer-review scam)

BRIC|종합 양병찬 (2014-12-01 09:39) | 문서원문

일부 저자들의 ‘셀프심사’, ‘봐주기 심사’가 들통 나면서, 현대 출판시스템의 약점이 백일하에 드러났다.

대부분의 저널 편집자들은 바쁜 연구자들에게 논문을 검토해 달라고 요청하여 승낙을 받아내기가 얼마나 어려운지 잘 안다. 『The Journal of Enzyme Inhibition and Medicinal Chemistry』의 편집자가 한 저자의 논문에 대한 검토서들을 보고 깜짝 놀란 것은 바로 이 때문이었다.

검토 대상 논문의 저자는 대한민국의 문모 교수(천연약물학, 동아대학교 승학캠퍼스 의약생명공학과)였다. 검토 내용 자체는 그리 대수롭지 않았다. 대체로 호의적이었고, 논문의 품질 향상을 위한 약간의 요망사항들이 적혀 있었다. 그런데 문제가 된 것은 검토의 속도였다. 검토에 소요된 시간이 논문 한 편당 24시간 미만이었던 것이다. 검토자들의 바쁜 일정을 감안할 때, 도저히 상상할 수 없는 초(超)스피드였다.

뭔가 이상하다는 낌새를 챈 클라우디우 수푸란 편집장은 2012년 문 교수를 직접 만나 자초지종을 따졌다. 문 교수는 뜻밖에도 사건의 전모를 순순히 실토했다. 검토서가 그렇게 빨리 접수된 이유는, 그중 상당부분을 자신이 직접 작성했기 때문이라는 거였다. 한마디로 ‘셀프심사’라는 말이었다. 사실, 마음만 먹으면 일을 꾸미는 것은 어렵지 않았다. 위에서 언급한 두 개의 저널을 포함하여, 인포마 헬스케어(Informa Healthcare)가 발간하는 많은 저널들은 관례적으로, “귀하의 논문을 검토할 수 있는 전문가들을 추천해 달라”고 저자에게 요청해 왔기 때문이다. 그래서 문 교수는 많은 ‘예비검토자’들을 추천했는데, 그중에는 실명도 있었고 때로는 가명도 있었다. 그런데 그들의 인적사항에 기재된 이메일 주소는 죄다 가짜였다. 모든 이메일은 문 교수 자신 또는 그의 동료들에게 전달되도록 꾸며져 있었다. 문 교수의 고백 때문에 28편의 논문이 철회되고 한 명의 편집자가 사임하는 소동이 벌어졌다.

‘셀프심사’ 또는 ‘봐주기 심사’ 사례는 문 교수 건(件) 하나만이 아니다. 지난 2년 동안, 최소한 6건의 동료검토 조작 사건으로 110편 이상의 논문이 강제로 철회됐다. 모든 조작사건의 공통점은 “연구자들이 출판사 컴퓨터 시스템의 취약점을 교묘히 이용하여 편집자들을 속임으로써, 원고를 통과시켰다“는 것이다. 조작의 희생양이 된 출판사들은 인포마뿐만이 아니었다. 엘스비어(Elsevier), 스프링거(Springer), 테일러앤 프랜시스(Taylor & Francis), SAGE, 와일리(Wiley) 등 내로라하는 거대 출판사들이 줄줄이 속임수의 덫에 걸려들었다. 사기꾼들은 출판사들의 보안상 허점(security flaws)을 파고들었는데, 이로 인해 많은 연구자들은 심각한 명의도용(identity theft)의 위험에 무방비로 노출되었다. ”어이없게도, 전 세계에서 수십만 명의 학자들이 몇 안 되는 소프트웨어들을 사용하고 있다“라고 막스플랑크 심리언어학연구소(네덜란드)의 마크 딩에만서 박사(언어학)는 말한다. 딩에만서 박사 자신도 논문의 출판과 검토를 위해 그중 몇 개의 프로그램을 사용해 왔다고 한다.

그러나 아무리 최고의 보안을 자랑하는 소프트웨어라 할지라도 허점은 있기 마련이다. 일부 관측자들이 “편집자들이 논문을 검토자들에게 할당하는 방식, 특히 ‘저자들이 추천한 예비 검토자들을 활용하는 방식’을 바꿔야 한다”고 목소리를 높여 온 것은 바로 이 때문이다. 심지어 (자신과 친구들을 검토자로 추천한) 문 박사조차도, “나와 같은 사람들이 나오는 것을 막기 위해, 편집자들은 출판시스템을 철저히 감시해야 한다”고 주장했을 정도였다. 그는 2012년 한 인터뷰에서 “저자들이 자신과 친분이 있는 검토자들을 추천하는 것은 인지상정이다. 그러니 편집자들은 예비검토자들이 저자와 동일한 연구기관 소속이거나, (저자가 쓴) 선행논문의 공저자인지 여부를 체크해야 한다”고 말했다.

1. 봐주기 검토와 상호인용의 고리

최근 몇 년 사이에 일어난 ‘동료검토 조작사건’의 최고봉은 문 박사의 사례가 아니다. 2013년 5월, 당시 『the Journal of Vibration and Control』의 편집장을 맡고 있었던 알리 나이페는 몇 가지 황당한 소식을 들었다. 내용인즉, 한 저자가 그에게 “자신이 검토자라고 주장하는 두 명의 인물에게서 이메일을 받았다”고 제보해온 것이다. 검토자들은 저자들과 직접 접촉하지 않는 것이 상례(常例)다. 게다가 ‘자칭 검토자’들은 이상하게도 소속 연구기관의 이메일이 아니라 지메일 계정을 사용하고 있었다(‘동료검토 조작의 위험신호’ 참조).

<동료검토 조작의 위험신호>

일부 연구자들은 동료검토 시스템의 허점(편집자들이 논문의 저자에게 예비검토자를 추천해 달라고 요청하는 관행)을 이용하여 소위 ‘셀프심사’를 꾀해 왔다. 셀프심사의 의심이 가는 위험신호는 아래와 같다:

① 일부 연구자들을 검토위원에서 배제해 줄 것을 요청하면서, 해당 분야의 거의 모든 연구자들이 포함된 예비검토자 목록을 제출하는 경우
② 온라인에서 검색하기 어려운 검토자들을 추천하는 경우
③ 연구기관의 공식 이메일이 아닌, 지메일, 야후 등의 무료 이메일 주소가 포함된 예비검토자 명단을 제출하는 경우
④ 검토요청을 한 지, 불과 몇 시간 안에 회신이 오는 경우
⑤ 검토자가 논문을 극찬하는 경우
⑥ 심지어 제3의 심사자(reviewer number 3)까지도 논문을 옹호하는 경우

나이페는 즉시 저널의 출판사인 SAGE에 신고했다. SAGE의 편집자들은 제보자에게 받은 지메일 계정과 ‘자칭 검토자’의 소속 연구기관에 각각 메일을 보내, 신원확인과 출판목록을 요청했다. 그 결과 두 사람 중 한 명만이 “나는 이메일을 보낸 적이 없으며, 해당 분야의 연구자도 아니다”라는 회신을 보내왔다.

SAGE가 편집/법률/생산팀 소속 직원 20여 명을 투입하여 장장 14개월 동안 벌인 조사 결과, 사건의 전모가 드러났다. 두 개의 지메일 계정은 모두 톰슨로이터(Thomson Reuters)가 운영하는 『스칼러원(ScholarOne)』에 등록되어 있는 것으로 밝혀졌다. 스칼러원은 SAGE를 비롯한 많은 출판사들(인포마 포함)이 사용하는 출판관리시스템이다. SAGE의 조사팀은 두 개의 지메일 계정 소유자들(여러 명일 수도 있음)이 저술했거나 검토한 것으로 의심되는 논문들을 모조리 추적했다. 또한 ① 검토서의 문구, ② 저자가 추천한 검토자의 자세한 인적사항, ③ 참고문헌, ④ 검토에 소요된 시간(그중에는 불과 몇 분짜리도 있었다) 등을 세세히 체크했다. 이상의 과정에서, 조사팀은 의심이 가는 이메일 계정 130개를 추가로 조사했다.

확보된 자료목록을 샅샅이 조사한 결과, “논문의 저자들끼리 상대방의 논문을 검토하고 인용해 주는 사례가 비정상적으로 많다”는 사실이 밝혀졌다. 최종적으로 60편의 논문들에서 ‘동료심사와 관련된 사전접촉(tampering)’, ‘상호인용’, 또는 ‘두 가지 모두’와 관련된 증거가 발견되었다. “사태의 심각성을 감안하여, 우리는 저자나 검토자와 접촉하기 전에 모든 경로를 통해 움직일 수 없는 증거를 확보했다”라고 SAGE의 카미유 감보아 대변인은 말했다.

사건을 뒤덮고 있었던 자욱한 먼지가 걷히고 나자, 링의 중앙에는 한 명의 저자가 버티고 있는 것으로 드러났다. 그의 이름은 피터 첸! 당시 타이완 국립 핑퉁 교육대학(NPUE:  National Pingtung University of Education)의 공학자였다. 문제가 되는 논문의 공저자 명단에는 거의 예외 없이 그의 이름이 올라 있었다. 여러 번의 푸대접을 받은 끝에, SAGE의 조사팀은 첸과 만나는 데 겨우 성공했다. 첸은 어쩔 수 없이 조사에 응했고, 올해 2월 NPUE의 교수직에서 물러났다. 그리고 지난 5월, 나이페 역시 동료검토 스캔들에 책임을 지고 편집장직을 사퇴했다.

SAGE측은 총 60명의 저자들과 일일이 접촉하여 논문철회를 통보했다. 『Nature』는 이 사건에 대한 코멘트를 듣기 위해 첸과 접촉을 시도했으나 실패했다. 그러나 타이완의 관영뉴스가 지난 7월 보도한 바에 따르면, 첸은 “일련의 ‘봐주기 검토 및 상호인용’은 나의 단독범행이며, 이 과정에서 다섯 편의 논문에 교육부장관 몰래 그의 이름을 올렸다”는 내용의 성명서를 발표했다고 한다. 그러나 졸지에 유탄(流彈)을 맞은 치앙 웨리링 교육부장관은 첸의 주장을 전면 부정하면서도, “개인의 명예를 지키고 교육부장관으로서의 직무수행에 불필요한 혼란을 초래하지 않기 위해서”라는 공식 성명서를 발표하고 자진 사퇴했다.

그러나 이번 사건의 파장은 거기서 멈추지 않았다. 두 명의 저자들이 SAGE 측에 재심 및 원상복구를 요청한 것이다. 그러나 SAGE의 입장은 단호하다. 설사 본인이 첸을 몰랐거나 봐주기 검토를 인지하지 못했더라도, 이번 사건의 책임에서 벗어날 수 없다는 것이다.

2. 비밀번호의 허점

문(文)과 첸이 공통으로 노렸던 것은 『스칼러원』의 ‘자동화된 처리과정’이 가진 특징이었다. 한 명의 연구자가 논문검토 요청을 받을 경우, 그(녀)에게는 로긴 정보가 담긴 통보 이메일이 보내진다. 통보 이메일이 가짜 이메일 계정에 도착하면, 문과 첸은 - 저널 측에 처음 등록한 이름이 무엇이든 - 추가 신분확인 없이 시스템에 접속할 수 있었다. 이처럼 허술한 시스템에 대해 톰슨로이터의 재스퍼 시몬스 부사장(제품 및 시장전략 담당)은 이런 궁색한 변명을 늘어놨다: “스칼라원은 높은 평가를 받는 동료검토시스템이다. 적절한 자격을 갖춘 검토자를 초빙하는 것은 저널의 책임일 뿐, 우리의 소관사항이 아니다.”

참고로, 네이처 출판그룹(NPG: Nature Publishing Group)이 발간하는 저널 중에서도 몇 개가 『스칼러원』을 사용하고 있다. 그러나 『네이처』와 (맨 앞에 ‘네이처’라는 브랜드명이 붙은) 자매지들은 eJournalPress가 개발한 다른 소프트웨어를 사용하고 있다. 이와 관련하여 NPG의 관계들은 “우리는 그 같은 동료평가 조작 사건의 희생물이 된 적이 없다”고 밝혔다.

그러나 취약한 출판시스템이 어디 『스칼러원』 하나뿐이겠는가. 많은 학술단체와 출발사들(스프링거와 PLOS 포함)은 아리에스 시스템스(Aries Systems)의 『에디토리얼 매니저(Editorial Manager)』를 사용하고 있다. 예컨대 미국 과학진흥협회(AAA: American Association for the Advancement of Science)의 경우, 『Science』, 『Science Translational Medicine』, 『Science Signaling』에 대해서는 자체적으로 개발한 시스템을 사용하지만, 오픈액세스 저널인 『Science Advances』에 대해서는 『에디토리얼 매니저』를 사용한다. 엘스비어가 사용하는 『엘스비어 에디토리얼 매니저』는 『에디토리얼 매니저』의 OEM 버전이다.

『에디토리얼 매니저』의 가장 큰 문제점은 비밀번호 관리방법이다. 사용자들이 비밀번호를 잊은 경우, 『에디토리얼 매니저』는 해당 비밀번호를 - 암호화하지 않고 - 평범한 텍스트(plain text)를 사용하여 사용자의 이메일로 전송해 준다. 『PLOS ONE』의 경우, 예컨대 사용자에게 ‘새로운 원고를 검토하기 위해 로그인하라’고 요청할 때, 프롬프트 없이 비밀번호를 그대로 노출시킨다. 그러나 대부분의 현대적인 웹서비스들(예: 구글)의 경우, 비밀번호를 - 누군가가 가로채지 못하도록 막기 위해 - 여러 겹의 부호로 은폐한다. 암호를 잊었을 때, 사용자에게 암호를 리셋하라고 요구하면서 다른 방식으로 신분을 확인하는 것도 같은 맥락이다.

보안상 허점의 폐해는 단지 동료평가 과정을 훼손하는 데 그치지 않는다. 사람들은 여러 온라인활동(예: 온라인 뱅킹, 온라인 쇼핑)에 동일하거나 유사한 비밀번호를 사용하는 경우가 많기 때문에, 이메일을 통해 비밀번호가 노출될 경우 해커들에게 자료손상 이상의 못된 짓을 할 기회를 준다.

『에디토리얼 매니저』를 이용하여 수많은 저널(『PLOS ONE』 포함)에 논문을 발표한 딩에만서 박사는, 아무런 보안조치를 취하지 않는 저널 측의 태도가 놀랍기 그지없다고 한탄한다. 아리에스와 『PLOS ONE』은 이에 대한 『Nature』의 논평 요청에 아무런 반응을 보이지 않았다.

3. 안전장치

허술한 비밀번호는 어떻게든 뚫리기 마련이다. 2012년, 엘스비어에서 발행하는 『Optics & Laser Technology』는, 정체불명의 일당이 편집자의 계정에 접근하여 '가짜 검토자'에게 논문을 할당한 것을 발견하고 11편의 논문들을 철회했다. 그러나 철회된 논문의 저자들은 해킹에 가담하지 않은 것으로 밝혀져, 다시 한 번 논문 제출 기회를 부여받았다.

그 이후 엘스비어는 검토 조작 및 사기를 예방하기 위해 몇 가지 조치를 취했는데, 그중에는 동사(同社)가 발간하는 저널 중 100개를 골라, 모든 계정을 통합하는 시험 프로그램(pilot programme)도 포함되어 있다. 그렇게 되면 계정의 수가 줄어들어, 부정을 저지르는 계좌를 색출하기가 한결 쉬워진다는 것이 엘스비어 측의 설명이다. 이 조치가 성공적인 것으로 밝혀진다면, 2015년 초에는 엘스비어가 발행하는 모든 저널로 계좌통합 작업이 확대될 것으로 보인다. 더욱이, 앞으로 편집시스템이 검토자에게 보내는 이메일에는 더 이상 비밀번호가 포함되지 않게 될 것이다. 또한 편집시스템은 검토자의 신원을 검증하기 위해, 다양한 지점에서 ORCID(Open Researcher and Contributor ID) 식별자를 채택하고 있다. ORCID 식별자(identifier)란 개별 연구자들에게 할당된 고유번호로, 설사 소속 연구기관이 바뀌더라도 해당 연구자의 출판물을 모두 추적할 수 있도록 설계되었다.

스칼러원은 ORCID의 통합까지도 허용할 예정지만, 그것을 어떻게 활용할 것인지는 개별 저널의 결정에 달렸다. 감보아에 의하면, 스칼러원을 채택한 과학자들의 수가 충분하지 않아, 모든 검토자에게 ORCID를 요구하는 것은 불가능하다고 한다. 그리고 또 하나의 문제는, 불행하게도  - 여느 온라인 검증시스템과 마찬가지로 - ORCID 역시 비윤리적 조작(예: 해킹)의 위험에서 완전히 자유로울 수는 없다는 것이다. 사실 이것은 흔히 지적되는 사항이다. "시스템이 기술적으로 진보하고 자동화될수록, 해커들이 장난칠 방법은 더욱 많아지기 마련이다. 사회문제를 근본적으로 해결할 수 있는 기술적 해법은 거의 존재하지 않는다"라고 하버드 로스쿨 산하 인터넷 및 사회문제연구소의 브루스 슈나이어(컴퓨터 보안 전문가)는 말한다.

그렇다면 결국에는, 편집자와 출판사들이 조심하는 수밖에 없다는 이야기가 된다. 예비검토자와 접촉할 때 이메일 계정을 신중히 검토하여, 기관 계정이 아닌 무료계정(예: 지메일)을 사용하는 연구자를 걸러내는 것도 한 가지 방법이 될 수 있다. 그러나 명심할 것은, 지메일이 완벽한 정당성을 갖춘 계정일 수도 있다는 것이다. "수상한 이메일만 조심해도 사기꾼을 잡아내는 것은 가능하다. 우리는 ‘이메일 계정을 조작하여 누군가의 신원을 도용하려고 시도한 사례들’을 여럿 적발한 적이 있다. 그러나 그런 방법은 완전하지 않다"라고 바이오메드 센트럴(BioMed Central)의 지기샤 파텔 부편집장은 말했다. 지난 9월 바이오메드 센트럴 측은 『BMC Systems Biology』에 실린 논문을 철회하면서, "동료평가 과정은 불완전하며, 저자들의 부당한 영향력에 좌지우지될 수 있다"고 고충을 토로했다.

일부 과학자와 출판사들은 "우선, 저널 측이 저자들에게 검토자를 추천하라고 요구하는 관행부터 없애야 한다"라고 한목소리로 외친다. 이에 대해 호주 마취학회가 발간하는 『Anaesthesia and Intensive Care』의 편집자인 존 로즈먼은 "저자가 검토자를 추천하는 '기이한 관행'은 완전히 미친 짓이다. 우리는 그런 관행을 용납하지 않는다"라고 말했다. 이 같은 관행을 채택한 저널이 전체 저널 중 몇 퍼센트인지는 분명치 않다. 그러나 학문 분야가 점점 더 전문화되어 감에 따라, 바쁜 편집자들이 적절한 전문가를 찾아내는 것은 여간 어려운 일이 아니다. "내가 논문을 제출하는 저널 중 대부분은 5명 이상의 예비검토자를 추천하라고 요구한다"라고 콜로라도 주립대학교의 제니퍼 니보그 교수(생화학)는 말했다.

‘첸 스캔들’과 관련하여 SAGE가 철회한 논문 60편을 보면, 저자들이 지명한 검토자들에게 검토를 받은 경우가 대부분이다. 이러한 쓰라린 경험에도 불구하고, 『Journal of Vibration and Control』은 - 몇 가지 안전장치를 추가하기는 했지만 - 아직도 저자들에게 "논문 원고를 제출할 때는 동료검토자를 추천하고, 그들의 이메일 주소를 첨부하라"고 요구하고 있다. 과학출판의 도덕적 나침반 기능을 수행하고 있는 출판윤리위원회(COPE:  Committee on Publication Ethics)는 이러한 관행에 대해 아무런 지침을 내놓지 못하고 있으며, 단지 저널들에게 '검토자들을 충분히 조사하라'고 촉구하고 있을 뿐이다(COPE는 조언을 강제할 권한이 없다). "검토자들의 이름, 주소, 이메일을 늘 체크하는 것이 가장 좋은 관행이다. 편집자들은 흔히 선호되는 검토자들(preferred reviewer)만을 선정해서는 안 된다"라고 COPE의 운영책임자인 나탈리 릿지웨이는 말한다.

NPG가 운영하는 저널들의 경우, 저자들에게 '독립적인 검토자(independent reviewers)'를 추천하라고 권고한다. 그러나 이런 권고사항들이 항상 이행되는 것은 아니다. 편집자들은 검토자를 선정하는 과정에서 이해관계 상충(conflict of interests) 여부를 체크하는데, 저자들 역시 편집자들에게 '관리불가능한 상충관계(unmanageable conflicts)가 있는 검토자들(예를 들면, 경쟁관계에 있는 연구자)을 제외해 달라'고 요구할 권리가 있다. 출판사는 3명 이상의 저자나 연구실을 넘지 않는 범위 내에서, 저자들의 요구사항을 존중하는 것이 관례다.

때로는 저자의 검토자 추천이 되레 역효과를 낼 수도 있다. 스프링거가 출판하는 『Osteoporosis International』의 공동편집장을 맡고 있는 로버트 린지에 의하면, 자신들은 저자에게 최대 2명의 검토자를 추천하도록 허용한다고 한다. 그러나 그는 저자가 추천하는 검토자의 명단을 도편추방제(ostracism)의 근거자료로 활용한다. 다시 말해서, 문제의 소지가 있는 검토자를 사전에 걸러내는 수단으로 이용한다는 이야기다. 이는 과거의 경험에 근거한 노하우로, 그는 저자들이 지인(知人), 심지어 가족, ‘같은 아파트 주민’, ‘본인이 지도하는 대학원생들’을 추천하는 사례를 본 적이 있었다고 한다. 따라서 저자가 추천한 예비검토자가 실제 검토자로 선정되는 경우는, '편집자가 도저히 다른 과학자를 섭외할 수 없는 경우'로 한정되며, 이 경우에도 철저한 검증과정을 거치는 것은 기본이라고 한다.

그러나 검토자를 객관적으로 검증한다는 것은 매우 어렵다. 미국과 유럽의 편집자들은 해당 지역의 과학계 사정에 정통하므로, 구미(歐美)의 저자와 검토자들에 대해서는 그들 간의 잠재적 이해관계를 파악할 수 있는 것이 보통이다. 그러나 린지에 의하면, 서구의 편집자들은 아시아 출신의 저자들에 대해서는 아는 것이 별로 없어, 검토자 선정에 어려움을 겪는다고 한다. 이런 경우, 출판사들은 편집자들의 검증을 거친 검토자를 반드시 한 명 이상 포함시키게 된다.

린지에 의하면, 그가 겪은 최악의 사례는 '한 여성 저자가 자신과 이름(first name)이 같고 성(surname)만 다른 검토자를 추천한 것'이라고 한다. 그런데 조사 결과, 그 성은 저자가 결혼 전에 사용하던 성(maiden name)인 것으로 드러났다. 결국 그 저자는 '내가 내 논문을 검토하겠다'고 추천한 것이었다. "그 저자는 앞으로 영원히 우리 저널에 논문을 제출하지 못할 것이다"라고 린지는 말했다.

※ 출처: Nature 515, 480&#8211;482 (27 November 2014) doi:10.1038/515480a
http://www.nature.com/news/publishing-the-peer-review-scam-1.16400

※ 참고기사:
1. http://scienceon.hani.co.kr/?mid=media&act=dispMediaListArticles&tag=%EB%AC%B8%ED%98%95%EC%9D%B8&document_srl=54091
2. http://www.kyosu.net/news/articleView.html?idxno=25992
3. http://retractionwatch.com/2012/08/24/korean-plant-compound-researcher-faked-email-addresses-so-he-could-review-his-own-studies/

바이오토픽 양병찬(약사, 번역가) 서울대학교 경영학과와 동대학원을 졸업하고, 은행, 증권사, 대기업 기획조정실 등에서 일하다가, 진로를 바꿔 중앙대학교 약학대학을 졸업하고 약사면허를 취득한 이색경력의 소유자다. 현재 서울 구로구에서 거주하며 낮에는 약사로, 밤에는 전문 번역가와 과학 리포터로 활발하게 활동하고 있다. 풍부한 인생경험을 살려 의약학, 생명과학, 경영경제, 스포츠, 소설에 이르기까지 다양한 분야의 서적들을 번역 출간했다. 매주 Nature와 Science에 실리는 특집기사 중에서 바이오와 의약학에 관한 것들을 엄선하여 실시간으로 번역 소개한다. https://www.facebook.com/OccucySesamelStreet