논문평가도 인공지능이 개입한다 ㅡ 신속·정확하게 논문의 질 평가할 수 있어

[은 희]

우주 공간에 극미량의 은 성분이 있다고 하자. 이 가설을 증명하기 위해 과학자들은 실험을 하게 된다. 그리고 관련 데이터를 모으며 가설을 입증해나간다. 그리고 이 과정을 논문으로 작성해 과학 학술지에 발표하게 된다.

‘사이언스’, ‘네이처’ 같은 일부 학술지들은 과학 전반에 걸쳐 다양한 분야의 논문을 게재한다.  그러나 대다수 학술지들은 특정 전문 분야 글들을 싣는다. 이렇게 학술지에 실린 논문들은 ‘동료평가(peer review)’의 과정을 거친다. 익명의 많은 전문가들이 논문을 살펴보고 그 논문의 질을 평가하는 과정을 말한다.

과학자들이 이렇게 하는 것은 연구 결과에 대한 객관성과 신뢰도를 높이기 위해서다. 이 동료평가 방식은 그동안 과학 발전에 큰 기여를 해왔다. 과학자들 간의 건설적인 피드백을 주고받으며 부족한 점을 보완해나갈 수 있기 때문이다.

문제는 이 방식에 오류가 있을 수 있다는 점이다. 평가자가 사람인만큼 동료평가 과정에서 훌륭한 논문을 알아보지 못하고 편견과 왜곡이 있을 수 있다.

‘사이언스’, ‘네이처’ 등 과학학술지에서 진행해온 게제 논문에 대한 동료평가를 인공지능이 대신할 수 있는 프로그램이 개발되고 있다. 사진은 대학 연구진과 공동으로 인공지능 평가 프로그램을 개발 중인 출판사 ‘엘제비어’ 사이트. 2016년 노벨상 수상자 논문을 게재하고 있다. ⓒElsevier

논문 요지 비교분석해 질적 수준 평가 

21일 ‘와이어드(Wired)’ 지에 따르면 이런 단점을 해결하기 위해 또 다른 동료평가 방식이 개발되고 있다. 유니버시티 칼리지 런던(UCL)의 연구팀이 사람 대신 인공지능(AI)을 활용해 논문을 평가할 수 있는 프로그램을 개발 중이다.

UCL에서 인공지능을 연구하고 있는 이사벨 아우겐슈타인( Isabelle Augenstein) 연구원은 “인공지능을 통해 논문이 의도하고 있는 목적과 함께 이를 증명해 나가기 위한 기본적인 팩트(facts)를 매우 신속하게 뽑아낼 수 있다”고 말했다.

이렇게 뽑아낸 팩트는 다른 논문에서 뽑아낸 팩트 들과 비교 과정을 거치게 된다. 그리고 그 논문의 수준을 평가할 수 있다는 설명이다.

인공지능의 강점은 사람처럼 편파적인 오류를 범할 가능성이 매우 적다는 것이다. 개인적인 관계로 인해 동료평가에 있는 냉철함을 잃을 가능성이 전혀 없다. 기계인 만큼 신속한 분석이 가능해 논문 평가를 위해 소요되는 많은 시간을 줄여나갈 수 있다. 빼놓을 수 없는 강점은 사람보다 탁월한 수학 실력이다.

이런 능력을 가지고 순식간에 논문을 평가할 경우 과학계 전반에 미치는 영향이 지대할 것으로 보인다. UCL 연구팀은 이미 기본적인 골격을 완성했으며, 논문의 단편적인 내용들을 분석·평가할 수 있는 프로그램을 개발했다고 말했다.

아우겐슈타인 연구원에 따르면 프로그램 개발에 머신러닝과 자연어처리(processing natural human language) 기술이 적용되고 있다. 이 기술을 통해 AI가 논문의 핵심 개념들을 파악한 후 그 단어들을 유형에 따라 분류해나간다.

그리고 각각의 논문에서 제시하는 핵심 내용을 비교해나가는 방식을 채용하고 있다. 현재 아우겐슈타인 등 포스탁 과정에 있는 연구원들은 의·과학 분야 세계적인 출판사인 네덜란드 엘제비어(Elsevier) 사와 기술협약을 맺고 있다. 매년 발행하고 있는 논문들을 신속 정확하게 평가하기 위해서다.

세계 3대 과학전문 학술지 출판사인 엘제비어는 ‘신경과학(Neuroscience)’, ‘어플라이드 카탈리시스(Applied Catalysis A: General)‘ 등 7500여 종의 학술지를 발행하고 있다.

지난 2015년에는 이들 학술지를 통해 약 70만 명의 평론가가 180만 여건의 비평을 보내왔지만 실제로 실린 글은 40만 건 정도에 불과하다. 100만 건이 훨씬 넘는 평론이 걸러지는 것은  동료평가를 할 수 있는 전문가 수가 매우 부족하기 때문이다.

인공지능 전문가이면서 데카르트(Descartes) 사 CEO인 마이크 웨렌(Mike Warren) 씨는 “동료평가를 하려는 전문가들은 많지만 신뢰할만한 박사급 인원은 세계적으로 100명 정도에 불과하다”고 말했다.

엘제비어 사는 이 문제를 해결하기 위해 ‘에비제(Evise)’란 이름의 툴을 개발 중이다. 이 장치의 1차적인 목표는 논문 표절을 방지하는 일이다. 최종적인 목표는 인공지능을 통해 신속하고 정확한 동료평가를 해나가자는 것이다.

관계자들은 ‘에비제’를 통해 그동안 매끄럽지 못했던 논문저자-편집자-평론가로 이어지는 순환구조가 순조로와 질 것으로 보고 있다. 엘제비어는 또 이 툴을 적용해 지난 400여 년 동안 보관해온 방대한 분량의 사본들을 분류해나갈 계획이다.

대형 출판사 AI 평가 시스템 도입 중   

독일의 과학전문 출판사인 ‘스프링거 네이처(Springer Nature)’ 사도 논문의 동료평가를 할 수 있는 자동화된 소프트웨어를 개발 중이다. ‘슈타트리뷰어(StatReviewer)’란 이름의 이 툴은 각각의 논문에서 정밀한 통계자료를 뽑아낼 수 있다.

관계자들은 조만간 학술지의 동료평가가 인공지능을 통해 완전 자동화될 것으로 보고 있다. 또한 논문 분석 방식 역시 더 업그레이드돼 사람이 미처 발견하지 못한 내용을 발견하게 될 것으로 보고 있다.

과학자들은 현재 다양한 알고리듬을 통해 동료평가 방식을 강화할 수 있는 방안을 연구 중이다. 그동안 전통적이고 보수적인 방법을 고수해오던 과학학술지 풍토에 큰 변화가 밀려오고 있다.

[샤론]

시대는 어떻게 변할 지,,,,,,,,,,,,,,,,
급속도로 변해가는 세대를 우리는 알기도 읽기도 맞추기도 어렵네요. ^^

[은 희]

이거 웃으라고 갖다놓은거에용
이제 노력안하고 거지발싸게 같은 교수늠덜 다 주거써요~
집안 담장안에서 그럭저럭 만들어 교수 꼬리표 달아주는 그따위 짓도 골아파질거구요 ㅋㅋㅋ

[수정산]

잘 읽고 갑니다

[은 희]

수정산님 즐겁게 사시자구요^^

[갑봉]

AI가 우리의 모든 역활들을 다 해버리면 인간들은 뭘하죠......정말로 터미네이터 4 처럼 되는것 아닌가 모르겠네요.....

[은 희]

인간들은 열심히 사랑하고 아이낳고 기르고 잘먹고 잘살고 좋은면만 보시자구요 ㅎㅎㅎ

[비홍산]

인공지능이 인간을 압도해가는 지금 번역에서만은 풍부한 표현력이 부족하다네요.

[은 희]

바로 감성이란걸 기계는 흉내낼 수 없는거겠죠 ㅎㅎ