상종가라는 '데이터 과학자' 직종, 실제 수요는?

[이승훈]

 상종가라는 '데이터 과학자' 직종, 실제 수요는?

Sharon Florentine | CIO

빅 데이터와 관련해 여러 미디어들은 엄청난 돈을 들여 기술 좋은(그리고 돈도 많이 받는) 데이터 과학자를 고용해야 한다고 호들갑이다. 하지만 미디어만 믿고 대학원 지원서를 썼다간 낭패를 볼 지도 모른다.

대부분 기업들은 빅 데이터를 ‘스마트 데이터’로 전환시키기 위해 데이터 과학자를 새로 고용하는 대신 데이터 분석 기술을 강화하고 기존 직원들을 교육하는데 초점을 맞추고 있기 때문이다.

중소기업과 ‘빅 데이터’

일단 대부분의 중소기업들은 요즘 한창 난리인 빅 데이터 열풍에 크게 동조하지 못하고 있다는 진단이다. 컴티아 연구소장 팀 허버트는 중소기업 문제의 대부분이 실제로 빅 데이터와 관계가 없는 것이기에 이와 관련해 새로운 인력을 고용하는 일도 없을 것이라고 예상했다.

“상당수 기업들은 빅 데이터와 관련해서는 아무 문제가 없다. 이들 기업이 겪는 문제는 훨씬 ‘작은’ 문제들”이라고 허버트는 말했다. 그는 이어 중소기업 데이터 관련 문제의 상당부분은 경영상의 목표를 정하고 원 자료(raw data)를 실행 가능한 정보로 바꾸는 과정에서 마케팅, 재무, 경영 활동 등의 부서와 IT 부서 사이에서 발생한다고 그는 덧붙였다.

허버트는 “비즈니스 데이터를 쓸모 있는 경영 정보로 바꿀 방법을 찾고 있는 것은 사실이지만, 대부분 중소기업들은 그 방법으로 데이터 분석 및 하둡(Hadoop)같은 기술을 선택하는 편이며 그 이상의 거창한 방법을 필요로 하지는 않는다”라고 설명했다.

지난 달 출판된 컴티아의 제2차 연간 보고서 “빅데이터 인사이트 앤 오퍼튜니티(Big Data Insights and  Opportunities)”에 따르면 이들 중소기업의 상당수가 전문 데이터 과학자를 고용하기보다는 기존의 직원들을 교육시키는 쪽을 선택하고 있다.

“대부분 기업들은 비싼 돈을 주고 전문 데이터 과학자를 고용할 실용적인 이유가 전혀 없다. 그래서 기존 인적 자원에 돈을 투자하려는 것” 이라고 허버트는 말했다.

그는 또, 컴티아의 연구 결과에 따르면 대부분의 경우 중소기업에서는 부가적으로 교육을 시키는 일이 발생하더라도 기존의 비즈니스 애널리스트 및 금융 전문가 인력을 활용하는 것으로 나타났다고 말했다.

실제로 이런 경향은 매우 뚜렷하게 나타나고 있다. 연구 결과에 따르면, 세일즈 및 연구 부서의 빅 데이터 관련 프로젝트 참여율이 각각 17%, 13%에서 27%, 25%로 증가한 것으로 드러났다.

이런 추세에 비추어 볼 때, 이미 빅 데이터는 IT 부서의 전유물에서 벗어나 다른 부서들에까지 침투하고 있다는 진단이다.

허버트는 “대부분 기업들은 회사 데이터를 분석 및 가치 창출에 용이한 형태로 전환하는 데 투자가 필요하다는 사실을 깨닫지 못하곤 한다. 하지만 이를 깨닫고 나면, 이를 위한 적합한 기술을 찾는 일은 별로 어렵지 않다. 정말 어려운 건 관련 데이터를 분석할 전문 인력을 찾아 육성하는 것이다. 이는 시간이 걸리는 일이다”라고 말했다.

대기업과 빅 데이터 문제

한편 대기업의 경우 초기 단계에서는 데이터 과학자 수요가 상대적으로 더 클 것이라고 코그니시오(Kognitio)의 CTO 라저 가스켈은 말했다.

대부분 대기업들에서는 경쟁 우위를 점령하기 위해 수동적으로 일어난 일에만 대처하기 보다는 데이터 과학자를 고용해 시장의 미래 동향이나 매출 주기 및 트렌드, 소비자 행동 등을 예측하는 데 이용하려 한다는 설명이다.

가스켈은 “그렇다고 해도, 예측적 애널리틱스를 위해서 한두 명의 데이터 과학자를 고용할 수는 있지만 수십 명을 고용하는 것은 비용 측면에서 비효율적일 것”이라고 설명했다. 대신 기업들에서는 비즈니스 및 파이낸셜 애널리스트, 그리고 일반 직원들에게 자동화 툴을 이용한 데이터 애널리틱스를 교육시킬 것이 유력하다고 그는 덧붙였다.

코그니시오의 사업개발 및 마케팅 부대표인 마이클 히스키는 “우리 고객들의 피드백을 살펴보면, 3명에서 7명 가량 되는 소수의 숙련된 데이터 과학자만을 원하고 있는 것으로 나타났다”라고 전했다.

수수의 데이터 과학자를 현업 애널리스트가 보조하고, 또 여기에 인턴들이 함께 일을 도우면 굳이 많은 데이터 과학자를 고용할 필요가 없다ㄴ느 설명이다. 코그니시오 역시 코그니시오 애널리틱스 센터 오브 엑설런스(Kognitio Analytics Center of Excellence, KACE)라 불리는 이런 구조를 통해 엄청난 성공을 거두었다고 그는 설명했다.

빅 데이터, 허구와 진실

하둡 솔루션 공급자 메타스케일(MetaScale)의 글로벌 세일즈 및 마케팅 본부장 앙쿠르 굽타는 “데이터 과학자 직종에 쏟아지는 관심에는 분명 과열과 과장이 존재한다. 특히 빅 데이터 활용 및 연계 과정이 아직은 시작 단계이기 때문에 더욱 그러한 측면도 있을 것이다”라고 말했다.

굽타는 “기업에게 데이터를 심도 있게 탐구하고 트렌드를 이해해 기회를 포착할 수 있는 통계적, 예측적 모델링에 대한 배경을 지닌 인물이 필요하다는 점은 분명하다. 하지만 그들에겐 현재의 트렌드와 활동이 보다 명확해질 때까지 기다릴 수 있는 인내심 역시 필요하다 조언하고 싶다”라고 덧붙였다.

마지막으로 그는 “현시대의 주인공 빅 데이터는, 아직은 분명 데이터를 해부하고 그 결과물을 의사 결정 과정에 투입할 수 있는 지식을 갖춘, 전문가의 손길이 필요하다. 하지만 빅 데이터 개발은 초기 단계임을 기억하자.

테크놀로지의 발전이 진행됨에 따라 기업들은 그것의 처리 기능을 기계와 소프트웨어에 이양하게 될 것이다. 이 작업을 위해 열 명의 데이터 과학자를 고용하려 한다면, 한 번 재고해보길 바란다”라고 말했다. ciokr@idg.co.kr

     데이터 전문가 수요, 2017년 2배로 증가

Anh Nguyen | Computerworld

학생들이 다양한 분야에서 빅 데이터를 적용할 수 있는 많은 기회를 알지 못하는 것 같다는 조사가 발표됐다.

SAS의 후원으로 진행된 조사에 따르면, 대기업에서 빅 데이터 전문가 수요가 2017년에 6만 9,000명에 달하며 현재보다 2배 이상이 될 것으로 예상됐다.

2013년 조사에서는 임직원 수 100명 이상인 기업들이 빅 데이터 전문가로 채용한 사람들은 총 3만 1,000명이었으며 이는 매년 평균 49%씩 늘어났다.

이 조사를 실제 수행했던 기술위원회 e-스킬 UK의 CEO인 캐런 프라이스는 “지난해 조사에서 필요한 기술 인력 채용에 문제를 겪는 기업들은 10개 중 6개였으며 그점이 바로 우리가 직면한 도전이다"라고 말했다.

필요한 기술력

연구의 일환으로, e-스킬 UK는 IT잡워치(IT Jobs Watch)의 데이터를 IT중심 역할과 데이터 중심 역할을 나누고 가장 수요가 많은 빅 데이터 기술력이 무엇인지를 파악하고자 이 데이터를 분석했다.

현재 가장 수요가 많은 5분야의 데이터 전문가들은 개발자, 아키텍트, 컨설턴트, 애널리스트, 운영자로 조사됐다.

여기에는 애자일 소프트웨어 개발, 스크럼, SOA도 포함된다. 또한, 오라클, 자바, SQL, 리눅스, 자바 스크립트 기술력에 대한 수요도 있었다.

한편, 데이터 관력 직 중 가장 인기가 많은 것은 BI 컨설턴트, 데이터 아키텍트, 비즈니스 애널리스트, BI 아키텍트, BI 애널리스트다.

여기에 필요한 프로세스 기술은 BI, NoSQL, 데이터웨어하우스, 빅 데이터며, 오라클 BI EE, 몽고DB, MySQL, 하둡, 인포매티카, 아마존 EC2의 경험이 가장 중요한 것으로 꼽혔다.

빅 데이터 기회 무궁무진

그러나 전반적인 IT업계에서 데이터 관련 인력 수요가 늘어나면서 이 분야의 기술 인력 부족현상이 벌어졌다. 문제는 학생들이 전통적인 은행 활용 사례 이외에 빅 데이터를 적용할 수 있는 기회를 인식하지 못하는 것이다.

런던대학교의 필립 트텔리번 교수는 "학생들은 빅 데이터가 골드만삭스나 리스크 모델 이외에 다른 분야에서도 적용할 수 있다는 것을 알지 못한다”라고 지적했다. 그는 이어서 “유통, 의료, 스포츠 등 흥미로운 많은 분야에서도 빅 데이터의 수요가 존재한다”라고 말했다.

SAS의 CEO인 짐 굿나잇 박사 역시 빅 데이터 기술력을 가진 사람들이 앞으로 더 많은 연봉을 받게 될 가능성이 높다고 강조했다.

그는 지난해 미국에서 열린 SAS의 비즈니스 분석 과정에서 “81명의 졸업생이 모두 연봉 8만 달러~12만 달러의 구인 제안을 최소 3개 이상 받았다”라고 밝혔다.

굿나잇에 따르면, 올해 이 프로그램에 지원한 사람은 400명이었다.

사용자 층으로 한 계단 더 내려온 빅 데이터 교육

빅 데이터 사용자 수가 올해 38만 2,000명에서 2017년 64만 4,000명으로, 늘어날 것으로 SAS 연구는 전망했다. 여기에는 IT와 데이터 부서 이외에 대시보드, 시장 분석, 핵심성과지표(KPI) 데이터 같은 특별한 빅 데이터 툴을 사용하는 사람들도 포함된다.

‘빅 데이터 분석 : 도입 및 고용 동향’이라는 이 보고서는 영국 중소기업 541개와 종업원 수 100인 이상인 대기업 500개를 대상으로 조사한 결과다. ciokr@idg.co.kr