|
"빅데이터"란 무엇인가? 필자 : 월간CEO& / 월간[CEO&] 2015.03 호 IT업계의 일각에서 유망 트렌드의 하나로 소개되던 빅데이터가 큰 이슈로 급부상했다. 빅데이터가 갑자기 유명세를 탄 데는 2012년 1월 스위스 다보스에서 열린 세계경제포럼(World Economic Forum, 일명 다보스 포럼)에서 ‘국제 개발의 새로운 가능성을 여는 중요한 기술 중 하나’로 빅데이터를 지목했기 때문이다.
세계인에게 주어진 많은 문제, 다시 말해 재정위기, 기후 변화, 에너지, 환경, 안보, 빈곤 등의 문제를 해결하기 위 해서는 더욱 광범위한 정보가 필요해졌다. 그리고 그 해결책으로 등장한 것이 바로 빅데이터이다. 빅테이터의 중 요성은 관련 기사의 증가에서도 알 수 있다. 2012년 1/4분기에 1,309건이, 2/4분기에는 무려 1,953건의 기사 가 빅데이터 관련 기사로, 하루 평균 10개 이상 나왔다는 통계가 이를 뒷받침한다.
빅데이터란
빅데이터는 단순히 ‘큰’ 데이터가 아니다. 우리는 빅(Big)이라는 단어가 주는 강렬함에서 뭔가 거대한 이미지를 떠올린다. 빅데이터란 통상적으로 ‘예전에는 장기적으로 저장되지 않거나 분석되지 않던 (방대한 분량)의 데이터’를 뜻한다. 디지털 기술의 발달로 과거에는 기록 자체가 되지 않고 저장되지 않던 것들이 디지털 데이터로 쌓이게 되면서 분석이 가능하게 된 것이다. 빅데이터는 세가지 특징을 가지고 있다. 우선 데이터의 규모(Volume)가 다르다. MB, GB 단위에서 TB, PB(Peta 바이트), EB(Exa 바이트), ZB(Zeta 바이트) 등으로 올라간다. 과학이나 의학 등의 분야 외에 우리 일상의 삶에서 쏟아져 나오는 데이터도 엄청나다. 각 기업이 보유한 소비자들에 대한 정보 역시 빅데이터이며, 매일같이 업데이트되고 있다.
두 번째는 데이터의 다양성(Variety)이다. 기존의 고객신상, 회계 등의 정형 데이터에서 동영상, 음악메시지, 소셜미디어, 위치정보, 게시물 등의 비정형 데이터의 생성이다.데이터마다 그 크기와 내용이 달라서 통일된 구조 로 정리하기 어려운 비정형 데이터는 갈수록 그 비율이 늘어날 것임이 확실하다.
셋째는 데이터가 쏟아져 들어오는 속도(Velocity)이다. 몇 시간에서 몇 주이던 유통속도가 분,초 단위로 빨 라졌다.예전에는 어떤 사건이 일어나도 그 데이터를 수집,처리하고 소비자에게 전달되기까지 시간이 필요 했다.그러나 지금 대중은 동영상 생중계 혹은 트위터와 같은 SNS를 통해서 의 실시간으로 소식을 접한다.당연히 이 과정에서 수많은 데이터가 엄청나게 빠른 속도로 축적되고 있다.
이렇게 볼 때 빅데이터는 기존의 방식으로는 관리와 분석이 어려운 데이터의 집합이고,이를 관리 분석하기 위해 필요한 인력과 조직 및 관련 기술까지 포괄하는 용어로 정의할 수 있다. |