[일반] 빅 데이터

[master]

□ 개념

 ▶ 빅 데이터란 무엇인가

데이터의 생성량·주기·형식 등이 기존의 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집·저장·검색·분석이 어려운 방대한 데이터를 말한다. 웹사이트의 방문기록, 온라인 서비스의 이용기록, 검색사이트의 검색통계, 소셜미디어의 소통기록 등 막대한 데이터는 기존의 관리 및 분석 체계로는 감당할 수 없어 '빅 데이터' 분석이 필요하다. 빅 데이터 분석은 정제되지 않은 막대한 양의 정보를 분석하는 기법으로 최신 통계 기법과 인공지능 기법 등을 망라하고 있다. 컴퓨터 및 처리기술이 발달함에 따라 디지털 환경에서 생성되는 빅 데이터와, 이 빅 데이터를 기반으로 분석할 경우 질병이나 사회현상의 변화에 관한 새로운 시각이나 법칙을 발견할 가능성이 커지고 있다.

 ▶ 기존 데이터와 빅 데이터 비교

구분	기존 데이터	빅 데이터
데이터 양	테라바이트(TB) 수준	페타바이트(PB) 수준 (최소 100 테라바이트 이상)
데이터 유형	정형데이터 중심	정형데이터 외에도 소셜미디어의 동영상, 사진, 대화내용, 검색어 통계 등 비정형 데이터 비중이 높다.
프로세스 및 기술	처리/분석 과정이 정형화 원인/결과 규명 중심	다양한 데이터 소스, 복잡한 로직 처리 등 처리 복잡도가 매우 높음. 상관관계 규명 중심

 ▶ 빅 데이터를 통해 얻을 수 있는 이점

- 빅 데이터 분석을 통해 기업은 경쟁 환경을 보다 잘 이해하고 효과적으로 전략을 실행할 수 있는 기반을 강화할 수 있다.

- 고객 간 정보 전달의 통로가 되는 소셜 네트워크의 구조를 파악하고 잠재적 소비자군 도출, 커뮤니티 내에서 수행하는 역할과 의사소통 방식 및 경로를 이해할 수 있다.

- 검색엔진이 제공하는 통계와 소셜미디어에 떠다니는 메시지를 통해 중요 사건에 대한 징후와 경과를 파악할 수 있다.

- 경영자의 직관을 보완하여 효과적인 의사결정을 촉진한다. 종래 경영자들이 직관에 의존하여 의사결정을 할 수밖에 없었던 사항들에 대해서도 객관적인 분석과 검증결과를 제공할 수 있다.

- 정보의 수집 및 분석을 체계화하여 현황 파악에 걸리는 시간을 단축하고 전략실행 효과의 예측모형과 시나리오를 도출할 수 있다.

- 감지하기 어려웠던 소비자의 의견을 빠르게 수렴함으로써 리스크를 최소화하고 기업 평판을 개선할 수 있다. 나아가 기업에 유용한 지식과 정보를 지닌 고객을 발견하여 새로운 가치창출이 가능하도록 지원할 수 있다.

□ 통계

 ▶ 빅데이터 세계 시장 규모 및 국내 시장 규모

<빅데이터 세계 시장 규모>, 단위:십억

<국내 빅데이터 시장규모>, 단위: 백만

 ▶ 일간 트윗의 양(2007-2012)

 ▶ 분기별 월간 페이스북 이용자 수(2010 3분기-2012 3분기, 단위:백만명)

□ 외국 사례

- 구글은 자사 검색통계를 기반으로 시간 지역별로 독감유행 정보를 제공하는데 이것은 미국보건당국의 공식적인 발표보다 훨씬 빠르다. 구글은 독감 증상이 있는 사람들이 늘어나면 관련된 주제를 검색하는 빈도도 함께 늘어난다는 사실을 발견하고, 시간/지역별 검색기반 독감 유행 정보를 google.org를 통해 제공한다. 주 단위로 갱신되는 보건당국의 발표와 달리 구글의 독감 유행 정보는 매일 갱신되므로 독감 유행 징후를 빠르게 감지하고 대응책을 마련하는 데 유용한 보완 정보로 기능한다.  

- 런던의 투자기관 '더웬트 캐피털 마켓츠'는 트위터 데이터를 분석하여 파악한 시장 투자심리를 헤지펀드 운용에 활용했다. 더웬트 캐피털 마켓츠는 매일 1억 개의 트윗을 분석하여 시장 분위기를 측정한 뒤 이를 포트폴리오에 반영하는 '트위터 펀드'를 개발, 운용했는데, S&P500 지수가 2.2% 하락한 2011년 7월의 경우 헤지펀드 평균운용수익률이 0.76%에 그친 데 비해, '트위터 펀드'는 1.86%를 기록했다.

- 볼보는 소비자의 자동차 운전과정에서 수집된 데이터를 본사의 분석 시스템에 자동으로 전송하도록 하여 빅 데이터를 축적하고, 이를 활용해 제품개발 단계에서 알기 어려운 다양한 결함과 소비자의 잠재 니즈를 파악하여 빠르게 대응하고 있다. 종래에는 50만 대의 차가 팔린 뒤에나 제기되었을 결함을 이제는 1,000대의 판매 시점에서 포착하게 되어 사후관리 비용을 크게 절감할 수 있게 되었다.

- 구글의 빅데이터를 활용한 리더십 문제 해결

구글은 "직원과 관련된 모든 결정은 데이터 분석에 기초한다"는 목표 하에 인사팀 내에 30명의 통계전문가, 심리전문가, MBA 출신 전략 전문가들로 구성된 '직원분석팀'을 별도로 운영한다. 이 부서는 업적평가 데이터, 설문조사, 면담 등을 통해 얻은 100개 이상의 정보와 400페이지 분량의 추가 인터뷰 내용을 코드화하여 통합 데이터를 구성하고, 이를 바탕으로 '좋은 구글 상사의 8가지 요소'를 도출하여 리더 선발, 평가, 리더십 교육훈련 등에 적극 활용했다. 그 결과 리더십 평가가 나빴던 상사들에 대한 평가가 무려 75% 향상된 것으로 나타났다.

□ 관련 이슈

 ▶ 개인정보 유출 및 활용에 대한 법적 보호 관련 이슈

소셜미디어에서 추출된 개인정보 데이터와 스마트 디바이스에서 제공되는 위치 정보 데이터 등이 증가함에 따라 빅데이터 활용이 개인정보와 사생활을 침해할 수 있다는 우려가 커지고 있다. 우리나라의 경우 「개인정보 보호법」 등에서 규정된 포괄적인 데이터 이용규제로 인해 빅데이터 관련 산업 발전에 어려움이 존재한다. 특히 개인정보의 정의가 애매하고 개인정보 활용 범위가 포괄적이어서 법위반 여부와 관련된 이슈가 증가할 것으로 전망되고 있다.

 ▶ 새롭게 가공된 분석 정보에 대한 소유권 관련 문제

민간 부문에서 빅데이터를 분석하여 새롭게 만들어진 정보에 대해 소유권 또는 지적재산권 관련 법적 소송이 증가할 것으로 예상되고 있다. IT 등 관련 분야 종사자들은 빅데이터에 적용할 수 있는 지적재산권 등의 제도장치를 도입하여 사업자의 빅데이터 활용에 인센티브를 부여하고 이에 대한 법적 보호가 시급한 것으로 보고 있다.

 ▶ “정보공개 NO”... 빅데이터 반발 확산

빅데이터 시대를 맞아 기업들이 소비자와 시장 정보를 더 많이 수집할수록, 소비자들은 정보를 공개하지 않으려는 성향이 강해질 것으로 예상된다. 또, 개인정보를 지키려는 소비자와 정보 수집을 수요 예측과 확대에 활용하려는 기업들의 이해관계가 충돌하면서 현재 일부에서 도입하고 있는 폐쇄 인터넷 시장이 확대될 것으로 전망된다.

2일 시장조사업체 언스트앤영(Ernst&Young)이 일반소비자와 기업 임원을 대상으로 진행한 `빅데이터 반발(Bigdata backlash)' 보고서에 따르면, 소비자들은 기업들의 개인정보 수집에 우려하고 있으며, 앞으로 공개 수준을 낮출 것으로 보인다.

보고서는 응답자 중 55%가 이전보다 자신의 개인정보를 적게 공개하고 있으며, 향후 자신의 개인정보에 대한 기업들의 접근을 제한하겠다고 설명했다. 특히, 개인정보가 본인이 모르는 제3자가 활용하는 것에 대해 민감하게 생각하고 있었다.

소비자들은 앞으로도 개인정보 유출에 대해 민감하게 받아들일 것으로 보이지만, 기업들의 개인정보 수집은 더 확대될 예정이다. 기업들은 소비자들로부터 얻은 정보가 시장 분석에서 중요한 역할을 하고 있으며, 응답 기업 중 87%는 실제 매출 증대에 개인정보가 기여한다고 답했다.

업계에서는 해킹 또는 의도적인 개인정보 공유ㆍ유출로 인해 현재 공개된 소셜네트워크 정보, 인터넷 게시물의 배포ㆍ권한 범위가 갈수록 축소될 것으로 예상하고 있다. 일정기간 사용하면 사라지거나, 사실상 효력이 없는 문서 정보와 달리, 디지털화된 개인정보는 반영구적으로 사용할 수 있어 주요 국가에서 개인정보를 제한하거나 유효기간을 두는 방안에 대해 추진하고 있기 때문이다.

또, 현재 일부에서 도입되고 있는 폐쇄형 서비스가 확산될 것이라는 분석도 나오고 있다. 검색엔진을 통해 쉽게 정보 검색이 가능한 서비스나 불특정 다수를 대상으로 하는 서비스에서 특정 집단, 개인만 사용하며, 정보 삭제가 가능한 서비스가 주목받을 것으로 보인다.

 ▶ 빅 데이터, 국내는 아직 ‘먼 이야기’

응답자들은 빅데이터 도입의 가장 큰 어려움으로 데이터 분석 기술 및 노하우 부족(33.8%)을 꼽았다. 이어 적당한 데이터 수집 및 관리 솔루션의 부재(16.5%), 경영진의 관심과 지원 부족(12.2%), 데이터 관리 비용과 시스템 구축비 등 예산 부족(10.0%) 순이었다. 내부적으로 빅데이터 관련 전문성을 갖추지 못한 데다 외부 솔루션에 대한 기대와 신뢰도 낮은 셈이다. 특히 경영진의 무관심 속에 이런 현실적인 어려움을 극복할 수 있는 현실적인 지원도 받지 못하는 것으로 드러났다.

빅데이터 도입 계획 및 활용계획 설문조사 결과

빅데이터 도입 시 예상되는 어려움 및 경쟁력 강화여부 설문조사 결과

김용욱

역량평가 전문 교수,변호사

010.9322.8998

미래를 준비하는 곳

인바스켓 컨설팅

www.inbasket.co.kr

[김용욱]

7급 공채 2013년 PT 기출 주제 (2013년) 저희가 정확히 적중시켰던 주제이기도 합니다.