[사이언스 프리즘] 인류의 자산(資産), 빅데이터

[黑面書生]

2018. 09. 20.

어느새 선선한 바람이 부는 9월 하순이다. 추석 연휴도 얼마 남지 않은 가을 하늘은 높고 푸르다. 한 달 전만 해도 폭염으로 고생한 것을 생각하니 시간의 흐름이란 참 오묘하다. 8월 서울의 폭염 일수는 19일로, 1973년 이후 두 번째로 많았고, 열대야 일수는 17일로 세 번째로 많았다. 뜨겁게 달군 도로를 걷다 보면 어느새 땀에 젖곤 했는데 그때마다 반가웠던 횡단보도 한편에 서있던 커다란 그늘막. 그런데 생각해보니 어떤 횡단보도에는 그늘막이 있고, 또 어떤 곳은 없다. 이러한 그늘막은 정말 필요한 곳에 적절하게 설치돼 있었을까.

아무것도 아닐 수 있는 호기심은 때때로 큰 발견을 가져온다. 그저 지나칠 수도 있지만 널려 있는 데이터를 잘만 활용하면 이러한 궁금증은 쉽게 해결될 수도 있다. 폭염이 내린 지난여름, 서울 시민이 더위를 피할 수 있도록 제대로 설치된 무더위 쉼터는 고작 16%에 불과하다는 것을 확인할 수 있는 것도 바로 데이터를 활용한 결과이다. 이 결과는 서울시가 공개한 데이터가 아니다. 지난 8월 31일에 있었던 행정안전부가 주최한 ‘2018 제3회 공공 빅데이터 분석공모전’의 최우수상 수상 팀이 공공데이터포털에서 제공하는 ‘무더위쉼터 위치정보’, 국가공간정보포털에서 제공하는 ‘지리정보시스템 건물통합정보’, 서울 열린데이터광장의 ‘서울 노인생활인구’ 등을 활용해 무더위 쉼터 접근성 입지의 적절성을 분석한 결과이다.

2014년에 번역돼 우리나라에서도 선풍적인 인기를 얻었던 네이트 실버의 책 제목인 ‘신호와 소음’처럼 데이터는 활용하지 못하면 소음과 같은 쓰레기로 남게 되고, 잘 활용하면 미래를 예측할 수 있는 유용한 신호로 사용될 수 있다. 데이터는 서 말 구슬이고, 결국 꿰어야 보배가 되는 것이다. 그렇다고 빅데이터가 단지 데이터의 양(volume)만을 의미하는 것은 아니다. 빅데이터는 양뿐 아니라 텍스트, 오디오, 동영상, 로그 파일 등 정형, 비정형, 반정형 데이터 등 다양한 형태(variety)를 포함한다. 또한 빠르게 처리해야 하는 속도(velocity)와 신뢰성을 담보해야 하는 정확성(veracity), 그리고 결과의 의미를 가져야 하는 가치(value)까지 포함하는 등 그 범위가 넓고 깊다. 이러한 5v를 포괄하는 결과물을 산출하기 위해 데이터를 수집해 분석해야 하는데 그 과정이 간단치 않은 것이다. 그래서 빅데이터는 데이터 사이언스라는 이름으로 발전하고 있고, 이를 산업과 연계시키는 방법을 체계화하며 가장 유망한 분야로 진화하고 있다.

동영상 스트리밍 서비스의 선구자이자 게임 체인저로서 가장 앞선 ‘넷플릭스’는 데이터를 잘 활용하는 것으로 알려졌는데, 단지 데이터 분석에만 머무는 것이 아니라 인공지능(AI)과 결합해 더욱 놀랄 만한 서비스를 준비하고 있다. 1억3000만 넷플릭스 가입자 중 6000만명만 리모컨을 조작한다고 하더라도 한 달에 2만 시간 이상의 데이터가 쌓이게 된다. 이를 통해 더욱 폭넓고 깊이 있는 데이터 분석이 가능해지는 것이다.

전 세계 190여개 국가에 서비스를 하고 있는 넷플릭스는 이를 통해 인터넷의 속도, 기기 사양, 네트워크, 기기 알고리즘, 콘텐츠 품질 등 다양한 원인을 분석함으로써 나라와 개별 사용자에게 가장 적합한 고품질의 경험을 선사할 수 있게 된다. 딥러닝(컴퓨터가 사람의 뇌처럼 사물이나 데이터를 분류할 수 있도록 하는 기술)이 이와 같은 데이터에 결합할 경우 시청 시 발생하는 다양한 문제를 사전에 대비할 수 있고, 시청 전 추천 프로그램의 정교화를 포함해 지금은 비록 광고를 하지 않지만 언제가 시청자 만족도를 극대화하는 광고를 할 수 있는 초석을 다지게 된다.

이제 빅데이터는 AI와 결합해 인간이 만들어내지 못하는 결과물을 산출할 수 있는 소중한 자산으로 자리 잡았다. 엄청난 양의 데이터를 확보하고 있지만 사용방안을 몰라 컴퓨터에 잠자고 있는 데이터가 딥러닝을 통해 사용자에게 전해줄 편의성은 우리의 상상을 뛰어넘을 것이다. 아직 우리의 삶에 깊게 침투하지 못한 빅데이터가 AI를 만나 시민과 사회에 가져올 편익을 고려해보면 그 가치는 무궁무진하다.

정동훈 / 광운대 교수 인간컴퓨터상호작용학

세계일보