4차 산업혁명을 이끄는 핵심기술(3편)

[SNS 타임즈] 4차 산업혁명의 핵심 요소 기술 중 하나가 바로 빅데이터이며, 이 빅데이터가 우리 생활 전반을 예측하고 예언하고 있다 해도 과언이 아니다.

▲ (이미지= shutterstock)

앞으로 다가올 일을 미리 알거나 짐작해 말한다는 의미의 ‘예언’은 고대로부터 과학과는 거리가 먼 개념이었다. 그러나 IT와 빅데이터(Big Data) 기술이 발달하면서, 기존의 데이터를 재분석하고 이를 통해 앞날을 예언하는 사례가 점차 늘고 있다.

과학은 인류의 삶과 생활을 어디까지 예측하고 예언할 수 있을까?

4차 산업혁명의 핵심 요소 기술 중 하나가 바로 빅데이터이며, 이 빅데이터가 우리 생활 전반을 예측하고 예언하고 있다 해도 과언이 아니다.

빅데이터는 말 그대로, 방대한 데이터를 분석해 새로운 가치를 찾아내는 것이다. 데이터 규모는 수백 테라바이트(TB)를 넘어서고 데이터 형태도 문자, 숫자, 신호, 이미지, 영상에 이르기까지 매우 다양하다. 우리가 사용하는 컴퓨터와 스마트폰을 통해서 매일 엄청난 양이 쏟아져 나오는데 이 데이터를 '서버'라고 불리는 대용량 컴퓨터에서 빠르게 처리하고, 여러 가지 분석 기술을 통해 해석하는 것이다.

빅데이터란?

빅데이터란 기존 방식으로 저장, 관리, 분석하기 어려울 정도로 큰 규모의 자료를 말한다. 빅데이터의 등장 배경에 가장 큰 핵심은 소셜 미디어 확산에 따른 비정형 데이터 폭증에 있다. 비정형 데이터 라는 것은 기업의 매출액, 개인의 나이와 성별 등의 정형화된 데이터가 아닌 문자 메시지, 음성, 영상, 위치 등 다양한 유형의 데이터를 말한다. 특히 스마트폰이 대중화 되면서 이러한 비정형 데이터가 폭발적으로 증가하고 있다.

사람들은 언제 어디서나 스마트폰을 통해 자신이 좋아하는 정보를 보거나 관심사에 대해서 컨텐츠를 만들어 생산하고 있다. 이런 개개인의 성향들을 알 수 있는 자료들도 모두 빅데이터가 되는 것이다. 더군다나 최근에 사물인터넷 및 웨어러블 기기가 확산되면서 발생하는 정보의 양은 이루 말할 수 없을 정도로 엄청나게 증가하고 있다. 하지만 이것들을 재가공하지 않는다면 그냥 쓰레기 정보로 전락해 버린다. 빅데이터는 단순히 아주 많은 데이터를 의미하는 것이 아니라 대량의 데이터를 모우고 모은 데이터를 분석하는 기술까지 포함한다.

빅데이터는 전혀 새로운 개념은 아니다. 기존 연구나 사업에서 데이터를 축적하고 이를 분석해 가치를 창출하는 일은 늘상 이루어지는 방식이었다. 하지만 빅데이터를 특별하게 만드는 것은 소위 ‘3V’라 일컬어지는 규모(Volume), 다양성(Variety), 그리고 속도(Velocity) 때문이다. 직접적인 관계가 없는 다양한 속성을 가진 대규모의 데이터를 빠른 속도로 분석할 수 있는 환경이 과학기술의 발전으로 급격히 형성되고 있고 나날이 발전을 거듭하고 있다.

기술적인 표현으로 빅데이터는 기존의 DB나 아키텍처로 저장 관리 분석할 수 있는 범위를 초과하는 거대한 규모의 데이터 집합을 의미한다. 보편적인 DBMS소프트웨어 툴로는 저장 관리하기 어려운 큰 규모의 데이터셋이다. 과거에는 불가능했던 방대한 양의 데이터를 다양한 분야에 활용할 수 있게 된 배경으로는 저장장치 가격 인하와 고성능 컴퓨터 처리 속도 때문이다.

빅데이터는 용량, 속도, 다양성 등에서 기존 데이터와 큰 차이가 있다. 빅데이터의 대상이 되는 SNS, 센서, CCTV 등을 통해 수집되는 정보는 실시간 정보이고, 크기와 형태가 다양한 비정형 데이터이다. 이처럼 실시간으로 엄청나게 쏟아지는 비정형 데이터를 분석해 활용하려면 스토리지, 컴퓨팅 파워, 분석 소프트웨어, 인공지능 기술 등이 어우러져야 한다.

기업들은 빅데이터를 활용한 상품을 소비자에게 제공하거나 이를 활용하여 경영 활동을 효율화 한다. 전자의 대표적인 사례가 포털의 실시간 검색, 애플의 인공 지능 서비스 시리(Siri), 실시간 교통 정보를 반영한 내비게이션 등이 있다. 경영 효율화 관점에서 가장 주목 받는 것은 빅데이터를 활용한 개인화된 마케팅이다.

빅데이터 성공사례

빅데이터 적용 모범 사례를 살펴보자. 수년전 서울시에서 심야에 강남 등 도심에서 택시 승차 전쟁을 해결하기 위한 수단으로 심야 버스 서비스를 발표했다. 그런데 버스 노선을 어떻게 결정해야 효율적인지를 고민하다가 빅데이터 기법으로 해결한 사례가 있다. KT, SKT 등 통신사업자들의 서울 중심지 기지국에서 심야에 발생하는 방대한 이동전화 트래픽을 빅데이터 기법으로 분석해 효율적으로 심야 버스 노선을 확정했다.

미국 온라인 미디어 컨텐츠 서비스 업체인 넷플릭스는 2017년 1/4분기 현재 전 세계 190개 국가에서 전체 가입자가 9천893만명을 확보하고 있는 세계 최대 사업자다. 그러나 넷플릭스가 1997년에 시작한 사업은 비디오·DVD 우편배달 서비스 사업이었다. 인터넷 스트리밍 서비스 사업으로 영역을 확장한 건 10년 뒤인 2007년, 불과 10년 전의 일이다. 인터넷과 모바일 기술의 발달이 가져올 미디어 컨텐츠 소비 변화를 미리 내다본 과감한 결정이었다.

인터넷 동영상 서비스에 뛰어든 넷플릭스는 사용자 맞춤형 서비스 개발에 승부를 걸었다. 수만 개의 드라마와 영화, TV 프로그램 가운데 사용자 개개인의 취향에 맞는 컨텐츠를 골라 추천해주는 서비스를 하기 위한 것이다. 이를 위해 넷플릭스는 사용자들이 이전에 어떤 컨텐츠를 보거나 클릭했는지, 끝까지 다 봤는지 아니면 중간에 보다 말았는지, 보고 나서 어떤 평가(이른바 별점)를 내렸는지 등에 관한 방대한 빅데이터를 분석했다. 그리고 이를 토대로 사용자 개인 취향에 맞는 컨텐츠를 추천하는 기술을 선보였다.

사용자가 넷플릭스에 접속하면 첫 화면에 그가 딱 좋아할만한 10개의 컨텐츠를 눈앞에 추천하는 방식이다. 유튜브도 넷플릭스와 유사하게 이용자가 좋아할만한 컨텐츠를 추천하는 방식을 채용하고 있다.

▲ (이미지= pixabay)

한편, 이런 방식으로 추천받은 컨텐츠 위주의 소비는 세상을 보는 시각을 편향화 하는 문제를 야기할 수 있다. 2016년말과 2017년초에 걸쳐 대통령 탄핵을 놓고 촛불 진영과 태극기 진영으로 국론이 분열돼 첨예하게 대치하게 된 상황도, 이와 같이 SNS상에서 제공하는 일방향성 컨텐츠만을 접한데 따른 반향실 효과(Echo Chamber Effect)에 상당 부분 기인한다는 지적도 있다.

넷플릭스는 이러한 맞춤형 컨텐츠 추천 기술을 더욱 정교하게 하는데 투자를 아끼지 않았다. ‘넷플릭스 프라이즈’ 라는 대회를 열고 추천 기술의 정확도를 크게 높일 수 있는 아이디어를 내놓은 참가자에게 거액의 상금을 내걸기도 했다. 공급자가 아닌 소비자를 중심에 둔 접근이 오늘날 넷플릭스의 성공을 이끈 원동력이 된 셈이다.

아마존 초기 사업은 온라인 장터였다. 그러나 현재 아마존은 온·오프라인을 아우르는 온전한 ‘유통기업’으로 위상을 굳혔다. 특히 미국의 소비자들은 아마존을 더 이상 단순한 전자상거래 업체로 인식하지 않는다. 아마존은 빅데이터 시대에 맞는 업의 변화와 진화를 발 빠르게 추진했다. 그 결과 소비자 개개인의 생활 속으로 깊숙이 침투해 나만의 브랜드 시대를 열었다.

카카오 내비와 T맵과 같은 스마트폰 탑재 내비게이션은 스마트폰 통신 회선을 통해 내비게이션 서비스 제공사업자들이 구축해놓은 클라우드 서버와 연동해, 서버에서 복잡한 연산 기능을 처리하므로 초기 세팅 과정이 독립형 내비게이션에 비해 신속하게 이루어지는 장점이 있다. 그리고 초기 세팅이 이루어진 후 주행을 시작하면 독립형 내비게이션은 처음 세팅된 대로 길을 고정적으로 안내하는데 비해, 스마트폰 탑재 내비게이션은 수많은 사용자들에게 길을 안내하는 과정에서 수집한 도로별 트래픽 발생 및 교통사고 발생 등과 같은 빅데이터를 분석해 실시간 상황에 따라 가변적인 길안내를 하므로 급변하는 트래픽 발생 상황에 효과적으로 대체할 수 있어 대단히 편리하다.

빅데이터 사업 특성

빅데이터는 데이터 량, 처리 속도, 형식의 다양성 등 3가지 측면에서 접근해야 한다. TB에서 PB단위까지의 데이터 량, 정적인 데이터 처리에서 동적인 데이터 처리까지, 정형 데이터 뿐 아니라 비정형 데이터까지 다양하다.

가치있는 정보를 신속하고 정확하게 추출하는지 여부에 따라 기업과 국가 경쟁력이 결정되므로 빅데이터 주도권 경쟁이 전개되고 있다. 빅데이터 주도권을 시스템 분석회사인 IBM이 잡을지, 구글, 애플, 아마존, 페이스북 등과 같은 소비자 정보를 모우는 기업이 잡을지 좀 지켜봐야 할 것 같다.

대규모 데이터에서 마케팅 포인트 등 경영 정보를 뽑아내는 빅데이터의 활용이 늘어나고 있다. SNS가 대표적인 빅데이터 생산 시스템이다. 소셜 미디어를 분석하고 관심있게 바라보는 것은 기업 비즈니스 전략 수립에 있어서 대단히 중요하다.

소셜 미디어의 컨텐츠는 글쓴이들의 주관적 의도를 담고 있지만 전체적으로 보면 객관화된 사회‧경제‧정치 분야의 지형 변화 트렌드를 드러낸다. 이 지형의 변화를 추적하면 사람들의 생각과 행동의 흐름을 알 수 있으므로 이를 비즈니스에 적용하면 효과적이다.

SNS 분석 모델은 소비자 트렌드, 선거 정책수립을 위한 여론 동향 파악에 활용되고 있으며, 미국 대통령선거에서도 중요한 역할을 하고 있다. 의료, 건강, 패션, 사회 문제 해결 등 다양한 분야에서 빅데이터가 활용되고 있으며, 비즈니스 핵심에서 가치를 실현하는 것이 중요하다고 할 수 있다.

빅데이터에 대한 긍정적인 평가와 부정적인 평가가 공존하고 있는 상황에서, 투입된 비용에 걸맞는 의미있는 결과를 도출해내기 위해서는 아직 넘어야 할 산이 많다.

2012년 국내 18대 대선 하루 전인 12월 18일 특정 검색어의 기간별 검색량을 분석해주는 서비스 ‘구글 트렌드’에서 박근혜 대통령 당선인과 문재인 민주통합당 대선 후보를 검색한 비율은 각각 52.5%, 47.5%였다. 실제 득표율 51.6%와 48.0%에 근접한 수치를 나타내 보임으로서 빅데이터의 긍정적인 사례를 보여준다.

‘구글 트렌드’(trends.google.com/trends)란 구글 사이트에서 특정 키워드에 대한 검색량 추이를 도표로 보여주는 서비스로, 검색량은 빅데이터의 기본 자료가 되므로 미래 결과를 예측하는데 활용할 수 있다.

작년 미국 대선에선 한 달전부터 도널드 트럼프가 힐러리 클린턴을 구글 트렌드에서 크게 앞지르기 시작했다. 작년 6월 영국의 유럽연합(EU) 탈퇴를 묻는 국민투표인 ‘브렉시트 투표’에서도 구글 트렌드가 ‘탈퇴’를 맞췄다. 당시 영국 정부와 언론들은 전화 여론조사를 믿고 ‘잔류’를 전망했었다.

2017년 5월초 국내 19대 대선을 앞두고 대선 주자들이 유세 현장에서 자신의 구글 트렌드 데이터를 거론할 만큼 빅데이터 활용이 일상으로 파고들고 있다. 이번 19대 대선에서 후보자들이 구글 트렌드 수치에서 자신이 앞서서 승기를 잡았다고 발표했다.

미국에서 어떤 신발 제조사가 고객의 성향을 파악하기 위해 빅데이터 작업을 의뢰한 결과  ‘고객들이 겨울에는 부츠를, 여름에는 샌들을 찾았다’는 결과는 빅데이터의 부정적인 사례를 보여준다.

빅데이터의 분석 대상이 인터넷상에 남겨진 개인들의 흔적, 예를 들어 페이스북의 담벼락, 트위터, 검색어, 유튜브 시청 영상 등이기 때문에 개인의 프라이버시 침해 우려가 제기된다. 일단 데이터가 국가나 기업에 넘어가면 이를 어떻게 활용하는지는 법적 테두리 바깥에 있다. 빅데이터가 개인의 일상을 감시하는 ‘빅브라더’가 될 수 있다는 것을 시사한다.

다양한 방법으로 수집한 방대한 데이터를 잘 분석하면 다양한 업무 분야에서 귀중한 정보를 확보할 수 있는 반면, 빅데이터가 아직 걸음마 단계에 불과하므로 이 기술에 과도한 기대는 또 하나의 거품이 될 수 있어 바람직하지 않다는 지적도 있다.

사물 인터넷(IoT)은 빅 데이터 발전 원동력

빅 데이터 분석에서는 '사용자의 의도를 잘 이해하고, 꼭 필요한 때에, 필요한 만큼, 신속하게 정보를 전달해 주는 역량'이 핵심 경쟁력이다. 특히 인터넷 서비스 산업은 쉽게 대체 가능한 새로운 서비스가 속출하고 있고 국경을 넘나드는 치열한 경쟁에 노출돼 있기 때문에 빅데이터 분석은 선택이 아닌 필수이다. 시시각각 변화하는 사용자를 만족시키고 꾸준히 새로운 서비스를 제공해야 하기 때문이다.

빅데이터의 중요성이 더욱 커지는 이유는 크게 두 가지로 볼 수 있다.

첫째, 빅데이터의 양이 과거보다 더욱 폭발적으로 늘어나고 있다. 무선통신과 네트워크 기술 발전으로 사물 인터넷 기기 보급이 확대되면서 빅데이터는 예전보다 더욱 빠른 속도로 더욱 많이 생성될 것으로 보인다.

더구나 최근 많은 기업이 홈 IoT 등 스마트폰 이외에 다양한 기기에 많은 공을 들이고 있다. 사물 인터넷 기기에서 쏟아지는 수많은 데이터를 스마트폰이나 PC를 통해 축적해 놓은 데이터와 함께 분석하면, 새로운 차원의 서비스를 사용자에게 제공할 수 있을 것으로 기대된다.

둘째, 빅데이터 분석 기술도 지속적으로 발전하고 있다. 요즘 빅데이터를 언급할 때, 인공지능(AI)이나 딥러닝을 따로 떼어서 이야기할 수 없을 정도로 관련성이 깊어졌다. 방대한 데이터를 처리하고 분석하는 기술인 딥러닝은 인간과의 바둑 대결에서 이겼던 구글의 알파고도 사용한 인공지능 컴퓨팅 알고리즘이다.

빅데이터를 처리하는 과정을 기계가 학습하면서 특정 분야에서는 인간을 능가하는 지능을 갖게 된 것이다. 데이터를 처리하는 컴퓨팅 하드웨어 인프라의 성능도 꾸준히 발전해 분석 기술은 갈수록 고도화될 것이다. 글로벌 인터넷 기업들 역시 이런 환경에서 주도권을 놓치지 않기 위해 막대한 자본과 기술을 투입해 빅데이터를 처리하고 분석하는 프로그래밍과 컴퓨팅 인프라를 고도화해 경쟁력을 높이고 있다.

개인 정보보호는 타협할 수 없는 가치

빅 데이터 활용을 통해 새로운 사업 기회를 만드는 일은 결코 만만치 않다. 하루에도 수억 건씩 발생하는 빅데이터로 부가가치를 창출하기 위해서는 비용과 효과를 잘 따져봐야 한다. '어떤 데이터를 분석할 것인가' '얼마나 빨리 처리할 것인가' '어떤 분석 방법을 사용할 것인가' 등 이런 결정 하나하나에 상당한 비용이 수반된다. 정보 흐름의 단계마다 활용 가치 및 인프라·소프트웨어 구축에 드는 각종 비용을 면밀히 따져야만 경제적 실익을 얻을 수 있다. 모아두면 언젠간 쓸데가 있을 것이란 막연한 생각으로 빅데이터를 쌓아 놓기만 하면 빅데이터 투자는 낭비가 되는 셈이다.

더 중요한 것은 고객 개인 정보보호이다. 빅데이터 분석은 동전의 양면과도 같은 속성을 갖고 있다. 사용자 입장에서 보면 자신의 데이터를 일정 부분 기업에 제공해야 한다. 사물 인터넷 기기가 보급될수록 더 많은 데이터를 내주어야 할지도 모른다. 하지만 어떤 고객도 개인 정보를 모두 공개하면서까지 그 서비스를 이용하고 싶지는 않을 것이다.

결국 스마트폰과 사물 인터넷을 둘러싼 초연결 사회(Hyper Connectivity Society)에서는 어떤 서비스라도 고객의 프라이버시를 침해하면 그것은 잘못 설계된 서비스가 된다. 따라서 그 동안 웹과 모바일에서 적용한 것 이상으로 철저히 고도화된 정보 보안 기술을 적용해야 한다. 빅데이터 분석은 개인 정보보호라는 높은 가치를 훼손하지 않을 때 가치를 발할 수 있고, 관련 산업도 성장할 것이다.

빅데이터는 현대의 빅브라더?

빅데이터의 부정적인 그림자는 개인적으론 사생활 침해 이슈이고, 국가 사회적으로는 정보의 독점과 감시를 통해 사람들을 통제하는 권력, 즉 현대판 빅브라더 이슈이다.

2016년 시가 총액 기준 세계 5대 기업으로 액손 모빌(에너지 기업)과 GE(산업기기 기업)가 빠지고 애플, 구글, 마이크로소프트, 아마존, 페이스북이 그 자리를 채웠다. 고전적 경제 용어로 이들은 모두 독점 기업에 해당된다. 세계 5위 기업들은 시장 독점적 플랫폼 지배자들이다.

구글은 검색 광고의 88%를, 아마존은 전자책 시장의 74%를 점유하고 있다. 구글은 사람들이 검색 과정에서 생성한 빅데이터를 통해 사람들의 아이디어를 빼앗아간다. 구글의 유튜브와 페이스북, 넷플릭스 등은 사람들의 시간과 관심을 빼앗기 위해 고객들의 빅데이터를 분석하는 알고리즘을 더욱 정교하게 다듬어 가고 있다.

거대 IT기업들은 빅데이터 분석을 통해 세상 경제를 지배할 뿐 만 아니라, 사람들이 구글과 페이스북 플랫폼을 통해 미디어에 접속하므로 사람들의 생각까지 지배하고 있다.

이처럼 빅데이터를 독점하는 거대 기업이 존재하면, 민주주의가 위협 당하고, 정부의 정책에까지 영향을 미칠 수 있고, 미리 자리 잡은 선두기업만 유리하고 신진 기업은 갈수록 불리하게 돼 혁신을 저해하게 되므로 규제 필요성을 주장하는 전문가들이 있다.

금융에서 온라인 쇼핑·의료까지 전 산업으로 확산하는 빅데이터

금융업은 빅데이터를 고객이나 영업 실적에 관한 분석 비용을 줄이고 수익을 높이는 데 활용하고 있다. 자동차보험 등 손해보험회사는 회사에 축적된 많은 사고 정보와 고객 사례 등에 대한 빅데이터를 분석해 통계적 방법으로 구축한 기존 예측 모델을 보강하고 있다. 사고 위험이 큰 고객을 정확히 찾아내 보험료를 올리고, 사고를 내지 않는 고객은 보험료를 인하하는 것이다. 또한 보험 사기나 과도한 보험금 청구를 막아내 손실을 줄이기도 한다.

온라인 쇼핑 업체도 방대한 양의 구매 패턴을 분석해 소비자 요구 사항을 실시간으로 파악하며 특정 고객의 기호에 꼭 맞는 상품을 추천한다. 또 하루에도 수십만~수백만 개 넘게 쏟아지는 다양한 상품 이미지를 분석하고 분류해 소비자가 일일이 찾지 않아도 원하는 상품을 추천하는데 활용한다. 온라인 쇼핑 물류센터도 전국 주문 자료를 분석해 수요를 예측하고, 주요 물류 거점에 필요한 상품을 미리 확보해 배송 시간을 단축하고 있다.

빅 데이터 분석은 최근 의료 분야에서 눈에 띄게 발전하고 있다. 의료 영상은 디지털 정보 용량이 너무 커서 과거엔 실시간 분석이 거의 불가능했고, 의료 현장에서의 활용은 엄두조차 낼 수 없었다. 그러나 수퍼 컴퓨터의 등장으로 의료 영상 분석이 용이해지면서 영상을 빠르게 분류한 뒤 임상 정보와 비교해 효과적으로 질병을 찾아내는 기술이 개발되고 있다. 진료 기록이나 문진 내용 등 방대한 임상 기록을 분석해 진료를 보조하고 효과적으로 처방을 내릴 수 있도록 돕는 연구도 활발히 진행 중이다.

제조업 생산 공장에서는 각종 장비나 기기에 부착된 센서에서 발생한 정보를 분석해 정비 및 교체 주기를 더욱 정확히 파악하는 데 응용된다. 내비게이션의 교통량 예측의 경우, 내비게이션 서비스 이용과 제공 과정에서 생성된 실시간 교통량 정보와 사고 정보 등을 종합 분석해 최적의 이동 경로를 제안하는데 빅데이터 분석이 활용되고 있다.

빅데이터의 미래

빅 데이터가 기존에 해결하지 못했던 문제의 해답을 찾아주고, 산업과 사회에 새로운 가치를 창출할 것이라는 기대감이 커지면서 4차 산업 혁명의 핵심 키워드로 부상하고 있다.

세상의 만물이 인터넷에 연결되는 사물 인터넷(IoT) 시대가 되면, 빅 데이터 시장은 급격히 성장할 것으로 예상된다. 2035년까지 사물 인터넷용 기기는 1조 개 이상으로 늘어날 것이며, 앞으로는 냉장고, 세탁기, 자동차 등 모든 기기가 인터넷에 연결되면서 데이터를 폭발적으로 생산할 것이다. 또, 1조 개가 넘는 기기에서 생산되는 막대한 빅데이터는 IT분야 뿐 아니라 제조, 물류, 의료, 쇼핑, 금융, 미디어, 교통 등 현존하는 모든 산업을 완전히 재편해나갈 것이다.

- Copyright, SNS 타임즈 www.snstimes.kr