KBS 글로벌 다큐멘터리-미래 경쟁력의 핵심 빅 데이터(The Age of Big Data)

KBS 시사기획 창 - IT 빅데이터(Big Data) 분석으로 세상을 바꾸다!?

빅데이터의 충격, Big Data 거대한 데이터의 파도가 사업 전략을 바꾼다! 도서 서평 리뷰

요즘 빅데이터가 화두인데, 그동안 방송에서 많이 다루기는 했지만, 상당히 두리뭉실하게 이야기를 하고는 했는데, 이 방송은 빅데이터를 실제적으로 어떻게 실생활에서 활용하는지 등에서 잘 보여준 영국 BBC 제작의 멋진 다큐 방송입니다.

빅데이터(Big Data)란 무엇이고, 활용하는 방법은?

빅데이터는 IT용어이지만, 살아가면서 우리의 삶에서도 우리가 사용을 하기도 합니다. 예를 들어 제가 새해를 맞이해서 술을 끊는다고 한다면 여러분은 실패할지 성공할지 자료가 없기때문에 잘 모르겠지만, 친한 친구중에서 누군가가 술을 끊는다고 한다면 오랜 경험의 데이터로 봤을때 실패나 성공의 확률이 쉽게 떠오를텐데 그런것을 빅데이터라고 생각하시면 되는데, 위 글을 참고하세요~

미국에서는 현재 시범적으로 빅데이터를 통해서 범죄가 발생할 확률이 높은 지역을 경찰에게 순찰을 돌게 한다고 합니다. 범죄 예보 시스템이라고 하는데, 지난 범죄 기록 사건을 토대로 컴퓨터가 지시를 해주는 방식인데, 초반에는 경찰들의 반발이 심했지만, 이 시스템의 도입으로 절도사건이 12%, 강도사건이 26%나 감소를 하고 나서 반발도 사라졌다고 하더군요.

고참 경찰들은 자신들의 경력을 통한 직감, 감각, 예감이 더 우수할것이라고 믿었지만, 실제는 완전히 다른 결과가 나온거지요

이러한 시스템을 만든 사람은 프로그래머도 중요한 역활이 있겠지만, 수학자, 물리학자, 천문학자 등의 과학자들이 알고리즘을 개발해서 패턴을 찾아낸다고 하는데, 뭐 요즘에는 페이스북, 트위터같은 sns로 인해서 빅데이터라는 이름으로 불리고 있지만, 이전에도 대용량 데이터 베이스나 데이터 마이닝 등 다양한 기법이나 방법이 있었지만, 데이터가 급격하게 늘어가고 있는 요즘의 시점에서 각광을 받고 있습니다.

근데 이러한 빅데이터를 통한 접근은 현대 사회에 와서 컴퓨터로 인해서 본격적으로 시작이 되었지만, 300여년전에 아마추어 과학자인 존 그랜트라는 사람에 의해서 시도가 되었다는데, 그는 묘지의 비명을 분석해서 사망한 날짜, 사망원인 등을 통계를 내서 기존의 통념을 깨트리는 사실을 발견을 하면서 통계학과 전염병학에 많은 이바지를 했다고 하더군요~

이것을 보면서 빅데이터라는것이 꼭 컴퓨터나 프로그래밍을 해야만 할수 있는것이 아니라, 우리도 우리 주변의 데이터를 조금만 관심있게 바라보고, 그 안에서 의미있는 정보와 지식을 뽑아낸다면 그게 바로 빅데이터가 아닐까 싶습니다.

영국에서는 이런 빅데이터를 통해서 금속거래소나 증권시장 등에서 수익을 올려 큰 돈을 벌었다고 하는데, 세계적 헤지펀드인 윈턴캐피털 창업자인 데이비드 하딩 회장이 출연해서 인터뷰를 했더군요.

여기서 하나 재미있는 사실을 안것이 빅데이터를 통해서 100%, 99% 또는 90% 정도의 확실한 정보를 알아낸다고 생각을 했는데, 이 회사의 수학자, 물리학자 들은 엄청난 데이터 분석을 통해서 50%가 조금 넘는 52%, 53%의 확률의 정보만으로도 큰 돈을 벌수 있다고 하더군요.

동전을 던져서 앞면이 나올 확률이 반이라면 투자를 하기 힘들어도 52%만되어서 투자할만한 사업이 된다고 하던데, 이 회사에서 보유하고 있는데이터가 무려 4만기가 바이트라고 하네요~

또한 데이터가 많다고 하면 마냥 좋을것같지만 수 많은 데이터속에서 어떠한 방식으로 결정을 해야 할지에 대한 힌트도 방송에서 보여주었는데, 결정이론(Decision theory)이라고 불확실한 상황에서 결정을 내리지 않으면 안되는 경우, 어떤 결정을 해야 할것이며, 또 어떤 정보를 어떻게 이용해야 하는가에 대한 문제에 답하는 방식의 이론에 대해서도 간단히 설명을 해줍니다.

결정이론 위키백과 사전 내용 더보러가기

우리가 대형마트에 들려서 저녁 식사를 장바구니에 담으려고 할때 마트에 있는 수많은 식자재를 조합하면 경우의 수가 몇억가지가 되는데, 뭐 해답은 상위항목을 결정해서 가지치기식으로 내려간다는데, 듣고보니 쉬워보이기는 하지만, 실제로 이걸 개발한다는건 인공지능(AI)처럼 쉽지는 않을듯 합니다.

암튼 이런 결정이론을 토대로 구글 애드센스같은 맞춤형 광고도 생겨나는 등 우리 주위에서 빅데이터를 활용한 방법들은 부지불식간에 엄청나게 많아지고 있는듯 합니다.

이러한 빅데이터는 사람이 만들어 내는 데이타뿐만이 아니라, 우주에서 관측을 통해 나오는 자료들도 수집을 하고 있다는데, 이를 통해서 우주의 신비, 비밀을 파헤치는 분들도 있다고 하는데, 아직은 초기단계로 자료도 미비하고, 성과도 확실하지는 않지만, 이러한 빅데이타 자료수집을 통해서 미래를 생각하는 과학자분들도 계시더군요~

KBS 글로벌 다큐멘터리 미래 경쟁력의 핵심 빅 데이터 2013-10-20 방송 홈페이지