과거에는 알려지지 않았던 정보[1]가 디지털 정보로 기록되는 정보화 시대에는 정보량이 너무 증가했다. 또 단순한 텍스트 데이터에서 벗어나 녹음, 사진, 영상 등 데이터 종류가 다양해졌고 데이터 자체의 용량도 크게 늘었다. 이러한 빅 데이터의 성질이 크게 달라져 기존 기술이나 툴이 원활하게 수집·처리할 수 없기 때문에 빅 데이터 처리는 빅 데이터로부터 유용한 정보를 추론하거나 추출하기 위해 설계된 기술이다.
당초, 빅 데이터 처리는 경제적 가치를 창출할 수 있는 조사 결과의 집합이며, 빅 데이터로부터 돈을 끌어내는 기술이라고 정의되고 있었다. 하지만 빅 데이터 기술이 대중에게 인기를 끌면서 경제 분야에서만 쓰이는 용어는 아니다. 관련 기업이 잇따르는 가운데 대형 벤더들이 솔루션 업체를 인수하며 솔루션 강화에 나서고 있다. 사람들의 마음을 어느 정도 정량화해 데이터화해 적용할 수 있기 때문에 주요 대기업들 사이에서는 독자적인 빅데이터 응용모델을 만드는 것이 대유행이다. 유엔은 빅데이터를 국제개발과 사회발전에 활용하기 위해 개발용 빅데이터(BD4D) 개념도 만들었다. 대표적인 예가 유엔 글로벌 펄스다.
빅데이터의 특성은 크기(대용량), 다양성, 속도, 정확성, 가치 면에서 3V, 4V, 5V 등으로 표현되는 경우가 많다. 3V 문서
대량의데이터가있는경우는데이터관리기술과데이터분석기술이필요합니다. 데이터 관리 기술은 Hadoop 등을 사용한다. 데이터 분석 기술에는 통계, 기계학습, 인공신경망, 데이터마이닝이 포함된다.
편의상 빅 데이터로도 불린다. 이 문서에 「빅 데이터」를 입력할 수도 있습니다.
2015년, 미국은 벌써 380억달러의 시장을 가지고 있다. 한국 시장의 150배 규모다. 국내 시장에서 데이터 수집 영역만 포화상태에 이르고 대신 서비스관리플랫폼(SMP), 데이터 처리 영역, 데이터 통합 영역이 열악하다.
다만 문제는 국내 산업에서 아무런 성과가 없어 빅데이터 논란이 퇴색되고 있는 조짐이 있다는 점이다. 국내에서는 CRM→소프트웨어 시스템 구축→하둡→빅데이터→사물인터넷→인공지능 & 딥러닝이라는 슬로건만 반복되기 때문으로 분석된다. 데이터 활용 현황을 파악하지 못해 통찰력을 얻지 못해 시간을 낭비하고 있다는 게 데이터업계의 불만이다.
국내 IT사업자 가운데는 삼성SDS가 데이터 수집분석 모델링이 가능한 플랫폼 브리틱스 AI와 SK C&C 아큐인사이트+를 내놓았지만 국내 데이터 솔루션의 시장점유율은 지켜봐야 한다.
2020년 7월 정부가 한국판 뉴딜을 발표하면서 디지털 뉴딜 분야의 10대 과제 중 하나가 데이터 댐이다. 데이터댐 사업의 핵심은 공공데이터를 민간이 이용할 수 있도록 해 디지털 전환을 주도하는 것이다.
중년 남성이 미국 슈퍼마켓 체인점의 타깃을 찾아 항의했다. 딸들에게 전달된 광고에는 임신부를 대상으로 한 상품만 추천됐기 때문이다. 직원들은 딸에게 임신을 권유하지도 않은 남성에게 사과하며 광고를 투덜거렸다. 하지만 다음날 그 남자는 슈퍼마켓에 전화해 점원에게 사과했다. 한 여고생이 임신했다. 빅데이터는 회사 측이 아빠도 모르는 딸의 임신에 대해 가장 먼저 알고 있는 것이다. 이 일화는 뉴욕타임스 기사에 소개되었는데, 이후 빅데이터의 유용성과 위험을 동시에 다루기 위한 사례 중 하나로 자주 언급되어 왔다.
빅데이터는 종종 조지 오웰의 형으로 불린다. 혼동될 경우 빅데이터는 데이터베이스 관련 기술명으로, 빅브라더는 국가권력의 불법 사회감시 시스템을 말한다.
빅데이터를 활용해 사람들을 분석, 예측, 유도하는 기술이 날로 진화하고 있다. 독재정권에 의해 사람들이 통제되는 디스토피아에서는 빅 데이터가 효율적인 감시 평가 유도의 기반이 될 것이다. 여전히 데이터력과 정보력으로 불리는 빅데이터가 절대 권력의 손에 들어가 국민으로부터 정보를 계속 얻는 순간 사회의 완전한 통제가 가능해진다. 데이터 전문가들 사이에서는 가장 유능한 게슈타포보다 빅 데이터가 유익하다는 평가가 나온다. 비지정자가 민간기업이나 선거운동 중에 개인정보를 구입하는 일은 이제 드물지 않다.
카테고리 없음
댓글