빅 데이터의 정의 및 빅 데이터와 관련된 설명, 규모의 중요성에 대한 내용

빅 데이터란 온라인 및 디지털 안에서 만들어지는 정보로 그 내용과 양이 아주 많고, 빠르게 생산되며, 숫자 관련 데이터뿐만 아니라 글과 사진, 영상 데이터를 모두 통칭하는 대용량 데이터이다. 빅 데이터는 옛날에 비해 그 양이 폭발적으로 많아졌다는 점과 그 형태의 종류도 훨씬 더 다양해 졌다는 특징이 있다. 이러한 빅 데이터 정보를 통해 개인들의 사용 정보와 위치 정보 및 개인 소셜커머스 속 정보를 통해 가치관과 의견 및 생각 등 다양한 정보를 분석하고 확인 하는데 활용할 수 있게 되었다.

 

빅데이터의 설명

빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다. 빅 데이터의 크기는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페 을 타 바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다. 빅데이터의 특징은 3V로 요약하는 것이 일반적이다. 즉 데이터의 양(Volume), 데이터 생성 속도 (Velocity), 형태의 다양성(Variety)을 의미한다. 최근에는 가치(Value)나 복잡성(Complexity)을 덧붙이기 더 한다. 이처럼 다양하고 방대한 규모의 데이터는 미래 경쟁력의 우위를 좌우하는 중요한 자원으로 활용될 수 있다는 점에서 주목받고 있다. 대규모 데이터를 분석해서 의미 있는 정보를 찾아내는 시도는 예전에도 존재했다. 그러나 현재의 빅데이터 환경은 과거와 비교해 데이터의 양은 물론 질과 다양성 측면에서 패러다임의 전환을 의미한다. 이런 관점에서 빅데이터는 산업혁명 시기의 석탄처럼 IT와 스마트 혁명 시기에 혁신과 경쟁력 강화, 생산성 향상을 위한 중요한 원천으로 간주하고 있다. 기업은 보유하고 있는 고객 데이터를 활용해 마케팅 활동을 활성화하는 고객관계관리(CRM, Customer Relationship Management) 활동을 1990년대부터 시작했다. CRM은 기업이 보유하고 있는 데이터를 통합하는 데이터웨어하우스(Data warehouse), 고객 데이터 분석(Data Mining)을 통한 고객 유지와 이탈 방지 등과 같은 다양한 마케팅 활동을 진행하는 것을 뜻한다. 기업의 CRM 활동은 자사 고 객 데이터뿐 아니라 제휴회사의 데이터를 활용한 제휴 마케팅도 포함한다. 최근에는 구매 이력 정보와 웹로그(web-log) 분석, 위치기반 서비스(GPS) 결합을 통해 소비자가 원하는 서비스를 적기에 적절한 장소에서 제안할 수 있는 기술 기반을 갖추었다. 이러한 고객분석은 빅데이터 시대를 맞이해 전환점을 맞고 있다. 분산처리방식과 같은 빅데이터 기술을 활용해서 과거와 비교가 안 될 정도의 대규모 고객정보를 이른 시간 안에 분석하는 것이 가능하다. 트위터와 인터넷에 생성되는 기업 관련 검색어와 댓글을 분석해 자사의 제품과 서비스에 대한 고객 반응을 실시간으로 파악해 즉각적인 대처를 시행하고 있다. 소프트웨어나 하드웨어도 오픈 소스 형태의 하둡(Hadoop)이나 분석용 패키지인 R과 분산 병렬처리기 술, 클라우드 컴퓨팅 등을 활용하면 기존의 비싼 스토리지와 데이터베이스에 기반한 고비용의 데이터 웨어하우스를 구축하지 않더라도 효율적인 시스템 운용이 가능하다. 특히 빅데이터에 기반한 분석방법론은 과거에 불가능했던 일을 가능하게 만들고 있다. 구글은 독감과 관련된 검색어 빈도를 분석해 독감 환자 수와 유행 지역을 예측하는 독감 동향 서비스를 개발했다. 이는 미 질병관리본부(CDC)보다 예측력이 뛰어난 것으로 밝혀졌다.

빅데이터의 규모의 중요성

데이터의 규모가 중요하다는 것을 확인시킨 사례로는 구글의 자동번역 시스템이 있다. 구글은 수천만 권의 도서 정보와 유엔과 유럽의회, 웹 사이트의 자료를 활용해 64개 언어 간 자동번역 시스템 개발에 성공했다. IBM도 캐나다 의회의 문서를 활용해 영어·불어 자동번역 시스템 개발을 시도했으나 실패한 경험이 있다. 이는 기술의 차이보다는 사용 데이터의 규모 차이에 의한 결과로 평가한다. 서울시장 보궐선거도 새로운 데이터 분석의 효과를 입증한 사례다. 전통적인 여론조사 결과는 선거 당일까지 '박빙'의 승부를 예상했지만, 트위터 분석은 당선자 측의 우위를 예측했기 때문이다. 기업의 빅데이터 활용은 고객의 행동을 예측하고 대처방안을 마련해 기업경쟁력을 강화하고, 생산성 향상과 비즈니스 혁신을 가능하게 한다. 공공 기관의 입장에서도 빅데이터의 등장은 시민이 요구하는 서비스를 제공할 수 있는 기회로 작용한 다. 이는 '사회적 비용 감소와 공공 서비스 품질 향상'을 가능하게 만든다. 미 대통령 과학자문위원회는 2010년 발간한 '디지털 미래 전략(Designing a Digital Future)' 보고서에서 '모든 연방정부 기관은 빅데이터 전략이 필요함'을 강조했다. 2012년에 열린 다보스 포럼에서도 위기에 처한 자본주의를 구하기 위한 '사회 기술 모델(Social and Technological Models)'을 제시하고 '빅데이터'가 사회 현안 해결에 강력한 도구가 될 것으로 예측했다(Vital Wave Consulting, 2012). 우리나라 국가 정보화 전략위원회도 2011년 '빅데이터를 활용한 스마트 정부 구현(안)'을 보고했다. '빅데이터'는 민간 기업은 물론 정부를 포함한 공공 부문의 혁신을 수반하는 패러다임의 변화를 의미한다.