빅 데이터가 궁금하세요?

사람들이 빅데이터라고 많이 하는데 정확한 정의를 모르겠어요

세상이 또 변화하고 있습니다. "빅 데이터"라는 말을 빅 데이터의 중요성이거나, 빅 데이터로 세계가 변화한다,라고 왠지 조금 과장된 이야기하기도 하고, 구글이 빅 데이터 분석 양식에 이시 리움을 추가 한 얘기이거나, 빅 데이터에서 사람의 본성을 알 수 있다는 얘기하기도 하기도 합니다.

 

빅데이터란? 빅 데이터 분석 방법

빅 데이터라고 하면, 바로 대량의 데이터를 떠올릴 수도 있지만 그것만을 의미하는 것은 아닙니다. IT 용어 사전에서는 이렇게 정의되어 있는데요.

 

빅 데이터 (Big data) 란?

빅 데이터 (Big data)는 쉽게 말하면 전통적인 데이터 처리 및 데이터 관리 응용 프로그램에서 해결할 수 없는 방대한 양의 복잡한 데이터 세트를 말합니다. 모바일 기술 및 IOT 기술의 등장으로 사람들이 더 많은 데이터 (위치 정보, 소셜 앱, 피트니스 애플리케이션 등)을 만들어 장치의 디지털 데이터에 액세스할 수 있게 함으로써 빅 데이터는 더 일반적으로 되었습니다.

또한 빅 데이터와 업무를 개선하기 위해 막대한 양의 디지털 정보를 수집, 사용하는 것을 정의하는 일반적인 용어로도 되어 있습니다. 데이터 세트가 계속 증대하고 응용 프로그램이 실시간으로 지남에 따라 빅 데이터와 빅 데이터 처리는 점점 클라우드로 전환하고 있습니다.

빅 데이터 분석 방법

예를 들어, 당신이 새로운 맥주를 발매 싶다고 생각했을 때 빅 데이터를 이용한 수요 예측을 해 봅니다. 그런데, 새로운 맥주를 실제로 발매하려고 생각했을 때 우려 사항으로 존재하는 것은 "재고 보유 비용"과 "재고 없음"등으로 인한 기회 손실입니다. 특히 맥주는 계절에 따른 수요의 변화가 크기 때문에 정확한 주문 · 생산 계획이 필요합니다.

빅데이터의 역사

일본에서 '빅 데이터'라는 말이 확산되기 시작한 것은 2010 년경부터이지만, 빅 데이터라는 개념이 도입되기 이전부터 비즈니스 및 자연 현상에서 측정 한 수치를 데이터로 활용되어 왔습니다. 이를 효율화해 준 것이 컴퓨터입니다.

계산기를 가지고 주로 연산 처리에 사용된 컴퓨터가 취급하고 있던 데이터베이스는 구조적 데이터였지만, PC의 등장과 프로그램의 발전은 수치 이외에도 문서, 이미지, 음성, 동영상 등 해진 규칙이 없어서 값의 의미를 쉽게 파악하기 힘든 비정형 데이터를 취급하게 되었습니다.

그러나 처음부터 "구조적 데이터 / 비정형 데이터"라는 말이 있었다는 것은 아니고 먼저 관계형 데이터베이스(RDB) 나중에 RDB의 테이블에 맞는 것을 구조화된 데이터 및 나머지 비정형 데이터라고 부르게 된 이유가 있습니다.

이 구조화되지 않은 데이터는 RDB에서 처리할 수 없습니다. RDB 후 데이터베이스는 시대의 요구에 부응하면서 변천해 가고 현재는 Google과 Amazon에서 구현되는 NoSQL을 도입하는 기업이 늘고 있습니다.

NoSQL은 Not only SQL의 약자로, RDB 계통 이외의 데이터베이스 관리 시스템의 총칭입니다.


- 키 밸류 형 와이드 칼럼

- 스토어 형

-문서 형

- 그래프 형


크게 네 가지로 분류할 수 비정형 데이터를 처리할 데이터베이스입니다. NoSQL라는 말은 1998 년에 나타나 2009 년에 개최된 오픈 소스 분산 데이터베이스에 대한 회의로 각광을 받았습니다.

인 메모리 데이터베이스의 등장으로 데이터베이스 처리 속도가 빨라진 것도 빅 데이터가 확산된 계기가 되었습니다.

빅 데이터를 활용하기 위해서는 데이터의 생성 · 수집 · 축적 · 분석이 필요합니다.

상기 데이터베이스의 변천은 그중 '축적'부분에 해당됩니다.


여기에 "생성 · 수집에"를 담당하는 ICT의 발전과 하드웨어의 저가격 화 "분석"에 대한 방대한 데이터 처리를 담당하는 클라우드의 보급 등 조건이 겹쳐 빅 데이터 활용이 진행되었다고 할 수 있습니다.

 

빅 데이터 분석

빅 데이터의 가치는 데이터 자체보다는 데이터를 가져오는 새로운 케이스와 새로운 지식에 있습니다. 빅 데이터 분석은 매우 큰 세세한 데이터 집합을 검사하여 숨겨진 미지의 패턴의 상관관계, 시장 동향, 고객의 취향, 새로운 비즈니스 지식을 분석합니다. 집계 데이터만을 저장하는 기존의 데이터웨어 하우스에서 처리할 수 없는 질문에 쉽게 답을 낼 수 있게 되어있는 것입니다.