빅데이터란 무엇인가?(3) 앞으로의 과제

빅 데이터 및 IoT

최근에는 IoT의 보급으로 빅 데이터의 수집은용이하게 되어있습니다. 도요타 자동차는 빅 데이터 및 IoT를 잘 활용하여교통사고를줄이고 자 하는 목적이 있습니다. 앞으로 판매되는 도요타 신형 차량은 장애물이 없는 상황에서도 비정상적인 엑셀조작 시에가속을 억제하는 기능이 탑재될 예정입니다. 이 기능은 인터넷 연결되어 최신 도로 상태를 취득하고 최적의 경로를 계산하고, 차량에 문제가 발생했을 때 합당한 곳에 연락 주거나 기능을 탑재 한 차량에서 얻을 수 있는 특징을 빅 데이터로 활용하는 것으로 실현하고 있습니다. IoT에서 얻은 빅 데이터는 비정상적인 액셀 조작 상황을특정해산출 가속 억제함으로써교통사고의위험을 감소하는 구조로 되어 있습니다.

빅 데이터와 AI의 관계

통계적인 분석과 AI에 의한 분석을 통해 빅 데이터 더 높은 가치를 낳는 '빅 데이터 AI'가 최근주목받고 있습니다. 빅 데이터와 AI는 서로 밀접한 관계를 맺고 있습니다. 종래의 기술에서는 방대한 데이터 관리 및 보관 어려운 것이 있었습니다. 그러나 AI 중에서도 기계 학습과 깊은학습의발전에 의해,불가능하다고판단되어 방대한 데이터 관리 및 분석이가능하게 되었습니다.이를 통해 기업이 가지고 있는 대량의 데이터를 효율적으로 분석하고 정리하고 유용한 데이터만을추출할수 있게 되었습니다. 또한 기계 학습과 깊은 학습 분야는 현재도 엄청난 속도로 발전하고 있습니다. 특히 2012 년에 깊은 학습이 등장한 이래, 이미지 인식의 정확도가 향상기조라고사람이 손을 달리고 있던 화상이나 음성 등의 빅 데이터 분석 정리도 컴퓨터에 의해실시할수 있게 되었습니다했다. 깊은 학습의 정확도를 높이기위해서는 교재가 되는빅 데이터가 필요하며, 따라서 데이터의 취급에 뛰어나AI의 개발에도 관여하는데이터 과학자 에 대한 수요가 확대되고있는 것입니다. 예를 들어, AI 개발에 종사하는 데이터 과학자라면AI 시스템을 구축 운용 할 때 학습 데이터의 질을 이해하고 적절한 교화 업무를 처리합니다.방대한 정보 통계에서 가치를 발견하고, AI에 어떤 '데이터'을 미치는지에 출력되는 결과도 변해갑니다.

빅 데이터와 AI "Watson"

2011 년 2 월에 미국에서 방영된 퀴즈 프로그램에 승리해 눈길을 끌었던 "왓슨". 자연 언어를 이해하는 AI "Watson"는 의료기관에서 활약하고 있습니다. 미국의 6 개 의료기관과 태국의 한 의료기관은 암 치료에서 Watson을 이용되고 있습니다 Watson은 암 치료의 가이드라인과 의학 문헌의 초록 도서관의 공개 데이터 등 "이 증상은 이런 진단된다" "이 치료를 하면 어떠냐"라고 진단 및 치료에 관한 의사 결정을 지원합니다. 예를 들어, 위암 2 단계라면 "어떤 항암제이라면 효과가 있는지" "이런 검사를 하면 어떠냐"라고 의사에 제공합니다. 의사가 다른 대안이 좋다고 판단했을 경우는 그 정보가 이번엔 Watson에 등록된 다음부터 활용됩니다. Watson은 문헌에서 축적된 빅 데이터와 자신의 경험에서 얻은 데이터를 곱하여 결정의 정밀도가 향상하고 있습니다. 소프트 뱅크 사에서는 2017 년부터 인사부에 AI, "Watson" 을 도입하여 업무 상황을 개선하기 위해, 인사 담당자가 Watson 지금까지 채용 한 학생의 ES를 기억하고 같은 경향이있는 학생을 정리하는 데 성공했습니다. 이후 소프트 뱅크는 방대한 데이터를 가져온 AI가 ES의 자동 분류함으로써 효율적으로 효과적으로 우수한 인재를 찾을 수 있도록합니다.지금까지사람의 경험과 감에 의존해온 부분을 빅 데이터 × AI로 대체하여 더 높은 가치를 창출데 성공하고있는 예입니다.

빅 데이터의 과제

빅 데이터는 많은 점에서 유망하지만문제가 없는것은 아닙니다. 빅 데이터를 이용하는 경우에 떠오르는 문제점은 두 가지가 있습니다.

문제1.데이터 저장

빅 데터는 그 이름대로 방대한 양의 데이터를 의미합니다. 데이터를저장하기 위한새로운 기술도 개발되고는 있지만 지금 데이터의 양은 2 년마다 2 배로증가하고 있는것으로 알려져 있습니다. 각 기업은 아직도 엄청난 양의 데이터를 효율적으로 저장하는 방법을 찾는 데 어려움을겪고 있는것이 현실입니다. 또한, 데이터는 그냥 저장하면 좋은 것이 없습니다. 빅 데이터는 사용하여 처음으로 가치를창출하며, 이를위해서는 빅 데이터를 정리하는 것이 필요합니다. 클린 데이터, 즉 고객에게 적절하고의미 있는형태로분석할수 있도록구성되어 있는데이터를 제공하려면 상당한 노력이 필요합니다. 데이터 과학자는 실제로 데이터를 사용할수 있게 되기전의 준비와 정비 업무 시간의 50 ~ 80 %를 소비하는 것으로 알려져 있습니다.

문제 2. 개인 정보

빅 데이터에 개인 정보가 포함될 수 있으며, 무단으로 데이터를 활용하면 개인 정보 침해 가능성도 있습니다. 개인 정보 보호법에서는 익명 데이터 및 통계 데이터 등 개인이 특정되지 않는 정보는 개인 정보에 해당하지 않고 제3 자에게 제공 관해서도 본인의 동의를 필요로 하지 않는다고 되어 있습니다. 그러나 일본 기업이 익명의 고객 정보의 취급을 놓고 세상으로부터 비판을 받아왔던 과거가 있습니다. 빅 데이터는 과학 유사한 '양날의 검' 이 될 수 있습니다. 잘못 사용하면 사람에게 해를 입힐 가능성은 지울 수 없습니다. 한편 올바른 사용법을 하면, 사람과 사회에 긍정적인 영향을 줄 수도 있다는 것을 이해할 필요가 있다고 생각합니다.

빅 데이터 전망

방대한 데이터가 도처에 편재하고 누구나 접근할 수 있는 시대에 돌입 한 지금, 빅 데이터 분석 / 활용은 전 세계 기업과 사회에 혁신적인 효과를 가져올 수 있습니다. 혜택을 누릴 위해 빅 데이터를 올바르게 사용하여 해석해야 합니다. 그리고 앞으로는 점점 AI 기술을 이용한 빅 데이터 분석이 기업들 사이에서도 인기가 생겨나고 있습니다.