추억의 플로피디스크를 기억하시나요? 용량이 아마 1메가 바이트 내외였던 것으로 기억합니다.
하지만 지금 우리는 1초에 1GB를 처리하는 시대를 살고 있습니다. 구글의 자율주행 자동차가 도로에 나서는 것은 이 정도 처리가 가능하기 때문입니다. 그렇다면 데이터의 크기가 얼마나 빠르게 변화하고 있는 것일까요? 1GB보다 1천 배 큰 것이 테라바이트입니다. 아직은 생소한 용어인 페타바이트는 이런 기가바이트보다 백만배 더 큰 데이터를 말합니다. 지금 웬만한 전문가들은 테라바이트의 데이터저장기기를 사용하는 시대입니다.
그런데 더 놀라운 사실이 있습니다.
지금 세상에 있는 데이터의 90%는 2년 전에 존재하지 않았다는 사실입니다. 다른 말로 하면 90%의 데이터가 지난 2년 내에 새롭게 만들어진 것이죠. 데이터의 크기는 사물인터넷, 소셜 모바일, 그리고 클라우드와의 융합에 의해 앞으로 더 커질 것이고, 산업 현장의 공정 및 설비에서 쏟아지는 막대한 규모의 정보가 데이터의 역사를 새로 쓰게 될 것입니다. 현재 1조 개에 달하는 모든 사물과 기기가 매일 각각 2.5GB의 데이터를 생성하고 있다고 생각해 보십시오. 현기증이 날 정도입니다. 전 세계적으로 기계가 생성한 데이터의 양은 8.5ZB 수준이며, 2020년에 이르면 40ZB에 이를 것으로 추정되고 있습니다. 그때가 되면 기계가 생성한 데이터 양이 우리 인간이 그간 생성해 놓은 모든 데이터 양의 40%에 이른다는 뜻이 됩니다.
이런 데이터는 형태에 따라 정형 데이터, 비정형 데이터, 정적 데이터, 동적 데이터 등으로 나뉘어집니다. 정형데이터는 숫자, 문서 등을 말하고, 비정형 데이터는 음악, 이미지, 사진, 영상과 같은 것을 말합니다.
정적데이터는 데이터의 내용이 변하지 않는 형태를 말합니다. 이런 데이터는 과거에 일어난 사실이므로, 데이터를 토대로 예측을 하고, 다시 깊이 있는 분석Deep Analysis을 하는 과정을 거치게 됩니다. 그리고 다시 가설을 세우는 프로세스를 반복하게 됩니다. 의류 업체 자라가 사용하는 방식입니다.
이에 반하여 동적데이터는 데이터의 내용이 시시각각 바뀌는 데이터입니다. 구글의 자율주행자동차가 길거리를 달리면서 수집하는 것이 이런 데이터입니다. 수집된 자료를 관찰하고, 그 결과에 따라 반응하며 실제상황과 비교하면서 확인하는 방식으로 데이터를 순간적으로 분석해야 합니다. 동적데이터는 수집 그리고 관찰하면서 동시에 분석하고 반응하는 빠른 처리가 중시됩니다.
그렇다면 이렇게 많은 데이터를 가지고 무엇을 할 수 있을까요?
수량화 할 수 있고 디지털화할 수 있는 데이터는 모든 용도와 범위에서 사용 가능합니다.
의류 업체 자라는 경쟁사가 수개월 또는 1년 단위로 상품을 출시하는 것과 달리 매주 화요일 및 토요일에 신제품을 출시하였습니다. 이 덕에 자라는 세계 1위의 의류 업체로 등극할 수 있었습니다. 뉴톤Nnewton은 학생들에게 개별화된 학습을 지도하는 개인 교사와 같은 서비스를 제공합니다. 의료분야에서도 빅데이터 활용이 늘어나고 있습니다.
비디오 업체도 시청자의 데이터를 분석해서 시청자에게 영화를 추천해 줍니다.
자동차가 찍는 동영상, 응급실의 진료 기록, 북극의 지상 기온, 페이스북의 좋아요 숫자들, 개미들이 다니는 길, 사람의 이야기나 녹음, 온라인 광고 통계, 중세 시대 출생기록, 초음파 음향, 신용카드 거래 내역,행성의 궤도의 조광, 주식거래, 통화기록, 티켓 구매, 소송 진행 상황, 트위터 메시지, 새들의 지저귀는 소리 등 모든 데이터는 분석의 대상이고 이미 수많은 흥미로운 분석결과 들이 등장하고 있습니다.
데이터마이닝, 기계학습, 통계분석, 최적화이론, 딥 마이닝 등 전문적 지식과 체계가 축적의 시간을 넘어 이제는 새로운 서비스를 만들어 내고 있습니다.
데이터가 돈이지만 어떻게 돈이 되는지는 이게 사람과 기업의 몫입니다.
4차산업혁명을 데이터혁명이라 부르는 사람들이 많습니다. 이런 데이터의 가치를 아는 사람들이 이렇게 말하는 것이지요. 그러나 데이터는 디지털기술, 스마트기술 그리고 연결화기술이 동원되어야 확보가 되고, 분석이 되고 응용이 됩니다. 따라서 4차산업혁명의 원리를 디지털, 스마트, 연결화에서 찾는 것이지요.
4차산업혁명의 이야기가 계속 이어집니다