오늘날 빅 데이터 분석에 대한 수요가 급속히 높아지면서 센서 기술에서 파생되는 데이터의 증가 및 다원화가 그 원인으로 지목되고 있다. 지금도 센서 데이터의 급증은 멈추지 않고 계속되고 있지만, 통합적인 관점에서 이 모든 데이터를 이해하고자 하는 개혁은 아직 걸음마 단계다.
센서 기술을 통해 데이터 볼륨이 엄청나게 증가하면서 기업들은 빅 데이터 분석 및 데이터 웨어하우스 기술을 확장해야 하는 상황에 처해 있다. 업종과 규모를 총망라하여 모든 기업들은 데이터 급증에 따라 새롭게 출현하는 정보도 함께 관리함으로써 기업이나 개인 간 정보 교류에도 기여를 해야 한다. 데이터 웨어하우스에 저장된 임상 센서 데이터가 환자의 생명을 살리는 데 큰 공을 세우는 것도 앞으로 10년 이내에 실현될 것이다.
톨 게이트를 통과하는 자동차, 소매점에서 매매되는 상품, 제조 공장의 생산품, 에너지 소모량, 그리고 심지어 각 개인까지 추적 불가능한 것이 없을 정도로 센서 기술은 모든 곳에 적용된다. 경제적으로 센서 비용이 과자 비용보다 낮아지면서 센서의 배포 속도도 훨씬 빨라졌다.
센서의 한 종류인 '스마트 더스트(Smart dust)'는 결국 모래 한 알의 크기까지 줄어들 것이다. 군대에서 사용되는 '스마트 더스트' 센서는 일제히 작동하여 전투 중인 차량과 병사의 움직임을 종합적으로 모니터링한다. 또한 홍콩에 거주하는 학부모들은 이 센서를 통해 자녀가 정시에 등교하는지 확인할 수 있다.
사람들의 행동 방식이나 현상까지도 동적 모니터링이 가능한 게 바로 이 센서의 기능이다. 시인인 블레이크(Blake)는 '모래알 하나에서 세상을 본다'라는 표현을 쓴 바 있다. 이런 비전을 가능하게 하는 것이 바로 동적 센서 데이터를 통한 세상의 지능화다.
동적 센서 데이터를 제공하는 마이크로 센서는 기본적으로 컴퓨팅 엔진, 양방향 커뮤니케이션, 전원공급장치 등 세 가지 컴포넌트로 구성된다. 이런 센서 수천 개가 대량으로 분산되어 센서 네트워크를 형성함으로써 엄청난 양의 데이터를 생성하기 때문에 오늘날 기준으로는 헤아릴 수 없는 고급 분석의 기회가 창출되는 것이다.
자동차 산업 역시 센서 기술의 이점을 이용하는 사례가 증가하고 있다. RFID 기술은 앞으로 신형 자동차의 표준 빌딩 블록으로 자리잡아 다양한 자동차 기능을 모니터링하는 데 사용될 것으로 기대된다. 또한 새로운 기술의 등장과 함께 고객들은 사실상 거의 모든 것을 추적하여 특정 위치를 알려주는 다양한 위치 기반 서비스에 가입할 수 있다.
고객 상호작용 및 사용 패턴을 추적하는 위치 데이터 역시 급증하고 있다. 분석 전문가가 데이터베이스 시스템을 이용해 위치 및 서비스 사용과 같은 데이터의 상관관계를 분석한다. 이렇게 분석한 데이터는 이동통신 회사가 기지국 위치를 결정하거나 소매업체가 특정 구매에 대한 고객의 동인을 파악하는 데 큰 도움이 될 수 있다.
제약업계에서는 의약품의 원산지를 확인하여 제품을 검증하는 데 센서 기술이 이용되고 있다. 그 이유는 회사가 의약품을 수입할 경우 그 원산지 국가와 제조 공장을 정확히 알고 있어야 하기 때문이다.
또한 정부에서도 센서 기술을 이용하는 자산 추적 사례를 많이 볼 수 있다. 센서를 사용하여 산불을 발화점에서 바로 감지함으로써 신속히 대응할 수 있는 환경 감시 역시 또 하나의 응용 분야다.
또 하나의 센서 응용 분야를 꼽으라고 한다면 더 나은 제품 설계를 예로 들 수 있다. 기업은 이 기술을 통해 제품이 생산 공장에서 출하된 후 어떻게 사용되고, 어떤 성능을 발휘하는지 추적할 수 있다.
센서 데이터를 이용하는 분야 중 의료 기기는 가장 흥미롭다고 할 수 있다. FDA는 최근 환자의 가슴에 패치 형태로 붙이는 심장 센서를 승인했다. 이 센서가 심장 데이터를 시스템 서버에 전송하면, 시스템 서버는 알고리즘을 실행해 이상 유무를 감지한다.
분석 결과 문제가 발견되면 서버가 환자의 바이오 데이터를 주치의의 휴대 전화와 중앙 모니터링 시스템으로 직접 자동 전송한다. 따라서 주치의는 발병 전이나 환자의 증상이 육안으로 드러나기 전에 문제가 생길 수 있다는 소지를 알 수 있다.
이와 같은 센서 기술은 환자가 심장 질환에 걸리기 전에 경고 신호를 감지함으로써 잠재적으로 생명을 구하는 데 기여한다. 데이터 감지 센서 역시 뇌졸증 경고 신호를 조기에 감지하여 간병인과 환자들이 발병 전에 대처할 수 있을 것으로 기대된다.
현재 생성되고 있는 센서 데이터의 볼륨은 지수 성장 곡선의 초기 단계에 있다. 실제로 차세대 고급 분석을 이끄는 주인공은 센서 데이터이다. 물론 아직 풀어야 할 숙제도 있다.
기업은 이 데이터를 수집, 분석 및 통합하여 정보를 생성할 수 있는 시스템을 구축함으로써 효과적인 비즈니스 운영과 유익한 의사결정에 한 걸음 다가서야 한다. 엔터프라이즈 데이터 웨어하우스의 새로운 핵심 자원으로써 센서 데이터가 그 중심에 서리란 것은 이제 의심의 여지가 없다.
센서 기술을 통해 가치를 창출하다 보면 데이터베이스의 몸집이 이전보다 훨씬 커질 것이다. 또한 센서 데이터에서 유효 정보를 얻으려면 엄청난 양의 처리 성능도 필요한다.
데이터베이스 처리의 효율성과 확장성은 SHV(Standard High Volume) 서버를 이용한 오픈 명령 세트 컴퓨팅, Linux 오픈 소스 운영 체제, 그리고 대용량 병렬 처리 아키텍처를 이용한 ANSI 표준 관계형 데이터베이스 기술의 경제적 측면에서 비롯된다.
OLTP 워크로드 기술로는 확장성이나, 막대한 양의 데이터에 필요한 경제적 비용을 충족하기 어렵다. 지금까지는 전문화된 데이터 웨어하우스 어플라이언스 형태의 특수한 분석 솔루션으로 새로운 시장 요건을 충족해왔다.
이미 제타바이트 시대에 들어선 우리는 원대한 데이터 전략을 세워야 한다. 그리고 데이터 볼륨, 속도 및 다양성이 눈덩이처럼 불어나고 있는 지금이 바로 행동으로 옮겨야 할 때이다. 광범위한 데이터 소스에서 파생되는 엄청난 양의 데이터를 분석해야 하는 새로운 요구에 부응하기 위해 현재 속도 및 워크로드가 최적화된 빅 데이터 분석 솔루션이 성장하고 있다.
빅 데이터는 대용량의 정보를 효과적으로 처리할 수 있는 탁월한 기술이 필요하다. 진정한 빅 데이터 가치를 경험하려면 무공유 (shared-nothing) 관계형 데이터베이스, MapReduce 프로그래밍 프레임워크, 클라우드 인프라 등 대용량 병렬 처리(MPP) 프레임워크 기술 발전이 필수불가결한 요소이다.
