빅데이터를 위한 데이터 품질 평가 방법에 대한 연구

Abstract

빅데이터 분석이나 머신러닝과 같은 데이터 기반의 정보기술 분야에서는 데이터 품질이 매우 중요하다. 고성능의 데이터 분석 알고리즘이나 머신러닝 학습 모델을 사용하더라도 입력 데이터의 품질이 보장되지 않는다면, 그 결과물은 신뢰할 수 없기 때문이다. 따라서 빅데이터를 활용하고 분석하기 위해서는 방대하고 복잡한 데이터들로부터 고품질의 데이터를 추출할 수 있어야 한다. 본 논문에서는 고품질을 보장하는 빅데이터를위한 품질 평가 방법에 대해 고찰해본다. 빅데이터에 대한 데이터 라이프사이클을 살펴보고, 데이터 품질 요소에 대한 국제표준화 동향과 함께 라이프 사이클에 따라 고려되어야 하는 데이터 품질 특성을 정의한다. 또한 빅데이터 관련 데이터 품질 평가에 대한 기존의 주요 연구들을 비교 분석하고, 이를 바탕으로 빅데이터품질 평가에 필요한 요소들을 살펴본다. 정의된 요소들을 반영하여 목적기반 데이터 품질지표를 이용한 빅데이터 품질 평가 프로세스를 제안한다. 제안된 프로세스는 향후 빅데이터 품질을 평가할 수 있는 평가 지표개발과 통합된 평가 프레임워크 개발의 기초자료로 활용될 것으로 기대한다.