메타 의사 라벨을 이용한 오토인코더 기반 이상 탐지 성능 향상 기법

Abstract

이상 탐지(anomaly detection)는 대다수 데이터의 패턴에서 크게 벗어나는 데이터를 탐지하는 것이다. 오토인코더는 이상 탐지에 사용되는 대표적인 모델로서, 정상 데이터의 특징을 먼저 학습한 후 이 특징에 크게 벗어나는 데이터를 이상 데이터로 판별한다. 오토인코더가 정상 데이터의 특징을 학습하기 위해서는 정상이라고 라벨링(labeling)된 다량의 데이터가 필요하다. 하지만 라벨링된 다량의 데이터를 확보하는 것은 일반적으로 쉽지 않은 일이다. 이를 위해 본 논문은 메타 의사 라벨(meta pseudo label) 기법을 이용하여, 라벨링되지 않은 데이터까지 오토인코더의 학습에 활용하는 기법을 제안한다. 제안 기법은 라벨링되지 않은 데이터에서 정상으로 예측되는 데이터를 선별하여 이를 추가로 오토인코더의 학습에 사용한다. 그로 인해 제안 기법은 라벨링된 데이터가 많지 않은 환경에서도 라벨링되지 않은 데이터를 활용하여 이상 탐지의 성능을 향상시킬 수 있다. 두 개의 실제 데이터셋을 사용한 실험 결과, 제안 기법은 기존 이상 탐지 기법에 비해 이상 데이터를 더욱 정확히 탐지함을 확인하였다.

Anomaly detection is to detect data that deviate significantly from the pattern of the majority of data. The autoencoder is a representative model used for anomaly detection. An autoencoder first learns the features of normal data, and then determines data that greatly deviate from the the learned features as anomalous data. In order to learn the features of normal data, an autoencoder needs a large amount of data labeled as normal. However, it is usually not easy to obtain a large amount of labeled data. To address this problem, this paper proposes a method that utilizes even unlabeled data to train an autoencoder, which is based on the meta pseudo labeling. The proposed method selects data that is predicted as normal from unlabeled data and additionally uses them to train an autoencoder. Consequently, the proposed method can improve the performance of anomaly detection by using unlabeled data even in an environment where there are not much labeled data. Through experiments using two real datasets, we confirmed that the proposed method detects anomalies more accurately than the existing anomaly detection techniques.