적외선 카메라를 이용한 비제약적 환경에서의 얼굴 인증

Abstract

차량 내부에는 조명 변화, 부분적인 가림 및 운전자의 상태 변화와 같은 제한되지 않은 조건들이 존재한다. 본 논문에서는 비 제약적인 차량환경에서의 운전자 얼굴 인증 시스템을 제안한다. 제안한 방법은 차량 내부 및 외부의 조명 변화에 따라 발생하는 얼굴 이미지의 변화를 최소화하기위해서 근적외선(NIR) 카메라를 사용한다. 특히 정면에서의 강한 빛에 노출된 얼굴 이미지를 처리하기 위해서, 학습 이미지의 평균과 분산을 사용하여정상적인 얼굴 이미지로부터 빛에 과다하게 노출된 이미지로 변환하여 사용한다. 따라서 정상적인 조명에서의 얼굴 분류기와 강한 정면광에서의얼굴 분류기를 각각 동시에 만들어진다. 제안하는 얼굴 분류기는 얼굴 랜드마크를 추출하고 각 랜드마크의 신뢰도 점수를 합산하여 얼굴을 최종적으로 식별한다. 특히 각 랜드마크를 인식하여 부분적인 얼굴 가림에 강하기 때문에 안경이나 선글라스를 착용하는 상황에서도 높은 성능 향상이가능하다. 즉 가려지지 않은 남은 랜드마크의 점수를 사용하여 운전자를 인식할 수 있다. 또한 등록 운전자와 미등록 운전자 간의 관계를 고려한새로운 인식 거부 방법과 새로운 평가 방법을 논문에서 제안한다. 자체 취득한 데이터 셋, 공인된 PolyU 및 ORL 데이터 셋으로 실험한 결과 제안한방법이 효과적임을 확인할 수 있었다.

There are unrestricted conditions on the driver's face inside the vehicle, such as changes in lighting, partial occlusion and variouschanges in the driver's condition. In this paper, we propose a face identification system in an unrestricted vehicle environment. Theproposed method uses a near-infrared (NIR) camera to minimize the changes in facial images that occur according to the illuminationchanges inside and outside the vehicle. In order to process a face exposed to extreme light, the normal face image is changed to asimulated overexposed image using mean and variance for training. Thus, facial classifiers are simultaneously generated under both normaland extreme illumination conditions. Our method identifies a face by detecting facial landmarks and aggregating the confidence scoreof each landmark for the final decision. In particular, the performance improvement is the highest in the class where the driver wearsglasses or sunglasses, owing to the robustness to partial occlusions by recognizing each landmark. We can recognize the driver by usingthe scores of remaining visible landmarks. We also propose a novel robust rejection and a new evaluation method, which considers therelations between registered and unregistered drivers. The experimental results on our dataset, PolyU and ORL datasets demonstrate theeffectiveness of the proposed method.