시각장애인에게 상품을 안내하기 위한 객체 식별 알고리즘

Abstract

시각장애인들은 상품들에 대한 점자 정보와 지원 시스템의 부재로 인해 소매점을 이용하는데 어려움을 겪고 있다. 그에 따라 본 연구에서는 소매점 내 상품을 인식하고, 이를 음성으로 해설하는 시스템의 기본 알고리즘을 제안한다. 우선, 딥러닝 모델이 입력 이미지에서 손 객체와 상품 객체를 감지한다. 그리고 각 객체의 좌표 정보를 계산하여 손 객체와 가장 많이 겹치는 상품 객체를 찾는다. 그 상품을 사용자가 선택한 상품이라고 판단한 뒤, 해당 상품의 대한 영양 정보를 Text-To-Speech를 사용하여 읽어준다. 평가 결과, 학습 모델의 성능이 높은 것을 확인하였다. 본 알고리즘은 시각장애인의 소매점 이용을 지원하는 시스템 구축에 적극적으로 활용될 수 있을 것이다.

Visually impaired people have very difficulty using retail stores due to the absence of braille information on products and any other support system. In this paper, we propose a basic algorithm for a system that recognizes products in retail stores and explains them as a voice. First, the deep learning model detects hand objects and product objects in the input image. Then, it finds a product object that most overlapping hand object by comparing the coordinate information of each detected object. We determine that this is a product selected by the user, and the system read the nutritional information of the product as Text-To-Speech. As a result of the evaluation, we confirmed a high performance of the learning model. The proposed algorithm can be actively used to build a system that supports the use of retail stores for the visually impaired.