Detailed Information

Cited 0 time in webofscience Cited 0 time in scopus
Metadata Downloads

시각장애인에게 상품을 안내하기 위한 객체 식별 알고리즘Object Detection Algorithm for Explaining Products to the Visually Impaired

Other Titles
Object Detection Algorithm for Explaining Products to the Visually Impaired
Authors
박동연임순범
Issue Date
Oct-2022
Publisher
한국콘텐츠학회
Keywords
객체 감지; 손 감지; 시각장애인; 소매점; 텍스트 음성 변환; Object Detection; Hand Detection; Visually Impaired; Retail Store; Text-To-Speech
Citation
한국콘텐츠학회 논문지, v.22, no.10, pp 1 - 10
Pages
10
Journal Title
한국콘텐츠학회 논문지
Volume
22
Number
10
Start Page
1
End Page
10
URI
https://scholarworks.sookmyung.ac.kr/handle/2020.sw.sookmyung/152409
DOI
10.5392/JKCA.2022.22.10.001
ISSN
1598-4877
2508-6723
Abstract
시각장애인들은 상품들에 대한 점자 정보와 지원 시스템의 부재로 인해 소매점을 이용하는데 어려움을 겪고 있다. 그에 따라 본 연구에서는 소매점 내 상품을 인식하고, 이를 음성으로 해설하는 시스템의 기본 알고리즘을 제안한다. 우선, 딥러닝 모델이 입력 이미지에서 손 객체와 상품 객체를 감지한다. 그리고 각 객체의 좌표 정보를 계산하여 손 객체와 가장 많이 겹치는 상품 객체를 찾는다. 그 상품을 사용자가 선택한 상품이라고 판단한 뒤, 해당 상품의 대한 영양 정보를 Text-To-Speech를 사용하여 읽어준다. 평가 결과, 학습 모델의 성능이 높은 것을 확인하였다. 본 알고리즘은 시각장애인의 소매점 이용을 지원하는 시스템 구축에 적극적으로 활용될 수 있을 것이다.
Visually impaired people have very difficulty using retail stores due to the absence of braille information on products and any other support system. In this paper, we propose a basic algorithm for a system that recognizes products in retail stores and explains them as a voice. First, the deep learning model detects hand objects and product objects in the input image. Then, it finds a product object that most overlapping hand object by comparing the coordinate information of each detected object. We determine that this is a product selected by the user, and the system read the nutritional information of the product as Text-To-Speech. As a result of the evaluation, we confirmed a high performance of the learning model. The proposed algorithm can be actively used to build a system that supports the use of retail stores for the visually impaired.
Files in This Item
Go to Link
Appears in
Collections
ETC > 1. Journal Articles

qrcode

Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.

Altmetrics

Total Views & Downloads

BROWSE