자연어 프롬프트 기반 데이터셋 생성 및 시각화 시스템

Dataset Creation and Visualization System based on Natural Language Prompt

초록

디지털 기술의 발전으로 급격히 증가하고 있는 데이터로부터 유용한 인사이트를 도출하는 데이터 분석이 중요해지고 있다. 특히, 웹상의 비정형 데이터를 추출하기 위해서는 웹 스크래핑 기술이 필요하지만, 웹페이지마다 HTML 구조가 상이하여 활용하기 어렵다. 따라서 본 연구에서는 웹 데이터 활용의 어려움을 개선하고자 자연어 프롬프트 기반의 데이터셋 생성, 편집 및 시각화 시스템을 제안한다. 제안 시스템은 자연어 프롬프트의 유형을 딥러닝 모델을 통해 분류하고 추출된 키워드에 따라 자동 웹 스크래핑을 수행하여 데이터셋을 생성, 편집, 시각화할 수 있다. 구현된 시스템의 성능 분석을 위해 도서, 뉴스 및 영상 도메인의 대표 웹사이트에 적용하고 수행 결과를 제시하였다. 본 시스템 사용자는 교육 연구 분석용 데이터셋을 얻기 위해 복잡한 웹 스크래핑을 위한 스크립팅 대신 자연어 프롬프트를 사용하여 데이터셋 생성, 편집 및 분석 작업을 수행할 수 있다.

키워드

datasetNLPweb scrapingpromptCNN model.
제목
자연어 프롬프트 기반 데이터셋 생성 및 시각화 시스템
제목 (타언어)
Dataset Creation and Visualization System based on Natural Language Prompt
저자
황유경신진영유석종
DOI
10.14801/jkiit.2024.22.4.23
발행일
2024-04
저널명
한국정보기술학회논문지
22
4
페이지
23 ~ 28