상세 보기
초록
정보기술의 발달로 모든 데이터는 데이터베이스화 되어 빅데이터 시대를 맞이하였으며방대한 양의 데이터에 대한 접근성과 활용 가능성을 높이고자 빅데이터 검색 플랫폼의필요성이 증가되었다. 검색 플랫폼은 기본적으로 효율적인 검색을 위해 인덱스를 빠르게생성하고 저장하는 인덱싱 (indexing) 과정과 생성된 인덱스를 활용하여 필요한 정보를 찾는검색 (searching) 과정으로 구성된다. 빅데이터 시대를 지나 초빅데이터 시대를 맞이하여데이터의 용량이 거대해짐에 따라 데이터 인덱싱 성능이 검색 플랫폼의 매우 중요한성능문제로 대두되고 있다. 많은 기업들이 효율적인 빅데이터 검색을 위해 검색 플랫폼들을도입하고 있으나, 검색 효율성 및 검색 정확도 관련 연구에 비해 검색 성능의 핵심이 되는인덱싱(indexing)의 성능을 최적화하는 연구는 상대적으로 미흡한 실정이다. 또한인덱싱(indexing) 기본 단위인 샤드(Shard) 수와 크기를 최적화하는 연구에 비해 검색플랫폼을 클러스터 기반으로 운영하기 위한 다양한 성능 비교 관련 연구는 미흡하다. 이에본 연구에서는 대표적인 엔터프라이즈 빅데이터 검색 플랫폼인 Elasticsearch 클러스터를구성하여 확장성 높은 검색 환경을 위해 최적의 인덱싱 성능을 낼 수 있는 구성을 제안한다. 본 논문은 클러스터와 검색 플랫폼의 다양한 구성 변경을 통해 최고의 인덱싱 성능을 낼 수있는 구성을 도출하여 최적 구성에서 기본 구성보다 평균 3.13배 높은 인덱싱 성능의 향상을확인하였다
키워드
Elasticsearch; Search Engine; Big Data; Indexing; Distributed Systems; Clusters
- 제목
- 빅데이터 클러스터 기반 검색 플랫폼의 실시간 인덱싱 성능 최적화
- 제목 (타언어)
- Real-Time Indexing Performance Optimization of Search Platform Based on Big Data Cluster
- 저자
- 금나연; 박동철
- 발행일
- 2023-12
- 권
- 11
- 호
- 6
- 페이지
- 89 ~ 105