GPU 데이터 캐시 접근 패턴 방법에 따른 성능 변화 분석

Abstract

GPU는 다른 도메인의 응용 프로그램에 훨씬 더 높은 명령 처리량과 메모리 대역폭을 제공하므로 최근 범용 응용 프로그램을 성공적으로 가속화했다. 그러나 큰 메모리 대기 시간으로 인해 GPU 성능에 병목 현상이 남아 있습니다. 캐시는 칩 외부 메모리 트래픽을 줄이지 만 캐시 관리는 어렵다. Nvidia Ampere 아키텍처에 도입된 새로운 상주 제어 기능을 통해 사용자는 이제 캐시에 상주하는 데이터의 양을 제어할 수 있다. 그러나 여러 애플리케이션을 동시에 실행하는 동안 주의할 점은 데이터 지속성이 필요한 애플리케이션과 그 양을 식별하는 것이다. 이 백서에서는 처리량 및 데이터 액세스 빈도로 워크로드를 특성화하고 세 가지 공동 스케줄링 시나리오를 실험하여 최적의 성능을 위한 영구 캐시 할당을 결정한다. 서로 다른 데이터 액세스가 있는 응용 프로그램을 함께 실행할 때 L2 별도 할당이 지속적인 데이터 액세스가 있는 응용 프로그램에 편향되어서는 안 된다는 것을 관찰했다.