대학생 세계이해 논술형 평가도구개발 및 타당화

Abstract

이 연구는 대학생의 세계이해를 평가하기 위한 논술형 평가도구를 개발하고 타당화하기 위하여 수행되었다. 세계이해는 세계의 다양한 문화, 경제, 정치 등의 이슈에 관심을 가지고 상호의존적 공동체 특성을 인식하여 국제이슈를 해석·탐구할 수 있는 능력이다. 이에, 글로벌 환경에서 국가 혹은 지역 간 이해관계나 가치가 충돌하는 상황을 분석하도록 논술형 과제를 설계하였다. 대학생 340명이 논술형 과제 수행에 참여하였으며, 개발된 채점기준표에 따라 11명의 채점자가 채점하였다. 산출된 자료를 다국면 Rasch 모형을 활용하여 분석한 결과는 다음과 같다. 첫째, 상호의존성 인식 영역에서 난이도가 가장 낮은 항목은 ‘지구적 가치 추구의 중요성 인식’이었으며, 난이도가 가장 높은 항목은 ‘다양한 입장과 견해를 고려한 갈등상황 인식’이었다. 둘째, 국제이슈 탐구 영역에서 난이도가 가장 낮은 항목은 ‘자신의 가치 제시’였고, 난이도가 가장 높은 항목은 ‘자신의 견해에 대한 다각적 검토’였다. 셋째, 주제유형에 따라 채점항목의 난이도가 달랐다. 구체적으로 환경·기술형 과제보다 사회·문화형 과제의 난이도가 높게 나타났다. 넷째, 논술형 평가도구를 통해 확인된 학생들의 세계이해 수준은 문제해결 전략, 의사소통 전략과는 정적 상관을 보인 반면, 자기보고식으로 측정한 개방성 점수와는 상관이 없었다. 상기의 결과에 기반하여, 세계이해를 포함한 대학생 역량 측정 관련 후속연구 및 대학생의 글로벌역량 교육을 위한 과제를 논의하였다.

This study was conducted to develop and validate writing tasks and a scoring rubric to measure college students’ global understanding. Global understanding in this study was conceptualized as the ability to conduct a multi-perspective analysis of global issues while being aware of interdependence in global communities. A short writing task prompted students to analyze a real-world global issue on either of two broad topic areas, one socio-cultural and the other techno-ecological, and to present their own perspective. Writings from 340 college students were assessed by 11 graders based on a checklist-type rubric of two scoring dimensions-global interdependence awareness and multi-perspective analytic ability. The results of a many-facet Rasch analysis showed the lowest-difficulty parameter in the dimension of global interdependence awareness was found to be ‘awareness in the importance of pursuing universal values’ while the highest in difficulty was ‘consideration of multiple perspectives.’ The item with the lowest-difficulty parameter in the multi-perspective analytic ability dimension was ‘whether to be capable of presenting own opinions,’ and the highest in the difficulty parameter was ‘whether to be able to evaluate own view in light of multiples perspectives.’ Scholarly and practical implications were discussed based on these results.