GPT-4를 활용한 과학탐구역량 자동채점의 특성 분석Characteristics of GPT-4 automated scoring of scientific inquiry competency
- Other Titles
- Characteristics of GPT-4 automated scoring of scientific inquiry competency
- Authors
- 함은혜; 박소영; 이병윤; 이성혜; 이유경; 홍유정
- Issue Date
- Jun-2024
- Publisher
- 한국교육정보미디어학회
- Keywords
- GPT-4; 자동채점; 신뢰도; 다국면채점자모형; 과학탐구역량; GPT-4; Automated Scoring; Reliability; Many-faceted Rasch Model; Scientific Inquiry Competency
- Citation
- 교육정보미디어연구, v.30, no.3, pp 713 - 742
- Pages
- 30
- Journal Title
- 교육정보미디어연구
- Volume
- 30
- Number
- 3
- Start Page
- 713
- End Page
- 742
- URI
- https://scholarworks.sookmyung.ac.kr/handle/2020.sw.sookmyung/160289
- ISSN
- 1229-7291
- Abstract
- 이 연구는 GPT-4기반 자동채점시스템을 활용한 과학탐구역량 채점자료가 인간전문가의 채점자료와어떻게 다른지를 비교․분석한 것이다. 이를 위해 연구진이 개발한 GPT-4기반 자동채점시스템을 활용하여 초등학생 과학탐구활동보고서 322개를 평가하였으며, 산출된 채점자료의 내적 구조가 인간 채점자료의 내적 구조와 유사한지, 과학탐구역량에 대한 이론적 가정을 지지하는지를 검토하였다. 주요 연구결과는 다음과 같다. 첫째, GPT-4를 활용한 채점은 인간 채점과 비교하여 관대하였으며, 특히 난이도가 높은 채점항목에 대해서 더 관대한 경향을 보였다. 둘째, 채점의 일관성과 채점항목 간 내적일치도는 인간 채점보다 높은 경향을 보였다. 셋째, 다국면 채점자 모형 분석 결과, GPT-4 채점 자료를 인간 채점 자료와 통합하는 경우, 채점항목의 난이도에서 변동이 크게 나타났으며, 인간채점자의 내적적합도와 외적적합도를 상당히 손상시키는 것으로 나타나, GPT-4 채점 결과와 인간채점 결과의 비교가능성이 지지되지 않았다. 연구 결과를 바탕으로, GPT-4를 활용한 자동채점의 한계, 가능성과 과제를논의하였다.
- Files in This Item
-
Go to Link
- Appears in
Collections - 문과대학 > 교육학부 > 1. Journal Articles
![qrcode](https://api.qrserver.com/v1/create-qr-code/?size=55x55&data=https://scholarworks.sookmyung.ac.kr/handle/2020.sw.sookmyung/160289)
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.