TOPIK 듣기 평가에서 문제가 있는 문항 10개를 찾아 문항 분석하고 개선안을 제시

소개글

TOPIK 듣기 평가에서 문제가 있는 문항 10개를 찾아 문항 분석하고 개선안을 제시

서론

한국어능력시험(Test of Proficiency in Korean, TOPIK)은 한국어를 모국어로 하지 않는 학습자의 한국어 사용 능력을 측정하는 대표적인 표준화 시험이다. 특히 듣기 평가는 실제 의사소통 상황에서 음성 정보를 지각하고, 핵심 내용을 파악하며, 화자의 의도와 태도, 담화의 전개 관계를 추론하는 능력을 측정한다는 점에서 중요하다. 그러나 듣기 문항이 목표 능력을 정확하게 측정하려면 단순히 정답 하나가 존재하는 것만으로는 충분하지 않다. 문항이 실제 듣기 능력보다 배경지식, 순간 기억력, 전문 용어 지식, 선택지의 문구 단서 등에 과도하게 의존한다면 평가의 타당도와 변별력이 약화될 수 있다.

본 과제는 제83회 TOPIK II 듣기 공개 기출문항 가운데 평가 설계상 재검토할 여지가 있다고 판단되는 10개 문항을 선정하여 질적으로 분석하고 개선안을 제시하는 데 목적이 있다. 여기서 ‘문제가 있는 문항’은 공식적으로 오류가 확정된 문항이라는 의미가 아니라, 언어 평가의 타당도·신뢰도·실제성·공정성·난이도 및 오답지 기능의 관점에서 개선 가능성이 있는 문항을 뜻한다. 따라서 본 분석은 정답률이나 문항변별도와 같은 응시자 반응 자료가 공개되지 않은 상황에서 이루어진 전문가적 질적 검토라는 한계를 전제로 한다.

분석 대상은 3번, 8번, 15번, 18번, 22번, 25번, 32번, 39번, 45번, 49번 문항이다. 이들 문항은 그래프 해석과 기억 부담, 대화의 화용적 자연성, 정답 단서의 직접 노출, 중심 생각 선택지의 과도한 일반화, 특정 분야의 전문어휘, 태도 판단 기준의 모호성, 문화·역사 지식 의존성 등의 문제를 비교적 분명하게 보여 준다. 각 문항은 원문 전체를 재현하기보다 문항의 핵심 내용과 선택지 관계를 요약하여 분석하고, 가능한 경우 수정된 발문이나 선택지의 예를 제안한다.

본론

1. 듣기 평가의 구성 타당도

Bachman과 Palmer는 언어평가가 측정하려는 언어 능력과 실제 과제 수행 간의 연계성을 확보해야 한다고 본다. 듣기 평가에서도 정답을 맞히기 위해 필요한 핵심 과정이 음성 이해와 의미 구성이어야 하며, 숫자의 기계적 기억이나 특정 학문 분야의 전문지식이 결정적 단서가 되어서는 안 된다. Buck(2001) 역시 듣기 이해가 언어 지식뿐 아니라 실시간 정보 처리와 담화 해석의 복합 과정임을 강조한다. 따라서 문항은 필요한 인지 처리 수준을 적절히 유지하되, 평가 목표와 무관한 부가 부담을 최소화해야 한다.

2. 난이도·변별도와 선택지의 기능

좋은 객관식 문항은 정답이 명확하면서도 오답지가 충분히 그럴듯해야 한다. 정답이 듣기 대본의 표현을 거의 그대로 반복하고 오답지가 명백히 틀리면 실제 듣기 능력 차이보다 표면적 단어 일치 여부로 정답이 결정된다. 반대로 둘 이상의 선택지가 합리적으로 가능한 경우에는 문항의 신뢰도가 낮아질 수 있다. 김유정(2006)과 이상린(2011)의 연구 역시 TOPIK의 난이도와 문항 기능을 점검할 필요성을 제기하며, 지나치게 쉽거나 변별력이 낮은 문항은 수준 판별 기능을 약화시킬 수 있음을 보여 준다.

결론

1. 듣기 평가의 구성 타당도
Bachman과 Palmer는 언어평가가 측정하려는 언어 능력과 실제 과제 수행 간의 연계성을 확보해야 한다고 본다. 듣기 평가에서도 정답을 맞히기 위해 필요한 핵심 과정이 음성 이해와 의미 구성이어야 하며, 숫자의 기계적 기억이나 특정 학문 분야의 전문지식이 결정적 단서가 되어서는 안 된다. Buck(2001) 역시 듣기 이해가 언어 지식뿐 아니라 실시간 정보 처리와 담화 해석의 복합 과정임을 강조한다. 따라서 문항은 필요한 인지 처리 수준을 적절히 유지하되, 평가 목표와 무관한 부가 부담을 최소화해야 한다.
2. 난이도·변별도와 선택지의 기능
좋은 객관식 문항은 정답이 명확하면서도 오답지가 충분히 그럴듯해야 한다. 정답이 듣기 대본의 표현을 거의 그대로 반복하고 오답지가 명백히 틀리면 실제 듣기 능력 차이보다 표면적 단어 일치 여부로 정답이 결정된다. 반대로 둘 이상의 선택지가 합리적으로 가능한 경우에는 문항의 신뢰도가 낮아질 수 있다. 김유정(2006)과 이상린(2011)의 연구 역시 TOPIK의 난이도와 문항 기능을 점검할 필요성을 제기하며, 지나치게 쉽거나 변별력이 낮은 문항은 수준 판별 기능을 약화시킬 수 있음을 보여 준다.

참고문헌

국립국제교육원. (2026). 한국어능력시험(TOPIK) 홈페이지 및 TOPIK II IBT 듣기 영역 체험 자료. https://www.topik.go.kr/
제83회 한국어능력시험(TOPIK II) 듣기 공개 기출문항 및 대본. (2022/2023 공개 자료).
김유정. (2006). 한국어능력시험의 난이도 분석 연구. 한국어교육, 17(1), 21-46.