한 학생이 수학 시험에서 낮은 점수를 받았다. 결론은 하나뿐인 것 같다 — 이 학생은 수학을 못한다. 그런데 문제를 다시 보니, 상당수가 긴 지문을 읽고 조건을 해석해야 푸는 문항이었다. 이 학생은 계산은 정확한데 국어 지문 독해가 느리다. 그렇다면 이 점수는 '수학 실력'을 잰 걸까, '독해 속도'를 잰 걸까.
시험은 자처럼 보이지만, 무엇을 재고 있는지가 늘 분명하지는 않다. 점수 한 줄 뒤에는 '이 도구가 정말 재려던 것을 재고 있는가'라는 까다로운 물음이 숨어 있다.
점수는 정말 그 능력을 재고 있을까?
측정이 잘못될 수 있는 방향은 크게 둘이다. 첫째, 엉뚱한 것을 재는 경우다. 위의 수학 시험이 독해력을 재고 있었다면, 아무리 점수가 정확히 나와도 그 점수로 수학 실력을 말하면 안 된다. 이것을 타당도의 문제라 한다.
둘째, 잴 때마다 값이 흔들리는 경우다. 같은 학생이 같은 실력으로 오늘 보면 70점, 내일 보면 55점이 나온다면, 이 시험은 무언가를 일관되게 재지 못하는 것이다. 이것이 신뢰도의 문제다. 중요한 것은 둘이 별개라는 점이다. 매번 똑같이 55점이 나와도(신뢰도 높음) 그게 수학이 아니라 독해를 잰 것이라면(타당도 낮음) 소용이 없다. 반대로 재려던 것을 겨냥은 잘했는데 값이 들쭉날쭉하면 믿기 어렵다. 좋은 시험은 두 조건을 함께 만족해야 한다.
이 현상을 다루는 학문은 무엇인가?
이 물음을 파는 분야가 교육평가론, 그리고 그 수리적 토대인 교육측정학이다. '측정'이라는 말이 핵심이다. 키를 재는 자에는 오차가 있고, 저울에도 오차가 있다. 능력을 재는 시험도 마찬가지로 오차를 낀 도구라는 전제에서 출발한다.
그래서 이 학문은 점수를 '실력 그 자체'가 아니라 '실력 + 오차'로 본다. 관찰된 점수에서 진짜 실력(참값)과 우연한 오차를 어떻게 분리해 낼지, 문항이 너무 쉽거나 어렵지는 않은지, 특정 집단에 불리하게 작동하지는 않는지(문항 편향)를 통계로 따진다. 시험을 '누가 잘했나 줄 세우기'가 아니라 '이 도구는 얼마나 믿을 만한가 검증하기'의 대상으로 뒤집어 보는 셈이다.
고등학교에서 배운 무엇과 이어지나?
확률과 통계가 이 학문의 언어다. '관찰값 = 참값 + 오차'라는 발상은 통계에서 측정을 다루는 기본 틀이고, 여러 번 재서 평균을 내면 오차가 줄어든다는 아이디어는 표본의 평균을 다루는 단원과 곧장 이어진다.
시험 점수를 하나의 값이 아니라 '오차 범위를 가진 추정치'로 본다는 발상은, 1,000명에게 묻고 5,000만 명을 말하는 근거(통계학)에서 다룬 '표본으로 전체를 추정할 때의 불확실성'과 정확히 같은 논리다. 두 시험 점수의 관계나, 시험 점수와 실제 수행의 관계를 재는 데는 상관 개념이 쓰인다. 확률과 통계를 시험 문제 풀이로만 익혔다면, 확률과 통계 공부법에서 개념의 쓰임을 되짚어 보는 것이 이 학문으로 가는 다리가 된다.
대학에서는 이걸 어떻게 배우나?
교육평가·교육측정은 사범대학·교육학과의 한 갈래이며, 심리학과의 심리측정과도 겹친다. 개설 과목과 이름은 대학마다 다르다. 대체로 교육통계를 기초로, 검사 이론(고전 검사 이론과 문항반응이론), 평가 설계, 자료 분석 순으로 깊어진다.
이 분야의 실제 작업은 '좋은 문항을 고르고 나쁜 문항을 걸러내는' 일에 가깝다. 어떤 문항이 실력 있는 학생과 없는 학생을 잘 가려내는지(변별도), 정답률이 적절한지, 특정 배경의 학생에게 불리하지 않은지를 자료로 검토한다. 표준화 시험(수능·학업성취도평가 등)의 문항을 다듬는 일이 대표적인 응용이며, 교육의 공정성 문제와 직접 맞닿아 활발히 연구된다.
여기서 뻗어 나갈 탐구 질문 3가지
- 내가 최근 본 시험 중 하나를 골라, 그 시험이 '재려던 능력'과 '실제로 잰 능력'이 어긋난 지점이 있는지 문항별로 따져 보기.
- 수행평가처럼 채점자가 사람인 평가에서 신뢰도를 높이려면 무엇이 필요할까? 같은 답안에 다른 점수가 나오는 문제를 어떻게 줄일 수 있는가?
- '측정할 수 없으면 관리할 수 없다'는 말은 교육에 얼마나 적용될까? 시험으로 잴 수 있는 것과 원리적으로 재기 어려운 것을 나눠 보기.
한 줄 요약
시험은 자가 아니라 오차를 낀 도구다 — 교육평가론은 점수를 믿기 전에 '이 도구가 재려던 것을 제대로, 일관되게 재는가'를 먼저 묻는 학문이다.
점수 한 줄을 의심 없이 받아들이지 않는 태도는 좋은 탐구의 자세다. TimeLevelUp에서 자신의 성취를 여러 각도로 기록하고, 생기부레벨업의 1:1 컨설팅으로 교육·심리 계열 탐구와 연결하면, '시험이란 무엇을 재는가'라는 물음이 진로 탐구로 자란다.