제 연구가 언론에 소개되었습니다: AI는 왜 수능 지구과학에서 헤맬까?

얼마 전 진행했던 서울대학교와 국립대만사범대학교(NTNU)의 공동 연구가 ‘AI매터스’에 기사로 실렸습니다. 이번 연구는 AI 수능 지구과학 문제 풀이 능력을 분석한 것으로, 대만과 “한국”을 오가며 치열하게 고민했던 과학교육 연구가 대중적인 기사로 소개되니 감회가 새롭네요. 블로그 이웃분들께 이번 연구가 어떤 내용인지, 그리고 교육적으로 어떤 의미가 있는지 짧게 공유해 볼까 합니다.

AI 수능 지구과학 분석: 무엇을 연구했는가?

이번 연구는 GPT-4o, 제미나이 2.5 플래시, 제미나이 2.5 프로 등 최신 거대언어모델(LLM)들이 2025학년도 수능 ‘지구과학I’ 문제를 어떻게 푸는지 분석한 내용입니다. 단순히 “AI가 몇 점을 받았나”를 측정하는 것을 넘어, “AI는 사람과 어떻게 다르게, 왜 틀리는가?”라는 근본적인 질문에 집중했습니다.

AI에게 시험지를 통째로 주기도 하고, 문항별로 잘라서 주기도 하고, 텍스트와 도식을 철저히 분리해서 제공해 보기도 했습니다. 최선의 조건에서 제미나이 2.5 프로 모델이 68점으로 상위권에 근접하는 성적을 내긴 했지만, 저희 연구팀이 주목한 것은 AI가 실패할 때 나타나는 아주 독특하고 반복적인 패턴이었습니다.

AI는 어떻게 실패하는가?

분석 결과, AI는 사람이 틀리는 방식과는 전혀 다른 세 가지 치명적인 오류 패턴을 보였습니다.

1. 지각-인지 단절 (Perception-Cognition Gap): AI가 시각 정보 자체는 인식하지만, 그 안에 담긴 과학적 규칙을 읽어내지 못하는 현상입니다. 예를 들어, 태풍의 풍향을 나타내는 방사형 그래프를 볼 수는 있어도, 그 선들이 의미하는 ‘시계 방향’과 ‘반시계 방향’의 과학적 의미로는 연결하지 못했습니다.
2. 계산-개념 불일치 (Calculation-Conceptualization Discrepancy): 수식 계산은 완벽하게 해내지만, 그 숫자가 의미하는 물리적, 과학적 개념은 파악하지 못하는 경우입니다. 절차적 계산 능력과 개념적 이해가 완전히 분리되어 있는 셈이죠.
3. 과정 환각 (Process Hallucination): 복잡한 데이터를 보고 단계적으로 추론해야 하는 상황에서, 그 과정을 훌쩍 건너뛰고 표면적으로 관련 있어 보이는 배경지식을 그냥 끼워 맞춰 결론을 내버리는 현상입니다.

향후 교육의 방향: AI 수능 지구과학 연구가 가지는 의미

이 연구의 진정한 가치는 단순히 “AI가 아직 사람을 뛰어넘지 못했다”를 증명하는 데 있지 않습니다. 다가오는 AI 시대에 우리 교육의 평가 방식이 어떻게 바뀌어야 하는지에 대한 명확한 실마리를 제공한다는 점이 핵심입니다.

제가 지난 2월 과학교육학회(KASE) 동계학술대회에서도 발표했던 ‘AI 내성 문항(AI-resistant assessment)’ 설계의 중요성이 바로 여기에 있습니다. AI가 쉽게 풀어내는 단순 지식이나 절차적인 계산을 묻는 평가는 더 이상 변별력을 가지기 어렵습니다. 대신, 비정형 도식의 숨은 규칙을 해석해야 하거나, 계산된 결과의 개념적 의미를 현실 상황에 적용할 수 있는지를 묻는 평가가 필요합니다. 이는 학생들의 진짜 이해도를 측정하면서도 AI가 쉽게 모방할 수 없는 효과적인 교육 평가의 방향성이 될 것입니다.

앞으로도 기술과 교육이 교차하는 지점에서, 학습과학의 관점을 담은 의미 있는 연구를 계속해 나가겠습니다.

자세한 기사 내용과 arXiv에 공개된 리포트 원문은 아래 링크에서 확인하실 수 있습니다.

arXiv에 Preprint로 올린 것이라 아직 정리가 완벽하게 된 글은 아닙니다. 정규 학술지에도 투고를 얼른 해야 하는데, 워낙 AI가 바뀌는 속도가 빠르다 보니 시간을 내서 투고를 하기가 쉽지 않네요.

👉 기사 원문 보기: 의사 시험 붙은 GPT, 수능 지구과학 앞에서 멘붕… – AI매터스
👉 논문(arXiv): “ChatGPT and Gemini participated in the Korean College Scholastic Ability Test – Earth Science I”