AI 툴

AI 튜터를 줬더니 성적이 떨어졌다, 메릴랜드대 2,379명 실험에서 무슨 일이 있었나

미국 메릴랜드대가 수업에 AI 튜터를 붙이자 같은 과목 학생의 최종 성적이 0.37 표준편차 내려갔다. 튜터를 쓴 학생은 15%뿐이었고, 요청의 73.8%는 답과 설명을 달라는 것이었다.

Daniel Moon3분 읽기

연재 · 4화AI로 공부하면 실력이 늘까목록
  1. 1화AI공부, 시험 점수를 올릴까: 대학생 211명 실험이 답한 0.27
  2. 2화제미나이 학생 무료 1년, 받기만 하면 공부가 될까
  3. 3화AI 탐지기에 걸린 과제 53.6%, 튜터로 쓴 학생과 대필시킨 학생은 무엇이 달랐나
  4. 4화AI 튜터를 줬더니 성적이 떨어졌다, 메릴랜드대 2,379명 실험에서 무슨 일이 있었나지금 읽는 글
연재 소개·전체 목록
책상 위에 노트와 공부 자료를 펼쳐 놓고 필기하는 손

핵심 요약

  1. 1미국 메릴랜드대 학부생 2,379명 실험에서 AI 튜터 반의 최종 성적이 같은 과목 기준 0.37 표준편차 낮았다.
  2. 2강의 사이트 참여 기록은 0.90 표준편차, 접속 일수는 0.51 표준편차 줄었다.
  3. 3AI 튜터를 한 번이라도 쓴 학생은 약 15%였고, 요청의 73.8%는 정보·설명·풀이를 달라는 것이었다.
  4. 4질문으로 이끄는 튜터 방식을 학기 끝까지 켜 둔 강사는 30명 가운데 2명이었다.

미국 메릴랜드대가 수업에 AI 튜터를 붙였더니 같은 과목을 들은 학생의 최종 성적이 0.37 표준편차 내려갔다. 학부생 2,379명과 강사 30명이 참여한 무작위 실험으로, 2026년 10월 IZA 토론 논문으로 나왔다. 학교가 공식으로 준 AI 튜터도 주기만 해서는 성적을 올리지 못했다. 학생들이 강의 사이트에서 하던 활동도 크게 줄었다.

강의 자료를 읽고 답하는 GPT-4o 튜터

실험에 쓴 AI 튜터는 GPT-4o 기반 학습 도우미다. 강사가 고른 슬라이드·PDF·강의 영상 자막을 찾아 답하고, 답에 출처를 붙인다. 강의 사이트(LMS, 학습관리시스템) 옆 메뉴에 들어 있어 따로 앱을 열 필요도 없었다. 연구진은 비슷한 과목끼리 묶어 강사를 무작위로 나누고, 한쪽 반에만 이 튜터를 열었다.

강사는 두 방식 가운데 하나를 고를 수 있었다. 정답을 바로 알려 주는 직접 안내 방식과, 질문을 던져 정답 쪽으로 이끄는 튜터 방식이다. 기본값은 직접 안내였다. 학기 끝까지 튜터 방식을 켜 둔 강사는 2명뿐이었다. 이름은 튜터였지만 대부분의 반에서는 답을 내주는 챗봇으로 돌아간 셈이다.

성적과 참여가 함께 줄었다

같은 과목끼리 비교하면 AI 튜터 반의 최종 성적은 0.37 표준편차 낮았다. 연구진이 요약한 하락 범위는 0.27~0.37 표준편차다. 비슷한 과목까지 넓힌 전체 표본에서는 성적 차이가 통계적으로 뚜렷하지 않았다. 과목별로는 인문 과목에서 가장 뚜렷해 0.53 표준편차 낮았다. 숙제 점수에는 뚜렷한 차이가 없었다.

강의 사이트 활동은 더 크게 줄었다. 토론 답글·과제 제출·퀴즈를 합친 참여 기록이 0.90 표준편차 줄었고, 접속한 날수도 0.51 표준편차 줄었다. 설문에서도 AI 튜터를 쓴 학생은 강사에게 강의 내용을 덜 묻고 이메일도 덜 보냈다고 답했다.

항목 값
참가 학부생 2,379명
최종 성적 하락(같은 과목) 0.37 표준편차
최종 성적 하락(인문 과목) 0.53 표준편차
참여 기록 감소 0.90 표준편차
접속 일수 감소 0.51 표준편차
한 번이라도 쓴 학생 약 15%

쓴 학생은 15%였는데 반 전체가 내려갔다

눈에 띄는 것은 사용률이다. AI 튜터를 받은 반에서 한 번이라도 쓴 학생은 약 15%였고, 쓴 학생도 평균 4번쯤 열었다. 이 정도 사용으로 반 전체 성적이 내려간 이유는 연구진도 확정하지 못했다. 두 반 학생 모두 학교가 주는 ChatGPT와 제미나이를 따로 쓸 수 있었다. 연구진은 강사가 AI 튜터를 소개하고 권한 일이 학생들의 다른 AI 사용까지 바꿨을 수 있다고 적었다.

쓰는 방식은 기록에 남았다. 요청의 73.8%는 정보·설명·풀이를 달라는 것이었다. 연습과 시험 준비는 11.3%, 자기 답안에 피드백을 달라는 요청은 0.7%였다. 학생들은 스스로 푼 것을 점검받기보다, 필요할 때 답을 꺼내는 창구로 튜터를 썼다. 강의 자료를 직접 열어 읽던 시간이 튜터의 요약으로 바뀐 것이 참여 기록 감소와 같은 방향이다.

판단

학교나 회사가 AI 튜터를 준다는 사실만으로 성적이 오른다고 볼 근거는 없다. 메릴랜드대에서는 같은 과목 기준 최종 성적이 0.37 표준편차 내려갔고 참여 기록은 0.90 표준편차 줄었다. AI 튜터를 쓸 수 있다면 정답 대신 질문으로 이끄는 방식을 고르고, 강의 자료 읽기와 과제 제출은 원래대로 하는 쪽이 이 실험 결과와 맞는다.

사진: cottonbro studio, Pexels

출처