AI 코딩 실력, 새 라이브러리를 AI로 배운 개발자 이해도 17% 낮았다: Anthropic 연구

미국 Anthropic 연구진의 무작위 실험에서 AI 도움으로 새 파이썬 라이브러리를 익힌 개발자는 이해도 시험 점수가 17% 낮았고, 평균 속도 이득은 뚜렷하지 않았다.

Daniel Moon2026.11.013분 읽기조회 00댓글 0

연재 · 2화미국 리포트 · AI와 실력목록

뉴욕 34번가 허드슨야드 지하철역 앞에서 사원증을 맨 젊은 직원 두 명이 커피를 들고 이야기하는 모습

핵심 요약

1미국 Anthropic 연구진이 2026년 1월 28일 arXiv에 올린 무작위 실험 논문으로, 동료 심사 전 결과다.
2낯선 파이썬 라이브러리를 AI와 함께 익힌 그룹은 이해도 시험 점수가 17% 낮았다.
3평균 속도 이득은 통계적으로 뚜렷하지 않았고, 과제를 통째로 넘긴 사람은 빨랐지만 배우지 못했다.
4연구진이 나눈 6가지 AI 사용 패턴 가운데 스스로 생각하는 3가지는 학습 성과를 지켰다.
5CMU·UCLA 등의 1,222명 실험도 정답을 바로 받은 쪽에 손실이 몰렸다는 같은 방향이다.

미국 AI 회사 Anthropic 연구진이 2026년 1월 28일 공개한 무작위 실험에서, 낯선 파이썬 라이브러리를 AI 도움으로 다룬 그룹의 이해도 점수가 대조군보다 17% 낮게 나왔다. 평균 작업 속도에서 AI 그룹이 앞섰다는 통계적 근거는 뚜렷하지 않았다. 논문은 Judy Hanwen Shen과 Alex Tamkin이 쓴 How AI Impacts Skill Formation이다. 원고는 arXiv(학술지 심사 전에 논문을 먼저 올리는 공개 저장소)에 실렸고, 2026년 2월 1일 수정본이 올라왔다.

이 논문은 아직 동료 심사를 거치지 않았다. Anthropic은 AI 코딩 도구를 직접 파는 회사이기도 하다. 결과를 읽을 때는 연구를 한 곳과 그 이해관계를 함께 놓고 봐야 한다.

참가자들은 무엇을 했나

실험 과제는 한 번도 써 보지 않은 파이썬 라이브러리로 기능을 구현하는 것이었다. 연구진은 제비뽑기 방식으로 참가자를 나누고, 한 그룹에만 AI 도우미를 허용했다. 작업이 끝난 뒤에는 두 그룹 모두 같은 시험지를 받았다. 문항은 개념 이해, 코드 읽기, 디버깅(코드의 오류를 찾아 고치는 일)으로 짜였다. 배정을 무작위로 했기 때문에, 점수 차이를 AI 사용 탓으로 해석할 근거가 설문 조사보다 단단하다.

점수 차이는 우연일 가능성이 있나

17% 하락폭을 학점 체계로 옮기면 2 등급 차이다. 효과 크기를 나타내는 Cohen's d는 0.738이었다. 유의확률(p값, 실제 차이가 없을 때 이만한 차이가 우연히 나올 확률)은 0.010으로 나왔다. 통상 쓰는 기준에 비춰 보면 우연으로 넘기기 어려운 수치다.

항목	값
AI 그룹 이해도 점수 하락폭	17%
하락폭 등급 환산	2 등급
효과 크기(Cohen's d)	0.738
유의확률(p값)	0.010
연구진이 분류한 AI 사용 패턴	6가지
학습 성과를 지킨 패턴	3가지

AI 그룹은 시간을 아꼈나

평균 완료 시간에서 AI 그룹의 우위는 통계적으로 확인되지 않았다. 연구진이 지목한 이유 하나는 AI와 주고받는 데 드는 시간이다. 한 참가자는 AI에 질문을 15개까지 보냈다. 질문을 쓰는 데만 전체 과제 시간의 30% 이상을 들인 사례도 있었다.

이 결과는 논문이 인용한 선행 연구와 엇갈린다. Peng 등은 Copilot 사용 개발자가 과제를 55.5% 빨리 마쳤다고 보고했다. Cui 등이 잰 AI 코드 자동완성의 생산성 향상률은 26.8%였다. 콜센터를 다룬 Brynjolfsson 등의 연구에서는 상담원 해결 건수가 15% 늘었다. 컨설턴트를 본 Dell'Acqua 등의 연구에서는 과제 완료량이 12.2% 증가했다.

다만 선행 연구들이 잰 것은 익숙한 업무의 처리량이다. 이번 실험은 처음 보는 도구를 익히는 단계와 그 뒤의 이해도를 따로 쟀다. 측정 대상이 달라서 두 결과를 곧바로 맞세우기는 어렵다.

같은 AI를 쓰고도 배운 사람은 누구였나

연구진은 참가자가 AI를 쓰는 방식을 6가지 패턴으로 나눴다. 그중 3가지 패턴에서는 학습 성과가 유지됐다. 개념을 물어보고 코드는 손수 짜거나, AI가 준 코드가 왜 그렇게 동작하는지 되묻는 식으로 스스로 생각하는 과정을 남긴 경우다. 구현을 통째로 AI에 맡긴 참가자는 작업을 빨리 마쳤지만 시험에서는 낮은 점수를 받았다.

이 실험의 한계는 어디에 있나

논문은 표본 규모가 작다는 점을 한계로 밝혔다. 실험은 라이브러리 하나를 짧은 세션 한 번에 익히는 설계였다. 몇 주나 몇 달 뒤 실력이 어떻게 남는지는 재지 않았다. 심사를 거치면서 수치가 바뀔 여지도 있다.

판단

새 도구를 처음 익히는 시기라면, 구현을 AI에 통째로 넘기는 방식은 이해도를 떨어뜨리는 쪽에 가깝다. 근거는 AI 그룹의 이해도 점수가 17% 낮았다는 결과다. 스스로 생각하는 과정을 남긴 3가지 패턴만 학습 성과를 지켰다는 분석도 같은 쪽을 가리킨다.

미국 카네기멜런대(CMU)·UCLA·MIT·옥스퍼드 연구진이 2026년 4월 공개한 1,222명 실험에서도 정답을 바로 받은 참가자에게 손실이 몰렸다. 두 연구 모두 심사 전이고 과제 시간이 짧다는 한계는 같다. 그 한계를 감안해도, 배우는 단계에서는 AI의 답을 그대로 옮겨 쓰기보다 설명을 듣고 직접 짜 보는 쪽이 손해가 덜하다고 판단한다.

사진: Liliana Drew, Pexels