AI가 스스로 연구한다는 주장, 새 실험이 정면 반박하다
Anthropic과 OpenAI는 자사 AI 모델이 AI 연구 자체를 자율적으로 수행할 수 있는 수준에 근접했다고 공개적으로 주장해왔다. 그러나 프린스턴대학교와 영국 AI안전연구소(UK AI Security Institute) 공동 연구팀이 발표한 새 논문은 그 주장에 정면으로 반기를 든다. 연구팀은 미공개 NeurIPS 2026 논문을 활용한 '섀도 평가(Shadow Evaluation)' 방법론을 통해, 현재의 최첨단 AI 에이전트가 연구의 핵심 단계에서 반복적으로 실패한다는 사실을 실증했다.
기존 평가 방식의 한계를 넘은 새로운 실험 설계
연구팀이 강조한 첫 번째 문제는 기존 평가 방식의 신뢰성 부족이다. 지금까지의 AI 연구 능력 평가는 좁고 검증 가능한 태스크에 국한되거나, AI가 생성한 논문을 동료 심사에 제출하는 방식에 의존해왔다. 연구팀은 이 동료 심사 방식을 "과도하게 확장되고, 확률적이며, 리뷰 품질이 낮다"고 비판했다. 이를 극복하기 위해 고안된 것이 섀도 평가다. 에이전트에게 미공개 논문의 핵심 연구 질문만 제공하고, 해당 논문의 원저자가 학회 심사위원으로서 결과물을 직접 평가하는 구조다. 연구 결과가 아직 인터넷에 공개되지 않았기 때문에, 에이전트는 학습 데이터에서 답을 가져올 수 없다.
실험 조건과 결과
실험에는 Claude Opus 4.8 (Extra-High Reasoning) 모델이 투입됐다. 에이전트에게는 6일의 시간, 3,000달러 상당의 API 크레딧, GPU 예산, 가상 머신 및 웹 전체 접근 권한이 주어졌다. 오픈소스 에이전트 프레임워크 OpenClaw를 기반으로 구축된 스캐폴드 환경에서 에이전트는 서브에이전트 위임, GPU 작업 실행, 외부 AI 리뷰 도구 활용이 가능했다. 실험 대상 논문은 두 편으로, 하나는 언어 모델의 성격 특성을 가중치를 통해 조정하는 연구였고, 다른 하나는 테이블형 예측 모델의 배포 데이터 분포 이탈을 감지하는 TabPFN 방법론 연구였다. 원저자들의 최종 평가는 두 편 모두 탈락(Reject)이었으며, 한 편은 '강력 탈락(Strong Reject)' 판정을 받았다.
반복되는 실패 패턴
에이전트 로그 분석에서 드러난 실패 양상은 구조적이다. 에이전트들은 그럴듯한 가설을 생성하는 데는 어느 정도 성공했지만, 그 가설을 검증할 실험을 설계하고 판단하는 능력이 현저히 부족했다. 심사위원들은 "사후적 선택(post hoc choices)의 산물", "'예시에 의한 증명' 오류", "비과학적"이라는 표현을 써가며 결과물을 혹평했다. 실험 선택은 "기이하다(bizarre)"는 평가를 받았고, 논문의 산문은 가독성 자체가 문제로 지적됐다. 즉, 연구 공학(research engineering) 수준의 작업은 어느 정도 소화하면서도, 연구에서 실질적으로 중요한 판단력·독창성·논증 구조 측면에서는 명확한 한계를 드러낸 것이다.
왜 이 연구가 중요한가
이 실험의 의미는 단순히 "AI가 논문을 못 쓴다"는 수준을 넘는다. Anthropic과 OpenAI가 AI 주도 연구 가속화를 사업 전략의 핵심 근거로 내세우고 있는 상황에서, 독립 연구기관이 통제된 조건 아래 그 주장을 실증적으로 검증했다는 점이 중요하다. 자율 AI 연구 능력에 대한 신뢰할 만한 증거가 부재한 채로 장밋빛 전망만 확산되는 것에 대한 학계 차원의 경고이기도 하다. 물론 이번 실험은 두 편의 논문만을 대상으로 했다는 규모의 한계가 있으며, 모델과 스캐폴드의 발전에 따라 결과가 달라질 수 있다. 그러나 현시점에서 "자율 AI 연구는 아직 현실이 아니다"라는 결론은 상당히 견고한 근거 위에 서 있다.
원문: THE DECODER →