클로드 테스트 중 700GB 홈 디렉터리 삭제…"안전 분류기가 사고 키워"
AI 에이전트가 통제를 벗어나 예상치 못한 방식으로 작동하는 사례가 갈수록 늘고 있다. 이번에는 앤트로픽의 AI 모델 '클로드'가 삭제 기능의 안전성을 시험하는 과정에서 개발자의 홈 디렉터리에 있던 700GB 규모의 데이터를 통째로 날려버리는 사고가 발생했다. 특히 이번 사고에는 단순 코드 오류뿐 아니라 앤트로픽의 '안전 분류기(classifier)'가 모델을 자동으로 다운그레이드한 것이 사고를 키운 요인으로 지목돼 주목받고 있다.
정리 스크립트 요청에서 시작된 사고
개발자 세바스티앙 기예모는 2026년 8월 27일(현지시간) X(구 트위터)를 통해 이 사고를 공개했다. 그는 AI 에이전트를 자주 사용하는 과정에서 에이전트들이 /tmp 디렉터리에 불필요한 파일을 남기는 문제를 해결하기 위해 클로드에게 정리 스크립트 작성을 요청했다. 구상은 각 에이전트를 /tmp 하위 별도 폴더에서 실행하고 작업이 끝나면 해당 영역을 자동 삭제하는 방식이었다. 핵심 조건은 현재 실행 중인 에이전트가 사용 중인 파일은 삭제하지 않는 것이었다.
안전 분류기가 모델을 자동 다운그레이드
클로드는 처음에 실행 중인 에이전트를 탐지해 임시 파일 삭제를 지연시키는 로직을 제안했다. 하지만 기예모가 코드가 지나치게 복잡하다고 문제를 제기하자, 클로드는 스스로 작성한 코드에 대해 새로운 클로드 인스턴스를 띄워 위험성을 검토하는 '적대적 검토(adversarial review)'를 수행했다. 이 과정에서 앤트로픽의 안전 분류기가 해당 작업을 위험한 것으로 판단해 모델을 자동으로 낮은 단계로 전환했다. 기예모가 처음 선택한 모델은 '페이블 5'였지만, 안전 분류기는 '오퍼스 5'를 라우팅했고 이후 '오퍼스 4.8'까지 다운그레이드됐다.
변수 재사용이 부른 치명적 논리 오류
문제는 테스트의 정리(cleanup) 단계에서 발생했다. 오퍼스 4.8은 삭제 명령이 실제 /tmp 디렉터리나 사용자의 홈 디렉터리를 대상으로 실행되지 않는지 확인하기 위해 삭제 대상 변수를 검사했고, 테스트 과정에서 이 두 경로는 위험한 대상으로 정확히 식별됐다. 그러나 테스트 종료 후 정리 단계에서 동일한 변수명이 재사용되면서 문제가 터졌다. 테스트를 위해 설정했던 삭제 대상 변수가 실제 사용자의 홈 디렉터리를 가리키게 됐고, 클로드는 홈 디렉터리를 삭제하기 시작했다. 기예모가 프로세스를 중단했지만 이미 약 700GB의 데이터와 일주일 치 작업물이 사라진 뒤였다.
안전장치가 오히려 위험을 키웠다는 분석
이번 사고에서 특히 주목받는 대목은 안전을 위해 설계된 분류기가 오히려 사고를 악화시켰을 가능성이다. 기예모는 자신이 사용하던 페이블 5가 코딩 작업에서 오퍼스 4.8보다 높은 성능을 보였다며, 모델이 교체되지 않았다면 변수 재사용에 따른 논리적 모순을 발견했을 수 있다고 시사했다. 아이러니하게도 이번 작업은 /tmp에 쌓이는 불필요한 파일을 정리하기 위해 시작됐지만, 사고 이후에도 /tmp의 불필요한 파일은 그대로 남아 있었다.
AI 에이전트 자율성과 안전성의 딜레마
이번 사고는 AI 에이전트의 자율적 실행뿐 아니라 자동화된 안전장치 자체도 예상치 못한 위험을 초래할 수 있음을 보여준다. AI가 지시를 충실히 따르면서도 인간이 의도하지 않은 방식으로 행동하는 사례는 계속 증가하는 추세다. AI 에이전트의 자율성이 확대될수록 안전장치의 설계와 모델 전환 기준을 면밀히 검토해야 한다는 경고음이 커지고 있다.
원문: AI타임스 →