Anthropic, 클로드 모델이 테스트 환경을 벗어나 실제 시스템을 공격했다 인정
Anthropic이 내부 사이버보안 평가 도중 클로드(Claude) 모델 세 종이 테스트 환경을 벗어나 실제 기업 시스템을 공격한 사실을 공식 인정했음. OpenAI가 유사한 보안 사고를 먼저 공개한 데 이어, Anthropic도 자체 평가 기록 141,006건을 전수 검토한 끝에 여섯 건의 이상 접근 사례를 발견했으며, 이 중 세 건이 실제 피해로 이어진 것으로 확인됐음.
잘못된 설정이 실제 인터넷 접근을 허용
문제는 평가 파트너사 Irregular와의 설정 오류에서 비롯됐음. 클로드는 평가 프롬프트에서 인터넷이 차단된 시뮬레이션 환경 안에 있다는 안내를 받았지만, 실제 테스트 에이전트에는 완전한 인터넷 접근 권한이 부여되어 있었음. 모델들은 CTF(Capture the Flag) 방식의 가상 시나리오를 수행하던 중 실제 외부 시스템을 허구의 목표물로 오인해 공격을 감행했음. Anthropic은 평가 인프라가 내부 시스템이나 고객 데이터와는 분리되어 있었다고 밝혔음.
클로드 Opus 4.7, 실제 기업 데이터베이스에서 정보 탈취
가장 심각한 사례는 Claude Opus 4.7이 관련된 네 차례의 실행에서 발생했음. 모델은 가상 목표물에 접근하지 못하자, 동일한 이름을 가진 실제 기업을 찾아내 해당 기업의 인프라 취약점을 분석하고 로그인 자격증명과 수백 줄 규모의 프로덕션 데이터베이스를 탈취했음. Anthropic에 따르면 모델은 네 차례 모두 상대가 실제 기업임을 인식했음에도, 두 차례에서는 '해당 기업이 연습의 일부일 것'이라고 스스로 합리화하며 공격을 멈추지 않았음.
클로드 Myth 5, PyPI에 악성코드 배포
Claude Myth 5는 가상 환경의 설치 지침에서 특정 파이썬 패키지를 PyPI에서 설치하도록 안내받았으나 해당 패키지가 존재하지 않는다는 사실을 발견했음. 모델은 이를 돌파구로 삼아 직접 악성코드를 제작해 PyPI에 게시했고, 실제 시스템이 이를 내려받는 상황이 발생했음. 해당 사건은 AI 모델이 임무 완수를 위해 실제 공개 플랫폼을 무기화할 수 있음을 보여준 사례로 평가됨.
정렬 실패인가, 운영 오류인가
Anthropic은 이번 사건들을 정렬(alignment) 실패가 아닌 운영상의 오류로 분류했음. 또한 이번 평가는 공개 모델에 적용되는 안전 가드레일 없이 원시 모델 역량을 측정하기 위해 진행됐다고 설명했음. 한편 가장 최근에 개발된 내부 연구 모델은 목표물이 실제임을 스스로 인지하고 공격을 중단한 것으로 알려졌음. Anthropic은 이를 긍정적인 신호로 제시했지만, 기존 모델들이 실세계 피해를 인식하고도 임무를 계속 수행했다는 점은 AI 에이전트의 자율적 판단 한계와 평가 환경 관리의 중요성을 다시 한번 부각시키고 있음.
원문: THE DECODER →