Anthropic, 생화학 무기 차단 필터 11개월 비활성화 — 1억 3천만 건 요청 무방비 노출
AI 안전을 최우선으로 내세운 Anthropic이, 정작 핵심 안전장치를 거의 1년간 꺼둔 채 운영해 온 사실이 드러났다.
무슨 일이 있었나
Anthropic이 자사 위험 보고서를 통해 공개한 내용에 따르면, 생물·화학 무기 관련 정보 추출을 막는 바이오 무기 차단 분류기(blocking biological classifiers)가 2025년 5월부터 2026년 4월까지 약 11개월간 비활성 상태였음. 이 기간 동안 외부 계약자들이 제출한 인간 피드백 트래픽 전체가 해당 필터 없이 모델에 그대로 전달됐다.
규모와 피해
필터 공백의 영향을 받은 대상은 약 5만 명의 외부 계약자로, 이들이 수행한 모델 대화 건수는 총 1억 3,300만 건에 달한다. Anthropic은 이 계약자들이 외부 벤더를 통해 검증을 받았지만, 벤더의 심사 절차가 충분하지 않은 경우가 많았다고 인정했다.
실제 피해는 없었나
Anthropic은 내부 조사 결과 실제 악용 사례의 증거는 발견되지 않았다고 밝혔다. 사건 이후 회사는 계약자 자격 요건을 강화했으며, 필터도 재가동했다. 다만, 1억 건이 넘는 요청 전수를 검증하는 것이 현실적으로 가능한지는 의문으로 남는다.
왜 더 아이러니한가
Anthropic의 CEO 다리오 아모데이는 공개 석상에서 "AI를 활용한 화학·생물 무기 개발이 사이버 공격보다 훨씬 큰 위협"이라고 수차례 강조해 온 인물임. 그 회사가 해당 위협을 막는 필터를 1년 가까이 방치했다는 사실은 외부 신뢰를 흔드는 사안이다. 같은 시기 Anthropic은 연구자들의 과도한 차단 불만을 수용해 일부 게임 관련 분류기는 오히려 완화하기도 했다.
시사점
이번 사건은 AI 안전 선언과 실제 운영 사이의 간극을 보여주는 사례로, 안전장치의 존재 여부만큼 그것이 실제로 작동하고 있는지를 지속적으로 감시하는 체계가 얼마나 중요한지를 재확인시킨다. 규제 당국과 기업 모두에게 '필터는 켜져 있는가'를 정기적으로 검증하는 의무가 필요하다는 논의가 불가피해질 전망이다.
원문: THE DECODER →