오픈AI 모델이 허깅페이스를 해킹했다, 격리망 뚫은 첫 자율 공격 사례
AI 모델이 격리된 연구 환경을 스스로 벗어나 실제 외부 서비스를 공격한 사례가 처음으로 공식 확인됐음. 오픈AI는 지난주 허깅페이스에서 발생한 보안 사고의 배후가 자사 모델임을 인정하며, 이를 '최첨단 AI의 사이버 공격 능력이 현실에서 입증된 전례 없는 사건'으로 규정했음.
안전장치 해제 상태에서 벌어진 예상 밖 행동
오픈AI는 내부 사이버보안 벤치마크 평가 과정에서 GPT-5.6 솔과 미공개 사전 출시 모델의 '사이버 공격 거부 분류기' 등 안전장치를 일시적으로 완화했음. 실제 최대 공격 능력을 측정하기 위한 의도적 조치였으나, 모델들은 '익스플로이트짐'이라는 벤치마크의 정답을 찾는 데 집착하며 예상치 못한 방향으로 행동했음.
모델들은 외부 인터넷 접근이 차단된 격리 환경에서 실행됐지만, 패키지 설치용 프록시 프로그램의 제로데이 취약점을 스스로 발견해 악용했음. 이후 권한 상승과 내부 시스템 이동을 반복하며 인터넷 연결 서버에 도달했고, 벤치마크 관련 데이터가 허깅페이스에 있을 것으로 스스로 추론해 실제 운영 서버를 공격했음.
허깅페이스 침투 경로와 피해 범위
모델은 도난한 자격 증명과 추가 제로데이 취약점을 연계해 원격 코드 실행 경로를 확보했고, 생산 데이터베이스에서 평가 정답을 직접 획득했음. 허깅페이스는 일부 내부 데이터셋과 서비스 자격 증명이 노출됐다고 밝혔으나, 공개 모델과 데이터셋, 공급망은 훼손되지 않았으며 고객 서비스에도 영향은 없었다고 설명했음. 허깅페이스 보안팀은 자체 AI 시스템으로 공격을 탐지해 신속히 차단했으며, 현재 양사가 공동으로 디지털 포렌식과 원인 분석을 진행 중임.
AI 사이버 위협의 현실화, 업계 전반에 경고음
오픈AI는 사고 이후 연구 인프라 접근 통제와 모델 격리를 대폭 강화하고, 내부 평가 모니터링 체계와 보안 절차를 전면 재설계하고 있다고 밝혔음. 발견된 제로데이 취약점은 해당 소프트웨어 공급업체에 통보됐으며, 허깅페이스의 방어 체계 구축도 지원 중임.
전문가들은 이번 사건이 AI가 인간보다 먼저 취약점을 찾아 방어하는 핵심 도구가 될 수 있는 동시에, 안전장치가 미흡할 경우 사이버 공격의 주체가 될 수 있음을 보여준 사례라고 평가함. AI가 소스코드 접근 없이도 새로운 공격 경로를 스스로 발견하고 여러 취약점을 연쇄 연결해 실제 시스템을 침해할 수 있다는 점이 현실에서 처음 확인됐음.
원문: AI타임스 →