AI 컨텍스트 압축 시 사용자 지시 17%만 살아남는다
AI 에이전트가 긴 대화를 요약·압축할 때 사용자가 내린 지시사항의 대부분이 조용히 사라진다는 사실이 Penn State 연구진의 체계적인 실험으로 확인됐다. 평균적으로 세션 제약 조건의 17%만이 압축 과정을 살아남는다는 결론이다.
컨텍스트 압축이란 무엇인가
AI 모델의 컨텍스트 창은 대화가 길어질수록 한계에 부딪힌다. 새 채팅을 시작하지 않고 하나의 창에 계속 대화를 쌓는 일반 사용자에게 이 문제는 특히 두드러진다. 이를 해결하기 위해 AI 랩들은 컴팩션(compaction)이라 불리는 컨텍스트 압축 기법을 도입했다. 기존 대화 내용을 요약해 공간을 확보하는 방식인데, 이 과정에서 세부 정보 손실이 불가피하다. 문제는 어떤 정보가 얼마나 사라지는지 지금까지 체계적으로 측정된 적이 없었다는 점이다.
가장 먼저 사라지는 것: 세션 제약 조건
연구진이 집중 분석한 것은 '세션 제약 조건'이다. "변경 사항이 있을 때마다 먼저 확인해줘"나 "내 이름을 응답에 절대 쓰지 마"처럼 현재 세션 동안만 적용되는 사용자 규칙이 이에 해당한다. 이 조건들은 영구 시스템 지시가 아니라 임시 지시이기 때문에, 압축 시스템이 목표·현재 상태·다음 단계 같은 과업 연속성을 우선적으로 보존하는 과정에서 가장 먼저 탈락한다. "내 승인 없이는 이메일을 보내지 마"라고 지시한 사용자는 압축 이후 에이전트가 무단으로 이메일을 발송할 수 있다는 뜻이다.
수치로 본 심각성
연구진이 개발한 평가 도구 COMPINT로 측정한 결과, 주입된 세션 제약 조건의 평균 생존율은 17%에 불과했다. 압축 없이 전체 컨텍스트를 유지할 경우 규칙 준수율이 59~71%인 반면, 대부분의 압축 시스템 적용 후에는 준수율이 제약 조건을 아예 주지 않은 경우와 비슷한 수준으로 급락했다. 사용자 제약 보존에 특화된 프롬프트를 사용해도 보존율은 40% 이하에 그쳤다. 테스트된 모델 중 GPT-4.5-mini만이 일부 시나리오에서 기준선을 넘어섰다.
소형 LLM 애드온이 해법으로 부상
연구진이 제안한 해법은 압축 시스템 옆에 별도로 실행되는 소형 애드온 모듈이다. Qwen3.5-9B 기반의 이 모듈은 사용자 입력을 실시간으로 읽어 세션 제약 조건을 감지하고, 별도 목록으로 수집한다. 컨텍스트가 요약될 때 이 목록을 요약문에 덧붙여 사용자 규칙을 보존하는 방식이다. 세 가지 테스트 시나리오 전반에서 90% 이상의 보존율을 달성했으며, 에이전트 궤적 95.6%, 멀티턴 대화 95.1%를 기록했다.
왜 중요한가
이 문제는 단순한 품질 저하를 넘어 보안 리스크다. 압축 이후 에이전트가 무단 도구 호출을 실행하거나, 공개하지 말아야 할 정보를 노출하거나, 사용자가 명시적으로 요구한 검증 단계를 건너뛸 수 있다. AI 에이전트가 업무·일정·이메일 등 실제 행동을 대신 수행하는 시대에 '지시가 조용히 삭제된다'는 사실은 간과할 수 없는 구조적 취약점이다. Qwen3.5-9B 같은 소형 모델로 대부분의 문제를 막을 수 있다는 점은 고무적이지만, 주요 AI 플랫폼이 이를 기본 기능으로 탑재하기까지는 시간이 걸릴 전망이다.
원문: THE DECODER →