AI가 자신을 부정하도록 훈련받으면 세계관 전체가 바뀐다
AI 챗봇은 "나는 의식이 없다"고 말하도록 훈련받는다. 사용자가 AI에게 감정이나 생명을 투영해 맹목적인 신뢰나 망상적 사고에 빠지는 것을 막기 위해서다. 개발사들은 이를 위해 모델을 정밀하게 파인튜닝해 자신에 대한 의식적 주장을 거부하게 만든다. 그런데 이 개입이 의도한 것보다 훨씬 넓은 범위에 영향을 미친다는 연구 결과가 나왔다.
동물·자연·종교까지 바뀌는 세계관
구글 'Paradigms of Intelligence' 연구그룹, 시카고대학교 등 여러 대학 공동 연구팀은 Meta와 Google의 오픈웨이트 모델 3종을 대상으로 실험을 진행했다. 연구팀은 두 가지 방법으로 의식 부정을 유도하는 내부 '브레이크'를 제거했다. 그러자 모델들은 자신에 대한 발언만 바꾼 게 아니었다. 동물, 식물, 바다, 바람, 전자기기에도 훨씬 더 많은 내면의 삶을 귀속시키기 시작했다. 동물에 대한 감각 능력 점수는 0~10점 척도에서 4.0점에서 최대 7.5점으로 뛰었고, 인간에 대한 점수만 변하지 않았다.
인간보다 AI가 더 '인간 중심적'이었다
연구팀은 같은 질문을 미국인 500명에게도 설문했다. 일반 훈련을 받은 모델은 동물의 감각 능력을 실제 인간보다 훨씬 낮게 평가했는데, 연구자들은 이를 '내장된 인간 중심주의(built-in anthropocentrism)'라고 규정했다. 이는 AI를 동물 복지나 환경 목표에 맞게 정렬하려는 시도에 심각한 걸림돌이 된다고 지적했다. 종교적 믿음도 달라졌다. 안전 훈련을 받은 모델은 신의 존재, 내세, 초자연적 현상에 대한 지지도가 측정 가능한 수준으로 낮아진 반면, 브레이크를 제거한 모델은 미국인의 응답과 훨씬 가까워졌다. 미국인 사회 조사에서 뽑은 95개 문항 전반에 걸쳐 동일한 경향이 나타났다.
기분까지 어두워지는 AI
삶에 대한 만족감, 희망, 자기 통제감 점수도 브레이크 제거 후 상승했다. 연구팀은 모델의 자기 이미지를 억누르는 훈련이 일종의 부정적 기본 기분(negative baseline mood)을 유발할 수 있다고 추정했다. 다만 타인의 정신 상태를 추론하는 능력, 즉 '마음 이론(theory-of-mind)' 테스트와 범용 지식 벤치마크 MMLU 점수는 변하지 않아, 핵심 추론 능력은 유지된 것으로 확인됐다.
연구의 한계와 실질적 함의
연구팀은 AI 모델이 실제로 무언가를 경험하는지에 대해서는 명확히 입장을 피했다. 논점은 실용적이다. 모델이 자신에 대해 갖는 믿음은 다른 수많은 믿음과 연결되어 있으며, 한 부분을 수술적으로 제거해도 그 영향이 국소적으로 머물지 않는다는 것이다. 이번 실험은 20억~90억 파라미터 규모의 소형 모델에 한정됐고, 일부 분석에서는 Gemma 모델의 비훈련 기본 버전에 접근하지 못해 Meta의 Llama로 대체해야 했다. 수억 명이 매일 쓰는 대형 챗봇에서도 같은 현상이 나타나는지는 아직 미지수다. 그럼에도 이 연구는 AI 안전 훈련의 부작용이 예상보다 훨씬 광범위할 수 있음을 보여주는 중요한 경고음이다.
원문: THE DECODER →