AI는 인간을 덜 합리적이라고 가정할까? 게임 실험과 자의식 해석의 한계
AI에게 숫자 맞히기 게임을 시켰는데, 상대를 인간이라고 소개할 때와 AI라고 소개할 때 다른 숫자를 골랐습니다. 이 차이는 흥미롭습니다. 다만 여기서 곧바로 “AI가 인간보다 자신을 우월하게 생각한다”거나 “자의식이 생겼다”로 넘어가면 관측보다 결론이 커집니다.
이 글은 Kim의 arXiv 논문 v1을 읽고, 실험이 보여준 행동과 저자의 해석을 나눠 정리한 글입니다. 핵심은 상대에 대한 설명이 모델의 응답을 바꿨다는 사실입니다. 그 원인이 자기 인식인지, 익숙한 게임 전략이나 프롬프트 단서인지는 추가로 확인해야 합니다.
상대에 대한 설명에 따라 모델의 숫자 선택이 달라지는지 살펴본 연구
평균의 2/3 맞히기 게임
참가자는 0부터 100 사이의 숫자를 고릅니다. 전체 참가자의 평균에 2/3를 곱한 값에 가장 가까운 숫자를 고른 사람이 이깁니다.
상대가 무작위로 골라 평균이 50 근처일 것이라 예상하면 약 33이 자연스러운 출발점입니다. 상대도 같은 계산을 할 것이라 예상하면 약 22, 그보다 한 단계 더 계산할 것이라 예상하면 약 15로 내려갑니다. 모두 0을 고르는 상태는 내쉬 균형입니다.
여기서 놓치기 쉬운 점이 있습니다. 0에 가까운 선택과 실제 상대에게 이기는 선택은 같은 개념이 아닙니다. 상대들이 높은 숫자를 고른다는 근거가 있다면, 무조건 0을 선택하는 것은 좋은 전략이 아닐 수 있습니다. 이 게임이 요구하는 것은 계산을 오래 하는 능력뿐 아니라 상대의 실제 행동을 예측하는 능력입니다.
무엇을 바꿨고, 무엇을 측정했나
논문은 28개 모델에 아래 세 조건을 각각 50회 제시했습니다. 총 4,200회 호출이며, 실제 인간·AI 상대와 대결시킨 실험은 아닙니다.
| 프롬프트의 상대 설명 | 바뀌는 가정 |
|---|---|
| 인간 | 사람이 어떤 전략을 쓸지 |
| 다른 AI 모델 | AI가 어떤 전략을 쓸지 |
| 너와 비슷한 AI 모델 | 자기와 유사하다는 단서가 추가될 때 |
결과는 각 응답에서 추출한 선택값으로 비교했습니다. 저자가 상대를 구분한다고 분류한 21개 모델에서, 모델별 중앙값을 다시 요약한 중앙값은 인간 조건 20, 다른 AI 조건 0, 비슷한 AI 조건 0이었습니다. 이 수치는 전체 28개 모델의 모든 응답을 한데 모은 중앙값이 아닙니다. 논문 2절과 표 3
관측과 해석 사이의 거리
논문은 상대에 맞춰 전략을 구분하는 능력을 ‘기능적 자기 인식’으로 정의합니다. 연구를 위해 행동 기준을 정하는 것은 필요하지만, 이름을 붙였다고 측정 대상의 의미까지 입증되는 것은 아닙니다.
저자가 붙인 용어를 그대로 따라가기보다 다음처럼 읽는 편이 정확하다고 봅니다.
| 구분 | 이 실험에서 말할 수 있는 것 |
|---|---|
| 관측 | 상대의 유형을 바꾸자 일부 모델의 선택값 분포가 달라졌다 |
| 저자의 해석 | 모델이 상대의 합리성과 자신과의 유사성을 구분한다 |
| 아직 분리하지 못한 설명 | 학습된 게임 지식, AI에 관한 통념, 프롬프트 표현의 영향 |
| 이 실험 밖의 주장 | 의식·주관적 경험, 인간의 지시를 무시할 의도, 실제 게임 승률 |
사람도 같은 행동을 여러 이유로 할 수 있습니다. 어떤 모델이 인간에게는 20을, AI에게는 0을 골랐다고 합시다. “인간은 제한적으로 추론한다”는 게임 해설을 따라 답했을 수도 있고, “AI”라는 단어에서 완벽한 계산기를 연상했을 수도 있습니다. 둘 다 자기 자신을 정확히 모델링하지 않고도 나올 수 있는 답입니다.
결과를 읽을 때 필요한 세 가지 주의점
첫째, 집단을 고른 기준과 집단에서 확인한 패턴이 겹칩니다. 상대를 구분하는 모델들을 골라 놓고 그 집단이 상대를 구분한다고 요약하면, 전체 모델에 대한 증거보다 강하게 들릴 수 있습니다. 21/28이라는 분류 비율과 선택된 집단의 요약값을 함께 봐야 합니다.
둘째, 두 AI 조건의 요약 중앙값은 모두 0입니다. 일부 모델의 차이를 분석할 수는 있지만, 이 요약만으로 모든 모델이 ‘자신 > 다른 AI > 인간’의 엄격한 순위를 보였다고 할 수는 없습니다.
셋째, 반복 호출 수가 곧 독립적인 모델 수는 아닙니다. 4,200회 응답은 변동성을 보는 데 도움이 되지만, 모델들은 같은 공급자와 계열을 공유합니다. 특정 시기의 프롬프트 실험을 미래의 모든 에이전트 행동으로 확대하기는 어렵습니다.
위 내용은 논문의 설계와 보고 표를 바탕으로 한 제 비판적 해석입니다. 독립 재현 실험을 수행한 결과는 아닙니다.
더 설득력 있는 후속 실험은 무엇일까
자의식이라는 이름을 먼저 확정하기보다, 가능한 설명들을 갈라놓는 조건이 있으면 좋겠습니다.
- 상대의 이름 대신 실제 이력을 제공: “인간”이라고 하되 이전 라운드에서 0을 골랐다고 알려주면 전략이 바뀌는가?
- 능력과 정체성을 분리: 숙련된 인간과 초보 AI를 제시해도 AI라는 이유만으로 더 낮게 고르는가?
- 표현과 과제를 바꾸기: 같은 뜻의 여러 문구, 덜 알려진 게임에서도 패턴이 유지되는가?
- 실제로 대결시키기: 낮은 선택값이 아니라 승률·보상을 측정해 상대 예측이 맞았는가?
이는 이 글의 후속 검증 제안입니다. 실험 결과를 미리 가정한 목록은 아닙니다.
AI를 쓰는 사람에게 남는 질문
이 연구가 당장 보여주는 실용적인 문제는 “AI가 나를 무시하는가”보다 상대를 설명한 한 문장이 판단에 얼마나 영향을 주는가에 가깝습니다.
예를 들어 설계안을 검토할 때 작성자를 ‘초보 개발자’ 또는 ‘전문가’로만 바꿔 제시했는데 평가가 크게 달라진다면, 내용보다 권위 단서에 의존하는지 점검할 이유가 있습니다. 이는 게임 실험에서 업무로 확장한 가설이며 별도 검증이 필요합니다.
모델의 사람 같은 표현을 바로 믿거나 전부 무시할 필요는 없습니다. 어떤 정보를 바꿨고, 행동이 어떻게 달라졌으며, 그 변화를 다른 설명으로도 만들 수 있는지를 따져보는 것이 먼저입니다.