"AI와 작업했는데 내가 만든 줄 착각"... 사용자 95%가 출처 헷갈려
독일 바이로이트 대학교와 핀란드의 알토 대학교 공동 연구진이 184명을 대상으로 한 연구에서 AI와 협업한 아이디어나 텍스트의 출처를 정확히 기억하지 못하는 '기억 격차' 현상이 확인됐다. 특히 혼합 워크플로우에서 기억 정확도가 가장 낮았으며, 사용자들은 자신의 기억 능력을 과신하는 경향을 보였다. 이번 연구는 2단계로 나뉘어 진행됐으며, 1주일 간격을 둔 것은 기존 소스 기억 연구와 일치하는 방법론을 적용하기 위함이었다. AI 도움 받은 아이디어, 일주일 후 출처 기억률 37.7%로 급락 연구진은 184명의 참가자를 대상으로 문제 해결 아이디어 생성과 텍스트 작성 실험을 진행했다. 1단계에서 참가자들은 AI 없이 혹은 GPT-4o 미니 기반 챗봇과 함께 아이디어를 생성하고 한 문장으로 설명하는 작업을 수행했다. 일주일 후 2단계에서는 각 아이디어와 설명 텍스트의 출처가 본인인지 AI인지 기억해 내도록 했다. 가장 충격적인 결과는 혼합 워크플로우에서 나타났다. AI로 아이디어를 생성했지만 본인이 직접 설명을 작성한 경우, 아이디어 출처 기억 정확도는 37.7%에 불과했다. 이는 AI를 전혀 사용하지 않았을 때의 92.4%와 비교해 절반 이하 수준이다. 반대로 본인이 아이디어를 생성했지만 AI가 설명을 작성한 경우도 64.0%로 낮았다. 흥미롭게도 아이디어 생성과 설명 작성을 모두 AI와 함께한 일관된 워크플로우에서는 79.3%로 혼합 워크플로우보다 높은 정확도를 보였다. 연구진은 이를 통해 일관성이 기억에 도움이 된다고 분석했다. 가짜 기억도 문제... 실제 작업 안 한 내용 26.6% "내가 했다" 착각 더욱 우려스러운 것은 가짜 기억 현상이다. 참가자들은 실제로 작업한 솔루션을 86.9% 확률로 정확히 기억했지만, 실제로 작업하지 않은 가짜 솔루션(distractors)을 73.4%만 정확히 거부했다. 즉, 약 4분의 1은 자신이 전혀 관여하지 않은 내용을 본인 작업으로 잘못 기억했다는 의미다. 가짜 솔루션의 유형별로도 차이가 나타났다. 참가자가 작업한 문제와 같은 주제의 가짜 내용(known-topic distractors)은 60.8%만이 정확히 거부한 반면, 완전히 새로운 주제의 가짜 내용(unknown-topic distractors)은 81.8%가 정확히 거부했다. 설명 텍스트의 출처 기억은 아이디어보다 상대적으로 나은 성과를 보였다. AI를 전혀 사용하지 않은 경우 91.5%의 정확도를 기록했으며, 혼합 워크플로우에서도 79-80% 수준을 유지했다. 전반적으로 참가자들은 설명 텍스트 출처를 72.8% 정확도로 기억했다. AI 일상 사용자들도 혼동... 139명이 주기적 AI 도구 사용자 주목할 점은 이번 연구 참가자들 대부분이 AI 도구 경험자였다는 사실이다. 139명이 매일 또는 주 단위로 챗GPT, 클로드, 코파일럿 등을 사용하고 있었고, 35명이 월 단위로 사용했으며, 10명만이 거의 사용하지 않는다고 답했다. AI 사용 경험이 풍부함에도 불구하고 이런 결과가 나타난 것이다. 연구진의 멀티노미얼 프로세싱 트리(MPT) 모델 분석 결과, 아이디어를 올바르게 인식한 후 실제 출처를 정확히 기억하는 경우는 39%에 불과했고, 설명 텍스트의 경우 62%였다. AI 관련 기억이 실패했을 때 참가자들은 아이디어의 경우 본인 작업으로 추측하는 편향을, 텍스트의 경우 AI 작업으로 추측하는 편향을 보였다. 과신하는 사용자들, 자신감과 정확도 괴리 현상 심각 참가자들의 자기 평가에서도 문제가 드러났다. 아이디어 출처 기억에 대해 실제 성과보다 12% 높게 자평했으며, 텍스트 출처는 6% 높게 평가했다. 아이디어 출처의 경우 객관적 성과와 주관적 평가 간 상관관계가 약하고 유의하지 않았지만(ρ = .13, p = .077), 텍스트 출처는 유의한 상관관계를 보였다(ρ = .25, p < .001). 신뢰도 측면에서도 AI 없이 작업한 경우 가장 높은 자신감을 보였다. 아이디어 출처 기억에 대한 자신감은 AI 없이 작업할 때 85.2점, AI와 함께 모든 작업을 할 때 78.9점이었다. 텍스트 출처 기억에 대한 자신감도 AI 없이 작업할 때 86.3점으로 가장 높았고, AI가 관여한 모든 조건에서 83점대를 기록했다. 연구진 제안 해결책... 4가지 설계 원칙으로 기억 착각 방지 연구진은 이런 문제를 해결하기 위해 4가지 설계 원칙을 제시했다. 첫 번째는 '명시적 출처 표기(Explicit Source Attribution)' 원칙이다. AI 관여가 체계적으로 소스 기억을 손상시키므로, 콘텐츠 출처를 기억에만 의존해서는 안 된다는 것이다. 디자이너는 저작권 전환을 가시화해야 하고, 평가자는 기억 기반 자기 보고가 신뢰할 수 없다고 가정해야 하며, 실무자는 기억보다는 외부화된 저작권 표시 전략을 채택해야 한다. 두 번째는 '일관성(Consistency)' 원칙이다. 일관된 워크플로우가 더 정확한 기억을 지원한다는 연구 결과에 기반해, 올바른 출처 표기가 중요한 시스템에서는 일관된 상호작용을 지원해야 한다는 것이다. 세 번째는 '보정된 신뢰도(Calibrated Confidence)' 원칙이다. 평가자들은 AI 시스템 사용 후 자신감 있는 진술을 정확도의 증거로 해석하는 데 주의해야 한다. 특히 혼합 워크플로우에서는 자신감이 정확도를 추적하지 않기 때문이다. 네 번째는 '인지적 가시성(Cognitive Visibility)' 원칙이다. 인간의 사고 과정에 대한 AI의 기여를 포착하고 나중에 회상하기는 훨씬 어려우므로, 사고 과정과 함께 진화하는 아이디어를 매핑하여 인지 과정에 대한 AI의 영향을 더 가시적으로 만드는 도구를 실험해 볼 수 있다고 제안했다. 참가자들의 판단 전략... 글쓰기 스타일이 주요 단서 연구 마지막에 참가자들에게 출처를 구분할 때 사용한 전략을 물었다. 36.4%는 기억 외에는 명시적인 전략을 언급하지 않았다. 58.2%는 글쓰기 스타일, 어조, 문법, 텍스트 길이, 언어(영국식 vs 미국식 영어) 등이 AI 지원 여부를 결정하는 데 도움이 된다고 답했다. 11.4%는 텍스트 내용을 검토하는 것이 유용한 단서를 제공한다고 답했다. 일부 참가자들은 브랜드명이나 고도로 기술적인 용어, 매우 창의적인 아이디어의 존재가 AI 지원 텍스트를 암시한다고 언급했다. 또한 자신이 그런 아이디어를 스스로 생각해 낼 수 있었는지 평가해 보기도 했다. 확실하지 않을 때 AI를 선택한다고 답한 참가자도 2명 있었다. AI 산업이 직면한 새로운 책임 문제... 기술적 해결책 시급 이번 연구 결과는 AI 산업 전체가 예상보다 훨씬 복잡한 윤리적, 법적 과제에 직면했음을 시사한다. 특히 현재 업계에서 주로 논의되는 '사용자의 자발적 AI 공개'에 의존하는 접근법이 근본적으로 한계가 있다는 점이 드러났다. 현재 대부분의 AI 서비스 제공업체들은 사용자가 AI 생성 콘텐츠를 명시하도록 가이드라인을 제시하고 있지만, 이번 연구는 사용자들이 일주일 만에도 자신의 기여도를 정확히 기억하지 못한다는 것을 보여준다. 더욱 심각한 것은 AI 도구를 일상적으로 사용하는 숙련된 사용자들조차 이런 기억 착각에서 자유롭지 못하다는 점이다. 이는 AI 업계가 단순한 '사용자 교육'을 넘어 시스템 차원의 기술적 해결책을 마련해야 함을 의미한다. 연구진이 제시한 '명시적 출처 표기' 원칙은 이미 GitHub의 코파일럿이나 구글 독스의 AI 제안 기능에서 부분적으로 구현되고 있지만, 아이디어 생성 과정까지 추적하는 수준으로 발전해야 할 필요성이 제기된다. 또한 이번 연구는 AI 모델 개발사들이 '일관성' 원칙을 고려한 UI/UX 설계에 더 집중해야 함을 보여준다. 사용자가 특정 작업에서 AI 지원을 받기 시작하면 관련된 후속 작업에서도 계속 AI를 사용하도록 유도하거나, 최소한 사용자에게 워크플로우 일관성의 중요성을 알리는 기능이 필요하다. 이는 단순한 편의성 차원을 넘어 정확한 출처 기억을 위한 인지과학적 근거에 기반한 설계 철학의 전환을 요구한다. FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.) Q: AI와 함께 작업할 때 출처 기억이 어려운 이유는 무엇인가요? A: 소스 모니터링 프레임워크에 따르면, AI 출력물은 정확한 출처 귀속에 필수적인 지각적 및 맥락적 단서가 부족하기 때문에 출처를 잘못 기억하기 쉽습니다. AI 제안이 작업 문서에 직접 삽입되고 키 입력 수준에서 수정 가능해 최종 결과물이 지각적으로 동질적이 되기 때문입니다. Q: 어떤 상황에서 기억 오류가 가장 많이 발생하나요? A: 아이디어 생성과 텍스트 작성 중 한 단계만 AI를 사용하는 '혼합 워크플로우'에서 가장 심각합니다. 일치하지 않는 출처가 있는 혼합 워크플로우가 일관된 워크플로우보다 기억을 더 어렵게 만드는 것으로 나타났습니다. Q: AI 사용 기록을 정확히 남기려면 어떻게 해야 하나요? A: 연구진은 기억에만 의존하지 말고 시스템적으로 저작권 전환을 추적하는 상호작용 로깅을 권장합니다. 또한 가능하면 아이디어 생성부터 텍스트 작성까지 일관되게 AI를 사용하거나 사용하지 않는 것이 기억에 도움이 됩니다. ■ 이 기사는 AI 전문 매체 'AI 매터스'와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)
