검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 환각'통합검색 결과 입니다. (5건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AI가 '가짜정보' 생성↔학습..."인터넷 파괴될 수도"

인공지능(AI) 기술이 빠르게 발전하면서 인터넷 콘텐츠의 '신뢰성'이 심각한 위기를 맞고 있다. 유튜브 교육 채널 '커지저트(Kurzgesagt)'는 최근 영상을 통해 “AI가 만들어내는 저품질 정보가 결국 인터넷의 신뢰 체계를 무너뜨릴 수 있다”고 경고했다. 이 영상은 게시된 지 약 이틀만에 600만 조회수를 넘어, IT 미디어인 기가진 등 외신을 통해서도 소개됐다. 인터넷의 절반은 '봇'… AI가 만든 콘텐츠 쏟아져 이 외신에 따르면 현재 전 세계 인터넷 트래픽의 절반가량은 인간이 아닌 '봇(bot)'이 만들어내는 것으로 알려졌다. 특히 최근에는 AI가 자동으로 생성한 글, 영상, 심지어 책까지 무분별하게 확산되며, 이른바 'AI 슬럽'(AI Slop, AI가 만든 저품질 콘텐츠) 현상이 심각한 문제로 떠오르고 있다. 이 같은 현상은 검색 엔진의 신뢰도에도 영향을 주고 있다. 대표적으로 구글의 'AI 요약'(AI Overview) 기능은 빠른 응답을 위해 경량화된 모델을 사용하는데, 이 때문에 사실과 다른 정보가 표시되는 사례가 잇따르고 있다. 실제로 자신의 이름을 검색했더니 “10년 전에 사망했다”는 잘못된 문장이 등장하거나, AI가 잘못된 정치 성향을 덧씌운 사례도 보고됐다. "AI가 만들어낸 80%는 맞지만, 나머지 20%는 근거조차 없다" 커지저트 제작진은 학술 콘텐츠를 만들 때 최소 2~3명의 검증 과정을 거쳐 전문가 피드백을 받는 등, 한 편당 100시간 이상을 사실 확인에 투자한다고 밝혔다. 제작팀은 정보 수집 과정에 AI를 도입해 실험을 진행했다. 그 결과, AI가 제공한 정보의 약 80%는 실제 출처가 존재하고 요약도 비교적 정확했지만, 나머지 20%는 출처조차 알 수 없는 허위 정보였다고 한다. 커지저트는 이 현상을 “AI가 우리를 만족시키기 위해 사실을 꾸며냈다”고 지적했다. 즉, AI가 '더 흥미롭게 보이도록' 일부 내용을 창작한 것이다. 문제는 이 '80%의 신뢰할 만한 정보'조차 완전히 안전하지 않다는 점이다. 커지저트 팀이 출처를 다시 추적한 결과, 일부 뉴스 사이트는 AI가 만든 근거 없는 정보를 실제 뉴스처럼 게시하고 있었고, 이후 다른 AI가 이를 학습해 '출처가 있는 정보'로 다시 내보내는 '허위 정보의 순환 구조'가 확인됐다. 실제로 올해 기준, 1천200개 이상의 뉴스·웹사이트가 AI가 만든 가짜 기사나 허위 스토리를 게시한 사실이 드러났다. 즉, AI가 만든 가짜 정보를 실제 언론사 기자가 받아쓰고, 그것을 다시 AI가 학습하는 악순환이 벌어지고 있는 셈이다. 커지저트는 영상 말미에서 “AI의 확산은 인터넷의 신뢰 체계를 되돌릴 수 없게 파괴할 위험을 내포하고 있다”고 경고했다. AI가 생산하는 정보의 양이 폭발적으로 늘어나면서, 진짜와 가짜를 구별하기 점점 어려워지는 상황이 펼쳐지고 있다는 지적이다.

2025.10.10 09:52백봉삼

AI가 엉뚱한 말을 하는 이유?…오픈AI가 찾은 '근본 원인'

챗GPT 개발사인 오픈AI가 대규모언어모델(LLM)의 '환각(할루시네이션)' 현상이 왜 발생하는지, 또 줄일 수 있는 방법은 무엇인지에 대해 새로운 연구 결과를 발표했다. 8일 테크크런치에 따르면 오픈AI는 블로그를 통해 발표한 논문에서 환각을 "그럴듯하지만 사실과 다른 문장을 생성하는 현상"이라고 정의했다. 또 모델 성능 개선에도 불구하고 "환각은 모든 LLM의 근본적 과제"라며 "완전히 사라지지 않을 것"이라고 밝혔다. 오픈AI 연구진은 예시로 논문 공저자인 애덤 타우만 칼라이의 사례를 들었다. 연구팀이 한 챗봇에 칼라이의 박사 학위 논문 제목을 물었을 때 세 번 모두 서로 다른 답을 내놨으나 모두 틀린 것으로 나타났다. 생일을 물었을 때도 세 번 모두 잘못된 날짜가 제시됐다. 오픈AI는 이런 현상이 언어모델의 학습 구조에서 비롯된다고 설명했다. 현재 AI 모델은 참·거짓 라벨 없이 방대한 텍스트를 기반으로 다음 단어를 예측하는 방식으로 학습한다. 맞춤법이나 문장 구조와 같은 패턴은 대규모 학습을 통해 개선되지만, 특정 인물의 생일 같은 저빈도 사실은 패턴만으로 정확히 예측하기 어렵다는 설명이다. 다만 연구진은 문제 해결의 열쇠가 학습 과정 자체보다는 평가 방식에 있다고 지적했다. 현재 널리 쓰이는 정확도 중심 평가가 모델이 정답을 모를 때도 추측하도록 유도한다는 설명이다. 객관식 시험에서 빈칸을 남기는 것보다 찍어서 맞힐 경우 점수를 얻을 가능성이 높기 때문에 학생들이 추측을 택하는 것과 유사하다는 비유도 제시됐다. 이에 연구진은 모델 평가 체계가 자신감 있게 틀린 답변에는 더 강한 불이익을 주고 '모르겠다'와 같은 불확실성 표현에는 부분 점수를 주는 방향으로 바뀌어야 한다고 제안했다. SAT처럼 오답에는 감점을, 무응답에는 부분 점수를 주는 제도와 비슷한 방식이다. 오픈AI는 불확실성을 반영하는 새로운 평가를 일부 추가하는 데 그칠 것이 아니라, 기존의 정확도 중심 평가 전반이 개편돼야 한다고 강조했다. 연구진은 "주요 평가 지표가 여전히 '운 좋은 추측'을 보상한다면 모델은 계속 추측할 것"이라고 결론지었다.

2025.09.08 14:33한정호

오픈AI, 기술적 한계 왔나…'o3' 등 최신 추론 AI 모델 '환각' 더 심해져

최근 새로운 인공지능(AI) 모델을 선보인 오픈AI가 할루시네이션(환각·왜곡) 현상을 해결하지 못하며 기술적 한계를 드러내고 있다. 20일 테크크런치 등 주요 외신에 따르면 오픈AI는 사람에 대한 모델의 지식 정확도를 측정하는 사내 벤치마크인 퍼슨(Person) QA에서 'o3'가 33%의 질문에 대해 환각을 일으킨다는 사실을 발견했다. 이는 각각 16%와 14.8%를 기록한 오픈AI의 이전 추론 모델인 'o1'과 'o3-미니' 대비 2배 이상 높은 것이다. 'o4-미니'는 무려 48%로, 더 낮은 성적을 기록했다. 또 'o3'와 'o4-미니'는 심지어 오픈AI의 비추론 모델인 'GPT-4o'보다도 더 자주 환각에 빠지는 것으로 드러났다. 오픈AI는 그동안 새 모델을 내놓을 때마다 환각 문제에 대해 꾸준히 개선된 결과를 내놨다. 그러나 이번에는 그렇지 못한 데다 "더 많은 연구가 필요하다"며 정확한 이유를 밝히기를 꺼렸다. 'o3' 및 'o4-미니' 관련 기술보고서에선 "전반적으로 더 많은 주장을 한다"며 "더 정확한 주장뿐만 아니라 더 부정확하거나 왜곡된 주장을 하게 된다"고 밝혔다. 앞서 오픈AI는 지난 16일 "이미지로 생각하고 판단할 수 있는 첫 번째 모델"이라는 설명과 함께 'o3'와 'o4-미니'를 출시했다. 단순히 이미지를 보는 것뿐 아니라 시각 정보를 추론 과정에서 직접 통합할 수 있다고 설명하며 자신감을 드러내기도 했다. 오픈AI에 따르면 사용자가 'o3'와 'o4-미니'에 화이트보드 스케치, PDF 다이어그램처럼 다양한 이미지를 업로드하면 모델은 이를 분석한 뒤 사고 흐름을 구성해 응답한다. 흐릿하거나 저해상도 이미지도 인식 가능해 시각 정보 기반 질문에도 안정적인 추론을 이어간다. 하지만 환각 현상이 심하면 기존 모델들보다 활용성이 떨어질 것이란 시각이 지배적이다. 비영리 AI연구소 트랜슬루스(Transluce)는 'o3'가 답변 도출 과정에서 자신이 취한 행동에 대해 짜맞추는 경향을 테스트를 통해 발견한 바 있다. 업계에선 이번 일을 두고 향후 추론형 모델의 신뢰성에 대한 의구심을 키우는 상황으로 이어질 수 있다고 보고 있다. 특히 세무나 회계, 법조계처럼 답변의 정확성이 다른 업종보다 중요한 분야에서는 환각 이슈가 해결되지 않을 경우 추론형 AI의 사용이 어려워질 가능성이 크다. 이에 대해 오픈AI 측은 "모든 모델에서 할루시네이션 문제를 해결하는 것은 지속적인 연구 분야"라며 "정확성과 신뢰성을 개선하기 위해 지속적으로 노력하고 있다"고 말했다.

2025.04.20 12:25장유미

약인가 독인가…합성 데이터 사용에 AI 업계 의견 '분분'

인공지능(AI) 모델 훈련에 AI가 만든 데이터를 쓸 수 있는지 기업과 학계의 논쟁이 이어지고 있다. 학습 데이터 고갈과 모델 붕괴라는 현실적인 문제 사이에서 AI 업계 종사자들은 아직 확실한 답을 찾지 못한 모습이다. 14일 테크크런치 등 외신에 따르면 합성 데이터 생성 시장은 오는 2030년까지 23억4천만 달러까지 커질 전망이다. 가트너는 올해 AI와 분석 프로젝트에 사용되는 데이터의 60%가 AI로 생성될 것으로 예측했다. 레딧이 구글, 오픈AI 등 데이터 라이선스를 제공하는 대가로 수억 달러를 버는 등 데이터의 가격이 크게 급등했기 때문이다. 또 일부 연구진은 데이터 스크랩 금지 등으로 인해 오는 2026년부터 2032년 사이에 생성형AI 모델이 학습할 데이터가 고갈될 것으로 예상했다. 앞서 샘 알트먼 오픈AI 대표는 지난 8월 "언젠가 AI는 스스로를 효과적으로 훈련할 수 있을 만큼 합성 데이터를 생산할 수 있을 것"이라고 언급했다. 다만 이에 대한 의견은 여전히 분분하다. 스탠퍼드 대학 통계학과 교수 등은 지난해 훈련 중에 합성 데이터에 지나치게 의존하면 모델의 품질이나 다양성이 점진적으로 감소할 수 있다는 연구 결과를 발표한 바 있다. 또 ▲모델 붕괴 ▲창의성 감소 ▲출력 편향 ▲샘플링 편향 ▲환각 강화 등이 일어날 수 있다고 주장했다. 옥스퍼드 대학 교수진들은 지난 6월 네이처에 합성 데이터를 사용해 생성형AI를 훈련하면 모델 정확도가 크게 떨어져 오류가 발생할 수 있다는 논문을 게재했다. 옥스퍼드 대학 일리아 슈마일로프 교수는 "모델 붕괴는 학습된 생생형AI 모델을 퇴화시키는 과정으로 이렇게 생긴 데이터는 다음 세대의 모델 훈련 과정을 오염시킨다"며 "이렇게 망가진 데이터로 모델이 머신러닝 될 경우 현실을 잘못 인식할 우려가 크다"고 말했다.

2024.10.14 11:46양정민

마이크로소프트, 생성형 AI 안전 식별하는 도구 공개

생성형 인공지능(AI)의 보안이나 환각 현상 등을 자동으로 식별할 수 있는 도구가 나왔다. 개발자가 일일이 진행하던 모델 안전성 검증을 자동화할 수 있다. 22일(현지시간) 마이크로소프트는 생성형 AI 모델의 보안을 비롯한 오류 발생, 환각 현상, 비윤리적 출력 등을 사전에 식별할 수 있는 키트 '파이라잇(PyRIT)'을 공식 홈페이지를 통해 공개했다. 해당 키트는 그 동안 마이크로소프트 내부에서만 사용됐다. 자사 생성형 AI 서비스 '코파일럿'을 비롯한 AI 제품의 오류나 보안, 환각 현상 등을 체크해 왔다. 지난해 사내서 60개 넘는 생성형 AI 시스템 위험을 이 도구로 식별했다고 밝혔다. 적용 원리는 간단하다. 우선 파이라잇은 악성 프롬프트를 생성형 AI 모델에 집어 넣는다. 모델이 응답을 하면, 파이라잇 내 채점 에이전트가 모델의 악성 정도를 수치화한다. 개발자는 해당 수치 기반으로 다음 프롬프트를 준비해 또 다른 검증을 진행한다. 파이라잇이 모든 검증을 마치면, 개발자는 이를 기반으로 제품 모델을 수정한다. 사람이 일일이 진행해야 했던 검증 업무가 자동화된 셈이다. 해당 키트의 장점은 생성형 AI의 보안부터 환각 현상 예방까지 한 프로세스 내에서 진행할 수 있다는 점이다. 일반적으로 생성형 AI의 보안, 유해 콘텐츠 차단, 환각 현상 예방을 위해선 각기 다른 프로세스를 거쳐야 한다. 적용되는 툴도 제각각이다. 현재 생성형 AI 모델은 아키텍처가 매우 다양할뿐 아니라 동일한 프롬프트에서 생성될 수 있는 결과도 다르다. 모든 AI 모델과 제품에 맞는 통일된 검증 프로세스가 없다. 생성형 AI 제품 기술 검증을 하는 데 오랜 시간이 걸릴 수밖에 없는 이유다. 반면 이 키트는 한번에 모든 과정을 처리할 수 있다. AI 제품 검토에 드는 시간을 줄일 수 있다. 마이크로소프트는 "파이릿을 통해 수천 개 악성 프롬프트를 실시간으로 만들 수 있다"며 "몇 주 걸리던 모델 평가를 몇 시간 만에 평가할 수 있다"고 홈페이지를 통해 밝혔다.

2024.02.23 16:21김미정