검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'환각'통합검색 결과 입니다. (6건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AI가 엉뚱한 말을 하는 이유?…오픈AI가 찾은 '근본 원인'

챗GPT 개발사인 오픈AI가 대규모언어모델(LLM)의 '환각(할루시네이션)' 현상이 왜 발생하는지, 또 줄일 수 있는 방법은 무엇인지에 대해 새로운 연구 결과를 발표했다. 8일 테크크런치에 따르면 오픈AI는 블로그를 통해 발표한 논문에서 환각을 "그럴듯하지만 사실과 다른 문장을 생성하는 현상"이라고 정의했다. 또 모델 성능 개선에도 불구하고 "환각은 모든 LLM의 근본적 과제"라며 "완전히 사라지지 않을 것"이라고 밝혔다. 오픈AI 연구진은 예시로 논문 공저자인 애덤 타우만 칼라이의 사례를 들었다. 연구팀이 한 챗봇에 칼라이의 박사 학위 논문 제목을 물었을 때 세 번 모두 서로 다른 답을 내놨으나 모두 틀린 것으로 나타났다. 생일을 물었을 때도 세 번 모두 잘못된 날짜가 제시됐다. 오픈AI는 이런 현상이 언어모델의 학습 구조에서 비롯된다고 설명했다. 현재 AI 모델은 참·거짓 라벨 없이 방대한 텍스트를 기반으로 다음 단어를 예측하는 방식으로 학습한다. 맞춤법이나 문장 구조와 같은 패턴은 대규모 학습을 통해 개선되지만, 특정 인물의 생일 같은 저빈도 사실은 패턴만으로 정확히 예측하기 어렵다는 설명이다. 다만 연구진은 문제 해결의 열쇠가 학습 과정 자체보다는 평가 방식에 있다고 지적했다. 현재 널리 쓰이는 정확도 중심 평가가 모델이 정답을 모를 때도 추측하도록 유도한다는 설명이다. 객관식 시험에서 빈칸을 남기는 것보다 찍어서 맞힐 경우 점수를 얻을 가능성이 높기 때문에 학생들이 추측을 택하는 것과 유사하다는 비유도 제시됐다. 이에 연구진은 모델 평가 체계가 자신감 있게 틀린 답변에는 더 강한 불이익을 주고 '모르겠다'와 같은 불확실성 표현에는 부분 점수를 주는 방향으로 바뀌어야 한다고 제안했다. SAT처럼 오답에는 감점을, 무응답에는 부분 점수를 주는 제도와 비슷한 방식이다. 오픈AI는 불확실성을 반영하는 새로운 평가를 일부 추가하는 데 그칠 것이 아니라, 기존의 정확도 중심 평가 전반이 개편돼야 한다고 강조했다. 연구진은 "주요 평가 지표가 여전히 '운 좋은 추측'을 보상한다면 모델은 계속 추측할 것"이라고 결론지었다.

2025.09.08 14:33한정호

싱가포르, 전자담배 마약 문제로 간주…"최대 징역형"

전자담배 위반 행위에 대해 더 강력한 처벌을 도입할 예정인 싱가포르가 심각한 위반 사항을 저질렀을 경우 징역형까지 부과할 전망이다. 17일(현지시간) 블룸버그 등 외신에 따르면 로렌스 웡 싱가포르 총리는 연설에서 “지금까지 전자담배를 담배와 비슷하게 다뤄왔고 최대 벌금형만 부과했지만 이제는 그것만으로는 충분하지 않다”면서 “이제 전자담배를 마약 문제로 간주하고 훨씬 더 엄격한 처벌을 내릴 것”이라며 이같이 말했다. 웡 총리는 해로운 물질이 섞인 전자담배를 판매하는 사람들에게는 징역형을 포함한 더 가혹한 처벌이 내려질 것이라며 중독자들을 위한 재활 프로그램도 제공할 것으로고 부연했다. 이미 싱가포르에서는 전자담배가 금지돼 있으며 보건 당국은 압수된 전자담배의 3분의 1 가량이 마취제 성분인 에토미데이트가 섞여 있다고 경고해왔다. 일반적으로 에토미데이트는 의사가 진정 유도를 위해 주사하는 약물이지만, 오남용 시 환각과 영구적인 장기 손상을 일으킬 수 있다. 현재 싱가포르는 에토미데이트를 마약류 관리법 상 불법 마약으로 재분류하기 위해 작업 중이다. 재분류가 시행되면 에토미데이터가 섞인 전자담배 사용자들은 코카인과 같은 강력 마약 소비자와 같은 수준의 처벌을 받게 된다. 이들은 의무 재활 프로그램에 참여하거나 재범의 경우 최소 1년 이상의 징역형에 처해질 수 있다. 웡 총리는 “싱가포르에서는 전자담배를 금지했지만 여전히 사람들이 밀수입을 하고 법망을 피하려는 방법을 찾고 있다”고 진단했다.

2025.08.18 09:19박서린

오픈AI, 기술적 한계 왔나…'o3' 등 최신 추론 AI 모델 '환각' 더 심해져

최근 새로운 인공지능(AI) 모델을 선보인 오픈AI가 할루시네이션(환각·왜곡) 현상을 해결하지 못하며 기술적 한계를 드러내고 있다. 20일 테크크런치 등 주요 외신에 따르면 오픈AI는 사람에 대한 모델의 지식 정확도를 측정하는 사내 벤치마크인 퍼슨(Person) QA에서 'o3'가 33%의 질문에 대해 환각을 일으킨다는 사실을 발견했다. 이는 각각 16%와 14.8%를 기록한 오픈AI의 이전 추론 모델인 'o1'과 'o3-미니' 대비 2배 이상 높은 것이다. 'o4-미니'는 무려 48%로, 더 낮은 성적을 기록했다. 또 'o3'와 'o4-미니'는 심지어 오픈AI의 비추론 모델인 'GPT-4o'보다도 더 자주 환각에 빠지는 것으로 드러났다. 오픈AI는 그동안 새 모델을 내놓을 때마다 환각 문제에 대해 꾸준히 개선된 결과를 내놨다. 그러나 이번에는 그렇지 못한 데다 "더 많은 연구가 필요하다"며 정확한 이유를 밝히기를 꺼렸다. 'o3' 및 'o4-미니' 관련 기술보고서에선 "전반적으로 더 많은 주장을 한다"며 "더 정확한 주장뿐만 아니라 더 부정확하거나 왜곡된 주장을 하게 된다"고 밝혔다. 앞서 오픈AI는 지난 16일 "이미지로 생각하고 판단할 수 있는 첫 번째 모델"이라는 설명과 함께 'o3'와 'o4-미니'를 출시했다. 단순히 이미지를 보는 것뿐 아니라 시각 정보를 추론 과정에서 직접 통합할 수 있다고 설명하며 자신감을 드러내기도 했다. 오픈AI에 따르면 사용자가 'o3'와 'o4-미니'에 화이트보드 스케치, PDF 다이어그램처럼 다양한 이미지를 업로드하면 모델은 이를 분석한 뒤 사고 흐름을 구성해 응답한다. 흐릿하거나 저해상도 이미지도 인식 가능해 시각 정보 기반 질문에도 안정적인 추론을 이어간다. 하지만 환각 현상이 심하면 기존 모델들보다 활용성이 떨어질 것이란 시각이 지배적이다. 비영리 AI연구소 트랜슬루스(Transluce)는 'o3'가 답변 도출 과정에서 자신이 취한 행동에 대해 짜맞추는 경향을 테스트를 통해 발견한 바 있다. 업계에선 이번 일을 두고 향후 추론형 모델의 신뢰성에 대한 의구심을 키우는 상황으로 이어질 수 있다고 보고 있다. 특히 세무나 회계, 법조계처럼 답변의 정확성이 다른 업종보다 중요한 분야에서는 환각 이슈가 해결되지 않을 경우 추론형 AI의 사용이 어려워질 가능성이 크다. 이에 대해 오픈AI 측은 "모든 모델에서 할루시네이션 문제를 해결하는 것은 지속적인 연구 분야"라며 "정확성과 신뢰성을 개선하기 위해 지속적으로 노력하고 있다"고 말했다.

2025.04.20 12:25장유미

약인가 독인가…합성 데이터 사용에 AI 업계 의견 '분분'

인공지능(AI) 모델 훈련에 AI가 만든 데이터를 쓸 수 있는지 기업과 학계의 논쟁이 이어지고 있다. 학습 데이터 고갈과 모델 붕괴라는 현실적인 문제 사이에서 AI 업계 종사자들은 아직 확실한 답을 찾지 못한 모습이다. 14일 테크크런치 등 외신에 따르면 합성 데이터 생성 시장은 오는 2030년까지 23억4천만 달러까지 커질 전망이다. 가트너는 올해 AI와 분석 프로젝트에 사용되는 데이터의 60%가 AI로 생성될 것으로 예측했다. 레딧이 구글, 오픈AI 등 데이터 라이선스를 제공하는 대가로 수억 달러를 버는 등 데이터의 가격이 크게 급등했기 때문이다. 또 일부 연구진은 데이터 스크랩 금지 등으로 인해 오는 2026년부터 2032년 사이에 생성형AI 모델이 학습할 데이터가 고갈될 것으로 예상했다. 앞서 샘 알트먼 오픈AI 대표는 지난 8월 "언젠가 AI는 스스로를 효과적으로 훈련할 수 있을 만큼 합성 데이터를 생산할 수 있을 것"이라고 언급했다. 다만 이에 대한 의견은 여전히 분분하다. 스탠퍼드 대학 통계학과 교수 등은 지난해 훈련 중에 합성 데이터에 지나치게 의존하면 모델의 품질이나 다양성이 점진적으로 감소할 수 있다는 연구 결과를 발표한 바 있다. 또 ▲모델 붕괴 ▲창의성 감소 ▲출력 편향 ▲샘플링 편향 ▲환각 강화 등이 일어날 수 있다고 주장했다. 옥스퍼드 대학 교수진들은 지난 6월 네이처에 합성 데이터를 사용해 생성형AI를 훈련하면 모델 정확도가 크게 떨어져 오류가 발생할 수 있다는 논문을 게재했다. 옥스퍼드 대학 일리아 슈마일로프 교수는 "모델 붕괴는 학습된 생생형AI 모델을 퇴화시키는 과정으로 이렇게 생긴 데이터는 다음 세대의 모델 훈련 과정을 오염시킨다"며 "이렇게 망가진 데이터로 모델이 머신러닝 될 경우 현실을 잘못 인식할 우려가 크다"고 말했다.

2024.10.14 11:46양정민

뇌연구원-존스홉킨스의대, 조현병 환자 환청·환각 정보처리 과정 규명

조현병 환자의 환청이나 착시, 환각 증상을 일으키는 과정이 규명됐다.그러나 이 같은 증상이 왜 일어나는지 원인은 이 논문에 포함돼 있지 않다. 한국뇌연구원과 존스홉킨스의대 국제공동연구팀은 뇌에 있는 신경세포마다 방향-위치 특이성이 다른 이유를 밝혀냈다고 3일 밝혔다. 공동연구팀에는 존스홉킨스의대 홍인기 박사, 리차드 후가니어(Richard Huganir) 교수와 한국뇌연구원 정서인지질환 연구그룹 김주현 선임연구원 등이 참가했다. 이 연구결과는 국제학술지 네이처(Nature) 10월 2일호에 공개됐다. 뇌의 신경세포가 특정 자극에 강하게 반응하는 경향을 '속성 선택성(Feature selectivity)'이라고 한다. 예를 들어 어떤 신경세포(흥분성 세포)가 '우리 할아버지 콧수염'같은 특정 자극에만 민감하게 반응하는 현상을 말한다. 연구팀은 대뇌 시각피질의 흥분성 세포에 주목했다. 이 세포는 '특정 방향의 모서리(oriented edge)'에 선택적인 반응을 보인다. 반면 대뇌피질에서 가장 많은 억제성 뇌세포인 PV 뇌세포의 경우 방향 선택성이 현저히 낮게 나타난다. 뇌의 해마에서도 흥분성 뇌세포는 이와 유사한 성질을 나타낸다. 공동연구팀이 이 같은 작동 원리를 규명한 것. 연구팀은 뇌의 신경전달물질 수용체(AMPA)가 신경세포의 종류에 따라 서로 다른 방향-위치 선택성과 관련된 학습을 하는데 중요한 역할을 한다는 사실을 밝혀냈다. 특히 이 수용체를 구성하는 요소 중 칼슘 선택성을 결정짓는 'GRIA2'가 속성 선택성에 핵심적인 역할을 한다는 것을 알아냈다. 유전적 기법을 통해 억제성 뇌세포에서 'GRIA2' 발현을 통해 칼슘 투과성을 낮췄을 때, 흥분성 뇌세포처럼 방향 선택성이 높아졌다. 반대로, 흥분성 뇌세포에서 'GRIA2'를 없앤 경우 방향 선택성이 사라졌다. 공동 교신저자인 존스홉킨스 의대의 홍인기 박사와 리차드 후가니어(Richard Huganir) 교수는 “자폐증이나 조현병, 뇌전증 등의 정신질환에서 나타나는 감각정보의 인지 왜곡 현상도 속성 선택성의 문제로 이해할 수 있다”며 “이런 원리를 밝혀나가면 지능을 더 깊이 이해할 수 있을 뿐 아니라 이들 질환의 약물 치료 타깃도 찾을 수 있을 것”이라고 기대했다. 공동 제1저자인 김주현 박사는 “이번 연구는 '방향'과 같은 시각정보와 '위치'와 같은 공간 인식 정보를 흥분성 뇌세포와 억제성 뇌세포가 어떻게 서로 다르게 처리하는 지 그 작용 원리를 밝혀낸 것”이라며 “우리 뇌가 방향-위치 선택성을 어떻게 조절하는지 규명함으로써 뇌의 감각 정보 처리 방식에 대한 이해는 물론, 새로운 AI 네트워크 구조와 학습 알고리즘 설계에도 도움이 될 것”이라고 말했다.

2024.10.03 11:09박희범

마이크로소프트, 생성형 AI 안전 식별하는 도구 공개

생성형 인공지능(AI)의 보안이나 환각 현상 등을 자동으로 식별할 수 있는 도구가 나왔다. 개발자가 일일이 진행하던 모델 안전성 검증을 자동화할 수 있다. 22일(현지시간) 마이크로소프트는 생성형 AI 모델의 보안을 비롯한 오류 발생, 환각 현상, 비윤리적 출력 등을 사전에 식별할 수 있는 키트 '파이라잇(PyRIT)'을 공식 홈페이지를 통해 공개했다. 해당 키트는 그 동안 마이크로소프트 내부에서만 사용됐다. 자사 생성형 AI 서비스 '코파일럿'을 비롯한 AI 제품의 오류나 보안, 환각 현상 등을 체크해 왔다. 지난해 사내서 60개 넘는 생성형 AI 시스템 위험을 이 도구로 식별했다고 밝혔다. 적용 원리는 간단하다. 우선 파이라잇은 악성 프롬프트를 생성형 AI 모델에 집어 넣는다. 모델이 응답을 하면, 파이라잇 내 채점 에이전트가 모델의 악성 정도를 수치화한다. 개발자는 해당 수치 기반으로 다음 프롬프트를 준비해 또 다른 검증을 진행한다. 파이라잇이 모든 검증을 마치면, 개발자는 이를 기반으로 제품 모델을 수정한다. 사람이 일일이 진행해야 했던 검증 업무가 자동화된 셈이다. 해당 키트의 장점은 생성형 AI의 보안부터 환각 현상 예방까지 한 프로세스 내에서 진행할 수 있다는 점이다. 일반적으로 생성형 AI의 보안, 유해 콘텐츠 차단, 환각 현상 예방을 위해선 각기 다른 프로세스를 거쳐야 한다. 적용되는 툴도 제각각이다. 현재 생성형 AI 모델은 아키텍처가 매우 다양할뿐 아니라 동일한 프롬프트에서 생성될 수 있는 결과도 다르다. 모든 AI 모델과 제품에 맞는 통일된 검증 프로세스가 없다. 생성형 AI 제품 기술 검증을 하는 데 오랜 시간이 걸릴 수밖에 없는 이유다. 반면 이 키트는 한번에 모든 과정을 처리할 수 있다. AI 제품 검토에 드는 시간을 줄일 수 있다. 마이크로소프트는 "파이릿을 통해 수천 개 악성 프롬프트를 실시간으로 만들 수 있다"며 "몇 주 걸리던 모델 평가를 몇 시간 만에 평가할 수 있다"고 홈페이지를 통해 밝혔다.

2024.02.23 16:21김미정