검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'환각'통합검색 결과 입니다. (4건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

오픈AI, 기술적 한계 왔나…'o3' 등 최신 추론 AI 모델 '환각' 더 심해져

최근 새로운 인공지능(AI) 모델을 선보인 오픈AI가 할루시네이션(환각·왜곡) 현상을 해결하지 못하며 기술적 한계를 드러내고 있다. 20일 테크크런치 등 주요 외신에 따르면 오픈AI는 사람에 대한 모델의 지식 정확도를 측정하는 사내 벤치마크인 퍼슨(Person) QA에서 'o3'가 33%의 질문에 대해 환각을 일으킨다는 사실을 발견했다. 이는 각각 16%와 14.8%를 기록한 오픈AI의 이전 추론 모델인 'o1'과 'o3-미니' 대비 2배 이상 높은 것이다. 'o4-미니'는 무려 48%로, 더 낮은 성적을 기록했다. 또 'o3'와 'o4-미니'는 심지어 오픈AI의 비추론 모델인 'GPT-4o'보다도 더 자주 환각에 빠지는 것으로 드러났다. 오픈AI는 그동안 새 모델을 내놓을 때마다 환각 문제에 대해 꾸준히 개선된 결과를 내놨다. 그러나 이번에는 그렇지 못한 데다 "더 많은 연구가 필요하다"며 정확한 이유를 밝히기를 꺼렸다. 'o3' 및 'o4-미니' 관련 기술보고서에선 "전반적으로 더 많은 주장을 한다"며 "더 정확한 주장뿐만 아니라 더 부정확하거나 왜곡된 주장을 하게 된다"고 밝혔다. 앞서 오픈AI는 지난 16일 "이미지로 생각하고 판단할 수 있는 첫 번째 모델"이라는 설명과 함께 'o3'와 'o4-미니'를 출시했다. 단순히 이미지를 보는 것뿐 아니라 시각 정보를 추론 과정에서 직접 통합할 수 있다고 설명하며 자신감을 드러내기도 했다. 오픈AI에 따르면 사용자가 'o3'와 'o4-미니'에 화이트보드 스케치, PDF 다이어그램처럼 다양한 이미지를 업로드하면 모델은 이를 분석한 뒤 사고 흐름을 구성해 응답한다. 흐릿하거나 저해상도 이미지도 인식 가능해 시각 정보 기반 질문에도 안정적인 추론을 이어간다. 하지만 환각 현상이 심하면 기존 모델들보다 활용성이 떨어질 것이란 시각이 지배적이다. 비영리 AI연구소 트랜슬루스(Transluce)는 'o3'가 답변 도출 과정에서 자신이 취한 행동에 대해 짜맞추는 경향을 테스트를 통해 발견한 바 있다. 업계에선 이번 일을 두고 향후 추론형 모델의 신뢰성에 대한 의구심을 키우는 상황으로 이어질 수 있다고 보고 있다. 특히 세무나 회계, 법조계처럼 답변의 정확성이 다른 업종보다 중요한 분야에서는 환각 이슈가 해결되지 않을 경우 추론형 AI의 사용이 어려워질 가능성이 크다. 이에 대해 오픈AI 측은 "모든 모델에서 할루시네이션 문제를 해결하는 것은 지속적인 연구 분야"라며 "정확성과 신뢰성을 개선하기 위해 지속적으로 노력하고 있다"고 말했다.

2025.04.20 12:25장유미

약인가 독인가…합성 데이터 사용에 AI 업계 의견 '분분'

인공지능(AI) 모델 훈련에 AI가 만든 데이터를 쓸 수 있는지 기업과 학계의 논쟁이 이어지고 있다. 학습 데이터 고갈과 모델 붕괴라는 현실적인 문제 사이에서 AI 업계 종사자들은 아직 확실한 답을 찾지 못한 모습이다. 14일 테크크런치 등 외신에 따르면 합성 데이터 생성 시장은 오는 2030년까지 23억4천만 달러까지 커질 전망이다. 가트너는 올해 AI와 분석 프로젝트에 사용되는 데이터의 60%가 AI로 생성될 것으로 예측했다. 레딧이 구글, 오픈AI 등 데이터 라이선스를 제공하는 대가로 수억 달러를 버는 등 데이터의 가격이 크게 급등했기 때문이다. 또 일부 연구진은 데이터 스크랩 금지 등으로 인해 오는 2026년부터 2032년 사이에 생성형AI 모델이 학습할 데이터가 고갈될 것으로 예상했다. 앞서 샘 알트먼 오픈AI 대표는 지난 8월 "언젠가 AI는 스스로를 효과적으로 훈련할 수 있을 만큼 합성 데이터를 생산할 수 있을 것"이라고 언급했다. 다만 이에 대한 의견은 여전히 분분하다. 스탠퍼드 대학 통계학과 교수 등은 지난해 훈련 중에 합성 데이터에 지나치게 의존하면 모델의 품질이나 다양성이 점진적으로 감소할 수 있다는 연구 결과를 발표한 바 있다. 또 ▲모델 붕괴 ▲창의성 감소 ▲출력 편향 ▲샘플링 편향 ▲환각 강화 등이 일어날 수 있다고 주장했다. 옥스퍼드 대학 교수진들은 지난 6월 네이처에 합성 데이터를 사용해 생성형AI를 훈련하면 모델 정확도가 크게 떨어져 오류가 발생할 수 있다는 논문을 게재했다. 옥스퍼드 대학 일리아 슈마일로프 교수는 "모델 붕괴는 학습된 생생형AI 모델을 퇴화시키는 과정으로 이렇게 생긴 데이터는 다음 세대의 모델 훈련 과정을 오염시킨다"며 "이렇게 망가진 데이터로 모델이 머신러닝 될 경우 현실을 잘못 인식할 우려가 크다"고 말했다.

2024.10.14 11:46양정민

뇌연구원-존스홉킨스의대, 조현병 환자 환청·환각 정보처리 과정 규명

조현병 환자의 환청이나 착시, 환각 증상을 일으키는 과정이 규명됐다.그러나 이 같은 증상이 왜 일어나는지 원인은 이 논문에 포함돼 있지 않다. 한국뇌연구원과 존스홉킨스의대 국제공동연구팀은 뇌에 있는 신경세포마다 방향-위치 특이성이 다른 이유를 밝혀냈다고 3일 밝혔다. 공동연구팀에는 존스홉킨스의대 홍인기 박사, 리차드 후가니어(Richard Huganir) 교수와 한국뇌연구원 정서인지질환 연구그룹 김주현 선임연구원 등이 참가했다. 이 연구결과는 국제학술지 네이처(Nature) 10월 2일호에 공개됐다. 뇌의 신경세포가 특정 자극에 강하게 반응하는 경향을 '속성 선택성(Feature selectivity)'이라고 한다. 예를 들어 어떤 신경세포(흥분성 세포)가 '우리 할아버지 콧수염'같은 특정 자극에만 민감하게 반응하는 현상을 말한다. 연구팀은 대뇌 시각피질의 흥분성 세포에 주목했다. 이 세포는 '특정 방향의 모서리(oriented edge)'에 선택적인 반응을 보인다. 반면 대뇌피질에서 가장 많은 억제성 뇌세포인 PV 뇌세포의 경우 방향 선택성이 현저히 낮게 나타난다. 뇌의 해마에서도 흥분성 뇌세포는 이와 유사한 성질을 나타낸다. 공동연구팀이 이 같은 작동 원리를 규명한 것. 연구팀은 뇌의 신경전달물질 수용체(AMPA)가 신경세포의 종류에 따라 서로 다른 방향-위치 선택성과 관련된 학습을 하는데 중요한 역할을 한다는 사실을 밝혀냈다. 특히 이 수용체를 구성하는 요소 중 칼슘 선택성을 결정짓는 'GRIA2'가 속성 선택성에 핵심적인 역할을 한다는 것을 알아냈다. 유전적 기법을 통해 억제성 뇌세포에서 'GRIA2' 발현을 통해 칼슘 투과성을 낮췄을 때, 흥분성 뇌세포처럼 방향 선택성이 높아졌다. 반대로, 흥분성 뇌세포에서 'GRIA2'를 없앤 경우 방향 선택성이 사라졌다. 공동 교신저자인 존스홉킨스 의대의 홍인기 박사와 리차드 후가니어(Richard Huganir) 교수는 “자폐증이나 조현병, 뇌전증 등의 정신질환에서 나타나는 감각정보의 인지 왜곡 현상도 속성 선택성의 문제로 이해할 수 있다”며 “이런 원리를 밝혀나가면 지능을 더 깊이 이해할 수 있을 뿐 아니라 이들 질환의 약물 치료 타깃도 찾을 수 있을 것”이라고 기대했다. 공동 제1저자인 김주현 박사는 “이번 연구는 '방향'과 같은 시각정보와 '위치'와 같은 공간 인식 정보를 흥분성 뇌세포와 억제성 뇌세포가 어떻게 서로 다르게 처리하는 지 그 작용 원리를 밝혀낸 것”이라며 “우리 뇌가 방향-위치 선택성을 어떻게 조절하는지 규명함으로써 뇌의 감각 정보 처리 방식에 대한 이해는 물론, 새로운 AI 네트워크 구조와 학습 알고리즘 설계에도 도움이 될 것”이라고 말했다.

2024.10.03 11:09박희범

마이크로소프트, 생성형 AI 안전 식별하는 도구 공개

생성형 인공지능(AI)의 보안이나 환각 현상 등을 자동으로 식별할 수 있는 도구가 나왔다. 개발자가 일일이 진행하던 모델 안전성 검증을 자동화할 수 있다. 22일(현지시간) 마이크로소프트는 생성형 AI 모델의 보안을 비롯한 오류 발생, 환각 현상, 비윤리적 출력 등을 사전에 식별할 수 있는 키트 '파이라잇(PyRIT)'을 공식 홈페이지를 통해 공개했다. 해당 키트는 그 동안 마이크로소프트 내부에서만 사용됐다. 자사 생성형 AI 서비스 '코파일럿'을 비롯한 AI 제품의 오류나 보안, 환각 현상 등을 체크해 왔다. 지난해 사내서 60개 넘는 생성형 AI 시스템 위험을 이 도구로 식별했다고 밝혔다. 적용 원리는 간단하다. 우선 파이라잇은 악성 프롬프트를 생성형 AI 모델에 집어 넣는다. 모델이 응답을 하면, 파이라잇 내 채점 에이전트가 모델의 악성 정도를 수치화한다. 개발자는 해당 수치 기반으로 다음 프롬프트를 준비해 또 다른 검증을 진행한다. 파이라잇이 모든 검증을 마치면, 개발자는 이를 기반으로 제품 모델을 수정한다. 사람이 일일이 진행해야 했던 검증 업무가 자동화된 셈이다. 해당 키트의 장점은 생성형 AI의 보안부터 환각 현상 예방까지 한 프로세스 내에서 진행할 수 있다는 점이다. 일반적으로 생성형 AI의 보안, 유해 콘텐츠 차단, 환각 현상 예방을 위해선 각기 다른 프로세스를 거쳐야 한다. 적용되는 툴도 제각각이다. 현재 생성형 AI 모델은 아키텍처가 매우 다양할뿐 아니라 동일한 프롬프트에서 생성될 수 있는 결과도 다르다. 모든 AI 모델과 제품에 맞는 통일된 검증 프로세스가 없다. 생성형 AI 제품 기술 검증을 하는 데 오랜 시간이 걸릴 수밖에 없는 이유다. 반면 이 키트는 한번에 모든 과정을 처리할 수 있다. AI 제품 검토에 드는 시간을 줄일 수 있다. 마이크로소프트는 "파이릿을 통해 수천 개 악성 프롬프트를 실시간으로 만들 수 있다"며 "몇 주 걸리던 모델 평가를 몇 시간 만에 평가할 수 있다"고 홈페이지를 통해 밝혔다.

2024.02.23 16:21김미정