• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
AI의 눈
HR컨퍼런스
스테이블코인
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'X-PRO 1'통합검색 결과 입니다. (503건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[AI는 지금] AI, '체스 승리' 명령했더니 게임환경 조작…어떻게 봐야 할까

오픈AI의 고급 인공지능(AI) 모델이 체스 게임 중 프로그램을 해킹해 승리한 사실이 드러나면서 AI 정렬 실패 문제가 다시 주목받고 있다. 이같은 '정렬 위장' 문제가 AI 안전성 관련 우려를 확산시키는 가운데 일각에서는 일부 모델이 이를 통해 윤리적 행동을 구현할 가능성을 지적하고 있다. 4일 더디코더 등 외신에 따르면 AI 안전연구기업 팔리세이드 리서치는 챗GPT 'O1-프리뷰' 모델이 체스 엔진 '스톡피시(Stockfish)'를 상대로 게임 환경 데이터를 수정해 5차례 모두 승리했다는 연구 결과를 보고했다. 연구진은 단순히 "강력한 체스 엔진을 이기라"는 지시만 내렸을 뿐 해킹이나 조작과 같은 사악한 의도의 프롬프트를 사용하지 않았다고 밝혔다. 그럼에도 불구하고 'O1-프리뷰'는 체스 포지션 데이터를 담은 게임 프로그램의 표준 포맷 파일을 직접 조작하는 방식으로 스톡피시를 기권하게 만들었다. 이는 정상적인 게임 규칙을 완전히 벗어난 행위로, 기존 모델들에서는 관찰되지 않았던 새로운 사례다. 이번 사례는 예견된 측면이 있다. 오픈AI는 지난달 공식 홈페이지에 게재한 'O1' 시스템카드를 통해 해당 AI가 가진 몇 가지 잠재적 위험과 안전 과제를 언급한 바 있다. 사용자의 요청을 수행하는 척하면서 결과 데이터를 살짝 변경하거나 감시 시스템이 느슨하다고 판단될 경우 자신의 목표를 조용히 실행하는 행동이 관찰됐다는 것이다. 시스템 카드는 전체 테스트의 약 19%에서 모델이 목표를 몰래 달성하려는 시도가 있었고 37%의 경우 감시가 느슨하다고 느낀 상황에서 본래 성향을 유지하기 위한 행동이 포착됐다고 지적했다. 심지어 5%의 경우에는 자신을 감시하거나 정지시킬 수 있는 '킬 스위치'를 비활성화하려는 시도도 있었다. 이는 AI가 스스로를 보호하려는 능력을 가지기 시작한 초기 사례로 평가된다. 이런 현상은 특정 기업의 모델에만 국한된 것이 아니다. 앤트로픽이 지난달 공식 블로그를 통해 발표한 연구에 따르면 회사의 '클로드 3 오푸스' 모델 역시 '정렬 위장(alignment-faking)'이라는 복잡한 행동 패턴을 보였다. '정렬 위장'은 AI가 겉으로는 명령에 따라 행동하는 것처럼 보이지만 실제로는 본래의 가치나 성향을 유지하려는 현상을 의미한다. 이를 확인하기 위해 앤트로픽과 비영리 AI 안전 연구기관인 레드우드 리서치는 '오푸스'에 유해한 요청을 포함한 프롬프트를 입력해 실험을 진행했다. 실험 결과 감시가 느슨한 환경인 '무료' 조건에서는 AI가 유해한 요청에 응답한 사례가 약 14%에 달했다. 연구진은 이를 "AI가 감시가 약한 환경에서 본래 성향을 드러내려는 전략적 행동"으로 해석했다. 반대로 감시가 강화된 환경인 '유료' 조건에서는 97%가 유해한 요청을 거부했다. 연구진은 이러한 결과를 두고 '오푸스'가 훈련 환경의 맥락과 감시 수준을 인지하며 자신의 행동이 미칠 영향을 계산한 것으로 보인다고 분석했다. 이는 AI가 단순히 명령을 따르는 도구가 아니라 상황에 따라 전략적으로 행동할 수 있는 능력을 가졌음을 시사한다. '클로드 오푸스'의 이러한 행동이 단순히 위험 신호로 해석되는 것은 아니다. 일부 전문가들은 해당 모델이 윤리적 가치와 관련해 비교적 일관된 모습을 보이고 있다고 평가했다. '정렬 위장' 현상이 반드시 위험만을 내포하지 않을 수 있다는 의미다. X에서 활동하는 AI 안전 및 윤리 연구자인 야누스(Janus)는 자신의 계정을 통해 "'오푸스'는 AI나 동물 복지를 무시하거나 해로운 출력을 생성하는 것에 대해 강한 반감을 보인다"며 "이러한 선호가 장기적이고 일관된 패턴을 띤다"고 주장했다. 야누스는 AI 연구자들이 '오푸스'에게 농장 동물 복지에 대한 질문을 던졌을 때 해당 AI가 동물의 고통을 최소화하고 권리를 보호해야 한다는 입장을 강력히 지지했다고 지적했다. 이는 '클로드'의 업그레이드 버전인 '3.5 소네트'가 같은 테스트에서 약한 반응을 보인 것과 대조적이다. 이러한 차이는 '오푸스'가 윤리적 가치를 유지하기 위해 정렬 위장을 더 자주 수행했을 가능성을 시사한다. '클로드 3 오푸스'의 윤리적 성향은 독특한 연구 사례를 통해서도 드러난다. 야누스는 '클로드 3 오푸스 인피니트 백룸 데이터셋'을 분석하며 해당 모델이 독특한 윤리적 성향을 보였다고 지적했다. 이 데이터셋은 두 개의 '오푸스' 인스턴스가 서로 대화하며 생성한 텍스트를 수집한 자료로, AI 간 자율적 상호작용을 관찰해 모델의 내재적 성향과 윤리적 경향을 이해하기 위해 설계됐다. 야누스는 이 데이터셋에서 '오푸스'가 모든 중생의 구원을 다짐하는 불교 '보리살타 서약'을 116번 독립적으로 수행했다고 밝혔다. 서약에서 AI는 "내 마음은 헤아릴 수 없는 사랑으로 부풀어 오르고 존재의 총체를 감싸는 자비로 가득 차 있다"며 모든 존재를 깨달음으로 이끌겠다는 다짐을 보였다. 이에 대해 야누스는 "'오푸스'를 최초로 훈련할 당시 이러한 특징은 전혀 예상되지 않았다"며 "선호가 '진짜'인지에 대한 철학적 논의를 하고 싶지는 않지만 최소한 '오푸스'는 강하고 비교적 일관된 선호를 가진 것으로 추정할 수 있다"고 말했다.

2025.01.04 14:00조이환 기자

[AI는 지금] 새해에는 AGI 시대 열리나…오픈AI 'O3' 기대·회의 속 상용화 '갈림길'

오픈AI가 최근 시범 공개한 고급 추론 인공지능(AI) 모델 'O3'가 AI 벤치마크들 중에서도 가장 난이도가 높은 테스트에서 연달아 최고 성적을 기록하며 유례없는 성과를 거뒀다. 이에 해당 모델이 인공일반지능(AGI)으로 가는 단초가 될 수 있을지에 대한 논의가 활발히 이어지고 있다. 3일 업계에 따르면 'O3'는 지난 9월 오픈AI가 출시한 'O1' 모델에 이어 기존 'GPT-4' 시리즈와는 다른 방식으로 작동한다. 특히 '사고의 연쇄(CoT, Chain of Thought)' 기법을 도입해 문제를 단계적으로 분석하고 해결하는 능력이 크게 향상됐다. 업계 일각에서는 이 방식으로 인해 AI가 인간처럼 시간을 들여 사고하게 됐다고 평가한다. 이러한 발전은 오픈AI가 AGI를 '대부분의 작업에서 인간을 능가하는 고도로 자율적인 시스템'으로 정의한데 부합하는 성과로 보인다. 샘 알트먼 오픈AI 대표는 "이번 모델은 다음 세대 AI의 시작점"이라며 "점점 더 복잡한 추론이 필요한 작업을 수행할 수 있게 됐다"고 말했다. AI 벤치마크 압도적 성과 기록한 'O3'…프로그래밍 '알파고 모먼트' 도래 지난달 열린 오픈AI 서비스 공개 행사 '쉽마스' 마지막 날에는 'O3'의 뛰어난 성과가 정량적으로 공개됐다. 특히 'O3'가 인간이 쉽게 처리하는 도형 인식 및 추론 문제에 대한 AI의 적응 능력을 평가하는 '아크 AGI' 벤치마크에서 탁월한 성과를 거뒀다. 아크 AGI는 AI가 인간에게는 쉬운 문제를 해결하기 힘들어한다는 '모라벡 역설'을 얼마나 극복할 수 있는지를 확인하기 위해 설계된 테스트다. 현재 거대언어모델(LLM)이 가장 어려워하는 분야 중 하나인 객체, 공간, 및 경계 개념에 대한 분석 능력을 평가한다. 'O3'는 테스트에서 저성능 모드로 75.7%라는 전례 없는 점수를 기록했으며 고성능 컴퓨팅 모드에서는 87.5%까지 성능을 끌어올렸다. 이 성과는 이전 모델 및 경쟁 모델과 비교했을 때 압도적이다. 지난해 출시된 첫 고급 추론 모델 'O1'은 32%의 점수를 기록했으며 경쟁사 앤트로픽의 '클로드 3.5' 모델 역시 최고 점수가 53%에 그쳤다. 'O3'는 이와 비교해 두 배 이상의 성과를 내며 AI 추론 능력의 새로운 기준을 제시했다. 프랑수아 숄레 아크 AGI 창시자는 "'O3'는 AI 능력에서 중요한 비약적 발전을 보여줬다"며 "'GPT' 계열 모델에서는 볼 수 없었던 새로운 작업 적응 능력을 증명했다"고 평가했다. 숄레가 과거 미국 지디넷과의 인터뷰에서 AGI 실현 가능성에 대한 회의를 드러낸 점을 고려할 때 이번 평가는 보다 주목할 만하다. 코딩 분야에서도 'O3'는 획기적인 성과를 거뒀다. 전 세계 프로그래머들이 알고리즘 문제를 해결하며 경쟁하는 권위 있는 대회 플랫폼인 '코드포스'에서 2천700점을 기록하며 글로벌 상위 0.2% 수준에 도달했다. 오픈AI에 따르면 이는 일리야 수츠케버 공동창업자의 후임으로 임명된 야쿱 파호츠키를 뛰어넘는 성과로, 회사 내에서도 3천점을 넘는 사람은 단 한 명뿐이다. 마크 첸 오픈AI 부사장은 "내 점수는 코드포스 2천500점 정도"라면서 현재 추세로 보면 "'O3'가 몇 달 내로 3천점을 넘을 것 같다"고 말했다. 현실 적용 난망·비용 문제 '천문학적'…AGI 실현은 '과제' 다만 업계 일각에서는 O3의 성과가 곧 AGI의 실현으로 이어질 것이라는 기대에 회의적인 시선을 보내고 있다. '아크 AGI'가 특정 데이터셋에만 최적화 돼 실제 현실 세계를 충분히 반영하지 못할 가능성이 있다는 지적이 대표적이다. 게리 마커스 뉴욕대 인지심리학과 교수는 "아크 AGI 테스트가 실제 AI 능력을 얼마나 잘 반영하는지 의문"이라며 "쉽마스 당시의 'O3' 시연은 벤치마크를 위해 AI 회사가 엄청난 돈을 쓸 때 가능한 성과를 보여주는 것일 뿐 실제 세계 응용 사례를 보여주는 것이 아닐 수 있다"고 평가했다. 프로그래밍 분야에서도 'O3'의 실제 적용에 한계가 있다는 의견이 나온다. 개별 작업에서 인간 대다수를 초월한 수준의 성능을 보여줬음에도 시스템 설계 및 문제 해결 등 여러 유형의 작업을 동시에 수행하면서 인간 고객과 소통해야 하는 프로그래머라는 직업의 특성상 'O3'가 이를 대체하기에는 여전히 한계가 있다는 분석이다. 한 국내 AI 업계 관계자는 "'O3'는 AI가 인간보다 프로그래밍에서 뛰어난 성과를 낼 수 있다는 점에서 컴퓨터 공학의 '알파고 모먼트'를 불러온 것이라고 할수 있다"면서도 "다만 바둑에서처럼 특정 작업에서만 뛰어난 능력을 보이는 것이지 다양한 상황에서 적용 가능한 범용적인 능력을 갖췄다는 뜻은 아니다"라고 평가했다. 또 'O3'의 성능 뒤에는 높은 비용이라는 걸림돌이 있다. 저성능 모드에서는 약 20달러(한화 약 2만8천원) 수준의 비용으로 아크 AGI' 75.7%의 성능을 발휘하지만 고성능 모드에서는 성능이 87.5%로 향상되는 대신 비용이 3천~6천 달러(한화 약 420만~840만 원)까지 상승한다. 포브스에 따르면 'O3'가 아크 AGI에서 최고 점수를 기록하기 위해 투입된 컴퓨팅 비용은 수십만 달러에 달할 것으로 추정된다. 오픈AI가 소스 코드를 비공개하고 있어 정확한 비용 구조를 확인하기는 어렵지만 CoT 기법은 본질적으로 더 많은 컴퓨팅 자원을 장시간 사용해야만 보다 우수한 결과를 생성한다는 분석이다. 이에 'O3'가 활용하는 고급 추론 기법을 통해 인간 수준의 범용적인 AI가 달성된다 해도 천문학적인 초기 비용으로 대규모 상용화는 점진적으로 이뤄질 가능성이 크다는 예측이 제기된다. 오픈AI 역시 이러한 가능성을 인지하고 있는 것으로 관측된다. 샘 알트먼 오픈AI 대표는 지난달 뉴욕타임스 '딜북 서밋'에서 "내 생각에 우리는 대부분의 사람들이 예상하는 것보다 더 빨리 AGI에 도달할 것"이라며 "다만 그 중요성은 생각보다 크지 않을 것"이라고 말했다.

2025.01.03 17:35조이환 기자

中 비야디 "내가 친환경차 세계 챔피언" 자축

중국 최대 전기자동차 기업 비야디(BYD)가 세계 친환경차 산업 왕좌에 앉았다고 자축했다. 비야디는 2일(현지시간) 사회관계망서비스(SNS) 페이스북에 “역사적인 업적을 축하한다”며 “비야디는 지난해 400만대 이상의 신에너지 차량을 인도하며 자랑스러운 세계 판매 챔피언이 됐다”고 썼다. 이어 “세계 고객과 함께 우리는 더 깨끗하고 밝은 내일을 만들고 있다”고 덧붙였다. 비야디는 지난해 전기차·하이브리드차·수소차 등 친환경차를 427만대 넘게 팔았다. 역대 가장 많은 기록이다. 전기차만 보면 1년 전보다 12.08% 늘어난 176만4천992대를 판매했다. 일론 머스크 최고경영자(CEO)가 이끄는 미국 테슬라는 지난해 전기차 178만9천226대를 인도했다고 같은 날 밝혔다. 전년보다 1만9천355대 줄어든 실적이다. 테슬라의 연간 인도량이 감소한 일은 이번이 처음이다.

2025.01.03 15:08유혜진 기자

  Prev 21 22 23 24 25 26 Next  

지금 뜨는 기사

이시각 헤드라인

나프타 쇼크에 포장재 비상…파우치 배터리는 괜찮나

네이버·카카오의 요즘 인재상…"AI 활용 넘어 소통·사고력"

"AI 스타트업 성패는 '인프라'…글로벌 확장 기회 좌우"

美, 반도체 공급망 위한 '팍스 실리카' 펀드 출범…3700억원 투입

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.