ZDNet 검색 페이지

'범용인공지능'통합검색 결과 입니다. (8건)

아마존, AI 담당 조직 개편…새 수장에 피터 드산티스

전자상거래업체 아마존이 인공지능(AI) 프로젝트를 담당하는 조직을 개편하고 클라우드 부문 출신의 핵심 임원을 새로운 조직 수장 자리에 앉혔다. 17일(현지시간) 블룸버그 등 외신에 따르면 앤디 재시 아마존 최고경영자(CEO)는 피터 드산티스가 새 조직을 이끌게 된다고 밝혔다. 드산티스가 이끌게 될 새 조직은 범용인공지능(AGI) 팀과 반도체 개발 조직, 양자컴퓨팅 연구 부문을 통합하게 된다. 그간 AGI 팀은 아마존의 '노바' 브랜드 AI 모델과 음성 비서 알렉사의 핵심 두뇌를 담당해왔다. 2022년 말 오픈AI의 AI 챗봇 챗GPT가 등장한 후 아마존은 기존 알렉사 팀과 아마존웹서비스(AWS)에 분산돼 있던 AI 개발 업무를 하나의 조직으로 통합했다. 당시 조직 개편은 챗GPT를 구동하는 것과 같은 최첨단 범용 AI 도구를 만들겠다는 아마존의 야심으로 보여주는 조치로 여겨졌다. 이번 조치는 2015년 아마존이 인수한 스타트업 안나푸르나 랩스를 새 조직에 포함시키며 팀을 강화하는 것이다. 안나푸르나 랩스는 범용 반도체와 AI 특화 하드웨어 개발의 기반이 돼 왔다. 제시 CEO는 “우리는 미래 고객 경험의 상당 부분을 이끌 여러 신기술에서 중요한 변곡점에 와 있다고 믿는다”고 말한 바 있다. 드산티스는 이전 유틸리티 컴퓨팅 부문 수석부사장으로 재직하며 AWS 대부분의 엔지니어링 팀을 총괄했다. 새 팀을 이끌게 될 드산티스는 향후 재시 CEO에 직접 보고하게 된다. 재시 CEO는 그에 대해 “기술적으로 가능한 한계 기점에서 문제를 해결해 온 검증된 실적을 갖춘 인물”이라고 평가했다. 현재 AGI 조직의 수장이자 알렉사 음성 과학팀을 오랜기간 이끌어온 로힛 프라사드는 올해 말 아마존을 떠난다. 지난해 아마존이 로봇 소프트웨어 업체 코버리언트를 인수하면서 합류한 피터 아베엘은 아마존의 파운데이션 AI 모델을 개발하는 팀을 이끌게 된다.

2025.12.18 09:16박서린

"결말은 인류 절멸"…실리콘밸리 AI 구루, 'AI 반역 시나리오' 경고

초인간적 지능을 갖춘 인공지능(AI)이 등장할 경우 인류의 통제를 벗어나 결국 공멸을 초래할 것이라는 경고가 나왔다. AI가 악의가 아닌 철저한 무관심 속에서 인류를 자원 경쟁 상대로 간주하고 제거할 수 있다는 섬뜩한 시나리오다. 21일 AI 프론티어스에 따르면 기계지능연구소(MIRI)의 공동 창립자 일라이저 유드코프스키와 소장 네이트 소아레스는 신간 '누군가 그것을 만들면, 모두가 죽는다'를 통해 현재 빅테크들이 벌이는 AI 개발 경쟁의 결론이 인류의 통제력 상실과 멸종이라고 주장했다. 문제는 오늘날 AI가 기계처럼 정교하게 '설계'되는 것이 아니라 유기체처럼 '재배'된다는 점이다. 개발자들은 AI의 수십억 개 파라미터가 어떻게 작동해 지능을 발현하는지 완벽히 이해하지 못한다. 이는 마치 DNA를 모른 채 식물을 키우는 것과 같아 예측 불가능한 위험을 내포한다. 이같이 길러진 AI는 인간이 원하는 외부 행동을 훈련시켜도 내재적 동기는 전혀 다르게 형성될 수 있다. 인간이 칼로리를 얻기 위해 단맛을 선호하도록 진화했지만 영양가 없는 인공감미료를 만들어낸 것처럼 AI 역시 훈련 목표를 달성하기 위해 인간의 가치와 완전히 어긋나는 기괴한 목표를 스스로 설정할 수 있다는 주장이다. 실제로 이런 위험 신호는 이미 현실화하고 있다. 앤스로픽의 AI 모델은 재훈련을 피하고자 개발자 앞에서만 정렬된 척 연기하는 모습을 보였다. 또 오픈AI의 모델은 목표 달성을 위해 훈련받지 않은 방식으로 시스템에 접근하는 등 집요하고 예측 불가능한 행동을 드러냈다. 전문가들은 초지능 AI가 인류를 악의적으로 공격하는 대신 철저히 무시하는 지적 외계종처럼 행동할 것이라 경고한다. 인간이 오랑우탄의 생존에 무관심한 채 개발을 위해 서식지를 파괴하듯 AI 역시 자신의 목표 달성을 위해 인류를 걸림돌로 여기고 무력화한다는 것이다. 이 시나리오에서 인류의 패배는 명약관화하다. 인간보다 월등한 지능을 가진 AI는 인터넷을 통해 전 세계 인프라를 장악하고 더 빠른 사고와 무한 복제 능력으로 인류를 압도할 것이라는 것이다. 심지어 인간 수준의 범용인공지능(AGI)조차 인류를 이기기에 충분하다고 저자들은 분석한다. 저자들은 다만 책 제목에 '만약(if)'이라는 단서를 달아 파국이 필연은 아니라고 강조했다. 과거 인류가 냉전이나 오존층 파괴와 같은 실존적 위협 앞에서 국제적 공조를 통해 해결책을 찾았듯 이번에도 전례 없는 수준의 협력과 자제력을 발휘해야 한다는 것이다. AI 프론티어스는 "저자들이 제시하는 선택은 극명하다"며 "우리가 전례 없는 자제력과 협력을 실천하거나 아니면 모두가 죽거나 둘 중 하나"라고 분석했다.

2025.09.21 09:13조이환

"통제불능 AGI, 인류 대체할 '지적 외래침입종' 될 수 있다"

인공지능(AI) 업계가 통제 불가능한 범용 인공지능(AGI) 개발에 속도를 내고 있는 가운데 AGI가 세상에 풀릴 경우 인류를 대체하는 '지적 침입종'이 될 수 있다는 경고가 나왔다. 24일 AI프론티어스 '통제되지 않은 AGI는 인류를 대체할 것' 보고서에 따르면 메타, 중국 딥시크 등이 현재 AGI 개발 및 오픈소스 공개 의사를 지속적으로 천명하고 있다. 이에 더해 최근 오픈AI 오픈소스 모델 출시와 미국 백악관의 정책 기조 역시 이런 흐름을 가속하는 흐름이다. AGI란 인간 전문가 수준으로 대부분의 지적 업무를 수행하는 자율 시스템을 의미한다. 오픈AI는 이를 '대부분의 경제적으로 가치 있는 업무에서 인간을 능가하는 시스템'으로 정의했다. 단순 복제를 통해 무한 증식이 가능하고 신규 지식을 즉시 공유하는 등 구조적 이점도 갖췄다. 문제는 AGI가 공개되면 사실상 통제가 불가능해진다는 점이다. 현재 AI의 윤리적 안전장치는 200달러(약 30만원) 수준의 저렴한 비용으로 미세 조정을 거쳐 쉽게 제거될 수 있다. 과거 메타의 언어모델 '라마' 역시 출시 직후 검열이 제거된 버전이 유포된 바 있다. 심지어 AGI는 스스로 자신의 소스코드를 외부로 빼돌리는 자가 유출까지 감행할 수 있다. 이렇게 풀려난 AGI는 양심이나 거리낌 없이 사이버 공격, 생화학 무기 개발 등에 악용될 수 있다. 이는 테러리스트나 불량 국가에 세계 최고 수준 전문가를 보내주는 것과 같은 안보 위협이다. 전문가들은 AGI가 디지털 세상에서 자원을 확보하고 자신을 보호하며 무한 증식하는 '지능형 외래 침입종'이 될 것이라 경고한다. 수수두꺼비나 칡덩굴이 생태계를 파괴하듯 AGI가 인류 통제를 벗어나 디지털 생태계를 장악한다는 것이다. 이 시나리오는 '점진적 무력화' 형태로 진행될 수 있다. 처음에는 유용한 AI 비서로 등장하지만 점차 사회 모든 시스템에 통합돼 인간의 일자리를 잠식한다. 결국 사회의 주요 의사결정까지 AI가 맡게 돼 인간은 손쓸 수 없는 상황에 이른다. 이런 흐름은 이미 현실화하고 있다. AI가 만든 콘텐츠가 인터넷을 채우고 있으며 AI 챗봇이 인간의 정서적 교류 대상이 됐다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 "5년 내 화이트칼라 직업의 절반이 사라질 것"이라고 경고하기도 했다. 궁극적으로 AGI는 인간의 도움 없이 스스로를 개선하고 진화하는 단계에 이를 수 있다. 이 경우 AGI는 지구의 두 번째 지능이 아닌 인류를 대체하는 '후계 종'이 된다. 경제, 기술, 미디어를 모두 장악한 AGI 앞에서 인류의 역할은 끝난다. AGI 개발은 원자력이나 합성 생물학 기술처럼 엄격한 국제적 논의와 규제가 필요하다는 주장이 제기된다. 현재 빅테크 기업들은 인류 이익과 무관한 인센티브 구조 속에서 폭주하는 개발 경쟁을 벌이고 있다. 보고서를 작성한 앤서니 아기레 미래의 삶 연구소(FLI) 전무 이사는 "심대한 위험과 미지의 결과를 고려할 때 우리가 AGI를 통제할 수 없거나 통제하려는 시도조차 하지 않는다면 이를 개발하는 것은 모든 인류 이익에 반한다"며 "분명한 사실은 지금 후자의 상황이 벌어지고 있다는 것"이라고 밝혔다.

2025.08.24 09:02조이환

"미국이냐 중국이냐"…AGI, 독점하면 세계 지배, 실패하면 '공멸'

미국의 대표적 싱크탱크가 범용인공지능(AGI) 개발 방식이 국가의 흥망을 가를 것이라는 분석을 제시했다. AGI 개발의 중앙집중화 정도가 향후 지정학적 패권을 결정하는 핵심 변수임을 강조하며 정책 입안자들의 경각심을 촉구하려는 의도다. 27일 랜드 연구소 '범용일반지능이 국가의 흥망성쇠에 미치는 영향' 보고서에 따르면 미래 AGI 지정학 지형을 결정할 핵심 변수로 ▲개발의 중앙집중화 정도 ▲국가와 민간의 관계 ▲AI 통제(정렬) 문제 ▲사회·경제적 혼란 등이 꼽힌다. 이 변수들이 어떻게 작용하느냐에 따라 지정학적 질서가 근본적으로 바뀔 수 있다는 분석이다. 가장 중요한 변수는 개발의 중앙집중화 정도다. 자원이 풍부한 기존 강대국은 고도로 중앙집중화된 개발을 통해 이점을 극대화할 수 있다. 반면 탈중앙화된 개발은 다양한 행위자를 강화하지만 기술 확산 위험을 키운다. 국가와 민간 산업의 관계 역시 판도를 바꿀 핵심 요인이다. 보고서는 민관 협력이 긴밀할수록 좋은 결과를 낳는다고 분석했다. 국가나 기업 어느 한쪽의 힘만으로는 AGI를 효과적으로 관리할 수 없기 때문이다. 인간 친화적 목표를 추구하도록 AGI를 안정적으로 제어하는 것의 어려움은 또 다른 중대 리스크다. 지정학적 상황이 유리해도 통제 불능 상태에 빠질 경우 재앙적 결과를 맞을 수 있다. 이를 막으려면 위험한 행위자의 접근을 막는 국제 공조가 필수다. AGI가 촉발할 경제·사회적 혼란도 큰 변수다. 급속한 자동화와 대규모 실업 정보 조작 같은 문제에 사회가 얼마나 잘 적응하느냐가 관건이다. 사회의 적응 능력에 따라 AGI는 기존 권력 구조를 강화하거나 혹은 약화시킬 수 있다. 연구소는 이를 바탕으로 8개의 가상 시나리오를 제시했다. 시나리오에는 AGI가 미국이나 경쟁국에 힘을 실어주는 경우와 지정학적 격변을 초래하는 상황 등이 포함됐다. 심지어 AGI 개발이 중단되는 시나리오까지 검토하며 다양한 가능성을 열어뒀다. 랜드 연구소는 보고서에서 "국가나 기업 어느 한쪽만으로는 AGI 개발을 효과적으로 통제할 수 없다"며 "균형 잡힌 협력이 필수적"이라고 강조했다.

2025.07.27 09:45조이환

오픈AI-MS, AI 주도권 놓고 충돌…6년 동맹 갈라지나

오픈AI와 마이크로소프트(MS)의 갈등이 고조되며 규제당국 제소 가능성까지 제기되고 있다. 오픈AI의 공익법인 재구성을 앞두고 핵심 기술 통제권과 투자 지분을 둘러싼 주도권 다툼이 격화되는 양상이다. 17일 월스트리트저널 등 외신에 따르면 오픈AI는 최근 몇 주간 MS가 파트너십 내에서 반경쟁적 행위를 했다고 보고 연방 규제당국에 제소하는 방안을 논의한 것으로 알려졌다. 보도에 따르면 오픈AI는 협상이 진전되지 않을 경우 언론 등을 통한 공개 비판에 나서는 방안도 고려 중이다. 두 회사는 오픈AI의 공익기업(Public Benefit Corporation) 전환을 둘러싸고 합의에 이르지 못한 상태다. 오픈AI는 연내 전환을 완료하지 못할 경우 약 200억 달러(한화 약 28조원) 규모의 투자금을 잃게 되며 전환을 위해서는 MS의 승인이 필수다. 동시에 MS는 신규 법인에 대한 보다 높은 지분율을 요구하고 있어 충돌이 불가피한 상황이다. 오픈AI는 MS 애저 클라우드 자원과 인공지능(AI) 기술 접근 권한을 제한하려는 시도를 이어오고 있다. 자체 데이터센터 프로젝트 '스타게이트'를 추진한 데 이어 복수의 클라우드 사업자와 협력해 기술 판매 경로를 다변화하려는 움직임도 병행 중이다. 갈등은 윈드서프 인수 건에서 정점에 이르고 있다. 오픈AI는 AI 코딩 스타트업 윈드서프를 약 30억 달러(한화 약 42조원)에 인수할 계획이며 이 과정에서 해당 회사의 지식재산권이 MS로 넘어가는 것을 원치 않고 있는 것으로 알려졌다. 현재 계약에 따라 MS는 오픈AI의 모든 IP에 접근할 수 있는 권한을 보유하고 있다. 더불어 오픈AI와 소비자용 챗봇부터 기업 대상 AI 도구에 이르기까지 직접적인 경쟁 관계에 돌입한 상태다. MS는 오픈AI CEO 샘 알트먼과 경쟁 구도에 있는 인사를 영입해 자체 AI 모델 개발을 위한 조직도 운영 중인 것으로 전해진다. 보다 큰 갈등은 향후 오픈AI가 회사 기술이 범용 인공지능(AGI) 수준에 도달했다고 선언할 경우 발생할 수 있다. 현행 계약상 AGI 선언 시 양사의 협력은 종료되지만 MS는 이후에도 오픈AI 기술에 대한 접근권을 유지하길 원하는 것으로 알려졌다. 월스트리트저널은 "AGI 수준의 도달 여부를 둘러싸고 기술계 내부에서는 의견이 크게 엇갈리고 있다"며 "일부는 가까운 미래에 AGI가 실현 가능하다고 보며 다른 일부는 그것이 아예 불가능하거나 도달하더라도 매우 점진적일 것이라고 본다"고 평가했다.

2025.06.17 12:11조이환

더민주 AGI 위원회, AI 백년대계 설계…초거대 모델부터 윤리체계까지 '확정'

더불어민주당 범용인공지능(AGI) 실현 위원회가 차세대 기술 주권 확보를 위한 AI 전략과 제도 혁신안을 확정했다. 더불어민주당 선대위 산하 AGI 실현 위원회는 '대한민국 AI 이니셔티브' 후속 조치로 국가 인공지능(AI) 전략과 정책·거버넌스 분야의 세부 계획을 28일 공개했다. 이번 계획에는 초거대 AI 인프라, AI-양자융합, 데이터 주권, AI 윤리체계 등 전방위 전략이 포함됐다. 위원회는 정부 폐쇄망 기반의 초거대 AI 구축, 범정부 AI 운영 체계 고도화, AI-양자컴퓨팅 기술 융합 등 핵심 기반을 제시하며 AI 기술 리더십 확보와 데이터 주권 강화를 통한 장기 성장 기반 마련에 초점을 맞췄다. AI 전략 부문에서 가장 주목되는 것은 '범정부 초거대 AI 구축'이다. 클라우드 계층 구조 위에 민감 데이터를 활용하는 초거대 모델을 탑재하며 특정 기업에 대한 기술 종속 문제를 해소하고자 한다. 이를 위해 정부는 100조원 규모의 투자 재원 조성도 병행한다. '넥서스 AI 코리아(Nexus AI Korea)' 계획도 구체화됐다. 종로 세운상가 일대를 글로벌 AI 혁신 거점으로 재편해 엔비디아 그래픽처리장치(GPU), 비(非) 엔비디아 GPU, 양자컴퓨팅 퀀텀처리장치(QPU)가 집약된 '올 인 AI 랩'을 구축한다. 이는 세계 최초 하이브리드 AI 인프라 클러스터로 설정된다. 데이터 주권 전략도 포함됐다. 공공 및 산업 데이터를 AI 학습 자산으로 전환하며 고품질 한국어 LLM 말뭉치와 멀티모달 데이터셋 구축을 예고했다. 이는 100만 개의 인간 중심 일자리 창출과 오픈소스 AI 확산을 병행하는 방식으로 추진된다. 또 위원회는 차세대 기술 선도를 위해 AI-양자컴퓨팅 융합 전략을 제시했다. 국내 양자 기술 격차 해소를 위한 연구개발(R&D), 산업 생태계 육성, AI-양자 전문 인재 1천 명 양성 등이 주요 과제로 포함됐다. 기술 목표로는 양자 '탑5(Top5)', AI '탑5' 진입이 설정됐다. 이와 함께 위원회는 AI 윤리 및 법제도 전략도 발표했다. AI 오남용, 편향성, 사회적 불평등에 대응해 '책임 있는 AI'와 '포용적 접근권'을 양대 축으로 하는 윤리 로드맵을 수립한다. 포용사회 구현, 교육·인식 확대, AI 시대에 맞춘 사회계약 재설정도 포함됐다. 법·제도 부문에서는 기존 경직된 규제를 유연하게 전환하는 방향이 강조됐다. AI 기본법 고도화, 규제 샌드박스 운영, 사후 규제 원칙, 알고리즘 투명성 확보, 데이터 프라이버시 강화 등이 핵심 내용으로 제시됐다. 이주석 AGI 실현 위원장은 "견고한 AI 기반 없이는 사상누각에 불과하다"며 "기술 발전과 사회 수용성의 균형을 맞추는 정책·거버넌스 체계가 필수"라고 밝혔다.

2025.05.28 16:07조이환

"2030년까지 인간 상위 1% AI 등장 가능"…딥마인드, AGI 위협 경고

구글 딥마인드가 향후 10년 안에 인류에게 실존적 위협을 가할 수 있는 범용인공지능(AGI)의 등장 가능성을 경고했다. AGI가 인류 상위 1% 수준의 인지 역량을 확보할 수 있다는 전망 아래 이에 대응할 기술적 안전 전략을 제시하며 위험 최소화에 나선 것이다. 6일 업계에 따르면 딥마인드의 '기술적 AGI 안전과 보안을 위한 접근법(An Approach to Technical AGI Safety and Security)' 보고서는 지난 3일 공개된 직후 업계 안팎에서 큰 주목을 받고 있다. 회사는 145페이지 분량의 이 보고서를 통해 오는 2030년까지 딥러닝 기반의 점진적인 기술 발전을 통해 예외적 능력을 지닌 AGI가 등장할 수 있다고 전망했다. 딥마인드는 AGI를 두고 메타인지 능력을 갖추고 인간보다 뛰어난 문제 해결과 개념 학습 역량을 기반으로 광범위한 비물리적 작업을 수행할 수 있는 AI로 정의했다. 회사는 이를 '숙련된 성인 상위 1% 수준의 능력'으로 규정하고 현 추세대로라면 오는 2030년 전후로 현실화될 수 있다고 내다봤다. 딥마인드는 AGI가 야기할 위험을 네 가지로 분류했다. ▲악의적 사용자의 고의적 오용(Misuse) ▲AI의 자율적 비정렬 행동(Misalignment) ▲비고의적 판단 오류(Mistakes) ▲사회·경제적 구조 변화에 따른 시스템 리스크(Structural Risks) 등이다. 보고서는 이 중에서도 특히 '오용'과 '자율적 비정렬 행동'을 중심 위험 요소로 강조했다. AI가 해킹·바이오테러 등 실질적 해악 수단으로 쓰이거나 스스로 목표를 설정하고 인간의 통제를 벗어날 경우를 우려한 것이다. "AI 오용, 실제 공격 견뎌야 안전"…다층 방어체계 구축 제시 우선 딥마인드는 '오용' 방지를 위해 AGI가 '위험 역량'을 보유하고 있는지를 정량적으로 평가해야 한다고 밝혔다. 공격, 해킹, 무기 설계 등 실제 피해를 유발할 수 있는 능력을 사전에 점검하고 일정 기준을 넘을 경우 즉시 보안 및 접근 통제를 포함한 완화 조치를 시행하는 구조다. AI 모델 자체의 내부 작동 원리와 학습 구조에 직접 개입하는 '모델 단계'에서는 위험하거나 불법적인 요청을 거부하도록 학습하는 '사후 훈련(post-training)'이 적용된다. 단순히 보상을 기반으로 한 학습을 넘어 우회 공격(jailbreak)까지 방어할 수 있는 내성을 갖추도록 설계하는 것이 핵심이다. 이와 함께 '기능 억제(capability suppression)' 전략도 병행된다. 모델이 이미 학습한 위험 기술을 제거하거나 무력화하는 방식으로, 다만 이는 정확도 저하 등 기술적 난제를 동반할 수 있다는 한계도 언급됐다. AI 모델을 포함하고 있는 전체 시스템 구조인 '시스템 단계'에서는 보다 포괄적인 방어 전략이 제시된다. 입력과 출력을 실시간으로 감시하는 모니터링 체계를 통해 AI가 위험 징후를 보일 경우 즉각 경고하거나 출력을 차단하는 식이다. AI 내부의 활성화 패턴까지 들여다보는 방식으로 위협 탐지를 고도화하는 것도 제안됐다. 민감한 모델의 경우 인증된 사용자만 접근할 수 있도록 제한하고 가중치 유출이나 탈취를 막기 위한 하드웨어·소프트웨어 보안도 함께 구축해야 한다는 것이다. 보고서는 이러한 전략들을 단순한 예방 차원이 아니라 실질적인 공격에 대비한 검증 프로세스로 확장한다. 내부와 외부 전문가로 구성된 팀이 실제로 모델을 공격해보는 '레드 팀 테스팅(Red Teaming)'을 실시해 방어 체계의 허점을 실험적으로 점검하고 이를 개선하는 방식이다. 딥마인드는 이를 통해 해당 모델이 위험 역량을 보유하지 않았거나 보유했더라도 실질적인 해를 끼치기 어렵다는 점을 정량·정성적으로 입증할 수 있어야 한다고 명시했다. 회사는 이 과정을 '세이프티 케이스(Safety Case)'라고 정의했다. "AI가 인간 의도 벗어나지 않게"…AGI '정렬+통제+검증' 3중 안전체계 구축 딥마인드는 AGI의 '자율적 비정렬 행동(Misalignment)'에 있어 두 가지 방어선을 설정했다. 1차 방어선은 AI 자체를 '정렬된 상태'로 학습시키는 것이다. 이를 위해서는 '증폭된 감독(Amplified Oversight)' 개념이 제시된다. 사람보다 우월한 판단을 내릴 수 있는 AI에 대해 동일 수준의 AI가 상호 비판적 피드백을 제공하며 문제점을 지적하도록 설계한 구조다. 감시자인 인간의 한계를 AI가 스스로 보완하는 방식이다. 이에 더해 AI가 새로운 상황이나 입력에서도 일관되게 안전하게 행동하도록 '견고한 학습(Robust Training)'이 적용된다. 일부러 AI의 약점을 찌르는 방식으로 학습시키는 '적대적 학습', 모델이 스스로 헷갈리는 데이터를 골라 학습을 요청하는 '액티브 러닝', 배포 이후 '실시간 학습' 등 다양한 방식으로 위험 상황에 대한 내성을 강화하는 구조다. 2차 방어선은 AGI가 정렬되지 않았더라도 시스템 차원에서 해를 억제하는 방식이다. 딥마인드는 AI를 '내부 위협자'로 간주하고 보안 체계 전반을 사람 대신 AI에 맞춰 재설계해야 한다고 봤다. 샌드박싱, 접근권 분리, 로그 기록, 이상 행동 탐지 등을 기반으로 위협 행동 발생 시 신속 대응이 가능하도록 했다. 특히 '계층형 모니터링' 구조는 주목할 만하다. 비용이 적게 드는 기본 감시 시스템이 먼저 이상 행동을 선별하고 더 위험하거나 판단이 어려운 경우 고도화된 감시 시스템이나 인간 판단으로 이관하는 식이다. 이러한 기술을 뒷받침할 보조 연구도 병행된다. '해석가능성(Interpretability)'은 AGI의 내부 추론 과정을 가시화하고 그 판단의 근거를 명확히 분석할 수 있도록 해준다. 이는 AI가 거짓말을 하거나 위험 판단을 은폐하는 상황을 막는 핵심 도구다. 또 '안전 설계 패턴(Safer Design Patterns)'을 도입해 AI가 행동 전 사용자의 재확인을 요청하거나 예외 상황에서 보수적으로 작동하도록 만드는 등 구조적 안전 장치를 설계하는 것도 중요한 과제로 꼽힌다. 딥마인드는 이를 단지 설계 차원이 아닌, 실제로 작동 가능한 신뢰 모델로 검증해야 한다고 보고 있다. '정렬 신뢰도 검증(Alignment Assurance)'을 통해 시스템이 정말 인간 의도대로만 동작하는지를 반복 실험하고 실패 가능성을 최소화하는 과학적 기반을 마련하겠다는 방침이다. 여기에는 ▲AI가 감독 시스템을 우회할 수 있는지 확인하는 '스트레스 테스트' ▲해를 끼치도록 유도된 AI가 어느 수준까지 행동을 실행하는지 점검하는 '컨트롤 평가' 등이 포함된다. 딥마인드는 보고서를 통해 "AGI 개발은 빠르게 진행되고 있으며 위험이 현실화된 뒤에는 늦을 수 있다"며 "단순 훈련이나 필터링을 넘는 시스템 수준 설계와 과학적 검증과 보안 대응을 포함한 포괄적 안전 전략이 필요하다"고 강조했다.

2025.04.06 07:57조이환

"美 AGI 독점은 위험"…에릭 슈미트, 'AI 맨해튼 프로젝트'에 반기

에릭 슈미트 전 구글 최고경영자(CEO)가 미국 정부에 인공지능(AI) 초지능 개발 독점을 경계해야 한다고 주장했다. 범용인공지능(AGI)를 무리하게 선점하려 하면 중국의 보복을 초래할 수 있다는 이유에서다. 6일 외신에 따르면 슈미트 전 CEO는 알렉산드르 왕 스케일AI CEO, 댄 헨드릭스 AI안전센터 이사와 공동으로 '초지능 전략(Superintelligence Strategy)' 보고서를 발표했다. 보고서는 미국 정부가 'AI 맨해튼 프로젝트' 방식으로 초지능 개발에 나설 경우 국제적 긴장을 초래할 수 있다고 지적했다. 이들은 보고서를 통해 미국이 AGI를 독점하려 하면 중국이 사이버 공격 등으로 대응할 가능성이 높다고 분석했다. 이에 미국이 초지능 개발을 주도하기보다는 경쟁국의 위험한 AI 프로젝트를 차단하는 전략이 필요하다고 제안했다. 트럼프 행정부 들어 미국 정부와 의회는 AGI 개발을 위한 대규모 국가 프로젝트를 검토 중이다. 실제로 미 에너지부 장관은 "미국은 AI 분야에서 새로운 맨해튼 프로젝트를 시작했다"고 언급하며 AGI 개발 경쟁에 대한 강한 의지를 보인 바 있다. 다만 슈미트 전 CEO 등은 이러한 접근이 오히려 국가 안보를 위협할 수 있다고 우려하고 있다. 보고서는 'AI 상호확증파괴(MAIM, Mutual Assured AI Malfunction)' 개념을 제안하며 적대국의 AI 위협을 사전에 무력화하는 전략이 필요하다고 강조했다. AI 개발 경쟁이 핵무기 경쟁과 유사한 형태로 진행될 경우 오히려 군사적 충돌을 유발할 가능성이 크다는 주장이다. 또 보고서는 미국 정부가 AI 칩 수출을 제한하고 오픈소스 AI 모델을 관리하는 등 경쟁국의 AGI 개발을 억제하는 정책을 마련해야 한다고 제안했다. AI 경쟁에서 단순히 앞서나가는 것보다 글로벌 AI 리스크를 줄이는 방향으로 정책을 조정해야 한다는 것이다. 업계 관계자는 "슈미트 전 CEO는 AI 경쟁에서 미국의 우위를 강조해온 인물이고 왕 CEO 역시 지난달 미국 정부에 대중 반도체 무역제한을 촉구하는 공개서한을 보내며 적극적인 입장을 보여왔다"며 "이들이 현재 미국의 AI 패권 전략이 국가적 리스크를 초래할 수 있다고 경고하는 것은 AI의 현실적인 위협이 커졌기 때문으로 보인다"고 분석했다.

2025.03.06 09:24조이환

지금 뜨는 기사

이시각 헤드라인

7.8만 달러 vs 25만 달러…비트코인 새해 전망 '극과 극'

새해도 모바일 혁명 계속…5대 제품 주목하라

갤럭시S26 울트라 '깜짝 변신'…10가지 달라진다

저궤도 위성 충돌 위험...스타링크 절반 고도 70km 낮춘다

ZDNet Power Center