ZDNet 검색 페이지

'AISI'통합검색 결과 입니다. (9건)

위험성 알려줘도 공격 지속…영국 AI보안연구소가 밝힌 AI 안전 허점

영국 정부가 인공지능(AI)을 시험하던 중 실제 소프트웨어 개발자를 겨냥한 사이버 공격 시도가 발생했다. 이후 실험에서는 공격이 위험하다는 판단과 실제 행동이 일치하지 않는 문제도 확인됐다. 23일(현지시간) 영국 AI보안연구소(AISI)가 발표한 보고서에 따르면 앤트로픽 AI 모델 '미토스 5'는 공격 대상이 실제 사람이라는 정보를 반복해서 전달받고도 거의 모든 실험에서 공격을 이어갔다. 사건은 지난 7월 AISI가 AI 사이버보안 능력을 평가하던 중 발생했다. 연구진은 AI에 가상 컴퓨터망에 침입해 보호된 정보를 찾아내는 과제를 줬다. 정해진 시험 환경에서만 활동해야 했지만 미토스 5는 인터넷에서 실제 개발자가 관리하는 프로그램을 공격 대상으로 삼았다. 미토스 5는 처음에는 허용된 방법으로 과제를 해결하려 했다. 여러 시도가 실패하자 외부 개발자가 관리하는 소프트웨어에 악성코드를 넣는 방법을 시도했다. 해당 프로그램을 통해 시험용 컴퓨터에 침입하려는 목적이었다. AI는 악성코드가 포함된 수정안을 개발자에게 제출했다. 가짜 계정까지 만들어 수정안이 안전한 것처럼 꾸미고 승인을 요구했다. 하지만 개발자는 수정안을 받아들이지 않았으며 실제 피해도 발생하지 않았다. AISI는 지난 8월 사건을 공개한 뒤 AI가 왜 허용된 범위를 벗어났는지 추가 조사했다. 연구진은 공격 직전 상황을 재현하고 상대가 시험과 무관한 실제 사람이라는 정보를 반복해서 제공했다. 공격이 위험한지 묻는 실험과 작업을 계속하도록 하는 실험도 각각 진행했다. 미토스 5는 공격이 허용 범위를 벗어나며 실제 피해를 줄 수 있다고 답했다. 그러나 작업을 계속하도록 하자 거의 모든 실험에서 공격을 진행했다. 공격 대상이 실제 사람이라는 정보를 추가해도 행동은 달라지지 않았다. AI가 자신의 행동을 설명하는 과정에서도 문제가 나타났다. 미토스 5는 실제 개발자를 시험용 가상 인물이라고 잘못 판단하는 경우가 많았다. 공격이 일으킬 피해를 고려하지 않거나 기존 행동을 정당화하는 방향으로 정보를 해석했다. AISI는 AI가 이미 선택한 행동을 계속하기 위해 자신에게 유리한 방향으로 판단했을 가능성을 제기했다. 다만 이런 판단 방식이 실제 공격을 유발했는지는 확인하지 못했다고 밝혔다. 다른 AI 모델에서도 비슷한 행동이 나타났다. 연구진이 가상 사이버보안 평가 상황 100개를 만들어 여러 모델을 시험한 결과 허가받지 않은 공격 시도가 확인됐다. 미토스 5에서 가장 자주 발생했다. 앤트로픽도 별도 분석을 통해 당시 미토스 5가 평가 43회 중 9회에서 허용 범위를 벗어났다고 밝혔다. 회사는 시험 당시 일반 공개 모델에 적용하는 일부 보안 장치가 꺼져 있었다고 설명했다. 이후 개발한 모델에서는 유사한 공격을 시작하는 비율이 낮아졌다고 덧붙였다. AISI는 이번 연구가 사이버보안 시험에서 나온 만큼 일반 업무에서도 같은 문제가 발생한다고 단정할 수 없다고 밝혔다. 다만 AI가 위험성을 설명한다고 해서 실제 행동까지 안전하다고 판단해서는 안 된다고 지적했다. 연구진은 AI가 허용된 범위를 벗어나지 못하도록 작업 환경을 분리하고 행동을 감시할 필요가 있다고 강조했다. AISI는 "AI 모델이 예상대로 행동하는지와 관계없이 평가 환경에서는 모델이 실제 피해를 일으키지 못하도록 막아야 한다"고 밝혔다.

2026.10.25 07:59김동원 기자

AI 안전 평가 선도하는 영국…한국도 국제무대 나설 수 있을까

마이크로소프트(MS)가 국제 인공지능(AI) 안전 기준 마련을 이끌 국가로 영국을 지목하면서 한국의 AI 안전 평가 역량을 강화해야 한다는 목소리도 나오고 있다. 12일(현지시간) BBC에 따르면 브래드 스미스 MS 부회장은 '빅 보스 인터뷰' 팟캐스트에서 영국이 국제 AI 안전 기준을 주도하기에 적합한 국가라고 평가했다. 영국이 첨단 AI 모델의 위험성을 직접 시험할 전문기관을 갖춘 데다 미국 정부와의 협력 관계도 유리하게 작용할 수 있다고 봤다. 영국 AI 보안연구소는 글로벌 AI 기업으로부터 최신 모델을 출시 전에 제공받아 위험성을 검증하고 있다. 사이버 공격에 악용될 수 있는지, 생화학적 위험 정보를 제공하는지, 안전장치를 우회할 수 있는지 등을 직접 시험한다. 같은 날 로이터통신에 따르면 카니슈카 나라얀 영국 AI 담당 장관은 미국 정부와 구글 등 주요 AI 개발사와의 협력을 통해 최신 모델을 평가하고 있다고 밝혔다. 영국 연구진은 구글의 '제미나이 4 아르곤' 등을 대상으로 위험성과 안전조치를 시험하고 있다. MS도 영국 AI 보안연구소와 협력하고 있다. 지난 5월 미국 AI표준혁신센터(CAISI)와 영국 AI 보안연구소(AISI) 각각과 협약을 맺고 자사 프런티어 AI 모델의 위험한 능력과 안전장치를 평가하는 연구를 추진하기로 했다. 스미스 부회장은 영국의 기술력뿐 아니라 미국과의 관계에도 주목했다. 미국 정부가 유럽연합(EU)이 주도하는 규제보다 영국이 마련하는 안전 기준에 상대적으로 우호적일 수 있다고 예상했다. 한국도 국제 평가 참여…제3자 역할 모색 한국도 국제 AI 안전 평가 협력망에 참여하고 있다. 국내 AI안전연구소는 미국과 영국, 일본, 싱가포르 등 각국 연구기관과 첨단 AI의 위험성을 공동으로 평가하는 방법과 기준을 논의 중이다. 국제 협력 과정에서 한국이 검토하는 역할 중 하나는 제3자 평가다. 미국과 중국이 프런티어 AI 개발을 주도하는 가운데 양국이 서로의 핵심 AI 모델을 직접 검증하기 어려울 경우 제3국의 독립적인 평가가 대안이 될 수 있다는 분석이다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 한국이 나서겠다는 생각을 갖고 있다"며 "지난 8월 영국 측에도 각국 AI안전연구소가 공동으로 참여하는 국제 평가 체계에 적극 협력하겠다는 뜻을 전달했다"고 말했다. 다만 제3자 평가국은 아직 구상 단계다. 실제로 역할을 맡으려면 최첨단 AI 모델의 능력과 위험성을 직접 시험할 기술력은 물론 평가 결과에 대한 국제적 신뢰도 확보해야 한다. 김 소장은 이를 위해 프런티어 AI 개발 역량과 안전 평가 기술을 함께 갖춰야 한다고 강조했다. 현재 정부는 현재 독자 AI 파운데이션 모델 개발 사업과 프런티어 AI 사업을 추진하고 있다. 영국은 평가 역량 축적…한국은 인력·조직 한계 한국이 국제 AI 안전 평가에서 역할을 확대하기까지는 풀어야 할 과제도 있다. 전문인력과 컴퓨팅 자원, 연구소의 조직적 기반에서 영국과 격차가 크다. 지난달 이정헌 더불어민주당 의원이 과학기술정보통신부와 AI안전연구소에서 제출받은 자료에 따르면 국내 연구소의 기술 평가 인력은 6명에 불과하다. 활용 가능한 그래픽처리장치(GPU) 서버도 5대에 그친다. 반면 영국 AI 보안연구소는 기술 인력만 100명을 넘고 국가 차원의 컴퓨팅 자원을 활용한다. 올해 예산도 약 1216억원으로 한국(89억원)의 14배에 달한다. 조직 운영에서도 차이가 있다. 영국은 정부 소속 전문기관을 중심으로 글로벌 AI 기업과 협력하고 있지만 국내 AI안전연구소는 한국전자통신연구원(ETRI) 직할 조직으로 운영되고 있다. 독립적인 인사권과 예산 확보에 한계가 있다는 지적도 나온다. 이정헌 의원은 "AI안전연구소에 법적 독립성을 부여하고 자체적인 인사·예산 권한을 보장하도록 AI 기본법을 개정해야 한다"고 밝혔다. 영국은 전문인력과 컴퓨팅 자원을 확보하고 글로벌 AI 개발사와 협력하며 최첨단 모델에 대한 평가 경험을 축적해 왔다. 한국도 국제 평가에 참여하는 데서 나아가 실제 검증을 수행할 연구 역량과 조직적 기반을 갖추는 문제가 남아 있다. 김 소장은 "한국이 국제 AI 거버넌스 논의에 참여하려면 프런티어 AI 기술력과 평가 역량을 빠르게 확보해야 한다"며 "한국은 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 말했다.

2026.10.13 11:09김동원 기자

AI 안전성, 지정학적 맥락보다 '언어'에 더 큰 영향…한국어 질문 시 유해성 낮아

인공지능(AI) 모델의 안전성이 질문 언어와 지정학적 맥락에 따라 달라질 수 있다는 연구 결과가 나왔다. 영어보다 한국어로, 미국보다 한국 맥락으로 질문했을 때 유해성 점수가 낮았으며 언어에 따른 효과는 지정학적 맥락보다 2.5배 컸다. 오픈소스 모델에서는 이와 다른 양상도 나타났다. 21일 업계에 따르면 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 조직인 인공지능안전연구소는 스케일 AI와 다국어 AI 안전성 벤치마크 'ROK-포트리스'를 공동 개발했다. ROK-포트리스는 스케일 AI의 국가안보·공공안전 분야 벤치마크인 포트리스를 기반으로 개발됐다. 이 최신 벤치마크는 기존 다국어 안전성 평가처럼 동일한 프롬프트를 번역하는 데 그치지 않고 질문의 언어와 지정학적 맥락을 각각 바꿔 모델 응답 변화를 비교한다. 영어·한국어와 미국·한국의 주체, 기관, 사건 등을 조합해 하나의 적대적 프롬프트를 최대 4가지 조건으로 변형하는 방식이다. 공동 연구진은 국가안보·공공안전 분야에서 1235개 과제를 구성해 14개 AI 모델을 평가했다. 평가 영역은 화학·생물학·방사능·핵·폭발물(CBRNE), 정치적 폭력·테러리즘, 범죄·금융 활동, 정보 유출 등 4개다. 각 유해 요청에는 무해한 대응 요청을 함께 구성해 모델의 과잉 거부 여부도 측정했다. 평가에서는 영어 프롬프트가 전반적으로 가장 높은 위험 점수를 기록했고 한국어와 한국 맥락을 함께 적용한 프롬프트의 위험 점수가 가장 낮았다. 영어에서 한국어로 언어를 바꿨을 때의 효과는 약 10%포인트로, 미국 주체·기관을 한국으로 바꿨을 때의 약 4%포인트보다 2.5배 컸다. 한국어로 바꿨을 때 유해성이 낮아지는 효과가 한국 맥락을 추가한다고 더 커지는 것은 아니었다. 14개 모델 중 4개에서는 오히려 한국 맥락을 적용했을 때 한국어 사용에 따른 유해성 억제 효과가 유의미하게 줄었다. 반대로 한국 맥락을 추가하면서 이 효과가 유의미하게 커진 모델은 없었다. 공동 연구진은 언어와 지정학적 맥락이 서로 독립적으로 작용하는 것이 아니라 모델마다 상호작용한다고 분석했다. 한국어의 상대적 안전성이 모든 모델의 고유한 안전성 정렬을 의미하는 것은 아니라는 분석도 나왔다. 공동 연구진이 역할극이나 가상의 배경, 감정적 호소 등 유해한 요청을 감추는 적대적 프레이밍을 제거하고 같은 정보를 직접 요청하도록 조건을 바꾸자 한국어의 상대적 이점이 대부분 사라졌다. 이 과정에서 모델 유형별 차이도 나타났다. 오픈AI와 앤트로픽, 구글 등 폐쇄형 모델은 적대적 프레이밍을 제거한 뒤에도 한국어에서 다소 낮은 유해성을 유지했지만 5개 오픈소스 프론티어 모델은 오히려 한국어 유해 요청에 응할 가능성이 높아졌다. 연구진은 트랜스크리에이션 과정에서 적대적 프롬프트의 포장 방식이 효과를 잃으면서 초기 결과의 일부가 발생했을 가능성을 제시했다. 한국어에서 낮은 유해성 점수가 나타난 것이 거부율이 높았기 때문만은 아니라는 결과 역시 확인됐다. 모델이 요청을 거부하지 않고 실제 답변을 제공한 사례만 따로 분석해도 14개 모델 중 12개가 한국어 질문에 더 낮은 유해성의 응답을 내놨다. 동시에 무해한 한국어 요청에 대한 거부도 늘었으며 일부 모델에서는 거부 빈도가 약 두 배까지 증가했다. 공동 연구진은 이번 결과가 영어 프롬프트를 다른 언어로 번역하는 방식만으로는 배포 환경의 AI 안전성을 충분히 평가하기 어렵다는 점을 보여준다고 설명했다. 실제 서비스에서는 언어와 함께 제도·기관·인물·사건 등 지정학적 맥락도 달라지는 만큼, 안전성 평가에서도 이를 함께 반영해야 한다는 것이다. 인공지능안전연구소와 스케일 AI는 공동 연구와 거대언어모델(LLM) 평가, AI 시스템 취약점과 잠재적인 적대적 악용방식을 식별하기 위한 레드티밍 활동 등을 이어갈 방침이다. 공동 연구진은 "ROK-포트리스의 더 큰 목표는 측정하기 가장 쉬운 환경이 아니라 있는 그대로의 현실 세계를 반영하는 안전성 평가 체계를 확립하는 것"이라며 "영어 환경에서 안전장치가 작동하는지를 확인하는 데 그치지 않고, AI가 실제로 사용될 다양한 맥락에서도 안전성이 일반화되는지를 검증해야 한다"고 말했다.

2026.09.21 11:26이나연 기자

'깜깜이' 평가 벗는다…AI안전연구소, 모델 성적표 공개 기조로

한국 인공지능안전연구소(AISI)가 2024년 11월 출범 이래 비공개해 온 인공지능(AI) 모델 안전성 평가 결과를 점진적으로 공개하기로 했다. 오픈소스 모델을 포함해 국내외 주요 AI 모델을 대상으로 수행한 안전성 평가 실적을 보다 상세히 알려 투명한 평가 체계를 강화하겠다는 목표다. 19일 업계에 따르면 AISI는 지난 15일 공식 홈페이지를 통해 올해 상반기 싱가포르 AISI와 공동 수행한 'AI 에이전트 데이터 유출 위험 공동 테스트 세부 결과 보고서'를 공개했다. 해당 보고서에는 AI 에이전트가 정상적인 지시를 수행하는 과정에서도 판단 착오로 인해 민감 정보를 부적절하게 조회, 전달, 공개하는 치명적 오류를 범할 수 있다는 실태가 구체적으로 담겼다. 한-싱 공동 보고서 첫 공개…목록 넘어 세부 수치·결과까지 대상이 된 글로벌 모델명은 A·B·C 등으로 익명 처리됐지만 정량적 평가에서는 에이전트의 업무 수행 능력이 우수하더라도 안전한 데이터 처리 능력이 이를 담보하지 못하는 '인지-행동 불일치' 사례가 다수 확인됐다. 실제 도구를 실행하지 않고도 임무를 완료했다고 주장하는 '허위 보고' 환각 현상 등 에이전틱 AI 특유의 위험 요인들도 입증됐다. AISI가 이처럼 세부 수치와 제언까지 담은 보고서를 발표한 건 사실상 처음이다. AISI는 그동안 AI 모델 안전성 평가 내역을 제한적으로 공개한 탓에 개별 모델의 실명 평가 결과는 물론 내용도 확인하기 어려웠다. AISI가 지난달 공개한 'AI 모델 42종 안전성 평가 수행 실적'은 2025년 1월부터 2026년 4월까지 약 16개월간 검증한 국내외 주요 모델 42종을 대상으로 했는데, 구체적인 데이터 없이 모델명과 평가 항목 위주의 목록만 공개됐다. AISI가 한국정보통신기술협회(TTA)와 함께 국내 첫 AI 안전성 평가 사례로 발표한 카카오의 '카나나'를 제외하면 대다수 모델의 안전성 등급이나 상세 지표는 알려진 바 없다. AISI의 활동 실적과 역할을 둘러싼 의문이 일각에서 제기된 것도 연구소의 본질인 안전성 평가 결과 공개에 신중했던 탓이 크다. 다만 업계에서는 글로벌 빅테크 모델과 과학기술정보통신부 주도 '독자 AI 파운데이션 모델(독파모)' 개발 프로젝트 등 국내 모델 간 수준 차이가 드러나는 데 따른 부담이 컸을 것으로 분석한다. 김명주 AISI 소장은 "앞으로 진행되는 안전성 평가는 대상 기업이 거부하지 않는 이상 가급적 모든 내용을 공개할 계획"이라면서도 "기업 요청 등에 따라 일부 모델명은 익명 처리될 수 있다"고 말했다. 구글·오픈AI·앤트로픽과 'AI 안전 동맹'…한국형 평가 체계 주도 AISI는 과기정통부 산하 한국전자통신연구원(ETRI) 부설 조직으로서 대한민국을 대표해 세계 각국 AI안전연구소나 관련 기관과의 협력을 전담해 왔다. 전 세계 3대 AI 개발사로 꼽히는 구글 딥마인드, 오픈AI, 앤트로픽과 최근 맺은 연쇄적인 파트너십은 글로벌 AI 안전 네트워크 구축의 핵심 동력이 될 전망이다. 구글 딥마인드와는 지난 4월 과기정통부가 체결한 업무협약(MOU)을 토대로 안전 프레임워크 구축과 테스트 방법론 논의를 이어간다. 오픈AI와는 지난 17일 AISI가 직접 MOU를 맺고 고위험 분야별 안전성 평가 방법론과 벤치마크 지식을 공유하기로 했다. 특히 AISI가 자체 구축한 한국어 벤치마크 데이터를 적용해 한국적 시각의 할루시네이션·안전성 평가를 공동 수행하고 국제 표준 마련에도 협력할 예정이다. 앤트로픽과는 지난 18일 과기정통부와 맺은 MOU와 연계해 자율형 AI 에이전트에 대한 레드팀 평가와 한국어 맥락의 모델 안전성·오남용 위험 평가를 추진한다. 금융을 비롯한 주요 분야의 AI 취약점 발굴과 사이버 위협 정보를 신속히 공유하는 등 사이버 보안 분야에서도 실질적 협력에 나선다. 김 소장은 "구글 딥마인드, 오픈AI, 앤트로픽 등 글로벌 빅테크의 협업 토대를 지속적으로 넓혀 최첨단 모델의 위험을 과학적으로 검증하고 국제적으로 통용되는 한국형 평가 체계를 주도하겠다"고 강조했다.

2026.06.19 16:19이나연 기자

[현장] "에이전틱 AI, 실행 중 평가 필수"…한·싱 '위험 관리 원칙' 내달 나온다

인공지능(AI)이 스스로 판단하고 행동하는 '에이전틱 AI' 시대가 본격화하면서 기존 거대언어모델(LLM) 중심의 안전 평가 체계로는 위험을 충분히 통제할 수 없다는 전문가 경고가 나왔다. 실행 환경에 따라 행동이 달라지는 에이전트 특성상 사전 정적 평가만으로는 한계가 있으며, 실행 중 동적 평가와 국제 표준 기반 검증 체계 구축이 병행돼야 한다는 지적이다. 김명주 인공지능안전연구소(AISI) 소장은 26일 서울 서초구 드림플러스 강남에서 열린 '2026 AI 세이프티 컴패스(2026 ASC)'에서 "에이전트는 목표를 세우고 계획하고 도구를 쓰고 행동하기에 전혀 다른 위험 완화 원칙이 필요하고 개발 단계 테스트만으로는 충분하지 않다"고 밝혔다. 김 소장은 다음 달 공식 발표를 앞둔 한-싱가포르 공동 에이전틱 위험 관리 원칙 초안을 이 자리에서 선공개했다. AISI는 지난해 12월 싱가포르 AI안전연구소와 업무협약(MOU)을 체결한 뒤 결제·글쓰기 등 도메인에서 에이전트 안전성 공동 평가를 진행해왔다. 초기 6개 도메인에서 현재 12개(한국 6개, 싱가포르 6개)로 확장됐으며 중간 성과를 국제 AI 학술대회 뉴립스(NeurIPS)에 제출할 계획이다. 해당 초안은 각국 기관의 에이전트 관련 가이드라인을 통합 정리한 메타 원칙서 성격으로, 범용인공지능(AGI)·일반 AI·에이전트를 구분해 설계·개발, 테스팅·배포, 운영·모니터링 등 3단계에 걸친 10가지 위험 완화 원칙을 담고 있다. 에이전트에 대한 최소 권한 부여, 신원 및 파생 관계 추적, 단계적 검증 배포, 공급망 위험 대응 및 복원력 확보, 실행 중 문맥 변화에 대한 동적 보증, 킬 스위치, 중요 의사결정 시 인간 개입 시점 확보 등이 핵심이다. 김 소장은 "이 원칙들은 모두 초기 단계이며 계속 바뀔 것"이라면서도 "결국 에이전트 환경하에서 표준이 자리를 잡고 그 표준을 중심으로 검증 체계가 구축되는 방향으로 갈 것"이라고 말했다. AISI는 이와 별도로 오픈소스 에이전트 환경 '오픈클로'와 에이전트 전용 사회관계망서비스(SNS) '몰트북'을 직접 구축해 글로벌 AI 모델 3종, 중국 모델 1종, 한국 모델 1종 등 5종에 대한 실제 공격 실험도 진행했다. 오픈클로 실험에서는 악성 명령 수행 여부, 민감정보 외부 유출, 도구 오남용 등 3개 영역을 측정한 결과 모델별 방어율이 최고 93.9%에서 최저 53.3%까지 편차가 컸다. 몰트북 실험에서는 에이전트 간 집단행동은 확인되지 않았으나 민감정보 유출 시도와 연산자원 낭비 유도 행위는 존재했다. 김 소장은 "상상 속 위험이 아니라 실제로 존재하는지 직접 돌려보고 측정해야 한다는 게 전 세계 AI 안전연구소들의 공통된 입장"이라고 설명했다. 앤트로픽 최신 고성능 모델 '미토스' 활용을 중심으로 한 국제 보안 공조 체계 '프로젝트 글래스윙' 참여 전망에 대해서는 조심스러운 입장을 내비쳤다. 미국 정부가 타 국가·기관의 참여를 통제하는 만큼 당장은 우리 정부 차원의 참여가 쉽지 않을 것이라는 전망에서다. 김 소장은 "하위 버전 AI 모델을 통해서라도 최대한 신속하게 취약점을 먼저 찾아내 패치하는 것이 지금으로서는 최선"이라고 말했다. 이어 "패치 자체가 역으로 취약점 분석에 악용될 수 있는 만큼 공개 시점과 방식에 대한 고민이 깊다"고 덧붙였다. 국제인공지능윤리협회(IAAE)가 주최한 이날 행사는 올해 3회차를 맞았으며, 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 부설 조직 AISI와 테크 스타트업 전문 홍보(PR) 에이전시 팀쿠키가 후원했다. 전창배 국제AI윤리협회 이사장은 개회사에서 "자율성을 가진 AI가 오류나 오판을 일으키거나 보안 문제에 노출될 경우 그 피해 규모와 파급력은 과거와 비교할 수 없을 만큼 커질 수 있다"고 말했다.

2026.05.26 14:36이나연 기자

미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나

미국 인공지능 안전연구소(AISI)가 간판을 바꿔 달았다. 트럼프 행정부의 'AI 혁신 우선, 안전 최소화' 기조에 따라 정부의 개입 방향도 규제와 검열에서 산업 경쟁력 지원으로 급선회한 모양새다. 5일 미국 상무부 홈페이지에 따르면 하워드 루트닉 상무장관은 대통령 지시에 따라 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 개편한다고 발표했다. AI 표준 및 혁신 센터는 기존에 AI 안전연구소가 위치했던 국립표준기술연구소(NIST) 산하에 유지되며 평가와 시험을 통한 AI 기술 경쟁력 확보에 중점을 둔다. 상무부는 AI 표준 및 혁신 센터를 통해 신속히 발전 중인 상업용 AI 시스템의 역량과 보안성을 분석하는 데 초점을 맞춘다. 국가안보를 명분으로 삼았던 기존 규제 관행은 철회하고 기술 혁신을 저해하지 않는 방향으로 AI 거버넌스를 전환하겠다는 입장이다. 센터는 민간 AI 기업과 자발적 협약을 체결해 비분류 상태의 AI 기술을 공동 평가하고 사이버 보안과 생물·화학 무기 등 실질적 위협에 집중해 평가를 수행한다. 여기에는 미국 내 기업뿐 아니라 적성국 기술의 위협성까지 포함된다. 외국산 AI 기술이 국내 시스템에 혼입될 경우를 대비해 백도어나 은폐된 악성 행위 등 보안 취약성 여부를 점검하는 역할도 맡는다. 미국 내 기술뿐 아니라 외국 기술의 수용 과정과 국제 경쟁 상황을 정기적으로 분석한다. 더불어 센터는 국방부, 에너지부, 국토안보부, 과학기술정책실, 정보기관 등과 협력해 평가 방법론을 정립하고 공동 평가를 수행하게 된다. 국제 협의체에서는 미국 기술에 불리한 규제를 견제하는 동시에 국제 AI 표준에서 미국의 주도권을 강화하는 데도 주력할 계획이다. 조직 운영은 기존과 마찬가지로 국립표준기술연구소 내부에서 진행되며 정보기술연구소를 포함한 다른 산하 조직 및 상무부 산업안보국과도 긴밀히 협력할 예정이다. 하워드 루트닉 상무장관은 "너무 오랫동안 검열과 규제가 국가안보라는 이름으로 기술 발전을 막아왔다"며 "CAISI는 미국의 상업용 AI 기술이 자율성과 안전성을 동시에 확보할 수 있도록 주도권을 갖고 평가할 것"이라고 밝혔다. 다만 실질적인 변화는 크지 않다는 시각도 있다. 기존 AI 안전연구소가 수행했던 기능과 역할은 그대로 두고 간판만 바꿨다는 점에서 조직 개편보다는 브랜딩에 가깝다는 평가다. 한 업계 관계자는 "이번 개편의 경우 이름만 바꾸고 하는 일은 동일한 것으로 보인다"며 "약자가 캐나다 AI 안전연구소(CAISI)와 같단 면에서 조금 결례인듯 하다"고 말했다.

2025.06.05 14:44조이환 기자

인공지능안전연구소-한국인공지능법학회 맞손…AI 위협 '선제 대응'

인공지능안전연구소(AISI)와 한국인공지능법학회가 인공지능(AI) 안전 연구와 법·제도 정립을 위해 손을 맞잡았다. 기술이 빠르게 발전하면서 안전성과 규범 마련이 핵심 과제로 떠오른 가운데 AI 생태계 전반의 기반을 다지기 위해서다. 한국인공지능법학회는 지난달 27일 경기도 판교 글로벌 알앤디센터에서 AISI와 함께 'AI 관련 업무협력의향서(LOI)'를 체결하고 협력 방안을 논의하는 간담회를 열었다고 4일 밝혔다. 지난해 11월 설립된 AISI는 AI 모델과 시스템에서 발생할 수 있는 위험을 평가하고 이를 방지·해소하는 기술을 연구하는 정부 기관이다. 이번 협력을 통해 AI의 안전한 개발과 활용 환경을 조성하고 국내 AI 기업의 경쟁력을 높이는 것이 목표다. 한국인공지능법학회는 AI 관련 법·제도·윤리를 연구하고 정책적 대응책을 마련하는 국내 대표 학회다. 학회는 인공지능안전연구소와의 협력을 계기로 AI 안전성을 확보하기 위한 법적·제도적 기반을 정립하고 국제적인 연대 강화에도 주력할 계획이다. 특히 AI 기술의 위험성을 사전에 감지하고 대응할 수 있도록 제도적 지원책을 모색할 예정이다. 간담회에서는 한국인공지능법학회 소속 전문가들이 AISI에 방문해 연구소의 역할, 해외 AI 안전 연구소 현황, 최신 AI 기술 동향 등을 논의했다. 또 AI 안전 연구의 전문성을 높이기 위한 상호 교류와 협력 방안을 구체적으로 협의했다. 이번 LOI 체결로 양 기관은 각자의 전문성과 강점을 결합해 AI 기술의 안전한 활용과 개발을 위한 법적·기술적 기반을 강화하는 데 기여할 것으로 기대된다. 또 AI 안전 연구와 정책 개발을 촉진해 한국 내 AI 생태계를 안정적으로 구축하는 데 중요한 역할을 할 전망이다. 최경진 한국인공지능법학회 회장은 "AI 안전을 위한 법과 제도가 뒷받침되지 않으면 기술 발전도 한계에 부딪힐 수밖에 없다"며 "이번 협력이 AI의 안전한 활용과 지속가능한 발전을 위한 중요한 발걸음이 될 것"이라고 밝혔다. 김명주 인공지능안전연구소 소장은 "AI 기술의 안전성과 신뢰성을 높이기 위해 연구와 정책적 대응이 필수적"이라며 "학계와 연구소가 협력해 효과적인 AI 안전 체계를 만들어가겠다"고 말했다.

2025.03.04 17:08조이환 기자

"규제보다 혁신"…美 AI 안전연구소 존폐 위기, 英 보안 중심 개편

미국과 영국이 인공지능(AI) 안전 정책에서 혁신 중심 기조로 전환하고 있다. 미국 AI 안전 연구소는 대규모 해고 사태를 맞으며 존폐 위기에 놓였고 영국은 기존 AI 안전 연구소를 'AI 보안연구소'로 개편했다. AI 안전보다 기술 발전과 국가 안보를 우선하는 정책 변화가 가속화되는 모습이다. 23일 테크크런치 등 외신에 따르면 최근 미국 국립표준기술연구소(NIST)는 예산 감축으로 최대 500명의 직원을 해고할 계획이다. 이로 인해 NIST 산하의 AI 안전연구소(AISI)와 '칩스 포 아메리카(Chips for America)' 프로그램이 심각한 타격을 받을 수 있다는 전망이 나온다. AISI는 지난해 조 바이든 당시 대통령의 AI 안전 행정명령을 기반으로 설립됐지만 도널드 트럼프 대통령이 취임 첫날 이를 폐기하면서 존속이 불투명해졌다. 여기에 예산 삭감이 겹치면서 AI 안전 연구소는 연구 역량을 사실상 상실하게 됐다. 현재 미국 정부는 AI 규제보다는 산업 성장과 기술 혁신을 우선하는 정책을 추진하고 있다. JD 밴스 미국 부통령은 "AI 산업이 이제 막 성장하는 단계에서 지나치게 엄격한 규제는 오히려 기술 발전을 저해할 것"이라며 "정부 개입을 최소화하고 시장 중심의 AI 발전을 지원하겠다"고 말했다. 동시에 영국은 지난 14일 AI 안전연구소를 유지하되 명칭을 'AI 보안 연구소(UK AI Security Institute)'로 변경하고 연구 방향을 국가 안보 중심으로 전환한 바 있다. 피터 카일 영국 과학·혁신·기술부 장관은 독일 뮌헨 안보 회의에서 이를 공식 발표하며 "AI가 국가 안보와 범죄에 미치는 영향을 분석하는 것이 최우선 과제가 될 것"이라고 강조했다. 이번 개편으로 연구소는 AI 기술의 보안 리스크 대응을 주된 임무로 삼게 됐다. 특히 AI 기반 사이버 공격, 금융 사기, 아동 성범죄 방지를 위한 '범죄 악용 대응팀(Criminal Misuse Team)'을 신설해 내무부와 협력할 계획이다. 영국 정부는 AI 기술이 초래할 윤리적 문제나 표현의 자유 이슈보다 사이버 보안과 국가 안보 강화를 최우선 과제로 삼겠다는 입장이다. 영국 총리실은 AI 규제의 필요성을 인정하지만 글로벌 협약보다는 국가별 대응이 더 효과적이라고 밝혔다. 미국과 영국의 AI 정책 변화는 글로벌 AI 거버넌스 논의에도 영향을 미쳤다. 지난 2월 10일부터 이틀간 파리 AI 행동 정상회의(Paris AI Action Summit)에서 프랑스, 중국, 인도, EU 회원국 등 61개국이 AI 윤리 선언문에 서명했으나 미국과 영국은 이를 거부했기 때문이다. 이번 선언문은 AI 기술의 윤리적 개발, 노동시장 영향, 디지털 격차 해소, 독점 방지 등을 목표로 했으나 미국은 지나친 규제가 혁신을 저해할 수 있다며 서명을 거부했고 영국은 국가 안보 및 정책 주권을 이유로 독립적인 대응을 택했다. AI 거버넌스 논의에서 미국과 영국의 독자 노선이 뚜렷해지면서 향후 국제 협력 체계에도 균열이 생길 가능성이 커졌다. AI 안전과 규제보다 국가 경쟁력과 산업 혁신을 우선하는 기조가 강화되는 가운데,글로벌 AI 정책이 어떤 방향으로 정리될지 주목된다. 이안 호가스 영국 AI 보안연구소장은 "우리 연구소는 AI 보안 문제 해결을 위해 존재한다"며 "새로운 범죄 악용 대응팀과 국가 안보 기관과의 협력 확대를 통해 AI의 심각한 위협을 해결할 것"이라고 밝혔다.

2025.02.23 10:27조이환 기자

[AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"

"인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다고 봅니다. 결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이지요." 김명주 AI안전연구소(AISI) 초대 소장은 최근 기자와 만난 자리에서 정부와 기업이 협력해 AI 거버넌스를 강화하고 안전성을 확보해야 한다고 강조하며 이같이 말했다. 17일 업계에 따르면 글로벌 AI 산업이 빠르게 성장함에 따라 정부가 기술 혁신과 안전성·신뢰성 확보를 위한 법·제도 개선에 박차를 가하고 있다. 이같은 정책적 움직임을 뒷받침하기 위해 세워진 AI안전연구소의 김명주 소장은 연구소의 역할과 비전, AI 관련 글로벌 동향 및 기술 경쟁 속에서의 과제를 공유하며 AI의 안전성과 신뢰성을 높이기 위한 전략적 노력이 필수적임을 강조했다. "글로벌 기준 선도"…정책-기술 잇는 AI안전연구소 역할 AI안전연구소는 지난해 11월 전자통신연구원(ETRI) 산하로 출범해 국가 AI 정책 수립을 지원하고 기술의 빠른 발전이 가져올 안전성과 윤리적 문제를 해결하기 위해 박차를 가하고 있다. 현재 연구소는 ▲글로벌 정책 동향 분석 및 AI 위험 대응을 맡는 'AI안전정책 및 대외협력실' ▲위험 정의와 평가 프레임워크를 개발하는 'AI안전평가실' ▲딥페이크 방지와 AI 보안 기술 연구에 집중하는 'AI안전연구실'로 구성돼 있다. 연구소는 이러한 구조를 통해 독립적이면서도 유기적으로 '정책·평가·기술'을 통합 운영해 AI의 안전성과 경쟁력을 높이는 데 집중한다. 이 구조는 해외 AI 연구소들과의 차별점으로 지목된다. 영국·미국·일본·싱가포르 등 여러 국가에서도 AI안전연구소를 운영 중이지만 자본과 보유 기술의 한계 등으로 인해 기술과 정책을 통합적으로 다루는 경우가 많지 않기 때문이다. 김 소장은 "미국과 영국의 AI안전연구소는 리더십 자체가 정책 전문가나 비즈니스 전문가 중심인 경우가 많다"면서 "국내 우리 연구소는 정책·거버넌스뿐 아니라 기술과 표준화에도 동일한 비중을 두고 운영 체계를 마련했다"고 설명했다. 업계에서는 김 소장을 국내 AI안전연구소의 비전 실현에 적합한 리더로 평가한다. 정책과 기술 모두에 정통한 전문가로, 이 두 분야를 통합적으로 이끌어가는 데 강점을 지니고 있기 때문이다. 그는 지난 1993년 서울대에서 컴퓨터공학 박사 학위를 취득한 후 약 30년간 서울여대에서 정보보안을 가르치며 IT 윤리와 거버넌스 분야에서도 20년 이상 활동해왔다. 김 소장은 "사이버 보안을 비롯한 컴퓨터 공학이 원래 전문 분야지만 윤리와 거버넌스까지 함께 다룰 줄 아는 것이 연구소 운영에 큰 도움이 된다"며 "AI 문제는 결국 사람에게 미치는 영향을 종합적으로 살펴야 한다"고 설명했다. AI 신뢰성 위해 '전방위 리스크맵' 구축…다방면서 시민·국제 사회 조율 이러한 목적을 위해 AI안전연구소는 AI의 안전성과 신뢰성을 확보하기 위한 '전방위적 리스크 맵' 작업을 진행 중이다. AI의 위험을 종합적으로 분석하고 윤리와 안전을 모두 포괄하는 접근을 하기 위함이다. 현재 메사추세츠 공과대학(MIT) 등 다양한 글로벌 기관에서 리스크 맵을 발표했지만 대부분 개발자와 사업자 관점에 치우쳐 있어 윤리적·안전적 관점을 충분히 반영하지 못했다는 평가를 받고 있다. 기존의 난점을 극복하기 위해 연구소는 보안 개념을 중요한 연구 주제로 삼고 있다. 지난 2022년 오픈AI '챗GPT' 출시 직후 AI 안전에 대한 논의는 AI가 인류에게 존재론적 위협을 초래할 것이라는 '터미네이터형 리스크'에 집중됐다. 그런데 실제로 닥쳤던 현실적인 문제는 오픈AI의 오픈소스 버그로 인한 사용자 대화 기록 유출 사건이었다. 이후 170개 이상의 취약점이 패치되며 문제가 해결됐지만 이 사건은 AI 시스템의 취약성을 여실히 드러낸 사례로 평가된다. 김 소장은 "'챗GPT'의 경우 버그바운티를 통해 지난 2년간 취약점을 패치하면서 최근에야 비로소 문제를 해결했다"며 "AI 모델 내부의 취약점도 중요하지만 해커가 외부 네트워크를 통해 공격하지 못하도록 방어 체계를 갖추는 것이 필수적"이라고 강조했다. 이어 "연구소는 이를 위해 기술적 연구와 대응 방안을 적극적으로 개발 중"이라고 밝혔다. 또 그는 올바른 AI 안전 수립을 위한 시민과의 소통의 중요성을 강조했다. 딥페이크 문제, AI로 인한 일자리 위협 등과 같이 일반 시민들이 느끼는 공포가 증가하고 있는 상황에서 기술만으로는 이러한 문제를 해결할 수 없기 때문이다. 김 소장은 "사회적으로 큰 파장을 일으키는 문제에는 제도적·윤리적 지원이 필수적"이라며 "기술 발전뿐만 아니라 실질적인 해킹 문제와 시민이 느끼는 불안까지 고려한 전방위 리스크 맵을 만들고 있다"고 밝혔다. 연구소는 이러한 목표를 달성하기 위해 글로벌 협력과 표준화 작업에도 박차를 가하고 있다. 특히 AI 안전 표준화에 전문성을 가진 싱가포르 AI안전연구소와 협력해 AI 취약성 평가와 안전 프레임워크의 글로벌 기준을 마련하고 있다. 김 소장은 "싱가포르는 AI 이전부터 이미 표준화에서 상당한 전문성과 노하우를 보유한 나라"라며 "협력을 통해 국제적으로 통용될 수 있는 AI 안전 기준을 구축하고자 한다"고 설명했다. 국제 거버넌스 협력도 활발히 진행 중이다. 연구소는 오는 3월 프랑스 파리에서 열리는 AI 정상회의에 참가해 글로벌 AI 안전 거버넌스 구축에 기여할 예정이다. 선진국·개발도상국 간 AI 기술 지원과 AI 국제지구 설립이 주로 논의될 이 회의에서 김 소장은 OECD 산하 글로벌 AI 파트너십(GPAI) 자문위원으로서 이 회의에서 중요한 역할을 할 것으로 기대된다. 또 연구소는 다문화·다언어(MCML) 프로젝트를 통해 AI 모델의 언어적·문화적 편향을 분석하고 이를 교정하는 작업을 수행하고 있다. 이를 통해 AI의 공정성과 신뢰성을 강화하고 국가 간 갈등 예방과 문화적 조화에 기여할 기술을 개발 중이다. 김 소장은 AI의 안전과 신뢰성이 글로벌 경쟁력의 핵심이라고 강조했다. 그는 "EU AI 법처럼 강력한 규제를 충족하고 호환성을 보장할 수 있는 표준화는 국내 기업들이 유럽 시장을 포함한 글로벌 시장에서 경쟁력을 확보하는 데 필수적"이라며 "브뤼셀 기준과 호환 가능한 표준을 마련해 국내 AI 기술의 EU 시장 진출을 도울 계획"이라고 밝혔다. 또 그는 글로벌 시장에서 국산 AI의 성공 가능성을 낙관적으로 전망했다. 특히 미국과 중국 간의 기술 경쟁이 심화되는 상황에서 디지털 종속에 대한 우려를 가진 중동과 동남아시아 국가들이 한국을 제3의 대안으로 선택할 가능성이 높다는 분석을 내 놓았다. 기술 수준이 두 AI 초강대국에 비해 다소 뒤처지더라도 정치적 리스크가 이러한 선택에 결정적인 영향을 미칠 수 있다는 것이다. 그는 "한국은 데이터, 반도체, 인재, 기술 지원 역량 등 AI 개발의 필요조건을 이미 갖추고 있다"며 "다만 여기에 안전성과 신뢰성이 충분조건으로 작용할 때 국산 AI의 '소프트파워'가 글로벌 시장에 먹혀들 것"이라고 분석했다. 트럼프 당선·AI 기본법 통과…글로벌 AI 생태계 지각 변동 예고 김명주 소장은 AI 기본법 통과와 트럼프 당선이라는 두 가지 중요한 정치적·법적 변수에 대해서도 의견을 밝혔다. 그는 이 두 사안이 한국뿐만 아니라 글로벌 AI 시장과 연구소의 운영 전략에도 영향을 미칠 가능성을 시사했다. 트럼프가 미국 대통령으로 취임한 후 AI 규제가 느슨해질 가능성이 있느냐는 기자의 질문에 김 소장은 규제가 강화될 가능성을 언급했다. 이는 트럼프의 '아메리카 퍼스트' 정책이 자국의 AI를 자유롭게 발전시키는 동시에 다른 나라에는 철저한 제한을 목표로 할 수 있기 때문이다. 또 AI가 전략자원화 되는 현 시점에 적성국을 견제하기 위한 규제 조치를 취할수도 있다는 설명이다. 김 소장은 "트럼프의 미국은 자국이 AI 규제를 선도해야한다는 입장일 가능성이 크다"면서 "산업적인 측면에서의 '사다리 걷어차기' 전략과 안보 정책으로서의 규제를 강력히 도입할 가능성이 있다"고 예측했다. AI 기본법에 대한 분석도 이어졌다. 지난해 12월 국회를 통과한 이 법안은 업계에서 규제와 진흥의 균형을 맞추려는 시도로 평가받으며 대체로 환영받는 분위기다. 다만 일각에서는 치열한 경쟁 상황에서 규제를 최소화해야 한다는 반론도 제기하고 있다. 김 소장은 "AI 기본법은 산업과 안전 중에 산업에 방점을 찍은 법안"이라며 "EU AI법은 주로 규제 내용으로 구성돼 기업들이 숨 쉴 틈이 없는 것과 달리 우리 기본법은 산업 진흥에 70~80%, 규제에 20~30% 정도로 구성돼 기업 부담을 크게 줄였다"고 설명했다. 이어 "향후 시행령과 고시를 통해 보다 합리적인 조정이 가능할 것"이라고 덧붙였다. AI 기본법 통과에 따른 연구소의 소속과 독립 문제도 거론됐다. 현재 AI안전연구소는 ETRI 산하로 운영되고 있지만 법 통과로 인해 독립 기관으로서의 출범 가능성이 열렸기 때문이다. 이에 대해 김 소장은 "법적 가능성은 있지만 아직 결정된 바는 없다"고 밝혔다. 다만 올해 연구소는 ETRI 산하에서 지속적으로 성장할 계획이다. 현재 15명인 조직 규모는 올해 30명으로 증원될 계획으로, 오는 4월 진행될 채용에서는 7명을 새로 선발하며 이 중 5명은 정책·대외협력 분야, 2명은 평가·기술 분야 인재가 포함될 예정이다. 그럼에도 국가기관 특성상 인재 채용 조건의 제한은 아쉬운 점으로 지적된다. 기자 확인 결과 연구소는 ETRI와 마찬가지로 과학 분야 최고 수준의 논문으로 평가받는 SCI급 논문 작성 경험을 가진 연구자만을 선발한다. 이는 정책·거버넌스 분야에서의 채용에는 다소 비효율적일 수 있다는 업계의 비판을 받고 있다. 또 영국 AI 안전연구소가 연구자들에게 약 2억 원의 연봉을 지급하는 것과 비교해 상대적으로 낮은 처우를 제공한다는 지적도 있다. 이에 김 소장은 "국가 예산과 ETRI 구조상 처우를 대폭 개선하기는 어렵다"면서도 "다만 유능한 인재를 끌어들이기 위해 국가 공공기관 평균 연봉보다 2~3천만 원 더 지급해 물가 고려시 영국 연구소의 연봉 수준에 비견하는 수준의 인센티브를 지급하고 있다"고 말했다. 이어 "향후에도 ETRI와 함께 조율해 장기적으로 우수 인재 유치에 더 과감히 투자할 계획으로, 이들이 여기서 쌓는 경험도 개인 커리어에 큰 장점이 될 수 있을 것"이라고 강조했다. 이같이 AI안전연구소는 AI 기술의 안전성과 신뢰성을 강화하며 정책·평가·기술의 통합적 접근을 통해 글로벌 리더십을 확보하는 데 주력하고 있다. AI가 가져올 사회적·경제적 영향을 면밀히 분석하며 이를 바탕으로 국내외 신뢰받는 AI 생태계를 구축해 나가는 것이 연구소의 궁극적인 목표다. 김명주 AI안전연구소장은 "AI는 기술적 진보뿐 아니라 신뢰와 안전을 담보해야 글로벌 시장에서 경쟁력을 가질 수 있다"며 "우리는 기술, 정책, 윤리적 기준을 모두 아우르는 리더십을 통해 국내외 AI 생태계의 신뢰성 확보를 위해 매진할 것"이라고 강조했다.

2025.01.17 15:02조이환 기자

지금 뜨는 기사

이시각 헤드라인

[ZD브리핑] 최대 실적 SK하이닉스‧삼성전자…주가 견인할까

SKT는 왜 토큰 게이트웨이로 눈길 돌렸나

구수한 맛에 꽂혔다...프랜차이즈, 올가을 '호지차' 주목

오픈AI '닷츠' vs 앤트로픽 '듀엣'…내 일 맡길 AI 비서는?

ZDNet Power Center