검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'인공지능 안전'통합검색 결과 입니다. (103건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"

"인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다고 봅니다. 결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이지요." 김명주 AI안전연구소(AISI) 초대 소장은 최근 기자와 만난 자리에서 정부와 기업이 협력해 AI 거버넌스를 강화하고 안전성을 확보해야 한다고 강조하며 이같이 말했다. 17일 업계에 따르면 글로벌 AI 산업이 빠르게 성장함에 따라 정부가 기술 혁신과 안전성·신뢰성 확보를 위한 법·제도 개선에 박차를 가하고 있다. 이같은 정책적 움직임을 뒷받침하기 위해 세워진 AI안전연구소의 김명주 소장은 연구소의 역할과 비전, AI 관련 글로벌 동향 및 기술 경쟁 속에서의 과제를 공유하며 AI의 안전성과 신뢰성을 높이기 위한 전략적 노력이 필수적임을 강조했다. "글로벌 기준 선도"…정책-기술 잇는 AI안전연구소 역할 AI안전연구소는 지난해 11월 전자통신연구원(ETRI) 산하로 출범해 국가 AI 정책 수립을 지원하고 기술의 빠른 발전이 가져올 안전성과 윤리적 문제를 해결하기 위해 박차를 가하고 있다. 현재 연구소는 ▲글로벌 정책 동향 분석 및 AI 위험 대응을 맡는 'AI안전정책 및 대외협력실' ▲위험 정의와 평가 프레임워크를 개발하는 'AI안전평가실' ▲딥페이크 방지와 AI 보안 기술 연구에 집중하는 'AI안전연구실'로 구성돼 있다. 연구소는 이러한 구조를 통해 독립적이면서도 유기적으로 '정책·평가·기술'을 통합 운영해 AI의 안전성과 경쟁력을 높이는 데 집중한다. 이 구조는 해외 AI 연구소들과의 차별점으로 지목된다. 영국·미국·일본·싱가포르 등 여러 국가에서도 AI안전연구소를 운영 중이지만 자본과 보유 기술의 한계 등으로 인해 기술과 정책을 통합적으로 다루는 경우가 많지 않기 때문이다. 김 소장은 "미국과 영국의 AI안전연구소는 리더십 자체가 정책 전문가나 비즈니스 전문가 중심인 경우가 많다"면서 "국내 우리 연구소는 정책·거버넌스뿐 아니라 기술과 표준화에도 동일한 비중을 두고 운영 체계를 마련했다"고 설명했다. 업계에서는 김 소장을 국내 AI안전연구소의 비전 실현에 적합한 리더로 평가한다. 정책과 기술 모두에 정통한 전문가로, 이 두 분야를 통합적으로 이끌어가는 데 강점을 지니고 있기 때문이다. 그는 지난 1993년 서울대에서 컴퓨터공학 박사 학위를 취득한 후 약 30년간 서울여대에서 정보보안을 가르치며 IT 윤리와 거버넌스 분야에서도 20년 이상 활동해왔다. 김 소장은 "사이버 보안을 비롯한 컴퓨터 공학이 원래 전문 분야지만 윤리와 거버넌스까지 함께 다룰 줄 아는 것이 연구소 운영에 큰 도움이 된다"며 "AI 문제는 결국 사람에게 미치는 영향을 종합적으로 살펴야 한다"고 설명했다. AI 신뢰성 위해 '전방위 리스크맵' 구축…다방면서 시민·국제 사회 조율 이러한 목적을 위해 AI안전연구소는 AI의 안전성과 신뢰성을 확보하기 위한 '전방위적 리스크 맵' 작업을 진행 중이다. AI의 위험을 종합적으로 분석하고 윤리와 안전을 모두 포괄하는 접근을 하기 위함이다. 현재 메사추세츠 공과대학(MIT) 등 다양한 글로벌 기관에서 리스크 맵을 발표했지만 대부분 개발자와 사업자 관점에 치우쳐 있어 윤리적·안전적 관점을 충분히 반영하지 못했다는 평가를 받고 있다. 기존의 난점을 극복하기 위해 연구소는 보안 개념을 중요한 연구 주제로 삼고 있다. 지난 2022년 오픈AI '챗GPT' 출시 직후 AI 안전에 대한 논의는 AI가 인류에게 존재론적 위협을 초래할 것이라는 '터미네이터형 리스크'에 집중됐다. 그런데 실제로 닥쳤던 현실적인 문제는 오픈AI의 오픈소스 버그로 인한 사용자 대화 기록 유출 사건이었다. 이후 170개 이상의 취약점이 패치되며 문제가 해결됐지만 이 사건은 AI 시스템의 취약성을 여실히 드러낸 사례로 평가된다. 김 소장은 "'챗GPT'의 경우 버그바운티를 통해 지난 2년간 취약점을 패치하면서 최근에야 비로소 문제를 해결했다"며 "AI 모델 내부의 취약점도 중요하지만 해커가 외부 네트워크를 통해 공격하지 못하도록 방어 체계를 갖추는 것이 필수적"이라고 강조했다. 이어 "연구소는 이를 위해 기술적 연구와 대응 방안을 적극적으로 개발 중"이라고 밝혔다. 또 그는 올바른 AI 안전 수립을 위한 시민과의 소통의 중요성을 강조했다. 딥페이크 문제, AI로 인한 일자리 위협 등과 같이 일반 시민들이 느끼는 공포가 증가하고 있는 상황에서 기술만으로는 이러한 문제를 해결할 수 없기 때문이다. 김 소장은 "사회적으로 큰 파장을 일으키는 문제에는 제도적·윤리적 지원이 필수적"이라며 "기술 발전뿐만 아니라 실질적인 해킹 문제와 시민이 느끼는 불안까지 고려한 전방위 리스크 맵을 만들고 있다"고 밝혔다. 연구소는 이러한 목표를 달성하기 위해 글로벌 협력과 표준화 작업에도 박차를 가하고 있다. 특히 AI 안전 표준화에 전문성을 가진 싱가포르 AI안전연구소와 협력해 AI 취약성 평가와 안전 프레임워크의 글로벌 기준을 마련하고 있다. 김 소장은 "싱가포르는 AI 이전부터 이미 표준화에서 상당한 전문성과 노하우를 보유한 나라"라며 "협력을 통해 국제적으로 통용될 수 있는 AI 안전 기준을 구축하고자 한다"고 설명했다. 국제 거버넌스 협력도 활발히 진행 중이다. 연구소는 오는 3월 프랑스 파리에서 열리는 AI 정상회의에 참가해 글로벌 AI 안전 거버넌스 구축에 기여할 예정이다. 선진국·개발도상국 간 AI 기술 지원과 AI 국제지구 설립이 주로 논의될 이 회의에서 김 소장은 OECD 산하 글로벌 AI 파트너십(GPAI) 자문위원으로서 이 회의에서 중요한 역할을 할 것으로 기대된다. 또 연구소는 다문화·다언어(MCML) 프로젝트를 통해 AI 모델의 언어적·문화적 편향을 분석하고 이를 교정하는 작업을 수행하고 있다. 이를 통해 AI의 공정성과 신뢰성을 강화하고 국가 간 갈등 예방과 문화적 조화에 기여할 기술을 개발 중이다. 김 소장은 AI의 안전과 신뢰성이 글로벌 경쟁력의 핵심이라고 강조했다. 그는 "EU AI 법처럼 강력한 규제를 충족하고 호환성을 보장할 수 있는 표준화는 국내 기업들이 유럽 시장을 포함한 글로벌 시장에서 경쟁력을 확보하는 데 필수적"이라며 "브뤼셀 기준과 호환 가능한 표준을 마련해 국내 AI 기술의 EU 시장 진출을 도울 계획"이라고 밝혔다. 또 그는 글로벌 시장에서 국산 AI의 성공 가능성을 낙관적으로 전망했다. 특히 미국과 중국 간의 기술 경쟁이 심화되는 상황에서 디지털 종속에 대한 우려를 가진 중동과 동남아시아 국가들이 한국을 제3의 대안으로 선택할 가능성이 높다는 분석을 내 놓았다. 기술 수준이 두 AI 초강대국에 비해 다소 뒤처지더라도 정치적 리스크가 이러한 선택에 결정적인 영향을 미칠 수 있다는 것이다. 그는 "한국은 데이터, 반도체, 인재, 기술 지원 역량 등 AI 개발의 필요조건을 이미 갖추고 있다"며 "다만 여기에 안전성과 신뢰성이 충분조건으로 작용할 때 국산 AI의 '소프트파워'가 글로벌 시장에 먹혀들 것"이라고 분석했다. 트럼프 당선·AI 기본법 통과…글로벌 AI 생태계 지각 변동 예고 김명주 소장은 AI 기본법 통과와 트럼프 당선이라는 두 가지 중요한 정치적·법적 변수에 대해서도 의견을 밝혔다. 그는 이 두 사안이 한국뿐만 아니라 글로벌 AI 시장과 연구소의 운영 전략에도 영향을 미칠 가능성을 시사했다. 트럼프가 미국 대통령으로 취임한 후 AI 규제가 느슨해질 가능성이 있느냐는 기자의 질문에 김 소장은 규제가 강화될 가능성을 언급했다. 이는 트럼프의 '아메리카 퍼스트' 정책이 자국의 AI를 자유롭게 발전시키는 동시에 다른 나라에는 철저한 제한을 목표로 할 수 있기 때문이다. 또 AI가 전략자원화 되는 현 시점에 적성국을 견제하기 위한 규제 조치를 취할수도 있다는 설명이다. 김 소장은 "트럼프의 미국은 자국이 AI 규제를 선도해야한다는 입장일 가능성이 크다"면서 "산업적인 측면에서의 '사다리 걷어차기' 전략과 안보 정책으로서의 규제를 강력히 도입할 가능성이 있다"고 예측했다. AI 기본법에 대한 분석도 이어졌다. 지난해 12월 국회를 통과한 이 법안은 업계에서 규제와 진흥의 균형을 맞추려는 시도로 평가받으며 대체로 환영받는 분위기다. 다만 일각에서는 치열한 경쟁 상황에서 규제를 최소화해야 한다는 반론도 제기하고 있다. 김 소장은 "AI 기본법은 산업과 안전 중에 산업에 방점을 찍은 법안"이라며 "EU AI법은 주로 규제 내용으로 구성돼 기업들이 숨 쉴 틈이 없는 것과 달리 우리 기본법은 산업 진흥에 70~80%, 규제에 20~30% 정도로 구성돼 기업 부담을 크게 줄였다"고 설명했다. 이어 "향후 시행령과 고시를 통해 보다 합리적인 조정이 가능할 것"이라고 덧붙였다. AI 기본법 통과에 따른 연구소의 소속과 독립 문제도 거론됐다. 현재 AI안전연구소는 ETRI 산하로 운영되고 있지만 법 통과로 인해 독립 기관으로서의 출범 가능성이 열렸기 때문이다. 이에 대해 김 소장은 "법적 가능성은 있지만 아직 결정된 바는 없다"고 밝혔다. 다만 올해 연구소는 ETRI 산하에서 지속적으로 성장할 계획이다. 현재 15명인 조직 규모는 올해 30명으로 증원될 계획으로, 오는 4월 진행될 채용에서는 7명을 새로 선발하며 이 중 5명은 정책·대외협력 분야, 2명은 평가·기술 분야 인재가 포함될 예정이다. 그럼에도 국가기관 특성상 인재 채용 조건의 제한은 아쉬운 점으로 지적된다. 기자 확인 결과 연구소는 ETRI와 마찬가지로 과학 분야 최고 수준의 논문으로 평가받는 SCI급 논문 작성 경험을 가진 연구자만을 선발한다. 이는 정책·거버넌스 분야에서의 채용에는 다소 비효율적일 수 있다는 업계의 비판을 받고 있다. 또 영국 AI 안전연구소가 연구자들에게 약 2억 원의 연봉을 지급하는 것과 비교해 상대적으로 낮은 처우를 제공한다는 지적도 있다. 이에 김 소장은 "국가 예산과 ETRI 구조상 처우를 대폭 개선하기는 어렵다"면서도 "다만 유능한 인재를 끌어들이기 위해 국가 공공기관 평균 연봉보다 2~3천만 원 더 지급해 물가 고려시 영국 연구소의 연봉 수준에 비견하는 수준의 인센티브를 지급하고 있다"고 말했다. 이어 "향후에도 ETRI와 함께 조율해 장기적으로 우수 인재 유치에 더 과감히 투자할 계획으로, 이들이 여기서 쌓는 경험도 개인 커리어에 큰 장점이 될 수 있을 것"이라고 강조했다. 이같이 AI안전연구소는 AI 기술의 안전성과 신뢰성을 강화하며 정책·평가·기술의 통합적 접근을 통해 글로벌 리더십을 확보하는 데 주력하고 있다. AI가 가져올 사회적·경제적 영향을 면밀히 분석하며 이를 바탕으로 국내외 신뢰받는 AI 생태계를 구축해 나가는 것이 연구소의 궁극적인 목표다. 김명주 AI안전연구소장은 "AI는 기술적 진보뿐 아니라 신뢰와 안전을 담보해야 글로벌 시장에서 경쟁력을 가질 수 있다"며 "우리는 기술, 정책, 윤리적 기준을 모두 아우르는 리더십을 통해 국내외 AI 생태계의 신뢰성 확보를 위해 매진할 것"이라고 강조했다.

2025.01.17 15:02조이환 기자

공공 AI 플랫폼 구축, 대기업 참여 심의...엇갈리는 업계 의견

정부가 공공 업무에 활용할 범용 인공지능(AI) 플랫폼 구축 사업에 대기업 참여를 허용할지 여부를 심의한다. 이번 공공 소프트웨어(SW) 사업의 대기업 참여를 두고 관련 업계에서 의견이 엇갈리고 있다. 17일 관련 업계에 따르면, 서울 강남구 코엑스에서 과학기술정보통신부(이하 과기부), 행정안전부, 한국지능정보사회진흥원(NIA)이 심의위원회를 개최한다. 현행 소프트웨어(SW) 진흥법에 따르면, 상호출자제한기업집단(대기업집단) 계열사는 공공SW 사업 참여가 제한된다. 다만 기술적·경제적 특수성을 가진 사업이나 중소기업 단독으로 수행하기 어려운 대규모 프로젝트는 심사를 통해 대기업 참여를 제한적으로 허용할 수 있다. 지난 수년간 공공SW 사업에서 반복적으로 장애가 발생하면서, 700억 원 이상 규모의 사업은 대기업 계열사 참여를 허용하겠다는 방침이 지난해 초 제시됐다. 하지만 업계의 반발 등으로 법 개정은 아직 이루어지지 않았다. 이번 심의 대상인 사업은 2027년까지 공공 업무에 활용할 AI 플랫폼을 구축하는 프로젝트다. 문서 초안 작성, 내부 자료 검색 등 다양한 공공 업무에 활용할 수 있는 범용 AI 모델을 개발해 정부 시스템에 도입한다는 계획이다. 또한 정부 범용 AI 플랫폼을 기반으로 각 기관의 특성에 맞는 AI 서비스를 개발해 이를 활용할 수 있도록 지원할 예정이다. 민감한 데이터를 포함하는 공공 업무를 수행하기 위해 외부와 차단된 독립적인 생성형 AI 모델을 구축해야 하므로, AI 관련 기술력과 대규모 시스템 구축 역량을 갖춘 대기업 계열사의 참여가 필요하다는 것이 정부 측 입장이다. 심의위원회에서 대기업 참여가 허용되면 사업 수행 신청 절차를 거쳐 최종 결정된다. 이번 심의위원회의 결정은 이달 말 공개될 예정이다. 사업에 참여할 대기업은 아직 확정되지 않았다. 다만 대규모 언어모델(LLM)인 하이퍼클로바X를 개발한 네이버클라우드를 비롯해, 대규모 클라우드 인프라와 AI 사업 역량을 보유한 LG CNS, KT 등이 참여할 것으로 예상된다. AI 플랫폼의 대기업 참여 심사 소식이 전해지며, 업계에서는 찬반 양론이 엇갈리고 있다. 특히 중소 업계에서는 우려 섞인 목소리가 나오고 있다. AI와 같은 최신 기술이 활용되는 만큼 대기업 참여가 필요하다는 주장과 함께, 대기업이 최신 기술을 보유하고 있다는 보장이 없고, 중소·중견 기업의 사업 영역을 침범하고 있다는 지적이 충돌하고 있다. 한 업계 관계자는 "AI 모델 및 플랫폼 개발에는 자본력이 필요하기 때문에 중소 규모 기업보다는 대기업 참여를 허용하는 것이 현실적"이라고 밝혔다. 반면 다른 관계자는 "대기업이 개발을 맡았던 기존 사업에서도 장애가 발생했고, 이로 인해 법정 소송까지 이어진 사례가 있다"며 "AI에 보다 전문적인 기업을 선별하고 사업을 전문적으로 관리할 체계를 먼저 갖춰야 한다"고 지적했다.

2025.01.17 14:40남혁우 기자

엔비디아 '네모 가드레일' 공개…에이전트 폭주 방지로 AI 신뢰도 ↑

엔비디아가 생성형 AI 시대를 맞아 '네모 가드레일(NeMo Guardrails)' 솔루션을 통해 거대 언어 모델(LLM) 활용에 필요한 안전성과 신뢰도를 대폭 높이고 있다. 개발자가 직접 AI의 안전장치인 '가드레일'을 프로그래밍해 AI 에이전트(Agentic AI)를 제어·관리할 수 있는 것이 핵심으로, 엔비디아는 이를 오픈소스 형태로 제공해 다양한 서드파티 솔루션·브랜드 정책과 연동할 수 있도록 제공한다. 16일 업계에 따르면 최근 여러 기업들이 LLM 기술을 활용한 에이전트 AI를 경쟁적으로 선보이고 있다. 이러한 초거대 언어 모델이 예기치 않은 발언을 하거나 민감 정보를 노출하는 등 위험 요소가 늘어남에 따라 이를 사전에 제어·차단하는 '가드레일' 수요도 빠르게 증가하는 추세다. 이에 대응해 지난 2023년 4월 출시된 엔비디아 네모 가드레일은 크게 ▲콘텐츠 안전성 ▲주제 제어 ▲탈옥 방지 등 세 가지 주요 가드레일 모델로 구성됐다. 각각 유해·위험 발언 차단, 대화 주제 이탈 방지, 보안 우회 시도 차단에 특화됐다. 엔비디아 측은 이러한 가드레일을 병렬로 적용해도 처리 지연(latency)이 크지 않도록 GPU 최적화를 거쳤다고 강조하고 있다. '네모 가드레일'의 '콘텐츠 안전성(Content Safety)' 기능은 AI 대화나 에이전트가 생성하는 텍스트에서 유해·위험·비윤리적 발언을 사전에 차단한다. 엔비디아의 '이지스 콘텐츠 안전 데이터셋'으로 학습됐으며 3만5천 건 이상의 인공지능 안전성 주석 데이터를 바탕으로 폭넓은 시나리오를 커버한다. 이를 통해 잘못된 정보나 악의적 콘텐츠가 사용자에게 직접 전달되는 상황을 줄일 수 있다는 설명이다. '주제 제어(Topic Control)'는 대화 주제가 시스템 프롬프트나 브랜드 정책에서 벗어나지 않도록 관리한다. 단순 질의응답을 넘어 여러 차례의 대화가 이어질 때 에이전트가 불필요하거나 민감한 영역으로 빠지는 것을 막아주는 역할을 한다. 일례로 자동차 제조사 에이전트의 경우 경쟁사 차량과의 비교 등의 발언을 아예 금지하거나 특정 주제만 다루도록 제한하는 식이다. 복잡한 대화가 진행될수록 브랜드 일관성·규제 준수가 중요해지는 산업군에서 특히 주목받고 있다. '탈옥(Jailbreak) 방지' 모델은 AI 모델이 설정된 보호 장치를 교묘하게 우회해 민감 정보를 드러내거나 부적절한 기능을 수행하지 못하도록 막는다. 엔비디아는 1만7천 개 이상의 악의적 프롬프트 샘플을 통해 모델을 학습시켰으며 내부의 LLM 레드팀 테스트 툴을 활용해 새롭게 등장하는 공격 방식을 지속적으로 탐지·학습한다. 이를 통해 기업들이 실제 환경에서 운영 중인 AI 에이전트의 보안을 한층 더 강화하고 있다. '네모 가드레일'은 엔비디아 AI 엔터프라이즈 라이선스 체계로 운영되며 GPU당 연간 4천500달러(한화 약 630만원) 선의 비용이 소요된다. 실제 사용량과 기업 규모에 따라 차이가 발생할 수 있으나 개발 및 배포 효율성·안정성을 감안하면 비용 대비 효과가 충분하다는 것이 엔비디아 측의 설명이다. 이와 별개로 네모 가드레일 기본 프레임워크 자체는 오픈소스로 무료 제공된다. 이러한 기본 모드의 오픈소스 정책에 따라 기업이 직접 정책을 추가하거나 서드파티 가드레일을 도입하기가 용이하다. 엔비디아 측은 모든 이용 사례와 규정을 자사가 일일이 규정할 수 없으므로 오픈소스·모듈형 설계를 채택해 각 기업이 상황에 맞게 커스터마이징할 수 있게 했다는 입장이다. 업계에서는 특정 산업 규제나 민감 데이터 처리를 위한 맞춤형 가드레일을 구축하기 한층 수월해졌다는 평가를 하고 있다. 실제로 소매업, 통신사, 자동차 산업 등 다양한 분야의 기업들이 이미 '네모 가드레일'을 활용해 에이전트 제어 시스템을 구현하고 있다. 민감한 금융·청구 관련 정보를 다루거나 안전 운행을 보조해야 하는 경우처럼 오류나 부적절한 정보 노출이 절대 불가한 상황에서 가드레일의 역할이 돋보인다는 설명이다. 업계 전문가들은 "에이전틱 AI 시대에 IT 부서들이 AI를 인사·총무처럼 관리할 필요성이 커지는 와중에 이런 역할을 수행하는 솔루션 중 하나가 '네모 가드레일'"이라며 "가드레일 도입을 통해 AI가 사용자에게 줄 수 있는 가치는 키우면서도 위험 요소는 줄이는 길이 열리도록 해야한다"고 평가했다.

2025.01.16 23:05조이환 기자