검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 안전'통합검색 결과 입니다. (223건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

엔비디아 '네모 가드레일' 공개…에이전트 폭주 방지로 AI 신뢰도 ↑

엔비디아가 생성형 AI 시대를 맞아 '네모 가드레일(NeMo Guardrails)' 솔루션을 통해 거대 언어 모델(LLM) 활용에 필요한 안전성과 신뢰도를 대폭 높이고 있다. 개발자가 직접 AI의 안전장치인 '가드레일'을 프로그래밍해 AI 에이전트(Agentic AI)를 제어·관리할 수 있는 것이 핵심으로, 엔비디아는 이를 오픈소스 형태로 제공해 다양한 서드파티 솔루션·브랜드 정책과 연동할 수 있도록 제공한다. 16일 업계에 따르면 최근 여러 기업들이 LLM 기술을 활용한 에이전트 AI를 경쟁적으로 선보이고 있다. 이러한 초거대 언어 모델이 예기치 않은 발언을 하거나 민감 정보를 노출하는 등 위험 요소가 늘어남에 따라 이를 사전에 제어·차단하는 '가드레일' 수요도 빠르게 증가하는 추세다. 이에 대응해 지난 2023년 4월 출시된 엔비디아 네모 가드레일은 크게 ▲콘텐츠 안전성 ▲주제 제어 ▲탈옥 방지 등 세 가지 주요 가드레일 모델로 구성됐다. 각각 유해·위험 발언 차단, 대화 주제 이탈 방지, 보안 우회 시도 차단에 특화됐다. 엔비디아 측은 이러한 가드레일을 병렬로 적용해도 처리 지연(latency)이 크지 않도록 GPU 최적화를 거쳤다고 강조하고 있다. '네모 가드레일'의 '콘텐츠 안전성(Content Safety)' 기능은 AI 대화나 에이전트가 생성하는 텍스트에서 유해·위험·비윤리적 발언을 사전에 차단한다. 엔비디아의 '이지스 콘텐츠 안전 데이터셋'으로 학습됐으며 3만5천 건 이상의 인공지능 안전성 주석 데이터를 바탕으로 폭넓은 시나리오를 커버한다. 이를 통해 잘못된 정보나 악의적 콘텐츠가 사용자에게 직접 전달되는 상황을 줄일 수 있다는 설명이다. '주제 제어(Topic Control)'는 대화 주제가 시스템 프롬프트나 브랜드 정책에서 벗어나지 않도록 관리한다. 단순 질의응답을 넘어 여러 차례의 대화가 이어질 때 에이전트가 불필요하거나 민감한 영역으로 빠지는 것을 막아주는 역할을 한다. 일례로 자동차 제조사 에이전트의 경우 경쟁사 차량과의 비교 등의 발언을 아예 금지하거나 특정 주제만 다루도록 제한하는 식이다. 복잡한 대화가 진행될수록 브랜드 일관성·규제 준수가 중요해지는 산업군에서 특히 주목받고 있다. '탈옥(Jailbreak) 방지' 모델은 AI 모델이 설정된 보호 장치를 교묘하게 우회해 민감 정보를 드러내거나 부적절한 기능을 수행하지 못하도록 막는다. 엔비디아는 1만7천 개 이상의 악의적 프롬프트 샘플을 통해 모델을 학습시켰으며 내부의 LLM 레드팀 테스트 툴을 활용해 새롭게 등장하는 공격 방식을 지속적으로 탐지·학습한다. 이를 통해 기업들이 실제 환경에서 운영 중인 AI 에이전트의 보안을 한층 더 강화하고 있다. '네모 가드레일'은 엔비디아 AI 엔터프라이즈 라이선스 체계로 운영되며 GPU당 연간 4천500달러(한화 약 630만원) 선의 비용이 소요된다. 실제 사용량과 기업 규모에 따라 차이가 발생할 수 있으나 개발 및 배포 효율성·안정성을 감안하면 비용 대비 효과가 충분하다는 것이 엔비디아 측의 설명이다. 이와 별개로 네모 가드레일 기본 프레임워크 자체는 오픈소스로 무료 제공된다. 이러한 기본 모드의 오픈소스 정책에 따라 기업이 직접 정책을 추가하거나 서드파티 가드레일을 도입하기가 용이하다. 엔비디아 측은 모든 이용 사례와 규정을 자사가 일일이 규정할 수 없으므로 오픈소스·모듈형 설계를 채택해 각 기업이 상황에 맞게 커스터마이징할 수 있게 했다는 입장이다. 업계에서는 특정 산업 규제나 민감 데이터 처리를 위한 맞춤형 가드레일을 구축하기 한층 수월해졌다는 평가를 하고 있다. 실제로 소매업, 통신사, 자동차 산업 등 다양한 분야의 기업들이 이미 '네모 가드레일'을 활용해 에이전트 제어 시스템을 구현하고 있다. 민감한 금융·청구 관련 정보를 다루거나 안전 운행을 보조해야 하는 경우처럼 오류나 부적절한 정보 노출이 절대 불가한 상황에서 가드레일의 역할이 돋보인다는 설명이다. 업계 전문가들은 "에이전틱 AI 시대에 IT 부서들이 AI를 인사·총무처럼 관리할 필요성이 커지는 와중에 이런 역할을 수행하는 솔루션 중 하나가 '네모 가드레일'"이라며 "가드레일 도입을 통해 AI가 사용자에게 줄 수 있는 가치는 키우면서도 위험 요소는 줄이는 길이 열리도록 해야한다"고 평가했다.

2025.01.16 23:05조이환 기자

고학수 위원장 "올해 개보위 핵심은 AI…안전연구소 협력 의지"

개인정보보호위원회가 올해 안전한 인공지능(AI) 생태계 조성을 위해 AI안전연구소와 협력할 의지를 내비쳤다. 고학수 개인정보위 위원장은 16일 서울 정부청사에서 열린 정례 브리핑에서 이같은 업무 계획을 밝혔다. 고학수 위원장은 "올해 개인정보위 키워드는 AI"라며 "지난 2년 동안 AI 영역을 자세히 들여다봤다면 올해부터 현장에서 프라이버시, 데이터 생태계 등 실질적인 AI 안전에 집중할 것"이라고 설명했다. 고 위원장은 최근 AI로 인해 발생한 딥페이크와 가짜뉴스, 환각현상 등 부작용이 발생했다고 지적했다. 이에 개인정보위가 늘 강조하는 개인의 자유와 존엄성이 훼손됐다는 설명이다. 그는 "특히 딥페이크는 개인의 존엄성을 전면 침해하고 있다"며 "이를 정부가 근본적으로 어떻게 해결할 것인가 고민해야 할 시점"이라고 말했다. 고 위원장은 AI 부작용 해결과 국민 자유·존엄성 보호를 위해 AI안전연구소와 협력할 것이라고 말했다. 구체적으로는 AI 서비스에 적용되는 데이터 프라이버시 관련 영역에서 가이드라인·관리 모형 등에 협력할 계획이다. 그는"최근 AI안전연구소를 산하로 둔 한국전자통신연구원(ETRI)과 한국정보통신기술협회(TTA)가 지난해 12월 발표한 개인정보위의 AI 리스크 관리 모형에 큰 관심을 보였다"며 "이는 AI안전연구소 입장에서도 당연히 들여다볼 법한 영역이기 때문"이라고 강조했다. "공공영역 처벌법 고려해야"…구글·메타 소송 결과 '낙관' 고학수 위원장은 공공영역 과징금 규모와 처벌 수위를 고려해야 한다고 주장했다. 이는 공공영역 과징금 규모가 민간기업에 비해 낮다는 평가에 대한 반응이다. 개정법 전 공공기관 과징금 상한선은 5억원이었지만 지난해 이를 20억원으로 상향조정됐다. 그러나 여전히 민간기업에 비해 낮은 수준이라는 지적이 이어지고 있다. 이에 고 위원장은 "공공영역은 국민 세금으로 운영되는 곳"이라며 "과징금을 높게 부과하는 것이 세금 낭비로 이어질 수 있다"고 설명했다. 그러면서 "과징금이 아닌 다른 방향으로 처벌을 진행하는 방향으로 바꿀 필요가 있다"고 강조했다. 실제 개인정보위는 공공기관 처벌 사실을 공표하는 것을 선택에서 의무로 전환한 바 있다. 한 번 초사 처분 된 기관은 3년 동안 반복적으로 점검할 수 있는 시스템도 구축된 상태다. 조직 내부에서 문제가 발견될 때 조직적 문제와 개인적 문제를 구분해 징계하는 방식도 추진 중이다. 고학수 위원장은 오는 23일 판결 예정인 구글·메타 소송을 낙관적으로 기대한다고 말했다. 그는 "조만간 결정이 이뤄질 사안"이라며 "낙관적으로 생각하지만 100% 장담할 수는 없는 상황"이라고 덧붙였다.

2025.01.16 17:01김미정 기자

AI 기술 활용한 약물-심혈관계 부작용 예측 모델 개발 추진

한국의약품안전관리원(이하 의약품안전원)은 '인공지능 기반 심혈관계 부작용 예측 모델 개발 사업'을 추진, 오는 24일까지 제안서를 접수한다고 밝혔다. 의약품안전원은 주요 의약품 부작용의 일종인 심혈관계 부작용의 발생 가능성을 낮추고 위해요인을 파악하기 위해 이번 용역을 실시, 사업을 통해 주요 약물-심혈관계 부작용 분석의 기초 기술을 개발해 능동적 약물감시 경쟁력이 한층 더 향상될 것으로 기대하고 있다. 사업 참여 대상 기관은 ▲ 공통데이터모델(Common Data model, CDM)을 활용한 인공지능 기반의 심혈관계 부작용 예측모델 개발 ▲ 다기관 자료를 활용한 모델 성능 및 유용성 검증 등의 역할을 수행하며, 선정 기준에 따라 총 1개소를 선정할 계획이다. 예산은 7천만원, 사업수행 기간은 11월까지이다. 한편 의약품안전원은 '병원 전자의무기록(EHR) 기반 공통데이터모델(CDM) 확대 구축사업'에 참여할 3개 수행기관을 오는 21일까지 모집한다. CDM은 의료기관별 다양한 전자의무기록 양식에 기록된 환자 정보 중 '인구통계학적 정보, 진단, 처방약, 시술, 검사결과' 등 의약품 부작용 분석에 필수적인 데이터를 추출해 표준화한 모델이다. 의약품안전원은 2018년부터 2024년까지 총 30개 의료기관에서 3천896만명의 환자 정보를 CDM으로 구축해 개인정보 유출 없이 신속·정확한 약물 사용 양상을 파악하고 부작용을 분석하는 등 공익 목적으로 활용하고 있다. 올해에는 3개 신규 기관에 각 4천만원, 총 1억2천만원을 지원해 환자 정보를 더욱 많이 확보하고 의약품 부작용 관리 기반을 더욱 강화한다는 계획이다.

2025.01.08 16:59조민규 기자