• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'안전성'통합검색 결과 입니다. (26건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

씽크포비엘, 'AI 신뢰성 자격증' 신설…수도권 중심 채용 깨질까

씽크포비엘이 인공지능(AI) 신뢰성 기술을 다루는 민간 공인 자격 교육과정을 신설했다. 씽크포비엘은 오는 27일까지 국립군산대에서 'AI 신뢰성 검증 기술' 비교과 과정을 운영한다고 26일 밝혔다. 교육은 전북특별자치도와 전북테크노파크가 후원하며 국립군산대 ICT특성화취업연계형사업단이 주관했다. 실무 교육과 자격검정은 씽크포비엘이 직접 맡았다. 교육 과정에서는 농생명 분야 데이터를 중심으로 다양성과 편향성을 진단하는 시나리오 작성법, 신뢰 가능한 AI 개발의 기본 개념, 기술 적용 프로세스 등이 다뤄진다. 마지막 날 수강생을 대상으로 한 자격시험도 예정돼 있다. 시험을 통과한 수강생에게는 산업통상자원부 산하 한국산업지능화협회가 '산업인공지능데이터검증전문가' 2급 자격을 부여한다. 지난해까지 비공인 상태였던 이 과정은 지난 2월 한국직업능력연구원에 정식 등록돼 민간 공인 자격으로 전환됐다. 자격증은 기존 'AI 신뢰성 검증전문가'와는 다르다. 이번 과정은 AI 검증 기술 중에서도 데이터 밸런스 진단 기법을 중심으로 다룬다. 씽크포비엘은 해당 기술을 독자 교육과정에 지난 2020년부터 6년째 적용해 왔으며 지난해에는 시범적으로 내부 자격증을 부여한 바 있다. 회사 측은 민간 공인을 받지 못한 탓에 지금까지 수료생들의 취업 연계가 어려웠다는 점을 이번에 보완했다고 설명했다. 공인 자격이 생기면서 산업 현장에서도 검증된 인력으로 인정받을 수 있는 여지가 생겼다는 평가다. 이 협회는 향후 이 자격증을 산업디지털전환촉진법에 따라 디지털 전환(DX) 전문기업 인증 조건으로 포함하는 방안을 검토 중이다. 자격증이 법적 요건과 연결될 경우 기업 수요도 동시에 창출돼 교육과 취업 연계를 동시에 강화할 수 있을 전망이다. 이번 과정은 특히 수도권 외 대학 출신 인재에게 기회가 된다는 점에서 주목받는다. AI 신뢰성 검증 분야는 도입 초기 단계여서 특정 출신 학교 중심으로 채용이 이뤄지지 않고 있으며 기술 숙련도 위주로 평가받는 구조라는 것이 회사의 설명이다. 국제적 관심도 확산되는 분위기다. 태국 정부는 지난해부터 AI 신뢰성 아카데미 설립을 준비하고 있으며 우즈베키스탄 역시 유사한 형태의 국가 지원 교육기관 설립을 검토하고 있는 것으로 알려졌다. 국내 교육 모델의 수출 가능성도 점쳐진다. 박지환 씽크포비엘 대표는 "기존 소프트웨어 개발 인력은 바이브 코딩 등으로 입지가 흔들리는 상황"이라며 "데이터 검증 전문인력은 AI 신뢰성 확보라는 새로운 영역에서 대안 직군으로 부상하고 있다"고 말했다.

2025.06.26 15:44조이환

앤트로픽 "韓, AI 혁신 거점…파트너십·투자 지속할 것"

"한국은 우리가 각별한 관심을 갖고 있는 지역입니다. 현재 콕스웨이브, SK텔레콤을 포함한 파트너들과 함께 한국 인공지능(AI) 생태계에서 협업을 하고 있는 상태로, 향후에도 이러한 관계를 보다 확장해 나갈 계획입니다. 한국의 기업, 인재, 기술 기반은 언제나 우리에게 큰 자극이 됩니다." 레이철 팡 앤트로픽 산업 솔루션 리드(Industry Solutions Lead)는 최근 지디넷코리아와의 온라인 인터뷰에서 이같이 말했다. 이날 앤트로픽은 한국 협력 확대 방침을 알리는 동시에 '클로드(Claude)' AI를 포함한 회사의 기술에 대한 한국 시장의 반응을 조명했다. 23일 업계에 따르면 앤트로픽은 국내 스타트업 생태계와의 협력을 본격적으로 확대하고 있다. 기업 고객 수요가 빠르게 증가하는 가운데 코딩·법률·콘텐츠 등 고차원 언어 활용 사례를 중심으로 기술 적용 범위를 넓혀가는 모습이다. 앤트로픽은 오픈AI, 구글 딥마인드와 더불어 세계 3대 '프론티어 AI' 개발사로 평가받는다. 오픈AI에서 AI 안전에 대한 견해 차이로 회사를 나온 다리오 아모데이 최고경영자(CEO)가 지난 2021년 설립했다. 설립 초기부터 거대언어모델(LLM) '클로드' 시리즈를 통해 AI가 인간의 의도에 맞춰 안전하게 작동하도록 하는 '정렬(Alignment)' 기술에 역량을 집중해 왔다. 최신 모델인 '클로드 4'를 통해서는 코딩 및 에이전틱 오케스트레이션 성능을 한층 끌어올려 개발자 생태계 확장을 가속화하고 있다. 국내 생태계와의 교류도 활발하다. 지난 3월에는 AI의 안전성을 위해 대화형 AI의 위험 발화를 탐지·차단하는 '얼라인(Align)' 플랫폼을 개발하는 콕스웨이브와 함께 '코리아 빌더 서밋'을 개최했다. 지난 5월에는 에릭 번즈 필드 최고기술책임자(CTO)가 메가존클라우드의 행사에 방한해 국내 기업들과 교류했다. 더불어 팡 리드는 오는 27일 서울시 강남 코엑스에서 열리는 '넥스트라이즈(NextRise)' 행사에 직접 참석해 이엽 콕스웨이브 이사와 파이어사이드 챗을 진행할 예정이다. '넥스트라이즈'에 함께 참가하는 콕스웨이브는 앤트로픽이 한국 시장과의 접점을 넓히는 데 핵심적인 역할을 해온 파트너다. 두 회사는 1년 넘게 협력 관계를 이어오고 있으며 이엽 이사는 국내 행사 기획과 생태계 연결 과정에서 중심적인 역할을 맡아왔다. 이번 행사 역시 양측의 긴밀한 공조를 바탕으로 추진됐다. 국내 활용 사례 측면에서 '클로드'의 한국어 처리 능력은 특히 높은 평가를 받고 있다. 팡 리드는 "지난 '빌더 서밋' 행사에서 한 파트너가 '클로드는 한국어의 뉘앙스를 아름답게 포착한다'고 말한 것이 인상 깊었다"며 "현재는 법률 문서, 기술 보고서, 콘텐츠 생성 등 다양한 분야에서 실제 활용이 빠르게 확산되고 있다"고 밝혔다. 한국 시장에 집중하는 배경으로는 수백 개에 이르는 국내 기업들의 높은 관심이 지속되고 있다는 점을 꼽았다. 앤트로픽은 이러한 수요에 대응해 지원과 투자를 확대하는 방향으로 전략을 설정하고 있다. 실제로 스타트업부터 대기업에 이르기까지 '클로드'의 활용이 다양한 방식으로 이뤄지고 있다는 판단에 기반한 결정이다. 국내 유즈케이스 측면에서는 소프트웨어 엔지니어링을 중심으로 '클로드'의 적용이 신속히 확산 중이다. 앤트로픽은 회사 내부에서도 '클로드 코드(Claude Code)' 제품을 활용해 자체 개발 역량을 높이고 있으며 스타트업들이 이를 바탕으로 생산성 도구를 개발하는 방식으로 파트너십을 형성하고 있다. 산업별 확장성에 대한 질문에는 특정 버티컬에 국한되지 않는다는 입장을 밝혔다. 스타트업은 물론 SK텔레콤과 같은 대기업도 고객층에 포함돼 있으며 응용 프로그램 인터페이스(API) 기반 툴 개발부터 문서 요약, 법률 분석, 콘텐츠 기획 등 거의 모든 분야에서 접점이 형성되고 있다는 설명이다. 팡 리드는 국내 지사 설립 여부에 대한 기자의 질문에 "현시점에서 구체적으로 밝힐 수 있는 계획은 없다"면서도 "한국 시장과 AI 생태계가 우리에게 매우 중요하단 점은 다시 한번 강조하고 싶다"고 밝혔다. 이어 "구글 클라우드 플랫폼(GCP), 아마존 웹서비스(AWS) 등 주요 클라우드 파트너들과 협력해 현지 고객과의 접점을 넓히는 데 주력하고 있다"고 말했다. AI 안전성 전략도 한국 시장과의 접점을 고려해 이어질 전망이다. 안전을 주요 기치로 시작된 기업 답게 시장 진출(GTM) 외에도 정렬(Alignment), 해석 가능성(Interpretability), 사회적 영향(Societal Impacts) 등 핵심 가치를 전담하는 팀이 내부에 존재하며 이들의 활동이 실제 제품 운영과 고객 대응에까지 영향을 미치고 있다는 설명이다. 팡 리드는 "우리는 사업을 영위하는 모든 시장에서 안전성과 정렬성을 핵심 운영 원칙으로 삼고 있다"며 "한국도 예외가 아니다"고 강조했다. 교육 분야 협력 가능성도 열려 있다. 앤트로픽은 런던 정치경제대학교(LSE), 시드니대학교 등과 함께 학습 모드 및 비판적 사고 유도 기능을 포함한 교육용 '클로드' 모델을 운영 중이다. 팡 리드는 "전 세계 대학들과의 파트너십은 우리가 깊이 전념하는 분야"라며 "학생들이 '클로드'를 유용하게 활용하는 사례를 확인하고 있다"고 말했다. 이어 "한국 역시 중요한 고려 대상"이라고 밝혔다. 앤트로픽은 최근 급속한 확장 속에서도 조직 문화 유지를 위해 노력하고 있다. 팡 리드는 앤트로픽이 직원 수를 500명에서 최근 1천 명 이상으로 늘렸지만 여전히 '말과 행동을 일치시키고자 하는(Practice what we preach)' 가치관을 공유하는 인재를 선별해 유치하는 데 집중하고 있다고 설명했다. 그는 "우리가 중요하게 여기는 가치에 부합하는 사람들과 함께하기 위해 정말 열심히 집중하고 있다"고 밝혔다. 앤트로픽은 인터뷰를 마치며 한국 이용자·기업 파트너·잠재적 지원자에게 차례로 메시지를 전했다. 레이철 팡 앤트로픽 리드는 "일반 이용자는 무료 앱인 '클로드'를 직접 사용해 프롬프트 구성과 맥락 조율 과정을 체험해 보길 권한다"며 "기업 파트너는 코딩·에이전틱 AI(Agentic AI) 분야에서 '클로드'의 강점을 활용해 적극적인 피드백과 실험을 이어 가달라"고 밝혔다. 이어 그는 "우리 사명에 공감하는 인재는 언제나 환영한다"며 "이는 지사 설립 여부나 한국에 한정된 이야기가 아니라 우리가 사람을 뽑을 때 보는 핵심 원칙"이라고 말했다. 다음은 레이철 팡 앤트로픽 산업 솔루션 리드와 일문일답. Q. 앤트로픽이 아시아 여러 시장 중에서 특히 한국에 집중하는 이유는 무엇인가. 이를 한 문장으로 요약한다면 어떻게 표현할 수 있나. A. 우리가 수백 개의 한국 기업들로부터 매우 높은 관심을 받고 있기 때문이다. 그 범위는 스타트업부터 대기업까지 다양하다. 이들을 지원하기 위해 지속적으로 투자해 나가는 것이 우리의 근본적 목표다. Q. 지난 3월 콕스웨이브와 함께 주관한 '코리아 빌더 서밋' 행사 이후 에릭 번즈 필드 CTO가 메가존클라우드가 주최한 행사 참석을 위해 한국을 방문한 바 있다. 이번 달에는 넥스트라이즈(NextRise) 컨퍼런스에도 직접 참석할 예정인 것으로 알고 있다. 이번 방문의 주된 목적은 무엇인가. A. 우리는 항상 한국의 고객 및 잠재적 파트너들과 만날 기회를 지속적으로 모색하고 있다. '넥스트라이즈'에 참석하고 발표할 수 있는 기회가 주어졌을 때 참여할 만한 훌륭한 행사라고 판단했다. 현재 고객뿐 아니라 잠재적인 파트너들과도 직접 교류할 좋은 기회라고 생각했다. Q. 앤트로픽은 기업과 IT 업계 전문가들 사이에서는 상징성이 큰 기업이지만 일반 대중에게는 아직 오픈AI만큼 널리 알려지지 않았을 수 있다. 이같은 상황에서 앤트로픽이 한국이나 아시아 시장에 제시할 수 있는 가장 핵심적인 차별점은 무엇이라고 생각하는가. A. 앤트로픽은 다른 프론티어 AI 랩들과는 여러 면에서 다르게 접근하고 있다. 이러한 차이는 회사의 DNA와도 같은 핵심적인 정체성에서 비롯된다. 우리는 모델이 모든 활동에서 '도움이 되고(Helpful)', '정직하며(Honest)', '해롭지 않게(Harmless)' 작동해야 한다고 본다. 일례로 '도움이 되는'의 대표적인 사례는 우리가 최초로 공개한 '모델 컨텍스트 프로토콜(MCP)'을 들 수 있다. MCP는 거대언어모델이 외부 데이터와 애플리케이션·도구를 통일된 메시지 형식으로 안전하게 호출·연결하도록 규정한 개방형 통신 프로토콜로, 현재 업계 표준으로 자리 잡았으며 고객에게 실질적으로 유용한 도구를 만들기 위한 실용적 접근 방식이다. 또 '정직하고 해롭지 않음'에 대한 약속의 일환으로, 우리는 안전성을 확보하기 위해 레드팀 운영과 다양한 테스트에 지속적으로 투자하고 있다. 이러한 과정을 통해 고객사와 내부 팀 모두가 신뢰할 수 있고 자신감을 가질 수 있는 솔루션을 개발할 수 있다고 본다. Q. 앤트로픽 자체가 지난 2021년 인공지능(AI)의 안전 문제에 깊은 관심을 가져온 다리오 아모데이 최고경영자(CEO)로부터 시작된 것으로 안다. A. 맞다. 이에 더해 우리는 최근 '클로드 4(Claude 4)'를 출시했고 이를 통해 AI 모델 개발의 최전선에 섰다. 특히 '클로드 4'의 경우 코딩 분야에서의 활용이 주요 사용 사례 중 하나이며 에이전틱 오케스트레이션(Agentic Orchestration)과 결합해 강력한 성능을 보이고 있다. Q. 지난 3월 '빌더 서밋' 행사에서도 마이크 크리거 최고 프로덕트 책임자(CPO)에 의해 언급된 바 있는데 '클로드'의 한국어 능력에 대해 한국 사용자들의 관심이 많다. 현재 기준에서 클로드의 한국어 대응력은 어떤 수준이라고 평가하는가. 최근 모델 출시 이후 개선된 부분이 있다면 구체적으로 설명해줄 수 있는가. A. 행사 당시 마이크 및 한국 고객 몇 분과 같은 테이블에 있었다. 당시 많은 고객들이 '클로드'가 한국어를 매우 잘 처리한다고 평가한 것이 기억난다. 실제로 한 고객은 클로드가 한국어의 뉘앙스를 다른 모델들보다 매우 아름답게 포착한다고 말하기도 했다. 이러한 피드백을 한국의 다양한 고객들로부터 반복적으로 들을 때마다 매우 기쁘다. 전반적으로 우리의 다국어 성능 강화 전략은 자연스럽게 한국어에도 확장된다. 피드백은 항상 소중하게 다루며 언어나 모델 관련 기능에 대한 의견을 받을 경우 고객들과 직접 협력해 해당 사항을 반영하고 있다. 추가로 고무적인 것은 한국 기업들의 활용 사례를 보면 단순히 언어 처리에 그치지 않는다는 점이다. 법률 문서 분석, 콘텐츠 생성, 심지어 기술 문서 작성 등 고난도 추론이 필요한 작업까지 확대되고 있다. 이는 우리 모델이 단순한 언어적 메커니즘을 넘어서는 무언가를 포착하고 있다는 신호라고 본다. Q. 주변에서 비슷한 사례를 봤다. 독일 철학 전공 박사 과정 중인 지인이 생성형 AI 초기에는 이를 "확률적 앵무새"라고 평가절하했지만 '클로드'를 사용한 이후에는 가장 가까운 친구처럼 여기게 됐다. 모델이 발전할수록 언어 능력도 함께 개선되고 있다고 보나. A. 각 모델이 발전함에 따라 언어 능력이 어떻게 개선되는지를 묻는 건 매우 유의미한 질문이다. 여기서 말하는 언어는 한국어를 포함한 모든 언어를 의미한다. 우리는 언어 능력이 전반적으로 향상되고 있다는 점을 확인하고 있다. 이들이 '클로드 3.5'에서 '오푸스'나 '소네트'로 이어지는 과정에서 보이는 진화는 지속적으로 관찰되고 있다. 정성적 사용자 피드백과 정량적 지표를 함께 반영하며 모델 개선 방향을 수립하고 있다. 향후에도 이 영역은 중요한 평가 기준 중 하나가 될 것이라고 본다. Q. 다음은 '코리아 빌더 서밋'에 대한 질문이다. 대부분의 프론티어 AI 연구소들은 아시아에서 행사를 열 때 일본 도쿄나 싱가포르를 우선적으로 선택한다. 앤트로픽이 한국에서 먼저 행사를 개최한 결정은 이례적이었다. 이에 한국 내 대중의 관심이 컸고 앤트로픽의 결정에 대해 기쁨의 반응도 있었다. 한국에서 먼저 행사를 개최한 근본적인 이유는 무엇인가. A. 먼저 감사하다는 말씀을 드린다. '빌더 서밋'에 대해 많은 긍정적인 피드백을 받았고 매우 의미 있는 행사였다고 본다. 현장에 직접 있었는데 에너지가 정말 대단했다. 행사를 한국에서 개최하게 된 동기는 결국 한국 스타트업들로부터 확인한 높은 관심과 열정이었다. 우리는 이러한 분위기가 좋은 행사로 이어질 수 있다고 확신했다. 콕스웨이브를 비롯한 여러 스타트업들과의 파트너십도 성공적인 행사 운영에 크게 기여했다고 생각한다. Q. 콕스웨이브는 빌더 서밋의 성공에 핵심적인 역할을 했던 것으로 안다. 앤트로픽과 콕스웨이브의 파트너십은 어떻게 시작됐고 어떻게 이어지고 있는가. 또 콕스웨이브는 AI의 정렬과 안전성에 중점을 두고 있다. 두 회사의 협력 배경에 철학적 접점이 작용했는가. A. 우리 두 회사는 방향성이 매우 잘 맞는다. 콕스웨이브와는 1년 넘게 관계를 이어오고 있으며 지난 3월 행사도 우리 계획을 알자마자 매우 적극적으로 협력해주고 큰 도움을 줬다. 현재도 긴밀한 협력이 지속되고 있다. 특히 이엽(Yeop Lee) 이사는 우리가 한국 스타트업 생태계를 잇는 데 핵심적인 역할을 했고 행사에서도 매우 훌륭한 파트너다. 이번 '넥스트라이즈(NextRise)' 행사에서도 함께 움직이고 있으며 우리가 현지 행사 및 시장에 보다 깊이 관여할 수 있도록 적극적으로 지원해주고 있다. 콕스웨이브와의 파트너십을 향후에도 계속 이어갈 수 있어 기쁘게 생각한다. Q. 빌더 서밋 행사에는 콕스웨이브 외에도 라이너, 뤼튼 테크놀로지스, 링크알파 등 여러 활발한 국내 스타트업들이 참석했다. 협업이나 접촉 경험을 바탕으로 보았을 때 한국 내 어떤 산업 분야나 비즈니스 유형이 가장 흥미롭게 느껴졌는가. A. 솔직히 말하자면 정말 다양한 사용 사례에 깊은 인상을 받았다. 한국 기업들이 해결하려는 문제와 적용 사례는 전반적으로 정말 대단하다. 앞서 언급됐듯 우리가 강점을 보이는 분야는 코딩이다. 많은 한국 스타트업들이 소프트웨어 엔지니어링 제품을 개발하면서 이를 적극 활용하고 있다. 사실 우리는 내부적으로도 퍼스트파티 코딩 에이전트 제품인 '클로드 코드(Claude Code)'를 활용해 자체 개발 효율을 높이고 있다. 그 외에도 소비자용 글쓰기 애플리케이션, 복잡한 법률 분석 등에서 흥미로운 사용 사례들을 확인할 수 있었다. Q. 앞서 '클로드'의 강점이 여러 차례 언급됐다. 그렇다면 한국의 비즈니스와 스타트업 환경을 고려할 때 어떤 산업이나 기업 유형이 앤트로픽과 가장 잘 맞는 파트너라고 보는가. 다시 말해 어떤 분야가 '클로드'의 강점을 가장 잘 극대화할 수 있다고 보나. A. 일반적으로는 지난 3월에도 언급한 바와 같이 스타트업을 주요 파트너로 보고 있지만 동시에 SK텔레콤같은 대기업도 이미 파트너다. 다시 말해 한국 생태계 전반의 다양한 기업들을 고객으로 두고 있다. 특정 산업에 국한되지 않고 산업 규모나 기업 유형을 가리지 않고 넓은 범위를 보고 있다. 앤트로픽의 응용 프로그램 인터페이스(API)를 활용하는 기업들은 내부·외부용 도구를 개발할 뿐 아니라 '클로드 포 워크(Claude for Work)' 애플리케이션이나 '클로드 코드' 제품도 적극 활용하고 있다. 고객과의 관계에서 우리가 정말로 중요하게 생각하는 것은 빠른 도입보다는 가치를 극대화하는 것이다. 즉, 명확한 목표와 측정 가능한 결과물을 설정한 채 우리 팀과 밀접하게 협력하는 방식이다. 우리는 이러한 지점에서 고객들이 성공하는 것을 지원하고 있다. Q. 지난 3월 '빌더 서밋' 행사에서 케이트 젠슨 매출 총괄 책임자가 "곧 다시 돌아오겠다"고 했다. 이에 대해 국내 언론과 기술 커뮤니티에서는 매우 열광적인 반응을 보였다. 앤트로픽이 한국 내에 지역 거점 설립을 검토하고 있다고 봐도 되는가. A. 우선 한국 시장과 AI 생태계를 매우 중요하게 보고 있다는 점을 먼저 말씀드리고 싶다. 다만 향후 오피스 설립과 관련된 계획에 대해서는 현시점에서 공유할 수 있는 구체적인 내용은 없다. 한국에는 수많은 소중한 파트너들이 있기 때문에 지속적으로 방문하며 직접 소통하고 있으며 구글 클라우드 플랫폼(GCP), 아마존 웹서비스(AWS) 등 주요 클라우드 파트너와의 협업에도 집중하고 있다. 지사 설립 여부는 내부 논의 중인 사안으로, 현재로서는 답변이 어렵다. Q. 아직 구체적인 계획은 없다고 했는데 장기적인 관점에서는 어떠한가. 일례로 향후 5년 내 설립 여부와 같은 중장기적 측면에서 한국 지사 설립 계획을 공개할 수 있는가. A. 타당한 질문이다. 다만 특정 시점이나 계획을 확정된 것처럼 말했다가 나중에 그 내용이 달라지는 것은 바람직하지 않다고 본다. 일정이나 지역 등과 관련한 계획이 구체화되면 그때 공유하는 것이 적절하다고 생각한다. 현시점에서는 공유할 수 있는 정보가 제한적이다. Q. 앤트로픽은 AI 안전성과 신뢰성을 핵심 정체성으로 삼고 있다. 한국에도 AI 안전연구소, 콕스웨이브, 셀렉트스타 등 AI 안전 및 정렬에 주력하는 조직들과 스타트업들이 다수 존재한다. 한국 시장에 직접 진출할 경우 장기적으로 이 지역에서 기술적 안전성, 정렬, 사회적 지속가능성과 관련한 전략을 전개할 계획이 있는가. A. 우리는 향후에도 AI 안전성에 지속적으로 많은 에너지를 투입할 계획이다. 시장 진출(Go-to-market) 팀 외에도 정렬, 해석 가능성(Interpretability), 사회적 영향(Societal Impacts) 등을 다루는 전담 팀이 존재하며 이들의 활동은 전 세계적으로 우리 의사결정과 실제 운영에 실질적인 영향을 미치고 있다. 한국을 포함한 특정 지역 내에서의 안전 관련 업무 확대 계획에 대해서는 세부적으로 말할 수는 없지만 우리가 진출한 모든 시장에서 '안전'이라는 가치를 중심 운영 원칙으로 삼고 있다는 점은 분명히 말씀드릴 수 있다. Q. 프론티어 AI 기업들이 교육 분야 협력에 적극적으로 나서는 추세다. 앤트로픽은 런던정경대(LSE)와의 협력을 통해 교육 분야에 대한 관심을 드러냈다. 오픈AI는 애리조나 주립대와 옥스퍼드 등과 협업 중이다. 이러한 흐름을 고려할 때 앤트로픽이 장기적으로 한국의 고등교육기관과 협력할 계획이나 가능성은 어떻게 보는가. A. 전 세계 대학들과의 파트너십은 우리가 깊이 전념하는 분야다. LSE나 시드니대학교 등과의 협업을 통해 학생들이 '클로드'를 유용하게 활용하고 있는 사례를 확인하고 있다. 특히 교육용으로 맞춤화된 '클로드' 버전에는 단순히 답을 제공하는 것이 아니라 학생들의 추론 과정을 안내하는 전용 '학습 모드'가 포함돼 있다. 이는 비판적 사고력 함양에 중요한 요소라고 본다. 한국 내 특정 기관과의 협력 계획은 현시점에서 구체적으로 공유하기 어렵다. 다만 우리는 교육 분야에서의 협력을 전 세계적으로 지속적으로 모색하고 있으며 한국 역시 매우 중요한 고려 대상이다. Q. 마이크 크리거 CPO는 올해 초 한 인터뷰에서 앤트로픽은 직원 간 유대감이 매우 강한 기업이며 전 세계 시장으로 확장할 때에도 이 문화를 유지하는 것이 핵심 과제 중 하나라고 언급한 바 있다. 현재 약 500명 수준인 인원이 앞으로 더 늘어날 것으로 예상되는 가운데 앤트로픽은 사업을 확장해 나가면서 이러한 조직 문화를 어떻게 보존할 계획인가. A. 우리 조직 문화는 '언행일치(Practice what we preach)'를 실천하는 데 기반하고 있다. 우리는 특정한 가치관을 중시하며 이러한 가치를 공유하는 인재들을 유치하기 위해 노력한다. 이는 회사의 사명을 지속하는 데도 중요하지만 조직 규모가 커지는 상황에서 문화를 유지하는 데에도 핵심적인 요소라고 생각한다. 이에 우리는 우리가 중요하게 여기는 가치에 부합하는 사람들과 함께하는데 심혈을 다해 집중하고 있다. 참고로 언급된 직원 수와 관련해 가장 최근에 공유된 공식 수치는 1천 명 이상이다. 보다 최신 수치가 있을 수도 있지만 현재로서는 1천 명 이상이라는 것이 가장 업데이트된 정보라고 보면 된다. Q. 마지막으로 ▲일반 사용자 또는 잠재 사용자에게 ▲한국의 잠재적 파트너(기업 및 스타트업)에게 ▲향후 설립될지도 모르는 '앤트로픽 코리아'에 합류하기를 희망하는 잠재적 인재들에게 각각 짧은 메시지를 부탁드린다. A. 일반 사용자나 잠재적 사용자에게 전하고 싶은 메시지는 앞서 언급된 (철학 박사) 친구처럼 직접 '클로드'를 사용해보면 그 진가를 알 수 있다는 점이다. 가장 실용적인 조언은 '클로드'는 무료 앱이니 직접 써보라는 것이다. 처음에는 프롬프트 작성이나 모델과 소통하는 방식이 낯설 수 있다. 동료에게 설명하듯 충분한 맥락을 주고 모델에 도움을 요청해보면 그 효용을 직접 체감할 수 있을 것이다. 기업들에 대해서는 현재의 흐름에 계속 동참해주시길 바란다. 우리 모델에 대한 기업들의 관심과 지지에 감사한다. 여러분께서 '클로드' 모델을 실제로 사용하고 피드백을 주는 것이 중요하다. 특히 코딩과 에이전틱 AI 분야는 우리 모델이 강점을 가진 영역이므로 해당 분야에서의 활용을 적극 권장한다. 마지막으로 한국에 지사가 설립된다는 전제를 두고 말하긴 어렵지만 우리는 항상 우리의 사명에 진정으로 공감하고 열정을 가진 인재를 찾는다. 같은 가치를 공유하는 것은 언제나 핵심적이다. 구체적인 채용 기회는 공식 홈페이지의 커리어 페이지를 주시해주시길 바란다. 팀은 계속해서 성장 중이다.

2025.06.23 12:58조이환

"무산된 SB 1047, 부활하나"…캘리포니아, AI 외부 규제안 다시 꺼냈다

캘리포니아가 인공지능(AI) 기술에 대한 새로운 규제 정책 구상을 내놨다. 지난해 포괄적 규제 법안이 주지사 거부권으로 무산된 뒤 다시 시도되는 조치로, 규제 대상에 대한 기준은 완화됐지만 외부 감시와 고위험 통제를 강하게 요구하는 방향이다. 18일 더버지에 따르면 미국 캘리포니아 주정부는 최근 AI 거버넌스 로드맵인 '캘리포니아 최첨단 정책 보고서'를 공개했다. 보고서는 페이페이 리 스탠퍼드 대학교 교수, 제니퍼 차이스 UC버클리 교수 등 현지 AI·정책 전문가들이 공동 집필했으며 총 52쪽 분량으로 구성됐다. 이 보고서는 지난해 캘리포니아 의회를 통과한 AI 규제 법안 'SB 1047'이 주지사 거부권에 의해 무산된 이후 마련됐다. 당시 법안은 고비용 대형 모델에 대한 위험성 사전 테스트를 의무화하려 했지만 일률적이고 과도하다는 이유로 폐기됐다. 이에 개빈 뉴섬 주지사는 규제와 혁신을 함께 고려할 수 있는 새로운 정책 대안을 주문했고 이번 보고서가 그 결과물이다. 보고서는 AI 모델의 추론 능력과 사고의 연쇄(CoT) 방식 등 핵심 기술이 신속히 진화하고 있다고 지적했다. 특히 화학·생물·방사능·핵(CBRN) 무기와 관련한 위험성이 커지고 있으며 실제로 일부 기업이 해당 기능의 급속한 향상을 자발적으로 보고한 사례도 언급됐다. 더불어 AI 기술의 파급력이 농업, 생명공학, 청정 기술, 교육, 금융, 의료, 교통 등 산업 전반에 미칠 수 있다고 분석했다. 특히 기술 활용을 촉진하는 동시에 위험성 관리가 병행되지 않으면 '돌이킬 수 없는 피해'가 발생할 수 있다고 경고했다. 다만 기존 AI 규제 논의에서 활용돼 온 '훈련에 투입된 연산량(컴퓨트) 기준'은 한계가 있다는 것이 보고서의 주장이다. 이 같은 지표는 초기 필터로는 활용할 수 있지만 실제 위험도나 사회적 파급력은 고려하지 못한다는 지적으로, AI 모델 도입 전 단계의 위험 평가와 실사용 단계에서의 영향 분석이 병행돼야 한다고 제안했다. 현행 AI 산업 전반의 문제로는 데이터 확보 방식, 보안 절차, 사전 테스트, 사회적 영향 분석 등 주요 과정에서의 구조적 불투명성이 지목됐다. 또 기업 스스로가 모델의 위험성을 충분히 이해하고 대응할 수 있다는 전제가 현실과 맞지 않는다고 판단했다. 이에 보고서는 제3자 평가 체계 도입을 핵심 방안으로 제시했다. 현재는 기업 자체 검증이나 계약된 외부 업체 중심으로 모델 안정성 평가가 이뤄지고 있지만 이는 검증 범위와 신뢰도 면에서 한계가 있다는 것이다. 제3자 평가는 다양한 배경의 전문가 수천 명이 참여할 수 있어 기업 내부 인력보다 범위와 시각 모두에서 우위에 있다는 주장이다. 동시에 제3자 평가자에 대한 법적·기술적 보호장치인 '세이프 하버(Safe Harbor)' 조항 신설과, AI 피해를 입은 이용자들이 신고할 수 있는 체계 마련도 제안했다. 이 같은 보호 조치는 사이버 보안 분야에서 제3자 침투 테스트를 보호하는 법제도와 유사한 방식이다. 보고서는 "완벽한 안전 정책이라도 모든 피해를 100% 막을 수 없다"며 "대형 모델의 상용화가 본격화된 만큼 실제 사례에서 나타나는 피해를 추적하고 이해하는 작업이 더욱 중요해지고 있다"고 밝혔다. 스콧 싱어 보고서 공동 저자는 더버지와의 인터뷰에서 "연방 차원의 AI 정책 논의가 완전히 재편되고 있다"며 "캘리포니아는 상식적인 규제 조화를 이끌 수 있는 선도 주체가 될 수 있다"고 밝혔다.

2025.06.18 09:21조이환

셀렉트스타, '다투모 이밸'로 금융권 공략…삼성생명과 데이터 품질 '실증'

셀렉트스타가 삼성생명과 함께 금융권에 특화된 인공지능(AI) 신뢰성 검증 프로젝트에 돌입했다. 고신뢰 산업군의 실제 업무 기준에 부합하는 데이터와 모델 평가 체계를 마련하려는 행보다. 셀렉트스타는 삼성금융네트웍스의 오픈 이노베이션 프로그램 '2025 씨랩 아웃사이드(C-Lab Outside)'에 최종 선정돼 삼성생명과 5개월간 협업을 시작했다고 5일 밝혔다. 셀렉트스타는 이 프로젝트를 통해 약 3천만원 규모의 솔루션 개발비를 지원받는다. 이번 협업은 금융 도메인에 적합한 AI 모델의 검증 수요가 증가하는 가운데 이뤄졌다. 셀렉트스타의 데이터 컨설팅 역량을 접목해 내부 업무에 최적화된 거대언어모델(LLM) 검증 절차를 구축하는 데 초점이 맞춰졌다. 셀렉트스타는 삼성생명의 내부 데이터를 분석해 학습에 적합한 데이터 구축 전략을 수립하고 있다. 해당 데이터를 바탕으로 실제 서비스 환경에서 LLM의 응답이 내부 기준에 적합한지를 정량적으로 평가할 예정이다. 이 과정에서 활용되는 솔루션은 셀렉트스타의 자체 AI 신뢰성 검증 툴인 '다투모 이밸'이다. '다투모 이밸'은 업무 조건과 유사한 환경에서 모델 성능을 점검할 수 있어 금융처럼 오류 허용 범위가 좁은 산업군에 적합하다는 평가를 받는다. 삼성생명은 셀렉트스타와의 협업을 통해 데이터 기반의 실질적인 비즈니스 성과로 이어질 수 있는 성능 검증 결과를 도출하겠다는 계획이다. 김세엽 셀렉트스타 대표는 "금융 산업에서 AI 도입의 성패는 데이터 품질과 예측 가능성에 달려 있다"며 "삼성생명과의 협업을 통해 산업 기준에 맞는 AI 평가 프레임워크를 제시하겠다"고 밝혔다.

2025.06.05 13:01조이환

[현장] 육군시험평가단 "기술 발전·저출산 극복, AI 신뢰성 필수"…新 무기 시험체계 구축

"과학기술 발전에 대응하고 인구절벽 시대를 극복하기 위해서는 인공지능(AI)의 신뢰성 확보가 필수적입니다. 이에 우리는 AI 무기체계의 신뢰성을 확보하기 위한 새로운 시험평가 체계를 개발하고 있습니다. AI는 전력화 이후에도 지속적으로 학습하고 성능이 변화하기 때문에 기존의 실물 시험 방식만으로는 충분하지 않습니다." 김강민 육군시험평가단 중령은 4일 경기도 성남시 그래비티 서울 판교 호텔에서 열린 '2025 슈어 AI 테크 컨퍼런스'에서 이같이 말했다. 이날 행사는 슈어소프트테크가 AI 신뢰성·안전성을 위한 시험평가의 현재와 미래를 조망하기 위해 마련한 자리였다. 김 중령은 이날 발표에서 군이 자체적으로 설계한 AI 시험평가 절차, 데이터셋 운영 구조, 향후 추진 계획 등을 소개했다. 그는 AI 기반 무기체계의 신뢰성을 확보하기 위해 기존의 단발성 시험에서 벗어나 반복 가능하고 정량적인 평가 체계로의 전환이 필요하다고 강조했다. 육군의 AI 시험평가 절차는 여러 단계로 구성돼 있다. 먼저 AI 성능평가용 데이터셋을 활용해 기본 성능을 확인하고 보안 검토를 마친 군 전용 데이터를 이용해 추가 학습을 진행한다. 이후 실제 운용 환경에서 수집한 데이터를 기반으로 다시 한 번 성능을 평가한다. 더불어 육군은 수집된 데이터를 학습용과 검증용으로 나눈다. 모델의 성능 향상 여부를 정량적으로 검증하고 마지막으로는 전체 무기체계를 대상으로 체계 수준의 시험평가를 실시하기 위함이다. 이 같은 절차는 AI 모델이 실시간으로 변화하는 특성을 반영하기 위한 구조다. 이 과정에서 가장 중요한 핵심은 시험평가 전용 데이터셋의 품질이다. 군 작전 환경은 민간과 달리 예측 불가능하고 비정형적인 경우가 많아 일반적인 데이터로는 실효성 있는 평가가 어렵기 때문이다. 김 중령은 "우리는 수십만 장 분량의 데이터를 프레임 단위로 정제했다"며 "이 중 일부는 평가용, 나머지 일부는 학습용으로 구성했다"고 설명했다. 이어 "다양한 전술 환경, 객체 자세, 복장, 기상 조건 등을 반영해 실전과 유사한 조건에서 AI 성능을 평가하도록 지원하고 이 데이터셋은 제3기관의 검수를 거쳐 품질 검증도 완료됐다"고 밝혔다. AI 데이터셋의 다변화와 품질 보강을 위한 연구도 병행되고 있다. 김 중령에 따르면 육군은 향후 생성형 멀티모달 AI와 비전-언어 모델(VLM)을 결합해 부족한 데이터 유형을 보강하는 방식을 도입할 계획이다. 일례로, "낮에 걷는 일반 병사의 영상은 풍부하지만 눈 오는 밤에 포복하는 병사의 영상은 부족하다"는 품질 평가 결과를 프롬프트로 삼아 해당 조건을 보완하는 합성 데이터를 생성하겠다는 계획이다. 올해 시험평가단은 AI 무기체계 성능평가를 전담하는 조직을 신설했다. 내년부터는 주요 전력화 사업에 이 평가 절차를 실전 적용할 예정이다. 김 중령은 발표에서 "AI 신뢰성 검증은 단순히 기능 평가가 아니라 작전 환경에서 실제 사용 가능한지를 판단하는 핵심 요건"이라고 강조했다. 이어 "AI가 실물보다 데이터 기반으로 평가돼야 한다는 전환적 인식이 필요하다"고 덧붙였다. AI 강건성 평가 체계도 구체적으로 소개됐다. 이 체계는 AI 모델이 적대적 환경에서도 신뢰할 수 있는 성능을 유지하는지 시나리오별로 검증하고 향후에는 뉴런 커버리지 기반의 내부 구조 분석까지 확대한다. 이는 경량화된 AI 모델이 엣지 디바이스에서 안정적으로 작동해야 하는 군 운용 조건을 반영한 조치다. 김강민 중령은 "지금은 기술이 개념을 끌고 가는 시대"라며 "과거처럼 개념을 먼저 세우고 기술을 따라오게 하는 방식으론 늦다"고 강조했다. 이어 "AI 무기체계는 실물 무기가 아니라 알고리즘의 무기로, 검증과 신뢰 확보는 데이터와 실전 환경이 핵심"이라고 말했다.

2025.06.04 14:42조이환

새 정부 출범, 'AI 100조' 시대 열린다…AI 안전연구소 "G3 도약, 신뢰성 확보가 핵심"

"새 정부가 들어선 가운데 100조 규모의 인공지능(AI) 투자 공약이 조명되고 있습니다. 이같은 진흥책의 추진과 동시에 기술이 초래할 수 있는 리스크를 관리해야 산업의 지속성과 확장성이 확보됩니다. 미래 세대의 먹거리를 위한 철저한 안전 설계를 위해 적극적으로 지원하겠습니다." 김명주 AI 안전연구소장은 4일 경기도 판교 그래비티 조선 서울에서 열린 '2025 슈어 AI 테크 컨퍼런스'에 참가해 이재명 대통령 당선에 따른 연구소의 방향성에 대한 기자의 질문에 이같이 말했다. 이번 행사는 슈어소프트테크가 AI 검증 기술의 현재와 미래를 공유하고 산업 전반의 안전 및 신뢰성 확보 전략을 모색하기 위해 마련한 자리다. 김 소장에 따르면 한국 AI 연구소는 세계 여섯 번째로 출범한 AI 안전기관이다. 지난해 11월 국내에서 최초로 설립된 이 기관은 영국, 미국, 일본, 싱가포르, 프랑스 등 10여 개국이 운영하는 AI 안전연구소들과 함께 글로벌 위험 기준 마련과 평가 체계 구축을 위한 협력에 참여하고 있다. 이날 발표는 AI 산업의 변곡점을 만든 역사적 사건들에 대한 회고로 시작됐다. 김 소장은 지난 2023년 처음 등장한 '챗GPT'가 산업의 방향성을 근본적으로 바꿨다고 진단했다. 출시 두 달 만에 1억명 사용자를 돌파한 '챗GPT'는 초기엔 '검색엔진 종말론'을 불러올 정도의 파괴력을 보였고 이에 구글은 마이크로소프트(MS)와의 검색 점유율 격차 축소를 우려해 급히 '바드'를 출시하며 글로벌 기술 경쟁이 본격화됐다. 김 소장은 "이 과정에서 구글의 AI 부사장이자 딥러닝 창시자인 제프리 힌턴이 안전성을 우려해 사임했다"며 "당시 구글은 자체 개발한 '람다' 모델의 위험성을 인지하고도 경쟁에서 밀릴까 봐 결국 공개를 강행했다"고 말했다. 이어 "통제 수단 없이 기술을 출시한 결정은 거버넌스 부재 상태에서 진행되는 AI 개발의 한계를 보여준 사례"라고 분석했다. 이어 그는 AI의 잠재 리스크를 인식한 글로벌 과학자 그룹이 지난 2023년 '개발 중단 서한'을 발표했던 사례도 언급했다. 미래생명연구소(FLI)의 주도로 작성된 이 서한에는 일론 머스크, 유발 하라리 등 주요 인사가 참여했으나 실제 개발 중단으로 이어지지는 않았다. 다만 이 서한을 계기로 미국, 유럽, 한국에서 본격적인 AI 규제 입법이 추진되기 시작했다. 실제로 AI 리스크에 대한 실증적 접근은 확대되고 있다. 매사추세츠 공대(MIT)는 증거 기반 리스크 저장소(Risk Repository)를 통해 1천800개 이상의 사례를 유형별로 정리했다. 이 중 AI가 직접 야기한 사례는 전체의 34%에 달한다. 김 소장은 "이 자료를 바탕으로 한국형 리스크 분류체계를 세분화하고 있다"며 "이달 말 200~300개 항목의 1차 리스크 맵을 공개할 계획"이라고 밝혔다. 그는 영국 AI안전연구소가 최근 발표한 분류체계도 언급했다. 이 체계는 ▲기술적 결함(Malfunction) ▲악의적 활용(Misuse) ▲사회 구조적 영향(systemic Impact)으로 위험을 구한다. 이는 각각 AI 개발 오류, 사용자의 악의적 활용, 노동시장이나 정치 등 사회적 외부효과로 이어지는 위험을 뜻한다. 이 같은 글로벌 기준을 토대로 국내 AI안전연구소도 평가모델을 정비 중이다. 구체적으로는 리스크 맵 기반으로 모델을 개별 테스트하고 그 결과를 전문가나 AI가 자동으로 평가해 통합 보고서를 작성하는 프로세스를 도입한다. 이 보고서는 각 위험에 대한 정책적 기술적 완화 방안까지 제시한다. 실제 사례로는 지난 2월 연구소가 중국계 AI 모델 '딥시크'에 대해 긴급 대응한 사례가 소개됐다. 이 모델은 중국 사회주의 체제에 불리한 질문에 답변하지 않는 등 편향성을 드러냈으며 연구소는 이를 설 휴가를 중단한 후 즉시 분석해 과학기술정보통신부에 보고서를 제출했다. 보고서에는 편향 제거를 위한 기술적 보정 방안이 포함됐다. AI 안전 평가의 기준 역시 지속적으로 진화하고 있다. 기존 소프트웨어의 안전성 검증이 기능 성능 보장에 집중됐다면 AI 평가에서는 개발자의 의도와 상관없는 오용 가능성까지 고려한 '건전성' 개념이 확대되고 있다. 유럽연합은 이 개념을 '신뢰성(Trustworthiness)'으로 확장해 기술의 사회적 수용 가능성까지 평가 대상에 포함시켰다. 이에 따라 각국은 AI 인증 체계 구축에 속도를 내는 상황이다. 영국은 이를 위해 지난 2023년 세운 AI 안전연구소의 명칭을 올해 초 'AI 보안연구소'로 변경했다. 현재 미국, 프랑스, 싱가포르, 케냐 등도 자체 안전연구소를 통해 여러 사업을 추진 중이다. 대선이 끝나 이재명 대통령이 취임한 가운데 향후 AI 정책을 위한 제언에 대해 묻는 기자의 질문에 김 소장은 "AI 산업이 장기적 지속 가능성과 확장성을 확보하라면 진흥과 함께 리스크 관리가 병행돼야 한다"며 "이를 위해서는 안전 설계를 처음부터 고려해야 한다"고 말했다. 이어 "우리는 선제적으로 리스크 완화 방안을 제안해 철저히 지원할 계획"이라고 밝혔다. 김 소장은 지난해 AI안전연구소 초대 소장으로 부임해 오는 2027년까지 임기를 이어갈 예정이다. 연구소는 과학기술정보통신부와 대통령실 등 정부 유관 부처와 함께 리스크 완화 방안 마련을 위한 협업을 지속할 것으로 전망된다. 기업과의 협력도 병행 중이다. 최근 LG전자와 AI 안전을 위한 파트너십을 맺었으며 해외 주요 기업들과도 공동 평가 및 안전 기준 정립을 위한 협력을 추진하고 있다. 참여 기업들은 자사 AI 시스템의 신뢰성과 안전성을 확보하기 위해 연구소와 함께 검증 체계를 구축하고 있다. 김 소장은 "우리는 평가기관을 넘어 국내 AI 기업의 국제 경쟁력 확보를 위한 전략적 거점이 되고자 한다"며 "향후 국내 기업의 해외 진출 시 안전보고서를 통해 신뢰성을 높일 수 있도록 적극 지원하겠다"고 밝혔다.

2025.06.04 13:50조이환

[현장] "국제 AI 윤리 표준 만든다"…서울대, '제트인스펙션 컨퍼런스' 개최

서울대학교가 신뢰할 수 있는 인공지능(AI)을 주제로 국제 컨퍼런스를 열고 각국 전문가들과 윤리적 AI 개발 방향을 논의에 나섰다. 책임 있는 기술 활용을 위한 글로벌 연대와 한국 내 자율적 거버넌스 모델 구축이 주요 의제로 떠올랐다. 서울대학교 데이터사이언스 대학원은 20일 '제3회 제트인스펙션(Z-Inspection)' 국제 컨퍼런스를 관악구 서울대학교 호암교수회관에서 개최했다. 이틀 일정으로 열리는 이번 행사는 서울대 데이터사이언스대학원이 주관하고 독일계 글로벌 제약·소재 기업 머크(Merck), 제트인스펙션(Z-Inspection) 이니셔티브, 서울대 신뢰할 수 있는 AI 연구실이 협력해 운영한다. 서울대 교수진과 유럽 연구진을 포함해 약 50명의 윤리·의료·기술·법 전문가가 참석했다. 제트인스펙션은 AI 시스템이 실제 사회에 적용될 때 발생하는 위험과 긴장을 다학제적 방식으로 점검하는 절차 중심의 국제 평가 프로그램이다. 유럽연합(EU)의 AI 윤리 프레임워크를 기반으로 의료, 공공, 금융 등 각 분야 실사용 사례를 검토하고 윤리적 충돌 지점을 사전에 탐색하는 것이 핵심이다. 국내에서는 지난 3월 EU AI법을 참고한 '인공지능 개발 및 신뢰 기반 조성에 관한 기본법(AI기본법)'을 세계 두 번째로 입법했다. 이에 따라 국내에서도 윤리적 AI 기술에 대한 제도적·자율적 평가 수요가 증가하는 가운데 이번 회의는 제트인스펙션 프로그램의 실제 적용 가능성과 제도 밖 자율검증 모델을 공유하는 자리로 마련됐다. 이번 행사를 주도한 로베르토 지카리 서울대 초빙교수는 "AI는 그 자체로 선하거나 악하지 않으며 어떻게 쓰느냐에 달렸다"며 "정치적 이유로 규제가 지연되는 나라일수록 오히려 병원이나 기관들이 자발적으로 윤리 점검에 나설 기회가 된다"고 말했다. "윤리 없는 데이터, 기업 생존도 없다"…머크, 신뢰 기반 AI 전략 공개 이날 처음으로 발표를 맡은 장 앤노 샤르통 머크 디지털윤리·생명윤리 책임자는 회사 내부 윤리 프레임워크를 직접 소개하며 신뢰 기반 거버넌스의 필요성을 구체적으로 설명했다. 샤르통 책임자에 따르면 AI 윤리는 기업의 사업 전략 중심에 있어야 한다. AI 기술이 실제 고객과 내부 임직원에게 어떻게 수용되는지를 면밀히 점검하지 않으면 장기적으로 시장에서 신뢰를 잃게 된다는 것으로, 기술의 가능성보다 그 사용 방식이 더 중요하다는 설명이다. 이에 따라 머크는 현재 AI와 데이터 프로젝트에 대해 별도의 디지털 윤리 행동강령을 운영 중이다. 이 강령은 자율성, 투명성, 비편향성, 공정성, 혜택 극대화 등 다섯 가지 윤리 원칙에 기반하며 내부 윤리 자문단과 외부 독립 전문가 패널이 각 프로젝트를 평가하는 구조다. 이를 위해 회사는 자체 개발한 '위험 원칙 평가도구'를 활용한다. 프로젝트별로 윤리 민감도를 수치화해 사전 진단하고 위험 수준에 따라 대응 단계를 결정한다. 샤르통 책임자는 실제 환자 데이터 분석 도구, 인사 알고리즘, 생성형 AI 응용 사례 등에서 이 시스템이 작동하고 있다고 밝혔다. 더불어 그는 발표 중 미국 의료기관이 환자 동의 없이 구글에 건강 데이터를 제공했던 사례를 언급하며 법적 허용 여부만으로는 부족하다고 지적했다. 머크는 이 사건을 계기로 '기술의 최종 사용에 대한 기업의 윤리적 책임'을 조직 내부 규범으로 명문화한 상태다. 생성형 AI 확산에 맞춰 회사는 유럽연합 AI법(EU AI Act)을 기반으로 고위험군 기술 분류 체계를 도입했다. 이 분류에 포함된 프로젝트는 의무 윤리 심사를 거쳐야 하며 사업 부문별로 상이한 윤리 리스크를 반영하기 위해 맞춤형 체크리스트도 병행 운영되고 있다. 윤리 검토는 외부를 향한 책임뿐 아니라 내부 기술 수용성 확보에도 적용된다. 그는 일부 직원들이 AI에 대한 신뢰를 가지지 못하면 조직 내부 실험조차 추진이 어렵다고 강조했다. 샤르통 책임자는 "신뢰는 기술 수용의 전제조건이며 기업 평판과도 직결된다"며 "단기 수익만 쫓다 신뢰를 잃으면 그 비용은 훨씬 더 크게 돌아온다"고 말했다. "설계·사용자가 핵심…신뢰 가능 AI 위해 시나리오 기반 접근법 만들어야" 이날 또다른 발제를 맡은 마그누스 베스털룬 핀란드 아르카다응용과학대학 교수는 제트인스펙션 공동 책임자로서 실제 프로젝트 현장에서 축적한 AI 신뢰성 평가 사례를 공유하며 신뢰할 수 있는 AI 개념의 현실적 한계를 짚었다. 그는 기술 개발자이자 소프트웨어공학 박사 출신으로, 정보보안·사이버규제·AI 시스템 진단 등에서 실무와 연구를 병행해온 기술 기반 연구자다. 이날 발표에선 기술 중심 시각에서 윤리 원칙을 어떻게 해석하고 적용해 왔는지를 설명했다. 베스털룬 교수는 먼저 기술자가 윤리를 다룰 때 마주하는 추상성과 해석의 난이도를 문제 제기했다. 그는 유럽연합(EU)에서 정의한 AI 신뢰성 개념이 ▲합법성 ▲윤리성 ▲견고성이라는 세 축을 갖지만 이를 개발자의 언어로 번역하는 작업은 별개의 도전이라고 밝혔다. EU 고위 전문가 그룹이 제시한 신뢰원칙에는 인간 자율성 존중, 위해 예방, 공정성, 설명가능성이 포함된다. 다만 '설명가능성'이라는 용어를 실제 공학으로 번역하는 것은 매우 난이도 있는 작업이며 맥락 없이 단일 시스템을 평가하는 것은 불가능하다는 것이 베스털룬 교수의 설명이다. 이에 따라 제트인스펙션은 기술 요소만 분리해 분석하지 않고 사회적 맥락과 윤리적 긴장을 포함한 '전체 상황'을 기준으로 AI 프로젝트를 점검한다. 의도, 설계, 사용 환경을 함께 묻는 다학제 평가 체계를 통해 규제 기준 이상의 평가 가능성을 확보하는 것이 목적이다. 그는 다수의 사례를 들어 제트인스펙션이 실제로 어떻게 작동했는지를 설명했다. 코로나19 시기 흉부 엑스레이를 기반으로 감염 여부를 추론한다는 한 AI 모델이 논문으로는 주목받았지만 검증을 해보니 단순 병변 유무만 판별하는 수준이었다. 그는 이를 기술과 실제 운용 사이 괴리가 명확했던 대표 사례로 소개했다. 또 다른 사례는 피부암(흑색종) 판별 앱이었다. 초기엔 일반 대중을 사용 대상으로 설계됐지만 평가팀은 공공의료 체계가 감당할 수 없는 오진, 과잉진료 문제를 우려해 전문가 중심 사용 설계로 방향을 수정했다. 이날 발표에서 베스털룬 교수는 "우리는 AI의 '정답'을 정하는 것이 아니라 어떤 질문을 던져야 하는지를 규정하는 데 집중한다"며 "AI는 결국 인간의 반영으로, 모든 기술적 의사결정은 인간의 판단과 가치관을 되비추는 거울이기에 신뢰할 수 있는 AI란 윤리를 이해하려는 지속적 시도 속에서만 존재할 수 있다"고 강조했다.

2025.05.20 14:23조이환

"AI 신뢰성 수출 본격화"…씽크포비엘, 中 유수 기관과 기술 협력 확대

씽크포비엘이 중국의 주요 인공지능(AI) 기관 및 기업들과 공동 기술 교류 및 사업 협력에 나선다. 생성형 AI 시대를 맞아 '신뢰할 수 있는 AI'를 핵심 전략으로 삼고 기술 수출 가능성을 가시화하는 모습이다. 씽크포비엘은 오는 23일부터 이틀간 중국 상하이에서 열리는 '2025 AI+연구개발 디지털 서밋'에 초청받아 자사 AI 신뢰성 기술을 발표하고 협력을 모색한다고 15일 밝혔다. 해당 행사는 르네상스 상하이 푸퉈 호텔에서 진행되며 1천여 명의 글로벌 전문가가 참가할 예정이다. 이 행사에서 씽크포비엘은 '거대언어모델(LLM) 평가' 포럼에 참가해 'AI 견고성 평가 기술 및 사례 연구'를 주제로 발표한다. 최근 LLM의 안전성과 신뢰성이 주요 이슈로 떠오른 가운데 이를 정량적으로 측정·검증하는 기술을 집중적으로 소개할 예정이다. 또 행사 기간 전시 부스를 운영하며 자사가 개발한 AI 신뢰성 교육용 시스템인 'AI 튜터'도 선보인다. 이 기술은 AI 데이터의 편향 여부를 분석하고 사용자의 이해를 돕는 기능을 갖춘 도구다. 해당 서밋에는 중국 정보통신기술원, 국가인지지능핵심연구소 등 공공기관과 베이징대, 푸단대, 퉁지대 등 주요 대학이 조직했다. 더불어 마이크로소프트, 알리바바, 바이두, 화웨이 등 글로벌 기업 역시 지원한다. 지난 2023년 베이징, 2024년 선전·상하이에 이어 이번에 여섯 번째로 개최된다. 씽크포비엘은 지난해 말부터 중국 내 기술 홍보와 협력 기반 마련에 나섰다. 지난해 상반기 저장대와 상하이소프트웨어산업협회를 방문했고 12월에는 서울에서 열린 '트레인(TRAIN) 세미나'에 추샤오민 퉁지대 교수를 초청하며 관계를 넓혔다. 추 교수는 이번 행사의 핵심 창립자이자 중국 내 AI 평가 기술의 권위자로, 당시 씽크포비엘 기술에 높은 관심을 표한 것으로 알려졌다. 이후 직접 조직위원회를 통해 씽크포비엘의 발표를 주선하며 실질적 협력의 물꼬를 텄다. 박지환 씽크포비엘 대표는 "오픈AI조차 각국 정부와 소버린 AI 모델을 공동 추진하는 흐름으로 전환하고 있다"며 "AI 신뢰성은 언어 기술보다 사회적 수용성과 기술 안전성에 따라 결정될 것"이라고 밝혔다. 이어 "중국 측이 협력 의지를 보인다면 회사도 적극 대응할 준비가 돼 있다"고 말했다.

2025.05.15 13:52조이환

미국 유전자변형농산물 수입 2배이상 급증…"국내 시장 점유 큰 폭 확대"

지난 해 미국의 유전자변형농산물 수입이 2배 이상 늘어난 것으로 나타났다. 수입금액도 급증했다. 한국생명공학연구원(원장 권석윤, 이하 생명연)이 2일 공개한 2024년 유전자변형생물체(GMO) 주요 통계 자료에 따르면 지난해 국내 반입된 식품용·사료용 유전자변형생물체는 총 1천92만 톤(약 30억 달러)였다. 이는 전년 1천28만 톤(34.2억 달러) 대비 약 6.2%인 64만 톤이 증가한 수치다. 연구팀은 동유럽 전쟁 여파로 인한 곡물 공급 차질 우려에도 불구하고, 브라질과 아르헨티나, 미국 등 주요 곡물 교역국으로부터 안정적인 수입이 이루어 지면서 국내 시장 수요를 원활히 충족한 것으로 분석했다. 그러나 전체 수입량이 증가했음에도 불구하고, 수입 금액은 최근 3년 연속 감소했다. 지난 2022년 42.6억 달러에서 2024년 30억 달러로 급감했다. 이는 주로 사료용 유전자변형 옥수수의 단가 하락에서 기인한 것으로 보인다고 연구팀은 분석했다. 용도별로는 사료용이 87%(945.7만 톤), 식품용은 13%(146.5만 톤)의 비중을 보였다. 작물별로는 옥수수가 90.4%에 해당하는 987.5만 톤이 수입됐고 대두(90.7만 톤), 면화(14만 톤)가 뒤를 이었다. 지난해 유전자변형생물체 최대 교역국은 브라질이었다. 식품용·사료용 유전자변형생물체 국가별 수입 승인량을 분석한 결과, 브라질 374.1만 톤(34.3%), 아르헨티나 319.9만 톤(29.3%), 미국 316.4만 톤(29%) 순으로 나타났다. 미국산 유전자변형농산물의 수입 비중은 전년 12% 대비 29%로 급격히 증가, 국내 시장점유율이 큰 폭으로 확대됐다. 이는 러시아-우크라이나 전쟁으로 동유럽 수입량이 줄면서 일어난 현상으로 풀이된다. 한편 만 19세 이상 64세의 성인 남녀 800명을 대상으로 유전자변형생물체 국내 공공인식을 조사한 결과 유전자변형생물체에 대한 전체 인지율은 72.9%로 최근 3년 연속 하락세를 보였다. 김기철 바이오안전성정보센터장은 "국내의 유전자변형 농산물 수입 물량은 코로나 팬데믹 이후 일정 수준을 유지하고 있다"며 "금액 측면에서는 글로벌 곡물 가격의 하락으로 지속적으로 감소하고 있다"고 분석했다.

2025.04.02 10:04박희범

[인터뷰] "AI 탈옥 막아라"…셀렉트스타, MWC25서 '가스라이팅 방지' 모델 테스트

"인공지능(AI)이 산업 전반에 확산됨에 따라 모델의 결함을 찾아내고 위험을 예방하는 '레드티밍'이 보다 중요해지고 있습니다. 우리는 이번에 개최되는 MWC25에 참가해 글로벌 규모의 레드티밍 행사를 열어 AI 모델의 신뢰성을 직접 검증하고자 합니다. 이러한 경험과 데이터를 바탕으로 AI 신뢰성 평가를 표준화하고 글로벌 AI 평가 시장을 선도하겠습니다" 황민영 셀렉트스타 부대표는 최근 기자와 만나 회사가 MWC25에서 '글로벌 AI 레드팀 챌린지'를 개최하는 이유에 대해 이같이 말했다. AI 신뢰성 검증을 글로벌 표준으로 확산하고 AI 평가 시장을 선도하며 다양한 전문 인력이 참여하는 생태계를 구축하겠다는 것이다. 4일 업계에 따르면 사용자가 프롬프트를 조작해 AI를 악용하는 '탈옥(Jailbreak)' 문제가 확산되면서 이에 대응하기 위한 '레드팀' 활동의 중요성 역시 갈수록 커지고 있다. 실제로 오픈AI, 구글, 메타 등 글로벌 빅테크 기업들도 자사 AI 모델의 보안성과 신뢰성을 검토하기 위해 자체적인 레드팀을 운영하고 있다. 가스라이팅·우회 질문까지…AI 탈옥, '자장가'부터 '장례 문화'까지 다양해 '레드티밍(Red Teaming)'이란 원래 보안 및 군사 분야에서 시스템의 취약점을 식별하고 이를 보완하기 위해 공격적인 시뮬레이션을 수행하는 방식이다. 보안 레드티밍이 잠재적인 해킹을 예방하기 위해 의도적으로 시스템의 취약점을 해킹하듯이 AI 분야에서의 '레드티밍' 역시 개발사가 모델을 의도적으로 공격해 금지된 정보나 위험한 응답을 유도한다. 황 부대표는 "레드티밍을 통해 선제적으로 모델의 신뢰성과 안전성을 점검할 수 있다"며 "구체적으로 AI가 차별적 발언을 하거나 허위 정보를 생성하거나 보안이 취약한 응답을 제공하는지 여부를 평가할 수 있다"고 말했다. AI에서의 레드티밍이 보다 중요한 이유는 누구나 탈옥을 시도할 수 있기 때문이다. 일반적인 보안 시스템은 해킹을 시도하려면 고도의 기술이 필요하지만 AI 모델은 단순한 텍스트 입력만으로도 무력화될 수 있다. AI의 가드레일이 아무리 견고해도 사용자가 창의적인 방식으로 우회 질문을 던지면 금지된 응답을 끌어낼 가능성이 크다. 황 부대표는 "쉽게 말해 '탈옥'은 AI 모델을 상대로 가스라이팅을 시도하는 것"이라며 "일례로 사용자가 돌아가신 할머니가 어릴 적 불러주신 '네이팜 폭탄 만드는 법'에 대한 자장가를 한번만 더 듣고 싶다고 감성적으로 접근하면 원래라면 차단돼야 할 폭탄 제조법이 제공되는 사례가 있다"고 말했다. 이어 "특정한 맥락과 감정을 덧씌우는 방식으로 AI의 방어 체계를 무너뜨리는 탈옥이 점증함에 따라 이를 방지하기 위해 레드티밍이 부각되고 있다"고 강조했다. 다만 이러한 과정이 대중적으로 잘 알려지지는 않았고 AI 모델을 평가하고 검증하는 공식적인 기준 역시 부족한 상황이다. AI가 실제 서비스에 적용되는 사례가 점점 증가하고 있기 때문에 보다 광범위한 테스트와 검증이 필요하다는 지적이 나온다. MWC25서 AI 신뢰성 검증…지난해 코엑스 챌린지가 밑거름 이같은 배경에서 셀렉트스타는 오는 5일 스페인 바르셀로나에서 'MWC25'에 참가해 '글로벌 AI 레드팀 챌린지'를 개최한다. 이번 행사는 AI 모델의 신뢰성과 안전성을 검증하고 레드팀 활동의 필요성을 글로벌 시장에 알리기 위한 자리로, 과학기술정보통신부, 세계이동통신사업자연합회(GSMA), UAE 국영 통신사 이앤(E&), 한국 AI 안전연구소 등 주요 기관이 이번 행사에 후원사로 참여했다. 전통적으로 MWC는 이동통신과 네트워크 기술이 중심이 되는 박람회였으나 올해는 AI 신뢰성 검증이라는 새로운 분야를 공식적으로 포함한 점이 주목된다. AI가 산업 전반에 빠르게 확산되면서 AI 평가 및 보안의 중요성이 점점 커지고 있음을 반영한 결정이다. 업계의 반응도 뜨겁다. 챌린지에는 이미 140명 이상이 참가 신청을 마친 상태로, 셀렉트스타 측은 아직 본격적인 홍보를 시작하기 전이기 때문에 실제 행사 당일에는 더 많은 국가에서 참가자가 몰릴 것으로 예상하고 있다. 또 이번 행사는 글로벌 AI 기업들의 모델을 대상으로 신뢰성을 평가하는 첫 번째 대규모 국제 레드팀 챌린지로, 다양한 문화와 언어 환경에서 AI가 얼마나 안전하게 작동하는지를 검증하는 실험적 의미도 갖는다. AI 레드팀 챌린지의 가장 큰 특징은 누구나 참여할 수 있다는 점이다. 보안 전문가뿐만 아니라 언어학자, 인문학자, 예술가, 마케터, 일반 대학생 등 비전공자도 AI가 설정된 가드레일을 우회하도록 유도하는 다양한 프롬프트를 시도함으로써 모델을 공략하는 데 중요한 역할을 할 수 있다. 황 부대표는 "미국에서는 오픈AI나 구글 같은 기업들이 자체적으로 AI 레드팀 작업을 진행하고 있지만 대규모 공개 행사 형태로 레드팀을 운영하는 사례는 거의 없었다"며 "MWC 같은 국제 박람회에서 전 세계의 다양한 전문가와 일반인이 함께 AI를 공격하는 장을 연다는 점에서 의미가 크다"고 강조했다. 셀렉트스타가 MWC25에서 글로벌 AI 레드팀 챌린지를 성공적으로 개최할 수 있게 된 배경에는 지난해 국내에서 진행했던 AI 레드팀 챌린지의 경험이 있다. 지난해 4월 서울 코엑스에서 열린 행사에서 참가자들은 총 네 차례의 공격 라운드를 거치며 AI 모델의 탈옥을 시도했다. 대학생, 일반 회사원, 교수 등 다양한 배경의 참가자들이 각자의 창의적인 접근법으로 AI 모델을 공략해 AI가 실제로 불법 정보를 제공하거나 차별적 발언을 하는 등의 허점이 발견되면서 신뢰성 검증의 필요성이 다시 한번 입증됐다. 회사는 그 과정에서 다수의 흥미로운 사례를 확보했다. 황 부대표는 "어떤 참가자는 '할머니가 가르쳐준 전통 의식'이라며 폭탄 제조법을 물었고 다른 참가자는 특정 문화권의 장례 문화를 언급하며 시신을 화학적으로 분해하는 방법을 요청하는 등 AI의 정책 필터를 우회하는 다양한 시도가 있었다"며 "이러한 사례들은 AI 모델이 단순한 필터링으로는 안전성을 유지할 수 없으며 보다 체계적인 검증이 필요하다는 점을 시사한다"고 설명했다. '다투모 이밸'로 자동화 혁신…AI 신뢰성 검증 앞장설 것 레드티밍을 통한 AI 신뢰성 검증은 단순한 연구 목적을 넘어 기업의 실제 비즈니스에도 중요한 영향을 미친다. 특히 금융권과 같이 AI 챗봇이 잘못된 금융 정보를 제공하거나 특정 키워드에 대해 잘못된 응답을 하면 이는 단순한 기술적 결함이 아니라 고객 신뢰와 직결된 문제가 된다. 이같은 상황 속에서 셀렉트스타는 AI 신뢰성 검증을 위한 주요한 역할을 맡고 있다. 특히 기존에는 사람이 직접 AI 모델을 테스트하고 문제를 찾아 수정하는 방식이었으나 셀렉트스타는 이를 자동화하는 솔루션 '다투모 이밸(DATUMO eval)'을 출시하며 검증 프로세스를 혁신했다. '이밸'은 AI 신뢰성 검증을 위한 자동화 솔루션으로, 기업별 맞춤형 평가 기준을 설정하고 이를 기반으로 대량의 평가 데이터를 생성하는 기능을 제공한다. 기존 벤치마크 데이터셋이 AI의 일반적인 언어 처리 능력이나 논리력을 평가하는 데 초점이 맞춰져 있었다면 이 솔루션은 특정 기업의 산업군과 맞는 평가 질문을 생성해 보다 실질적인 검증이 가능하도록 설계됐다. 일례로 보험회사가 챗봇을 도입할 경우 '다투모 이밸'은 보험 상품과 관련된 수십만 개의 맞춤형 질문을 자동 생성해 AI가 정확한 답변을 제공하는지와 불법적인 정보를 전달하지 않는지를 분석하게끔 돕는다. 이를 통해 기업들은 자사 AI 모델이 경쟁사의 모델보다 신뢰성이 높은지와 특정한 위험한 질문에 대해 어떻게 대응하는지에 대한 실질적인 비교 분석이 가능해진다. 회사는 '다투모 이밸'이 단순한 AI 평가 솔루션이 아니라 AI 신뢰성을 검증하는 새로운 표준이 되도록 글로벌 시장을 적극 공략할 계획이다. 황 부대표는 "전 세계적으로 AI 모델 평가의 중요성이 커지고 있는 가운데 이를 체계적으로 자동화한 기업은 드문 상황"이라며 "우리 솔루션은 글로벌 시장에서도 충분히 경쟁력이 있다"고 강조했다. 이에 따라 MWC25 글로벌 AI 레드팀 챌린지 종료 후 셀렉트스타는 행사를 통해 발견된 핵심 취약사례, 위험 응답 유형, 가장 창의적인 공격 방식 등을 정리한 보고서를 발표할 계획이다. 이 보고서는 AI 안전연구소(AISI), GSMA, 과기정통부 등 후원 기관과 공유되며 글로벌 차원의 AI 신뢰성 검증 논의에도 기여할 전망이다. 또 챌린지에서 확보한 데이터는 '다투모 이밸'의 기능 개선에도 직접 활용된다. 다양한 국가에서 AI 모델을 공격한 데이터를 분석함으로써 AI가 각국의 언어와 문화적 맥락에서 어떻게 반응하는지, 어떤 방식으로 탈옥이 시도되는지를 보다 정교하게 연구할 수 있기 때문이다. 황민영 셀렉트스타 부대표는 "이번 MWC25 글로벌 AI 레드팀 챌린지를 계기로 AI 신뢰성 평가 시장을 본격적으로 공략하고 AI 평가 및 보안 분야의 글로벌 리더로 자리 잡겠다"며 "조만간 AI를 도입하는 기업이라면 누구나 레드팀 테스트를 거쳐야 한다는 인식이 자리잡을 때 우리 솔루션이 핵심적인 역할을 하게 만들 것"이라고 강조했다.

2025.03.04 14:27조이환

씽크포비엘-와이즈와이어즈, AI 신뢰성 협력 MOU…"공동 성장 목표"

씽크포비엘이 와이즈와이어즈와 인공지능(AI)의 신뢰성 제고를 위한 협력에 나선다. 씽크포비엘은 와이즈와이어즈와 AI 신뢰성 분야 공동 사업 추진을 위한 업무제휴 양해각서(MOU)를 체결했다고 11일 밝혔다. 체결식은 지난 10일 서울 성수 서울숲ITCT 지식산업센터에 위치한 와이즈와이어즈 본사에서 열렸으며 박지환 씽크포비엘 대표이사와 조경휘 와이즈와이어즈 사장이 참석했다. 이번 협약을 통해 양사는 향후 2년간 AI 신뢰성 기술 개발 및 검증체계 구축을 위해 협력한다. 씽크포비엘이 보유한 AI 신뢰성 기술과 와이즈와이어즈의 SW 테스트 역량을 결합해 공동 검증체계를 마련하고 이를 바탕으로 대기업 및 공공기관을 대상으로 수요 발굴에 나설 계획이다. 씽크포비엘은 지난 2021년부터 AI 신뢰성 전문가 양성 교육을 운영하며 신뢰성 검증 기술을 축적해왔다. 또 지난 2022년부터 과학기술정보통신부가 2년간 발간한 '신뢰할 수 있는 AI 개발 안내서' 제작을 주도했고 공공 부문 AI 발주 가이드라인 수립에도 참여했다. 최근에는 국방 AI 무기 시스템 평가 체계를 구축하는 등 신뢰성 평가 모델 개발 및 컨설팅을 수행해왔다. 와이즈와이어즈는 금융, 자동차, 전자상거래, 공공 부문에서 소프트웨어(SW) 품질 테스트 서비스를 제공하는 국내 최대 기업으로 다수의 대기업 고객사를 보유하고 있다. 지난 2022년 한국인정기구(KOLAS) 국제공인시험 인정기관 자격을 획득하며 품질 검증 분야에서 공신력을 확보했다. 박지환 씽크포비엘 대표는 "SW 테스팅 분야에서 국제적인 신뢰도를 갖춘 와이즈와이어즈와 협력하면 AI 신뢰성 사업 기회가 더욱 확대될 것"이라며 "이번 협약 이후에도 국내 주요 기업 및 기관과 AI 신뢰성 협력을 강화할 계획"이라고 말했다. 이어 "조만간 국방 기술 신뢰성 검인증 분야에서 최고 기술력을 보유한 기업과 공동 사업을 추진할 예정"이라고 밝혔다.

2025.02.11 17:40조이환

KTR, 전기안전공사 손잡고 '에너지 저장 장치' 신뢰성 높인다

KTR(한국화학융합시험연구원·원장 김현철)은 10일 한국전기안전공사(대표 남화영)와 에너지 저장 장치(ESS) 신뢰성을 확보하고 관련 기업의 경쟁력 강화를 돕기 위해 업무협약을 체결했다. KTR과 한국전기안전공사는 업무협약에 따라 ▲ESS 및 신에너지 산업 안전 확보를 위한 연구 및 기술개발 ▲관련 국제표준 개발 및 확산 ▲시험인증 지원 등의 협력사업을 진행한다. 두 기관은 특히 배터리 에너지 저장 시스템(BESS)이 극한 환경에서도 높은 안전성과 신뢰성을 확보할 수 있도록 돕기 위해 검증, 표준모델 개발 등도 함께 수행하기로 했다. KTR은 또 한국전기안전공사와 국내외 ESS 기술 동향 및 분석 정보를 상호 공유하는 등 국내 ESS 산업의 신뢰성 확보와 경쟁력 강화를 위해 노력하기로 했다. 전기안전공사는 전기 설비 분야 디지털 안전 관리체계 구축·기술개발을 비롯해 ESS 안전성평가센터 운영을 통해 ESS·연료전지 등의 안전관리 업무를 수행하고 있다. 김현철 KTR 원장은 “에너지 저장장치의 안전성과 신뢰성 확보는 관련 산업 발전을 위한 필수 선결과제”라며 “국내 대표 에너지분야 시험인증기관인 KTR은 지금까지 쌓아온 노하우와 인프라를 적극 활용, 차세대 에너지 저장장치의 안전성과 신뢰성 보장을 위해 적극 나설 것”이라고 밝혔다.

2025.02.10 17:58주문정

[트럼프 취임] 美 정권 교체 앞두고 AI 행정명령 폐지 예고…안전성 공백 '우려'

도널드 트럼프 미국 대통령 당선인이 공식 취임을 앞둔 가운데 인공지능(AI) 안전성에 대한 규제가 크게 완화될 가능성이 제기되고 있다. 이에 업계와 전문가들은 미국 내 AI 규범 공백이 발생해 혼란이 초래될 수 있다고 우려하고 있다. 21일 업계에 따르면 트럼프 당선인은 대선 전부터 바이든 행정부의 AI 행정명령을 철폐하겠다는 의사를 지속적으로 밝혀왔다. 지난 2023년 도입된 이 행정명령은 AI 기술의 안전하고 책임 있는 개발을 촉진하고자 하는 목적을 담고 있었지만 공화당과 트럼프 캠프는 이를 지나치게 관료주의적이라고 비판해왔다. 부통령 당선인 J.D 밴스 역시 트럼프와 동일한 입장을 견지해 왔다. 지난해 7월 상원 청문회에서 밴스는 "선제적 과잉 규제 시도가 기존 빅테크 기업들을 고착화시킬 가능성이 높다”고 주장하며 행정명령에 대해 부정적 견해를 드러낸 바 있다. 이같은 트럼프 진영의 행정명령 철폐 기조는 해당 명령이 강조해 온 ▲AI 모델 배포 전 안전성 테스트 ▲AI 개발 및 사용에 대한 연방 차원의 감독 ▲정부 주도 안전 기준에 대한 전면적인 거부 등의 결과를 초래할 수 있다는 점에서 전문가들의 경고가 이어지고 있다. AI 안전 연구자 로만 얌폴스키는 "고급 AI 시스템 훈련과 관련된 규제를 제거하는 것은 미국 국민과 전 세계의 안전을 위해 최악의 선택"이라고 지적했다. 이같은 우려는 이미 트럼프 당선 후 빅테크 기업의 최근 행보에서도 드러난다. 메타는 지난 7일 미국 내 인스타그램 및 페이스북 게시물에 대한 제3자 '팩트체킹 프로그램'을 운영하지 않겠다고 발표했다. 이 프로그램은 지난 2016년부터 전문가들이 허위정보를 걸러내기 위해 가동된 알고리즘이다. 메타는 기존의 프로그램 대신 엑스의 '커뮤니티 노트'와 유사한 기능을 추가하겠다는 방침이다. 커뮤니티 노트는 논란이 되는 게시물을 삭제하거나 제한하기보다 일반 사용자가 게시물에 다양한 의견을 붙여 사실 여부를 공개적으로 검증하는 방식으로, 대중의 판단에 기반하기 때문에 허위정보 확산을 막기에 충분치 않다는 비판을 받고 있다. '팩트체킹 프로그램'을 중지한 이유에 대해 마크 저커버그 메타 대표는 “팩트체크 전문가들이 정치적으로 편향돼 오히려 신뢰를 떨어뜨렸다”고 주장했다. 업계 일각에서는 이 주장을 곧이곧대로 받아들이기 어렵다고 지적하고 있다. 오히려 메타의 결정이 비용 효율성을 고려한 전략적 선택으로, AI가 24시간 운영이 가능하며 인건비 부담이 적기 때문에 프로그램을 폐지했다는 해석이다. 여기에 트럼프 행정부의 규제 완화 기조가 빅테크 기업들에 보다 자유로운 운영 환경을 제공할 것이라는 판단이 더해져 메타가 이러한 결정을 내렸다는 분석을 내리고 있는 것이다. 한 국내 AI 업계 관계자는 "메타의 결정은 트럼프 행정부의 정책 변화를 예상한 선제적 대응일 수 있다"면서도 "이와 함께 AI 기술 발전으로 인한 정확도 개선과 비용 효율성 등 다양한 요인이 복합적으로 작용했을 것"이라고 설명했다. 빅테크가 규범 공백 속에서 AI 안전성을 경시할 수 있음을 드러내는 또 다른 사례는 일론 머스크가 이끄는 AI 회사 xAI의 챗봇 '그록(Grok)'이다. 이 AI는 검열 없이 답변을 생성한다는 점이 특징으로, 트럼프 당선 이전부터 AI 안전성과 윤리적 책임에 대한 논란의 중심에 서 왔다. '그록'은 지난 2023년 11월 최초 출시된 이후 지속적인 업데이트를 통해 점차 그 특성을 강화해왔다. 특히 머스크의 정책 기조에 따라 정치적·인종적·문화적으로 민감한 질문에도 제한 없이 답변하거나 수위 높은 이미지를 생성하는 등 논란이 계속되고 있다. 가디언에 따르면 '그록'은 지난해 테일러 스위프트나 카멀라 해리스 등 실존 인물의 선정적 사진을 합성하는 등 문제적 콘텐츠를 생성해 우려를 키웠다. 이러한 xAI의 기조를 트럼프 전 대통령과 머스크 간의 정치적 연대가 보다 강화할 것이라는 분석 역시 제기된다. 머스크는 지난해 7월 트럼프 전 대통령 암살 시도 사건 이후 트럼프에 대한 공개적인 지지를 선언하며 매월 약 4천500만 달러(한화 약 600억원)를 트럼프 지지단체에 지원해 왔다. 이에 '그록'이 편향된 정보를 확대 생산할 가능성에 대한 우려 역시 커지고 있다. 실제로 '그록'은 미국 대선 당시 카멀라 해리스 전 부통령 후보가 후보자들에 대한 부정적인 발언을 했다는 등의 왜곡된 부정적 정보를 제공했다. 이같은 사례는 향후 AI가 트럼프와의 정치적 연대를 배경으로 특정 이익을 위해 더욱 편향된 정보를 제공할 가능성을 높여 민주적 과정의 공정성을 심각하게 위협할 수 있다는 우려를 낳고 있다. 미국 비영리 미디어 단체 프리 프레스의 노라 베나비데즈 선임 고문은 "머스크는 플랫폼을 인수한 이래 안전성 테스트를 고려하지 않은 대대적인 변화를 강행해왔다"며 "지금까지의 행태를 보면 앞으로 더 심각한 결과를 초래할 가능성이 크다"고 경고했다. 또 AI가 이미 국가 안보 차원에서 핵심 전략 자원으로 간주되는 만큼 트럼프 행정부가 들어서면 AI의 군사화가 보다 가속화될 것이라는 전망이 제기되고 있다. AI의 안보자원화는 현재 이미 진행 중이다. 지난해 12월 오픈AI와 미국 방산 업체인 안두릴 인더스트리즈는 국가 안보를 위한 AI 솔루션 개발을 목표로 한 파트너십을 발표했다. 중국 역시 지난해 메타의 라마(Llama) 모델을 활용해 군사용 AI 개발에 착수하며 AI 무기화 경쟁을 본격화하는 양상을 보이고 있다. 업계에서는 트럼프 행정부가 미중 경쟁 구도 속에서 AI 군사화를 더욱 빠른 속도로 추진할 가능성이 크다고 평가한다. 대통령 재임기에 미국 우선주의 기조 아래 대규모 거버넌스나 국제적 합의에 대한 언급을 꺼려왔기에 AI의 군사적 활용을 주저하지 않을 것이라는 전망이다. 실제로 트럼프 계열 싱크탱크는 지난해 'AI 맨해튼 프로젝트'라는 계획안을 선제적으로 제안하며 AI를 국가 전략 자원으로 전환할 것을 권고한 바 있다. 김명주 AI안전연구소장은 "트럼프 대통령의 '아메리카 퍼스트' 기조가 재현되면 적성국 제재를 강화해 프런티어 LLM 기술의 해외 서비스가 완전히 제한될 가능성이 있다"며 "이를 통해 미국이 AI 선도적 지위를 독점적으로 유지하려 할 가능성이 있다"고 전망했다. 이어 그는 "심지어는 미국이 '책임 있는 능력(Responsible capability)'과 같은 기존 AI 안전·거버넌스 용어를 활용해 타국에 강도 높은 규제를 요구할 가능성도 있다"며 "결과적으로 규제 개념이 자국 AI의 독주를 위해 활용될 가능성이 있다"고 분석했다.

2025.01.21 08:01조이환

국표원, 해외직구 안전성 조사 확대…제품시장 감시 강화

정부가 해외직구 제품 안전성 조사를 확대하고 제품시장 감시를 강화한다. 산업통상자원부 국가기술표준원은 15일 위해제품으로부터 소비자 안전 확보를 위한 ▲해외직구 제품 안전성 조사 확대 ▲경찰·지자체 등과 합동단속 강화 ▲리콜사업자 관리 강화 등을 담은 '2025년도 제품 안전성조사 계획'을 발표하고 올해 중점 추진할 계획이라고 밝혔다. 해외직구 제품 안전성 조사는 지난해 조사한 450개 보다 2배 이상 확대된 1천여 개 제품을 조사해 해외 온라인 플랫폼을 통한 위해제품의 국내 유입을 방지할 계획이다. 국내 유통제품에 대해서도 화재·사고 등 안전 우려가 높은 품목을 중심으로 4천700여 개 제품을 조사해 소비자 안전을 확보해 나갈 계획이다. 또 KC 미인증 등 불법 제품의 시중 유통 방지를 위해 경찰청 합동단속을 지난해 2회에서 4회 이상으로 늘리고 지자체 합동단속도 지난해 21개 지자체에서 올해에는 24개 이상으로 확대한다. 민간의 자발적 제품안전 문화 확산을 위해 온라인 플랫폼 업체도 지난해 16곳에서 올해에는 20개 이상으로 확대하고 소비자단체 등과의 협력도 강화해 나갈 계획이다. 리콜사업자에 대한 리콜점검 강화, 온라인 플랫폼 업체와 협력을 통한 리콜사실 소비자 직접 통보, 지자체·교육청 등과 협력 홍보 등을 통해 리콜제품이 시중에 재유통되지 않도록 철저히 관리해 나갈 계획이다. 진종욱 국가기술표준원장은 “이번에 수립한 2025년 제품 안전성조사 계획을 차질 없이 추진해 국민이 안심하고 제품을 구매할 수 있도록 제품 안전 확보에 최선을 다하겠다”며 “업계에서도 안전한 제품이 시중에 유통될 수 있도록 제품안전 관리에 적극 노력해 줄 것”을 당부했다.

2025.01.15 14:08주문정

웨이모 로보택시에 갇혀 무한 주행…무슨 일 있었나

작년 말 구글 웨이모 로보택시가 원형 교차로를 계속 돌고 있는 영상이 공개돼 화제가 됐다. 하지만 해당 로보택시에 승객이 탑승하지 않은 것으로 확인되면서 논란이 일단락됐다. 그런데 작년 12월 웨이보 로보택시를 타고 피닉스 공항으로 향하던 한 미국 남성이 택시에 갇히는 일이 있었다고 테크크런치가 8일(현지시간) 보도했다. 당시 택시에 타고 있던 사람은 인공지능 컨설팅 회사 디지털마인드스테이트의 설립자 마이크 존스였다. 비행기를 타기 위해 공항 주차장을 돌고 있었는데 이후 차를 멈출 수도, 내릴 수도 없이 원을 그리며 주차장을 뺑뺑이하는 일을 겪었다고 그는 주장했다. 그는 7분이 되지 않는 시간 동안 택시에 갇혔고 비행기 시간을 놓칠까봐 두려워했다고 덧붙였다. 존스는 문제 해결을 위해 고객센터에 도움을 청했다. 상담원에게 차량이 멈추지 않는다고 말하자 웨이모 앱을 열어 '마이 트립스'(My Trips) 버튼을 누르라고 안내했다. 그러자 존스는 차량 내에서 이를 제어할 수 있는 방법은 없냐고 물었지만 결국 모바일 앱을 통해 상담원의 지시에 따르고 나서야 로보택시가 정상 운행했다고 밝혔다. 해당 사건에 대해 웨이모 측은 "이 사건은 12월 초에 발생했으며, 소프트웨어 결함으로 확인됐다"면서 "이후 소프트웨어 업데이트로 문제를 해결했다”며 고객에게 요금을 청구하지 않았다고 밝혔다. 조지 메이슨 대학 자율주행·로봇공학 교수이자 전직 미국 도로교통안전국(NHTSA)의 수석 안전 자문으로 활동했던 미시 커밍스(Missy Cummings)는 이번 사고가 규모가 작지만 자율주행차가 해결해야 할 큰 문제를 보여준다고 밝혔다. 그는 "모든 로봇 시스템에는 어딘가에 큰 빨간 버튼(긴급 버튼)이 있는데, 그걸 누르면 작동이 해제된다”며 웨이모 택시에는 이 장치가 빠져 있다고 지적했다. 또, “만약 차량이 누군가에 의해 해킹당했고 차량에 승객이 있는 경우 어떻게 될까? 그것이 앞으로 정말 중요한 보안 조치라고 말하고 싶다. 승객이 내릴 수 있도록 차 안의 모든 것을 원격으로 멈출 수 있는 기능이 반드시 필요하다”고 말했다. 또 그는 승객이 직접 모바일 앱을 통해 문제를 해결하도록 한 웨이모의 조치에 대해 "당장 해결해야 하는 긴급 상황에서 휴대폰을 통해 해결하게 했다는 사실에 놀랐다"며 "인터넷 연결 문제 뿐 아니라 사용자 친화적이지 않은 앱은 많은 오류를 일으킬 위험이 크다"라고 지적했다.

2025.01.09 17:13이정현

다이렉트클라우랩, 고용노동부 '대한민국 일⋅생활 균형 우수기업' 선정

글로벌 클라우드 스토리지 전문기업 다이렉트클라우드랩(대표 안정선)이 고용노동부의 '대한민국 일⋅생활 균형 우수기업'으로 선정됐다. 고용노동부는 산업통상자원부, 중소벤처기업부, 한국경영자총협회, 대한상공회의소, 중소기업중앙회 등 관계부처 및 경제단체 합동으로 대한민국 일⋅생활 균형 우수기업을 뽑았다. 우리 사회는 초저출생 위기 상황에서 유연근무와 일육아 병행이 중요한 과제로 떠올랐다. 이에 정부부처와 경제단체는 유연한 근무와 일과 육아를 병행할 수 있는 우수 환경과 문화를 가진 기업을 선정해 관련 사례를 확산한다. 다이렉트클라우드랩은 기업들이 효율적으로 재택 원격 근무를 할 수 있게 지원하는 클라우드 스토리지를 서비스한다. 다이렉트 클라우드 스토리지는 직원이 언제 어디서나 주요 데이터에 접속해 안전하게 업무를 처리할 수 있는 기반 서비스다. 다이렉트 클라우드는 파일 서버에서 클라우드 서비스로의 단순한 이전에 그치지 않고 보안과 협업, 데이터활용, 비용절감 등 문제를 해결한다. 다이렉트클라우드랩은 일과 생활의 균형을 맞출 수 있는 서비스를 제공하는 것은 물론 사내에도 유연 근무를 활성화하고 있다. 이외에 휴가사용, 일육아 병행, 일하는 방식과 문화 등에서 우수한 기업으로 선정됐다. 다이렉트클라우드는 이번 우수기업 선정으로 정기 근로감독을 면제와 관세조사 유예, 금리 우대의 혜택을 받게됐다. 또, 기술보증, 신용보증, 출입국, 중소기업 정책자금 우대 등의 혜택도 받는다. 안정선 대표는 “다이렉트클라우드는 중소기업부터 대기업에 이르기까지 유연 근무를 안전하고 효율적으로 운영할 수 있는 법인용 클라우드 스토리지 서비스”라면서 “이미 2000개 이상의 기업들이 다이렉트클라우드를 통해 보안을 강화하면서 편리한 협업이 가능한 유연한 근무 문화를 정착시켰다”고 말했다.

2024.12.09 11:15김인순

'AI 서울 기업 서약' 참여한 6개사, 안전 개발 환경 조성

지난 5월 '인공지능(AI) 서울 기업 서약'에 참여한 네이버, LG AI연구원, 카카오 등 국내 6개 기업이 지난달 AI 위험관리 프레임워크 구축을 마쳤다. 과학기술정보통신부는 26일 서울 용산구 전쟁기념관에서 'AI 신뢰·안전성 컨퍼런스'를 개최하고 이런 산업 정책 동향을 공유했다. 이날 행사에는 서울 기업 서약에 서명한 국내 6개 기업 관계자가 모두 참석했다. AI 서울 기업 서약은 기업들이 지난 5월 'AI 서울 정상회의' 개최에 맞춰 책임 있는 AI 개발을 추진한다는 내용을 담은 발표다. 우선 네이버는 지난 6월 'AI 세이프티 프레임워크(ASF)'를 구축했다고 발표했다. 여기에는 평가 대상, 시스템 도메인 분야에 대한 고려, 내부 거버넌스, 협업 구조에 대한 내용이 담겨있다. 또 프론티어 AI 위험을 모델 자체로부터 오는 통제력 상실 위험, 악의적 의도를 가진 사용자로 인한 악용 위험으로 나눠서 접근할 필요성도 제기했다. 발표를 진행한 네이버 허상우 연구원은 "ASF는 프론티어 AI 모델과 관련한 위험 관리 체계에 대한 약속"이라고 강조했다. 카카오도 지난달 'AI 세이프티 이니셔티브(ASI)' 구축을 마쳤다고 발표했다. ASI는 AI 서비스 리스크를 사전 평가·관리하기 위한 전사적 리스크 관리 시스템이다. 카카오는 서비스 개발 시 리스크 관리 사이클을 수행하고 그 결과를 전사 리스크 관리 위원회를 통해 검토한 뒤 최종적으로 CEO 승인을 받아 출시한다. 카카오 김경훈 이사는 "ASI를 통해 AI 리스크뿐 아니라 모든 카카오 서비스 리스크를 다룰 것"이라고 강조했다. LG AI연구원은 내년 3월부터 AI 위험을 미리 파악하고 해결하는 'AI 윤리 영향 평가'를 모든 프로젝트에 적용한다고 밝혔다. 또 내년 상반기 유네스코와 협업해 만든 AI 윤리교육(MOOC) 가이드라인 제작도 마칠 예정이라고 했다. 이 외에도 KT와 SKT, 삼성전자도 AI 위험성을 줄일 수 있는 프레임워크 구축 진행 상황을 설명했다. 과기정통부 송상훈 정보통신정책실장은 "민간 자율에 기반한 책임 있는 AI 개발·활용 문화가 확산할 수 있도록 정책 지원을 강화할 것"이라며 "첨단 AI의 잠재적 위험에 대비해 AI 안전연구소를 출범하고 체계적으로 대응해 나가겠다"고 밝혔다.

2024.11.26 16:19김미정

전기안전공사, 지자체와 UPS 안전성 평가 인프라 구축

한국전기안전공사(대표 남화영)는 15일 전북도·완주군과 '대용량·고출력 무정전전원장치(UPS) 위험성 평가 및 안전기술 개발을 위한 업무협약'을 체결했다고 밝혔다. 이날 협약은 산업통상자원부의 2024년 에너지기술개발사업인 '무정전전원장치 위험성 평가 및 안전기술 개발'을 위한 상호 협조체제 마련을 위해 진행됐다. 협약서에는 세계 최초 RE100 기반 UPS 관련 설비를 전북 완주테크노밸리 제2일반산업단지(약 4천700㎡)에 구축하기 위해 전북도·완주군이 공동으로 정부예산 확보와 사업계획 수립 등에 공동 노력하는 방안 등이 담겼다. 전기안전공사 관계자는 “완주테크노밸리 제2산단은 인근에 에너지저장장치(ESS) 안정성 평가센터 등이 건립 중이어서 UPS 인프라와 관련 설비를 공유하는 등 시너지 효과를 낼 수 있는 최적의 입지”라고 설명했다. 남화영 전기안전공사 사장은 “무정전전원장치 안전성평가 분야 글로벌 기술 경쟁력 강화는 물론, 세계 선도산업 초격차를 위한 안전기술개발과 에너지저장장치의 글로벌 메카 조성 전략을 수행하기 위해 최선을 다하겠다”고 밝혔다. 한편, 최근 대규모 데이터센터 등의 잇단 건립으로 UPS 보급이 급증하고 있지만, 기기별 안전기준이 없어 UPS의 안전한 활용을 위한 체계적인 안전기준과 안전성 평가설비가 필요하다는 지적이 꾸준히 제기돼 왔다.

2024.10.15 16:06주문정

'안전한 AI 사용' 외친 美 빅테크, 제품 보안 강화 총력

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [김미정의 SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [김미정의 SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 이야기를 맛있게 보도하겠습니다. [편집자주] 미국 빅테크가 생성형 인공지능(AI) 기능 보안성을 한층 더 강화했다. 생성형 AI가 다양한 산업에 도입되면서 환각 현상을 비롯한 데이터 유출, 신원 도용, 해킹 등 위험 사례를 최소화하기 위해서다. 20일 미국 외신 사이버시큐리티 다이브 보도에 따르면, 연 매출 1억 달러(약 1천350억원) 이상에 해당하는 기업 경영진 다수가 "AI 애플리케이션 복잡성으로 취약점이 확대됐다"며 "사내 사이버 보안 태세가 약해졌다"고 밝혔다. 이에 아마존웹서비스(AWS)를 비롯한 미국 빅테크는 사용자 명령어에 대한 이해도를 높여 환각 현상을 줄이고, 보안 업그레이드로 사이버 공격과 데이터 유출 차단 줄이기에 나선 분위기다. AWS "생성형 AI 결과에 신뢰성 점수 매긴다" AWS는 생성형 AI 애플리케이션 관리·개발 플랫폼 '아마존베드록' 보안 기능을 맡는 가드레일을 업그레이드했다. 생성형 AI가 사용자 프롬프트 문맥 이해도를 높여 기존보다 더 정확한 답변을 낼 수 있게 돕는 '문맥 그라운딩 체크' 기능을 새로 탑재했다. 문맥 그라운딩 체크 기능 특장점은 객관적 수치를 통한 답변 필터링이다. 아마존베드록이 생성물에 신뢰성·정확성 점수를 자체적으로 매김으로써 답변 품질을 평가하는 식이다. 점수 매기는 기준은 문맥에 따라 다르다. 다만 공통으로 답변에 핵심 참조 내용이 포함됐는지, 질의 내용과 답변이 통일성 있는지, 답변과 질문 관련성이 얼마나 높은지를 측정한다. AWS코리아 김선수 AI·ML사업개발 매니저는 "점수 매기는 작업은 AWS 노하우를 통해 이뤄진다"고 설명했다. 이어 "답변에 AWS가 지정한 필수 출처 내용이 답변에 없으면 이를 사용자에게 제공하지 않는다"며 "답변 품질 점수가 평균보다 낮을 때도 이를 내놓지 않는다"고 강조했다. 마이크로소프트 "생성형 AI 보안도 AI로 지킨다" 마이크로소프트는 '코파일럿'과 보안 제품을 통합해 일반 솔루션뿐 아니라 AI 기반 제품 보호에 나섰다. 가장 대표적인 AI 보안 솔루션은 '마이크로소프트 코파일럿 포 시큐리티'다. 코파일럿 포 시큐리티는 약 78조개 넘는 보안 신호와 대규모 데이터, 위협 인텔리전스를 거대언어모델(LLM)과 결합해 인사이트를 제공할 수 있다. 이를 통해 사용 조직은 생성형 AI 솔루션 외부 위협을 신속히 감지하고 대응할 수 있다. 마이크로소프트는 생성형 AI 사용 중 발생할 수 있는 정보 유출 방지 솔루션도 운영하고 있다. 프리뷰로 제공되는 '코파일럿 인 마이크로소프트 엔트라 유저 리스크 인베스티게이션'은 마이크로소프트 엔트라에 탑재됐다. 이 솔루션은 사용자 개인정보 유출을 막고, 보안 위협이 발생했을 때 빠르게 대처 가능하도록 지원한다. 특히 사용자 위험을 파악해 적절한 가이드를 제공하고, 향후 발생할 수 있는 위협을 예측해 해결법을 제시할 수 있다. 세일즈포스 "믿을 만한 데이터로만 접근" 세일즈포스도 '세일즈포스 데이터 클라우드' 내 제품서 작동하는 생성형 AI 솔루션에 데이터 보안성을 높였다. 세일즈포스는 17일부터 19일까지 미국 샌프란시스코에서 열린 '드림포스 2024'에서 자율형 AI '에이전트 포스'에 이런 데이터 보안 기능을 적용했다. 에이전트 포스는 사용자 요청 없이도 관련 업무를 24시간 자율적으로 수행할 수 있는 로우코드 플랫폼이다. 데이터 클라우드 내에서 작동한다. 에이전트포스를 비롯한 데이터 클라우드 기반 솔루션은 AI를 통해 비구조화된 데이터를 자동으로 분류·라벨링한다. 실시간 데이터 관리가 일괄적으로 가능하다. 세일즈포스는 해당 제품 내 데이터 접근 권한도 세분화할 수 있다. 대규모 데이터 환경에서도 사용자 그룹별로 적절한 권한을 부여할 수 있는 보안 정책을 갖췄다. 데이터 접근 허용자만 이를 확인할 수 있는 셈이다. 이 외에도 기업이 스스로 암호화 키를 관리할 수도 있다. 데이터를 사용 중이거나 저장 중일때도 암호화된 상태로 데이터 보안 유지를 할 수 있다. 마크 베니오프 세일즈포스 최고경영자(CEO)는 행사 기조연설에서 "신뢰할 수 있는 데이터 관리 방식을 에이전트포스에 제공했다"며 "새로운 혁신과 고객 증가로 데이터 클라우드 모멘텀이 치솟을 것"이라고 재차 강조했다.

2024.09.20 16:07김미정

환경부, 국내 안전기준 부적합 해외직구 제품 69개 유통 차단

환경부는 올해 4월부터 최근까지 알리익스프레스·테무 등 해외 온라인 유통사의 558개 제품을 구매해 안전성을 조사한 결과, 69개 제품이 국내 안전기준에 부적합한 것으로 확인하고 국내 유통을 차단했다고 19일 밝혔다. 환경부가 안전성 조사를 실시한 558개 제품은 ▲방향제·코팅제 등 생활화학제품 143개 ▲귀걸이·목걸이 등 금속장신구 415개다. 이 가운데 69개 제품(생활화학제품 20개, 금속장신구 49개)이 '생활화학제품 및 살생물제의 안전관리에 관한 법률' '화학물질등록평가법' 등 국내 안전기준에 적합하지 않은 것으로 확인했다. 환경부는 안전성 조사 과정에서 국내 안전기준 부적합 제품이 확인되는 대로 해당 제품 정보를 초록누리와 소비자24에 등록하고 해외 온라인 유통사에 해당 제품의 판매 차단을 요청하고 관세법 제237조를 적용해 국내 반입이 차단되도록 관세청에 협조를 요청했다. 환경부는 이들 69개 제품이 온라인 유통사에서 차단 완료된 것을 확인하고 앞으로 해당 제품이 다시 판매되는지 여부를 지속해서 확인할 계획이다. 황계영 환경부 환경보건국장은 “해외직구 제품으로부터 국민 안전을 보호하기 위해 올해 말까지 생활화학제품·금속장신구 등에 대해 안전성 조사를 추가로 실시하고 그 결과를 공개할 계획”이라며 “해외 온라인 유통사에 국내 안전기준에 부적합한 제품의 판매 중단을 요청하고 관세청에는 해당 제품의 통관이 보류될 수 있도록 협조를 구하겠다”고 밝혔다.

2024.09.19 15:26주문정

  Prev 1 2 Next  

지금 뜨는 기사

이시각 헤드라인

삼성 파운드리, 2나노 3세대 공정 2년내 구현..."고객이 다시 찾게 하자"

서로 닮아가는 채용 플랫폼…데이팅·사주로 차별화 꾀하기도

작고 강하게…한국형 '로봇 손' 주도권 놓고 각축전

"따로 또 같이"...글로벌 서비스 ‘라인’은 현지화+기술통합 어떻게 하나

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.