• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
스테이블코인
배터리
AI의 눈
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 레드팀'통합검색 결과 입니다. (3건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

AI 신뢰성 검증한다…셀렉트스타, MWC 레드팀 챌린지 지휘

셀렉트스타가 세계 최대 모바일 전시회에서 글로벌 인공지능(AI) 안전성 기준 마련을 위한 행보를 이어간다. 작년에 이어 올해도 글로벌 레드팀 챌린지를 주관하며 AI 검증 분야에서의 기술적 리더십을 공고히 한다는 전략이다. 셀렉트스타는 다음 달 2일부터 5일까지 스페인 바르셀로나에서 열리는 MWC26에서 '글로벌 AI 레드팀 챌린지'를 개최한다고 10일 밝혔다. 셀렉트스타가 세계이동통신사업자연합회(GSMA)와 2년 연속 공동 주최하는 이번 행사는 국내외 대표 통신 기업들이 자체 개발한 거대언어모델(LLM)이 대상 모델로 참여한다. 전 세계에서 모인 100여명 참가자가 해당 모델을 대상으로 모의 프롬프트 공격을 수행해 유해·차별적 결과, 보안 취약점, 시스템 오용 가능성 등을 찾아내는 '레드티밍' 미션을 수행할 예정이다. 레드팀은 AI 의사결정 구조가 복잡해진 데 따라 발생할 잠재적 위험을 사전에 식별하고 대응하는 필수 과정으로 꼽힌다. 셀렉트스타는 이번 행사를 통해 레드팀 운영 노하우를 글로벌 무대에 선보이고, 실제 AI 서비스 환경에서 활용 가능한 검증 방식과 인사이트를 제시할 계획이다. 셀렉트스타는 최근 과학기술정보통신부 주관 '독자 AI 파운데이션 모델' 프로젝트 1차 평가를 통과한 SK텔레콤 컨소시엄에 참여하는 등 데이터 분야 'K-AI' 기업으로 보폭을 넓히고 있다. 김세엽 셀렉트스타 대표는 "전 세계 참가자들과 함께 AI 취약점을 점검하고 신뢰성 평가 기준을 한 단계 끌어올리는 계기가 되길 기대한다"고 말했다.

2026.02.10 15:00이나연 기자

"금융권, AI 더 확산되기 전에 보안 체계 갖춰야"

인공지능(AI) 모델에 대한 공격자 관점의 보안 위협 분석이 중요하다는 제언이 나왔다. AI 모델 공격은 시스템 조작을 통해 시장을 왜곡하거나 공공 시스템 전체를 위협할 수 있기 때문이다. 송은지 금융보안원 수석은 20일 개최된 국내 최대 금융 정보보호 컨퍼런스인 'FISCON 2025'에서 이같은 내용을 중심으로 한 세션 발표를 진행했다. 이날 송 수석은 '금융분야 AI 레드티밍 동향과 미래'를 주제로 발표했다. 보안업계에 따르면 레드티밍, 즉 레드팀은 공격자 관점에서 기업이나 기관의 취약점이나 미흡한 보안 사항을 선제적으로 찾아내 조치할 수 있도록 알려주는 역할을 한다. 송 수석은 기업이나 기관의 취약점이 아니라 AI 시스템에도 이같은 공격자 관점의 취약점 분석이 필요하다고 강조했다. 그는 "금융권에서 AI는 이미 핵심 의사결정에 깊이 관여하고, 그 결정 하나하나가 고객의 자산과 부결된다"며 "특히 금융산업의 특성상 잘못된 투자 조언이나 사기, 펀드 시스템 오작동 등은 개인 자산 손실로도 이어질 수 있고, AI 챗봇의 오작동은 금융회사의 실패로 이어져 그 파장도 더욱 크다"고 진단했다. 이에 송 수석은 "아직 금융권에서 AI를 백오피스에서만 활용하는 수준으로 도입하고 있는 만큼 AI가 제한된 서비스에 머무르는 동안 보안 체계를 구축하고, 조직의 대응 능력을 향상해야 한다"며 "AI가 핵심 금융 서비스 전반으로 확대된 후에 보안 체계를 갖추기엔 너무 늦었다"고 지적했다. 따라서 "AI 모델에 대한 공격 시도들이 정교화되고 있는 만큼 어떤 공격 유형이 있는지 선제적으로 파악하고, 취약점을 조치할 수 있어야 한다"고 역설했다. 한편 송 수석은 이날 AI 시스템을 대상으로 한 주요 공격 기법 등에 대해 소개하고, 대응 전략에 대해서도 구체적으로 설명하는 시간을 가졌다.

2025.11.20 20:11김기찬 기자

ETRI, AI 안전성·신뢰성 분야 국제 표준 개발 착수

국내 연구진이 STA·네이버·업스테이지·셀렉트스타·KT·LG AI연구원 등과 협의체를 구성해 AI 안전성 및 신뢰성 분야 국제 표준 개발에 착수했다. 한국전자통신연구원(ETRI)은 AI 시스템의 위험을 미리 찾아내는'AI 레드팀 테스팅'표준과 소비자가 AI의 신뢰 수준을 쉽게 이해할 수 있는'신뢰성 사실 라벨(TFL)'표준을 국제표준화기구(ISO/IEC)에 제안하고, 본격적인 개발에 착수했다고 20일 밝혔다. 'AI 레드팀 테스팅'은 AI 시스템이 얼마나 안전한지를 공격적으로 탐색하며 테스트하는 방법이다. 예를 들어, 생성형 AI가 잘못된 정보를 내놓거나, 사용자 보호장치를 피해 악용되는 상황을 미리 찾아내는 것이다. ETRI는 이 분야의 국제표준인 'ISO/IEC 42119-7' 에디터 역할을 맡아, 의료·금융·국방 등 다양한 분야에 공통으로 적용할 수 있는 국제 공통 시험 절차와 방법을 만들고 있다. 연구팀은 서울아산병원과 의료 전용 레드팀 평가 방법론도 함께 개발 중이다. 첨단 AI 기술을 적용한 디지털의료제품에 대한 레드팀 시험 체계도 만들고 실증 테스팅을 진행할 예정이다. STA·네이버·업스테이지·셀렉트스타·KT·LG AI연구원 등 주요 기업들과 협의체를 구성, AI 레드팀 국제표준화 협력도 진행 중이다. '신뢰성 사실 라벨(Trustworthiness Fact Labels, TFL)'은 AI 시스템이 얼마나 신뢰할 수 있는지를 한눈에 알 수 있도록 시각화해주는 것으로, 마치 식품의 영양성분표처럼 소비자에게 투명한 정보를 제공한다. ETRI는 현재 'ISO/IEC 42117' 시리즈 표준 개발을 주도하고 있다. 이 표준은 기업이 스스로 정보를 제공하거나, 제3의 기관이 검증·인증하는 다양한 방식으로 운영될 수 있다. 향후에는 AI의 탄소배출량(탄소발자국) 같은 ESG 요소도 반영하는 방안까지 검토 중이다. 이 표준은 인공지능 활용 조직에 대한 국제 인증 표준으로 사용하고 있는'AI 경영시스템 표준(ISO/IEC 42001)'과도 연계, 개발된 제품 및 서비스가 얼마나 신뢰할 수 있는지 입증할 수 있는 틀로 자리매김하도록 할 계획이다. 정보통신기획평가원 김 욱 PM은 "이 두 표준은 정부가 추진하는'소버린 AI(주권형 AI)','AI G3 도약'전략과도 맞닿아 있다"며 “이번 국제표준 선도는 AI 규범을 선도하는 국가로 가는 분기점”이라고 평가했다. ETRI 이승윤 표준연구본부장도 “AI 레드팀 테스팅과 신뢰성 라벨은 미국, EU 등 각국 AI 규제정책에 포함된 핵심 기술 요소"라며 "대한민국이 소버린 AI뿐 아니라 소버린 AI 안전 기술을 이끄는 중심이 되도록 할 것"이라고 밝혔다.

2025.08.20 10:02박희범 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

[AI는 지금] "인류 통제 벗어날 수도"…세계 석학들이 보낸 적색 경보

"또 실패는 없다"…구글이 AI 글래스 '킬러앱'에 카톡 찜한 이유

"피지컬 GPT, 한국이 선도할 수 있다"

저평가주 외인 매수세에...SK텔레콤 주가 고공행진

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.