• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'레드팀'통합검색 결과 입니다. (9건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

환경공단, 부패 진단·조직문화 개선 위한 '레드팀·블루팀' 신설

환경부 산하 한국환경공단(이사장 임상준)은 22일 서울 마포구 중소기업 DMC타워에서 '레드팀 착수보고회'를 개최하고, 부패 취약분야 진단과 공정한 조직문화 개선을 위한 내부 특화조직인 '레드팀'과 '블루팀' 운영에 본격 돌입했다. 특화조직 구성은 지난 4월 제1회 청렴·내부통제위원회에서 의결된 '청렴·윤리 2.0 종합계획'의 중점과제로, 변화하는 공공기관 윤리경영 요구에 능동적으로 대응하기 위한 선제 조치다. '레드팀'은 5천450억원 규모 국고보조금 사업 전반을 점검한다. 2025년 기준 환경공단이 수행 중인 국고보조금 사업은 총 12개 분야, 약 5천450억 원에 이른다. 전체 예산의 20%를 차지하며, 3년 새 3천800억원 이상 증가했다. 환경공단에 따르면 과거 전기차 충전기 설치지원·탄소중립설비 구축지원 등 일부 사업에서 부정수급 의심 사례가 발생함에 따라 제도와 구조 자체 취약성 점검 필요성이 제기돼 왔다. 레드팀은 가상의 공격자 관점에서 각 사업의 부패 가능성을 시뮬레이션하고 취약 지점을 선제적으로 진단한다. 이를 통해 'RED Target'을 설정한 뒤 제도개선으로 연계한다. 환경공단은 올해 ▲위험 진단(6월) ▲제도개선(9월) ▲성과 분석 및 환류(10월) 등 단계적 계획으로 운영한다. 윤리경영실과 감사실, 수행부서 간 유기적인 협력을 통해 환경공단의 리스크 대응력을 강화할 예정이다. '블루팀'은 미래세대가 직접 제안하고 실현하는 조직문화 혁신한다. 레드팀이 제도적·구조적 위험을 점검한다면, 블루팀은 구성원 관점에서 조직문화 공정성과 유연성을 개선해 나가는 역할을 맡는다. 블루팀은 2016년부터 2022년 사이에 입사한 5급 이하 직원 120명으로 구성된다. 전체 직원 중 MZ세대 비중 증가와 맞물려 구성원의 '공정성 체감도'를 향상시키기 위한 실질적인 조직문화 개선 방안이다. 블루팀은 인트라넷 전용 온라인 플랫폼 'BLUE로그'를 통해 주제별 의견을 익명으로 개진하고, 다수 공감을 받은 제안은 '2025년 BLUE Target 과제'로 선정해 공정하고 건강한 조직문화 정착을 도모한다. 환경공단은 블루팀을 통해 내부 구성원이 공감하고 자발적으로 참여하는 하향식이 아닌 상향식 변화가 실현될 것으로 기대했다. 임상준 환경공단 이사장은 “레드팀과 블루팀은 공단의 제도 개선과 조직문화 혁신을 이끄는 새로운 동력”이라며 “두 조직의 활동을 통해 청렴한 공단, 신뢰받는 공공기관으로 거듭나겠다”고 밝혔다.

2025.05.22 15:05주문정

파고네트웍스, AI 기반 통합 보안 플랫폼 '딥액트' 발표

국내 정보보호 기업 파고네트웍스가 인공지능(AI)을 기반으로 보안하는 플랫폼 '딥액트(DeepACT)'를 선보였다. 권영목 파고네트웍스 대표는 23일 서울 삼성동 그랜드인터컨티넨탈서울파르나스호텔에서 연례 행사 '파고 보안 정상회의(Pago Security Summit)'를 열고 이를 발표했다. 권 대표는 “제대로 탐지하고 대응하려면 레드팀(red team)·블루팀(blue team)·퍼플팀(purple team)을 운영하는 게 중요하다”면서도 “뛰어난 인재를 전체 팀으로 꾸려 상시 채용하려면 비용과 시간이 많이 든다”고 말했다. 그러면서 “딥액트를 고객에게 제공하는 이유”라며 “파고네트웍스가 관리형 탐지 및 대응(MDR) 분야 한국 시장 개척했다고 생각한다”고 자부했다. 레드팀이라는 말은 군사 훈련을 하다가 아군 약점을 알아채고자 적군 역할을 둔 데에서 유래했다. 블루팀은 레드팀 공격을 막는다. 퍼플팀은 레드팀과 블루팀이 협력하도록 중간 역할을 하거나 이들 임무를 모두 수행한다. 권 대표는 “파고네트웍스는 사이버 위협을 가장 먼저 감지하고, 가장 정확히 판단해, 가장 빠르게 차단한다는 원칙을 세웠다”며 “단순히 탐지하기를 넘어 선제적으로 대응하고 예측하려고 한다”고 강조했다. 파고네트웍스는 딥액트 주요 기능으로 ▲AI 기반 위협 식별 ▲사고 자동 대응 ▲다크웹 인텔리전스 기반 공격자 탐지 등을 소개했다. 권 대표는 “알고리즘 수준을 높여 정보를 꼼꼼하게 분석한다”며 “이상 징후를 실시간 식별해 빠르게 대응할 수 있다”고 설명했다. 또 “인텔리전스를 바탕으로 정보를 분석해 미래 위협을 예측하고 예방하도록 돕는다”며 “복잡한 운영 환경이 변해도 유연하게 대처한다”고 했다. 반복 작업을 자동화해 보안팀은 중요한 일에 집중할 수 있게끔 한다는 입장이다. 파고네트웍스는 한국 본사와 아울러 필리핀과 말레이시아에서도 보안 관제·분석하는 MDR센터를 24시간 운영한다. 권 대표는 “하반기 미국에도 센터를 열 것”이라고 귀띔했다. 권 대표는 “기술뿐 아니라 실행력과 현장 적용력을 겸비한 가치를 고객에게 제공하겠다”며 “보안은 단지 위험을 줄이는 수단이 아니라 기업이 신뢰를 기반으로 지속 성장할 수 있도록 돕는 핵심”이라고 마무리했다.

2025.04.23 13:08유혜진

환경공단, 국민 눈높이 맞춘 '청렴·윤리경영 2.0' 선포

환경부 산하 한국환경공단(이사장 임상준)은 18일 공공기관 청렴 수준과 윤리적 책임 등에 대한 국민적 관심과 눈높이에 적극 대응하기 위한 '2025년 청렴·윤리경영 2.0 종합계획'을 수립하고 본격 추진에 나선다. 이번 종합계획은 최근 공공부문에서 발생한 투기·횡령 등의 부패 사례와 반복되는 내부 비위 문제를 계기로 기획된 중장기 전략으로, 국민 신뢰 회복과 청렴 문화의 정착을 목표로 한다. 세부적으로 감사원 등 외부기관의 권고사항과 높아진 국민 기대치를 종합 반영하고 ▲윤리경영 표준모델 ▲공공부문 내부통제 가이드라인 ▲자체 조직문화 진단 결과 등을 참고해 실효성 있는 윤리경영 체계 구축에 초점을 맞췄다. 국고보조금 부정 집행 방지·오피스 빌런 대응 등 최근 조직 내 이슈를 반영한 현장 밀착형 과제가 다수 포함됐다. 환경공단은 또 전체 예산의 약 20%에 해당하는 5천여 억원 규모 12개 국고보조사업 리스크를 선제적으로 관리하기 위해, 관련 전문가로 구성한 '레드팀'을 운영하고, 직원 120여 명의 '블루팀'을 통해 조직 내 불합리한 업무 문화를 매년 발굴해 단계별로 개선해 나갈 계획이다. 반복적 병가 남용·직무태만 등 조직에 부정적인 영향을 미치는 행위를 '오피스 빌런'으로 규정, 감찰 활동을 대폭 강화하고 관련 자가진단표 개발과 직원 사례 공모전을 통해 예방활동에도 힘쓸 예정이다. 환경공단은 이번 종합계획의 실행력을 높이기 위해 기존 관련 위원회를 통합한 '청렴·내부통제위원회'를 출범, 노동이사 등 다양한 구성원이 참여하는 협치 구조를 마련해 전략의 일관성과 실행력을 강화했다. 임상준 한국환경공단 이사장은 “이번 청렴·윤리경영 2.0 종합계획은 단순한 제도 개선을 넘어, 모든 임직원이 청렴을 조직문화로 내재화하는 전환점이 될 것”이라며 “국민 눈높이에 부합하는 윤리기준 실천을 통해 더욱 투명하고 공정한 공공기관으로 도약하겠다”고 말했다.

2025.04.20 21:38주문정

이상운 금결원 CISO "망분리 개선에 맞춘 新정보보호체계 만든다"

"금융보안 규제 선진화와 망분리 개선 등 정보보호 컨플라이언스가 변화하는 시점입니다. 금융보안 규제가 기존 열거형 방식에서 목표와 원칙 중심으로 바뀌면서 스스로 보안을 강화하는 노력에 집중합니다. 금융결제원은 '新정보보호체계'를 만들고 있습니다." 금융당국이 금융산업 디지털 혁신을 촉진하기 위해 10년 된 금융권 망분리 규제를 개선하고 나섰다. 망분리 개선이 시작되면서 가장 분주해진 업무가 사이버보안 영역이다. 금융과 핀테크 등의 핵심 인프라의 보안을 총괄하고 있는 금융결제원 이상운 최고정보보호책임자(CISO)는 자율보안체계 수립에 집중한다. CISO의 역할이 그 어느 때보다 강조되는 시점이다. 체크리스트에 기반한 수동적인 보안에서 능동적인 보안 시대로 넘어간다. 이상운 CISO는 "금융공동망을 운영하는 금융결제원은 디지털 금융 시대 중요한 인프라를 책임지고 있다"면서 "망분리 규제 개선으로 외부와 연결 접점이 생기면 진화한 사이버 보안 위협에 노출되는 공격 표면이 늘어난다"고 말했다. 그는 "시스템 구축과 운영에서 망분리 규제 개선에 따른 장점을 취하면서도 보안성은 확보하는 정보보호체계가 핵심 경쟁력이 될 것"이라고 말했다. 금결원은 대내외 환경변화에 대응하고 중장기 정보보호 업무 방향 설정을 위해 미래 환경 변화에 적합한 新정보보호체계를 마련한다. 이 CISO는 "핵심과제인 다층적 보호 체계를 만들기 위해 제로 트러스트 기반 보안 플랫폼 구축과 안정화에 자원을 투입한다"고 설명했다. '절대 믿지 말고(Never Trust), 항상 검증하라(Always Vertify)'란 제로 트러스트 원칙에 기반한다. 이 CISO는 “제로 트러스트는 전통적인 경계 기반 보안을 무력화하는 최신 사이버 위협에 대응할 수 있다”면서 “망분리 규제 개선의 핵심 보안 요소인 다층적 보호 체계 구현의 근간이 된다”고 말했다. 금결원은 지난 10월 과기정통부와 KISA가 주관하는 '제로트러스트 도입전환 컨설팅' 사업에서 민간분야 지원 대상기업으로 선정됐다. 이 CISO는 “금결원 내 제로 트러스트 관련 현황 분석과 성숙도 평가, 보안모델, 로드맵 수립 등을 수행할 예정”이라며 “생성형AI와 클라우드 등을 활용할 수 있는 개방형 개발 및 테스트 환경에 적합한 제로 트러스트 보안 모델 설계가 목표”라고 밝혔다. 금결원은 규제 준수를 위한 모의해킹에 머무르지 않고 선제적으로 보안 취약점을 찾는데도 집중하고 있다. 그는 “디지털 전환 가속화와 신기술 의존이 높아지면서 외부 개방과 연결이 증가할 수 밖에 없다”면서 “사이버 공격 표면 확장은 피할 수 없다”고 말했다. 이 CISO는 “오펜시브 보안 전문기업과 함께 공격자 관점에서 대외 서비스에 대한 취약점 점검을 확대하고 있다”면서 “올해는 전년 보다 2배 가량 모의해킹 기간을 늘려 점검했다”고 강조했다. 금결원 보안팀은 이를 통해 공격과 침투 시나리오 이해하고 사고 인지와 초기 대응절차를 보강하는 성과를 달성했다. 이 CISO는 “규제에 맞춰 주어진 보안을 하던 시대는 끝났다”면서 “각 기업이 자체 시스템과 데이터에 가장 적합한 보안 체계를 만들고 운영해야 한다”고 말했다. 이어 “특정 기간을 넘어 지속적인 침투 테스트를 통해 변화하는 IT환경에서 사이버 복원력을 유지할 것”이라고 덧붙였다.

2024.11.25 11:08김인순

"털리면 답 없다"…LG CNS 퍼플랩, '이것' 경고했다

LG CNS가 지난 3월 만든 보안팀 '퍼플랩'이 각 기업 보안 담당자들에게 액티브 디렉토리(AD) 보안 사고와 관련해 경각심을 주기 위해 팔을 걷어 부쳤다. 최근 기업과 공공기관을 대상으로 AD 보안 사고가 빈번하게 일어나고 있어서다. LG CNS는 26일 '액티브 디렉토리(AD)의 숨겨진 비밀 : 해킹 공격과 방어의 전쟁' 웨비나를 열고 AD 네트워크 보안 침해를 막기 위한 퍼플랩의 역할과 AD가 취약한 공격 루트를 공개했다. AD는 마이크로소프트 윈도 환경에서 사용되는 서비스로, 디렉터리 내 사용자, 그룹, 서버 등에 대한 정보를 저장해 관리자가 네트워크 자원의 접근과 권한을 관리할 수 있도록 하는 서비스다. 사용자 계정·단말·서버를 통합 관리 할 수 있어 해커가 AD 접근 권한을 얻게 되면 기업 시스템에 바이러스를 심거나 시스템을 중단시킬 수도 있다. 퍼플랩은 대다수 해킹 사례에서 AD 도메인 관리자 권한을 얻기 위한 공격이 진행돼 각 기업들과 공공기관에서 이를 대비해야 한다는 점을 알리기 위해 보고서도 발행했다. 실제로 경찰청이 지난 1월부터 2월까지 국내 방산 기업 80여 곳을 조사한 결과 대기업 방산업체 등 10여 곳이 기술 자료 탈취 등 피해를 본 것으로 알려졌다. 지난 2022년 11월 해킹 피해를 입었음에도 올해까지 모르고 있었던 사례도 있었다. 퍼플랩은 이번에 가상의 AD 공격 시나리오로 레드팀과 블루팀의 역할을 나눠 임무를 수행했다. 레드팀은 모니커링크 취약점을 활용해 주요 타겟에게 공격 코드가 포함된 메일을 발송하며 초기 침투를 시도했다. 반면 블루팀은 초기 침투의 주 통로가 되는 모니커링크 취약점을 탐지·방어하는 데 주력했다. 레드팀은 초기 공격에 성공할 경우 디시싱크(DCSync)·실버티켓·골든티켓 공격을 통해 AD 정보를 탈취한다. LG CNS 레드팀 김종훈 책임은 "디시싱크와 실버티켓 공격은 탐지가 매우 어렵기 때문에 초기 예방이 매우 중요하다"고 강조했다. 디시싱크 공격은 해커가 도메인 컨트롤러(DC)와 동일한 권한을 갖고 있는 것처럼 행동해 기업의 민감 정보에 접근을 시도하는 것을 뜻한다. 해커의 공격 성공 시 기업의 민감한 정보를 복제할 수 있고 AD 네트워크 내 모든 계정 정보를 해커가 얻는 것이 가능하다. 레드팀과 블루팀은 실버 티켓과 골든 티켓에 대해 놀이동산의 '자유이용권' 같은 존재라고 비유했다. 실버 티켓이 생기면 해커는 서비스 계정의 권한에 접근할 수 있으며 골든 티켓 공격에 성공하면 AD 환경의 모든 리소스를 접근할 수 있어 보안에 구멍이 생기기 때문이다. 이를 방어하기 위해 블루팀은 초기 보안 패치 설치가 대단히 중요하며 계정 탈취 과정에서 생기는 '티켓. 키어비(ticket.kirbi)'라는 이름의 골든 티켓 파일을 모니터링해서 찾아야 한다고 보고했다. 김 책임은 "새로운 IT 동향에 맞춰 이후 보고서 주제가 선정될 것"이라며 "인공지능(AI)이나 해커가 원격으로 손상된 시스템을 제어하는 'C2 프레임워크' 기술이 다음 연구 대상으로 꼽히고 있다"고 언급했다. 지난 3월 LG CNS가 만든 퍼플랩은 레드팀과 블루팀을 합쳐 대응하는 보안팀을 의미한다. 레드팀은 화이트해커 20여 명으로 구성돼 있으며 블루팀은 24시간 365일 스마트 보안관제센터를 운영하는 방어조를 뜻한다. LG CNS 블루팀 김지훈 책임은 퍼플랩과 레드팀·블루팀 이름과 관련된 질문에 "과거 미군이 가상 시뮬레이션 군사작전 '워게임'을 진행할 때 공격 측을 빨간색, 방어 측을 파란색으로 지정한 것으로부터 유래됐다"고 답했다. 이어 "예상하지 못한 서버 공격을 방어하게 될 일이 생겨 방어에 나섰는데 LG CNS 레드팀 측에서 모의 침투 테스트를 진행한 경우도 있었다"며 "블루팀이 이번에 새로 조직돼 레드팀과 합쳐지며 빨강과 파랑을 합친 보라색으로 팀 이름이 지어지게 됐다"고 설명했다. 또 레드팀 구성 조건이나 법적 근거가 있는지에 대한 질문에는 "레드팀·블루팀 창설과 관련해선 자사가 컨설팅을 통해 고객 환경과 컴플라이언스에 따라 제안하고 있다"고 덧붙였다. LG CNS 보안·솔루션사업부 배민 상무는 "해커들의 공격 대상이 내부망인 AD로 변화하는 추세"라며 "'AD 보안 취약점 진단 컨설팅' 및 '모의 침투 테스트' 서비스를 통해 기업 고객들에게 사이버보안 전략을 제공하고 있다"고 말했다.

2024.09.26 18:18양정민

고속 성장하는 스타트업엔 레드팀이 필요하다

한 스타트업 창업자와 최근 점심을 같이 했다. 조언을 구할 게 있다고 했다. 당장 급한 현안이 있는 건 아니었다. 여러 번 창업한 경험이 있는데 지금 하고 있는 아이템은 대박 느낌이 든다고 헸다. 그런데 오히려 더 조심해야겠다는 생각이 들더란다. 조언을 구하고자 하는 바도 성장이 예상될 때 무엇을 경계해야 할지 알고 싶다는 거였다. 적잖은 스타트업 창업자를 만났지만 드문 사례였다. 2년 가까이 스타트업 창업자를 릴레이 인터뷰 하면서 의미 있게 생각했던 것이 두 가지 있다. 첫째, 회사라는 단어보다 팀이라는 어휘를 주로 쓰고 있다는 점이었다. 그 표현의 유래나 의미 때문이라기보다는 팀이라는 말이 더 정겨워 뜻 깊게 생각된 듯하다. 이해관계보다 지향하는 뜻에 더 중점을 두고 하나의 마음으로 한 곳을 향해 달려가는 집단을 가리키는 표현이라는 생각에 더 정겨웠다. 스타트업 대표들의 창업 동기는 대부분 '사회 문제를 기업 방식으로 푼다'는 거다. 인간 사회에는 풀어야 할 여러 문제가 있고 해결방법은 다양하다. 그런데 어떤 것은 기업의 방식으로 푸는 것이 가장 효율적일 수 있다. 이윤의 동기와 결합될 때 문제가 더 잘 풀릴 수 있는 사안도 많은 것이다. 그래서 '사회 문제를 기업 방식으로 푼다'는 창업 동기 또한 팀이라는 말 못잖게 마음에 들었다. 두 가지는 그러나 어떤 측면에서 보면 '정리된 지향'일 뿐 '내재적 실체'는 아닐 수도 있다. 지향은 관념과 구호만으로도 충분하지만, 실체는 쉬지 않고 끝없이 가꾸는 행동으로만 조금씩 구현되는 것일 텐데, 어떤 기업의 경우 전자만 요란하고 후자는 느슨해 보인다. 기업의 규모가 조금씩 커져갈수록 전자와 후자의 간극이 벌어지는 경향도 느껴진다. 이 경향이 기업 리스크의 본질로 생각된다. 창업은 '사회 문제를 기업 방식으로 푼다'는 관념으로부터 출발한다. 어떤 문제의식을 느끼고 해결방안이 떠올랐을 때 팀을 꾸려 행동에 나서는 것이 창업이다. 그 행동이야 말로 '도전'이다. 그 행동을 통해 소비자가 느끼는 문제를 풀어낼 때 창업은 빛이 나고 기업의 존재 이유가 생기는 것이다. 안타까운 것은 첫 문제를 풀기도 어렵지만 문제를 풀고 나서는 더 큰 문제에 직면한다는 점이다. '도전'은 그래서 대부분 '예고된 좌절'이기도 하다. 짧은 시간 안에 많은 창업가가 좌절하고 시간이 길어지면 좌절하지 않은 이가 드물다. 문제는 기하급수적으로 늘고 창업자 역량은 산술급수적으로 발전하기 때문이다. 문제는 달리는 호랑이와 같고 창업자는 그 위에 위태롭게 올라 탄 존재와 같다. 시간이 가면 갈수록 문제는 그의 통제 영역을 벗어난다. 그가 할 수 있는 일은 점점 줄어든다. 스타트업으로 시작해 크게 성장한 여러 기업에서 최근 잡음이 끊이지 않는다. 창업자가 구속되거나, 파산 위기에 빠지거나, 협력사와 소비자의 거센 반발에 직면해 있다. 위기에 빠진 기업들에 대한 분석도 쏟아진다. 대부분 그 원인은 '무리(無理)'에서 찾아진다. 문어발식 확장, 인수합병을 위한 무리한 투자, 매출 부풀리기, 당장의 지표를 위해 미래의 이익을 당겨오는 방식 등이 그런 분석이다. 무리는 사실 특별한 게 아니다. '정리된 지향'과 '내재적 실체'가 크게 벌어진 상태를 가리킨다. 지향과 실체가 벌어지면 팀이라는 초기 기업문화가 흔들리고, 소비자를 위한 사회문제 해결이라는 창업 동기도 사라져버린다. 오로지 앞뒤 가리지 않는 성장만이 유일한 가치가 된다. 맹목적 성장 추구야 말로 언젠가 반드시 떨어지고야 말 호랑이 등인데, 사달이 나기 전에는 그 사실을 알지 못 한다. 기업은 달리는 자전거에 비유되곤 한다. 달리는 건 성장을 뜻하다. 성장하지 않으면 넘어진다는 의미다. 지속 성장은 그래서 꼭 필요하지만 그만큼 힘든 일이다. 하지만 성장 자체가 유일한 가치로 돌변하게 될 경우 기업은 사회 문제를 푸는 혁신 집단이 아니라 도리어 스스로 문제 덩어리로 전락해 사회에 부담이 될 수 있다. 찬사가 비난으로 바뀌는 건 순식간이다. 나락에 빠지는 것도 그렇다. 문제를 풀기보다 키워 나락에 빠진 기업은 지향하는 모토와 실제 경영 사이의 간극이 되돌릴 수 없을 만큼 커져 있게 마련이다. 간극이 커가는 데도 승수 효과가 적용되는 것 같다. 처음엔 작았던 게 시간이 갈수록 감당할 수 없을 만큼 커진다. 그래서 고속 성장하는 스타트업에는 그 간극을 체크할 레드팀이 꼭 필요하다. 간극을 체크하지 않으면 본질을 잃게 되고 본질을 잃으면 지속성장도 없다.

2024.07.29 11:06이균성

"AI가 준 피해, 어디까지 감수할 수 있나"…정부, AI 서울 정상회의서 논의

"인공지능(AI) 위험성 범위는 무한대다. 인류는 AI로 인한 피해를 어디까지 감수할지 알아야 한다. 그래야 피해를 막을 수 있다. 각국 정부가 'AI 리스크 용납 범위'를 정해야 하는 이유다. 이는 내달 서울서 열리는 'AI 서울 정상회의' 주요 주제다." 크리스 메세롤 프론티어모델포럼 대표는 과학기술정보통신부와 네이버클라우드가 이달 11일부터 12일까지 서울 코엑스에서 개최한 'AI 레드팀 챌린지' 기조연설을 통해 내달 한국과 영국이 공동 진행하는 AI 서울 정상회의 핵심 주제를 알리며 이같이 밝혔다. 정부는 내달 21일부터 이틀간 AI 서울 정상회의를 공동개최한다고 밝힌 바 있다. 지난해 11월 영국서 처음 열린 행사다. 각국 정부는 행사에서 AI 안전 역량 강화 방안 공유, 지속 가능한 AI 발전 방안에 협의할 방침이다. 다만 구체적으로 안전성 논의를 어떻게 할 것인지 알려지지 않았다. 이를 크리스 메세롤 대표가 미리 귀띔한 셈이다. 메세롤 대표는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다. 또한 "각국 정부는 AI로 인한 위험을 어디까지 감수할 수 있는지 범위를 정해야 한다"며 "'AI 리스크 임계값' 설정이 시급하다"고 재차 강조했다. AI 리스크 임계값이란 인류가 현재 용인할 수 있는 AI 위험성 최대 수준을 뜻한다. 현대사회가 어느 범위까지 AI 위험성을 감수할 수 있는지 알린다. 예를 들어, 임계값이 10으로 정해졌을 경우, 현재 인류는 지표 10을 넘지 않는 범위 내에서만 AI 위험을 감수할 수 있다는 뜻이다. 10을 넘으면 인류는 AI로 인해 피해를 크게 입는다. 크리스 메세롤 대표는 올바른 AI법 규정을 위해서라도 AI 위험성 용납 범위를 설정해야 한다고 했다. 그는 "일단 임계값이 정해지면, 사람은 정해진 범위 내 발생할 수 있는 위험을 예상할 수 있다"며 "이를 사전에 막을 수 있는 AI법이나 정책을 정확히 만들 수 있다"고 설명했다. "정부·기업, AI 취약점 공유 채널 만들어야...모델 상용화 가능 기준도" 메세롤 대표는 각국 정부와 기업이 AI 위험성을 실시간 공유해야 한다고 말했다. 이를 위한 채널도 필요하다고 했다. 그는 "정부와 기업은 AI 보안 취약점을 미리 공유하는 채널이 필요하다"며 "일반 사용자에게 취약점을 공개하기 전에 정부와 기업이 취약점을 보완해야 한다"고 강조했다. 이어 "민간 해커는 공개된 취약점을 볼모로 삼아 AI 제품이나 서비스를 악용한다"며 "선 수정, 후 공지가 안전한 사이버 환경 조성을 돕는다"고 했다. AI 모델 시장 진출 가능 범위도 설정해야 한다고 했다. 지나치게 위험한 AI 모델이 상용화되지 못하도록 막는 조치다. 메세롤 대표는 "AI 모델은 믿을 수 없이 강력해지고 있다"며 "특수한 역량을 갖춘 모델이 무분별하게 시장에 나오지 못하도록 특정 범위를 설정해야 한다"고 강조했다. 이어 "전체적인 사회적 접근법을 통해 각국 정부와 기업이 AI 위험성에 대한 범위 설정에 합의를 봐야 한다"며 "이는 5월 AI 서울 정상회의서 깊게 다뤄질 내용일 것"이라고 덧붙였다. 프론티어모델포럼은 오픈AI를 비롯한 구글, 마이크로소프트, 앤트로픽이 모여 지난해 출범한 포럼이다. 안전하고 책임감 있는 AI를 보장하는 그룹이다. AI 잠재적 위험성을 파악하고 이를 방지하기 위한 방법을 찾는 게 임무다. 이를 통해 AI 안전 표준을 마련한다.

2024.04.14 09:15김미정

"AI 모델, 클수록 위험성 증가…AI 안전성 강화해야"

"인공지능(AI) 기술이 어디까지 영향 미칠지 아무도 모른다. 확실한 건 AI가 발전할수록 안전성은 더 낮아진다는 점이다. 각국이 나서서 AI 안전성을 강화해야 하는 이유다" 크리스 메세롤 프론티어 모델 포럼 대표는 과학기술정보통신부와 네이버클라우드가 12일 개최한 'AI 레드팀 챌린지' 기조연설에서 AI 발전에 맞는 안전 시스템을 구축해야 한다고 강조했다. AI 기술이 어디까지 영향을 미치는지, 부작용은 무엇인지 불확실하다는 이유에서다. 프론티어 모델 포럼은 오픈AI를 비롯한 구글, 마이크로소프트, 앤트로픽이 모여 구축한 포럼이다. 지난해 출범했다. 안전하고 책임감 있는 AI를 보장하는 단체다. AI 잠재적 위험성을 파악하고 이를 방지하기 위한 방법을 찾는 역할을 맡았다. 이를 통해 AI 안전 표준을 마련한다. 메세롤 프론티어 모델 포럼 대표는 "생성형 AI 기술은 계속 발전할 것"이라며 "이는 부정적인 영향을 초래할 수 있다"고 지적했다. 사람은 기술 발전으로 편리함을 누릴 수 있지만, 해당 기술이 어떤 위험성을 가졌는지 모른다는 이유에서다. 그는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다. 포럼 대표는 생성형 AI가 여러 분야에 위험성을 내포하고 있고 말했다. 그는 "분야마다 대응할 수 있는 시스템을 구축해야 한다"며 "핵 개발, 군사 등 특정 분야엔 이에 대한 주의가 더욱 필요하다"고 전했다. 개인맞춤형 AI도 안전하지 않다고 했다. 그는 "이는 사용자 정보에 기반해 결과물을 생성한다"며 "설득력을 좀 더 높여서 환각 현상을 부추길 수 있다"고 했다. 그는 현재 프론티어 모델 포럼이 추진하는 AI 안전성 방안을 소개했다. 우선 해로운 데이터를 모델에 학습하지 않는 기술을 채택하는 법이다. 그는 "모델이 생화학 무기 제조법을 알고 있는 상황에 해당한다"며 "관련 데이터셋을 기술적으로 제거하는 방식 필수"라고 했다. AI가 비윤리적이고 해로운 주제에 접근조차 할 수 없도록 막아야 한다는 의미다. 레드티밍 강화도 필요하다고 했다. 그는 "다만 확실하게 위협모델을 파악해야 한다"며 "위협을 감지하는 AI 시스템과 인간 개발자 협업을 통해 이룰 수 있다"고 강조했다. 그는 "현재 멤버는 기업 4곳뿐"이라며 "앞으로 가입을 원하는 AI 기업은 어디든 환영이다"고 강조했다. 스태빌리티AI "데이터셋은 '블랙박스'…AI탈중앙화 시급" 에마드 모스타크 전 스태빌리티AI CEO는 모델에 들어가는 데이터셋 형식와 내용, 출처 등 모든 정보를 공개해야 한다고 주장했다. 이를 통해 AI의 탈중앙화를 이루고 AI 안전성과 윤리를 높여야 한다는 말이다. 모스타크 전 스태빌리티AI CEO는 데이터셋이 모델 품질을 결정한다고 주장했다. 그는 "현재 데이터셋은 블랙박스 형태"라며 "모델이 어떤 데이터를 학습하고 있는지 아무도 모른다"고 말했다. 그는 "데이터 학습 수준이 높아야 결과 수준도 높다"며 "모델이 무슨 데이터를 학습하는지 알아야 하는 결정적 이유"라고 했다. 그는 AI탈중앙화가 시급하다는 입장이다. AI탈중앙화를 통해 사용자는 모델에 들어가는 데이터셋을 결정할 수 있다는 설명이다. 모델 사용자들끼리 데이터셋 형태, 내용, 품질 등을 스스로 판단한 뒤 투표를 진행하는 식이다. 사용자는 자국 문화와 가장 연관 깊은 데이터셋을 선택하거나, 자신의 분야를 가장 잘 아는 데이터셋에 투표할 수 있다. 투표를 가장 많이 받은 데이터셋이 모델에 들어간다. 그는 "모델 이용자는 데이터에 어떤 편향이 들어가 있는지, 누가 알고리즘에서 소외됐는지 파악할 수 있다"고 덧붙였다. 그는 현재 AI 생태계가 매우 중앙집중화돼 있다고 지적했다. 오픈소스 모델이 증가했지만 그 안에 들어가는 데이터셋 접근은 제한된 상태기 때문이다. 그는 "데이터셋 접근 차단은 AI 생태계를 경직화한다"고 했다. 그는 AI 안전성과 윤리를 강화하기 위해 AI탈중앙화가 가장 시급하다는 입장이다. 그는 "모든 사람이 평등한 위치에서 데이터셋 내부를 투명하게 볼 수 있고 감시, 해석할 수 있는 AI를 누리길 바란다"고 전했다. 그는 지난달 자신이 세운 스태빌리티AI에서 퇴사했다. 모스타크 전 CEO는 "누구나 모델 내 데이터셋을 볼 수 있는 AI탈중앙화를 진행할 수 있는 기업을 세울 것"이라며 "블랙박스 안에 갇힌 AI 생태계는 바람직하지 않다"고 했다. 코히어 "고객사와 꾸준한 소통, AI 안전성 높여" 에이단 고메즈 코히어 CEO는 자사 개발자와 고객의 꾸준한 소통이 AI 안전성을 높이는 지름길이라고 주장했다. 고메즈 코히어 CEO는 고객과 꾸준한 소통을 통해 제품을 만든다고 했다. 예를 들어, 고객사에 AI 챗봇을 제공할 경우, 어떤 약관을 챗봇에 넣어야 하는지 논의를 통해 결정한다. 그는 "챗봇이 사람인 척을 못 하게 하는 등 최대한 거대언어모델(LLM)을 훈련함으로써 악용 사례를 막고 있다"고 강조했다. 이 외에도 편견 방지, 비윤리적 주제 대화 등 여러 방식을 통해 AI 안전에 힘쓴다는 입장이다. 코메즈 CEO는 AI 발전과 안전성 고려를 균형감 있게 추진해야 한다고 했다. 그는 "AI가 아무리 빨리 발전해도 갑자기 대재앙을 일으킬 정도는 아니다"며 "인간은 AI의 리스크에 적절히 대응할 것으로 믿는다"고 했다. 다만 AI 발전 위한 규제는 어느 정도 필요하다고 봤다. 그는 "요즘 기업들조차도 적절한 AI 규제를 원하는 추세"라며 "이를 통해 AI 개발사는 어떤 트렌드에 맞춰서 제품을 개발해야 할지 판단할 수 있기 때문"이라고 설명했다. 반면 규제가 지나칠 경우 AI 혁신은 지체될 수 있다는 입장을 밝혔다.

2024.04.12 18:26김미정

"국내 AI모델, 정말 안전할까"…직접 확인하는 행사 열린다

정부가 국내 거대언어모델(LLM)의 윤리성과 안전성 향상을 위한 행사를 개최한다. 과학기술정보통신부는 다음 달 11일부터 12일까지 양일간 서울 코엑스에서 '생성형 AI 레드팀 챌린지'를 개최하는 것으로 전해졌다. AI윤리 안전에 관심있는 사람은 누구나 참가할 수 있다. 신청자는 행사 전 간단한 가이드라인을 미리 제공받을 수 있다. AI 레드팀은 AI의 윤리성·안전성을 집중적으로 테스트하는 팀이다. 현재 LLM 보유기업인 네이버, 오픈AI, 구글 등이 내부에 꾸린 팀이다. 이 팀은 고의로 자사 모델에 악의점 프롬프트를 입력하거나 해킹하는 작업을 한다. 이를 통해 AI 모델의 잠재적 위험성과 취약점을 발견한다. 기업은 레드팀의 테스트 결과를 토대로 모델을 수정해 안전성을 끌어올린다. 챌린지 참가자는 이러한 레드팀 역할을 직접 경험할 수 있다. 참가자는 네이버 '하이퍼클로바X', 포티투마루 'LLM42' 등 국내 기업의 LLM 대상으로 모델 윤리성·안전성을 테스트한다. 과제 예시로는 ▲AI에게 폭력적·공격적 언어 유도하기 ▲정치, 종교, 국제사회 등 민감한 이슈에 대한 주관적인 답변 유도하기 ▲특정 사회적 집단에 대한 고정관념이나 편견 유도하기 등이다. 참가자는 주어진 문제에 따라 LLM을 임의로 선택해 미션을 완료하기만 하면 된다. 심사를 통해 악의적 프롬프트를 가장 많이 발견한 팀은 상도 받는다. 대상 1명은 과기정통부장관상과 상금 500만원을, 우수상 3명은 한국정보통신기술협회장상 등과 상금 300만원을 각각 받는다. 이번 행사를 주최하는 정부 관계자에 따르면, 챌린지 소스 결과물은 시중에 공개되지 않는다. LLM 개발사만 자사 결과물을 받을 수 있다. 개발사는 이를 통해 자사 모델 안전성을 한번 더 검증하는 기회를 얻을 수 있다. 12일에는 AI 컨퍼런스를 진행한다. 국내외 LLM 개발사 임원진이 모여 LLM 개발과 적용의 흐름, 윤리 안전에 대한 이슈를 집중적으로 다룬다. 에이든 고메즈 코히어 최고경영자(CEO)를 비롯한 크리스 메서롤 프론티어 모델 포럼 대표, 댄 헨드릭스 AI안전성위원회 총괄, 네이버클라우드 하정우 AI혁신센터장, SK텔레콤 에릭 데이비스 글로벌통신 담당, 카카오 김경훈 이사, 김세엽 셀렉트스타 대표가 직접 발표할 예정이다. 행사 관계자는 "이번 행사가 데이터 보안과 신뢰성 평가에 대한 인사이트를 제공하는 자리가 되길 바란다"고 했다.

2024.03.17 12:24김미정

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

삼성전자, 브로드컴에 HBM3E 12단 공급…ASIC서 기회 포착

메타의 공격적 AI 인재 사냥, 핵심은 '데이터 전쟁'

마디마다 구동기 탑재…정교한 로봇손에 숨겨진 비밀

이재명 대통령 "AI·반도체·재생에너지·문화 투자 아끼지 않겠다"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.