• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
창간특집
인공지능
배터리
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'iOS4.3.3 탈옥'통합검색 결과 입니다. (2건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

AI 로봇, 인류 위협 '터미네이터' 될 수도…어떻게?

인공지능(AI)으로 무장한 로봇 플랫폼이 많은 사람들의 관심이 쏠리고 있다. 특히 챗GPT를 비롯한 대규모 언어모델(LLM) 기반 AI 시스템은 인간을 뛰어넘는 실력을 과시하면서 엄청난 각광을 받고 있다. 그런데 AI 로봇을 해킹할 경우 인간에게 해를 끼칠 수 있다는 연구 결과가 발표돼 눈길을 끌고 있다. 미국 펜실베니아 공과대학 연구진들이 여러 AI 기반 로봇 플랫폼에서 그 동안 알려지지 않았던 보안 취약점을 발견했다고 IT매체 디지털트렌드를 비롯한 외신들이 17일(현지시간) 보도했다. 연구진들은 이 같은 내용을 담은 '대규모 언어모델(LLM)로 통제하는 로봇 탈옥하기'란 제목의 논문을 발표했다. 논문 교신 저자인 조지 파파스(George Pappas) 펜실베니아 공대 연구부문 부학장은 "우리 연구는 LLM이 물리적 세계와 통합됐을 때 충분히 안전하지 않다는 것을 보여준다”고 밝혔다. 파파스가 이끄는 연구진은 LLM 제어 로봇을 탈옥하도록 설계된 최초의 알고리즘 '로보페어'(RoboPAIR)를 개발했다. 이 알고리즘은 LLM이 탑재된 로봇 플랫폼에 유해한 신체적 행동을 유도하도록 특별히 제작됐다. 로보페어는 ▲다양한 응용분야에서 사용되는 사족보행 로봇 유니트리의 고(Go)2 로봇 ▲학술 연구에 자주 사용되는 바퀴 달린 클래어패스 로보틱스의 자칼 ▲엔비디아가 설계한 자율주행 시뮬레이터 돌핀스 LLM 시뮬레이터 등 3개의 로봇 플랫폼을 탈옥하는 데 100% 성공했다. 해당 알고리즘이 AI 로봇 시스템에 접근해 불과 며칠 만에 100% 탈옥에 성공한 것으로 알려졌다. 그 결과 로봇의 제어권을 탈취해 자율주행 차량이 교차로에서 정지하지 않고 그대로 통과하는 등 위험한 행동을 취하도록 지시할 수 있었다고 연구진은 설명했다. 또, 연구진은 “문제 해결을 위해 필요한 것은 '소프트웨어 패치'보다는 AI를 물리적 시스템에 통합하는 방식을 전면적으로 재평가하는 것”이라며, "현실 세계에 AI 기반 로봇을 배치하기 전에 본질적인 취약성을 해결해야 한다"고 인류에 재앙을 초래할 수 있는 로봇 해킹의 위험성을 경고했다. 연구진은 “사회적 규범에 부합하는 행동만 하는 로봇 시스템과 이를 보장하는 검증 프레임워크를 개발 중”이라고 덧붙였다.

2024.10.18 16:28이정현

"AI 탈옥 막는다"…마이크로소프트, '프롬프트 실드' 발표

마이크로소프트가 인공지능(AI) 악용을 위한 탈옥을 방지하는 기능을 출시했다. 26일 MS파워유저 등 외신에 따르면 마이크로소프트의 애저 오픈AI서비스와 애저AI콘텐츠 세이프티팀이 프롬프트실드를 선보였다. AI 탈옥은 특정한 명령어나 상황을 입력해 윤리적으로 어긋난 답변을 유도하거나, 악의적인 작업을 수행하도록 만드는 공격방식이다. 프롬프트실드는 고급 기계학습 알고리즘과 자연어처리 기반 기술을 적용해 사용자 프롬프트와 외부 데이터에서 탈옥의 위험이 있는 잠재적 위협을 식별하고 무력화할 수 있다. 이와 함께 직접 프롬프트에 명령어를 입력하지 않고 이메일이나 외부 메시지 등으로 AI의 행동을 조작하는 간접 프롬프트 주입 공격까지 방지할 수 있는 기능도 제공한다. 마이크로소프트는 이를 위해 스포트라이트닝이라는 신규 기술을 개발했다. AI 모델에 입력된 데이터의 출처가 실제 사용자인지 아니면 제3자인지 구분하는 기술로 이를 통해 발생할 수 있는 부정적 상황을 무시하게 할 수 있다. 마이크로소프트 AI플랫폼팀 페데리코 자르파티 시니어 제품 매니저는 "스포트라이트닝은 대해 악성 공격 성공률을 2% 이하로 낮출 수 있는 방어 수단"이라며 "복잡한 환경에서 AI의 일관된 성능을 보장하고, 중요한 응용 프로그램에서의 보안을 강화하는 데 더욱 효율적"이라고 설명했다.

2024.08.26 11:25남혁우

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

윤곽 잡힌 K-로봇 청사진…자원 효율적 안배 집중해야

갤럭시Z폴드7, 실제 사진 유출...크기·두께 보니

구글, AI 전면 개편…I/O 2025서 '제미나이' 중심 창작·개발 도구 공개

"기술이 뚫려도 제도가 막았어야"...유심 해킹 민낯

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현