• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
창간특집
인공지능
배터리
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'딥페이크'통합검색 결과 입니다. (89건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

"딥페이크 범죄 신속 대응…플랫폼 사업자들과 협의체 구성"

방송통신심의위원회가 딥페이크 기술로 제작된 성범죄영상물을 신속하게 차단하기 위해 전자심의를 강화한다. 또한 글로벌 온라인 플랫폼 사업자들과 협의체를 구성해 차단 조치와 자율 규제를 요청할 계획이다. 방심위는 28일 오전 긴급 전체회의를 열고 딥페이크 합성 기술을 악용한 디지털 성범죄 영상에 대한 대책 방안을 의결했다. 먼저 방심위는 27일부터 홈페이지에 전용 배너를 별도로 설치하고 성범죄영상물 신고를 쉽게 접수할 수 있도록 했다. 온라인 신고와 함께 방심위 디지털 성범죄 신고 전화인 1377의 기능도 강화했다. 딥페이크 성범죄 영상물 신고를 상담원이 직접 24시간 365일 접수하고 상담케 했다. 또한 딥페이크 성범죄영상물의 주요 유포경로인 텔레그램 등 주요 SNS에 대한 자체 모니터 인원을 2배 이상 늘려 집중 모니터링을 통해 불법 성범죄 영상물을 신속 적발하겠다고 했다. 방심위 측은 "향후 디지털 성범죄 전담 인력을 늘려나갈 예정"이라고 밝혔다. 아울러 삭제 차단 조치와 관련해 전자심의를 강화해 24시간 이내 삭제차단이 될 수 있도록 시정을 요구하고, 악성 유포자는 즉각 경찰에 수사의뢰하도록 했다. 이를 위해 국내 포털 사이트와 텔레그렘, 페이스북, 엑스, 인스타그램, 유튜브 등 글로벌 온라인 플랫폼 사업자들과도 협의체를 구성해 신속 삭제 차단 조치와 함께 자율적 규제를 요청할 계획이다. 류희림 방심위원장은 이날 "딥페이크 기술을 악용한 성범죄 영상은 우리 사회를 정조준해 위협하는 상황이 됐다"며 "보완 입법을 관계 기관에 건의하고, 관련 전문가들과 협력해 보완 입법 이전에 할 수 있는 최대한의 심의 규정 보완도 강구하겠다"고 강조했다.

2024.08.28 11:48안희정

"여동생·지인 나체 사진 드려요"…韓, 딥페이크 성범죄↑

생성형 인공지능(AI) 기술을 악용한 딥페이크 성범죄가 늘고 있다. 딥페이크 범죄를 처벌할 수 있는 법적 세부 기준이 마련되지 않아 피해 사례는 더욱 증가할 전망이다. 26일 정보기술(IT) 업계에 따르면 100개 이상 국내 대학과 중·고등학교에서 텔레그램 딥페이크 성범죄가 만연한 것으로 드러났다. 이들은 생성형 AI 기술로 지인 사진과 나체 사진·영상을 합성해 텔레그램 방에 공유한 것으로 전해졌다. 딥페이크는 딥러닝(Deep learning)과 가짜를 뜻하는 페이크(fake)를 합친 용어다. 생성형 AI 기술 등으로 여러 사진을 조합해 가짜 인물이나 영상을 사실처럼 만들 수 있는 기술이다. 그동안 연예인이나 정치인, 인플루언서 이미지와 음란물을 합성해 유포하는 범죄가 다수였다. 이제 누구나 생성형 AI로 딥페이크 사진과 영상을 생성할 수 있게 됐다. 이에 일반인 피해 사례가 우후죽순으로 늘고 있다. 최근 학생들 사이에서 일반 사진을 나체 사진으로 변형해 주는 생성형 AI 챗봇이 활성화하고 있다. 예를 들어 사용자가 여성 사진을 올리면 생성형 AI가 이를 나체사진으로 바꿔주는 식이다. 서울경찰청에 따르면 학생들은 딥페이크로 제작된 나체사진을 텔레그램 방에 공유한 것으로 전해졌다. 또 다른 텔레그램 방에서는 여동생이나 여군, 지인 사진을 자체 사진으로 변형해 공유하는 행위도 드러났다. 가족뿐 아니라 친구 사진까지 딥페이크 성범죄 대상물이 된 셈이다. 관련 범죄로 경찰에 붙잡힌 10대 청소년이 서울에서만 올해 10명인 점도 전해졌다. 서울경찰청 관계자는 "올해 1~7월 청소년 10명이 딥페이크 범죄로 검거됐다"고 밝힌 바 있다. 현재 딥페이크 성범죄 처벌법이 마련됐긴 했다. 딥페이크 음란물 대상자가 아동일 경우, 아동·청소년 성 보호에 관한 법률(11조)에 따라 처벌받는다. 대상자가 성인일 경우 성폭력 범죄 처벌 등에 관한 특례법(14조)에 의해 처벌받을 수 있다. 다만 딥페이크로 인한 성범죄가 기존보다 다양해지면서 세부적인 법적 기준 필요성이 제기되고 있다. 김봉식 서울경찰청장은 "학생들에게 성범죄 전력 심각성을 가르치겠다"며 "범죄가 사회활동에 지장을 초래할 수 있다는 점을 알리는 교육을 강화할 것"이라고 강조했다.

2024.08.26 18:04김미정

"얼마나 다급하면"…해리스에 밀린 트럼프, 테일러 스위프트 앞세우려다 '망신'

카멀라 해리스 미국 부통령의 대선 출마 선언 이후 다급해진 도널드 트럼프 전 대통령이 인공지능(AI) 기술을 악용한 '딥페이크' 사진을 앞세워 여론몰이에 나섰다가 비판을 받고 있다. 추가 사실을 확인하면 딥페이크 이미지가 가짜란 사실을 알 수 있긴 하지만, 별 관심이 없는 이들이 이미지를 그대로 진실이라 믿을 소지가 많다는 점에서 선거에 악영향을 줄 수 있다는 우려도 나온다. 20일 CNN 등 주요 외신에 따르면 트럼프 전 대통령은 자신이 설립한 소셜미디어(SNS) 트루스 소셜 트럼프 계정에 테일러 스위프트와 스위프트 팬(swifties)이 자신을 지지하는 사진 4장을 게재하며 "수락한다"고 밝혔다. 이 중 '테일러는 여러분이 트럼프에게 투표하길 바란다'는 문구가 있는 이른바 '엉클 샘'의 모병 포스터 패러디 사진은 AI가 만든 것으로 드러났다. 앞서 테일러 스위프트는 지난 2020년 대선 당시 조 바이든 대통령을 지지했었다. 하지만 이번 대선에선 아직 지지 의사를 밝히지 않아 이번에도 민주당을 공개 지지할 것인지를 두고 많은 이들이 관심을 보이고 있다. 사상 최초로 콘서트만으로 매출 10억 달러(약 1조4천억원)를 올릴 정도로 테일러 스위프트의 팬층이 두터운 만큼 선거에도 영향을 줄 수 있어서다. 이 같은 분위기 속에 트럼프 전 대통령이 자신의 지지층을 끌어들이기 위해 테일러 스위프트를 앞세운 것을 두고 우려의 목소리가 높아지고 있다. 지지자 표심에 영향을 줄 수 있는 가짜 이미지들을 트럼프가 직접 SNS에 공개함으로써 선거에 부정적 영향을 주고 있다는 판단에서다. 트럼프 전 대통령은 테일러 스위프트 관련 사진 외에도 최근 들어 AI로 생성된 가짜 사진을 SNS에 자주 게재하고 있어 문제가 되고 있다. 공식 정치 광고가 아닌 SNS에서 딥페이크 사진을 올리며 여론몰이를 하고 있어서다. 지난 17일 해리스 부통령이 시카고에서 열리는 공산당 행사에서 연설하는 가짜 사진을 게재한 것이 대표적인 예다. 올해 5월 미국 연방통신위원회(FCC)는 정치 광고에 AI를 사용할 경우 이를 명시하도록 했지만, 트럼프 전 대통령이 이를 SNS에 게재하며 교묘히 피하고 있다는 점도 논란거리다. FCC의 규칙을 살펴보면 FCC가 관할하지 않는 온라인과 온라인 동영상 서비스(OTT·Over the Top) 등에는 규칙안이 적용되지 않는다. 이에 '트럼프 지지'를 공식화 한 일론 머스크 테슬라 최고경영자(CEO)도 SNS를 통해 해리스 부통령에 대한 허위 영상을 게재하며 선거 분위기를 흐리고 있다. 머스크 CEO는 지난달 26일 자신의 X(옛 트위터) 계정에 해리스 부통령의 선거 광고인 "프리덤(Freedom, 자유)"을 게재했으나, 이는 실제 해리스 부통령 측이 제작한 것이 아닌 유튜버 '미스터 레이건'이 딥페이크 기술을 활용해 만든 것으로 드러났다. 해당 광고 영상에서 해리스 부통령은 "저는 다양성 때문에 선택됐다. 여성이자 유색인종이기 때문"이라며 "만약 여러분이 제 말을 비판한다면 여러분은 성차별주의자이자 인종차별주의자"라고 말했다. 하지만 이는 해리스 부통령이 말한 것이 아닌 허위 영상으로 판별됐다. 머스크 CEO는 이 영상을 본인의 계정에 게재한 이후 "놀랍다"는 메시지를 함께 올려 눈길을 끌었다. 여기에 머스크 CEO가 창업한 AI 기업 'xAI'가 신규 AI '그록-2'를 통해 해리스 부통령과 관련된 가짜 이미지가 생성되는 것에 제한을 엄격하게 두지 않는 것도 문제가 되고 있다. 머스크 CEO는 'AI가 생성한 이미지'라고 표시하지 않은 사진을 자신이 인수한 X에 게재하는 것을 허용했다. 이는 오픈AI와 구글, 미드저니 등이 생성 AI로 이미지를 생성할 때 정치인 관련이나 선정적인 이미지에 대해 엄격하게 제한하고 있는 것과 다른 행보다. 이에 대해 해리스 부통령 선거 캠프 측은 "우리는 미국 국민들이 일론 머스크와 트럼프 전 대통령에 의해 조작된 거짓말이 아니라 해리스 부통령이 준비하는 진정한 자유와 기회, 안보를 원한다고 믿고 있다"는 입장을 내놨다. 또 해리스 부통령은 트럼프 전 대통령 및 그의 러닝메이트인 JD 밴스 오하이오 주 상원의원의 모습을 보여주며 "우리가 혼돈, 두려움, 증오의 나라가 되어야 한다고 생각하는 사람들이 있다"라고 이들을 비판했다. 이에 트럼프 전 대통령은 되레 해리스 부통령이 AI로 조작된 사진을 앞세우고 있다며 여론전을 펼쳤다. 지난 11일 해리스 부통령이 미시간주의 공항에 도착할 때 지지자들이 운집한 모습이 담긴 사진을 올리면서 AI로 조작됐다고 주장했으나, 이는 사실이 아닌 것으로 드러났다. CNN은 "미국 대선이 두달여 앞으로 다가오면서 온라인 상에서 거짓 정보가 범람하고 있다"며 "이를 대선 후보가 직접 이용할 경우 혼란은 더욱 커질 수 있다"고 경고했다.

2024.08.20 10:48장유미

이미지 AI 발전 가속…전문가들 "포르노·가짜 뉴스 남용 막아야"

생성 인공지능(AI)의 그림이 정교해지고 이미지 편집 기능이 추가돼 실제 사진과 구분이 점점 어려워지고 있다. 이를 남용하는 사례가 늘면서 윤리적 해결책과 법제화의 필요성이 커지고 있다. 19일 미국의 테크 전문지 벤처비트에 따르면 구글은 최근 미국 시장에서 '이마젠3'를 출시했다. 이는 지난 5월 구글이 해당 모델을 최초로 발표한 후 3개월 만이다. 이에 따라 '이마젠' 사용자들은 텍스트를 입력해 그림을 마음껏 그릴 수 있게 됐다. 업계는 이를 오픈AI의 이미지 생성 모델인 '달리'에 대항하려는 움직임으로 보고 있다. 구글보다 앞서 지난해 10월 오픈AI는 '챗GPT'에 '달리3'를 통합한 멀티모달 모델을 도입했다. 이는 지금까지 유료 이용자들에게만 제공됐던 모델이었지만 지난 15일부터 무료 사용자에게도 하루 최대 2건씩 제공되고 있다. 일론 머스크 엑스(X) 대표의 챗봇 '그록'도 이에 가세했다. 지난 13일 X는 프리미엄 사용자들에게 '그록-2'의 베타 버전을 제공하기 시작했고, 여기에는 이미지 생성 기능도 포함돼 있다. 이들 이미지가 점점 실제와 구분이 안 되는 수준으로 진화하고 있다는 것이 업계 전문가들의 의견이다. 실제로 루르 대학교가 올해 5월 실시한 조사에 따르면 3천명의 연구 참가자 대부분이 AI가 생성한 이미지를 실제 사진으로 착각한 것으로 나타났다. 이제 생성 AI가 단순히 그림을 생성하는 것뿐만 아니라 편집까지 할 수 있어 더 많은 우려를 낳고 있다. 샌프란시스코에 위치한 그림 AI 스타트업인 미드저니는 지난 15일 웹브라우저 이미지 편집기를 공개했는데 이 서비스는 이미지 일부를 다시 칠하거나 경계를 늘리는 등의 아웃페인팅 및 캔버스 확장 기능을 지원한다. 이렇게 이미지 생성 및 편집 AI가 급속도로 발전하면서 가짜 이미지 남용 가능성에 대한 우려가 커지고 있다. 실제로 머스크의 '그록'은 '이마젠'이나 '달리'와 달리 크게 검열되지 않고 있다. 머스크 X 대표가 '세상에서 가장 재미있는 AI'라고 표현한 그록은 프롬프트에 따라 대부분의 이미지를 생성할 수 있다. 외신에 따르면 '그록'은 프롬프트를 따라 테일러 스위프트· 카멀라 해리스 후보의 노골적 성적 대상화 이미지와 911 테러를 저지르는 트럼프 전 대통령의 사진 등을 생성한 바 있다. 전문가들은 검열되지 않는 이미지에 편집 기능까지 더해지면 문제가 더 심각해질 수 있다고 분석한다. AI는 아직도 영어를 제외한 글자들을 제대로 표시하지 못하고 사람의 손가락 같은 복잡한 형태를 그리지 못하지만 기술이 발전할수록 이러한 문제도 해결될 전망이기 때문이다. 이미 유사 기술인 딥페이크의 경우 기술이 고도화되면서 여러 문제가 발생했다. 지난 15일 샌프란시스코시 변호국은 딥페이크 포르노를 생성할 수 있는 사이트들의 폐쇄 조치를 요구하는 소송을 제기했다. 이 사이트들은 오픈소스 생성 AI를 사용해 피해자들의 동의 없이 얼굴을 포르노 영상과 합성하는 등의 문제를 초래했다. 이는 딥페이크 기술이 극도로 고도화되고 상용화가 가능한 수준에 이르렀음에도 관련 규제가 따라오지 못했음을 보여준다. 전문가들은 딥페이크와 마찬가지로 점점 고도화되고 있는 이미지 생성 및 편집 AI에도 신속히 규제를 마련해야 한다고 입을 모은다. 이미지 AI들이 고도의 편집 기능을 통해 성적 대상화 및 가짜뉴스 이미지를 대량생산할 가능성이 크기 때문이다. 이러한 폐해를 방지하기 위해 규제뿐만 아니라 기업들의 기술 개발도 필요하다고 전문가들은 분석한다. 하디 살만 오픈AI 연구원은 "기업들은 AI 도구의 잠재적 위협에 대한 방어 수단을 구축하는 데 투자해야 한다"며 "이를 위해 모델 개발자, 정책 입안자, 소셜미디어 플랫폼 간의 적극적 협력이 필요하다"고 강조했다.

2024.08.19 17:52조이환

"딥페이크 포르노는 혁신 아닌 학대"...美, 16개 웹사이트 제소

"딥페이크 포르노는 혁신 아닌 성적 학대다. 이 문제는 최대한 빨리 해결해야 한다." 생성AI 기술을 이용한 성적 이미지인 '딥페이크 포르노'에 대한 사회적 문제가 커지고 있다. 이에 샌프란시스코 시 변호국은 딥페이크 포르노를 생성할 수 있는 인기 웹사이트 16곳에 대해 폐쇄 조치와 손해배상을 요구하는 소송을 제기했다. 지난 15일(현지시간) 시티 어터니 오브 샌프란시스코(CITY ATTORNEY OF SAN FRANCISCO)와 블룸버그, 기가진 등에 따르면 샌프란시스코 시 법률 대리인 데이비드 치우 변호사는 합의하지 않은 AI로 포르노를 제작하고 배포하는 세계 최대 규모 웹사이트들을 상대로 처음 소송을 제기했다고 발표했다. 이 소송은 샌프란시스코 고등 법원에 제기됐다. 샌프란시스코 시 변호국은 올 상반기에만 총 2억회나 접속한 16곳의 웹사이트에서 이용자가 여성을 누드화할 수 있도록 하는 오픈소스 AI 이미지 생성 모델이 악용됐다고 지적했다. 또 AI가 생성한 딥페이크 포르노 피해자는 심각한 심리적, 경제적 피해를 입고, 인터넷상에 이미지가 확산됨으로써 명예적 피해를 받을 수있다고 우려했다. 이번에 소송을 당한 웹사이트 중 한 곳은 “그녀를 데이트에 데려가는 데 시간을 낭비한다고 상상해 보세요. 그냥 웹사이트에서 알몸(누드)을 구하세요”라고 광고한 것으로 알려졌다. 이 사이트들은 이미지를 생성하기 위해 사용자한테 구독료를 받았는데, 일부 사이트에서는 무료 체험 버전을 제공한 것으로 확인됐다. 그 결과 연간 수백만 개의 딥페이크 포르노가 생성됐고, 대부분은 여성을 대상으로 한 것으로 나타났다. 데이비드 치우 변호사는 “딥페이크 포르노는 혁신이 아니라 성적 학대라는 것을 분명히 해야 한다”면서 “이 문제는 우리가 가능한 빨리 해결할 필요가 있는 중요한 문제”라고 강조했다. 샌프란시스코 시 변호국은 이들 사이트 운영자 약 50명에게 “피해자 동의 없이 딥페이크 포르노를 생성함으로써 주법 및 연방법을 위반하고 있다”면서 웹사이트 폐쇄와 손해배상 지불을 청구했다. 카룬 틸락 부 변호사는 “현시점에서는 이들 웹사이트가 어떤 이미지 생성AI를 사용하고 있는지 명확히 판단할 수 없다”면서도 “그러나 영국의 AI 스타트업인 스터빌러티AI(Stability AI)의 오픈소스 이미지 생성AI인 스테이블 디퓨전의 초기 버전은 이런 딥페이크 포르노 악용에 취약하다”고 설명했다. 치우 변호사는 “우리는 모두 AI를 악용해 어린이를 포함한 실존 인물을 착취하고 학대하는 악질적인 인물을 단속하기 위해 각자의 역할을 다해야 할 의무가 있다”고 밝혔다. 소송의 대상이 된 웹사이트 운영자들은 이번 소송에 대해 별다른 언급이 없었던 것으로 전해졌다.

2024.08.18 09:58백봉삼

"AI 사기 피해 매년 32조"…美 노인들, AI 기술 열공 나섰다

인공지능(AI) 기술이 일상에 급속히 확산된 가운데 미국 노년층까지 나서 AI 교육 프로그램에 적극 참여 중인 것으로 전해졌다. 14일 NBC 뉴스에 따르면 최근 미국 전역의 노인 센터에서 AI 기술 강좌가 수십 개 이상 개설되고 있다. 이는 노년층이 AI 혜택을 누리면서 사기·잘못된 정보에 대한 취약성을 극복하기 위함이다. AI 기술은 노인들 외로움을 줄이고 의료 서비스 접근성을 높이는 등 여러 이점을 제공할 수 있다. 동시에 딥페이크와 같은 기술로 인해 정치적 혼란이나 경제적 피해를 초래할 수 있어 경각심이 요구된다. 특히 노년층은 AI 기반 사기와 잘못된 정보에 더욱 취약한 것으로 알려져 있다. 실제로 지난해 발표된 미국은퇴자협회(AARP) 보고서에 따르면 60세 이상 미국인이 AI를 통한 거짓 정보와 콘텐츠 사기로 잃은 피해액만 매년 총 238억 달러(약 32조원)인 것으로 조사됐다. 이에 대응하기 위해 미국 노인 돌봄 센터는 디지털 리터러시 향상을 위한 교육 프로그램을 운영하고 있다. 시카고를 비롯해 미 전역 수십 개 이상의 지역에서 진행 중인 이 강좌들은 노인들이 AI의 이점과 위험성을 균형 있게 이해하며 기술을 안전하게 활용하도록 가르친다. 전국노인위원회의 다이앤 스톤 부국장은 "노인들이 기술을 사용하지 않는다는 믿음은 틀렸다"며 "AI 강좌들은 기술이 가진 역량에 대한 확실한 정보를 제공함으로써 미국 전역의 노인들이 새 시대에 대비할 수 있게 하고 있다"고 강조했다.

2024.08.14 09:42조이환

AI로 아동 음란물 만든 英 남성 구속…법정 중형 예상

인공지능(AI)으로 미성년자의 얼굴을 합성해 음란물을 만든 영국 남성이 체포됐다. 13일 BBC와 영국 왕립검찰청(CPS)에 따르면 영국 볼턴 크라운 법원은 아동·청소년 성 착취 범죄 혐의로 27세 휴 넬슨이란 남성을 구금했다. 그는 16세 미만 소년에게 성행위를 하도록 부추긴 혐의를 포함해 음란물 배포 및 제작 혐의 등 11건의 범죄를 저질렀다. 형 선고는 오는 9월 선고될 예정이다. 휴 넬슨이 저지른 범죄 중 큰 우려를 산 것은 어린이들의 일상 사진에서 얼굴을 추출해 음란물을 만든 것이다. 그는 지난해 7월 AI로 만든 가짜 아동 음란물 사진을 만들고 유포한 사실을 인정했다. 이러한 사진들을 팔아 그가 벌어들인 돈은 약 5천 파운드(약 874만원)에 달한다. 그레이터 맨체스터 경찰(GMP) 측은 이 사건을 향후 영국 내 아동·청소년의 성보호에 관한 법률(아청법) 개정에 대한 강한 영향을 끼칠 것으로 전망했다. AI 등 컴퓨터 프로그램으로 만든 음란물을 처벌할 수 있는 근거가 영국 법률 내 구체적으로 언급돼 있지 않기 때문이다. 한국의 경우 딥페이크 성 착취물은 성폭력범죄의 처벌 등에 관한 특례법(성폭력 처벌법) 14조 2항 규정이 적용돼 특정인의 얼굴·신체·음성을 대상으로 한 영상물 등을 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성·가공할 경우 5년 이하의 징역이나 5천만원 이하의 벌금형에 처한다. 특히 딥페이크 허위 영상물의 피해자가 미성년자인 경우 아청법 적용으로 가중처벌 된다. 아청법 제11조 1, 2항에 따르면 아동·청소년 성 착취물을 제작한 자는 무기 또는 5년 이상의 징역에 처하며 영리 목적으로 아동·청소년 성 착취물을 판매·배포한 사람은 5년 이상의 유기징역을 받는다. CPS도 처벌에 대한 강한 의사를 내비쳤다. CPS는 휴 넬슨이 가능한 최고 수위의 형량을 구형받도록 할 예정으로, AI 등 신기술을 성범죄에 오용하는 건 심각한 중범죄이며 피해 아동이 큰 트라우마에 시달릴 수 있다고 설명했다. CPS 재닛 스미스 특별 검사는 "그는 자신의 성적 만족을 위해 아이들을 상대로 심각한 성범죄를 저질렀다"며 "기술은 빠르게 진화하고 있으며 어린이에 대한 성범죄 위험도 마찬가지"라고 분노했다. 영국 국가범죄국 관계자는 "AI가 생성한 학대 이미지가 실제 이미지든 AI가 생성한 이미지든 이러한 이미지를 보는 것은 범죄자가 아동을 성적으로 학대할 위험을 실질적으로 증가시킨다"고 말했다.

2024.08.13 10:34양정민

美 상원 "동의 없이 AI로 얼굴·음성 복제하면 불법"

미국 국회 상원의원들이 본인 동의 없이 인공지능(AI)으로 얼굴·음성 재현하는 행위를 불법으로 하자는 법을 발의했다. 1일 CNBC 등 외신은 개인 음성이나 신체가 동의 없이 AI로 구현됐을 때 당사자가 손해배상 청구를 할 수 있는 '가짜 금지법'이 미국서 발의됐다고 보도했다. 해당 법은 공화당과 민주당 모두 참여한 초당적 합의안인 것으로 전해졌다. 법 내용에 따르면, 개인이나 기업이 당사자 동의 없이 디지털 복제물을 제작, 공유하면 책임을 져야 한다. 이를 공유한 온라인 서비스 기업도 해당 콘텐츠를 즉시 삭제해야 한다. 그동안 미국에서 AI로 제작된 가짜 이미지나 영상이 우후죽순으로 퍼졌다. 테일러 스위프트와 카밀라 해리스 등 유명인사를 표적으로 삼아 이같은 딥페이크 콘텐츠가 늘었다. 최근 일반인도 비슷한 피해를 겪은 것으로 알려졌다. 법 발의에 참여한 민주당 크리스 쿤스 상원의원은 "누구나 본인 얼굴과 목소리를 지키고 보호할 권리가 있다"며 "누군가가 이를 무단으로 이용해선 안 된다"고 강조했다. 미 상원은 딥페이크 등 AI로 조작된 이미지나 영상 피해자들이 손해배상을 청구하는 법안을 만장일치로 통과시킨 바 있다. 그만큼 미국 정치권이 AI 오·남용에 대한 부작용을 심각하게 받아들인 셈이다. 이번 법 발의에 미국음반산업협회(RIAA), 미국방송·배우노동조합(SAG-AFTRA) 등 엔터테인먼트와 저작권 그룹은 적극 찬성한다고 입을 모았다. 오픈AI도 이 법안을 지지한다고 발표했다. 오픈AI 안나 마칸주 글로벌담당 부사장은 "예술가와 창작자는 보호받아야 한다"며 "이런 입법이 생성형 AI 시대를 올바르고 바꿀 것"이라고 밝혔다.

2024.08.02 08:17김미정

"바이든 노망났다"...머스크, 해리스 조작영상 올렸다가 뭇매

일론 머스크 테슬라 최고경영자(CEO)가 미국 민주당 유력 대선 후보인 카멀라 해리스 부통령 음성이 조작된 영상을 소셜미디어(SNS) 계정에 올려 뭇매 맞았다. 현재 해당 게시물은 삭제됐다. AP통신에 따르면 일론 머스크 CEO는 지난 26일(현지시간) 해리스 부통령 목소리를 이용한 1분 52초 분량 영상을 엑스(옛 트위터) 계정에 게재했다. 해당 영상은 인공지능(AI)을 이용한 딥페이크였다. 해리스 부통령 얼굴에 조작된 음성이 들어간 영상이었다. 영상 속 해리스는 "조 바이든이 토론에서 자신의 노망을 드러냈다"고 말했다. 이어 "나는 여성이자 유색인종이기 때문에 다양성을 위해 대통령 후보로 뽑힌 것"이라며 "국가 운영에 대해선 아무것도 모른다"고 덧붙였다. 해당 영상 제작자는 엑스와 유튜브에 올리면서 조작된 콘텐츠라는 점을 명시한 바 있다. 그러나 머스크가 이런 설명을 생략하고 게재해 문제가 커졌다. 특히 머스크는 최근 공화당 대선 후보 도널드 트럼프 전 대통령 지지 선언을 한 적 있어 논란이 더 커지고 있다. 일부에선 머스크가 의도적으로 가짜 영상이라는 안내 없이 올렸다는 추측이 나오고 있다. 해리스 캠프는 즉각 반발에 나섰다. 해리스 대선 캠프 미야 에렌버그 대변인은 "미국 국민들이 일론 머스크와 도널드 트럼프의 조작된 거짓말을 원하지 않을 것"이라며 "트럼프 전 대통령의 거짓말보다 해리스 부통령의 진정한 자유와 안보를 원할 것"이라고 밝혔다. 다수 외신은 딥페이크가 미국 대선에서 정치를 어떻게 오도하는지 보여준 대표 사례라고 평했다. AP통신은 "AI 사용 규제를 위한 정부 조치가 여전히 부족"하다고 지적했다.

2024.07.30 09:04김미정

스칼렛 요한슨 "샘 알트먼 오픈AI 대표, 마블영화 악당"

미국의 유명 여배우 스칼렛 요한슨이 샘 알트먼 오픈AI 대표를 마블영화 악당에 비유했다. 오픈AI가 영화에 등장한 자신의 AI 비서 목소리를 무단으로 사용했다가 삭제한 것을 두고 드러낸 부정적인 표현이었다. 21일(현지시간) 가디언은 알트먼 오픈AI 대표가 마블 영화 악당이 될 수 있겠냐는 다른 매체의 질문에 요한슨이 "로봇 팔만 가졌다면 충분히 가능하다. 자녀들에게도 이상한 상황이 될 것 같아 더욱 목소리 참여를 거부했다"는 답변을 했다고 보도했다. 보도에 따르면 이는 요한슨이 오픈AI '챗GPT' 보이스 서비스에 느낀 불쾌함을 농담으로 풀어낸 것이다. 불쾌함에 대한 배경은 분명 있었다. 오픈AI가 영화 '그녀(Her)'에 등장한 요한슨의 AI 비서 목소리와 비슷한 음성 모드를 지난해 5월 'GPT-4o'의 스카이 보이스 시연 행사에서 선보였다가 삭제한 일이 있었기 때문이라는 게 외신의 설명이다. 알트먼 오픈AI 대표는 행사 시연 직후 소셜미디어 X(구 트위터)에 '그녀(her)'라는 글을 남기는 등 해당 영화에서 서비스의 영감을 얻었음을 간접적으로 드러낸 바 있다. 하지만 요한슨은 "오픈AI가 요청한 영화 AI 비서 음성 적용을 거절했지만, 무단으로 사용했다"며 비판했다고 알려졌다. 오픈AI는 이러한 비판을 의식한 듯 'GPT-4o'에서 '스카이' 음성 모드를 삭제한 상태다. 알트먼 오픈AI 대표는 "요한슨을 존중하기 위해 스카이의 목소리를 중단했다"는 소식을 직접 전한 바 있다. 이번 사건은 요한슨이 디즈니와의 분쟁 후 겪는 또 다른 법적 갈등이란 점에서 주목받고 있다. 앞서 요한슨은 디즈니가 영화 '블랙 위도우'의 배급 방식을 변경해 자신의 수익에 영향을 끼쳤다고 주장해 눈길을 끌었다. 외신은 요한슨의 발언이 AI 기술과 딥페이크의 위험성을 보여준 사례라고 밝히기도 했다. 가디언은 "기술이 너무 빠르게 발전하면서 인간이 이를 충분히 이해하고 대응할 시간이 부족하다는 것이 그의 주된 우려"라고 했다.

2024.07.21 13:37조이환

"어떻게 같은 학교 여학생을"…스페인 법원, 남학생들 기소한 이유는

스페인 당국이 여학생들의 AI 생성 나체 이미지를 제작 및 유포한 혐의로 남학생들에게 1년 보호관찰을 선고했다. 11일 가디언 등 외신에 따르면 스페인 바다호스시 청소년 법원이 남학생 15명에게 미성년자 아동학대 이미지 제작 혐의로 유죄판결을 내렸다. 법원은 피고들에게 1년 보호관찰을 선고했다. 또 성평등과 기술의 책임감 있는 사용에 대한 수업을 수강하도록 명령했다. 지난해 스페인 경찰은 엑스트레마두라 지방 알멘드랄레호 마을에서 여학생들의 가짜 나체 사진이 소셜 미디어에 유포됐다는 신고를 받고 조사를 개시했다. 이에 따라 13세~15세 사이 남학생들이 이미지를 생성하고 공유한 혐의를 확인했다. 사건은 작년 7월 사진이 유포된 후 피해자들이 부모에게 사실을 알리며 공론화됐다. 한 피해자 부모는 "이미지가 너무 사실적이라 정말 충격적이었다"며 "딸의 몸을 몰랐다면 그 이미지가 진짜라고 생각했을 것"이라고 말했다. 또 다른 피해자의 어머니는 "많은 소녀가 이 일을 겪고 완전히 겁에 질려 엄청난 불안 장애를 겪었다"고 전했다. 피해자들을 지원한 스페인 성평등 단체 말발루나 협회(Malvaluna Association)는 "이 사건은 스페인 사회에 큰 경종을 울린다"며 "우리에게는 남녀 평등에 대한 교육이 절실히 필요하다"고 강조했다.

2024.07.11 11:10조이환

"누구냐 넌?"...데이팅 앱, 'AI 프로필' 차단한다

데이팅 앱 범블이 인공지능(AI) 생성 사진으로 만든 프로필을 규제한다. 10일 테크크런치 등 외신에 따르면, 범블은 지난 9일 AI 사진으로 의심되는 프로필을 신고 가능한 옵션을 도입했다. 이용자는 '가짜 프로필' 신고 메뉴에서 'AI에서 생성한 사진 또는 비디오 사용' 옵션을 눌러 의심 프로필을 신고 가능하다. 그동안 AI 프로필은 사기에 악용되거나 프로필과 실물 간 괴리를 발생시키는 등 데이팅 앱에서 이용자 혼란을 일으켜왔다. 이에 지난 2월 범블이 이용자를 대상으로 온라인 데이트의 문제점을 조사한 결과, 여성 이용자의 46%가 매칭 상대의 프로필을 신뢰할 수 없다고 응답했다. 범블 리사 슈타인 제품 담당 부사장은 공식 성명을 통해 "의미 있는 만남이 이뤄지는 공간 구축에 오해의 소지가 있거나 위험한 요소를 제거하는 것은 필수적"이라고 밝혔다. 이어 "이번에 새로운 신고 옵션 도입을 통해 범블은 가짜 프로필이 어떻게 AI를 악용하는지 더 잘 이해할 수 있을 것"이라며 "범블이 안전하고 신뢰할 수 있는 데이트 환경을 제공하도록 기술 개선에 전념 중"이라고 덧붙였다. 범블은 지난 2월 가짜 프로필, 스패머, 사기꾼 등을 감지하고 제거하는 AI 도구 '디셉션 디렉터'를 출시하기도 했다. 범블은 디셉션 디렉터 출시 후 스팸, 사기, 가짜 프로필에 대한 신고가 45% 감소했다고 주장한 바 있다.

2024.07.10 10:08조수민

첨단 영상 분석으로 딥페이크 신종범죄 잡는다

한국전자기술연구원(KETI·원장 신희동)은 국립과학수사연구원(원장 이봉우)과 과학수사 분야 연구 협력을 위한 업무협약(MoU)을 체결했다고 밝혔다. KETI와 국과수는 업무협약을 계기로 인공지능(AI) 기반 영상·음성 분석 등 첨단 분야 공동 기술 개발을 추진함과 동시에 과학수사 분야 내 기술 확산을 지원하는데 합의했다. KETI는 딥러닝 기반 영상 인식추적·영상 화질개선 등 지능형 영상처리 기술, 멀티모달 인터랙션 및 추론, 자연어 처리 등의 인공지능 기술 등 첨단 지능 분야 핵심 기술 육성에 집중하고 있다. 국과수는 행정안전부 소속 과학수사 감정연구기관으로, CCTV·비디오·사진을 포함하는 각종 영상·음성 판독/개선 기술 등 범죄수사에 필요한 법공학 분야 연구개발을 수행 중이며, 주요 범죄 사건사고에 필요한 해석과 감정을 지원한다. KETI와 국과수는 이번 협약을 통해 ▲과학수사에 필요한 영상 및 음성 분석 기술 교류 ▲영상 및 음성 분석 기술 활용을 위한 인적 교류 ▲과학 수사 분야 신기술 수요 공동 발굴 및 정부 전략 수립 지원 등 첨단 분야에서의 R&D 협력을 강화할 계획이다. 협약식에서는 KETI 지능정보연구본부의 지능형영상처리연구센터 및 인공지능연구센터, 국과수 법공학부의 디지털과와 법과학교육연구센터 주요 관계자가 참석해 첨단 과학수사 분야 주요 협력 기술을 논의했다. KETI 지능정보연구본부는 인물의 행동 양식을 모방하는 극사실적 인물 구현 등의 동영상 합성·판별 기술을 바탕으로 딥페이크 영상과 음성을 판별하는 탐지 기술을 보유 중이다. 신희동 KETI 원장은 “다가오는 미래 치안의 핵심은 첨단 과학 기술 개발이며, KETI는 유망 ICT 기술 구현과 확산에 필요한 최적의 파트너”라며 “두 기관의 협약이 향후 국민 안전을 보장하는 과학치안 사회로 이어지길 기원한다”고 밝혔다. 이봉우 국과수 원장은 “최근 인공지능 기술 발달에 따라 딥페이크와 같은 신종범죄로 인해 국민 안전이 위협받고 있다”며 “두 기관의 힘을 모아 기술을 연구·개발해 국민이 안전한 사회를 구현할 수 있도록 노력하겠다”고 말했다.

2024.07.10 08:25주문정

중학교 교사 나체 사진에 '충격'…정부, 딥페이크 범죄 퇴출 나선다

#. 부산 강서구 소재 한 고등학교 재학생 A군은 동급생 얼굴이 등장하는 음란물을 만들어 판매한 혐의로 최근 조사를 받게 됐다. 지난 5월에도 이 학교에서 B군이 여학생 7명 얼굴을 딥페이크 기술로 합성한 사진을 메신저 텔레그램에 올린 정황이 파악돼 문제가 됐다. 부산 사하구 소재 한 중학교에서는 모델의 나체에 한 교사의 얼굴이 합성된 사진이 텔레그램을 통해 유포된 사실이 드러나 충격을 줬다. 이처럼 인공지능(AI)을 활용한 딥페이크 범죄가 날로 많아지고 있는 가운데 정부가 이를 막기 위한 대안 마련에 나섰다. 행정안전부는 9일 KETI 대회의실에서 국립과학수사연구원과 한국전자기술연구원(KETI)과 '과학수사 분야 연구 협력을 위한 업무협약(MOU)'을 체결했다. 이날 협약식에는 국과수 이봉우 원장, KETI 신희동 원장을 비롯해 KETI 지능정보연구본부·지능형영상처리연구센터·인공지능연구센터, 국과수 디지털과·법과학교육연구센터 등 관계자 12명이 참석했다. 양 기관은 이날 협약에 앞서 간담회를 열고 첨단 과학수사 분야의 주요 협력 기술을 논의했다. 또 인공지능(AI) 기반 영상·음성 분석 등 첨단 분야의 공동 기술 개발 추진과 동시에 과학수사 분야 내 기술 확산을 지원하기로 합의했다. 이번 협약을 통해 ▲과학수사에 필요한 영상 및 음성 분석 기술 교류 ▲영상 및 음성 분석 기술 활용을 위한 인적 교류 ▲과학수사 분야 신기술 수요 공동 발굴 및 정부 전략 수립 지원 등 첨단 분야에서의 연구개발(R&D) 등에 대한 상호 협력을 강화할 계획이다. 현재 국과수에서는 국내 주요 범죄 사건·사고에 필요한 해석과 감정을 지원하고 CCTV·비디오·사진을 포함하는 각종 영상 및 음성 판독·개선 기술 등 범죄 수사에 필요한 법 공학 분야의 연구개발을 수행하고 있다. KETI는 딥러닝 기반의 영상 인식 추적 및 영상 화질개선 등 지능형 영상처리 기술, 멀티모달 인터랙션 및 추론, 자연어 처리 등의 인공지능 기술 등 첨단 지능 분야의 핵심 기술 육성에 집중하고 있다. 멀티모달 인터랙션은 음성, 영상 등 다중 입력을 이용한 컴퓨터와 인간의 상호 작용이다. 특히 KETI 지능정보연구본부는 인물의 행동 양식을 모방하는 극사실적 인물 구현 등의 동영상 합성 및 판별 기술을 바탕으로 딥페이크 영상과 음성을 판별하는 탐지 기술을 보유하고 있다. 신희동 한국전자기술연구원장은 "다가오는 미래 치안의 핵심은 첨단 과학 기술의 개발이며 KETI는 유망 ICT의 구현과 확산에 필요한 최적의 파트너일 것"이라며 "두 기관의 협약이 향후 국민 안전을 보장하는 과학치안 사회로 이어지길 기원한다"고 밝혔다. 이봉우 국립과학수사연구원장은 "최근 인공지능 기술의 발달에 따라 딥페이크 등과 같은 신종범죄로 국민의 일상 안전이 위협받고 있다"며 "국내 최고의 전자기술연구기관과 과학수사 감정연구기관이 협력해 신종범죄 수사를 위한 기술을 연구‧개발해 과학수사 분야를 발전시키겠다"고 말했다.

2024.07.09 10:49장유미

[유미's 픽] "감옥에 간 트럼프, 美 차기 대통령?"…딥페이크에 빅테크 '비상'

#. 지난 5월 30일. 도널드 트럼프 전 미국 대통령이 '성추문 입막음 돈' 의혹 사건 형사재판에서 유죄 평결을 받은 이후 사회관계망서비스(SNS)에 그와 관련한 '딥페이크(영상·이미지·음성 조작물)' 이미지가 쏟아져 나왔다. 특히 180만 명의 구독자를 보유한 맷 월리스는 자신의 X 계정에 정장을 입은 트럼프 전 대통령이 감옥에서 두 손을 가지런히 모은 채 굳은 표정으로 카메라를 응시하고 있는 인공지능(AI) 생성 이미지를 올려 11만여 명으로부터 '좋아요' 반응을 받았다. 미국 대통령 선거가 4개월 앞으로 다가온 가운데 빅테크 기업들이 이처럼 AI 기술을 악용한 '딥페이크' 확산을 막기 위해 대응 방안 마련에 분주히 움직이고 있다. 추가 사실을 확인하면 딥페이크 이미지가 가짜란 사실을 알 수 있긴 하지만, 별 관심이 없는 이들이 이미지를 그대로 진실이라 믿을 소지가 많다는 점에서 선거에 악영향을 줄 수도 있어서다. 4일 업계에 따르면 구글은 최근 생성형 AI 등 디지털 방식을 통해 선거 광고를 제작하거나 변경했을 때 이를 의무적으로 공개하겠다는 지침을 마련했다. 선거 광고 게재시 '수정 혹은 합성 콘텐츠' 항목에 표시하는 조항을 만들었는데, 이에 따라 광고주는 디지털 방식으로 생성 및 변경된 정치 선거 관련 광고를 올릴 때 해당 항목에 표시해야 한다. 구글은 지난해 9월에도 빅테크 기업 최초로 선거 광고에 AI 사용 여부 표시를 의무화해 주목 받았다. 구글은 지난해 11월부터 모든 정치적 광고에 들어가는 동영상·사진·음성에서 생성형 AI를 사용한 경우 활용 사실을 '명확하고 눈에 띄게' 명시하도록 하는 규정을 적용했다. 유튜브는 생성형 AI 콘텐츠의 영향을 직접 받는 당사자가 개인정보침해를 사유로 요청할 경우 콘텐츠를 삭제할 수 있도록 했다. 다만 미성년자이거나 컴퓨터에 접근할 수 없을 때, 사망했을 때 등 몇 가지 경우를 제외하곤 당사자가 직접 삭제를 요청해야 한다. 유튜브는 콘텐츠 삭제 요청을 받게 되면 다양한 요소를 고려해 판단을 내린다. 해당 콘텐츠가 특정인을 고유하게 식별할 수 있는지, 패러디나 풍자 또는 대중의 이익을 위한 것으로 간주할 수 있는지 판단한다. 또 해당 콘텐츠에 유명인이 등장하거나 범죄 행위, 폭력, 정치인 지지 등 민감한 내용이 담겼는지도 고려해 삭제 여부를 결정한다. 특히 올해 미국 대통령 선거를 앞두고 생성형 AI 콘텐츠로 표심을 흔들 우려가 높은 만큼 이를 철저히 관리한다는 방침이다. 페이스북, 인스타그램 등을 운영하는 페이스북도 지난 3월 딥페이크를 방지하기 위해 대책을 내놓은 바 있다. 그동안 자체 도구인 메타AI에서 만든 AI 이미지에 라벨을 붙여왔으나, 이를 모든 게시물로 확대했다. 빅테크 기업들이 이처럼 나선 것은 딥페이크 악용으로 인한 가짜뉴스가 선거에 큰 영향을 줄 가능성이 높아서다. 실제로 도널드 트럼프 전 대통령과 공화당 대선 후보 경쟁을 한 론 디샌티스 플로리다 주지사는 경선 과정에서 딥페이크 영상이 48건 제작된 것으로 조사됐다. 디샌티스 후보가 '경쟁을 포기하겠다'고 말하는 등 조작된 영상들은 당시 디센티스 후보의 이미지에 악영향을 줬다는 분석이 많았다. 정치인들이 딥페이크의 주요 타깃이 되고 있다는 점도 우려되는 요소다. 글로벌 딥페이크 보안 업체 센시티에 따르면 딥페이크에 악용된 직업은 정치인이 39.2%로 가장 많고 연예인(29.4%), 기업인(19.6%), 테러범(6.9%) 등이 뒤를 이었다. 이미지 생성형 AI 소프트웨어 '미드저니'는 최근 미국 대통령 이미지를 만들어 달라는 요청에 도널드 트럼프 미국 전 대통령의 모습을 생성해 논란의 중심이 됐다. 이는 미드저니가 미국 대통령 선거를 앞두고 AI가 유력 후보인 트럼프와 바이든의 이미지를 만드는 것을 차단하겠다고 밝힌 후 이뤄졌다는 점에서 더 문제가 됐다. 여기에 미드저니는 차기 미국 대통령 이미지 생성 요청에도 트럼프 전 대통령의 이미지를 만들어 내 눈길을 끌었다. 로이터통신은 "몇 초 만에 텍스트, 이미지, 동영상 등을 만드는 생성형 AI의 빠른 성장은 잠재적 악용에 대한 우려를 불러일으킨다"며 "딥페이크로 인해 진짜와 가짜의 경계가 흐려지고 있다"고 강조했다. 업계 관계자는 "올해 '슈퍼 선거의 해'를 맞아 AI 등으로 제작된 온라인 허위정보가 선거 공정성을 해친다는 우려가 여느 때보다 커진 상황"이라며 "생성형 AI를 이용해 감쪽같이 날조한 이미지들은 특히 요즘 같은 정치적 혼란기에 유권자들의 판단에 영향을 미칠 수 있어 각별한 주의가 요구된다"고 밝혔다.

2024.07.04 09:32장유미

구글 "AI로 만든 광고 콘텐츠에 정보 표시 필수"

구글이 인공지능(AI) 가짜뉴스 차단을 위해 디지털로 제작·수정한 광고 콘텐츠 표시를 의무화한다. 3일 로이터통신 등 외신에 따르면 구글은 광고주가 선거 광고에서 사람이나 배경 묘사를 위해 디지털로 만든 콘텐츠를 사용할 경우, 이를 반드시 공개해야 한다는 '콘텐츠 합성·표시 의무화' 정책을 발표했다. 외신에 따르면 이런 정보 공개 여부는 콘텐츠 종류에 따라 상이하다. 이미지 크기 조절, 색 보정 등 편집 사실은 공개 의무화가 아니다. AI 등 신기술을 이용해 인물이나 물체, 배경 등을 합성한 콘텐츠는 정보 공개가 필수다. 이때 사용자는 '이 이미지는 실제 상황을 묘사하지 않습니다'는 정보 공개 문구를 의무적으로 노출해야 한다. 구글은 미국 대선을 약 4개월 앞둔 시점에서 이같은 정책을 내놨다. 생성형 AI를 통한 딥페이크나 가짜뉴스 확산을 차단하려는 조치다. 로이터는 "생성형 AI의 정치적 악용 우려가 커졌다"며 "진짜와 가짜의 경계가 더 흐려지고 있다"고 했다. 다른 미국 빅테크도 분주하다. 지난해 메타는 페이스북과 인스타그램에서 광고주가 정치·사회 광고 제작에 AI를 사용하면 이를 공개한다고 밝혔다. 오픈AI는 올해 5월 자사 AI 모델로 여론 조작하려는 사용 사례를 발견해 중단했다고 알렸다. 구글은 "정책 변경으로 이용자들은 디지털로 수정하거나 제작한 콘텐츠를 금방 알아차릴 수 있을 것"이라고 강조했다.

2024.07.03 09:59김미정

"박명수도 화들짝"…생성형 AI 콘텐츠에 놀란 연예인, 유튜브서 삭제 요청 가능해진다

"저도 들어봤어요. 어쩌면 그렇게 똑같나요. 근데 전 그 노래(밤양갱)을 부른 적이 없어요. 그렇게 똑같을 줄 몰랐는데 (앞으로) 우리 연예인들은 어떻게 해야 합니까." 지난 3월. 방송인 박명수는 가수 비비의 곡 '밤양갱'을 자신의 목소리로 부른 노래가 유튜브 등을 통해 흘러나오자 깜짝 놀랐다. 자신의 목소리와 너무 유사했기 때문이다. 앞으로는 유튜브를 통해 이처럼 목소리를 모방한 콘텐츠를 원하는 경우 삭제할 수 있을 것으로 보인다. 유튜브가 딥페이크 같은 얼굴이나 목소리를 모방한 생성형 AI 콘텐츠 또는 기타 합성 콘텐츠의 삭제를 요청할 수 있도록 했기 때문이다. 2일 테크크런치 등 외신에 따르면 유튜브는 생성형 AI 콘텐츠의 영향을 직접 받는 당사자가 개인정보침해를 사유로 요청할 경우 콘텐츠를 삭제할 수 있도록 했다. 다만 미성년자이거나 컴퓨터에 접근할 수 없을 때, 사망했을 때 등 몇 가지 경우를 제외하곤 당사자가 직접 삭제를 요청해야 한다. 유튜브는 콘텐츠 삭제 요청을 받게 되면 다양한 요소를 고려해 판단을 내린다. 해당 콘텐츠가 특정인을 고유하게 식별할 수 있는지, 패러디나 풍자 또는 대중의 이익을 위한 것으로 간주할 수 있는지 판단한다. 또 해당 콘텐츠에 유명인이 등장하거나 범죄 행위, 폭력, 정치인 지지 등 민감한 내용이 담겼는지도 고려해 삭제 여부를 결정한다. 특히 올해 미국 대통령 선거를 앞두고 생성형 AI 콘텐츠로 표심을 흔들 우려가 높은 만큼 이를 철저히 관리한다는 방침이다. 유튜브는 만약 콘텐츠를 삭제할 경우 콘텐츠를 올린 이에게 48시간 동안 조치를 취할 수 있는 시간을 줄 예정이다. 콘텐츠를 올린 이가 해당 시간 내에 콘텐츠를 삭제하면 신고는 종결된다. 그렇지 않으면 유튜브는 신고된 콘텐츠에 등장하는 인물을 흐림 처리 등으로 식별 불가능하게 조치하도록 유도한다. 그러나 언제든지 동영상이 공개 상태로 다시 설정될 수 있다고 보고 단순히 콘텐츠를 비공개로 전환하는 것은 허용하지 않는다. 앞서 페이스북, 인스타그램 등을 운영하는 페이스북도 지난 3월 딥페이크를 방지하기 위해 대책을 내놓은 바 있다. 그동안 자체 도구인 메타AI에서 만든 AI 이미지에 라벨을 붙여왔으나, 이를 모든 게시물로 확대했다. 메타는 "(AI 기술 발달로) 실제 사람의 모습과 합성한 모습의 차이를 가리기 어려워졌다"며 "이용자들은 진위와 경계를 알고 싶어 한다"고 말했다. 그러면서 "이용자들이 접한 콘텐츠가 AI를 사용해 언제 만들어졌는지 알 수 있도록 도우려 한다"고 덧붙였다.

2024.07.02 09:40장유미

中 아너, AI 딥페이크 감지 폰 발표…"세계 최초"

중국 모바일 브랜드 아너가 AI 사기를 방지할 수 있는 스마트폰 기술을 발표했다. 26일 중국 언론 중관춘짜이셴에 따르면 중국 상하이에서 열린 2024 MWC 상하이에서 아너가 스마트폰 업계 최초로 온디바이스(On-Device) AI 사기 방지 기술을 공개했다. 자오밍 아너 최고경영자(CEO)에 따르면, 이 기술은 사용자의 영상 통화에서 화면 속 요소를 스스로 인지해, 영상 속 인물의 'AI 딥페이크'를 감지하고 사용자에게 위험을 경고할 수 있다. 이날 시연에서 영상 통화 상대방인 한 젊은이가 딥페이크 기술을 통해 노인으로 변환된 얼굴로 통화하자, 스마트폰이 사용자에게 팝업창을 띄워 '상대방이 AI 딥페이크로 신분을 속인 것으로 의심된다'고 경고했다. 자오 CEO는 딥페이크 기술로 인한 온라인 스미싱과 사기 행위가 3천% 증가해 일반 소비자들의 식별이 어려워졌다며 기술의 중요성을 언급했다. 자오 CEO는 "실제 대부분의 AI 얼굴 변환 사기를 식별할 수 있다"며 "컴퓨팅 능력을 통해 AI가 영상과 사진을 처리했는지 여부를 판단할 수 있다"고 전했다. 이날 아너는 온디바이스 AI가 화면과 결합해 사용자의 눈 환경과 습관에 따라 스마트폰 화면으로 '디포커스(Defocus) 렌즈' 효과를 내는 시력 보호 기술도 발표했다. 이 디포커스 눈 보호 기술이 적용된 화면으로 독서할 경우 근시 지수가 감소한 것으로 나타났다고 아너는 전했다. 아너는 지난해 연말 눈 보호 랩을 설립했으며, 향후 3년 간 10억 위안 이상의 연구개발비를 투입할 계획이다. 독일 인증 기관 TUV를 비롯해 BOE, 비전옥스, 톈마 등 디스플레이 기업들과도 협력하고 있다. 이날 자오 CEO는 "과거 3년 간 아너가 줄곧 AI에 중점적으로 투자해왔으며, 기초부터 다져왔던 것이 효과를 드러내기 시작한다"고 전했다. 시장조사업체 카운터포인트리서치에 따르면 올해 1분기 중국 스마트폰 판매량 기준 시장 점유율에서 아너(16.1%)는 비보(17.4%)에 이어 2위를 차지했으며, 이어 애플, 화웨이, 오포, 샤오미가 크지 않은 격차로 순위를 차지하며 탑6를 형성하고 있다.

2024.06.27 08:10유효정

화상상담으로 대출 가능…딥페이크 우려는?

KB국민은행이 최근 모바일 화상상담으로 주택담보대출도 받을 수 있도록 비대면 서비스를 확대했지만, 딥페이크와 같은 신기술 사기 대응은 미흡한 것으로 나타났다. 딥페이크는 인공지능(AI)을 기반으로 한 인간 이미지 합성 기술이다. 세계적으로 딥페이크가 고도화됨에 따라 음란물과 같은 범죄에 악용되는 경우도 늘어나는 추세다. 24일 KB국민은행은 KB모바일 화상상담 서비스를 통해 주택담보대출을 일으킬 수 있으며, 세 단계로 비대면 실명 확인을 거치고 있어 딥페이크만으로는 위협 요소가 없다고 밝혔다. 화상상담을 이용하기 위해 로그인을 해야하고, ▲신분증 촬영 ▲얼굴 대조 ▲추가 본인 확인을 요구한다는 부연이다. 특히 KB국민은행 측은 "실시간 화상통화서 딥페이크를 탐지하기 가장 좋은 방법은 고개를 옆으로 돌리도록 요청하는 것"이며 "화상상담은 직원이 고객과 마주보며 고객 행동을 통해 본인 확인 여부를 분별할 수 있어 위조나 해킹을 방지하는 채널"이라고 설명했다. 하지만 기술이 날이 갈 수록 발전하는 만큼 딥페이크를 통한 금융 사기는 더이상 먼 얘기가 아니게 됐다. 금융보안원 이혁준 AI혁신실 팀장은 "AI를 연구하는 곳에서 딥페이크를 탐지하는 기술도 탐구하고 있다"며 "딥페이크 등을 통한 금융 사기는 시간 문제로 불가능하지 않으며 비대면 환경에서 경각심이 더욱 중요해졌다"고 진단했다. 이에 KB국민은행은 딥페이크 기술 발전을 감안해 '라이브니스(Liveness) 체크 솔루션도입 방안을 검토 중이라고 답변했다. 라이브니스 체크 솔루션이란 얼굴 혈류, 질감 등을 감지하거나 움직임을 통해 생체 여부를 판단해 카메라 앞 얼굴이 실제 인물인지 이미지 조작(고화질사진 등)인지 식별하는 솔루션이다. 이혁준 팀장은 "딥페이크 등으로 조작되는 경우 생성되는 알고리즘과 현실 데이터의 알고리즘과 괴리로 판단하는 기술이 라이브니스 증명으로 현재 산학계에서 연구 중"이라고 설명했다.

2024.06.24 16:05손희연

"딥페이크 악용 멈춰!"…방심위, 경찰청과 성적 허위영상물 신속 삭제

방송통신심의위원회는 경찰청과 공조해 '딥페이크' 악용 '성적 허위영상물'을 신속히 삭제·차단하겠다고 5일 밝혔다. 방심위는 이날 경찰청과 회의를 열어 최근 발생한 대학교 내 딥페이크 등 '성적 허위 영상물' 관련 사건이 심각한 사회문제로 대두됨에 따라 공조 방안을 협의했다. 방심위는 먼저 성적 허위영상물 제작・유포 목적의 SNS 계정에 대한 중점 모니터링을 우선적으로 실시하기로 했다. 또한, 경찰청과 연결된 불법정보 공조시스템을 활용, ▲성적 허위영상물 중점 모니터링 과정에서 파악된 악성 유포자 정보는 수사의뢰하고, ▲경찰에서 심의 요청한 성적 허위영상물을 신속히 조치하는 등 디지털 성범죄 피해방지를 위한 협력을 강화하기로 했다. 방심위는 작년 한 해 딥페이크 등 성적 허위영상물에 대해 총 7천187건의 시정요구를 결정한 바 있으며, 올해의 경우 5월말까지 2023년 대비 약 80%에 달하는 총 5천795건의 시정요구를 결정했다. 방심위는 “최근 급증하고 있는 성적 허위영상물도 불법촬영과 다름없는 중대한 디지털성범죄정보에 해당한다”며, “경찰청 등 관계기관과 공조를 강화해 디지털성범죄 악성 유포자 수사에 적극 협조 하겠다”고 밝혔다.

2024.06.05 20:36안희정

  Prev 1 2 3 4 5 Next  

지금 뜨는 기사

이시각 헤드라인

"요금 올리거나, 무료 풀거나"…OTT, 전략 분화

"책 대신 '아이패드'로 수업을"…디지털이 바꾼 교실 풍경은

과학자들, 납으로 금 만들었다…'연금술사의 꿈' 실현되나

[ZD브리핑] 아시아 IT 박람회 컴퓨텍스 개최...21대 대선 후보 첫 토론회

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현