검색 - IT세상을 바꾸는 힘 지디넷코리아

"딥페이크 포르노는 혁신 아닌 학대"...美, 16개 웹사이트 제소

"딥페이크 포르노는 혁신 아닌 성적 학대다. 이 문제는 최대한 빨리 해결해야 한다." 생성AI 기술을 이용한 성적 이미지인 '딥페이크 포르노'에 대한 사회적 문제가 커지고 있다. 이에 샌프란시스코 시 변호국은 딥페이크 포르노를 생성할 수 있는 인기 웹사이트 16곳에 대해 폐쇄 조치와 손해배상을 요구하는 소송을 제기했다. 지난 15일(현지시간) 시티 어터니 오브 샌프란시스코(CITY ATTORNEY OF SAN FRANCISCO)와 블룸버그, 기가진 등에 따르면 샌프란시스코 시 법률 대리인 데이비드 치우 변호사는 합의하지 않은 AI로 포르노를 제작하고 배포하는 세계 최대 규모 웹사이트들을 상대로 처음 소송을 제기했다고 발표했다. 이 소송은 샌프란시스코 고등 법원에 제기됐다. 샌프란시스코 시 변호국은 올 상반기에만 총 2억회나 접속한 16곳의 웹사이트에서 이용자가 여성을 누드화할 수 있도록 하는 오픈소스 AI 이미지 생성 모델이 악용됐다고 지적했다. 또 AI가 생성한 딥페이크 포르노 피해자는 심각한 심리적, 경제적 피해를 입고, 인터넷상에 이미지가 확산됨으로써 명예적 피해를 받을 수있다고 우려했다. 이번에 소송을 당한 웹사이트 중 한 곳은 “그녀를 데이트에 데려가는 데 시간을 낭비한다고 상상해 보세요. 그냥 웹사이트에서 알몸(누드)을 구하세요”라고 광고한 것으로 알려졌다. 이 사이트들은 이미지를 생성하기 위해 사용자한테 구독료를 받았는데, 일부 사이트에서는 무료 체험 버전을 제공한 것으로 확인됐다. 그 결과 연간 수백만 개의 딥페이크 포르노가 생성됐고, 대부분은 여성을 대상으로 한 것으로 나타났다. 데이비드 치우 변호사는 “딥페이크 포르노는 혁신이 아니라 성적 학대라는 것을 분명히 해야 한다”면서 “이 문제는 우리가 가능한 빨리 해결할 필요가 있는 중요한 문제”라고 강조했다. 샌프란시스코 시 변호국은 이들 사이트 운영자 약 50명에게 “피해자 동의 없이 딥페이크 포르노를 생성함으로써 주법 및 연방법을 위반하고 있다”면서 웹사이트 폐쇄와 손해배상 지불을 청구했다. 카룬 틸락 부 변호사는 “현시점에서는 이들 웹사이트가 어떤 이미지 생성AI를 사용하고 있는지 명확히 판단할 수 없다”면서도 “그러나 영국의 AI 스타트업인 스터빌러티AI(Stability AI)의 오픈소스 이미지 생성AI인 스테이블 디퓨전의 초기 버전은 이런 딥페이크 포르노 악용에 취약하다”고 설명했다. 치우 변호사는 “우리는 모두 AI를 악용해 어린이를 포함한 실존 인물을 착취하고 학대하는 악질적인 인물을 단속하기 위해 각자의 역할을 다해야 할 의무가 있다”고 밝혔다. 소송의 대상이 된 웹사이트 운영자들은 이번 소송에 대해 별다른 언급이 없었던 것으로 전해졌다.

2024.08.18 09:58백봉삼

[ZD e게임] 반지하게임즈 '페이크북', 정식출시 기대되는 웰메이드 추리게임

'허언증 소개팅', '중고로운 평화나라', '서울 2033', '수확의 정석' 등 독특한 소재와 장르의 게임을 선보인 인디게임 개발사 반지하게임즈가 신작 '페이크북'으로 부산 인디커넥트(BIC) 페스티벌 2024 현장을 찾았다. 페이크북은 포인트앤클릭 형태로 진행되는 추리 어드벤처 게임이다. 게임 속 가상의 SNS '페이크북'에서 발생하는 사건을 파헤지는 방식으로 진행되는데 페이스북, X(구 트위터), 쓰레드(Thread), 인스타그램 등 실제 SNS를 모티브 삼아 이용자에게 실사감을 전하는데 주력했다. 이 게임의 진행방식은 2018년 개봉한 영화 '서치'와 유사점이 많은 편이다. 이용자는 페이크북 내 다양한 이슈를 파헤치고폭로하는 계정 '저승사자'를 운영하는 인물이 된다. 메시지로 전달된 의뢰를 바탕으로 SNS를 뒤지며 단서를 찾는 방식이다. 게임 내 등장인물은 개발진을 비롯해 후원자들의 사진을 사용했다. 또한 '판잣집 강아지', '레니아워' 등 유명 인플루언서들도 NPC로 등장한다. 이를 제외한 대다수의 인물들은 생성형 AI를 통해 만들어졌지만, 이질감은 거의 없는 수준이다. 게임은 크게 메인스토리와 사이드 스토리로 나뉘어져 있으며, 비선형적 구조를 띄고 있다. 메인스토리를 진행하는 와중에도, 사이드 스토리를 플레이할 수 있다. 게임을 플레이하다 보면 SNS에서 으레 볼 수 있는 사람들의 계정과 각종 커뮤니티, 그리고 광고 페이지를 확인할 수 있다. 스토리와 무관하고 의미가 없어 보일 수 있지만, 그 안에서도 스토리 전개를 위한 핵심 키워드가 나올 수 있다. 여러 가지 의뢰를 해결하면 계정 팔로워 숫자가 늘어나는데, 이를 통해 새로운 퀘스트를 받을 수 있다. 현재 공개된 버전에서는 메인스토리는 체험이 불가능하다. 다만 다양한 사이드 스토리를 체험할 수 있다. 이유원 반지하게임즈 댚표는 "페이크북은 기존과 색다른 기획의 시도를 해보고 싶어서 만들어진 게임이다"라며 "현재 나머지 스토리를 제작하고 있다. 연말 쯤에는 더욱 진전된 버전을 선보일 수 있을 것"이라고 말했다.

2024.08.17 12:40강한결

"AI 사기 피해 매년 32조"…美 노인들, AI 기술 열공 나섰다

인공지능(AI) 기술이 일상에 급속히 확산된 가운데 미국 노년층까지 나서 AI 교육 프로그램에 적극 참여 중인 것으로 전해졌다. 14일 NBC 뉴스에 따르면 최근 미국 전역의 노인 센터에서 AI 기술 강좌가 수십 개 이상 개설되고 있다. 이는 노년층이 AI 혜택을 누리면서 사기·잘못된 정보에 대한 취약성을 극복하기 위함이다. AI 기술은 노인들 외로움을 줄이고 의료 서비스 접근성을 높이는 등 여러 이점을 제공할 수 있다. 동시에 딥페이크와 같은 기술로 인해 정치적 혼란이나 경제적 피해를 초래할 수 있어 경각심이 요구된다. 특히 노년층은 AI 기반 사기와 잘못된 정보에 더욱 취약한 것으로 알려져 있다. 실제로 지난해 발표된 미국은퇴자협회(AARP) 보고서에 따르면 60세 이상 미국인이 AI를 통한 거짓 정보와 콘텐츠 사기로 잃은 피해액만 매년 총 238억 달러(약 32조원)인 것으로 조사됐다. 이에 대응하기 위해 미국 노인 돌봄 센터는 디지털 리터러시 향상을 위한 교육 프로그램을 운영하고 있다. 시카고를 비롯해 미 전역 수십 개 이상의 지역에서 진행 중인 이 강좌들은 노인들이 AI의 이점과 위험성을 균형 있게 이해하며 기술을 안전하게 활용하도록 가르친다. 전국노인위원회의 다이앤 스톤 부국장은 "노인들이 기술을 사용하지 않는다는 믿음은 틀렸다"며 "AI 강좌들은 기술이 가진 역량에 대한 확실한 정보를 제공함으로써 미국 전역의 노인들이 새 시대에 대비할 수 있게 하고 있다"고 강조했다.

2024.08.14 09:42조이환

AI로 아동 음란물 만든 英 남성 구속…법정 중형 예상

인공지능(AI)으로 미성년자의 얼굴을 합성해 음란물을 만든 영국 남성이 체포됐다. 13일 BBC와 영국 왕립검찰청(CPS)에 따르면 영국 볼턴 크라운 법원은 아동·청소년 성 착취 범죄 혐의로 27세 휴 넬슨이란 남성을 구금했다. 그는 16세 미만 소년에게 성행위를 하도록 부추긴 혐의를 포함해 음란물 배포 및 제작 혐의 등 11건의 범죄를 저질렀다. 형 선고는 오는 9월 선고될 예정이다. 휴 넬슨이 저지른 범죄 중 큰 우려를 산 것은 어린이들의 일상 사진에서 얼굴을 추출해 음란물을 만든 것이다. 그는 지난해 7월 AI로 만든 가짜 아동 음란물 사진을 만들고 유포한 사실을 인정했다. 이러한 사진들을 팔아 그가 벌어들인 돈은 약 5천 파운드(약 874만원)에 달한다. 그레이터 맨체스터 경찰(GMP) 측은 이 사건을 향후 영국 내 아동·청소년의 성보호에 관한 법률(아청법) 개정에 대한 강한 영향을 끼칠 것으로 전망했다. AI 등 컴퓨터 프로그램으로 만든 음란물을 처벌할 수 있는 근거가 영국 법률 내 구체적으로 언급돼 있지 않기 때문이다. 한국의 경우 딥페이크 성 착취물은 성폭력범죄의 처벌 등에 관한 특례법(성폭력 처벌법) 14조 2항 규정이 적용돼 특정인의 얼굴·신체·음성을 대상으로 한 영상물 등을 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성·가공할 경우 5년 이하의 징역이나 5천만원 이하의 벌금형에 처한다. 특히 딥페이크 허위 영상물의 피해자가 미성년자인 경우 아청법 적용으로 가중처벌 된다. 아청법 제11조 1, 2항에 따르면 아동·청소년 성 착취물을 제작한 자는 무기 또는 5년 이상의 징역에 처하며 영리 목적으로 아동·청소년 성 착취물을 판매·배포한 사람은 5년 이상의 유기징역을 받는다. CPS도 처벌에 대한 강한 의사를 내비쳤다. CPS는 휴 넬슨이 가능한 최고 수위의 형량을 구형받도록 할 예정으로, AI 등 신기술을 성범죄에 오용하는 건 심각한 중범죄이며 피해 아동이 큰 트라우마에 시달릴 수 있다고 설명했다. CPS 재닛 스미스 특별 검사는 "그는 자신의 성적 만족을 위해 아이들을 상대로 심각한 성범죄를 저질렀다"며 "기술은 빠르게 진화하고 있으며 어린이에 대한 성범죄 위험도 마찬가지"라고 분노했다. 영국 국가범죄국 관계자는 "AI가 생성한 학대 이미지가 실제 이미지든 AI가 생성한 이미지든 이러한 이미지를 보는 것은 범죄자가 아동을 성적으로 학대할 위험을 실질적으로 증가시킨다"고 말했다.

2024.08.13 10:34양정민

美 상원 "동의 없이 AI로 얼굴·음성 복제하면 불법"

미국 국회 상원의원들이 본인 동의 없이 인공지능(AI)으로 얼굴·음성 재현하는 행위를 불법으로 하자는 법을 발의했다. 1일 CNBC 등 외신은 개인 음성이나 신체가 동의 없이 AI로 구현됐을 때 당사자가 손해배상 청구를 할 수 있는 '가짜 금지법'이 미국서 발의됐다고 보도했다. 해당 법은 공화당과 민주당 모두 참여한 초당적 합의안인 것으로 전해졌다. 법 내용에 따르면, 개인이나 기업이 당사자 동의 없이 디지털 복제물을 제작, 공유하면 책임을 져야 한다. 이를 공유한 온라인 서비스 기업도 해당 콘텐츠를 즉시 삭제해야 한다. 그동안 미국에서 AI로 제작된 가짜 이미지나 영상이 우후죽순으로 퍼졌다. 테일러 스위프트와 카밀라 해리스 등 유명인사를 표적으로 삼아 이같은 딥페이크 콘텐츠가 늘었다. 최근 일반인도 비슷한 피해를 겪은 것으로 알려졌다. 법 발의에 참여한 민주당 크리스 쿤스 상원의원은 "누구나 본인 얼굴과 목소리를 지키고 보호할 권리가 있다"며 "누군가가 이를 무단으로 이용해선 안 된다"고 강조했다. 미 상원은 딥페이크 등 AI로 조작된 이미지나 영상 피해자들이 손해배상을 청구하는 법안을 만장일치로 통과시킨 바 있다. 그만큼 미국 정치권이 AI 오·남용에 대한 부작용을 심각하게 받아들인 셈이다. 이번 법 발의에 미국음반산업협회(RIAA), 미국방송·배우노동조합(SAG-AFTRA) 등 엔터테인먼트와 저작권 그룹은 적극 찬성한다고 입을 모았다. 오픈AI도 이 법안을 지지한다고 발표했다. 오픈AI 안나 마칸주 글로벌담당 부사장은 "예술가와 창작자는 보호받아야 한다"며 "이런 입법이 생성형 AI 시대를 올바르고 바꿀 것"이라고 밝혔다.

2024.08.02 08:17김미정

"바이든 노망났다"...머스크, 해리스 조작영상 올렸다가 뭇매

일론 머스크 테슬라 최고경영자(CEO)가 미국 민주당 유력 대선 후보인 카멀라 해리스 부통령 음성이 조작된 영상을 소셜미디어(SNS) 계정에 올려 뭇매 맞았다. 현재 해당 게시물은 삭제됐다. AP통신에 따르면 일론 머스크 CEO는 지난 26일(현지시간) 해리스 부통령 목소리를 이용한 1분 52초 분량 영상을 엑스(옛 트위터) 계정에 게재했다. 해당 영상은 인공지능(AI)을 이용한 딥페이크였다. 해리스 부통령 얼굴에 조작된 음성이 들어간 영상이었다. 영상 속 해리스는 "조 바이든이 토론에서 자신의 노망을 드러냈다"고 말했다. 이어 "나는 여성이자 유색인종이기 때문에 다양성을 위해 대통령 후보로 뽑힌 것"이라며 "국가 운영에 대해선 아무것도 모른다"고 덧붙였다. 해당 영상 제작자는 엑스와 유튜브에 올리면서 조작된 콘텐츠라는 점을 명시한 바 있다. 그러나 머스크가 이런 설명을 생략하고 게재해 문제가 커졌다. 특히 머스크는 최근 공화당 대선 후보 도널드 트럼프 전 대통령 지지 선언을 한 적 있어 논란이 더 커지고 있다. 일부에선 머스크가 의도적으로 가짜 영상이라는 안내 없이 올렸다는 추측이 나오고 있다. 해리스 캠프는 즉각 반발에 나섰다. 해리스 대선 캠프 미야 에렌버그 대변인은 "미국 국민들이 일론 머스크와 도널드 트럼프의 조작된 거짓말을 원하지 않을 것"이라며 "트럼프 전 대통령의 거짓말보다 해리스 부통령의 진정한 자유와 안보를 원할 것"이라고 밝혔다. 다수 외신은 딥페이크가 미국 대선에서 정치를 어떻게 오도하는지 보여준 대표 사례라고 평했다. AP통신은 "AI 사용 규제를 위한 정부 조치가 여전히 부족"하다고 지적했다.

2024.07.30 09:04김미정

스칼렛 요한슨 "샘 알트먼 오픈AI 대표, 마블영화 악당"

미국의 유명 여배우 스칼렛 요한슨이 샘 알트먼 오픈AI 대표를 마블영화 악당에 비유했다. 오픈AI가 영화에 등장한 자신의 AI 비서 목소리를 무단으로 사용했다가 삭제한 것을 두고 드러낸 부정적인 표현이었다. 21일(현지시간) 가디언은 알트먼 오픈AI 대표가 마블 영화 악당이 될 수 있겠냐는 다른 매체의 질문에 요한슨이 "로봇 팔만 가졌다면 충분히 가능하다. 자녀들에게도 이상한 상황이 될 것 같아 더욱 목소리 참여를 거부했다"는 답변을 했다고 보도했다. 보도에 따르면 이는 요한슨이 오픈AI '챗GPT' 보이스 서비스에 느낀 불쾌함을 농담으로 풀어낸 것이다. 불쾌함에 대한 배경은 분명 있었다. 오픈AI가 영화 '그녀(Her)'에 등장한 요한슨의 AI 비서 목소리와 비슷한 음성 모드를 지난해 5월 'GPT-4o'의 스카이 보이스 시연 행사에서 선보였다가 삭제한 일이 있었기 때문이라는 게 외신의 설명이다. 알트먼 오픈AI 대표는 행사 시연 직후 소셜미디어 X(구 트위터)에 '그녀(her)'라는 글을 남기는 등 해당 영화에서 서비스의 영감을 얻었음을 간접적으로 드러낸 바 있다. 하지만 요한슨은 "오픈AI가 요청한 영화 AI 비서 음성 적용을 거절했지만, 무단으로 사용했다"며 비판했다고 알려졌다. 오픈AI는 이러한 비판을 의식한 듯 'GPT-4o'에서 '스카이' 음성 모드를 삭제한 상태다. 알트먼 오픈AI 대표는 "요한슨을 존중하기 위해 스카이의 목소리를 중단했다"는 소식을 직접 전한 바 있다. 이번 사건은 요한슨이 디즈니와의 분쟁 후 겪는 또 다른 법적 갈등이란 점에서 주목받고 있다. 앞서 요한슨은 디즈니가 영화 '블랙 위도우'의 배급 방식을 변경해 자신의 수익에 영향을 끼쳤다고 주장해 눈길을 끌었다. 외신은 요한슨의 발언이 AI 기술과 딥페이크의 위험성을 보여준 사례라고 밝히기도 했다. 가디언은 "기술이 너무 빠르게 발전하면서 인간이 이를 충분히 이해하고 대응할 시간이 부족하다는 것이 그의 주된 우려"라고 했다.

2024.07.21 13:37조이환

"어떻게 같은 학교 여학생을"…스페인 법원, 남학생들 기소한 이유는

스페인 당국이 여학생들의 AI 생성 나체 이미지를 제작 및 유포한 혐의로 남학생들에게 1년 보호관찰을 선고했다. 11일 가디언 등 외신에 따르면 스페인 바다호스시 청소년 법원이 남학생 15명에게 미성년자 아동학대 이미지 제작 혐의로 유죄판결을 내렸다. 법원은 피고들에게 1년 보호관찰을 선고했다. 또 성평등과 기술의 책임감 있는 사용에 대한 수업을 수강하도록 명령했다. 지난해 스페인 경찰은 엑스트레마두라 지방 알멘드랄레호 마을에서 여학생들의 가짜 나체 사진이 소셜 미디어에 유포됐다는 신고를 받고 조사를 개시했다. 이에 따라 13세~15세 사이 남학생들이 이미지를 생성하고 공유한 혐의를 확인했다. 사건은 작년 7월 사진이 유포된 후 피해자들이 부모에게 사실을 알리며 공론화됐다. 한 피해자 부모는 "이미지가 너무 사실적이라 정말 충격적이었다"며 "딸의 몸을 몰랐다면 그 이미지가 진짜라고 생각했을 것"이라고 말했다. 또 다른 피해자의 어머니는 "많은 소녀가 이 일을 겪고 완전히 겁에 질려 엄청난 불안 장애를 겪었다"고 전했다. 피해자들을 지원한 스페인 성평등 단체 말발루나 협회(Malvaluna Association)는 "이 사건은 스페인 사회에 큰 경종을 울린다"며 "우리에게는 남녀 평등에 대한 교육이 절실히 필요하다"고 강조했다.

2024.07.11 11:10조이환

"누구냐 넌?"...데이팅 앱, 'AI 프로필' 차단한다

데이팅 앱 범블이 인공지능(AI) 생성 사진으로 만든 프로필을 규제한다. 10일 테크크런치 등 외신에 따르면, 범블은 지난 9일 AI 사진으로 의심되는 프로필을 신고 가능한 옵션을 도입했다. 이용자는 '가짜 프로필' 신고 메뉴에서 'AI에서 생성한 사진 또는 비디오 사용' 옵션을 눌러 의심 프로필을 신고 가능하다. 그동안 AI 프로필은 사기에 악용되거나 프로필과 실물 간 괴리를 발생시키는 등 데이팅 앱에서 이용자 혼란을 일으켜왔다. 이에 지난 2월 범블이 이용자를 대상으로 온라인 데이트의 문제점을 조사한 결과, 여성 이용자의 46%가 매칭 상대의 프로필을 신뢰할 수 없다고 응답했다. 범블 리사 슈타인 제품 담당 부사장은 공식 성명을 통해 "의미 있는 만남이 이뤄지는 공간 구축에 오해의 소지가 있거나 위험한 요소를 제거하는 것은 필수적"이라고 밝혔다. 이어 "이번에 새로운 신고 옵션 도입을 통해 범블은 가짜 프로필이 어떻게 AI를 악용하는지 더 잘 이해할 수 있을 것"이라며 "범블이 안전하고 신뢰할 수 있는 데이트 환경을 제공하도록 기술 개선에 전념 중"이라고 덧붙였다. 범블은 지난 2월 가짜 프로필, 스패머, 사기꾼 등을 감지하고 제거하는 AI 도구 '디셉션 디렉터'를 출시하기도 했다. 범블은 디셉션 디렉터 출시 후 스팸, 사기, 가짜 프로필에 대한 신고가 45% 감소했다고 주장한 바 있다.

2024.07.10 10:08조수민

첨단 영상 분석으로 딥페이크 신종범죄 잡는다

한국전자기술연구원(KETI·원장 신희동)은 국립과학수사연구원(원장 이봉우)과 과학수사 분야 연구 협력을 위한 업무협약(MoU)을 체결했다고 밝혔다. KETI와 국과수는 업무협약을 계기로 인공지능(AI) 기반 영상·음성 분석 등 첨단 분야 공동 기술 개발을 추진함과 동시에 과학수사 분야 내 기술 확산을 지원하는데 합의했다. KETI는 딥러닝 기반 영상 인식추적·영상 화질개선 등 지능형 영상처리 기술, 멀티모달 인터랙션 및 추론, 자연어 처리 등의 인공지능 기술 등 첨단 지능 분야 핵심 기술 육성에 집중하고 있다. 국과수는 행정안전부 소속 과학수사 감정연구기관으로, CCTV·비디오·사진을 포함하는 각종 영상·음성 판독/개선 기술 등 범죄수사에 필요한 법공학 분야 연구개발을 수행 중이며, 주요 범죄 사건사고에 필요한 해석과 감정을 지원한다. KETI와 국과수는 이번 협약을 통해 ▲과학수사에 필요한 영상 및 음성 분석 기술 교류 ▲영상 및 음성 분석 기술 활용을 위한 인적 교류 ▲과학 수사 분야 신기술 수요 공동 발굴 및 정부 전략 수립 지원 등 첨단 분야에서의 R&D 협력을 강화할 계획이다. 협약식에서는 KETI 지능정보연구본부의 지능형영상처리연구센터 및 인공지능연구센터, 국과수 법공학부의 디지털과와 법과학교육연구센터 주요 관계자가 참석해 첨단 과학수사 분야 주요 협력 기술을 논의했다. KETI 지능정보연구본부는 인물의 행동 양식을 모방하는 극사실적 인물 구현 등의 동영상 합성·판별 기술을 바탕으로 딥페이크 영상과 음성을 판별하는 탐지 기술을 보유 중이다. 신희동 KETI 원장은 “다가오는 미래 치안의 핵심은 첨단 과학 기술 개발이며, KETI는 유망 ICT 기술 구현과 확산에 필요한 최적의 파트너”라며 “두 기관의 협약이 향후 국민 안전을 보장하는 과학치안 사회로 이어지길 기원한다”고 밝혔다. 이봉우 국과수 원장은 “최근 인공지능 기술 발달에 따라 딥페이크와 같은 신종범죄로 인해 국민 안전이 위협받고 있다”며 “두 기관의 힘을 모아 기술을 연구·개발해 국민이 안전한 사회를 구현할 수 있도록 노력하겠다”고 말했다.

2024.07.10 08:25주문정

중학교 교사 나체 사진에 '충격'…정부, 딥페이크 범죄 퇴출 나선다

#. 부산 강서구 소재 한 고등학교 재학생 A군은 동급생 얼굴이 등장하는 음란물을 만들어 판매한 혐의로 최근 조사를 받게 됐다. 지난 5월에도 이 학교에서 B군이 여학생 7명 얼굴을 딥페이크 기술로 합성한 사진을 메신저 텔레그램에 올린 정황이 파악돼 문제가 됐다. 부산 사하구 소재 한 중학교에서는 모델의 나체에 한 교사의 얼굴이 합성된 사진이 텔레그램을 통해 유포된 사실이 드러나 충격을 줬다. 이처럼 인공지능(AI)을 활용한 딥페이크 범죄가 날로 많아지고 있는 가운데 정부가 이를 막기 위한 대안 마련에 나섰다. 행정안전부는 9일 KETI 대회의실에서 국립과학수사연구원과 한국전자기술연구원(KETI)과 '과학수사 분야 연구 협력을 위한 업무협약(MOU)'을 체결했다. 이날 협약식에는 국과수 이봉우 원장, KETI 신희동 원장을 비롯해 KETI 지능정보연구본부·지능형영상처리연구센터·인공지능연구센터, 국과수 디지털과·법과학교육연구센터 등 관계자 12명이 참석했다. 양 기관은 이날 협약에 앞서 간담회를 열고 첨단 과학수사 분야의 주요 협력 기술을 논의했다. 또 인공지능(AI) 기반 영상·음성 분석 등 첨단 분야의 공동 기술 개발 추진과 동시에 과학수사 분야 내 기술 확산을 지원하기로 합의했다. 이번 협약을 통해 ▲과학수사에 필요한 영상 및 음성 분석 기술 교류 ▲영상 및 음성 분석 기술 활용을 위한 인적 교류 ▲과학수사 분야 신기술 수요 공동 발굴 및 정부 전략 수립 지원 등 첨단 분야에서의 연구개발(R&D) 등에 대한 상호 협력을 강화할 계획이다. 현재 국과수에서는 국내 주요 범죄 사건·사고에 필요한 해석과 감정을 지원하고 CCTV·비디오·사진을 포함하는 각종 영상 및 음성 판독·개선 기술 등 범죄 수사에 필요한 법 공학 분야의 연구개발을 수행하고 있다. KETI는 딥러닝 기반의 영상 인식 추적 및 영상 화질개선 등 지능형 영상처리 기술, 멀티모달 인터랙션 및 추론, 자연어 처리 등의 인공지능 기술 등 첨단 지능 분야의 핵심 기술 육성에 집중하고 있다. 멀티모달 인터랙션은 음성, 영상 등 다중 입력을 이용한 컴퓨터와 인간의 상호 작용이다. 특히 KETI 지능정보연구본부는 인물의 행동 양식을 모방하는 극사실적 인물 구현 등의 동영상 합성 및 판별 기술을 바탕으로 딥페이크 영상과 음성을 판별하는 탐지 기술을 보유하고 있다. 신희동 한국전자기술연구원장은 "다가오는 미래 치안의 핵심은 첨단 과학 기술의 개발이며 KETI는 유망 ICT의 구현과 확산에 필요한 최적의 파트너일 것"이라며 "두 기관의 협약이 향후 국민 안전을 보장하는 과학치안 사회로 이어지길 기원한다"고 밝혔다. 이봉우 국립과학수사연구원장은 "최근 인공지능 기술의 발달에 따라 딥페이크 등과 같은 신종범죄로 국민의 일상 안전이 위협받고 있다"며 "국내 최고의 전자기술연구기관과 과학수사 감정연구기관이 협력해 신종범죄 수사를 위한 기술을 연구‧개발해 과학수사 분야를 발전시키겠다"고 말했다.

2024.07.09 10:49장유미

[유미's 픽] "감옥에 간 트럼프, 美 차기 대통령?"…딥페이크에 빅테크 '비상'

#. 지난 5월 30일. 도널드 트럼프 전 미국 대통령이 '성추문 입막음 돈' 의혹 사건 형사재판에서 유죄 평결을 받은 이후 사회관계망서비스(SNS)에 그와 관련한 '딥페이크(영상·이미지·음성 조작물)' 이미지가 쏟아져 나왔다. 특히 180만 명의 구독자를 보유한 맷 월리스는 자신의 X 계정에 정장을 입은 트럼프 전 대통령이 감옥에서 두 손을 가지런히 모은 채 굳은 표정으로 카메라를 응시하고 있는 인공지능(AI) 생성 이미지를 올려 11만여 명으로부터 '좋아요' 반응을 받았다. 미국 대통령 선거가 4개월 앞으로 다가온 가운데 빅테크 기업들이 이처럼 AI 기술을 악용한 '딥페이크' 확산을 막기 위해 대응 방안 마련에 분주히 움직이고 있다. 추가 사실을 확인하면 딥페이크 이미지가 가짜란 사실을 알 수 있긴 하지만, 별 관심이 없는 이들이 이미지를 그대로 진실이라 믿을 소지가 많다는 점에서 선거에 악영향을 줄 수도 있어서다. 4일 업계에 따르면 구글은 최근 생성형 AI 등 디지털 방식을 통해 선거 광고를 제작하거나 변경했을 때 이를 의무적으로 공개하겠다는 지침을 마련했다. 선거 광고 게재시 '수정 혹은 합성 콘텐츠' 항목에 표시하는 조항을 만들었는데, 이에 따라 광고주는 디지털 방식으로 생성 및 변경된 정치 선거 관련 광고를 올릴 때 해당 항목에 표시해야 한다. 구글은 지난해 9월에도 빅테크 기업 최초로 선거 광고에 AI 사용 여부 표시를 의무화해 주목 받았다. 구글은 지난해 11월부터 모든 정치적 광고에 들어가는 동영상·사진·음성에서 생성형 AI를 사용한 경우 활용 사실을 '명확하고 눈에 띄게' 명시하도록 하는 규정을 적용했다. 유튜브는 생성형 AI 콘텐츠의 영향을 직접 받는 당사자가 개인정보침해를 사유로 요청할 경우 콘텐츠를 삭제할 수 있도록 했다. 다만 미성년자이거나 컴퓨터에 접근할 수 없을 때, 사망했을 때 등 몇 가지 경우를 제외하곤 당사자가 직접 삭제를 요청해야 한다. 유튜브는 콘텐츠 삭제 요청을 받게 되면 다양한 요소를 고려해 판단을 내린다. 해당 콘텐츠가 특정인을 고유하게 식별할 수 있는지, 패러디나 풍자 또는 대중의 이익을 위한 것으로 간주할 수 있는지 판단한다. 또 해당 콘텐츠에 유명인이 등장하거나 범죄 행위, 폭력, 정치인 지지 등 민감한 내용이 담겼는지도 고려해 삭제 여부를 결정한다. 특히 올해 미국 대통령 선거를 앞두고 생성형 AI 콘텐츠로 표심을 흔들 우려가 높은 만큼 이를 철저히 관리한다는 방침이다. 페이스북, 인스타그램 등을 운영하는 페이스북도 지난 3월 딥페이크를 방지하기 위해 대책을 내놓은 바 있다. 그동안 자체 도구인 메타AI에서 만든 AI 이미지에 라벨을 붙여왔으나, 이를 모든 게시물로 확대했다. 빅테크 기업들이 이처럼 나선 것은 딥페이크 악용으로 인한 가짜뉴스가 선거에 큰 영향을 줄 가능성이 높아서다. 실제로 도널드 트럼프 전 대통령과 공화당 대선 후보 경쟁을 한 론 디샌티스 플로리다 주지사는 경선 과정에서 딥페이크 영상이 48건 제작된 것으로 조사됐다. 디샌티스 후보가 '경쟁을 포기하겠다'고 말하는 등 조작된 영상들은 당시 디센티스 후보의 이미지에 악영향을 줬다는 분석이 많았다. 정치인들이 딥페이크의 주요 타깃이 되고 있다는 점도 우려되는 요소다. 글로벌 딥페이크 보안 업체 센시티에 따르면 딥페이크에 악용된 직업은 정치인이 39.2%로 가장 많고 연예인(29.4%), 기업인(19.6%), 테러범(6.9%) 등이 뒤를 이었다. 이미지 생성형 AI 소프트웨어 '미드저니'는 최근 미국 대통령 이미지를 만들어 달라는 요청에 도널드 트럼프 미국 전 대통령의 모습을 생성해 논란의 중심이 됐다. 이는 미드저니가 미국 대통령 선거를 앞두고 AI가 유력 후보인 트럼프와 바이든의 이미지를 만드는 것을 차단하겠다고 밝힌 후 이뤄졌다는 점에서 더 문제가 됐다. 여기에 미드저니는 차기 미국 대통령 이미지 생성 요청에도 트럼프 전 대통령의 이미지를 만들어 내 눈길을 끌었다. 로이터통신은 "몇 초 만에 텍스트, 이미지, 동영상 등을 만드는 생성형 AI의 빠른 성장은 잠재적 악용에 대한 우려를 불러일으킨다"며 "딥페이크로 인해 진짜와 가짜의 경계가 흐려지고 있다"고 강조했다. 업계 관계자는 "올해 '슈퍼 선거의 해'를 맞아 AI 등으로 제작된 온라인 허위정보가 선거 공정성을 해친다는 우려가 여느 때보다 커진 상황"이라며 "생성형 AI를 이용해 감쪽같이 날조한 이미지들은 특히 요즘 같은 정치적 혼란기에 유권자들의 판단에 영향을 미칠 수 있어 각별한 주의가 요구된다"고 밝혔다.

2024.07.04 09:32장유미

구글 "AI로 만든 광고 콘텐츠에 정보 표시 필수"

구글이 인공지능(AI) 가짜뉴스 차단을 위해 디지털로 제작·수정한 광고 콘텐츠 표시를 의무화한다. 3일 로이터통신 등 외신에 따르면 구글은 광고주가 선거 광고에서 사람이나 배경 묘사를 위해 디지털로 만든 콘텐츠를 사용할 경우, 이를 반드시 공개해야 한다는 '콘텐츠 합성·표시 의무화' 정책을 발표했다. 외신에 따르면 이런 정보 공개 여부는 콘텐츠 종류에 따라 상이하다. 이미지 크기 조절, 색 보정 등 편집 사실은 공개 의무화가 아니다. AI 등 신기술을 이용해 인물이나 물체, 배경 등을 합성한 콘텐츠는 정보 공개가 필수다. 이때 사용자는 '이 이미지는 실제 상황을 묘사하지 않습니다'는 정보 공개 문구를 의무적으로 노출해야 한다. 구글은 미국 대선을 약 4개월 앞둔 시점에서 이같은 정책을 내놨다. 생성형 AI를 통한 딥페이크나 가짜뉴스 확산을 차단하려는 조치다. 로이터는 "생성형 AI의 정치적 악용 우려가 커졌다"며 "진짜와 가짜의 경계가 더 흐려지고 있다"고 했다. 다른 미국 빅테크도 분주하다. 지난해 메타는 페이스북과 인스타그램에서 광고주가 정치·사회 광고 제작에 AI를 사용하면 이를 공개한다고 밝혔다. 오픈AI는 올해 5월 자사 AI 모델로 여론 조작하려는 사용 사례를 발견해 중단했다고 알렸다. 구글은 "정책 변경으로 이용자들은 디지털로 수정하거나 제작한 콘텐츠를 금방 알아차릴 수 있을 것"이라고 강조했다.

2024.07.03 09:59김미정

"박명수도 화들짝"…생성형 AI 콘텐츠에 놀란 연예인, 유튜브서 삭제 요청 가능해진다

"저도 들어봤어요. 어쩌면 그렇게 똑같나요. 근데 전 그 노래(밤양갱)을 부른 적이 없어요. 그렇게 똑같을 줄 몰랐는데 (앞으로) 우리 연예인들은 어떻게 해야 합니까." 지난 3월. 방송인 박명수는 가수 비비의 곡 '밤양갱'을 자신의 목소리로 부른 노래가 유튜브 등을 통해 흘러나오자 깜짝 놀랐다. 자신의 목소리와 너무 유사했기 때문이다. 앞으로는 유튜브를 통해 이처럼 목소리를 모방한 콘텐츠를 원하는 경우 삭제할 수 있을 것으로 보인다. 유튜브가 딥페이크 같은 얼굴이나 목소리를 모방한 생성형 AI 콘텐츠 또는 기타 합성 콘텐츠의 삭제를 요청할 수 있도록 했기 때문이다. 2일 테크크런치 등 외신에 따르면 유튜브는 생성형 AI 콘텐츠의 영향을 직접 받는 당사자가 개인정보침해를 사유로 요청할 경우 콘텐츠를 삭제할 수 있도록 했다. 다만 미성년자이거나 컴퓨터에 접근할 수 없을 때, 사망했을 때 등 몇 가지 경우를 제외하곤 당사자가 직접 삭제를 요청해야 한다. 유튜브는 콘텐츠 삭제 요청을 받게 되면 다양한 요소를 고려해 판단을 내린다. 해당 콘텐츠가 특정인을 고유하게 식별할 수 있는지, 패러디나 풍자 또는 대중의 이익을 위한 것으로 간주할 수 있는지 판단한다. 또 해당 콘텐츠에 유명인이 등장하거나 범죄 행위, 폭력, 정치인 지지 등 민감한 내용이 담겼는지도 고려해 삭제 여부를 결정한다. 특히 올해 미국 대통령 선거를 앞두고 생성형 AI 콘텐츠로 표심을 흔들 우려가 높은 만큼 이를 철저히 관리한다는 방침이다. 유튜브는 만약 콘텐츠를 삭제할 경우 콘텐츠를 올린 이에게 48시간 동안 조치를 취할 수 있는 시간을 줄 예정이다. 콘텐츠를 올린 이가 해당 시간 내에 콘텐츠를 삭제하면 신고는 종결된다. 그렇지 않으면 유튜브는 신고된 콘텐츠에 등장하는 인물을 흐림 처리 등으로 식별 불가능하게 조치하도록 유도한다. 그러나 언제든지 동영상이 공개 상태로 다시 설정될 수 있다고 보고 단순히 콘텐츠를 비공개로 전환하는 것은 허용하지 않는다. 앞서 페이스북, 인스타그램 등을 운영하는 페이스북도 지난 3월 딥페이크를 방지하기 위해 대책을 내놓은 바 있다. 그동안 자체 도구인 메타AI에서 만든 AI 이미지에 라벨을 붙여왔으나, 이를 모든 게시물로 확대했다. 메타는 "(AI 기술 발달로) 실제 사람의 모습과 합성한 모습의 차이를 가리기 어려워졌다"며 "이용자들은 진위와 경계를 알고 싶어 한다"고 말했다. 그러면서 "이용자들이 접한 콘텐츠가 AI를 사용해 언제 만들어졌는지 알 수 있도록 도우려 한다"고 덧붙였다.

2024.07.02 09:40장유미

中 아너, AI 딥페이크 감지 폰 발표…"세계 최초"

중국 모바일 브랜드 아너가 AI 사기를 방지할 수 있는 스마트폰 기술을 발표했다. 26일 중국 언론 중관춘짜이셴에 따르면 중국 상하이에서 열린 2024 MWC 상하이에서 아너가 스마트폰 업계 최초로 온디바이스(On-Device) AI 사기 방지 기술을 공개했다. 자오밍 아너 최고경영자(CEO)에 따르면, 이 기술은 사용자의 영상 통화에서 화면 속 요소를 스스로 인지해, 영상 속 인물의 'AI 딥페이크'를 감지하고 사용자에게 위험을 경고할 수 있다. 이날 시연에서 영상 통화 상대방인 한 젊은이가 딥페이크 기술을 통해 노인으로 변환된 얼굴로 통화하자, 스마트폰이 사용자에게 팝업창을 띄워 '상대방이 AI 딥페이크로 신분을 속인 것으로 의심된다'고 경고했다. 자오 CEO는 딥페이크 기술로 인한 온라인 스미싱과 사기 행위가 3천% 증가해 일반 소비자들의 식별이 어려워졌다며 기술의 중요성을 언급했다. 자오 CEO는 "실제 대부분의 AI 얼굴 변환 사기를 식별할 수 있다"며 "컴퓨팅 능력을 통해 AI가 영상과 사진을 처리했는지 여부를 판단할 수 있다"고 전했다. 이날 아너는 온디바이스 AI가 화면과 결합해 사용자의 눈 환경과 습관에 따라 스마트폰 화면으로 '디포커스(Defocus) 렌즈' 효과를 내는 시력 보호 기술도 발표했다. 이 디포커스 눈 보호 기술이 적용된 화면으로 독서할 경우 근시 지수가 감소한 것으로 나타났다고 아너는 전했다. 아너는 지난해 연말 눈 보호 랩을 설립했으며, 향후 3년 간 10억 위안 이상의 연구개발비를 투입할 계획이다. 독일 인증 기관 TUV를 비롯해 BOE, 비전옥스, 톈마 등 디스플레이 기업들과도 협력하고 있다. 이날 자오 CEO는 "과거 3년 간 아너가 줄곧 AI에 중점적으로 투자해왔으며, 기초부터 다져왔던 것이 효과를 드러내기 시작한다"고 전했다. 시장조사업체 카운터포인트리서치에 따르면 올해 1분기 중국 스마트폰 판매량 기준 시장 점유율에서 아너(16.1%)는 비보(17.4%)에 이어 2위를 차지했으며, 이어 애플, 화웨이, 오포, 샤오미가 크지 않은 격차로 순위를 차지하며 탑6를 형성하고 있다.

2024.06.27 08:10유효정

화상상담으로 대출 가능…딥페이크 우려는?

KB국민은행이 최근 모바일 화상상담으로 주택담보대출도 받을 수 있도록 비대면 서비스를 확대했지만, 딥페이크와 같은 신기술 사기 대응은 미흡한 것으로 나타났다. 딥페이크는 인공지능(AI)을 기반으로 한 인간 이미지 합성 기술이다. 세계적으로 딥페이크가 고도화됨에 따라 음란물과 같은 범죄에 악용되는 경우도 늘어나는 추세다. 24일 KB국민은행은 KB모바일 화상상담 서비스를 통해 주택담보대출을 일으킬 수 있으며, 세 단계로 비대면 실명 확인을 거치고 있어 딥페이크만으로는 위협 요소가 없다고 밝혔다. 화상상담을 이용하기 위해 로그인을 해야하고, ▲신분증 촬영 ▲얼굴 대조 ▲추가 본인 확인을 요구한다는 부연이다. 특히 KB국민은행 측은 "실시간 화상통화서 딥페이크를 탐지하기 가장 좋은 방법은 고개를 옆으로 돌리도록 요청하는 것"이며 "화상상담은 직원이 고객과 마주보며 고객 행동을 통해 본인 확인 여부를 분별할 수 있어 위조나 해킹을 방지하는 채널"이라고 설명했다. 하지만 기술이 날이 갈 수록 발전하는 만큼 딥페이크를 통한 금융 사기는 더이상 먼 얘기가 아니게 됐다. 금융보안원 이혁준 AI혁신실 팀장은 "AI를 연구하는 곳에서 딥페이크를 탐지하는 기술도 탐구하고 있다"며 "딥페이크 등을 통한 금융 사기는 시간 문제로 불가능하지 않으며 비대면 환경에서 경각심이 더욱 중요해졌다"고 진단했다. 이에 KB국민은행은 딥페이크 기술 발전을 감안해 '라이브니스(Liveness) 체크 솔루션도입 방안을 검토 중이라고 답변했다. 라이브니스 체크 솔루션이란 얼굴 혈류, 질감 등을 감지하거나 움직임을 통해 생체 여부를 판단해 카메라 앞 얼굴이 실제 인물인지 이미지 조작(고화질사진 등)인지 식별하는 솔루션이다. 이혁준 팀장은 "딥페이크 등으로 조작되는 경우 생성되는 알고리즘과 현실 데이터의 알고리즘과 괴리로 판단하는 기술이 라이브니스 증명으로 현재 산학계에서 연구 중"이라고 설명했다.

2024.06.24 16:05손희연

"딥페이크 악용 멈춰!"…방심위, 경찰청과 성적 허위영상물 신속 삭제

방송통신심의위원회는 경찰청과 공조해 '딥페이크' 악용 '성적 허위영상물'을 신속히 삭제·차단하겠다고 5일 밝혔다. 방심위는 이날 경찰청과 회의를 열어 최근 발생한 대학교 내 딥페이크 등 '성적 허위 영상물' 관련 사건이 심각한 사회문제로 대두됨에 따라 공조 방안을 협의했다. 방심위는 먼저 성적 허위영상물 제작・유포 목적의 SNS 계정에 대한 중점 모니터링을 우선적으로 실시하기로 했다. 또한, 경찰청과 연결된 불법정보 공조시스템을 활용, ▲성적 허위영상물 중점 모니터링 과정에서 파악된 악성 유포자 정보는 수사의뢰하고, ▲경찰에서 심의 요청한 성적 허위영상물을 신속히 조치하는 등 디지털 성범죄 피해방지를 위한 협력을 강화하기로 했다. 방심위는 작년 한 해 딥페이크 등 성적 허위영상물에 대해 총 7천187건의 시정요구를 결정한 바 있으며, 올해의 경우 5월말까지 2023년 대비 약 80%에 달하는 총 5천795건의 시정요구를 결정했다. 방심위는 “최근 급증하고 있는 성적 허위영상물도 불법촬영과 다름없는 중대한 디지털성범죄정보에 해당한다”며, “경찰청 등 관계기관과 공조를 강화해 디지털성범죄 악성 유포자 수사에 적극 협조 하겠다”고 밝혔다.

2024.06.05 20:36안희정

"테일러 스위프트도 당했다"…AI 음란 딥페이크에 美 청소년들 '울상'

인공지능(AI)으로 만든 음란 딥페이크가 미국 청소년들 사이에서 퍼지면서 피해자들이 속출하고 있다. 연예인이나 정치인 딥페이크가 아닌 여자 동급생들의 음란 이미지를 만들어 공유하는 일이 벌어져 사회 문제로 크게 부각되고 있다. 3일 월스트리트저널(WSJ)에 따르면 지난해 10월 뉴저지주 웨스트필드 고등학교에서 10학년 여학생들이 같은 반 남학생들에게 AI를 사용한 음란 딥페이크로 피해를 입은 것으로 나타났다. 이후 캘리포니아주 베벌리힐스의 한 중학교에서도 5명의 학생이 같은 반 친구의 누드를 AI로 생성한 혐의로 기소돼 퇴학을 당했고, 워싱턴주의 한 고등학교에서도 한 학생이 같은 일로 퇴학 당했다. 마이애미의 한 중학교에서는 급우들의 가짜 누드를 만들어 공유한 10대 남학생 2명이 체포돼 중범죄 혐의로 기소됐다. 다른 여러 학교에서도 이러한 이미지가 공유됐다는 신고가 접수돼 조사에 착수했다. 갈등 해결 전략 회사인 휴먼 팩터(Human Factor)가 지난 3~4월에 전국적으로 1천 명 이상의 학생, 교사, 학부모를 대상으로 설문조사를 실시한 결과, 학생들에게 가짜 누드 사진을 만든 사람과 사진에 등장하는 피해자 중 누가 더 큰 영향을 받는지 질문하자 73%가 피해자라고 답했다. 일리노이주 엘도라도에 사는 한 학생은 "가짜 사진으로 밝혀지더라도 피해자는 여전히 괴롭힘과 조롱을 당할 것"이라고 말했다. WSJ는 "최근까지만 해도 소셜 미디어에 올린 자신의 사진이 AI를 이용해 다른 아이들에 의해 누드로 렌더링될 수 있다는 사실을 아는 학생은 거의 없었다"며 "수십 개의 '얼굴 바꾸기'와 '옷 벗기기' 도구는 이제 온라인에서 거의 또는 무료로 이용할 수 있다는 점에서 청소년들의 스트레스를 가중시키고 있다"고 지적했다. 후먼 팩터의 설문조사에 참여한 학생 중 3분의 2는 사진이 진짜처럼 보이면 이를 진짜라고 생각할 가능성이 높다고 답했다. 또 3분의 1만 상대방에게 진짜인지 물어본다고 응답했다. 참여한 학생의 약 60%는 또래 친구들이 가짜 누드 이미지를 생성하기 위해 AI를 사용할 것이라고 생각했다. 휴먼 팩터 연구진은 "사진이 비공개 그룹 채팅이나 스냅챗과 같은 사라지는 메시지 플랫폼에서 공유된다"며 "이 때문에 이를 당국에 효과적으로 신고할 수 있는 사람은 동료 학생들 뿐"이라고 말했다. 이에 미국 연방수사국은 지난 3월 청소년을 포함한 모든 사람이 AI를 사용해 아동 성학대 자료를 제작하는 것은 불법이라는 공개 권고문을 발표했다. 휴먼 팩터 연구진은 "학교에서 학생 행동 강령을 업데이트해 가짜 누드 이미지를 생성하고 공유할 경우 어떤 결과가 초래되는지 명시해야 한다"며 "학생들이 이러한 이미지를 발견하면 신고할 수 있도록 장려하고 활성화해야 한다"고 제안했다. 앞서 지난 1월에는 미국에서 세계적인 팝스타 테일러 스위프트의 얼굴이 합성된 음란물 이미지가 사회관계망서비스(SNS) 등을 통해 빠르게 유포돼 논란이 됐다. X(엑스, 옛 트위터) 측은 해당 이미지를 게재한 SNS 계정들을 정지시키고, 스위프트 검색 차단 등의 조치를 취했지만 이미 해당 이미지들은 수천만 건의 조회수를 기록하며 확산된 바 있다. 딥페이크 성범죄가 전 세계적으로 기승을 부리면서 각국도 대응에 나선 분위기다. 최근 미 의회 상원에는 피해자가 딥페이크 음란물의 제작·유포·소지자에게 15만 달러(약 2억 원)의 민사상 손해배상을 청구할 수 있는 내용의 여성폭력방지법의 개정안, 일명 '저항(Defiance)법'이 발의됐다. 유럽연합(EU)은 세계 최초로 포괄적 성격의 AI 규제법을 지난달 21일 최종 승인했다. 해당 법은 AI 활용 위험도를 크게 네 단계로 나눠 차등 규제한다. 딥페이크로 만든 영상·이미지·소리에 대해 AI로 조작한 콘텐츠라고 표시해야 한다. 또 인간과 지능이 비슷한 '범용 AI' 개발 기업은 학습 과정에 사용한 콘텐츠를 밝혀 투명성을 강화하고 저작권법도 준수해야 한다. 국내에선 2020년 개정된 성폭력처벌법을 통해 딥페이크 성범죄 가해자에 대한 처벌 규정을 마련해 뒀다. 이 법에 따르면 딥페이크 영상물 등을 제작·반포할 경우 5년 이하의 징역 또는 5천만원 이하의 벌금에 처해진다. 영리 목적이면 7년 이하 징역에 처해진다. 업계 관계자는 "딥페이크 성범죄 피해에 비하면 양형 기준이 낮아 이를 예방하기엔 아직 미흡한 점이 많다"며 "심각한 범죄라는 인식부터 사회에 자리 잡도록 하는 게 급선무"라고 밝혔다.

2024.06.03 10:22장유미

구글, 딥페이크 음란물 제작앱 광고 금지한다

구글이 딥페이크 음란물 제작앱/서비스 광고를 금지하기로 했다. 최근 구글은 광고 정책을 업데이트하고 이달 30일부터 딥페이크 음란물을 만들 수 있다고 주장하는 사이트나 앱의 광고를 금지한다고 자사 홈페이지를 통해 알렸다. 구글 측은 "딥페이크 관련된 위반 사항을 심각하게 여긴다"라며 "만약 정책을 위반한 것이 발견되면 즉시 구글애드 계정이 정지되며 다시는 광고를 게재할 수 없게 된다"고 강조했다. 회사는 광고주에게 광고가 정책 위반 범위 안에 들어가 있는지 확인하고 30일 이전에 해당 광고를 삭제하라고 공지했다. 구글은 그동안 성착취물 영상이나 광고는 금지해왔지만 딥페이크 음란물 제작 광고를 금지하지는 않았다. 이번 정책 변경을 통해 딥페이크 음란물 제작앱 광고 금지뿐만 아니라 관련 콘텐츠 광고 또한 금지된다.

2024.05.05 11:58안희정

에버스핀, '페이크파인더' 케이뱅크 공급…악성앱 피싱범죄 잡는다

AI 보안기업 에버스핀(대표 하영빈)이 악성앱 피싱방지 솔루션 '페이크파인더'를 케이뱅크에 공급했다고 3일 밝혔다. 케이뱅크의 도입으로 국내 인터넷은행 3사 가운데 카카오뱅크와 케이뱅크 등 두 곳이 에버스핀 고객사로 합류하게 됐다. 에버스핀 관계자는 “케이뱅크가 페이크파인더를 도입함에 따라 고객이 악성앱으로 인한 피싱범죄 피해를 입을 가능성이 낮아져 금융안전을 향상할 것”으로 내다봤다. 케이뱅크는 이번 도입을 앞두고 수개월에 걸쳐 효과성 검토를 면밀하게 거친 만큼 그 활용도가 극대화될 것으로 기대하고 있다. 악성앱 피싱 방지 솔루션인 페이크파인더는 ▲KB국민은행 ▲카카오뱅크 ▲NH농협은행 ▲삼성카드 ▲삼성화재 ▲한국투자증권 ▲신한투자증권 ▲SBI저축은행 등 국내 46개 금융사에서 이용 중이다. 일본·인도네시아에서도 14곳의 대형 금융사를 고객사로 확보했다. 페이크파인더 국내 월간 순 이용자 수(MAU) 4천300만 이상으로 금융인구 대부분을 보호하는 악성앱 탐지 솔루션으로 자리잡았다. 페이크파인더는 세상에 존재하는 모든 앱의 정보를 화이트리스트DB에 수집하고, 이를 사용자 단말에 설치된 앱과 대조해 악성앱을 탐지한다. 기존 널리 쓰이는 블랙리스트 방식이 이미 피해를 일으킨 악성앱 정보만 모아 탐지하던 것과는 접근방식 자체가 달라 기술적으로 차별화된 효과적인 악성앱 탐지가 가능하다는 게 에버스핀 측의 설명이다. 한편, 페이크파인더 빅데이터를 활용한 명의도용방지 서비스인 '아이디펜더' 역시 금융계 이목을 모으고 있다. 최근 크게 증가하고 있는 명의도용 범죄를 해결하기 위해 에버스핀과 나이스평가정보가 합작해 만든 서비스인 아이디펜더는 현재 10곳 이상의 금융사가 이용 중이며 빠른 확산세를 보이고 있다.

2024.05.03 12:19주문정

ZDNet 검색 페이지

'페이크'통합검색 결과 입니다. (111건)