검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'페이크'통합검색 결과 입니다. (111건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

고동진, 포괄적 딥페이크 방지 및 처벌법 국회 제출…"소지만 해도 처벌"

국회 산업통상자원중소벤처기업위원회 소속 국민의힘 고동진 국회의원은 '포괄적 딥페이크 방지 및 처벌법(형법 개정안)'을 2일 국회에 제출했다고 3일 밝혔다. 개정안은 딥페이크 제작물을 유포 목적이 아니더라도 당사자의 의사에 반해 제작(판매, 유포 및 이용 포함)하거나, 해당 제작물을 소지, 구입, 시청해 당사자의 명예를 훼손한 자를 처벌할 수 있게 하는 내용을 골자로 한다. 최근 인공지능(AI) 기술을 악용한 딥페이크 범죄가 무분별하게 확산되고 있는 가운데, 지난달 미국 캘리포니아 주의회가 AI를 활용해 딥페이크 아동 성착취물을 제작, 배포, 소지하는 행위를 불법으로 규정한 법안을 통과시켰고, 영국의 경우 올해 4월 영상물이나 이미지를 유포할 의사가 없었다 해도 당사자의 동의 없이 딥페이크 영상물 등을 제작하는 경우 처벌할 수 있도록 법을 개정하는 등 세계 각국이 '딥페이크 방지 및 처벌'을 위한 입법을 신속히 추진하고 있다. 하지만 국내법의 경우 '폭력범죄의 처벌 등에 관한 특례법'에서는 유포할 목적에 한정하여 처벌할 수 있도록 해 유포했다는 사실이 제대로 입증되지 않은 경우 처벌할 수가 없고, 이를 소지, 구입, 시청한 경우에는 처벌할 수 있는 근거 자체가 없는 상황이다. 또한, 딥페이크가 성범죄 외 음성 등 AI보이스 피싱 사례에 악용될 수 있지만, 이를 예방 및 방지할 수 있는 법률적 근거가 미약한 실정이다. 향후 정치인들과 선거에 딥페이크 기술을 악용할 여지까지 차단해야 한다는게 고동진 의원의 지적이다. 이에 고동진 의원은 ▲AI 기술을 이용한 딥페이크 제작물을 유포 목적이 아니더라도 당사자의 의사에 반해 제작(판매, 유포 및 이용 포함)하거나, ▲해당 제작물을 소지, 구입, 시청해 당사자의 명예를 훼손한 자에 대한 처벌 근거를 마련함과 동시에, ▲성범죄의 영상물뿐만 아니라 선거 등 타 분야, AI보이스 피싱 등 음성과 사진에 대한 딥페이크 규제 및 처벌 규정을 신설해 '포괄적인 딥페이크 방지 및 처벌'이 가능하도록 하는 형법 개정안을 대표발의했다. 해당 위법사실의 경우 5년 이하의 징역 또는 5천만원 이하의 벌금에 처한다. 고동진 의원은 “딥페이크 기술이 실제와 구분이 어려울 정도로 정교해지고 있어 이를 효과적으로 방지하고 엄격히 처벌할 수 있는 법적 근거 마련이 시급하다”며 “신속한 입법을 통해 딥페이크 범죄의 사각지대 문제를 해결하겠다”고 말했다.

2024.09.03 00:45안희정

방심위, 딥페이크 성범죄영상물 ARS 신고·상담 '패스트트랙' 도입

방송통신심의위원회는 최근 텔레그램 등을 통해 유포되고 있는 딥페이크 성범죄영상물 피해의 신속한 구제를 위해 2일 오전 9시부터 ARS 신고/상담 'FAST TRACK'을 도입・시행했다고 3일 밝혔다. 1377 ARS의 경우, 단계별・유형별 안내멘트 청취 후 상담 직원을 연결하는 과정을 합리적으로 단축해 피해자 친화형 서비스인, 이른바 'FAST TRACK(패스트트랙)'으로 전환했다. 구체적으로는, 1377 연결 후 안내멘트를 최소화하여 바로 전용 신고/상담 서비스(3번)를 선택할 수 있도록 했다. '패스트트랙' 도입을 통해, 상담 직원 연결까지 약 2분이 단축되는 등 365일, 24시간 '원스톱 올인원(One stop All-in-one) 서비스'를 신속하게 제공받을 수 있게 됐다. 스마트폰을 이용해 전자민원 창구에 접속하는 신고자를 위해서는 한 화면 내에서 필수적인 안내사항 확인은 물론, 모든 신고를 원스톱으로 할 수 있도록 모바일 연동형 홈페이지 이용 환경을 최적화했다. 방심위 측은 "향후에도 신고자의 의견을 적극 수렴하고, 그 눈높이에 맞춰 민원 서비스 전반을 지속적으로 개선해 나갈 계획"이라고 말했다.

2024.09.03 00:34안희정

딥페이크 성범죄 기승..."처벌도 규제도 깜깜"

최근 텔레그램에서 발생한 딥페이크 성범죄에 대해 실질적 처벌이 어려울 것으로 전망되고 있다. 해외 플랫폼은 국내 사법권의 영역에 해당하지 않아 적극적인 수사 협조를 기대하기 어려운 탓이다. 이에 플랫폼 사업자가 불법 콘텐츠를 감시·감독할 수 있도록 플랫폼에 책임을 부여하는 것이 가장 실효성 있는 방안이라는 주장이 나오고 있다. 반면 규제가 국내 플랫폼에 만 편중돼 해외 기업과의 역차별이 발생할 수 있다는 우려도 적지 않다. 텔레그램 딥페이크 성범죄 가해자, 처벌 어려워 최근 딥페이크 성범죄가 기승을 부리며 가해자 처벌에 대한 요구가 커지고 있다. 김현수 부산대 법학전문대학원 교수는 "범죄자를 처벌해서 향후 범죄 발생을 예방하는 것이 기본적 이야기"라며 "절도를 하면 처벌받는다는 것을 다 알듯, 딥페이크 성범죄를 저지르면 처벌이 따른다는 것을 모두 알 수 있도록 해야 한다"고 말했다. 그러나 가해자에 대한 빠른 검거와 처벌은 쉽지 않을 것이라는 의견이 다수다. 성폭력범죄처벌에대한특례법 제14조의2 등 딥페이크 성범죄를 처벌할 법규는 존재하나, 해외 플랫폼에서 벌어진 범죄에 대해 가해자를 특정하기가 쉽지 않은 탓이다. 법무법인 로하스 강현구 변호사는 "수사기관에서 범인을 추적하려면 계정 명의자들에 대한 압수수색을 통한 IP 추적 등이 필요하다"며 "그런데 텔레그램은 외국에 서버를 두고 있기 때문에 국내 수시기관의 요구에 응할 의무가 없어 범인 추적이 쉽지 않다"고 설명했다. 이어 "가해자가 자기 주변 사람을 대상으로 딥페이크 영상을 만든 경우 촬영 장소 등 단서를 통해 가해자를 특정할 수도 있겠지만, 피해자가 공인인 경우 영상에서 가해자에 대한 단서를 찾을 수 없어 검거가 더욱 어렵다"고 덧붙였다. 지난 29일 방송통신심의위원회는 파벨 두로프 텔레그램 최고경영자(CEO)를 수사 중인 프랑스 당국에 긴급 공조 요청을 보냈다. 프랑스 수사당국과의 접촉 채널을 확보해 텔레그램 문제에 적극 대응하겠다는 의지를 보인 것이다. 그러나 국가 간 수사 공조에 딥페이크 성범죄 가해자 처벌과 관련해 큰 기대를 걸기는 어려운 상황이다. 국가 간 수사 공조는 통상적으로 시간이 오래 걸릴 뿐더러, 정부의 외교적 역량에 따라 변수가 존재하기 때문이다. 이상직 법무법인 태평양 변호사는 "과거 정부에서 도박사이트를 제재할 때도 해외에 서버를 둔 사이트 단속의 경우 해외와의 공조가 신속하게 되지 않았다"며 "사법에 대해 국제적·외교적 통로를 거치는 것은 보통 시간이 많이 걸린다"고 설명했다. 이어 "나라마다 법 체계도 다르고 국가 간 이해관계가 영향을 미치는 등 공조여부는 외교적인 역량에 달린 부분도 많다"고 덧붙였다. 플랫폼 사업자 책임 강화가 가장 현실적이나...국내 플랫폼 역차별 우려 딥페이크 성범죄 재발 방지를 위해 플랫폼 사업자의 감시·감독 의무를 강화하는 것이 가장 현실적인 대안이라는 목소리도 있다. 이준호 동아대 미디어커뮤니케이션학과 교수는 "딥페이크가 부정적 결과로 이어질 경우 그것을 유통한 플랫폼도 일정 정도의 책임을 져야 한다"고 말했다. 이 교수는 "지금은 플랫폼에 대한 자율규제가 아주 느슨하기 때문에 플랫폼에게 무거운 책임을 요구하기 애매한 상태"라면서 "플랫폼이 딥페이크 성범죄를 자율적으로 규제하도록 자체 규정을 만들도록 하고 이것을 규제기관에서 모니터링하는 방안이 필요하다"고 밝혔다. 강현구 변호사는 "플랫폼 사업자에 대해 의무를 부과하는 것이 그나마 실효성 있는 방안"이라며 "불법 딥페이크 영상이 플랫폼을 통해서 유포되는 것이니, 플랫폼 운영자들에게 차단 조치를 취하도록 하는 수밖에 없다"고 했다. 다만 플랫폼에 대한 규제를 마련한다고 해도, 이를 해외 플랫폼에 적용하기에는 한계가 있다는 게 문제다. 강현구 변호사는 "국내에서 많이 사용하는 X, 인스타그램, 페이스북 등 플랫폼은 국내 사법권이 닫지 않는 영역"이라고 말했다. 김현수 교수는 "규제가 국내에만 적용된다고 하면 국내 플랫폼에 대한 역차별이 될 수 있다"고 우려했다. 실제로 국내 플랫폼 업계에서는 플랫폼에 대한 규제 강화 시 국내 플랫폼에 대한 역차별이 발생할 것을 우려하고 있다. 익명을 요구한 업계관계자는 "사실 딥페이크 등 범죄가 발생하는 곳은 주로 해외 플랫폼"이라면서 "국내 플랫폼에도 규제를 강화하는 것은 적절한 대안이 아니라고 생각하며, 근본적 해결책이 될 수 없다고 본다"고 강조했다.

2024.09.02 20:50조수민

"딥페이크 등 디지털범죄 막아야"…조국혁신당, 법안 준비

텔레그램 단체대화방 딥페이크 성범죄 사건이 전 국민의 공분을 사고 있는 가운데, 조국혁신당이 딥페이크 성범죄물을 막기 위한 입법을 준비 중이라고 밝혔다. 조국혁신당 여성위원회 소속인 이해민 의원, 신장식 의원, 김준형 의원, 김재원 의원, 김선민 의원, 강경숙 의원, 정춘생 의원은 2일 오후 국회 소통관에서 기자회견을 열고 디지털 범죄로부터 국민을 보호하기 위해 입법뿐만 아니라 정책 마련에도 힘쓰겠다고 강조했다. 딥페이크 성범죄물 제작이 이루어진 텔레그램 대화방이 초·중·고등학교, 대학교, 군대 등을 비롯한 다양한 집단에서 확인되고 있고, 불특정다수가 모인 대화방 한 곳에는 22만명이 넘는 참가자가 있었다고 알려졌다. 경찰청에 따르면 지난해 딥페이크 영상물 성범죄 피의자의 75.8%가 10대였다. 조국혁신당은 "N번방 사건과 관련 2021년 법무부는 디지털성범죄대응전문위원회를 만들었고, 서지현 전 검사 등이 적극적인 활동을 벌여 60개가 넘는 법률개정안을 권고하는 성과를 냈지만 윤석열 정부는 취임 직후 전문위원회를 강제 해산시켰다"며 "경찰의 '텔레그램이라 잡기 어렵다', '탈퇴계정이라 잡기 어렵다', '우회IP라 잡기 어렵다'는 변명은, 윤석열 정부가 모두의 노력을 물거품으로 만들어버렸다는 방증"이라고 비판했다. 그러면서 "디지털성범죄대응전문위원회가 활동을 이어갔더라면, 디지털성범죄가 이렇게 들불처럼 청소년에게까지 번지지는 않았을 것"이라며 "성평등 가치를 확산시켜 성범죄를 예방하고 관련 피해자 보호에 앞장서야 할 여성가족부는 존폐 기로에 서 있고 대통령 후보 시절, 여성가족부 폐지를 공약했던 윤석열 대통령은 여가부를 해체하겠다는 사람들을 장관에 임명했다"고 꼬집었다. 조국혁신당은 방송통신심의위원회가 디지털 성범죄를 끝내겠다고 강조했던 '불법 영상물에 대한 공공 DNA DB 구축 및 필터링 사업'에 대해서도 지적했다. 이들은 "방심위는 현재까지 아무런 결과도 내놓지 못했다"라며 "방심위는 이제라도 책임을 지고 사업자들과 디지털성범죄 생성과 유통 예방을 위한 규제방안을 마련해야 한다"고 말했다. 아울러 과학기술정보통신부에도 디지털 권리장전 선언만이 아니라, 구체적인 실행계획을 내놓아야 하며, 딥페이크 성범죄 영상에 대한 신속한 차단 조치와 영상물을 통제하고 식별하는 기술적 보완은 물론, 피해자 보호를 위한 기술적 제도 보완을 함께 만들어야 한다고 조언했다. 또한 철저한 수사를 통한 범죄자 처벌, 현실적인 피해자 지원 및 보호 정책을 마련해야 한다고도 덧붙였다. 조국혁신당은 "딥페이크 문제를 비롯한 모든 디지털 범죄로부터 국민을 보호하기 위한 입법을 준비하고 있다"며 "나아가 사회적 약자가 차별받거나 소외되지 않도록 평등의 가치를 확산하기 위한 정책을 마련하는 데에 총력을 기울일 것"이라고 말했다.

2024.09.02 16:22안희정

시청자미디어재단, 딥페이크 예방 미디어교육 확대

시청자미디어재단은 전국 초중고 100개교에서 운영하고 있는 미디어교육 프로그램에 딥페이크 범죄 예방 교육을 의무적으로 시행한다고 밝혔다. 이 교육은 딥페이크 기술의 이해, 딥페이크 범죄 유형 대과응 방법, 인공지능의 윤리적 활용 등을 다루며 총 2시간 이내로 구성될 예정이다. 최근 미국의 사이버보안 회사인 시큐리티히어로가 발표한 '2023 딥페이크 보고서'에 따르면 한국은 딥페이크 범죄에 가장 취약한 국가로 지목됐다. 보고서는 지난해 상위 10개의 포르노 웹사이트와 85개의 유튜브 채널에 게시된 딥페이크 콘텐츠를 분석한 결과, 해당 콘텐츠에 등장하는 인물 중 53%가 한국 국적의 인물인 것으로 나타났다. 특히 SNS를 활발히 이용하는 10대 청소년들이 주요 피해자로 떠오르면서 이에 대한 대응책 마련이 시급한 상황이다. 미디어교육은 청소년들이 딥페이크의 위험성을 인식하고 이를 예방하는 데 핵심적인 역할을 할 수 있다. 재단은 딥페이크 범죄를 비롯한 미디어 역기능에 대한 예방 및 대응 교육의 필요성을 깊이 인식하고, 이를 반영한 대책을 마련했다. 최철호 이사장은 "딥페이크 범죄는 기술적 발전과 함께 점차 고도화되고 있어, 이에 대한 사회적 대응이 시급하다"며 "국민 스스로가 미디어 역량을 강화하고, 인공지능 기술의 윤리적 활용을 숙지하는 것이 중요하다"고 말했다. 재단은 딥페이크 범죄의 실태와 문제점을 담은 온라인 교육 콘텐츠를 제작하고, 시청자권익보호플랫폼 미디인을 통해 딥페이크 피해 관련 상담 사례를 제공하는 등 전방위적인 교육 활동을 지원할 계획이다.

2024.09.02 14:29박수형

경찰, 텔레그램 법인 내사 착수

경찰이 텔레그램 법인에 대한 내사에 착수했다. 딥페이크를 활용한 성범죄물 방조 혐의를 적용했다. 2일 우종수 경찰청 국사수사본부장은 정례 기자간담회에서 "텔레그램 법인에 대해서 성폭력처벌법 위반(허위영상물 편집·반포) 방조 혐의로 입건 전 조사(내사)를 진행 중"이라고 밝혔다. 텔레그램 법인을 직접 수사한 전례는 지금까지 없었다. 경찰은 또한 지난 한 주 동안 딥페이크 피해 88건이 접수됐고, 이 중 특정된 피의자는 24명이라고 설명했다. 그러면서 "올해 1~7월 접수된 피해신고는 297건으로 주당 평균 10건이 안 됐는데, 지난주에만 88건이 접수됐으니 거의 10배 수준으로 증가한 것"이라고 덧붙였다. 올해 7월까지 특정된 피해자는 총 51명이다. 우 본부장은 "텔레그램이 계정정보 등 수사 자료를 우리뿐만 아니라 미국 등 다른 국가 수사기관에도 잘 주지 않는다"며 "텔레그램을 이용한 범죄를 지금까지 전혀 검거하지 못한 것은 아니다. 저희 나름의 수사기법이 있어 최선을 다해 수사하는 중"이라고 말했다. 이어 "프랑스 수사당국이나 각종 국제기구 등과 공조해 이번 기회에 텔레그램 수사를 할 수 있는 방법을 찾아보겠다"고 강조했다.

2024.09.02 14:13안희정

美서도 딥페이크 범죄에 '시끌'…캘리포니아, AI 악용 막기 위한 새 법안 제정 임박

미국 캘리포니아 주가 인공지능(AI) 범죄에 칼을 빼 들었다. 미성년자 딥페이크 성범죄·선거 허위 정보 확산 등에 AI가 쓰이는 문제를 최대한 막기 위해서다. 2일 AP통신 등 외신에 따르면 미 캘리포니아 주 하원 의회는 AI 안전 대책 법안 투표를 완료해 오는 9월 말 주지사의 승인을 기다리고 있다. 하원의원들은 그간 딥페이크 법안 제정에 공을 기울였다. 이 법안에는 미성년자 딥페이크 성범죄에 대해 AI로 아동 성적 학대 이미지와 비디오 제작하는 행위 자체를 금지한다는 내용이 포함됐다. 현행 캘리포니아주 법은 AI가 만든 이미지·비디오가 사람을 묘사했단 걸 검사가 증명하지 못할 시 관련 미성년자 음란물 소유·배포자 추적이 어렵다. 선거와 관련된 딥페이크도 법 제정의 대상이다. 캘리포니아 주 의회는 이번 법 승인으로 메타 등 대규모 소셜 미디어 플랫폼에 선거일 기준 120일 전부터 60일 후까지 선거 관련 딥페이크 자료를 삭제하도록 요구할 수 있다. 또 각 후보 캠프는 AI로 생성·변경한 내용이 있는 광고를 게재할 시 공개적으로 표기해야 한다. 이 외에도 ▲콜센터 근로자 대체 ▲사망자 디지털 복제 ▲성우 및 오디오북 담당자 저작권 무단 도용 등 이슈에 AI가 사용되는 것이 금지된다. 캘리포니아 주에선 법안에 대해 치열한 논쟁이 벌어지고 있다. 앤트로픽과 일론 머스크는 법안 제정에 찬성하며 법 제정의 이익이 비용보다 클 것으로 전망했다. 반면 오픈AI, 구글 등 빅테크도 법안이 AI를 악용하는 사람들보단 개발자를 향해 있다며 비판했다. 외신들은 법안은 모델 훈련에 1억 달러 이상의 데이터가 필요한 시스템을 대상으로 하고 있지만 현재 AI 모델 중 이 기준에 도달한 시스템은 전무하다고 보도했다. 전문가 및 의원들은 각기 다른 의견을 선보였다. 미국 진보를 위한 회의 토드 오 보일 수석 기술 정책 책임자는 AI의 이론적 시나리오 때문에 캘리포니아의 주요 경제 부분을 억제하면 안 된다고 주장했다. 또 낸시 펠로시 전 캘리포니아 주 하원 의장은 "이번 법 제정이 선의인 것은 알지만 관련한 정보가 부족해 보인다"고 우려했다. 반면 미국 공화당 데본 매시스 의원은 "해당 법안을 지지한다"며 "빅테크는 이제 어떤 종류의 규칙을 따라야 할 필요가 있다"고 말했다.

2024.09.02 10:13양정민

방심위, 딥페이크 성범죄영상물 유포 '텔레그램' 대응 글로벌 협의체 구축 나서

방송통신심의위원회는, 최근 급속 유포되고 있는 텔레그램 딥페이크 성범죄영상물 대응과 관련해 글로벌 협의체 구축에 나섰다. 방심위는 29일 글로벌 온라인 안전 규제기관 네트워크(GOSRN, Global Online Safety Regulators Network) 회원 기관 간 회의에서, ▲텔레그램 딥페이크 성범죄영상물로 인해 최근 한국에서 벌어지고 있는 심각한 사회적 피해에 대해 설명하면서, ▲글로벌 공동대응 협의 채널 구축을 통한 국제공조를 공식 제안했다고 30일 밝혔다. 이에 대해, ▲호주 등 주요국들도 텔레그램에 대한 개별 국가 단위의 대응에 한계가 있음을 지적하고, 한국과 유사한 상황에 자신들도 직면해 있다고 확인하면서, ▲방통심의위가 제안한 글로벌 공동대응 필요성에 적극 동의했다. 특히, 호주 온라인안전국은 네트워크 회원기관 간 공동성명서 채택 등을 통해, 텔레그램에게 아동·청소년 보호를 위한 사회적 책무를 다할 것을 강력히 권고하자는 의견도 추가 제안했다. 또한, 회원 기관들은 9월 24일 고위급회의에서 이 문제를 공식 의제로 채택해 집중논의하기로 의견을 모았다. 방심위는 GOSRN뿐만 아니라, 그동안 구축해온 모든 국제 네트워크들에도, 협의체 구축을 제안하며, 실무협의 등을 통해 구체화해 나갈 계획이다. 이와 함께, 다른 해외 유관기관 및 국제기구들에 대해서도 함께 연대해서 협의체 구축에 나서줄 것을 제안하는 위원장 명의의 서한을 일제히 보내, 공조를 요청했다. 디지털 플랫폼 거버넌스 관련 국제 네트워크 간 협업을 추진 중인 유네스코에 대해서는, 이러한 글로벌 대응 협의체 구축에 중심이 돼 줄 것을 요청했다. 현재 방심위가 텔레그램 관련 협의체 구축을 위해 접촉하고 있는 기관은, INHOPE 등 국제기구와, 호주 온라인안전국, 프랑스 Point de Contact, 대만 국가방송통신위원회 등으로 약 30여개에 이른다. INHOPE는 아동성착취물을 신속하게 식별하고 삭제해 아동·청소년을 보호하기 위해 1999년 설립된 국제핫라인기구로, 2024년 현재 50개국 54개 기관이 회원으로 참여하고 있다.

2024.08.30 22:24안희정

[유미's 픽] "여친이 음란물에?"…딥페이크 범죄 온상된 韓, '이 기업'에 돈 몰린다

최근 딥페이크 성범죄가 확산되면서 이를 탐지·대응하는 기술이 주목 받고 있는 가운데 정보보안 업체들이 집중 조명받고 있다. 아직까지 국내에서 딥페이크 범죄를 완벽하게 막을 수 있는 기술은 없지만, 사회적으로 크게 문제가 되자 관련 기업들의 움직임에 대한 시장의 기대감이 높아지는 분위기다. 30일 업계에 따르면 라온시큐어는 오는 10월께 개인이 쉽게 딥페이크 여부를 체크할 수 있는 탑지 서비스를 자사 개인용 모바일 백신 애플리케이션에 탑재할 계획이다. 이 기술은 합성된 얼굴과 정상 얼굴을 각각 학습해 이를 비교 분류할 수 있도록 인공지능(AI)을 학습시키는 방식이다. 라온시큐어는 지난 5월 설립한 AI 연구센터를 통해 이 기술을 개발했다. 딥페이크 감지 안면인식 기술, AI가 생성한 콘텐츠 탐지 기술 등을 향후 기업이나 기관이 이용 할 수 있도록 API 형태로도 제공할 예정이다. 라온시큐어 관계자는 "AI가 작성한 콘텐츠를 탐지하는 부분도 연구하고 있다"며 "이를 통해 사람이 직접 생성한 데이터인지 여부를 탐지하는 서비스로 확장할 계획"이라고 밝혔다. 샌즈랩도 딥페이크 대응 기술을 가진 기업으로 분류되고 있다. 이곳은 지난해 4월부터 정부의 생성형 AI 역기능 억제 기술 개발 공동 사업에 참여하고 있다. 샌즈랩 외에도 LG유플러스, 포티투마루, 로그프레소, 카이스트 등이 함께 사업에 뛰어 들었다. 이 프로젝트는 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 사이버보안 특화 온프레미스용 소형언어모델(sLLM)을 개발하는 것을 목적으로 한다. 샌즈랩은 딥페이크 영상과 이미지를 보다 정확하고 정밀하게 찾아내기 위한 기술 개발에 집중하고 있다. 이를 위해 심층 학습 기반의 알고리즘과 멀티모달 데이터 분석 기법을 개발 중이다. 플랜티넷은 국내 최초로 텔레그램 등 소셜미디어서비스(SNS)를 비롯한 인터넷망을 통한 유해 콘텐츠 차단 서비스를 제공해왔다는 점에서 시장이 주목하고 있다. 이곳은 지난 2021년도부터 정부기관(ETRI)과 함께 디지털 범죄 방지를 위한 연구에 지속 참여해왔다. 해당 연구과제들은 '딥페이크 성범죄'에 이용된 영상물의 유해성 판별 및 SNS 유포 방지를 위해 필요한 것으로 평가된다. 또 플랜티넷은 올해 초 AI 전문 연구개발 인력으로 구성된 AI테크랩을 신설해 AI 기술을 활용한 불법영상물 차단 및 판별 정확도 향상에도 집중하고 있다. 여기에 스미싱·보이스피싱 같은 전자금융사기 탐지 및 차단을 위한 기술 개발도 진행 중이란 점에서 향후 실적에 대한 기대감이 크다. 플랜티넷 관계자는 "과제가 종료되는 내년부터는 딥페이크 음란물 필터링, 보이스피싱 및 스미싱 차단 등 준비된 기능들을 기존 서비스에 고도화해 반영하고 상용화에 집중할 계획"이라며 "2026년부터는 이러한 협력과 사업이 회사의 주요 성장동력으로 자리 잡아 가시적인 성과를 나타낼 것으로 기대하고 있다"고 말했다. 이 같은 기술 덕분에 각 기업들의 주가는 '딥페이크 테마주'로 묶이며 최근 상한가를 기록하고 있다. 라온시큐어의 주가는 지난 26일 종가 기준 1천877원이었으나, 이날 종가는 2천390원으로 27.3%나 올랐다. 플랜티넷도 지난 27일부터 주가가 상승세를 보였는데 당시 주가는 전 거래일 대비 18.29% 오른 2천425원에 마감된 데 이어 ▲28일 2천425원 ▲29일 3천225원 ▲30일 3천255원을 기록했다. 이틀 전에 7천950원을 기록했던 샌즈랩 주가도 이날 9천660원에 마감됐다. 이는 정부가 딥페이크 대책 마련에 나선 것이 주효했다. 최근 한 대학 단체 대화방에서 여학생 얼굴을 음란물에 합성한 딥페이크 영상물이 유포되는 사건이 알려지며 사회적 파장이 커졌기 때문이다. 이후 중고등학교와 군대에서도 유사한 범죄가 확인돼 더 충격을 줬다. 이에 방송통신심의위원회는 긴급 전체 회의를 열고 음란물의 유통 경로인 텔레그램 등 글로벌 온라인 플랫폼 사업자들과 협의체를 구성하기로 했다. 또 여야는 물론 윤석열 대통령까지 나서 딥페이크 대책 마련을 주문하면서 이들 테마주의 주가 상승폭이 커졌다. 딥페이크 성범죄 영상물을 조기에 색출해 차단하는 과정에서 관련 기업들의 기술이 적용될 것이란 기대감이 반영된 탓이다. 다만 일각에선 딥페이크 방지 기술과 관련이 없는 정보보안 기업들의 주가도 함께 상승해 투자자들이 주의할 필요가 있다고 지적했다. A사의 경우 딥페이크 테마주로 묶이며 주가가 하루 새 15% 넘게 뛰자 내부적으로 당황스러워 하기도 했다. A사는 데이터 보안 분야에서 주목 받고 있는 곳으로, 딥페이크와는 크게 관련이 없는 것으로 알려졌다. 업계 관계자는 "보안 기술과 관련해 연관성이 있어도 실제 사업 성과로 이어지기 어려운 경우가 많고, 아직 딥페이크 방지 관련 법안도 제대로 갖춰지지 않은 상황"이라며 "딥페이크 기술을 원천적으로 막는 보안 프로그램을 강제로 판매하지 않는 이상 실제 매출로 이어지기도 쉽지 않다"고 말했다. 그러면서 "워터마크 표식 등을 남겨 딥페이크를 구별하는 방법들이 대안으로 얘기되고 있지만 사실상 이를 활용할 범죄를 완전히 막을 수 있는 방법은 없다"며 "딥페이크가 무조건 나쁜 기술이라고는 볼 수 없지만, 이를 악용할 시 강력하게 처벌하는 방안에 대해선 깊게 고민해 봐야 할 것"이라고 덧붙였다.

2024.08.30 18:17장유미

딥페이크 방심위 대책에 "새로울 게 없다" 지적

딥페이크 기술을 활용한 성범죄영상물 제작과 공유로 많은 피해자가 발생하자 방송통신심의위원회가 대책 마련에 나섰다. 그러자 "이미 시행하고 있는 방안을 강조한 것뿐"이라는 전문가 지적이 나왔다. 시행 중인 대책들에 대한 실효성 여부를 점검·분석해 보완하고, 디지털성범죄 피해자들을 보호하고 예방할 수 있는 방법을 강구해나가는 게 먼저라는 조언이다. 30일 관련업계에 따르면 방심위는 지난 28일 긴급 전체회의를 열고 '딥페이크 성범죄영상물 종합대책'을 발표했다. 방심위가 제시한 대응방안의 주요내용을 살펴보면 ▲텔레그램 딥페이크 피해 신고 본격 접수 ▲텔레그램 등 주요 유통경로 '집중화 모니터링' 실시 ▲딥페이크 성범죄영상물 대상 '강화된 3단계 조치' 시행 ▲텔레그램과 핫라인 확보 위한 단계적 조치 추진 ▲시정요청 협력 대상 관리 강화 ▲디지털성범죄 취약 계층 대응 정보 제공 및 현장 교육 추진 ▲국내 유관기관 및 민간기업 등과 공조 강화 ▲해외 유관기관 협력회의 등을 통한 국제적 여론 형성 ▲국내 전문가 그룹과 지속적 협업 및 대응전략 모색 ▲딥페이크 성범죄영상물 전담 인력 증원 추진 등이다. 다만 여기에 포함된 주요 내용이 이미 시행하고 있는 방안이고, 일부는 구색 갖추기에 불과하다는 비판이 제기됐다. 안정상 중앙대 커뮤니케이션대학원 겸임교수는 "이미 방심위는 2020년에 'n번방', '박사방' 사건 이후 텔레그램 및 디스코드 등에 대한 중점 모니터링을 실시하고 있다"며 "새로운 내용이 아니"라고 꼬집었다. 안 교수에 따르면, 방심위는 사업자 자율규제(삭제)를 유도해 성착취 영상의 유통 확산에 대처하고, 아동‧청소년 성착취 영상 판매정보에 대해서는 경찰청에 수사의뢰하는 동시에, 국제인터넷핫라인협회(INHOPE)를 통해 해당 영상의 삭제를 요청하는 등 강력 대응을 해왔다. 특히 정연주 위원장 체제였던 제5기 방심위에서는 2021년 8월 9일 출범 이후, 디지털성범죄심의소위원회가 24시간 상시 심의체계를 가동한 바 있다. 이미 제4기 방심위 시절인 2019년부터 INHOPE, NCMEC(실종학대아동방지센터) 등 해외 유관기관 및 구글 등 해외 사업자와 협력도 강화했다. 2021년 1월 '국제공조점검단' 출범 이후에는 해외 사업자 대상으로 불법·유해정보에 대한 자율규제를 적극 요청하기도 했다. 이를 통해 사업자 스스로 원(源) 정보 삭제 등의 조치를 할 수 있도록 하는 등 해외 불법‧유해정보의 유통 및 피해자의 피해 확산을 최대한 방지하기 위한 노력을 기울여 왔다. 아울러 2021년부터 디지털성범죄 정보에 대해 ▲사업자 협력 등 자율규제 유도 ▲해외 사업자 및 유관기관 협력 ▲중점 모니터링과 상시심의 등을 강화하고 ▲표준화된 '공공 DNA DB'를 제공함으로써 한 번 등록된 영상이 복제·재유통되는 것을 방지하는 시스템을 강화하며 ▲인력에 의존하는 방식의 기존 모니터링의 한계를 보완하는 24시간 상시 자동화 모니터링까지 도입했다. 안정상 교수는 "긴급 전체회의까지 자청하면서 '종합대책'이라고 거창하게 발표했지만 기존의 정책을 재탕한 속빈 강정에 불과했다"며 "핵심 대책은 대부분이 현재 시행중인데도 마치 새로운 대책인 양 발표하는 것은 국민을 호도하는 행위"라고 말했다. 그러면서 "지금은 기존의 대책보다 진일보한 국민공감형 대책을 강구하기 위해 범정부적 차원에서 실효성 있는 대책을 수립하고 부처 간 협력체계를 구축해 신속·정확하게 디지털성범죄 피해자들을 보호하고 나아가 예방할 수 있도록 하는 것이 중요하다"고 강조했다. 이어 "성급하게 국민 앞에 그럴싸하게 포장한 대책을 내고 국민의 비판을 받기보다는 기존의 시행 중인 대책들에 대한 실효성 여부를 점검, 분석해 정책적·법적 미비 사항을 제대로 보완해 철저한 대책이라고 평가받는 방안을 마련하는 것이 필요하다"고 역설했다.

2024.08.30 10:38안희정

"피해자 절반 한국인"…女 차별 여전한 韓, '딥페이크' 성범죄로 해외서 망신

최근 여성의 얼굴에 음란물을 합성·유포하는 '딥페이크(인공지능 기반 이미지 합성)' 음란 영상물이 확산되며 피해가 속출하고 있는 가운데, 전 세계 피해자의 절반 이상이 한국인, 99%가 여성이라는 충격적인 조사 결과가 나왔다. 30일 미국 사이버보안 업체 시큐리티 히어로에 따르면 지난해 7~8월 딥페이크 음란물 사이트 10곳과 유튜브·비메오·데일리모션 등 동영상 공유 플랫폼의 딥페이크 채널 85개에 게재된 영상물 9만5천820건을 분석한 결과, 한국이 딥페이크 음란물에 가장 취약한 국가로 조사됐다. 딥페이크 음란물에 등장하는 개인 중 53%가 한국인으로 가장 많았고, 두 번째로 많은 미국인(20%)과 두 배 이상 차이가 났다. 일본인(10%), 영국인(6%), 중국인(3%), 인도인(2%), 대만인(2%), 이스라엘인(1%)도 피해를 입은 것으로 나타났다. 시큐리티 히어로는 "한국은 딥페이크 음란물에서 가장 많이 표적이 되는 국가"라며 "딥페이크는 엔터테인먼트·정치·허위조작정보 등 다양한 목적으로 이용되지만 어떤 국가에서는 특정한 형태의 딥페이크 콘텐츠, 특히 노골적인 콘텐츠에 더 취약하다"고 지적했다. 한국인 딥페이크 피해자 대부분은 가수, 배우 등 연예인이었다. 딥페이크 음란물의 최다 표적이 된 개인 10인 중 8명은 한국인 가수였다. 1∼7위와 9위가 한국 가수였고 8위는 태국 가수, 10위는 영국인 배우였다. 보고서는 사안의 민감성을 고려해 피해자의 이름은 밝히지 않았다. 가장 큰 피해를 본 한국인 가수는 딥페이크 성착취물 1천595건에 등장했으며 총 조회수는 561만 회에 달했다. 또 다른 한국 가수는 성착취물 1천238건의 표적이 됐고 조회수는 386만5천 회였다. 이번에 분석한 딥페이크 영상물의 98%는 음란물이었다. 2022년 3천725건이던 딥페이크 음란물은 2023년 2만1천19건으로 464% 급증했다. 딥페이크 음란물 피해자 99%는 여성이었고, 94%는 연예계 종사자였다. 일반 딥페이크 영상물에서 여성의 비율은 77%였다. 시큐리티 히어로는 "딥페이크 음란물은 일정 그룹의 개인이 조작적이고 종종 악의적인 목적에 따른 표적이 된다는 것이 특징"이라며 "유명 인사인 경우가 많다"고 말했다. 미국 월스트리트저널(WSJ)은 시큐리티 히어로의 조사 결과와 함께 한국 정부의 딥페이크 음란물 단속 강화 움직임을 전하면서 "가짜 음란물을 생성·유포하는 텔레그램 기반 네트워크 적발은 한국이 전 세계적 문제의 진앙임을 시사한다"고 강조했다. 영국 BBC 방송은 딥페이크 문제와 함께 지난 2019년 발생한 텔레그램 N번방 사건을 언급하며 한국이 디지털 성범죄에 심각한 문제를 가지고 있음을 지적했다. 또 BBC는 한국 내 온라인 딥페이크 성범죄가 급증하고 있다는 점을 꼬집으며 올 상반기 동안 한국 경찰에 접수된 딥페이크 성범죄가 297건에 달한다고 전했다. 이는 지난해 전체(180건), 2021년(160건)보다 크게 증가한 수치다. BBC 방송은 "최근 한국에서 미성년자를 포함해 성적으로 노골적인 딥페이크 이미지를 제작하고 공유하는 채팅 그룹이 다수 발견됐다"며 "윤석열 대통령은 '디지털 성범죄를 철저히 조사하고 해결해 근절하라'고 지시했다"고 국내 분위기를 전했다. 이어 "지난 3년 동안 한국 딥페이크 범죄의 3분의 2 이상을 10대 청소년이 저질렀다"며 "한국은 디지털 성범죄에 대한 어두운 역사를 가지고 있다"고 덧붙였다. BBC 방송은 한국에서 몰카나 딥페이크 성범죄가 급증하는 배경으로 '성별 격차'를 들었다. 한국 기업이 여전히 여성에게 우호적이지 않다는 점을 수치로도 제시했다. BBC 방송은 "한국 상장 기업의 임원직 중 여성은 5.8%에 불과하며 한국 여성은 남성보다 평균 3분의 1 정도의 임금을 받고 있다"며 "세계 부국 중 성별 임금 격차가 가장 심하다"고 지적했다. 이어 "급성장하는 기술 산업에 만연한 성희롱 문화가 더해져 디지털 성범죄가 폭발적으로 증가하고 있다"고 덧붙였다. 영국 일간 가디언은 "한국은 비밀리에 촬영된 성적 영상물인 '몰래카메라'를 근절하려 오랜 기간 분투해 왔다"며 "최근에는 딥페이크 이미지의 물결과도 전투를 벌이고 있다"고 말했다. 외신들의 이 같은 우려 속에 정부 부처들은 딥페이크를 막기 위한 방안 마련에 속속 도입했다. 먼저 서울경찰청 사이버수사대는 태스크포스(TF)를 조직, 딥페이크 성착취 허위영상물 집중 대응에 나섰다고 밝혔다. TF는 총괄팀장인 서울경찰청 사이버수사과장을 필두로 3개 전담수사팀, 사이버프로파일링팀·디지털포렌식팀·지원부서팀까지 총 6개 팀으로 구성됐으며 내년 3월 31일까지 7개월간 운영된다. 방송통신심의위원회는 텔레그램은 물론 페이스북·엑스(X)·인스타그램·유튜브 등 글로벌 온라인 플랫폼 사업자들과 딥페이크 방지를 위한 협의체를 구성했다. 또 네이버와 카카오 등 국내 플랫폼에 대해서는 방심위 전용 신고 배너 팝업 설치를, 공영방송사들에는 관련 캠페인 영상 제작 및 송출 등 협조를 구할 예정이다. 교육부도 청소년을 중심으로 딥페이크 문제가 심각하다고 보고 TF를 운영하며 강력 대응에 나설 것을 시사했다. 딥페이크를 제작, 유포할 경우 퇴학 등을 고려한다는 방침이다. 과학기술정보통신부와 여성가족부 역시 딥페이크 대응에 협력하기로 했다. 업계 관계자는 "AI 생성물 '워터마크(표식)' 의무화나 핀셋규제 필요성이 필요하다"며 "AI 기술과 함께 등장한 비교적 새로운 유형의 성범죄인 탓에 처벌 사례가 아직 많지 않고, 처벌도 여전히 솜방망이 수준"이라고 지적했다.

2024.08.30 09:34장유미

방심위, 텔레그램 CEO 수사 프랑스에 딥페이크 '긴급 공조' 요청

방송통신심의위원회는 텔레그램 CEO를 수사중인 프랑스 당국에 딥페이크 성범죄영상물 대응과 관련해 긴급 공조 요청을 보냈다고 29일 밝혔다. 방심위 측은 텔레그램 CEO인 파벨 두로프를 지난 24일 체포하고 구금했다가, 현재 수사 중인 프랑스 수사당국측과 접촉이 디지털성범죄 관련 글로벌 네트워크와의 협력을 통해 가능해졌다고 설명했다. 먼저 방심위는 위원장 명의의 서한을 통해 ▲텔레그램과의 직접 소통이 가능하도록 지원해줄 것과, ▲향후 텔레그램 문제에 관련된 상시적인 협력관계 구축을 긴급 요청했다. 이 서한에서 방심위는 ▲텔레그램 딥페이크 성범죄영상물로 인해 최근 한국에서 벌어지고 있는 심각한 사회적 피해를 설명하고, ▲구체적인 범죄유형을 적시하면서, 22만명이 연루된 이 범죄의 주된 피해자가 미성년자임을 강조하며, 긴급 공조의 필요성을 피력했다. 방심위는 "프랑스 수사당국과의 접촉 채널이 확보된 만큼, 앞으로 지속적으로 다양한 방법을 통해, 협력이 가능할 것으로 기대한다"고 말했다. 이번 서한은 '딥페이크 성범죄영상물 10대 종합대책'에 따른 후속조치로 텔레그램과의 핫라인 확보를 위한 단계적 조치의 일환이다.

2024.08.29 22:18안희정

[ZD SW 투데이] 카테노이드, 에쓰핀테크놀로지와 MS 서비스 제공 파트너십 체결 外

지디넷코리아가 소프트웨어(SW) 업계의 다양한 소식을 한 눈에 볼 수 있는 'ZD SW 투데이'를 새롭게 마련했습니다. SW뿐 아니라 클라우드, 보안, 인공지능(AI) 등 여러 분야에서 활발히 활동하고 있는 기업들의 소식을 담은 만큼 좀 더 쉽고 편하게 이슈를 확인해 보시기 바랍니다. [편집자주] ◆카테노이드, 에쓰핀테크놀로지와 MS 서비스 제공 파트너십 체결 카테노이드가 에쓰핀테크놀로지와 마이크로소프트 서비스 제공을 위한 파트너십을 체결했다. 카테노이드는 이번 파트너십을 통해 클라우드 및 AI 서비스를 제공할 예정이다. 또 고객 니즈에 맞는 IT 솔루션과 컨설팅 서비스를 제공해 비즈니스 성장을 위한 클라우드 및 AI 도입·활용을 적극 지원할 예정이다. ◆안랩, 'TIP 3.0' GS인증 1등급 획득 안랩의 차세대 위협 인텔리전스 플랫폼 '안랩 티아이피 3.0(AhnLab TIP 3.0)'가 한국정보통신기술협회(TTA)로부터 소프트웨어 품질인증(GS) 1등급을 획득했다고 밝혔다. GS인증은 국제표준을 기반으로 소프트웨어의 기능 적합성, 성능 효율성, 사용성, 신뢰성, 보안성 등 항목에 대해 기능을 평가하고 인증을 부여하는 제도다. ◆딥브레인AI, '딥페이크 탐지 솔루션' 1개월 무료 지원 딥브레인AI가 딥페이크의 진위여부를 판별하는 '딥페이크 탐지 솔루션'을 1개월간 무료로 지원한다. 이 제품은 영상, 이미지, 음성 탐지를 지원하며 딥페이크 진위여부, 변조율, 합성유형 등을 판별해 결과를 제공한다. ◆티맥스에듀AI, 에듀윌과 AI 기반 학습 솔루션 개발 티맥스에듀AI가 경기도 성남시 티맥스그룹 사옥에서 에듀윌과 업무협약을 체결했다. 이번 업무협약은 AI를 기반으로 질 높은 교육 콘텐츠을 개발하고 고객에게 맞춤형 학습을 제공하기 위해 진행됐다. 양사는 AI 기반 학습 솔루션을 개발하고 성인 교육 시장에서 경쟁력을 강화할 계획이다. ◆모넷코리아, 강남구와 '강남, 디지털을 품다' 실증사업 파트너십 체결 모넷코리아가 강남구와 '강남, 디지털을 품다' 실증사업 추진을 위한 업무협약을 체결했다. '강남 디지털을 품다'는 강남구 행정의 혁신적인 변화를 위한 도시문제 해결 사업이다. 모넷코리아는 이 사업에서 사물인터넷(IoT) 무선 센서 기반 공공시설 구조물 안전관리의 실증사업을 진행할 예정이다.

2024.08.29 17:44조이환

텔레그램에 퍼진 딥페이크, 다크웹이 더 문제다

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [김미정의 SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [김미정의 SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주] 생성형 인공지능(AI)을 악용한 딥페이크 이미지·영상이 텔레그램에 퍼진 가운데, 다크웹을 통한 딥페이크 음란물 확산 심각성도 인지해야 한다는 목소리가 나왔다. 전문가들은 텔레그램·다크웹 내 딥페이크 차단을 위해 기술 개발뿐 아니라 정부·기업 공조 수사가 필요하다고 입을 모았다. 29일 보안 업계는 텔레그램뿐 아니라 폐쇄적인 다크웹 환경에서도 딥페이크 영상과 사진을 잡기 어려울 것이라고 우려를 제기했다. 다크웹은 구글이나 네이버 등 일반적인 검색 엔진으로 접근할 수 없는 웹사이트들이 모여 있는 영역이다. 다크웹은 특별한 소프트웨어(SW)나 네트워크 권한이 있어야만 접근 가능하다. 누구나 쉽게 이용할 수 있는 텔레그램과 다른 개념이다. 딥페이크 음란물 포착이 다크웹서 더 어려운 이유다. 실제 노드VPN이 올 초 다크웹 게시판을 분석한 결과 소셜미디어(SNS), 텔레그램 등을 통해 유출된 노출 사진이나 영상에 댓글이 평균 1천850개 달리는 것으로 드러났다. 이에 텔레그램뿐 아니라 다크웹도 딥페이크 영상물 확산 통로로 지목되고 있다. 보안 업계는 다크웹 내 딥페이크 콘텐츠 포착이 어려운 이유로 강력한 데이터 휘발성을 꼽았다. 검색 환경이 잘 갖춰진 구글과 달리 다크웹 내 검색은 특정인 사진과 영상을 검색해도 찾기 어렵다는 의미다. 다크웹 시스템은 특수 브라우저 생성과 삭제를 통해 정보를 은닉할 수 있는 환경을 갖춘 셈이다. 이에 보안 기업들은 다크웹 내 콘텐츠 검색을 가능케하는 솔루션을 내놨다. 주로 다크웹 콘텐츠를 복원해 검색 결과에 드러나게 하는 기술을 갖췄다. 다만 이런 기능도 딥페이크 콘텐츠 포착을 100% 할 수는 없다. 한 보안업계 관계자는 "공격자들이 딥페이크 음란 콘텐츠가 쉽게 포착되지 않기 위해 틀린 정보를 의도적으로 흘리는 경우가 있다"며 "기술 개발이 아무리 뛰어나도 다크웹 내 딥페이크 음란 콘텐츠를 100% 걸러내기 힘든 이유"라고 본지에 강조했다. 딥페이크 차단 나선 정부…"기술 개발보다 공조 우선" 정부가 텔레그램·다크웹 내 딥페이크 음란물 차단을 위해 나섰다. 29일 과학기술정보통신부는 생성형 AI를 활용해 지인 대상 합성물을 제작 및 유포하는 딥페이크 예방을 위해 20억원 규모 예산을 편성했다고 발표했다. 과기정통부는 내년 예산안 브리핑에서 딥페이크 범죄 예방을 위해 연구개발(R&D) 과제에 착수한다고 밝혔다. 이주식 정보통신방송기술정책과장은 적대적 생성신경망(GAN) 기반 딥페이크 탐지 고도화 및 생성 억제 기술 개발에 10억원을 투자한다고 발표했다. 나머지 10억원은 자가진화형 딥페이크 탐지 기술 개발에 들어갈 방침이다. 이에 보안 업계는 정부가 딥페이크 차단 기술에만 집중해선 안 된다고 주장했다. 이보다 국내외 기업·기관과 수사 공조하는 것에 더 집중해야 한다고 입을 모았다. 현재 기술만으로 딥페이크 콘텐츠를 100% 포착하기 어렵기 때문이다. 또 딥페이크 콘텐츠 검색을 원활히 하기 위해선 국내외 콘텐츠 공급자와 꾸준한 소통이 이뤄져야 한다. 정부도 보안 업계 주장에 동의하는 분위기다. 우선 딥페이크 성범죄 콘텐츠 유포에 가장 많이 사용된 텔레그램 측과 소통을 시작하겠다고 밝혔다. 텔레그램은 해외 개발사 소유이므로 서버 위치가 해외에 있다. 차단 기술 개발뿐 아니라 서비스 공급자와 직접적 공조가 필요한 이유다. 국민의힘 김상훈 정책위의장은 29일 여의도 국회서 열린 딥페이크 성범죄 관련 부처 긴급 현안보고에서 "현재 텔레그램과 협력회의를 시작한 상태"라며 "상시 협의를 통해 핫라인을 확보할 것"이라고 했다. 이어 "그동안 국제 공조가 제대로 이뤄지지 않아 딥페이크 콘텐츠 차단에 어려움을 겪었다"며 "텔레그램과 원활한 소통을 통해 추가 피해를 막을 것"이라고 덧붙였다.

2024.08.29 16:42김미정

"딥페이크 차단"…샌즈랩, AI 범죄 막는 플랫폼 개발 착수

샌즈랩이 생성형 인공지능(AI)을 악용한 허위 정보와 저작권 침해, 딥페이크 차단에 나섰다. 샌즈랩은 생성형 AI 역기능 억제를 위한 사이버 보안 특화 검색증강생성(RAG) 기반 소형언어모델(sLLM)과 국민 체감형 플랫폼을 개발 중이라고 28일 밝혔다. 생성형 AI 역기능이란 AI 기술이 허위 정보 및 가짜 뉴스 생성, 저작권 침해, 딥페이크 생성, 사이버 범죄 약용 등의 부정적이거나 예상치 못한 방식으로 악용되는 것을 말한다. 이에 정부는 모든 국민이 안전하게 AI를 활용할 수 있도록 생성형 AI의 윤리적 활용을 위한 제도 보완과 핵심기술 개발에 많은 노력을 기울이고 있다. 과학기술정보통신부와 정보통신기획평가원(IITP)은 AI 역기능 억제를 위한 사이버 보안 특화 RAG 기반 sLLM 모델 개발과 국민 체감형 플랫폼 구축을 과제로 총 100억 규모 '정보보호 핵심 원천기술 개발사업'을 발주했다. 지난 4월 해당 사업을 수주한 샌즈랩은 엘지유플러스, 포티투마루, 로그프레소, 한국과학기술원(KAIST)와 공동 연구에 착수했다. 사업 핵심은 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 온프레미스 기반 sLLM 개발을 목표로 한다. 생성형 AI 역기능으로 인한 피해를 최소화하고 디지털 환경의 안정성 및 신뢰성 향상에 기여함은 물론 정보 조회 및 분석의 신속화로 의사결정 지원 시간의 단축과 대화형 인터페이스 개발로 사용자 경험 중심의 보안 서비스를 제공하는 것이 목적이다. 샌즈랩은 AI 모델 개발을 위한 필수 요건인 데이터셋을 페타바이트(Petabyte) 규모로 자체 보유하고 있다. 특정 분야를 식별하는 AI 모델이 필요한 수집 및 전처리된 데이터를 즉시 학습해 곧바로 탐지 및 대응 통합 시스템에 활용할 수 있는 셈이다. 이를 위한 분야별 데이터셋 구축, sLLM 및 대화형 인터페이스 개발을 통해 사이버 보안에 특화된 다양한 AI 기술 기반 응용 서비스의 연구개발에 유용하다는 평가를 받고 있다. 이번 연구개발 과제 중 하나인 생성형 AI 역기능 탐지 대응 기술을 통한 국민 체감형 플랫폼은 최근 사회적 문제로 가장 대두되고 있는 피싱 공격, 허위 정보 생성, 악성코드 대량 생산, 음성 합성, 딥페이크 이미지·영상 제작 같은 디지털 범죄 근절과 피해 확산을 막기 위한 대책 마련에 따른 개발이다. 샌즈랩 AI 기술개발팀은 엘지유플러스와 공동 연구개발하는 딥페이크 영상·이미지 탐지 기술은 심층 학습 기반의 알고리즘 개발, 생성적 적대 신경망(GAN) 기술에 대항하기 위한 적대적 학습 방법 적용, 멀티 모달 데이터 분석을 통해 더욱 정확하고 정밀하게 딥페이크를 탐지할 수 있다고 강조했다. 실시간 비디오 스트리밍이나 소셜 미디어 플랫폼에서의 즉각적인 탐지를 위해 모델을 경량화함으로써 복잡도는 최소화하고 탐지 정확도는 유지하거나 올릴 수 있는 최적화 기법을 적용할 방침이다. 샌즈랩 관계자는 "딥페이크를 비롯해 피싱 메일, 악성코드, 음성 합성, 가짜 뉴스 등을 탐지하는 국민 체감형 플랫폼은 각종 탐지 기술은 물론 결과 설명을 위한 RAG, 암호화 해제 등 다양한 AI 관련 기술들이 모인다"며 "국내 보안 기술에 대한 신뢰 구축에 중요한 기여를 할 것으로 보인다"고 강조했다.

2024.08.28 17:38김미정

과기정통부-여가부, 딥페이크 성범죄 근절 맞손

강도현 과학기술정보통신부 차관과 신영숙 여성가족부 차관은 28일 오후 디지털성범죄피해자지원센터를 방문해 운영 현황을 살피고, 이미지 합성 기술(딥페이크) 성범죄가 심각해지고 있는 상황 속에서 피해 예방과 피해자 지원방안에 대해 긴급 점검하는 자리를 가졌다. 여가부 산하기관인 한국여성인권진흥원에 설치된 디지털성범죄피해자지원센터는 디지털 성범죄 피해상담과 피해촬영물에 대한 삭제를 지원하고, 수사와 무료법률지원 연계 등 종합적인 서비스를 제공하고 있다. 2018년 4월 개소 이후 현재까지 총 3만2천여명의 피해자를 대상으로 피해촬영물 상담과 삭제, 수사 법률 의료 연계 지원 등 총 100만4천건의 서비스를 제공했다. 최근 생성형 인공지능 기술을 활용해 손쉽게 허위 음란영상물을 제작할 수 있게 되면서 일반인 대상으로 디지털 성범죄 피해가 빠르게 확산됨에 따라, 두 부처는 신속한 대응방안 모색을 위해 디지털성범죄피해자지원센터를 방문했다. 딥페이크 성범죄 예방과 대응은 지난 5월에 국무회의에서 보고된 범부처 '새로운 디지털 질서 정립 추진계획'에 포함된 핵심 정책 과제 중 하나로 부처 간 협업을 이어왔다. 강도현 차관은 “디지털 성범죄는 피해자의 삶을 송두리째 파괴하고 사회질서를 위협하는 용서할 수 없는 범죄”라면서 “과기정통부는 모두를 위한 안전한 디지털 사회를 구현해야 하는 임무가 있는 만큼, 여가부와 협력해 딥페이크 성범죄를 예방하고 피해자를 빠르게 지원할 수 있는 기술개발, 새로운 사업 기획 등을 적극 지원하겠다”고 밝혔다. 신영숙 차관은 “디지털 기술을 악용해 갈수록 정교해지는 디지털 성범죄로부터 피해자를 보호하기 위한 국가적 노력이 요구되고 있다”며 “딥페이크 성착취물을 빠르게 탐지할 수 있는 삭제시스템 고도화 등 현장에서 개선이 필요한 사항을 중심으로 과기정통부와 협력방안을 논의해 건전한 디지털 환경을 함께 조성해 나가겠다”고 말했다. 신보라 한국여성인권진흥원장은 “끊임없이 재유포되는 피해영상물의 신속하고 완전한 삭제를 위해 삭제 실무자 1인당 피해자 100명 이상을 지원하며 혼신의 노력을 기울이고 있다”며 “삭제지원시스템에 고도화된 기술이 도입된다면 피해자 지원을 확대할 수 있을 뿐만 아니라 실무인력 부족을 보완할 수 있는 하나의 방안이 될 수 있을 것”이라고 강조했다.

2024.08.28 14:22박수형

"딥페이크 범죄 신속 대응…플랫폼 사업자들과 협의체 구성"

방송통신심의위원회가 딥페이크 기술로 제작된 성범죄영상물을 신속하게 차단하기 위해 전자심의를 강화한다. 또한 글로벌 온라인 플랫폼 사업자들과 협의체를 구성해 차단 조치와 자율 규제를 요청할 계획이다. 방심위는 28일 오전 긴급 전체회의를 열고 딥페이크 합성 기술을 악용한 디지털 성범죄 영상에 대한 대책 방안을 의결했다. 먼저 방심위는 27일부터 홈페이지에 전용 배너를 별도로 설치하고 성범죄영상물 신고를 쉽게 접수할 수 있도록 했다. 온라인 신고와 함께 방심위 디지털 성범죄 신고 전화인 1377의 기능도 강화했다. 딥페이크 성범죄 영상물 신고를 상담원이 직접 24시간 365일 접수하고 상담케 했다. 또한 딥페이크 성범죄영상물의 주요 유포경로인 텔레그램 등 주요 SNS에 대한 자체 모니터 인원을 2배 이상 늘려 집중 모니터링을 통해 불법 성범죄 영상물을 신속 적발하겠다고 했다. 방심위 측은 "향후 디지털 성범죄 전담 인력을 늘려나갈 예정"이라고 밝혔다. 아울러 삭제 차단 조치와 관련해 전자심의를 강화해 24시간 이내 삭제차단이 될 수 있도록 시정을 요구하고, 악성 유포자는 즉각 경찰에 수사의뢰하도록 했다. 이를 위해 국내 포털 사이트와 텔레그렘, 페이스북, 엑스, 인스타그램, 유튜브 등 글로벌 온라인 플랫폼 사업자들과도 협의체를 구성해 신속 삭제 차단 조치와 함께 자율적 규제를 요청할 계획이다. 류희림 방심위원장은 이날 "딥페이크 기술을 악용한 성범죄 영상은 우리 사회를 정조준해 위협하는 상황이 됐다"며 "보완 입법을 관계 기관에 건의하고, 관련 전문가들과 협력해 보완 입법 이전에 할 수 있는 최대한의 심의 규정 보완도 강구하겠다"고 강조했다.

2024.08.28 11:48안희정

"여동생·지인 나체 사진 드려요"…韓, 딥페이크 성범죄↑

생성형 인공지능(AI) 기술을 악용한 딥페이크 성범죄가 늘고 있다. 딥페이크 범죄를 처벌할 수 있는 법적 세부 기준이 마련되지 않아 피해 사례는 더욱 증가할 전망이다. 26일 정보기술(IT) 업계에 따르면 100개 이상 국내 대학과 중·고등학교에서 텔레그램 딥페이크 성범죄가 만연한 것으로 드러났다. 이들은 생성형 AI 기술로 지인 사진과 나체 사진·영상을 합성해 텔레그램 방에 공유한 것으로 전해졌다. 딥페이크는 딥러닝(Deep learning)과 가짜를 뜻하는 페이크(fake)를 합친 용어다. 생성형 AI 기술 등으로 여러 사진을 조합해 가짜 인물이나 영상을 사실처럼 만들 수 있는 기술이다. 그동안 연예인이나 정치인, 인플루언서 이미지와 음란물을 합성해 유포하는 범죄가 다수였다. 이제 누구나 생성형 AI로 딥페이크 사진과 영상을 생성할 수 있게 됐다. 이에 일반인 피해 사례가 우후죽순으로 늘고 있다. 최근 학생들 사이에서 일반 사진을 나체 사진으로 변형해 주는 생성형 AI 챗봇이 활성화하고 있다. 예를 들어 사용자가 여성 사진을 올리면 생성형 AI가 이를 나체사진으로 바꿔주는 식이다. 서울경찰청에 따르면 학생들은 딥페이크로 제작된 나체사진을 텔레그램 방에 공유한 것으로 전해졌다. 또 다른 텔레그램 방에서는 여동생이나 여군, 지인 사진을 자체 사진으로 변형해 공유하는 행위도 드러났다. 가족뿐 아니라 친구 사진까지 딥페이크 성범죄 대상물이 된 셈이다. 관련 범죄로 경찰에 붙잡힌 10대 청소년이 서울에서만 올해 10명인 점도 전해졌다. 서울경찰청 관계자는 "올해 1~7월 청소년 10명이 딥페이크 범죄로 검거됐다"고 밝힌 바 있다. 현재 딥페이크 성범죄 처벌법이 마련됐긴 했다. 딥페이크 음란물 대상자가 아동일 경우, 아동·청소년 성 보호에 관한 법률(11조)에 따라 처벌받는다. 대상자가 성인일 경우 성폭력 범죄 처벌 등에 관한 특례법(14조)에 의해 처벌받을 수 있다. 다만 딥페이크로 인한 성범죄가 기존보다 다양해지면서 세부적인 법적 기준 필요성이 제기되고 있다. 김봉식 서울경찰청장은 "학생들에게 성범죄 전력 심각성을 가르치겠다"며 "범죄가 사회활동에 지장을 초래할 수 있다는 점을 알리는 교육을 강화할 것"이라고 강조했다.

2024.08.26 18:04김미정

"얼마나 다급하면"…해리스에 밀린 트럼프, 테일러 스위프트 앞세우려다 '망신'

카멀라 해리스 미국 부통령의 대선 출마 선언 이후 다급해진 도널드 트럼프 전 대통령이 인공지능(AI) 기술을 악용한 '딥페이크' 사진을 앞세워 여론몰이에 나섰다가 비판을 받고 있다. 추가 사실을 확인하면 딥페이크 이미지가 가짜란 사실을 알 수 있긴 하지만, 별 관심이 없는 이들이 이미지를 그대로 진실이라 믿을 소지가 많다는 점에서 선거에 악영향을 줄 수 있다는 우려도 나온다. 20일 CNN 등 주요 외신에 따르면 트럼프 전 대통령은 자신이 설립한 소셜미디어(SNS) 트루스 소셜 트럼프 계정에 테일러 스위프트와 스위프트 팬(swifties)이 자신을 지지하는 사진 4장을 게재하며 "수락한다"고 밝혔다. 이 중 '테일러는 여러분이 트럼프에게 투표하길 바란다'는 문구가 있는 이른바 '엉클 샘'의 모병 포스터 패러디 사진은 AI가 만든 것으로 드러났다. 앞서 테일러 스위프트는 지난 2020년 대선 당시 조 바이든 대통령을 지지했었다. 하지만 이번 대선에선 아직 지지 의사를 밝히지 않아 이번에도 민주당을 공개 지지할 것인지를 두고 많은 이들이 관심을 보이고 있다. 사상 최초로 콘서트만으로 매출 10억 달러(약 1조4천억원)를 올릴 정도로 테일러 스위프트의 팬층이 두터운 만큼 선거에도 영향을 줄 수 있어서다. 이 같은 분위기 속에 트럼프 전 대통령이 자신의 지지층을 끌어들이기 위해 테일러 스위프트를 앞세운 것을 두고 우려의 목소리가 높아지고 있다. 지지자 표심에 영향을 줄 수 있는 가짜 이미지들을 트럼프가 직접 SNS에 공개함으로써 선거에 부정적 영향을 주고 있다는 판단에서다. 트럼프 전 대통령은 테일러 스위프트 관련 사진 외에도 최근 들어 AI로 생성된 가짜 사진을 SNS에 자주 게재하고 있어 문제가 되고 있다. 공식 정치 광고가 아닌 SNS에서 딥페이크 사진을 올리며 여론몰이를 하고 있어서다. 지난 17일 해리스 부통령이 시카고에서 열리는 공산당 행사에서 연설하는 가짜 사진을 게재한 것이 대표적인 예다. 올해 5월 미국 연방통신위원회(FCC)는 정치 광고에 AI를 사용할 경우 이를 명시하도록 했지만, 트럼프 전 대통령이 이를 SNS에 게재하며 교묘히 피하고 있다는 점도 논란거리다. FCC의 규칙을 살펴보면 FCC가 관할하지 않는 온라인과 온라인 동영상 서비스(OTT·Over the Top) 등에는 규칙안이 적용되지 않는다. 이에 '트럼프 지지'를 공식화 한 일론 머스크 테슬라 최고경영자(CEO)도 SNS를 통해 해리스 부통령에 대한 허위 영상을 게재하며 선거 분위기를 흐리고 있다. 머스크 CEO는 지난달 26일 자신의 X(옛 트위터) 계정에 해리스 부통령의 선거 광고인 "프리덤(Freedom, 자유)"을 게재했으나, 이는 실제 해리스 부통령 측이 제작한 것이 아닌 유튜버 '미스터 레이건'이 딥페이크 기술을 활용해 만든 것으로 드러났다. 해당 광고 영상에서 해리스 부통령은 "저는 다양성 때문에 선택됐다. 여성이자 유색인종이기 때문"이라며 "만약 여러분이 제 말을 비판한다면 여러분은 성차별주의자이자 인종차별주의자"라고 말했다. 하지만 이는 해리스 부통령이 말한 것이 아닌 허위 영상으로 판별됐다. 머스크 CEO는 이 영상을 본인의 계정에 게재한 이후 "놀랍다"는 메시지를 함께 올려 눈길을 끌었다. 여기에 머스크 CEO가 창업한 AI 기업 'xAI'가 신규 AI '그록-2'를 통해 해리스 부통령과 관련된 가짜 이미지가 생성되는 것에 제한을 엄격하게 두지 않는 것도 문제가 되고 있다. 머스크 CEO는 'AI가 생성한 이미지'라고 표시하지 않은 사진을 자신이 인수한 X에 게재하는 것을 허용했다. 이는 오픈AI와 구글, 미드저니 등이 생성 AI로 이미지를 생성할 때 정치인 관련이나 선정적인 이미지에 대해 엄격하게 제한하고 있는 것과 다른 행보다. 이에 대해 해리스 부통령 선거 캠프 측은 "우리는 미국 국민들이 일론 머스크와 트럼프 전 대통령에 의해 조작된 거짓말이 아니라 해리스 부통령이 준비하는 진정한 자유와 기회, 안보를 원한다고 믿고 있다"는 입장을 내놨다. 또 해리스 부통령은 트럼프 전 대통령 및 그의 러닝메이트인 JD 밴스 오하이오 주 상원의원의 모습을 보여주며 "우리가 혼돈, 두려움, 증오의 나라가 되어야 한다고 생각하는 사람들이 있다"라고 이들을 비판했다. 이에 트럼프 전 대통령은 되레 해리스 부통령이 AI로 조작된 사진을 앞세우고 있다며 여론전을 펼쳤다. 지난 11일 해리스 부통령이 미시간주의 공항에 도착할 때 지지자들이 운집한 모습이 담긴 사진을 올리면서 AI로 조작됐다고 주장했으나, 이는 사실이 아닌 것으로 드러났다. CNN은 "미국 대선이 두달여 앞으로 다가오면서 온라인 상에서 거짓 정보가 범람하고 있다"며 "이를 대선 후보가 직접 이용할 경우 혼란은 더욱 커질 수 있다"고 경고했다.

2024.08.20 10:48장유미

이미지 AI 발전 가속…전문가들 "포르노·가짜 뉴스 남용 막아야"

생성 인공지능(AI)의 그림이 정교해지고 이미지 편집 기능이 추가돼 실제 사진과 구분이 점점 어려워지고 있다. 이를 남용하는 사례가 늘면서 윤리적 해결책과 법제화의 필요성이 커지고 있다. 19일 미국의 테크 전문지 벤처비트에 따르면 구글은 최근 미국 시장에서 '이마젠3'를 출시했다. 이는 지난 5월 구글이 해당 모델을 최초로 발표한 후 3개월 만이다. 이에 따라 '이마젠' 사용자들은 텍스트를 입력해 그림을 마음껏 그릴 수 있게 됐다. 업계는 이를 오픈AI의 이미지 생성 모델인 '달리'에 대항하려는 움직임으로 보고 있다. 구글보다 앞서 지난해 10월 오픈AI는 '챗GPT'에 '달리3'를 통합한 멀티모달 모델을 도입했다. 이는 지금까지 유료 이용자들에게만 제공됐던 모델이었지만 지난 15일부터 무료 사용자에게도 하루 최대 2건씩 제공되고 있다. 일론 머스크 엑스(X) 대표의 챗봇 '그록'도 이에 가세했다. 지난 13일 X는 프리미엄 사용자들에게 '그록-2'의 베타 버전을 제공하기 시작했고, 여기에는 이미지 생성 기능도 포함돼 있다. 이들 이미지가 점점 실제와 구분이 안 되는 수준으로 진화하고 있다는 것이 업계 전문가들의 의견이다. 실제로 루르 대학교가 올해 5월 실시한 조사에 따르면 3천명의 연구 참가자 대부분이 AI가 생성한 이미지를 실제 사진으로 착각한 것으로 나타났다. 이제 생성 AI가 단순히 그림을 생성하는 것뿐만 아니라 편집까지 할 수 있어 더 많은 우려를 낳고 있다. 샌프란시스코에 위치한 그림 AI 스타트업인 미드저니는 지난 15일 웹브라우저 이미지 편집기를 공개했는데 이 서비스는 이미지 일부를 다시 칠하거나 경계를 늘리는 등의 아웃페인팅 및 캔버스 확장 기능을 지원한다. 이렇게 이미지 생성 및 편집 AI가 급속도로 발전하면서 가짜 이미지 남용 가능성에 대한 우려가 커지고 있다. 실제로 머스크의 '그록'은 '이마젠'이나 '달리'와 달리 크게 검열되지 않고 있다. 머스크 X 대표가 '세상에서 가장 재미있는 AI'라고 표현한 그록은 프롬프트에 따라 대부분의 이미지를 생성할 수 있다. 외신에 따르면 '그록'은 프롬프트를 따라 테일러 스위프트· 카멀라 해리스 후보의 노골적 성적 대상화 이미지와 911 테러를 저지르는 트럼프 전 대통령의 사진 등을 생성한 바 있다. 전문가들은 검열되지 않는 이미지에 편집 기능까지 더해지면 문제가 더 심각해질 수 있다고 분석한다. AI는 아직도 영어를 제외한 글자들을 제대로 표시하지 못하고 사람의 손가락 같은 복잡한 형태를 그리지 못하지만 기술이 발전할수록 이러한 문제도 해결될 전망이기 때문이다. 이미 유사 기술인 딥페이크의 경우 기술이 고도화되면서 여러 문제가 발생했다. 지난 15일 샌프란시스코시 변호국은 딥페이크 포르노를 생성할 수 있는 사이트들의 폐쇄 조치를 요구하는 소송을 제기했다. 이 사이트들은 오픈소스 생성 AI를 사용해 피해자들의 동의 없이 얼굴을 포르노 영상과 합성하는 등의 문제를 초래했다. 이는 딥페이크 기술이 극도로 고도화되고 상용화가 가능한 수준에 이르렀음에도 관련 규제가 따라오지 못했음을 보여준다. 전문가들은 딥페이크와 마찬가지로 점점 고도화되고 있는 이미지 생성 및 편집 AI에도 신속히 규제를 마련해야 한다고 입을 모은다. 이미지 AI들이 고도의 편집 기능을 통해 성적 대상화 및 가짜뉴스 이미지를 대량생산할 가능성이 크기 때문이다. 이러한 폐해를 방지하기 위해 규제뿐만 아니라 기업들의 기술 개발도 필요하다고 전문가들은 분석한다. 하디 살만 오픈AI 연구원은 "기업들은 AI 도구의 잠재적 위협에 대한 방어 수단을 구축하는 데 투자해야 한다"며 "이를 위해 모델 개발자, 정책 입안자, 소셜미디어 플랫폼 간의 적극적 협력이 필요하다"고 강조했다.

2024.08.19 17:52조이환

Prev 1 2 3 4 5 6 Next