검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'딥 체인지 2.0'통합검색 결과 입니다. (338건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"딥페이크 등 디지털범죄 막아야"…조국혁신당, 법안 준비

텔레그램 단체대화방 딥페이크 성범죄 사건이 전 국민의 공분을 사고 있는 가운데, 조국혁신당이 딥페이크 성범죄물을 막기 위한 입법을 준비 중이라고 밝혔다. 조국혁신당 여성위원회 소속인 이해민 의원, 신장식 의원, 김준형 의원, 김재원 의원, 김선민 의원, 강경숙 의원, 정춘생 의원은 2일 오후 국회 소통관에서 기자회견을 열고 디지털 범죄로부터 국민을 보호하기 위해 입법뿐만 아니라 정책 마련에도 힘쓰겠다고 강조했다. 딥페이크 성범죄물 제작이 이루어진 텔레그램 대화방이 초·중·고등학교, 대학교, 군대 등을 비롯한 다양한 집단에서 확인되고 있고, 불특정다수가 모인 대화방 한 곳에는 22만명이 넘는 참가자가 있었다고 알려졌다. 경찰청에 따르면 지난해 딥페이크 영상물 성범죄 피의자의 75.8%가 10대였다. 조국혁신당은 "N번방 사건과 관련 2021년 법무부는 디지털성범죄대응전문위원회를 만들었고, 서지현 전 검사 등이 적극적인 활동을 벌여 60개가 넘는 법률개정안을 권고하는 성과를 냈지만 윤석열 정부는 취임 직후 전문위원회를 강제 해산시켰다"며 "경찰의 '텔레그램이라 잡기 어렵다', '탈퇴계정이라 잡기 어렵다', '우회IP라 잡기 어렵다'는 변명은, 윤석열 정부가 모두의 노력을 물거품으로 만들어버렸다는 방증"이라고 비판했다. 그러면서 "디지털성범죄대응전문위원회가 활동을 이어갔더라면, 디지털성범죄가 이렇게 들불처럼 청소년에게까지 번지지는 않았을 것"이라며 "성평등 가치를 확산시켜 성범죄를 예방하고 관련 피해자 보호에 앞장서야 할 여성가족부는 존폐 기로에 서 있고 대통령 후보 시절, 여성가족부 폐지를 공약했던 윤석열 대통령은 여가부를 해체하겠다는 사람들을 장관에 임명했다"고 꼬집었다. 조국혁신당은 방송통신심의위원회가 디지털 성범죄를 끝내겠다고 강조했던 '불법 영상물에 대한 공공 DNA DB 구축 및 필터링 사업'에 대해서도 지적했다. 이들은 "방심위는 현재까지 아무런 결과도 내놓지 못했다"라며 "방심위는 이제라도 책임을 지고 사업자들과 디지털성범죄 생성과 유통 예방을 위한 규제방안을 마련해야 한다"고 말했다. 아울러 과학기술정보통신부에도 디지털 권리장전 선언만이 아니라, 구체적인 실행계획을 내놓아야 하며, 딥페이크 성범죄 영상에 대한 신속한 차단 조치와 영상물을 통제하고 식별하는 기술적 보완은 물론, 피해자 보호를 위한 기술적 제도 보완을 함께 만들어야 한다고 조언했다. 또한 철저한 수사를 통한 범죄자 처벌, 현실적인 피해자 지원 및 보호 정책을 마련해야 한다고도 덧붙였다. 조국혁신당은 "딥페이크 문제를 비롯한 모든 디지털 범죄로부터 국민을 보호하기 위한 입법을 준비하고 있다"며 "나아가 사회적 약자가 차별받거나 소외되지 않도록 평등의 가치를 확산하기 위한 정책을 마련하는 데에 총력을 기울일 것"이라고 말했다.

2024.09.02 16:22안희정

[현장] '99년생' 딥마인드 前 연구원 "AI 시대, 창작자 보호 없으면 미래도 없다"

"인공지능(AI) 기술이 발전함에 따라 창작자들의 지적재산권(IP)이 끊임없이 위협받고 있습니다. 기존 법률 시스템만으로는 이 문제를 효과적으로 해결하기 어렵습니다. 이 문제를 해결하고자 스토리 프로토콜(Story Protocol)을 공동창업했습니다. 이번 행사도 창작자 보호와 공정한 보상을 위해 마련됐습니다." 제이슨 자오 스토리 최고 프로토콜 책임자(CPO)는 2일 성동스페이스 에스원에서 개최된 '프로그래머블한 지적재산권(PIP) 서울' 행사에 참가한 후 기자와 만나 이같은 포부를 밝혔다. 스토리는 창작자들이 자신의 작품을 보호하고 수익을 내도록 돕는 웹3(Web3) 기반 플랫폼이다. 지난 2022년 옥스포드 대학 출신의 이승윤 대표가 웹소설 플랫폼 '래디시(Radish)'를 약 5천억원에 카카오엔터테인먼트에 매각한 다음 창업한 이 플랫폼은 창작물의 소유권과 사용 기록을 투명하게 관리한다. 스토리 공동창업자로서 이번 행사의 전반적 기획과 운영을 총괄한 자오 CPO는 1999년생으로, 지난 4년간 AI 업계의 최전선에서 프로젝트들을 주도해왔다. 스탠포드 대학교 시절 컴퓨터 비전 선구자인 페이페이 리 교수의 랩에서 연구했으며 이후 딥마인드에서 거대언어모델(LLM) 개발에 앞장섰다. 자오 CPO는 딥마인드에서의 경험이 창업의 주요 원인이 됐다고 밝혔다. 초창기 LLM을 연구하며 AI가 IP에 미칠 수 있는 심각한 파급력을 목격한 것이 영향을 줬다. 생성 AI가 그림을 그리거나 텍스트를 창작하는 것을 보며 그는 이 기술이 창작자의 권리를 위협할 수 있다는 점을 가장 빠르게 인지했다. 그는 "기술이 창작업계에 미칠 엄청난 파급력에도 불구하고 당시 딥마인드에서는 이 문제에 크게 주목하지 않았던 것으로 기억한다"며 "이 때 느낀 문제의식으로 창작자들을 보호할 방법에 대해 고민하게 됐다"고 밝혔다. 그의 걱정은 선견지명이었다. 지난 2022년 11월 '챗GPT'가 출시되고 이후 그림·영상 생성 AI가 등장하면서 많은 창작업계 종사자들이 실질적인 두려움을 느끼기 시작했기 때문이다. 실제로 지난해 할리우드에서 벌어진 대규모 파업은 AI 기술의 창작물을 무단 사용에 대한 항의에 의해 촉발됐다. 상황의 심각성에도 이러한 문제는 기존의 법률적 접근만으로 해결하기 어렵다는 것이 점점 명확해졌다. 법적 절차가 디지털 시대의 빠른 정보 확산 속도를 따라가지 못했기 때문이다. 자오 CPO는 "트럼프 후보의 암살 시도 사진은 단 1초 만에 찍혔지만 삽시간에 인터넷으로 퍼져나가 밈, 뉴스, 심지어는 티셔츠 로고가 됐다"며 "이런 시대에 변호사가 한 명이 아니라 1천 명이 붙는다고 해도 기존의 법률적 방식만으로는 재빠른 IP 확산에 대응하기 힘들다"고 설명했다. 디지털 시대의 정보 확산 속도와 복잡성에 대응하기 위한 방안으로 블록체인 기술을 꼽았다. 이 기술은 자동화된 권리 집행과 투명한 기록을 제공하기 때문이다. 자오 CPO는 "기술과 법률을 통합해 창작자들이 자신의 IP를 주도적으로 관리하고 수익을 창출하도록 하는 것이 목적"이라며 "다양한 플랫폼과 협력해 창작자들이 더 쉽게 IP를 보호하고 수익을 극대화하도록 지원하겠다"고 밝혔다. 이번 행사도 이러한 기조를 따라 마련됐다. 'PIP 서울' 행사에는 에마드 모스타크 스테이블 디퓨전 창업자 외에도 오픈소스 운영체제 개발사인 아나콘다의 피터 왕 대표와 아카시 산지 월드코인 제품 총괄 등 저명한 AI·IP 업계 인사들이 참석해 탈중앙화된 AI 생태계와 창작자 보호를 위한 방안을 논의했다. 자오 CPO는 "이번 행사에 참여한 AI 기업들은 오픈 소스와 같은 열린 방식의 생태계를 지향하며 창작자 보호와 공정한 보상을 추구하고 있다"고 밝혔다. 그러면서 "물론 구글과 오픈AI와 같은 폐쇄형 생성 AI 기업들과 경쟁하는 것은 쉽지 않은 과제"라면서도 "창작자 보호의 중요성이 부각되고 이를 위한 기반이 형성된다면 결국 빅테크에게도 도움이 되는 공생형 생태계가 구축될 것"이라고 강조했다.

2024.09.02 16:12조이환

시청자미디어재단, 딥페이크 예방 미디어교육 확대

시청자미디어재단은 전국 초중고 100개교에서 운영하고 있는 미디어교육 프로그램에 딥페이크 범죄 예방 교육을 의무적으로 시행한다고 밝혔다. 이 교육은 딥페이크 기술의 이해, 딥페이크 범죄 유형 대과응 방법, 인공지능의 윤리적 활용 등을 다루며 총 2시간 이내로 구성될 예정이다. 최근 미국의 사이버보안 회사인 시큐리티히어로가 발표한 '2023 딥페이크 보고서'에 따르면 한국은 딥페이크 범죄에 가장 취약한 국가로 지목됐다. 보고서는 지난해 상위 10개의 포르노 웹사이트와 85개의 유튜브 채널에 게시된 딥페이크 콘텐츠를 분석한 결과, 해당 콘텐츠에 등장하는 인물 중 53%가 한국 국적의 인물인 것으로 나타났다. 특히 SNS를 활발히 이용하는 10대 청소년들이 주요 피해자로 떠오르면서 이에 대한 대응책 마련이 시급한 상황이다. 미디어교육은 청소년들이 딥페이크의 위험성을 인식하고 이를 예방하는 데 핵심적인 역할을 할 수 있다. 재단은 딥페이크 범죄를 비롯한 미디어 역기능에 대한 예방 및 대응 교육의 필요성을 깊이 인식하고, 이를 반영한 대책을 마련했다. 최철호 이사장은 "딥페이크 범죄는 기술적 발전과 함께 점차 고도화되고 있어, 이에 대한 사회적 대응이 시급하다"며 "국민 스스로가 미디어 역량을 강화하고, 인공지능 기술의 윤리적 활용을 숙지하는 것이 중요하다"고 말했다. 재단은 딥페이크 범죄의 실태와 문제점을 담은 온라인 교육 콘텐츠를 제작하고, 시청자권익보호플랫폼 미디인을 통해 딥페이크 피해 관련 상담 사례를 제공하는 등 전방위적인 교육 활동을 지원할 계획이다.

2024.09.02 14:29박수형

경찰, 텔레그램 법인 내사 착수

경찰이 텔레그램 법인에 대한 내사에 착수했다. 딥페이크를 활용한 성범죄물 방조 혐의를 적용했다. 2일 우종수 경찰청 국사수사본부장은 정례 기자간담회에서 "텔레그램 법인에 대해서 성폭력처벌법 위반(허위영상물 편집·반포) 방조 혐의로 입건 전 조사(내사)를 진행 중"이라고 밝혔다. 텔레그램 법인을 직접 수사한 전례는 지금까지 없었다. 경찰은 또한 지난 한 주 동안 딥페이크 피해 88건이 접수됐고, 이 중 특정된 피의자는 24명이라고 설명했다. 그러면서 "올해 1~7월 접수된 피해신고는 297건으로 주당 평균 10건이 안 됐는데, 지난주에만 88건이 접수됐으니 거의 10배 수준으로 증가한 것"이라고 덧붙였다. 올해 7월까지 특정된 피해자는 총 51명이다. 우 본부장은 "텔레그램이 계정정보 등 수사 자료를 우리뿐만 아니라 미국 등 다른 국가 수사기관에도 잘 주지 않는다"며 "텔레그램을 이용한 범죄를 지금까지 전혀 검거하지 못한 것은 아니다. 저희 나름의 수사기법이 있어 최선을 다해 수사하는 중"이라고 말했다. 이어 "프랑스 수사당국이나 각종 국제기구 등과 공조해 이번 기회에 텔레그램 수사를 할 수 있는 방법을 찾아보겠다"고 강조했다.

2024.09.02 14:13안희정

美서도 딥페이크 범죄에 '시끌'…캘리포니아, AI 악용 막기 위한 새 법안 제정 임박

미국 캘리포니아 주가 인공지능(AI) 범죄에 칼을 빼 들었다. 미성년자 딥페이크 성범죄·선거 허위 정보 확산 등에 AI가 쓰이는 문제를 최대한 막기 위해서다. 2일 AP통신 등 외신에 따르면 미 캘리포니아 주 하원 의회는 AI 안전 대책 법안 투표를 완료해 오는 9월 말 주지사의 승인을 기다리고 있다. 하원의원들은 그간 딥페이크 법안 제정에 공을 기울였다. 이 법안에는 미성년자 딥페이크 성범죄에 대해 AI로 아동 성적 학대 이미지와 비디오 제작하는 행위 자체를 금지한다는 내용이 포함됐다. 현행 캘리포니아주 법은 AI가 만든 이미지·비디오가 사람을 묘사했단 걸 검사가 증명하지 못할 시 관련 미성년자 음란물 소유·배포자 추적이 어렵다. 선거와 관련된 딥페이크도 법 제정의 대상이다. 캘리포니아 주 의회는 이번 법 승인으로 메타 등 대규모 소셜 미디어 플랫폼에 선거일 기준 120일 전부터 60일 후까지 선거 관련 딥페이크 자료를 삭제하도록 요구할 수 있다. 또 각 후보 캠프는 AI로 생성·변경한 내용이 있는 광고를 게재할 시 공개적으로 표기해야 한다. 이 외에도 ▲콜센터 근로자 대체 ▲사망자 디지털 복제 ▲성우 및 오디오북 담당자 저작권 무단 도용 등 이슈에 AI가 사용되는 것이 금지된다. 캘리포니아 주에선 법안에 대해 치열한 논쟁이 벌어지고 있다. 앤트로픽과 일론 머스크는 법안 제정에 찬성하며 법 제정의 이익이 비용보다 클 것으로 전망했다. 반면 오픈AI, 구글 등 빅테크도 법안이 AI를 악용하는 사람들보단 개발자를 향해 있다며 비판했다. 외신들은 법안은 모델 훈련에 1억 달러 이상의 데이터가 필요한 시스템을 대상으로 하고 있지만 현재 AI 모델 중 이 기준에 도달한 시스템은 전무하다고 보도했다. 전문가 및 의원들은 각기 다른 의견을 선보였다. 미국 진보를 위한 회의 토드 오 보일 수석 기술 정책 책임자는 AI의 이론적 시나리오 때문에 캘리포니아의 주요 경제 부분을 억제하면 안 된다고 주장했다. 또 낸시 펠로시 전 캘리포니아 주 하원 의장은 "이번 법 제정이 선의인 것은 알지만 관련한 정보가 부족해 보인다"고 우려했다. 반면 미국 공화당 데본 매시스 의원은 "해당 법안을 지지한다"며 "빅테크는 이제 어떤 종류의 규칙을 따라야 할 필요가 있다"고 말했다.

2024.09.02 10:13양정민

방심위, 딥페이크 성범죄영상물 유포 '텔레그램' 대응 글로벌 협의체 구축 나서

방송통신심의위원회는, 최근 급속 유포되고 있는 텔레그램 딥페이크 성범죄영상물 대응과 관련해 글로벌 협의체 구축에 나섰다. 방심위는 29일 글로벌 온라인 안전 규제기관 네트워크(GOSRN, Global Online Safety Regulators Network) 회원 기관 간 회의에서, ▲텔레그램 딥페이크 성범죄영상물로 인해 최근 한국에서 벌어지고 있는 심각한 사회적 피해에 대해 설명하면서, ▲글로벌 공동대응 협의 채널 구축을 통한 국제공조를 공식 제안했다고 30일 밝혔다. 이에 대해, ▲호주 등 주요국들도 텔레그램에 대한 개별 국가 단위의 대응에 한계가 있음을 지적하고, 한국과 유사한 상황에 자신들도 직면해 있다고 확인하면서, ▲방통심의위가 제안한 글로벌 공동대응 필요성에 적극 동의했다. 특히, 호주 온라인안전국은 네트워크 회원기관 간 공동성명서 채택 등을 통해, 텔레그램에게 아동·청소년 보호를 위한 사회적 책무를 다할 것을 강력히 권고하자는 의견도 추가 제안했다. 또한, 회원 기관들은 9월 24일 고위급회의에서 이 문제를 공식 의제로 채택해 집중논의하기로 의견을 모았다. 방심위는 GOSRN뿐만 아니라, 그동안 구축해온 모든 국제 네트워크들에도, 협의체 구축을 제안하며, 실무협의 등을 통해 구체화해 나갈 계획이다. 이와 함께, 다른 해외 유관기관 및 국제기구들에 대해서도 함께 연대해서 협의체 구축에 나서줄 것을 제안하는 위원장 명의의 서한을 일제히 보내, 공조를 요청했다. 디지털 플랫폼 거버넌스 관련 국제 네트워크 간 협업을 추진 중인 유네스코에 대해서는, 이러한 글로벌 대응 협의체 구축에 중심이 돼 줄 것을 요청했다. 현재 방심위가 텔레그램 관련 협의체 구축을 위해 접촉하고 있는 기관은, INHOPE 등 국제기구와, 호주 온라인안전국, 프랑스 Point de Contact, 대만 국가방송통신위원회 등으로 약 30여개에 이른다. INHOPE는 아동성착취물을 신속하게 식별하고 삭제해 아동·청소년을 보호하기 위해 1999년 설립된 국제핫라인기구로, 2024년 현재 50개국 54개 기관이 회원으로 참여하고 있다.

2024.08.30 22:24안희정

[유미's 픽] "여친이 음란물에?"…딥페이크 범죄 온상된 韓, '이 기업'에 돈 몰린다

최근 딥페이크 성범죄가 확산되면서 이를 탐지·대응하는 기술이 주목 받고 있는 가운데 정보보안 업체들이 집중 조명받고 있다. 아직까지 국내에서 딥페이크 범죄를 완벽하게 막을 수 있는 기술은 없지만, 사회적으로 크게 문제가 되자 관련 기업들의 움직임에 대한 시장의 기대감이 높아지는 분위기다. 30일 업계에 따르면 라온시큐어는 오는 10월께 개인이 쉽게 딥페이크 여부를 체크할 수 있는 탑지 서비스를 자사 개인용 모바일 백신 애플리케이션에 탑재할 계획이다. 이 기술은 합성된 얼굴과 정상 얼굴을 각각 학습해 이를 비교 분류할 수 있도록 인공지능(AI)을 학습시키는 방식이다. 라온시큐어는 지난 5월 설립한 AI 연구센터를 통해 이 기술을 개발했다. 딥페이크 감지 안면인식 기술, AI가 생성한 콘텐츠 탐지 기술 등을 향후 기업이나 기관이 이용 할 수 있도록 API 형태로도 제공할 예정이다. 라온시큐어 관계자는 "AI가 작성한 콘텐츠를 탐지하는 부분도 연구하고 있다"며 "이를 통해 사람이 직접 생성한 데이터인지 여부를 탐지하는 서비스로 확장할 계획"이라고 밝혔다. 샌즈랩도 딥페이크 대응 기술을 가진 기업으로 분류되고 있다. 이곳은 지난해 4월부터 정부의 생성형 AI 역기능 억제 기술 개발 공동 사업에 참여하고 있다. 샌즈랩 외에도 LG유플러스, 포티투마루, 로그프레소, 카이스트 등이 함께 사업에 뛰어 들었다. 이 프로젝트는 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 사이버보안 특화 온프레미스용 소형언어모델(sLLM)을 개발하는 것을 목적으로 한다. 샌즈랩은 딥페이크 영상과 이미지를 보다 정확하고 정밀하게 찾아내기 위한 기술 개발에 집중하고 있다. 이를 위해 심층 학습 기반의 알고리즘과 멀티모달 데이터 분석 기법을 개발 중이다. 플랜티넷은 국내 최초로 텔레그램 등 소셜미디어서비스(SNS)를 비롯한 인터넷망을 통한 유해 콘텐츠 차단 서비스를 제공해왔다는 점에서 시장이 주목하고 있다. 이곳은 지난 2021년도부터 정부기관(ETRI)과 함께 디지털 범죄 방지를 위한 연구에 지속 참여해왔다. 해당 연구과제들은 '딥페이크 성범죄'에 이용된 영상물의 유해성 판별 및 SNS 유포 방지를 위해 필요한 것으로 평가된다. 또 플랜티넷은 올해 초 AI 전문 연구개발 인력으로 구성된 AI테크랩을 신설해 AI 기술을 활용한 불법영상물 차단 및 판별 정확도 향상에도 집중하고 있다. 여기에 스미싱·보이스피싱 같은 전자금융사기 탐지 및 차단을 위한 기술 개발도 진행 중이란 점에서 향후 실적에 대한 기대감이 크다. 플랜티넷 관계자는 "과제가 종료되는 내년부터는 딥페이크 음란물 필터링, 보이스피싱 및 스미싱 차단 등 준비된 기능들을 기존 서비스에 고도화해 반영하고 상용화에 집중할 계획"이라며 "2026년부터는 이러한 협력과 사업이 회사의 주요 성장동력으로 자리 잡아 가시적인 성과를 나타낼 것으로 기대하고 있다"고 말했다. 이 같은 기술 덕분에 각 기업들의 주가는 '딥페이크 테마주'로 묶이며 최근 상한가를 기록하고 있다. 라온시큐어의 주가는 지난 26일 종가 기준 1천877원이었으나, 이날 종가는 2천390원으로 27.3%나 올랐다. 플랜티넷도 지난 27일부터 주가가 상승세를 보였는데 당시 주가는 전 거래일 대비 18.29% 오른 2천425원에 마감된 데 이어 ▲28일 2천425원 ▲29일 3천225원 ▲30일 3천255원을 기록했다. 이틀 전에 7천950원을 기록했던 샌즈랩 주가도 이날 9천660원에 마감됐다. 이는 정부가 딥페이크 대책 마련에 나선 것이 주효했다. 최근 한 대학 단체 대화방에서 여학생 얼굴을 음란물에 합성한 딥페이크 영상물이 유포되는 사건이 알려지며 사회적 파장이 커졌기 때문이다. 이후 중고등학교와 군대에서도 유사한 범죄가 확인돼 더 충격을 줬다. 이에 방송통신심의위원회는 긴급 전체 회의를 열고 음란물의 유통 경로인 텔레그램 등 글로벌 온라인 플랫폼 사업자들과 협의체를 구성하기로 했다. 또 여야는 물론 윤석열 대통령까지 나서 딥페이크 대책 마련을 주문하면서 이들 테마주의 주가 상승폭이 커졌다. 딥페이크 성범죄 영상물을 조기에 색출해 차단하는 과정에서 관련 기업들의 기술이 적용될 것이란 기대감이 반영된 탓이다. 다만 일각에선 딥페이크 방지 기술과 관련이 없는 정보보안 기업들의 주가도 함께 상승해 투자자들이 주의할 필요가 있다고 지적했다. A사의 경우 딥페이크 테마주로 묶이며 주가가 하루 새 15% 넘게 뛰자 내부적으로 당황스러워 하기도 했다. A사는 데이터 보안 분야에서 주목 받고 있는 곳으로, 딥페이크와는 크게 관련이 없는 것으로 알려졌다. 업계 관계자는 "보안 기술과 관련해 연관성이 있어도 실제 사업 성과로 이어지기 어려운 경우가 많고, 아직 딥페이크 방지 관련 법안도 제대로 갖춰지지 않은 상황"이라며 "딥페이크 기술을 원천적으로 막는 보안 프로그램을 강제로 판매하지 않는 이상 실제 매출로 이어지기도 쉽지 않다"고 말했다. 그러면서 "워터마크 표식 등을 남겨 딥페이크를 구별하는 방법들이 대안으로 얘기되고 있지만 사실상 이를 활용할 범죄를 완전히 막을 수 있는 방법은 없다"며 "딥페이크가 무조건 나쁜 기술이라고는 볼 수 없지만, 이를 악용할 시 강력하게 처벌하는 방안에 대해선 깊게 고민해 봐야 할 것"이라고 덧붙였다.

2024.08.30 18:17장유미

딥페이크 방심위 대책에 "새로울 게 없다" 지적

딥페이크 기술을 활용한 성범죄영상물 제작과 공유로 많은 피해자가 발생하자 방송통신심의위원회가 대책 마련에 나섰다. 그러자 "이미 시행하고 있는 방안을 강조한 것뿐"이라는 전문가 지적이 나왔다. 시행 중인 대책들에 대한 실효성 여부를 점검·분석해 보완하고, 디지털성범죄 피해자들을 보호하고 예방할 수 있는 방법을 강구해나가는 게 먼저라는 조언이다. 30일 관련업계에 따르면 방심위는 지난 28일 긴급 전체회의를 열고 '딥페이크 성범죄영상물 종합대책'을 발표했다. 방심위가 제시한 대응방안의 주요내용을 살펴보면 ▲텔레그램 딥페이크 피해 신고 본격 접수 ▲텔레그램 등 주요 유통경로 '집중화 모니터링' 실시 ▲딥페이크 성범죄영상물 대상 '강화된 3단계 조치' 시행 ▲텔레그램과 핫라인 확보 위한 단계적 조치 추진 ▲시정요청 협력 대상 관리 강화 ▲디지털성범죄 취약 계층 대응 정보 제공 및 현장 교육 추진 ▲국내 유관기관 및 민간기업 등과 공조 강화 ▲해외 유관기관 협력회의 등을 통한 국제적 여론 형성 ▲국내 전문가 그룹과 지속적 협업 및 대응전략 모색 ▲딥페이크 성범죄영상물 전담 인력 증원 추진 등이다. 다만 여기에 포함된 주요 내용이 이미 시행하고 있는 방안이고, 일부는 구색 갖추기에 불과하다는 비판이 제기됐다. 안정상 중앙대 커뮤니케이션대학원 겸임교수는 "이미 방심위는 2020년에 'n번방', '박사방' 사건 이후 텔레그램 및 디스코드 등에 대한 중점 모니터링을 실시하고 있다"며 "새로운 내용이 아니"라고 꼬집었다. 안 교수에 따르면, 방심위는 사업자 자율규제(삭제)를 유도해 성착취 영상의 유통 확산에 대처하고, 아동‧청소년 성착취 영상 판매정보에 대해서는 경찰청에 수사의뢰하는 동시에, 국제인터넷핫라인협회(INHOPE)를 통해 해당 영상의 삭제를 요청하는 등 강력 대응을 해왔다. 특히 정연주 위원장 체제였던 제5기 방심위에서는 2021년 8월 9일 출범 이후, 디지털성범죄심의소위원회가 24시간 상시 심의체계를 가동한 바 있다. 이미 제4기 방심위 시절인 2019년부터 INHOPE, NCMEC(실종학대아동방지센터) 등 해외 유관기관 및 구글 등 해외 사업자와 협력도 강화했다. 2021년 1월 '국제공조점검단' 출범 이후에는 해외 사업자 대상으로 불법·유해정보에 대한 자율규제를 적극 요청하기도 했다. 이를 통해 사업자 스스로 원(源) 정보 삭제 등의 조치를 할 수 있도록 하는 등 해외 불법‧유해정보의 유통 및 피해자의 피해 확산을 최대한 방지하기 위한 노력을 기울여 왔다. 아울러 2021년부터 디지털성범죄 정보에 대해 ▲사업자 협력 등 자율규제 유도 ▲해외 사업자 및 유관기관 협력 ▲중점 모니터링과 상시심의 등을 강화하고 ▲표준화된 '공공 DNA DB'를 제공함으로써 한 번 등록된 영상이 복제·재유통되는 것을 방지하는 시스템을 강화하며 ▲인력에 의존하는 방식의 기존 모니터링의 한계를 보완하는 24시간 상시 자동화 모니터링까지 도입했다. 안정상 교수는 "긴급 전체회의까지 자청하면서 '종합대책'이라고 거창하게 발표했지만 기존의 정책을 재탕한 속빈 강정에 불과했다"며 "핵심 대책은 대부분이 현재 시행중인데도 마치 새로운 대책인 양 발표하는 것은 국민을 호도하는 행위"라고 말했다. 그러면서 "지금은 기존의 대책보다 진일보한 국민공감형 대책을 강구하기 위해 범정부적 차원에서 실효성 있는 대책을 수립하고 부처 간 협력체계를 구축해 신속·정확하게 디지털성범죄 피해자들을 보호하고 나아가 예방할 수 있도록 하는 것이 중요하다"고 강조했다. 이어 "성급하게 국민 앞에 그럴싸하게 포장한 대책을 내고 국민의 비판을 받기보다는 기존의 시행 중인 대책들에 대한 실효성 여부를 점검, 분석해 정책적·법적 미비 사항을 제대로 보완해 철저한 대책이라고 평가받는 방안을 마련하는 것이 필요하다"고 역설했다.

2024.08.30 10:38안희정

"피해자 절반 한국인"…女 차별 여전한 韓, '딥페이크' 성범죄로 해외서 망신

최근 여성의 얼굴에 음란물을 합성·유포하는 '딥페이크(인공지능 기반 이미지 합성)' 음란 영상물이 확산되며 피해가 속출하고 있는 가운데, 전 세계 피해자의 절반 이상이 한국인, 99%가 여성이라는 충격적인 조사 결과가 나왔다. 30일 미국 사이버보안 업체 시큐리티 히어로에 따르면 지난해 7~8월 딥페이크 음란물 사이트 10곳과 유튜브·비메오·데일리모션 등 동영상 공유 플랫폼의 딥페이크 채널 85개에 게재된 영상물 9만5천820건을 분석한 결과, 한국이 딥페이크 음란물에 가장 취약한 국가로 조사됐다. 딥페이크 음란물에 등장하는 개인 중 53%가 한국인으로 가장 많았고, 두 번째로 많은 미국인(20%)과 두 배 이상 차이가 났다. 일본인(10%), 영국인(6%), 중국인(3%), 인도인(2%), 대만인(2%), 이스라엘인(1%)도 피해를 입은 것으로 나타났다. 시큐리티 히어로는 "한국은 딥페이크 음란물에서 가장 많이 표적이 되는 국가"라며 "딥페이크는 엔터테인먼트·정치·허위조작정보 등 다양한 목적으로 이용되지만 어떤 국가에서는 특정한 형태의 딥페이크 콘텐츠, 특히 노골적인 콘텐츠에 더 취약하다"고 지적했다. 한국인 딥페이크 피해자 대부분은 가수, 배우 등 연예인이었다. 딥페이크 음란물의 최다 표적이 된 개인 10인 중 8명은 한국인 가수였다. 1∼7위와 9위가 한국 가수였고 8위는 태국 가수, 10위는 영국인 배우였다. 보고서는 사안의 민감성을 고려해 피해자의 이름은 밝히지 않았다. 가장 큰 피해를 본 한국인 가수는 딥페이크 성착취물 1천595건에 등장했으며 총 조회수는 561만 회에 달했다. 또 다른 한국 가수는 성착취물 1천238건의 표적이 됐고 조회수는 386만5천 회였다. 이번에 분석한 딥페이크 영상물의 98%는 음란물이었다. 2022년 3천725건이던 딥페이크 음란물은 2023년 2만1천19건으로 464% 급증했다. 딥페이크 음란물 피해자 99%는 여성이었고, 94%는 연예계 종사자였다. 일반 딥페이크 영상물에서 여성의 비율은 77%였다. 시큐리티 히어로는 "딥페이크 음란물은 일정 그룹의 개인이 조작적이고 종종 악의적인 목적에 따른 표적이 된다는 것이 특징"이라며 "유명 인사인 경우가 많다"고 말했다. 미국 월스트리트저널(WSJ)은 시큐리티 히어로의 조사 결과와 함께 한국 정부의 딥페이크 음란물 단속 강화 움직임을 전하면서 "가짜 음란물을 생성·유포하는 텔레그램 기반 네트워크 적발은 한국이 전 세계적 문제의 진앙임을 시사한다"고 강조했다. 영국 BBC 방송은 딥페이크 문제와 함께 지난 2019년 발생한 텔레그램 N번방 사건을 언급하며 한국이 디지털 성범죄에 심각한 문제를 가지고 있음을 지적했다. 또 BBC는 한국 내 온라인 딥페이크 성범죄가 급증하고 있다는 점을 꼬집으며 올 상반기 동안 한국 경찰에 접수된 딥페이크 성범죄가 297건에 달한다고 전했다. 이는 지난해 전체(180건), 2021년(160건)보다 크게 증가한 수치다. BBC 방송은 "최근 한국에서 미성년자를 포함해 성적으로 노골적인 딥페이크 이미지를 제작하고 공유하는 채팅 그룹이 다수 발견됐다"며 "윤석열 대통령은 '디지털 성범죄를 철저히 조사하고 해결해 근절하라'고 지시했다"고 국내 분위기를 전했다. 이어 "지난 3년 동안 한국 딥페이크 범죄의 3분의 2 이상을 10대 청소년이 저질렀다"며 "한국은 디지털 성범죄에 대한 어두운 역사를 가지고 있다"고 덧붙였다. BBC 방송은 한국에서 몰카나 딥페이크 성범죄가 급증하는 배경으로 '성별 격차'를 들었다. 한국 기업이 여전히 여성에게 우호적이지 않다는 점을 수치로도 제시했다. BBC 방송은 "한국 상장 기업의 임원직 중 여성은 5.8%에 불과하며 한국 여성은 남성보다 평균 3분의 1 정도의 임금을 받고 있다"며 "세계 부국 중 성별 임금 격차가 가장 심하다"고 지적했다. 이어 "급성장하는 기술 산업에 만연한 성희롱 문화가 더해져 디지털 성범죄가 폭발적으로 증가하고 있다"고 덧붙였다. 영국 일간 가디언은 "한국은 비밀리에 촬영된 성적 영상물인 '몰래카메라'를 근절하려 오랜 기간 분투해 왔다"며 "최근에는 딥페이크 이미지의 물결과도 전투를 벌이고 있다"고 말했다. 외신들의 이 같은 우려 속에 정부 부처들은 딥페이크를 막기 위한 방안 마련에 속속 도입했다. 먼저 서울경찰청 사이버수사대는 태스크포스(TF)를 조직, 딥페이크 성착취 허위영상물 집중 대응에 나섰다고 밝혔다. TF는 총괄팀장인 서울경찰청 사이버수사과장을 필두로 3개 전담수사팀, 사이버프로파일링팀·디지털포렌식팀·지원부서팀까지 총 6개 팀으로 구성됐으며 내년 3월 31일까지 7개월간 운영된다. 방송통신심의위원회는 텔레그램은 물론 페이스북·엑스(X)·인스타그램·유튜브 등 글로벌 온라인 플랫폼 사업자들과 딥페이크 방지를 위한 협의체를 구성했다. 또 네이버와 카카오 등 국내 플랫폼에 대해서는 방심위 전용 신고 배너 팝업 설치를, 공영방송사들에는 관련 캠페인 영상 제작 및 송출 등 협조를 구할 예정이다. 교육부도 청소년을 중심으로 딥페이크 문제가 심각하다고 보고 TF를 운영하며 강력 대응에 나설 것을 시사했다. 딥페이크를 제작, 유포할 경우 퇴학 등을 고려한다는 방침이다. 과학기술정보통신부와 여성가족부 역시 딥페이크 대응에 협력하기로 했다. 업계 관계자는 "AI 생성물 '워터마크(표식)' 의무화나 핀셋규제 필요성이 필요하다"며 "AI 기술과 함께 등장한 비교적 새로운 유형의 성범죄인 탓에 처벌 사례가 아직 많지 않고, 처벌도 여전히 솜방망이 수준"이라고 지적했다.

2024.08.30 09:34장유미

방심위, 텔레그램 CEO 수사 프랑스에 딥페이크 '긴급 공조' 요청

방송통신심의위원회는 텔레그램 CEO를 수사중인 프랑스 당국에 딥페이크 성범죄영상물 대응과 관련해 긴급 공조 요청을 보냈다고 29일 밝혔다. 방심위 측은 텔레그램 CEO인 파벨 두로프를 지난 24일 체포하고 구금했다가, 현재 수사 중인 프랑스 수사당국측과 접촉이 디지털성범죄 관련 글로벌 네트워크와의 협력을 통해 가능해졌다고 설명했다. 먼저 방심위는 위원장 명의의 서한을 통해 ▲텔레그램과의 직접 소통이 가능하도록 지원해줄 것과, ▲향후 텔레그램 문제에 관련된 상시적인 협력관계 구축을 긴급 요청했다. 이 서한에서 방심위는 ▲텔레그램 딥페이크 성범죄영상물로 인해 최근 한국에서 벌어지고 있는 심각한 사회적 피해를 설명하고, ▲구체적인 범죄유형을 적시하면서, 22만명이 연루된 이 범죄의 주된 피해자가 미성년자임을 강조하며, 긴급 공조의 필요성을 피력했다. 방심위는 "프랑스 수사당국과의 접촉 채널이 확보된 만큼, 앞으로 지속적으로 다양한 방법을 통해, 협력이 가능할 것으로 기대한다"고 말했다. 이번 서한은 '딥페이크 성범죄영상물 10대 종합대책'에 따른 후속조치로 텔레그램과의 핫라인 확보를 위한 단계적 조치의 일환이다.

2024.08.29 22:18안희정

[ZD SW 투데이] 카테노이드, 에쓰핀테크놀로지와 MS 서비스 제공 파트너십 체결 外

지디넷코리아가 소프트웨어(SW) 업계의 다양한 소식을 한 눈에 볼 수 있는 'ZD SW 투데이'를 새롭게 마련했습니다. SW뿐 아니라 클라우드, 보안, 인공지능(AI) 등 여러 분야에서 활발히 활동하고 있는 기업들의 소식을 담은 만큼 좀 더 쉽고 편하게 이슈를 확인해 보시기 바랍니다. [편집자주] ◆카테노이드, 에쓰핀테크놀로지와 MS 서비스 제공 파트너십 체결 카테노이드가 에쓰핀테크놀로지와 마이크로소프트 서비스 제공을 위한 파트너십을 체결했다. 카테노이드는 이번 파트너십을 통해 클라우드 및 AI 서비스를 제공할 예정이다. 또 고객 니즈에 맞는 IT 솔루션과 컨설팅 서비스를 제공해 비즈니스 성장을 위한 클라우드 및 AI 도입·활용을 적극 지원할 예정이다. ◆안랩, 'TIP 3.0' GS인증 1등급 획득 안랩의 차세대 위협 인텔리전스 플랫폼 '안랩 티아이피 3.0(AhnLab TIP 3.0)'가 한국정보통신기술협회(TTA)로부터 소프트웨어 품질인증(GS) 1등급을 획득했다고 밝혔다. GS인증은 국제표준을 기반으로 소프트웨어의 기능 적합성, 성능 효율성, 사용성, 신뢰성, 보안성 등 항목에 대해 기능을 평가하고 인증을 부여하는 제도다. ◆딥브레인AI, '딥페이크 탐지 솔루션' 1개월 무료 지원 딥브레인AI가 딥페이크의 진위여부를 판별하는 '딥페이크 탐지 솔루션'을 1개월간 무료로 지원한다. 이 제품은 영상, 이미지, 음성 탐지를 지원하며 딥페이크 진위여부, 변조율, 합성유형 등을 판별해 결과를 제공한다. ◆티맥스에듀AI, 에듀윌과 AI 기반 학습 솔루션 개발 티맥스에듀AI가 경기도 성남시 티맥스그룹 사옥에서 에듀윌과 업무협약을 체결했다. 이번 업무협약은 AI를 기반으로 질 높은 교육 콘텐츠을 개발하고 고객에게 맞춤형 학습을 제공하기 위해 진행됐다. 양사는 AI 기반 학습 솔루션을 개발하고 성인 교육 시장에서 경쟁력을 강화할 계획이다. ◆모넷코리아, 강남구와 '강남, 디지털을 품다' 실증사업 파트너십 체결 모넷코리아가 강남구와 '강남, 디지털을 품다' 실증사업 추진을 위한 업무협약을 체결했다. '강남 디지털을 품다'는 강남구 행정의 혁신적인 변화를 위한 도시문제 해결 사업이다. 모넷코리아는 이 사업에서 사물인터넷(IoT) 무선 센서 기반 공공시설 구조물 안전관리의 실증사업을 진행할 예정이다.

2024.08.29 17:44조이환

텔레그램에 퍼진 딥페이크, 다크웹이 더 문제다

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [김미정의 SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [김미정의 SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주] 생성형 인공지능(AI)을 악용한 딥페이크 이미지·영상이 텔레그램에 퍼진 가운데, 다크웹을 통한 딥페이크 음란물 확산 심각성도 인지해야 한다는 목소리가 나왔다. 전문가들은 텔레그램·다크웹 내 딥페이크 차단을 위해 기술 개발뿐 아니라 정부·기업 공조 수사가 필요하다고 입을 모았다. 29일 보안 업계는 텔레그램뿐 아니라 폐쇄적인 다크웹 환경에서도 딥페이크 영상과 사진을 잡기 어려울 것이라고 우려를 제기했다. 다크웹은 구글이나 네이버 등 일반적인 검색 엔진으로 접근할 수 없는 웹사이트들이 모여 있는 영역이다. 다크웹은 특별한 소프트웨어(SW)나 네트워크 권한이 있어야만 접근 가능하다. 누구나 쉽게 이용할 수 있는 텔레그램과 다른 개념이다. 딥페이크 음란물 포착이 다크웹서 더 어려운 이유다. 실제 노드VPN이 올 초 다크웹 게시판을 분석한 결과 소셜미디어(SNS), 텔레그램 등을 통해 유출된 노출 사진이나 영상에 댓글이 평균 1천850개 달리는 것으로 드러났다. 이에 텔레그램뿐 아니라 다크웹도 딥페이크 영상물 확산 통로로 지목되고 있다. 보안 업계는 다크웹 내 딥페이크 콘텐츠 포착이 어려운 이유로 강력한 데이터 휘발성을 꼽았다. 검색 환경이 잘 갖춰진 구글과 달리 다크웹 내 검색은 특정인 사진과 영상을 검색해도 찾기 어렵다는 의미다. 다크웹 시스템은 특수 브라우저 생성과 삭제를 통해 정보를 은닉할 수 있는 환경을 갖춘 셈이다. 이에 보안 기업들은 다크웹 내 콘텐츠 검색을 가능케하는 솔루션을 내놨다. 주로 다크웹 콘텐츠를 복원해 검색 결과에 드러나게 하는 기술을 갖췄다. 다만 이런 기능도 딥페이크 콘텐츠 포착을 100% 할 수는 없다. 한 보안업계 관계자는 "공격자들이 딥페이크 음란 콘텐츠가 쉽게 포착되지 않기 위해 틀린 정보를 의도적으로 흘리는 경우가 있다"며 "기술 개발이 아무리 뛰어나도 다크웹 내 딥페이크 음란 콘텐츠를 100% 걸러내기 힘든 이유"라고 본지에 강조했다. 딥페이크 차단 나선 정부…"기술 개발보다 공조 우선" 정부가 텔레그램·다크웹 내 딥페이크 음란물 차단을 위해 나섰다. 29일 과학기술정보통신부는 생성형 AI를 활용해 지인 대상 합성물을 제작 및 유포하는 딥페이크 예방을 위해 20억원 규모 예산을 편성했다고 발표했다. 과기정통부는 내년 예산안 브리핑에서 딥페이크 범죄 예방을 위해 연구개발(R&D) 과제에 착수한다고 밝혔다. 이주식 정보통신방송기술정책과장은 적대적 생성신경망(GAN) 기반 딥페이크 탐지 고도화 및 생성 억제 기술 개발에 10억원을 투자한다고 발표했다. 나머지 10억원은 자가진화형 딥페이크 탐지 기술 개발에 들어갈 방침이다. 이에 보안 업계는 정부가 딥페이크 차단 기술에만 집중해선 안 된다고 주장했다. 이보다 국내외 기업·기관과 수사 공조하는 것에 더 집중해야 한다고 입을 모았다. 현재 기술만으로 딥페이크 콘텐츠를 100% 포착하기 어렵기 때문이다. 또 딥페이크 콘텐츠 검색을 원활히 하기 위해선 국내외 콘텐츠 공급자와 꾸준한 소통이 이뤄져야 한다. 정부도 보안 업계 주장에 동의하는 분위기다. 우선 딥페이크 성범죄 콘텐츠 유포에 가장 많이 사용된 텔레그램 측과 소통을 시작하겠다고 밝혔다. 텔레그램은 해외 개발사 소유이므로 서버 위치가 해외에 있다. 차단 기술 개발뿐 아니라 서비스 공급자와 직접적 공조가 필요한 이유다. 국민의힘 김상훈 정책위의장은 29일 여의도 국회서 열린 딥페이크 성범죄 관련 부처 긴급 현안보고에서 "현재 텔레그램과 협력회의를 시작한 상태"라며 "상시 협의를 통해 핫라인을 확보할 것"이라고 했다. 이어 "그동안 국제 공조가 제대로 이뤄지지 않아 딥페이크 콘텐츠 차단에 어려움을 겪었다"며 "텔레그램과 원활한 소통을 통해 추가 피해를 막을 것"이라고 덧붙였다.

2024.08.29 16:42김미정

"딥페이크 차단"…샌즈랩, AI 범죄 막는 플랫폼 개발 착수

샌즈랩이 생성형 인공지능(AI)을 악용한 허위 정보와 저작권 침해, 딥페이크 차단에 나섰다. 샌즈랩은 생성형 AI 역기능 억제를 위한 사이버 보안 특화 검색증강생성(RAG) 기반 소형언어모델(sLLM)과 국민 체감형 플랫폼을 개발 중이라고 28일 밝혔다. 생성형 AI 역기능이란 AI 기술이 허위 정보 및 가짜 뉴스 생성, 저작권 침해, 딥페이크 생성, 사이버 범죄 약용 등의 부정적이거나 예상치 못한 방식으로 악용되는 것을 말한다. 이에 정부는 모든 국민이 안전하게 AI를 활용할 수 있도록 생성형 AI의 윤리적 활용을 위한 제도 보완과 핵심기술 개발에 많은 노력을 기울이고 있다. 과학기술정보통신부와 정보통신기획평가원(IITP)은 AI 역기능 억제를 위한 사이버 보안 특화 RAG 기반 sLLM 모델 개발과 국민 체감형 플랫폼 구축을 과제로 총 100억 규모 '정보보호 핵심 원천기술 개발사업'을 발주했다. 지난 4월 해당 사업을 수주한 샌즈랩은 엘지유플러스, 포티투마루, 로그프레소, 한국과학기술원(KAIST)와 공동 연구에 착수했다. 사업 핵심은 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 온프레미스 기반 sLLM 개발을 목표로 한다. 생성형 AI 역기능으로 인한 피해를 최소화하고 디지털 환경의 안정성 및 신뢰성 향상에 기여함은 물론 정보 조회 및 분석의 신속화로 의사결정 지원 시간의 단축과 대화형 인터페이스 개발로 사용자 경험 중심의 보안 서비스를 제공하는 것이 목적이다. 샌즈랩은 AI 모델 개발을 위한 필수 요건인 데이터셋을 페타바이트(Petabyte) 규모로 자체 보유하고 있다. 특정 분야를 식별하는 AI 모델이 필요한 수집 및 전처리된 데이터를 즉시 학습해 곧바로 탐지 및 대응 통합 시스템에 활용할 수 있는 셈이다. 이를 위한 분야별 데이터셋 구축, sLLM 및 대화형 인터페이스 개발을 통해 사이버 보안에 특화된 다양한 AI 기술 기반 응용 서비스의 연구개발에 유용하다는 평가를 받고 있다. 이번 연구개발 과제 중 하나인 생성형 AI 역기능 탐지 대응 기술을 통한 국민 체감형 플랫폼은 최근 사회적 문제로 가장 대두되고 있는 피싱 공격, 허위 정보 생성, 악성코드 대량 생산, 음성 합성, 딥페이크 이미지·영상 제작 같은 디지털 범죄 근절과 피해 확산을 막기 위한 대책 마련에 따른 개발이다. 샌즈랩 AI 기술개발팀은 엘지유플러스와 공동 연구개발하는 딥페이크 영상·이미지 탐지 기술은 심층 학습 기반의 알고리즘 개발, 생성적 적대 신경망(GAN) 기술에 대항하기 위한 적대적 학습 방법 적용, 멀티 모달 데이터 분석을 통해 더욱 정확하고 정밀하게 딥페이크를 탐지할 수 있다고 강조했다. 실시간 비디오 스트리밍이나 소셜 미디어 플랫폼에서의 즉각적인 탐지를 위해 모델을 경량화함으로써 복잡도는 최소화하고 탐지 정확도는 유지하거나 올릴 수 있는 최적화 기법을 적용할 방침이다. 샌즈랩 관계자는 "딥페이크를 비롯해 피싱 메일, 악성코드, 음성 합성, 가짜 뉴스 등을 탐지하는 국민 체감형 플랫폼은 각종 탐지 기술은 물론 결과 설명을 위한 RAG, 암호화 해제 등 다양한 AI 관련 기술들이 모인다"며 "국내 보안 기술에 대한 신뢰 구축에 중요한 기여를 할 것으로 보인다"고 강조했다.

2024.08.28 17:38김미정

과기정통부-여가부, 딥페이크 성범죄 근절 맞손

강도현 과학기술정보통신부 차관과 신영숙 여성가족부 차관은 28일 오후 디지털성범죄피해자지원센터를 방문해 운영 현황을 살피고, 이미지 합성 기술(딥페이크) 성범죄가 심각해지고 있는 상황 속에서 피해 예방과 피해자 지원방안에 대해 긴급 점검하는 자리를 가졌다. 여가부 산하기관인 한국여성인권진흥원에 설치된 디지털성범죄피해자지원센터는 디지털 성범죄 피해상담과 피해촬영물에 대한 삭제를 지원하고, 수사와 무료법률지원 연계 등 종합적인 서비스를 제공하고 있다. 2018년 4월 개소 이후 현재까지 총 3만2천여명의 피해자를 대상으로 피해촬영물 상담과 삭제, 수사 법률 의료 연계 지원 등 총 100만4천건의 서비스를 제공했다. 최근 생성형 인공지능 기술을 활용해 손쉽게 허위 음란영상물을 제작할 수 있게 되면서 일반인 대상으로 디지털 성범죄 피해가 빠르게 확산됨에 따라, 두 부처는 신속한 대응방안 모색을 위해 디지털성범죄피해자지원센터를 방문했다. 딥페이크 성범죄 예방과 대응은 지난 5월에 국무회의에서 보고된 범부처 '새로운 디지털 질서 정립 추진계획'에 포함된 핵심 정책 과제 중 하나로 부처 간 협업을 이어왔다. 강도현 차관은 “디지털 성범죄는 피해자의 삶을 송두리째 파괴하고 사회질서를 위협하는 용서할 수 없는 범죄”라면서 “과기정통부는 모두를 위한 안전한 디지털 사회를 구현해야 하는 임무가 있는 만큼, 여가부와 협력해 딥페이크 성범죄를 예방하고 피해자를 빠르게 지원할 수 있는 기술개발, 새로운 사업 기획 등을 적극 지원하겠다”고 밝혔다. 신영숙 차관은 “디지털 기술을 악용해 갈수록 정교해지는 디지털 성범죄로부터 피해자를 보호하기 위한 국가적 노력이 요구되고 있다”며 “딥페이크 성착취물을 빠르게 탐지할 수 있는 삭제시스템 고도화 등 현장에서 개선이 필요한 사항을 중심으로 과기정통부와 협력방안을 논의해 건전한 디지털 환경을 함께 조성해 나가겠다”고 말했다. 신보라 한국여성인권진흥원장은 “끊임없이 재유포되는 피해영상물의 신속하고 완전한 삭제를 위해 삭제 실무자 1인당 피해자 100명 이상을 지원하며 혼신의 노력을 기울이고 있다”며 “삭제지원시스템에 고도화된 기술이 도입된다면 피해자 지원을 확대할 수 있을 뿐만 아니라 실무인력 부족을 보완할 수 있는 하나의 방안이 될 수 있을 것”이라고 강조했다.

2024.08.28 14:22박수형

"딥페이크 범죄 신속 대응…플랫폼 사업자들과 협의체 구성"

방송통신심의위원회가 딥페이크 기술로 제작된 성범죄영상물을 신속하게 차단하기 위해 전자심의를 강화한다. 또한 글로벌 온라인 플랫폼 사업자들과 협의체를 구성해 차단 조치와 자율 규제를 요청할 계획이다. 방심위는 28일 오전 긴급 전체회의를 열고 딥페이크 합성 기술을 악용한 디지털 성범죄 영상에 대한 대책 방안을 의결했다. 먼저 방심위는 27일부터 홈페이지에 전용 배너를 별도로 설치하고 성범죄영상물 신고를 쉽게 접수할 수 있도록 했다. 온라인 신고와 함께 방심위 디지털 성범죄 신고 전화인 1377의 기능도 강화했다. 딥페이크 성범죄 영상물 신고를 상담원이 직접 24시간 365일 접수하고 상담케 했다. 또한 딥페이크 성범죄영상물의 주요 유포경로인 텔레그램 등 주요 SNS에 대한 자체 모니터 인원을 2배 이상 늘려 집중 모니터링을 통해 불법 성범죄 영상물을 신속 적발하겠다고 했다. 방심위 측은 "향후 디지털 성범죄 전담 인력을 늘려나갈 예정"이라고 밝혔다. 아울러 삭제 차단 조치와 관련해 전자심의를 강화해 24시간 이내 삭제차단이 될 수 있도록 시정을 요구하고, 악성 유포자는 즉각 경찰에 수사의뢰하도록 했다. 이를 위해 국내 포털 사이트와 텔레그렘, 페이스북, 엑스, 인스타그램, 유튜브 등 글로벌 온라인 플랫폼 사업자들과도 협의체를 구성해 신속 삭제 차단 조치와 함께 자율적 규제를 요청할 계획이다. 류희림 방심위원장은 이날 "딥페이크 기술을 악용한 성범죄 영상은 우리 사회를 정조준해 위협하는 상황이 됐다"며 "보완 입법을 관계 기관에 건의하고, 관련 전문가들과 협력해 보완 입법 이전에 할 수 있는 최대한의 심의 규정 보완도 강구하겠다"고 강조했다.

2024.08.28 11:48안희정

내년 국가R&D 예산 29.7조 원…역대 최대 규모

내년 정부R&D 예산은 올해 26.5조 원 대비 11.8% 증가한 29.7조 원으로 편성됐다. 역대 최대 규모라는 것이 과기정통부 설명이다. 정부 총지출 증가율이 3.2%임을 감안할 때 다른 분야에 비해 큰 폭 확대됐다. 그러나 일각에서는 정부 R&D 정책 전면 전환을 촉구하고 나서 오는 국회 상임위나 오는 10월 열릴 국정감사에서 이슈로 재부상할 가능성도 있다. 내년 정부 R&D 투자는 국가혁신 연구생태계 확보 기술혁신 국민안전 등 4개 방향에 맞췄다. 3대 게임 체인저 등에 3.5조원 투입 정부가 3대 게임체인저로 보는 AI-반도체와 첨단바이오, 양자 등에 3.5조원을 투입한다. 올해 대비 0.8조원 늘어난 규모다. 또 연구현장의 과감하고 혁신적인 도전을 적극 지원하기 위해 혁신 도전형 연구개발 과제 투자액을 올해 대비 0.3조원 늘려 내년 1,0조원 투입할 계획이다. 이를 통해 정부는 오는 2030년까지 3대 게임 체인저분야가 세계 3대 강국(G3)에 진입할 것으로 기대했다. 선도형 연구생태계 구축 강화나서 기초연구에 사상 최대 규모인 2.9조 원이 투입된다. 분야별·연구자별 특성에 맞는 맞춤형 지원 등 국내 기초연구 생태계를 두텁고 촘촘하게 지원하는 방향으로 예산을 편성했다. 최근 예타가 면제된 전일제 이공계 석,박사생을 위한 연구생활장려금 제도에 600억 원을 배정했다. 또 호라이즌 유럽(Horizon Europe) 참여 등 글로벌 협력에도 총 2.2조원을 투자한다. 인재 확보에도 0.2조 늘어난 1.0조원을 배정했다. 초격차 첨단기술 기술 주권 등 자생력 확보에 방점 반도체·디스플레이, 이차전지 등 첨단산업의 초격차 확보와 우주, 차세대 원자력 등 신성장 산업을 뒷받침할 수 있는 기술개발에도 투자를 확대한다. 기업 연구개발은 기술 스케일업과 딥테크 사업화에 대한 지원, 투·융자 연계 등 투자방식 다변화를 통해 혁신 역량 보유 기업의 기술혁신 가속화와 자생력 확보를 지원하기로 했다. 첨단기술 초격차 부문은 올해 대비 0.4조원 증가한 2.4조원을 내년에 쏟아 붓기로 했다. 기술주권 신성장 부문은 올해대비 0.5조원 증가한 3.3조원을 내년 투입한다, 기업 혁신사다리에도 내년 1.4조원을 투자한다. 국방 전력 첨단화 등 과학기술로 국민안전 확보 국방분야는 방산기술 경쟁력 제고 및 민·군 첨단기술 협력 등 국방의 첨단전력화에 투자를 강화하기로 했다. 국방 관련 예산은 올해 대비 0.2조원 증가한 3.1조 원을 투입한다 정부 국방 R&D에 3조원을 넘어서기는 이번이 처음이다. 또 디지털 범죄 등 국민생활과 직결된 새로운 형태의 위협에 신속대응하고 중대재해 현장 대응력 강화를 위한 재난·안전 R&D에 2.1조원을 투입하기로 했다. 이는 올해대비 0.2조원 늘어난 규모다. 2025년도 예산안 및 기금운용 계획안은 오는 9월 2일 국회에 제출될 예정이다. 정기국회에서 상임위 예비심사, 예결위 본심사와 본회의 의결을 통해 수정 및 최종 확정된다. 유상임 과기정통부 장관은 “R&D 시스템 전환 등 체질개선을 바탕으로, 선도형 R&D가 실질적으로 자리 잡기 위해 필요한 곳에 제대로 투자하는데 중점을 뒀다"며 “민간이 개발하기 어려운 유망기술에 과감히 투자하고 국가 경쟁력의 원천인 핵심인재를 육성, 내년을 대한민국 미래도약의 원년으로 만들 것"이라고 말했다. 한편 황정아 의원(더불어민주당)과 이해민 의원(조국혁신당)은 지난 26일 기자회견을 열어 "정부가 2022 년도 발표한 '2022~2026 중기 재정운용계획 '에 따르면, 내년 R&D 예산은 33.2 조원이어야 한다"는 지적과 함께 R&D 예산복원을 요구했다.

2024.08.28 09:01박희범

"여동생·지인 나체 사진 드려요"…韓, 딥페이크 성범죄↑

생성형 인공지능(AI) 기술을 악용한 딥페이크 성범죄가 늘고 있다. 딥페이크 범죄를 처벌할 수 있는 법적 세부 기준이 마련되지 않아 피해 사례는 더욱 증가할 전망이다. 26일 정보기술(IT) 업계에 따르면 100개 이상 국내 대학과 중·고등학교에서 텔레그램 딥페이크 성범죄가 만연한 것으로 드러났다. 이들은 생성형 AI 기술로 지인 사진과 나체 사진·영상을 합성해 텔레그램 방에 공유한 것으로 전해졌다. 딥페이크는 딥러닝(Deep learning)과 가짜를 뜻하는 페이크(fake)를 합친 용어다. 생성형 AI 기술 등으로 여러 사진을 조합해 가짜 인물이나 영상을 사실처럼 만들 수 있는 기술이다. 그동안 연예인이나 정치인, 인플루언서 이미지와 음란물을 합성해 유포하는 범죄가 다수였다. 이제 누구나 생성형 AI로 딥페이크 사진과 영상을 생성할 수 있게 됐다. 이에 일반인 피해 사례가 우후죽순으로 늘고 있다. 최근 학생들 사이에서 일반 사진을 나체 사진으로 변형해 주는 생성형 AI 챗봇이 활성화하고 있다. 예를 들어 사용자가 여성 사진을 올리면 생성형 AI가 이를 나체사진으로 바꿔주는 식이다. 서울경찰청에 따르면 학생들은 딥페이크로 제작된 나체사진을 텔레그램 방에 공유한 것으로 전해졌다. 또 다른 텔레그램 방에서는 여동생이나 여군, 지인 사진을 자체 사진으로 변형해 공유하는 행위도 드러났다. 가족뿐 아니라 친구 사진까지 딥페이크 성범죄 대상물이 된 셈이다. 관련 범죄로 경찰에 붙잡힌 10대 청소년이 서울에서만 올해 10명인 점도 전해졌다. 서울경찰청 관계자는 "올해 1~7월 청소년 10명이 딥페이크 범죄로 검거됐다"고 밝힌 바 있다. 현재 딥페이크 성범죄 처벌법이 마련됐긴 했다. 딥페이크 음란물 대상자가 아동일 경우, 아동·청소년 성 보호에 관한 법률(11조)에 따라 처벌받는다. 대상자가 성인일 경우 성폭력 범죄 처벌 등에 관한 특례법(14조)에 의해 처벌받을 수 있다. 다만 딥페이크로 인한 성범죄가 기존보다 다양해지면서 세부적인 법적 기준 필요성이 제기되고 있다. 김봉식 서울경찰청장은 "학생들에게 성범죄 전력 심각성을 가르치겠다"며 "범죄가 사회활동에 지장을 초래할 수 있다는 점을 알리는 교육을 강화할 것"이라고 강조했다.

2024.08.26 18:04김미정

"AI 무기화 반대"…딥마인드 직원, AI 군사 목적 계약 종료 촉구

구글의 인공지능(AI) 연구 자회사 딥마인드 직원들이 전쟁과 인종차별에 AI를 사용하는 것에 반대하고 나섰다. 23일 타임 등 외신에 따르면 구글 딥마인드 직원 200여 명은 이스라엘 정부와 체결한 프로젝트 님버스 계약을 종료할 것을 촉구하는 서명에 사인했다. 서명한 직원들은 가자에서 벌어지는 전쟁에 AI가 악용될 우려가 크다며 프로젝트 님버스 계약에 대한 반대 시위에 나서고 있다. 특히 딥마인드가 2014년 구글에 인수될 당시 군사 또는 감시 목적으로 AI를 사용하지 않을 것이라는 약속을 체결한 만큼 해당 프로젝트는 이를 위반하는 것이라고 강하게 비판에 나서고 있다. 프로젝트 님버스는 구글과 아마존이 2021년에 체결한 합작 계약으로 이스라엘 정부와 군대에 클라우드 컴퓨팅 인프라, 인공지능(AI) 및 기타 기술 서비스를 제공하는 사업이다. 약 12억 달러 규모인 해당 사업의 구체적인 목표와 임무는 공개되지 않았다. 하지만 구글클라우드플랫폼(GCP)에서 제공하는 AI 도구에는 미국 세관 및 국경 보호국에서 사용했던 얼굴 감지, 자동 이미지 분류, 객체 추적 및 감정 분석 기능이 포함될 것으로 알려지면서 논란이 되고 있다. 이스라엘 국방부나 관련 기관에서 해당 AI도구를 사용할 우려가 있기 때문이다. 구글 직원들과 전문가들은 이스라엘이 팔레스타인 사람을 격리시키기 위해 AI를 사용되고 있다고 우려를 표하고 있다. 또 법학자들도 전쟁에서 AI를 사용하는 것은 국제법을 위반한다고 지적 중이다. 프로젝트 님버스 계약에는 이스라엘에서 AI를 어떤 군사적 용도로 사용하는지 명시되어 있지 않으며, 특정 목적으로 사용한다는 근거도 마련되지 않았다. 하지만 구글 직원들은 이스라엘과 같은 국가에서 클라우드 인프라를 사용할 경우 실제 어떤 활동에 활용하는지 파악하는 것은 거의 불가능하다고 지적했다. 이에 지난 3월 열린 구글 컨퍼런스에서 진행된 이스라엘 기술 산업을 홍보하는 연설도중 에디 해트필드라는 구글 개발자가 난입한 바 있다. 당시 그는 대량 학살, 아파르트헤이트 또는 감시를 위한 기술을 만드는 것을 거부한다며 해당 계약을 비판하며 소리쳤다. 연설 방해로 인해 에디 해트필드는 구글에서 해고됐다. 이러한 구글의 조치에 항의하는 의미로 3일 뒤 구글 신뢰 및 안전 정책 담당 직원 비다나 압델 카렉도 사직서를 제출했다. 구글의 티나 바초프스키 SW엔지니어도 "팔레스타인에서 잔혹 행위를 저지르는 데 도움이 되는 이스라엘 정부 제품을 회사가 제공한다는 사실을 알고 있을 때 일에 대한 흥분과 활력을 느끼는 것은 불가능하다"고 말했다. 구글 조직 내 직원들의 불만이 이어지자 순다르 피차이 구글 최고경영자(CEO)는 대처에 나섰다. 피차이 CEO는 "우리는 놀라운 제품을 만들고 훌륭한 아이디어를 실행으로 옮길 수 있는 활기차고 개방적인 토론 문화를 가지고 있다"며 "하지만 궁극적으로 구글은 직장이며 우리의 정책과 기대는 명확하다"고 말했다. 이어 "이것은 엄연히 사업으로, 동료를 방해하거나 안전하지 않다고 느끼게 하는 방식으로 행동하고 회사를 개인적인 플랫폼으로 사용하려고 시도할 뿐 아니라 파괴적인 문제에 대해 싸우거나 정치에 대해 논쟁해선 안된다"며 "이것은 우리가 주의를 산만하게 할 수 없을 만큼 중요한 사안"이라고 답했다.

2024.08.23 10:18남혁우

[현장] 여·야도 AI로 뭉쳤다…하정우 과실연 대표 "韓 특색 담은 AI 국가 프로젝트 만들자"

"대한민국이 인공지능(AI) 주권을 유지하고 글로벌 AI 3대 강국으로 도약하려면 거대 AI 이니셔티브가 필수적입니다. 국가가 나서 데이터와 그래픽처리장치(GPU)를 산업계에 대규모로 공급하고, 꾸준한 인재 육성을 통해 한국이 세계 시장으로 나가도록 지원해야 합니다." 하정우 바른 과학기술사회 실현을 위한 국민연합(과실연) 공동대표 겸 AI 미래포럼 공동의장은 21일 오전 국회에서 열린 '제2차 한국 미래 신기술 발전을 위한 AI·모빌리티 신기술 전략 조찬 포럼'에서 이같이 강조했다. 이날 하 대표는 '코리아 글로벌 AI 원팀(Korea Global AI One-Team)' 이니셔티브를 처음 제안했다. 이 계획은 국가 주도의 산·학·연 대규모 AI 프로젝트로, 정부가 지휘하고 기업들이 실행해 '원팀(One-Team)'이라는 가칭이 붙었다. 이 계획의 핵심은 정부가 나서 데이터와 GPU를 확보하는 것이다. 우선 대규모 GPU 센터를 구축해 최소 1만 장의 GPU를 확보한 후 이를 학계·스타트업과 국내 AI 대기업에 절반씩 제공하는 것이 골자다. 또 가격이 비싸 확보가 다소 제한되는 논문 데이터를 정부가 구매하고 국내 기업이 해외에서 사업을 할 수 있도록 외국어 데이터도 획득해야 한다는 내용이 포함됐다. 하 대표는 'AI 원팀'을 고안한 목적이 한국의 AI 3대 강국 도약에 있음을 강조했다. 현재 미국과 중국이 각각 AI 1위·2위 강대국 자리를 공고히 한 가운데 전 세계 선진국들이 3위 자리를 차지하기 위해 각축전을 벌이고 있기 때문이다. 특히 캐나다는 지난 4월 총 2조4천억원 규모의 AI 지원 정책을 발표한 바 있다. 학계와 스타트업의 스케일업만을 위해 컴퓨팅 인프라에 2조원이 투자됐다. 이외에도 중소기업 생산성 향상과 AI 안전을 위해 각각 1천억원, 500억원씩 자금을 투입했다. 프랑스의 사례는 더 고무적이다. 지난해까지만 해도 AI 중진국으로 평가받던 프랑스는 마크롱 대통령의 전폭적인 지원을 통해 불과 1년 만에 자국 AI 기업을 육성하는데 성공했기 때문이다. 하 대표는 "우리는 이들보다 자체 역량에선 뛰어난 골든타임 상황에 있다"며 "이에 따라 누구보다 빠르게 계획을 추진할 필요가 있다"고 강조했다. 이렇게 해야만 미국·중국에 대한 과도한 AI 의존을 피할 수 있고 오히려 이들이 의존할 수 있는 대체 불가능한 AI 역량을 개발할 수 있다는 설명이다. 이를 통해 한국이 AI 주권을 획득하고 다른 나라에도 '소버린 AI' 영향력을 선한 방식으로 행사할 수 있다. 하 대표는 이런 주장에 대한 근거도 제시했다. 그는 "실제 AI 초강대국들이 소버린 AI를 강조하면서 중동·남미·동남아 등의 AI 시장에 뛰어듬에도 정작 이 지역에서 선호되지 않는 분위기"라며 "빅테크가 학습된 모델만 제공하고 기술은 제휴하지 않았기 때문"이라고 지적했다. 하 대표는 "한국은 이들 지역에서 공동 투자, 공동 운영, 기술 이전을 통해 함께 성장할 가능성이 있다"며 "AI 기술이 빠르게 발전하기 때문에 반년 전 개발한 기술을 제휴해도 이들이 산업 전 분야에 활용할 수 있도록 적극 지원할 수 있다"고 주장했다. 또 하 대표는 'AI 원팀'의 성공에 있어 인재가 매우 중요하다는 점을 강조했다. 데이터와 GPU 이슈는 투자를 통해 단기적으로 해결할 수 있지만, AI 개발 인력 양성은 긴 시간이 필요하며 유지하기도 힘들어서다. 하 대표는 이날 국내 최상위권 인력 대다수가 해외 빅테크를 택하는 경우가 잦다는 것도 아쉬운 점으로 지목했다. 그는 "최상위 AI 인재들은 장기적 커리어와 성장 가능성을 보고 일하는 경우가 많다"며 "정부가 AI 전문대학원 등 사업을 지난 2019년부터 추진해 인재 양성에 효과를 봤지만 그만큼이나 이들이 여기 남도록 하는 것도 중요하다"고 강조했다. 하 대표는 그러면서 프랑스의 사례를 들었다. 프랑스 AI 연구자들이 구글 등 미국 빅테크에서 근무하다가 모국으로 돌아가 미스트랄AI 등에 몸담기 시작한 경우가 늘어났기 때문이다. 하 대표는 "그동안 프랑스 정부는 자국 인재가 모국으로 돌아오도록 노력했다"며 "한국 정부도 이를 배워야 한다"고 주장했다. 'AI 원팀' 계획은 이날 처음으로 공식 발표됐다. 이번 행사는 더불어민주당 정동영 의원과 국민의힘 최형두 의원이 AI 발전을 위해 합심해 개최했다. 이날 행사에는 과학기술정보통신부 김남철 과장, 카이스트 김경수 부총장, 삼성전자 이준행 머신러닝 마스터 등 업계 관계자가 참석했다. 하 대표는 "네이버 AI 센터장이 아닌 대한민국 국민으로서 국내 AI 발전 방안을 공유하러 왔다"며 "연구자로서 한국 미래 경쟁력에 대해 늘 고민해왔던 결과"라고 강조했다.

2024.08.21 14:24조이환

뉴로클, 첫 웨비나서 딥러닝 비전검사 노하우 공유

뉴로클이 국내 기업과 연구자들에게 이미지·영상 데이터를 효과적으로 분석하는 방법을 소개한다. 뉴로클은 오는 29일 '딥러닝 비전검사의 모든 것'을 주제로 무료 웨비나를 개최한다고 20일 밝혔다. 첫 번째 세션은 '딥러닝 비전 시장의 현재와 미래'를 주제로 한다. 딥러닝 비전의 개념, 최신 트렌드, 기술 현황에 대해 논의할 예정이다. 다음 세션에서는 '딥러닝 비전검사 도입 과정에서 직면하는 어려움을 해결하는 모델들'을 발표한다. 생성적 적대 신경망(GAN), 비지도학습 아노말리(Anomaly) 등 딥러닝 모델과 그 실제 적용 사례를 소개할 예정이다. 마지막 세션은 '딥러닝 비전검사 도입 사례와 실제로 해결한 난제에 대한 심층 분석'을 다룰 예정이다. 뉴로클 기술력과 노하우를 활용해 난제를 해결한 실제 사례를 소개할 계획이다. 웨비나는 오는 25일까지 뉴로클 홈페이지에서 신청 가능하다. 딥러닝 비전검사에 관심 있는 누구나 무료로 참여할 수 있다. 이홍석 뉴로클 대표는 "이번 웨비나는 우리가 여는 최초의 웨비나"라며 "딥러닝 비전검사의 도입 사례를 통해 산업 종사자들이 유익한 인사이트를 얻을 수 있는 시간이 되길 바란다"고 강조했다.

2024.08.20 17:46조이환

Prev 11 12 13 14 15 16 17 Next