검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 프라이버시'통합검색 결과 입니다. (4건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[유미's 픽] 공공 AX 확대 속 AI 프라이버시 정책 '운영 단계'로…업계 부담 커진다

국내 인공지능(AI)·소프트웨어 업계가 개인정보 보호 대응을 기술 개발의 부수 요소가 아닌 핵심 경쟁력으로 재정립해야 할 것으로 보인다. 생성형 AI를 넘어 에이전트 AI, 피지컬 AI 등 차세대 기술이 서비스 현장에 빠르게 적용되면서 개인정보 리스크가 단순 유출 방지를 넘어 서비스 구조 전반의 신뢰 문제로 확산되자 정부가 정책 정비에 나섰기 때문이다. 4일 개인정보보호위원회가 발표한 '2026 AI 프라이버시 민관 정책협의회 운영 방향'에 따르면, 정부는 AI 확산으로 개인정보 리스크가 기존 유출·노출 중심에서 민감정보 추론, 딥페이크 악용, 프로파일링 등 새로운 형태로 확대되고 있다고 진단했다. 정책 논의의 초점도 모델 학습 단계에서 벗어나 에이전트 AI·피지컬 AI 등 서비스 운영 단계에서 발생할 수 있는 위험 대응으로 전환했다. 이에 맞춰 협의회는 데이터 처리기준, 리스크 관리, 정보주체 권리 등 3개 분과 체계로 운영한다. 또 '에이전트 AI 개인정보 처리기준' 마련(6월)과 AI 프라이버시 레드팀 방법론 연구를 추진할 계획이다. 여기에 자동화된 결정 대응 등 이용자 권리 보장 방안과 올해 3월께 'AI 이용 개인정보 보호수칙'도 제시할 예정이다. 향후에는 AI 정책 수립 과정에서 민관 의견을 폭넓게 수렴하고 부처 간 정책 정합성을 확보하는 자문기구로 기능을 확대한다는 방침이다.특히 이번에 주목할 점은 협의회 논의 과제에 'AI 프라이버시 레드티밍(Red Teaming)' 방법론이 포함됐다는 점이다. 레드티밍은 공격자 관점에서 시스템의 취약점을 의도적으로 점검해 보안 허점을 찾아내는 방식으로, AI 서비스가 실제 운영 과정에서 맞닥뜨릴 수 있는 프라이버시 위협을 사전에 검증하는 절차로 활용될 수 있다. 이를 통해 기업들의 개인정보 보호 대응이 기존의 사후적·수동적 점검에서 벗어나 보다 공세적이고 예방적인 리스크 관리 체계로 전환될 가능성이 클 것으로 예상된다.셀렉트스타 관계자는 "매우 빠른 AI 발전이 실질적 확산으로 이어지기 위해서는 관련 규제 환경의 신속한 맞춤 변화가 중요하다"며 "정부가 민관 정책 협의회 등을 통해 민간과 적극적으로 소통해 AI 업계의 규제 불확실성을 최소화할 것으로 기대된다"고 말했다. 개보위의 이 같은 움직임에 AI 업계도 예의주시하고 있다. 정부의 규제 논의가 학습 데이터 적법성 중심에서 서비스 배포 이후의 운영 책임으로 이동하고 있다는 점에서 기업들은 향후 AI 서비스 전 과정에 대한 관리·감독 요구가 강화될 가능성에 주목하고 있다. 이 같은 변화는 에이전트 AI 확산과 맞물리면서 더욱 뚜렷해질 전망이다. 에이전트 AI는 사용자 대신 업무를 수행하며 다양한 데이터에 접근하고 서비스 간 상호작용을 통해 결과를 만들어내는 구조인 만큼, 개인정보 처리 책임의 경계가 더욱 복잡해질 수밖에 없다. 이에 따라 기업들은 서비스 설계 단계부터 데이터 처리 흐름과 사후 통제 체계를 함께 마련해야 하는 과제를 안게 됐다. 업계 관계자는 "그동안 기업들이 학습 데이터 적법성에 집중했다면, 앞으로는 서비스 운영 과정에서 AI가 어떤 데이터에 접근하고 어떤 결정을 내리는지가 규제의 핵심이 될 것"이라며 "에이전트 AI 확산은 프라이버시 컴플라이언스를 한 단계 끌어올리는 계기가 될 수 있다"고 말했다. 이러한 흐름은 민간 서비스뿐 아니라 공공 부문 AI 전환 확대와 맞물리며 업계 부담을 더욱 키우고 있다. 정부는 공공기관이 AI 신서비스를 기획하는 과정에서 개인정보 보호법 저촉 여부가 불확실한 경우가 많다는 점을 감안해 사전적정성 검토와 규제 샌드박스 지원을 병행할 계획이다. 정부의 공공 AX 예산은 2025년 5천억원에서 2026년 2조4천억원으로 5배 증가하며 33개 부처에서 206개 사업이 추진될 예정이다. 이에 공공 시장을 겨냥하는 소프트웨어 기업들 사이에서는 초기 설계 단계부터 프라이버시 보호 체계를 갖추지 않으면 사업 참여 자체가 어려워질 수 있다는 전망도 나온다. 업계 관계자는 "공공 AX 사업이 급증하면서 AI 적용은 필수가 됐지만, 개인정보 이슈가 정리되지 않으면 사업 추진 속도가 늦어질 수밖에 없다"며 "기업 입장에서는 보호설계(PbD)를 선제적으로 반영하는 것이 경쟁력이 될 것"이라고 말했다. 글로벌 규범 역시 에이전트 AI를 중심으로 빠르게 정비되는 추세다. 미국 NIST 산하 AI 표준 및 혁신센터(CAISI)는 AI 에이전트의 데이터 접근권한 최소화와 사후 통제권 확보를 위한 논의에 착수했다. 영국 정보위원회(ICO)는 에이전트 AI 발전 단계별 시나리오를 제시하며 규제 고도화에 나서고 있다. 싱가포르는 '에이전틱 AI 정부 프레임워크'를 마련했다. 이처럼 국제적으로 샌드박스형 사전 검증과 인간 개입 원칙이 핵심 규범으로 부상하면서 국내 기업들도 글로벌 기준에 맞춘 대응 전략이 불가피해지고 있다. 업계에선 이번 발표를 계기로 AI 서비스 기업들의 프라이버시 대응 부담이 운영 단계까지 확대될 것으로 보고 있다. 에이전트 AI 확산에 따라 관련 리스크 관리 체계 마련이 주요 과제로 떠오르고 있다는 분석이다. 업계 전문가는 "AI 경쟁이 고도화될수록 기업들은 성능뿐 아니라 '신뢰 가능한 운영 체계'를 갖춘 곳이 시장에서 살아남게 될 것"이라며 "프라이버시 대응 역량이 향후 국내외 사업 확장의 결정적 변수로 작용할 가능성이 높다"고 말했다.

2026.02.04 09:54장유미 기자

유니유니, 국제표준 정보보호 '듀얼 인증' 받아

공중화장실과 탈의실 같은 민감 공간의 안전 문제는 오랫동안 '프라이버시 침해'라는 딜레마로 기술 도입이 어려웠다. 이런 한계에 도전한 국내기술이 국제표준으로 인정받았다. AI 기반 안전 솔루션 기업 유니유니는 국제 정보보호 표준 ISO/IEC 27001과, 개인정보보호 국제표준 ISO/IEC 27701 인증을 동시 취득했다고 1일 밝혔다. 유니유니의 솔루션 'Savvy'는 영상 없이 이상 행동을 감지하는 Non-Vision AI 기반 기술로, 프라이버시 침해 위험 없이 민감 공간의 안전 사각지대 문제를 해결한다. 공공화장실, 복지시설, 탈의실, 무인사업장 등 CCTV가 어려운 환경에 적합한 기술로 평가된다. ISO/IEC 27001은 기업의 데이터 관리, 접근 통제, 운영 프로세스 전반의 보안 체계를 심사하는 국제 정보보호 표준이다. 여기에 더해 취득한 ISO/IEC 27701은 개인정보 처리·저장·삭제 등 전 과정의 관리 수준을 평가하는 글로벌 개인정보보호 기준이다. 두 체계를 모두 획득하려면 기술력 뿐 아니라 운영·내부통제 능력까지 검증 받아야 한다. 기존 영상 기반 솔루션은 아무리 기술력이 뛰어나도 개인정보 침해 논란이 상존해 공공기관 도입이 제한적일 수밖에 없다. 반면, 유니유니는 이미 지난해 AI 성능 시험 국제표준인 'ISO/IEC TS 4213 평가'에서 F1 Score 1.0(오탐·미탐 0%)을 기록하며 기술 정확도를 입증했다. 여기에 이번 ISO 27001과 27701 인증까지 더해져 프라이버시 중심 기술에 국제적인 보안·관리 기준까지 확보한 솔루션이 됐다. 한수연 유니유니 대표는 “민감 공간의 안전 문제는 단순한 기술 정확도로 해결되지 않는다. 안전 데이터 보호와 운영 절차, 위험 상황 대응 기준이 공공기관 도입의 핵심 기준”이라며 “향후 지자체· 기관과의 협력을 확대하고 '안전한 스마트 사회'를 만드는 데 기여할 계획이다”고 밝혔다.

2025.12.01 13:49백봉삼 기자

"프라이버시 필터 오픈소스 공개"...오픈AI 권 CSO 깜짝 발표

"인공지능(AI)은 개인 정보를 침해할 수도 있지만, 동시에 우리를 더 안전하게 지키고 프라이버시를 강화할 수도 있다. 오픈AI의 '프라이버시 필터'가 그 가능성을 보여주는 사례다." 한국계 미국인 제이슨 권 오픈AI 최고전략책임자(CSO)는 17일 서울 하얏트호텔에서 열린 제 47차 GPA(Global Privacy Assembly) 총회 이틀째 공식 행사에서 기조 연설을 하며 이같이 밝혔다. 그는 "프라이버시 필터는 AI 학습 과정, 프런티어 모델 훈련에서 개인정보 처리를 줄이기 위해 오픈AI가 내부적으로 사용하는 AI 도구이며, 개인정보 축소 처리 측면에서 현재 상용화된 어떤 기술보다도 높은 성능을 내고 있다"며 "이 자리에서 프라이버시 필터를 오픈 소스로 공개하겠다"며 깜짝 발표했다. 이어 "내년부터 전 세계 개발자 커뮤니티가 프라이버시 필터를 활용해 프라이버시 보호의 기준을 끌어올릴 수 있도록 할 것"이라며 "최근 출시한 오픈AI모델과 비영리 파트너 Roost와의 협력을 통해 프라이버시 필터를 더욱 강화해 나갈 것"이라고 밝혔다. Roost는 소규모 조직이나 시민사회 단체도 책임 있는 AI를 배포할 수 있도록 오픈소스 기반의 안전 인프라를 구축하고 있는 기관으로, 오픈AI와 협력하고 있다. 오픈AI는 Roost의 공동 설집자이자 주요 책임자로 참여 중이다. 아울러 제이슨 권 CSO는 오픈AI가 개인정보 보호에 기울이고 있는 노력 및 기술에 대해서도 소개했다. 오픈 AI는 사용자 누구든 '임시 대화 기능'을 도입해 대화가 저장되지 않은 상태에서 AI와 상호작용할 수 있도록 하고 있는 점 등이 여기에 해당된다. 그는 "오픈AI는 부모와 보호자에게 의미 있는 선택권을 주는 기능도 개발 중"이라며 "예컨대 청소년 사용자가 어떤 사람과 접촉할 수 있는지, 어떤 활동을 할 수 있는지 부모가 관리할 수 있도록 하고 모델이 사용자의 스트레스나 위험 징후를 감지하면 보호자에게 알림을 보내 개입할 수 있도록 하는 방식"이라고 설명했다. 또한 "오픈AI는 사용자 통제권을 최우선으로 하고, 데이터 보호와 보안을 기본부터 내재화환 설계를 지향하고 있다"며 "샘 올트먼 오픈AI CEO(최고경영자)도 강조했듯 AI와 사용자는 점점 더 개인적이고 중요한 대화를 나누고 있지만, 정작 기존의 법적 보호 체계는 이러한 AI 대화에 맞게 설계되지 않았다"고 지적했다. 그는 "따라서 AI와의 대화가 소송, 소환장, 정부의 광범위한 요구로부터 쉽게 노출되지 않도록 법과 표준을 업데이트할 필요가 있다"며 "AI 대화도 '프라이버시 특권'으로 보호할 수 있도록 새로운 접근이 필요하다" 그는 "저는 프라이버시를 단순한 기술적 문제나 규제 준수 문제로 보지 않는다. 개인정보는 인간 존엄, 자율성, 개인과 사회의 진보를 위한 권리의 문제"라며 "AI 시스템은 점점 더 주도적으로 행동하며, 여러 과제를 넘나들고 추론하며 인간을 대신해 행동할 수 있는 '에이전트'로 발전하고 있다. 오픈AI는 이러한 에이전트가 인간의 능력을 보완하고 개인이 더 많은 시간과 자유를 확보할 수 있도록 만들 것"이라고 다짐했다.

2025.09.17 16:33김기찬 기자

AI와 개인정보 '딜레마'…기업들은 어떻게 풀었을까

"경찰청 발표에 따르면 보이스피싱 피해는 2023년부터 피해액·건수가 급증해 올해에는 1조원이 넘는 피해가 예상된다. 이같은 피싱 예방에 인공지능(AI) 기반의 탐지 기술이 필요하다. KT는 통화 전·중·후 모든 과정에서 피싱 피해를 최소화할 수 있는 서비스를 연내에 출시할 계획이다." 6일 오후 2시 서울 성북구에 위치한 정동 1928 아트센터에서 개최된 '2025 생성형 인공지능과 프라이버시 오픈 세미나'에서 KT 미래네트워크연구소 안태진 팀장은 이같이 밝혔다. 세미나 기업 발제 세션에서 첫 발표에 나선 안 팀장은 KT가 가진 '3단'으로 보이스피싱을 예방할 수 있는 AI 기반 서비스에 대해 소개했다. 구체적으로 통화 이전에는 그래프 신경망(GNN·Graph Neural Network) 모델을 활용해 피싱 의심 번호를 사전에 탐지하고 이용자에게 알려주는 식으로 피싱 피해를 예방한다. 구체적으로 ▲하루 통화량 ▲통화 간격 ▲수신번호 ▲통화 실패율 ▲평균 통화 시간 ▲네트워크 크기 ▲관계 친밀도 등 7가지 특징을 학습하고 그래프로 분석해 정상번호와 피싱번호를 분류한다. 안 팀장은 "보이스피싱 통화는 일반 통화에 비해 통화하는 사람이 많을 수밖에 없고 보이스피싱이 통하지 않는 사람이 많기 때문에 통화 시간 또한 짧은 반면, 일반적인 통화는 자주 연락하는 연락처이거나 통화하는 시간이 보이스피싱 통화에 비해 긴 경우가 많다"며 "이런 경우를 그래프적인 특징을 통해서 보다 빠르게 보이스피싱 번호를 찾아낼 수 있다"고 설명했다. 또한 통화 중에는 실시간 통화 기반 보이스피싱 탐지 기술을 통해 목소리의 특징을 분석해 화자를 인식하고 이용자에게 팝업 등의 알림을 보내는 식으로 피싱 피해를 예방하는 서비스를 계획하고 있다. 통화 이후에는 이용자가 금전적 피해를 입지 않도록 금융권 현금인출이나 이체거래를 제한하도록 한다. 금융권 상담사에도 이상 거래 정보를 전달해 고객이 확인할 수 있도록 추가적인 조치가 가능하도록 하는 것이 AI 기반 KT 피싱 예방 서비스의 핵심이다. ◆ 스캐터랩의 '전화위복'…개인정보 보호 노력이 '혁신' 됐다 다음 발표에서는 스캐터랩 하주영 변호사가 스캐터랩이 직접 겪은 개인정보 보호 노력이 제품 혁신에 기여한 사례에 대해 소개했다. 앞서 스캐터랩은 AI 챗봇 서비스 '이루다'가 개인정보 침해 논란을 빚으면서 1년여간 대부분의 사업을 중단하고 가명처리기술 개발 등 개인정보 보호 강화에 모든 역량을 쏟은 것으로 전해졌다. 이후 우수한 수준의 가명처리 기술 개발에 성공했고 KISA 대회에서도 우승하는 등 성과를 내기도 했다. 실제로 스캐터랩이 개발한 챗봇 서비스 '제타'에도 이런 가명처리 기술이 접목돼 월 23억건의 대화를 생산하고 있는데도 개인정보 유출 등 프라이버시 사고가 발견되지 않았다. 하 변호사는 이를 '프라이버시 드리븐(privacy driven) 혁신'이라 표했다. 역경이 오면 강해지는 것 처럼, 회사가 프라이버시 이슈를 만나 이를 해결하기 위해 혁신에 성공했다는 것이다. 하 변호사는 "개인정보 측면에서 안전한 서비스를 만들겠다는 일념으로 단행한 노력들이 결국 선도적인 기술 혁신으로 이어졌다"면서 "한발 앞성 생성형 AI 기술 도입과 기술 신뢰 회복 노력 등이 제타와 같은 안정적인 서비스 운영에도 기여하고 있다"고 말했다. 법률 분야에서도 생성형 AI가 활용될 수 있다는 점도 눈길을 끌었다. 엘박스 이진 대표는 판결문 등 개인정보가 포함돼 있는 데이터를 다루기 때문에 익명화 역량이 높아졌으며, 데이터 익명화를 통한 안정성 확보 역시 새로운 시장이 될 수 있겠다는 시각을 제시했다. 이 대표는 "법률 업무 처리에는 99%는 텍스트 데이터가 활용되는데, 이는 생성형 AI와 찰떡궁합"이라며 "엑박스는 400만건에 달하는 판결문을 데이터로 보유하고 있고 이 데이터를 익명화하는 데에 기존에는 인력을 필요로 했지만, 이제 기술과 자본이 축적되면서 인공지능이 이 일을 대체하고 있다"고 설명했다. 법률 분야에서도 생성형 AI가 큰 활약을 하고 있다. 엘박스 이진 대표는 판결문 등 개인정보가 포함돼 있는 데이터를 다루기 때문에 익명화 역량이 높아졌으며, 데이터 익명화를 통한 안정성 확보 역시 새로운 시장이 될 수 있겠다는 시각을 제시했다. 이 대표는 "법률 업무 처리에는 99%는 텍스트 데이터가 활용되는데, 이는 생성형 AI와 찰떡궁합"이라며 "엑박스는 400만건에 달하는 판결문을 데이터로 보유하고 있고 이 데이터를 익명화하는 데에 기존에는 인력을 필요로 했지만, 이제 기술과 자본이 축적되면서 인공지능이 이 일을 대체하고 있다"고 설명했다. ◆ 개인정보 활용, 독이냐 약이냐 열띤 토론…"산업 경쟁력 훼손 없어야" 이후에는 생성형 AI 발달에 따른 개인정보 리스크를 어떻게 대응해야 하는지 열띤 토론이 이어졌다. 한국소비자연맹 정지연 사무총장은 "소비자들은 AI 기술에 대한 이해가 높을수록 AI에 대한 위험을 낮게 평가하고 있다"며 "프라이버시에 대한 위험을 소비자들이 막연하게 아는 것이 아니라 기업이 개인정보 보호를 위해 노력하고 있다는 점을 소비자들에게 적극 알려야 한다"고 말했다. 하주영 변호사는 "인공지능 데이터의 중요성이 증대될수록 개인정보 위험도 상승할 가능성이 높지만, 개인정보를 활용하는 것에 대한 편익이나 유용성도 섣불리 과대·과서 평가해선 안 된다"며 "편익과 리스크를 비교해서 균형을 조정하는 것이 앞으로의 관건이며, 그 과정에서 AI 산업 전체의 잠재력이 훼손되는 일이 있어선 안 된다"고 역설했다. KT Gen AI랩 박재한 팀장은 "웨어러블 디바이스 등에 AI가 탑재되는 경우에도 기존 정보보다 생체정보 등 훨씬 민감한 정보들이 생길 텐데 이를 어떻게 관리해야할까는 기업의 숙제"라며 "이와 동시에 고객에 맞춤형 서비스를 효율적으로 제공하는 방안에 대해서도 고민해야 하기 때문에 기업들이 기존보다 더 세밀한 고민을 이어가야 한다"고 강조했다. 한편 이날 세미나는 개인정보보호위원회(개보위)가 주최했고, 한국인터넷진흥원(KISA)가 주관한 행사다. 고학수 개보위 위원장을 비롯해 공공·민간 관계자 100여명이 참석했다. 첫 발표 세션에서 구민주 개보위 인공지능프라이버시팀장이 '생성형 AI 개발 활용을 위한 개인정보 처리 안내'와 관련한 발표를 진행했다.

2025.08.06 17:53김기찬 기자