검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 신뢰성'통합검색 결과 입니다. (26건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

TTA "가짜판례·딥페이크...'AI신뢰성 인증' 중요해졌다”

“인공지능이 사회, 산업 전 분야에 걸쳐 빠르게 도입되면서 혁신과 변화를 이루고 있지만 알고리즘 문제, 데이터 편향 등에 따른 사고 발생이나 공정성 문제, 인종차별 문제가 발생하고 있다.” 배동석 한국정보통신기술협회(TTA) 팀장은 10일 서울 삼성동 코엑스에서 과학기술정보통신부가 주최한 디지털혁신페스타2024 퓨처테크컨퍼런스에 연사로 참여해 이같이 말했다. 인공지능(AI)으로 많은 이로움을 얻고 있지만 미국의 한 변호사가 챗GPT가 알려준 가짜 판례를 법원에 제출하거나, 최근 국내서 논란이 커진 딥페이크 성적 영상 등으로 AI의 신뢰성을 확보하는 게 중요한 과제가 됐다. 배동석 팀장은 “각국의 정부와 국제기구는 신뢰할 수 있는 AI를 명시하고 규범과 기술기준을 마련하고 있다”며 “AI에 내포된 위험과 기술적 한계를 해결하고 활용 과정에서 위험과 부작용을 방지하기 위한 가치가 중요해진 것”이라고 설명했다. 신뢰할 수 있는 AI를 갖추기 위한 노력으로 유럽연합의 AI법, 미국의 행정명령이 대표적인 사례고 IBM, 마이크로소프트, 구글, 스탠포드대 등 민간과 연구계에서도 활발한 논의가 이어지고 있다. 국내에서는 TTA가 이같은 일을 맡고 있다. 지난 2021년부터 시작된 AI 신뢰성 기반조성 사업으로 ▲AI 일상화 지원 ▲신뢰성 확보 기술 정립 ▲글로벌 규범 표준화 선도 등에 집중했다. TF 단위로 시작한 AI 신뢰성 사업은 센터로 격상됐고 지난해 말에는 AI 신뢰성 민간자율인증을 시범적으로 수행하게 됐다. 배 팀장은 “산업의 혁신과 진흥, 시장 활성화를 통한 경쟁력 확보를 위해 기업의 자발적인 신뢰성 확보 지원을 위한 민간 자율 방식의 인증을 시행하게 됐다”며 “대한민국 AI 윤리 기준에 기반한 기술 체계와 신뢰성 프레임워크를 마련했다”고 밝혔다. 이어, “실무자와 개발자, 연구자가 활용할 수 있는 개발 안내서도 내놨다”면서 “AI 시스템과 모델의 신뢰성 제고를 위한 요구사항 15가지를 도출했고 별도로 프라이버시 준수 요건을 더했다”고 덧붙였다. 그러면서 “최신 글로벌 논의와 규범을 반영해 국제 표준 등에 부합하도록 다듬었고 공신력을 갖춘 제3자 검증도 이어가고 있다”면서 “2021년에 발표된 개인정보보호위원회의 AI 개인정보보호 자율점검표를 따르고 있는데 올 연말에 갱신을 거치면 최신 자료에 맞게 검증을 반영할 것”이라고 말했다. 이같은 AI 신뢰성 검증은 TTA에 신청서를 제출하면 상담과 계약을 거치고 최종적으로 인증위원회가 적합 판증을 내리면 인증서를 발급하게 된다. 현재까지 TTA에서 AI 신뢰성 인증을 받은 곳은 마크애니, 앤플럭스, 제네시스랩, 단감소프트 등이다.

2024.10.10 17:51박수형

법무법인 세종, 성균관대 인공지능신뢰성센터와 맞손

법무법인 세종은 성균관대 인공지능신뢰성센터와 인공지능(AI) 신뢰 체계, 윤리 정립 방안 연구를 위한 업무협약을 체결했다고 19일 밝혔다. 협약에 따라 양측은 AI 연구 분야 협력 강화를 위해 상호 공동 연구를 수행하고 상호 교류를 확대키로 했다. 세종은 올해 AI와 데이터를 활용하는 기업이 직면한 잠재적 리스크를 전사 차원에서 관리해 주는 AI 센터를 발족했다. 이번 협약을 시작으로 AI 전환 시대에 필요한 새로운 윤리 기준을 확립하기 위해 중장기적으로 국내외 협력 플랫폼을 구축하고 공동 연구, 인력 교류 등을 확대해 전문적인 AI와 관련된 컨설팅을 제공할 예정이다. 세종 AI센터장을 맡고 있는 장준영 변호사는 “사회경제의 지속성장을 지원하는 AI가 제대로 활용되기 위해서는 AI 거버넌스를 구축해 기업 맞춤형 AI 위험 통제 모델 체계와 상시적 데이터 매니지먼트 체계를 활성화하는 것이 필요하다”면서 “개별 기업 차원에서 잠재적 AI 리스크를 제거하는 것은 사실상 불가능하므로, 국제적으로 통용되는 보편적인 윤리 기준을 정립하는 과정도 매우 중요하다”고 말했다. 윤종인 세종 AI·데이터 정책연구소장은 “AI의 신뢰 체계 및 윤리 정립을 위한 다양한 연구를 주도해 나가며 산업별 맞춤형 AI 윤리 정책 마련에 크게 기여할 것”이라고 밝혔다.

2024.09.19 10:58박수형

마커스 뉴욕대 교수 "알트먼 못 믿어…언행불일치 잦아"

인지심리학자 게리 마커스 뉴욕대 교수가 샘 알트먼 오픈AI 최고경영자(CEO)를 신뢰할 수 없다고 밝혔다. 알트먼 CEO 발언과 행동이 일치하지 않은 사례가 많았다는 이유에서다. 5일 가디언에 따르면 마커스 교수는 "알트먼 오픈AI CEO가 세상에서 가장 큰 권력을 가진 인물이 됐다"며 "이는 매우 두려운 일"이라고 주장했다. 마커스 교수는 알트먼 CEO가 회사 이익을 위해 진실을 왜곡한 점을 지적했다. 알트먼 CEO가 지난해 미국 상원 청문회에서 한 발언을 근거로 들었다. 당시 알트먼 CEO는 청문회에서 "건강보험을 들 수 있을 정도의 돈만 벌고 있다"며 "오픈AI에 대한 지분은 없다"고 발언했다. 실제 그는 미국 최대 스타트업 액셀러레이터 기업인 와이 콤비네이터(Y Combinator) 주식을 소유해 간접적으로 오픈AI 지분을 가지고 있었다. 마커스 교수는 알트먼 CEO가 규제에 대해 솔직하지 않다고 지적했다. 청문회에서 AI 규제를 강력히 옹호했던 언행과 다르게 오픈AI는 지난 2022년부터 유럽연합(EU) AI법이 생성형 AI를 강력히 규제하지 못하도록 EU 당국에 로비해왔다. 지난해 11월 오픈AI 이사회가 알트먼 CEO를 "솔직하지 않다"며 해고하고 지난 5월에는 일리야 수츠케버 공동창업자 등 AI 안전과 관련된 주요 인사들이 잇따라 회사를 떠나는 등 내부적 논란이 있어 왔다. 이에 외신은 알트먼 CEO의 언행불일치가 회사 신뢰성을 떨어뜨린다고 지적했다. 이러한 상황에 대해 마커스 교수는 "AI 기술은 공공의 이익을 위해 투명하고 윤리적으로 관리돼야 한다"며 "안전하고 신뢰 가능한 기술 발전을 위해서는 시민들이 목소리를 높여야 한다"고 강조했다.

2024.08.05 12:17조이환

오픈AI, 美 정부에 'GPT-5' 우선 공개

오픈AI가 차세대 인공지능(AI) 모델 'GPT-5' 출시 전 안전성 검증을 위해 미국 정부에 우선 공개하기로 했다. 테크크런치 등 외신은 최근 오픈AI가 최신 AI 모델 GPT-5 평가를 위해 미국 AI안전연구소와 손잡았다고 보도했다. 이번 협력으로 미국 AI안전연구소는 GPT-5가 전 세계 대중에 공개되기 전 기술 윤리·안전성을 공식적으로 검증할 방침이다. 알고리즘 편향성을 비롯한 환각현상, 사용 윤리 등을 검토할 예정이다. GPT-5가 검증 통과를 못 하면, 오픈AI는 이 모델 공개 시기를 미뤄야 한다. 샘 알트먼 오픈AI 최고경영자(CEO)는 "이번 파트너십을 통해 GPT-5 안전성 검증을 확실히 인정받을 것"이라고 공식 홈페이지에서 밝혔다. 오픈AI는 지난해 영국 정부와 협력해 자사 AI 모델을 공유했을 뿐 아니라 알트먼 CEO가 직접 미국 상원 청문회에서 AI 규제 필요성을 강조한 바 있다. 다수 외신은 오픈AI의 이같은 행보가 AI 안전성에 소홀하단 이미지를 지우기 위한 것으로 해석했다. 오픈AI의 안전성 논란은 지난 5월부터 본격 등장했다. 오픈AI 엘렌 토너 전 이사가 "오픈AI는 AI 윤리·안전 강화보다 수익 창출에 급급했다"고 폭로하면서부터다. 토너 전 이사는 "알트먼 CEO가 이사회 동의 없이 스타트업 투자 계획을 발표했다"며 "이사회 발언을 묵살하고 비즈니스 확장만 신경 썼다"고 외신 언론에 밝혔다. 당시 오픈AI는 제품 안전성을 담당했던 '초정렬팀'도 해제했다. 팀을 이끈 일리야 수츠케버 오픈AI 공동창업자 겸 최고과학자도 이에 항의하며 회사를 떠났다. AI 안전 담당했던 직원들도 줄줄이 퇴사했다. 그 후 오픈AI에 첫 최고재무책임자(CFO)까지 생기면서 회사 정체성인 '비영리조직' 타이틀까지 잃을 수 있다는 우려가 나왔다. 오픈AI는 이런 상황을 모면하기 위해 안전·보안위원회를 6월 다시 설립했다. 미 국가안전보장국(NSA) 수장이자 미 4성 퇴역장군인 폴 나카소네를 이사회 멤버로 영입하기도 했다. 현재 나카소네 장군은 새로 구성된 이사회 멤버로서 보안 위원회에서 활동하고 있다. 오픈AI 브렛 테일러 이사회 의장은 "나카소네 장군은 사이버 보안에서 탁월한 경험을 갖췄다"며 "오픈AI가 일반인공지능(AGI) 개발을 안전하고 유익하게 진행하도록 도울 것"이라고 공식 홈페이지에서 발표했다. 외신은 오픈AI가 보안위원회 설립과 정보보안 최고 경력자 영입 등을 통해 AI 안전성에 소홀하다는 우려 지우기에 나선 것이라고 평했다.

2024.08.04 12:24조이환

3기 AI 윤리·신뢰성 포럼 발족···범부처 과제 등 발굴

과기정통부가 주관한 '제3기 AI 윤리‧신뢰성 포럼'이 18일 발족했다. 이날 출범한 '제3기 AI 윤리‧신뢰성 포럼'은 지난 4월 4일 출범한 'AI전략최고위협의회(이하 최고위협의회)'의 윤리‧안전분과로 운영된다. AI전략최고위협의회는 국가전체 AI혁신 방향을 이끌 최상위 거버넌스로 이종호 과기정통부 장관과 염재호 태재대 총장이 공동 위원장을 맡고 있다. 앞으로 포럼은 최고위협의회와 연계‧운영해 AI 윤리‧신뢰성 분야 범부처 과제를 발굴하고, 정책과제를 구체화해 민관이 함께 이행한다. 최근, 멀티모달 기술 등 생성형 AI 기술이 빠르게 발전하면서, 지속가능한 AI 혁신의 전제로 AI 윤리‧신뢰성이 중요성이 더욱 부각되고 있다. 이에 과기정통부는 이상욱 한양대 철학과 교수가 포럼위원장을 맡고, 학계‧산업계‧법조계‧공공‧시민사회‧국제기구 등 분야별 전문가 20명이 참여하는 제3기 'AI 윤리‧신뢰성 포럼'을 구성해 AI의 사회적 신뢰기반 조성을 위한 논의를 시작했다. 이날 서울 서초구 엘타워에서 출범한 '제3기 AI 윤리‧신뢰성 포럼'은 지난 4월에 출범한 'AI전략최고위협의회'(이하 '최고위협의회') 윤리‧안전분과로 운영된다. 포럼은 최고위협의회와 연계‧운영하여 AI 윤리‧신뢰성 분야 범부처 과제를 발굴하고, 정책과제를 구체화하여 민관이 함께 이행해 나갈 계획이다. 이날 포럼은 지난해 정부 AI 윤리사업 핵심과제로 민간전문가 의견수렴을 거쳐 개발한 'AI 윤리기준 실천을 위한 자율점검표(채용분야)'와 AI 서비스의 윤리적 영향력을 체계적으로 파악하고, AI의 윤리적인 개발‧활용을 장려할 수 있는 'AI 윤리영향평가' 프레임워크, 일반인의 AI 이해와 AI 활용역량을 지원하기 위한 AI 윤리교육 교재 등을 공개했다. 향후 격월로 포럼을 운영해 AI 윤리‧신뢰성 관련 글로벌 논의에 대한 대응전략을 모색하고, AI 산업 현장의 윤리‧신뢰성 확산 방안과 생성형 AI의 악의적 활용을 완화‧방지하기 위한 정책과제 등을 집중적으로 논의할 계획이다. 특히, 최근 오픈AI 소라 등 생성형 AI 기술의 활용범위가 기존 텍스트 생성에서 영상까지 빠르게 확대되고, 뮌헨 안보회의 '기만적 AI 사용방지를 위한 기술 합의문'('24.2.16.) 발표, 유엔총회 'AI 결의안' 채택('24.3.21.) 등 AI 관련 글로벌 논의가 활발해지는 정책환경 속에서 국내 AI 윤리·신뢰성 확보를 위한 정책 방향에 관한 종합토론을 진행했다. 출범식에 참석한 과기정통부 엄열 인공지능기반정책관은 “최근 전세계 AI 분야의 경쟁적 투자 확대로 AI 발전 속도는 더욱 가속화되고, 진화 방향은 예측하기 어려워지고 있다”면서 “생성형 AI 기술로 촉발된 AI 시대로의 본격적인 전환점에서 AI 발전과 공존 가능한 AI의 전제는 윤리와 신뢰다. AI에 대한 사회적 신뢰기반을 만들어 갈 수 있게 AI 윤리‧신뢰성 포럼이 사회적 논의의 구심점 역할을 수행해 주길 기대한다”고 말했다.

2024.04.19 22:51방은주

AI신뢰성 인증(CAT) 받은 국내 1·2호 솔루션 탄생

국내서 처음으로 당국에서 인공지능(AI) 신뢰성 인증을 받은 솔루션(SW) 2종이 탄생했다. 마크애니와 엔플럭스 제품이다. 두 제품은 작년 12월 TTA에 AI신뢰성 인증 획득을 위한 신청을 해 국내 처음으로 CAT(Certification of Artificial Intelligence, AI신뢰성인증) 1,2호를 받았다. 신청부터 CAT 인증 획득까지 약 2개월이 걸렸다. 비용은 공개되지 않았다. 6일 과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA, 회장 손승현)는 마크애니(대표 최고)와 엔플럭스(대표 이민)에 'AI 신뢰성 인증(CAT, Certification of Artificial Intelligence)' 2건을 부여했다고 밝혔다. 'CAT 제도'는 AI 신뢰성 단체표준을 기반으로 하며, AI 신뢰성을 자발적으로 확보하려는 민간 AI 사업자를 대상으로 인증 절차를 진행한다. 민간 인증전문기관인 TTA가 AI 기술을 활용한 제품과 서비스의 위험요인을 분석하고, 위험에 기반해 신뢰성 확보를 위한 사업자의 요구사항 준수 여부를 평가해 CAT를 부여한다. 앞서 과기정통부와 TTA는 2021년부터 분야별 '신뢰할 수 있는 AI 개발안내서'(개발안내서) 개발과 보급을 통해 AI 신뢰성 확보를 위한 기술 요구사항을 정립하는 한편 국내기업이 AI 신뢰성을 확보할 수 있게 지원해왔다. 지난해 12월에는 개발안내서 내용을 바탕으로 AI 신뢰성 관련 국제표준인 ISO/IEC TR 24028(신뢰성 개요), ISO/IEC 23894(위험관리), ISO/IEC 22989(용어)와의 국제 호환성을 확보한 국내 최초의 AI 신뢰성 정보통신단체표준인 'AI 시스템 신뢰성 제고를 위한 요구사항'(AI 신뢰성 단체표준)을 제정하기도 했다. 이번에 CAT 인증을 받은 마크애니의 'AI 영상 검색 및 대상물 이동경로 추적 솔루션'은 과기정통부가 작년에 시행한 'AI 융합 국민안전 확보 및 신속대응 지원사업' 일환으로, 이 솔루션은 실종자 인식 정확도 오류와 특정 인종‧성별‧연령에 대한 편향 등 AI 모델 오류를 위험요소로 식별하고, AI 모델 편향 제거, AI 시스템 신뢰성 테스트계획 수립, AI 신뢰성 확보를 위한 기업의 거버넌스 구성 등을 검증받아 인증을 받았다. 또 스마트 관제 전문기업인 엔플럭스의 'AI 융합 지뢰탐지 모듈 v1.0'은 역시 과기정통부가 작년에 시행한 'AI 융합 프로젝트(AI+X)'의 'AI 융합 지뢰탐지시스템 개발·실증 과제' 일환으로, 이 모듈은 지표투과레이더(GPR) 이미지를 판독해 지뢰 여부, 지뢰 종류 판단 등 고수준의 분석기능을 제공하는 시스템으로, 지뢰탐지 정확성 오류와 지뢰탐지 결과의 설명가능성 부재 등을 위험요소로 도출, 데이터 구축 방법 적절성과 AI 모델 판단결과에 대한 설명가능성 확보 등을 중점적으로 검증받았다. 민간 인증 전문기관인 TTA는 AI 신뢰성 검증을 실시하는 과정에서 신뢰성 확보를 위한 보완 필요사항에 대해 사업자에게 컨설팅을 수행, AI 제품과 서비스의 신뢰성을 개선할 수 있게 지원했다. 과기정통부는 "이번 인증은 지난 10월 민간자율 AI 신뢰성 인증제도를 도입한 이후 첫 사례로, 국내 AI 제품‧서비스의 신뢰성을 확보하기 위한 민간 자율체계를 확립했다는 점에서 의미가 있다"고 설명했다. 남철기 과기정통부 인공지능기반정책과장은 "세계적으로 AI 신뢰·안전성 확보를 위한 노력이 치열한 상황에서, 전문성 있는 기관을 통한 민간자율 AI 신뢰성 인증제도는 AI 혁신과 안전하고 신뢰할 수 있는 AI 활용을 동시에 촉진할 수 있는 좋은 모델이 될 것으로 기대한다"면서 "빠른속도로 발전하는 생성형 AI 기술‧시장 변화를 반영해 AI 신뢰성 인증제도를 고도화하고, AI 신뢰성 인증 모범사례를 지속 확대해 국내 AI산업의 AI 신뢰‧안전성 기반을 강화해 나갈 계획"이라고 밝혔다.

2024.02.06 12:00방은주