ZDNet 검색 페이지

'AI 챌린지'통합검색 결과 입니다. (12건)

KIST, 신약 발굴 AI 기술로 세계 최상위 팀에 뽑여

한국과학기술연구원(KIST)은 천연물시스템생물연구센터 박근완 박사팀이 제3회 '캐쉬'(CACHE) 챌린지의 코로나19 바이러스 표적 신약 후보 발굴 부문에서 세계 최상위 4개 팀에 선정됐다고 16일 밝혔다. 신약 후보 예측 대회인 '캐쉬'(CACHE) 챌린지에서는 가장 성능이 좋은 AI 기술을 발표한다. 대회에서 얻어지는 모든 데이터는 일반에 공개한다. '캐쉬'는 신약 후보 물질을 발굴하는데 있어 AI 방법론의 예측 성능을 공정하게 평가하기 위해 2021년 조직된 국제적인 컨소시엄이다. 아스트라제네카, 바이엘, 베링거인겔하임 등 글로벌 제약사들과 협력 중이다. 캐나다 정부와 미국 국립보건원(NIH)은 후원한다. 이번 '캐쉬' 챌린지에서는 코로나19 바이러스와 같은 치명적인 감염병 억제 약물 개발을 목표로 11개국 23개 본선 진출 팀이 약 2년간 경쟁하며 진행됐다. 참가팀들은 컴퓨터 기반 AI 예측 기술을 활용해 총 1천739개의 신약후보물질을 제안했다. 본선 참가팀은 2023년 1월 선정됐다. 최상위 4개 팀은 KIST외에 오타와대학교(캐나다), 브리티시 컬럼비아 대학교(캐나다), 베를린자유대학교(독일) 연구팀으로 선정됐다. KIST 연구팀은 이번 대회에서 코로나19 바이러스에 대응하는 혁신적인 저분자 화합물을 제시했다. KIST 연구팀은 이 화합물 제조에 천연물 신약 개발을 위해 자체 개발한 '진화적 화합물 결합 유사성'(ECBS)이라는 AI 모델을 활용했다. 'ECBS'는 질병 표적 단백질의 진화 정보를 활용해 화합물 예측 정확도를 높인 새로운 AI 모델이다. 천연물시스템생물연구센터 박근완 책임연구원은 “AI가 코로나바이러스와 같은 치명적인 감염병 해결에 기여할 수 있다는 가능성을 보여줬다"며 "향후 글로벌 경쟁력을 갖춘 신약 개발 연구를 수행할 계획"이라고 밝혔다.

2025.01.16 12:00박희범

"오늘부터 나도 IT 전문가"...지디넷 구독하면 '에어팟4' 쏜다

IT를 알아야 미래가 보인다, 지디넷코리아를 구독해야 IT를 안다. 챗GPT와 같은 생성형 AI 기술이 등장하면서 산업 전반에 '디지털 전환' 바람이 강하게 불고 있다. 마이크로소프트의 빌 게이츠는 "AI는 인류 역사상 가장 혁명적인 기술이 될 것"이라고 언급했으며, 순다르 피차이 구글 대표는 “AI는 전기 발명보다 더 큰 영향력을 미칠 것”이라고 전망한 바 있다. AI는 더 이상 먼 미래의 이야기가 아닌 현실이 됐고, 우리의 일상과 비즈니스 환경을 급격히 변화시키고 있다. 변화의 물결 속에서 뒤처지지 않으려면 대중들도 AI 기술의 발전 동향과 그 영향력을 깊이 있게 이해하고 미래를 준비해야 한다. 국내 대표 테크 전문 매체인 지디넷코리아는 AI 시대를 준비하는 독자들에게 필수적인 정보의 창구로 자리매김, 국내외 정보통신기술(ICT) 정보를 취재하고 발 빠르게 전달하고 있다. 이 같은 임팩트를 더 많은 독자들에게 제공하고자 '지디넷코리아 네이버 채널 구독 챌린지' 이벤트를 이달 24일까지 진행한다. 네이버채널 구독 챌린지 참가자는 간단한 방법으로 최신 에어팟4 등 다양한 경품의 주인공이 될 수 있다. 네이버에서 지디넷코리아 뉴스 채널을 구독한 뒤, 이벤트 페이지에 구독 인증샷과 응원 댓글을 남기면 된다. 이달 24일까지 진행되는 이번 행사는 총 95명에게 풍성한 경품을 제공한다. 1등 당첨자 6명에게는 최신형 에어팟4 노이즈 캔슬링 모델을 선물하며, 공유상을 받게될 3명에게도 에어팟4를 증정한다. 2등부터는 효성인포메이션 마사지건, 한컴오피스 2024, 쏘카 24시간 무료 이용권, CGV 영화티켓, 넷플릭스 인기 IP 굿즈 등의 경품을 추첨을 통해 지급한다. 당첨 확률을 높일 수 있는 특별한 방법도 있다. 이벤트 페이지를 SNS에 공유하고 인증하면 당첨 확률이 상승한다. 단, 이벤트 URL과 '지디넷코리아 네이버 채널 구독 챌린지' 해시태그는 필수다. 당첨자는 2월11일 지디넷코리아 홈페이지 공지사항을 통해 발표될 예정이다. 국내외 최신 ICT 정보를 발 빠르게 받아보고 경품 획득 기회까지, 새해 첫 행운의 주인공이 되고 싶다면 지금 바로 [☞지디넷코리아 네이버 채널 구독 챌린지]에 참여하면 된다.

2025.01.07 16:17백봉삼

클리카·감바랩스·프레리스쿠너 3사 "LG 스마트기기에 탑재"

중기부는 23일 서울 LG사이언스파크에서 '온디바이스(On-Device) AI 챌린지'에 참여한 AI 스타트업의 협업 성과와 우수 과제 사업화 계획을 발표했다. 중기부는 이 챌린지를 LG전자, 인텔코리아, 한국마이크로소프트 등 글로벌 대기업과 공동으로 추진하고 있다. 최근 세계 각국은 글로벌 시장에서 핵심 AI 기술로 주목받고 있는 온디바이스 AI 기술의 주도권을 확보하기 위해 치열한 경쟁을 펼치고 있다. 온디바이스 AI는 중앙 클라우드 서버 없이, 사용자 보유 스마트기기 내에서 정보를 수집 및 연산하는 것이다. 중기부는 지난 3월부터 '온디바이스 AI 챌린지'를 추진, 대기업보다 빠르게 혁신적인 기술을 개발해 시장 출시가 가능한 AI 스타트업의 창의적인 기술을 LG전자 스마트기기에 탑재, 스타트업과 대기업이 함께 성장할 수 있도록 지원하고 있다. 지난 3월 공모에서 128개 스타트업이 신청해 12.8대 1이라는 높은 경쟁률을 기록했다. 수요기업 및 전문가 평가를 거쳐 선정된 10개 스타트업이 LG전자 등과 기술검증(PoC) 등 협업을 진행했다. 이번 행사는 협업 과제 수행 성과와 우수 과제에 대한 사업화 계획 발표를 통해 유망 AI 스타트업의 성과를 확산하기 위해 마련됐다. 행사는 김성섭 중기부 차관 인사말과 LG전자 장익환 BS 사업본부장의 환영사를 시작으로, 성과 전시 부스 투어, 챌린지 경과보고, 협업 성과 및 우수 과제 사업화 계획 발표 순으로 진행됐다. 한편, 이번 성과발표회에서 최종 우수과제로 선정된 클리카(김나율 대표, '23년 초격차 스타트업)와 감바랩스(박세진 대표), 프레리스쿠너(김기연 대표) 등 3개사의 AI 기술은, LG전자 등과 추가 협업 및 내부 검토를 거쳐 LG전자의 차세대 노트북에 탑재를 추진한다. 중기부 김성섭 차관은 “AI 스타트업은 혁신적 기술을 통해 새로운 시장을 만들고, 사회적‧경제적 성과를 창출하는 중요한 역할을 하고 있다"면서 “유망 AI 스타트업이 글로벌 대기업 등과 협업을 통해 글로벌 시장에서 경쟁력을 갖추고 주도권을 확보할 수 있도록, 향후 챌린지를 확대하여 집중 지원하겠다.”라고 덧붙였다. LG전자 장익환 부사장은 “올해 AI PC를 시작으로 향후 더 다양한 영역에서 온디바이스 AI 솔루션을 가진 국내 스타트업을 발굴할 수 있도록 중기부와 지속 협의하겠다”고 말했다.

2024.10.23 22:00방은주

SKT, 25년간 장애청소년 디지털 격차 해소에 기여

SK텔레콤은 한국장애인단체총연맹과 지난 18일까지 이틀간 경기도 이천 소재 SK텔레콤 인재개발원에서 '행복AI코딩챌린지' 대회를 개최했다고 밝혔다. 행복AI코딩챌린지는 SK텔레콤이 1999년 장애청소년 정보검색대회를 시작으로 25년간 장애청소년들의 디지털 격차 해소를 위해 개최하는 대회다. 올해 대회는 장애청소년들이 AI시대의 핵심 기술 역량을 보유한 창의적인 인재로 발돋음 할 수 있도록 지원하기 위한 행사로 기획되었다. 이번 대회에서는 장애청소년의 다양한AI 활용능력 제고를 위해 학생 2인과 지도교사 1인이 한조를 이뤄 주어진 과제를 수행하며 다른 팀과 경합하는 방식으로 진행됐다. 종목은 총 5가지로 ▲AI를 활용해 노래를 작사하고 이미지를 생성하는 '행복AI챌린지'와 '드림 챌린지' ▲코딩 로봇을 이용한 카드코딩과 미션게임인 '소셜 챌린지'와 '미션 챌린지' ▲문화 유산 퀴즈를 맞추는 '문화유산 에이닷 장학퀴즈' 등이다. 각각의 챌린지 프로그램은 참가자들이 SK텔레콤 AI서비스 '에이닷'의 멀티 LLM 에이전트를 활용해 주제에 맞는 가사를 창작하거나 '에이닷'이 출제한 퀴즈를 풀고, 코딩 로봇으로 미션을 완수하는 등 참가자들의 AI 코딩 역량을 테스트할 수 있도록 구성됐다. 최종 경진대회 결과, 각 종목 별로 조민규 고준혁, 장성혁 박종권, 임채호 배연후 학생 등이 교육부장관상, 과학기술정통부장관상, 보건복지부장관상을 수상했다. 행복AI챌린지 수상작 은 전문가의 도움을 통해 향후 음원으로 제작될 계획이다. SK텔레콤은 2019년부터 전국 130여개 특수학교(급)에서 '행복AI코딩스쿨'을 운영하고 장애유형별 코딩 교육 교재를 개발하는 등 장애청소년들의 ICT 교육에 꾸준한 관심을 기울여왔다. 이를 위해 초급과정 교재에는 코딩로봇을 활용한 소프트웨어 기초 교육 등을, 심화과정 교재에는 파이썬 등의 프로그래밍 언어 활용법을 각각 담아 학생들이 실제 AI 개발 역량을 키울 수 있도록 지원하고 있다. 특히 올해는 창사 40주년을 맞아 SK텔레콤 임직원이 '행복AI코딩스쿨'의 자원 봉사 강사로 참여하여 장애청소년의 AI역량 향상에 기여하고 있다. 강세원 SK텔레콤 ESG추진담당은 “장애청소년의 AI 디지털 접근성 개선을 위해서 시작한 대회가 올 해로 25년째를 맞았다”며 “앞으로도 AI 주도 ESG 경영을 실천에 더해 장애청소년에게 꿈과 희망을 주는 대회로 발전할 수 있도록 지속성을 가지고 계속해 나가겠다”고 말했다.

2024.10.20 08:50박수형

ETRI "내년 AI안전연구소 설립"…판교 등 유력

한국전자통신연구원(ETRI, 원장 방승찬)이 2025년 달성할 '탑챌린지 프로젝트' 7개를 공개했다. 방승찬 원장은 서울 과학기술컨벤션센터에서 27일까지 열리는 'ETRI 컨퍼런스 2024'에서 지난 연구성과와 함께 내년 계획을 공개했다. ETRI는 '디지털 혁신으로 만드는 행복한 내일:인공지능과의 동행'을 주제로 ▲인공지능 ▲로보틱스 ▲AI컴퓨팅·보안 ▲AI융합·응용 등 4개 부문의 성과를 발표하는 기술세션과 22개 핵심기술 전시회, 혁신투자포럼을 진행했다. 방 원장은 내년 달성 목표인 '탑챌린지 프로젝트' 7개를 공개했다. 우선 초성능 부문에서 고성능 컴퓨팅 노드 테스트베드를 구축한다. 고성능 컴퓨팅 노드에 HPC-SoC 초병렬 프로세서 등을 탑재하고, AI 반도체를 위한 AI컴파일러 및 프레임워크 기술을 개발할 계획이다. 또 고성능 컴퓨팅 실증 서비스 가능성을 보여줄 시연도 목표로 잡고, 사업화까지 병행 추진한다. 초연결 부문에서는 차세대 통신 조기 상용화를 위한 6G PoC 추진 및 책심 기술 표준 선점이 목표다. 서브-테라헤르츠 시스템 실증 및 핵심기술 6G 표준화와 800㎞ 초저지연 서비스 실증, ETRI pre-6G IoT NTN 위성 누리호 4차 발사 (2025.11) 탑재 등을 추진한다. 디지철 융합 부문에서는 차세대 AAM 자율비행을 위한 ICT 기반 비상상황인지 안전항법솔루션을 발표하는 것이 목표다. 방문객 응대 멀티모달 휴머노이드 로봇 내년 실증 초지능 부문에서는 방문객 응대 멀티모달 휴머노이드 로봇을 실증한다. 멀티모달 교감형 대화기술과 전신 제스처 및 표정 생성 기술, 물건 전달 등 행동 생성 기술을 확보할 계획이다. 초실감 부문에서는 가상 공간 내에서 실세계와 동일한 체험을 할 입체영상 기반 실가상 융합 미디어 기술 개발 및 시연이 이루어진다. 이를 위해 라이트 기반 무안경 입체영상 미디어 스트리밍 기술과 3개 초점면 표현 가능한 입체영상 VR디바이스 모듈, 실재감 제공 원격 교감 상호작용 기술 등을 개발한다. 비침습 무채혈 방식 웨어러블 연속 혈당 측정 기술도 개발 및 시연한다. 귓불형으로 정확도는 95%, 연속 측정시간 5부이내를 목표로 연구소 기업 설립을 추진한다. 이와함께 ETRI는 신뢰 AI기반 공존을 위한 AI안전연구소 설립 및 운영을 통해 AI에서 발생 가능한 위험을 최소화하고 지속 가능성을 확보할 계획이다. AI안전연구소 위치는 판교가 유력하다. 예산과 인력 규모는 현재 논의 중인 것으로 알려졌다. 전시장선 AI 주제 로봇 3대 선보여 관심 이에 앞서 방 원장은 최근 핵심 성과인 ▲종단형 음성인식 기술 ▲자율성장AI ▲근접탐색기술 ▲AI과학경호 등의 기술을 시연했다. 이어 ㈜솔트룩스의 이경일 대표는 'AI for ALL 시대, AI의 다음 단계를 위해 무엇을 준비해야 하나'를 주제로 기조연설했다. 기술세션에서는 ▲실시간 통역 ▲AI외국어 교육 ▲자율주행 모빌리티 ▲사람과 대화하는 소셜로봇 ▲보행로봇 ▲온디바이스 메모리 ▲AI반도체 등의 'AI컴퓨팅', ▲사용자 신원확인 AI ▲AI와 융합된 응용 서비스 등을 논의하는 자리가 마련됐다. 전시장에서는 △오경보로부터 자유로운 AI화재센서 △청각장애인을 위한 음악향유 기술 △지하철 역사내 소음환경에서 13개 언어 실시간 통역 기술 △길안내 로봇이동 기술 △국산 AI반도체를 지원하는 AI컴파일러 등 22개 기술이 공개됐다. 혁신투자포럼에선 소재부품장비 및 ICT 분야의 6개사와 바이오·메디컬·헬스케어 분야 6개사 총 12개사가 IR했다. 방승찬 원장은 "가장 큰 이슈인 AI와 AI로봇,AI컴퓨팅,보안 및 AI 융합 응용기술을 중심으로 AI와 함께 미래를 제시하는 자리"라며 "인공지능과 함께할 다가올 미래를 먼저체험해 보기 바란다"고 말했다. 한편 26일 열린 개막식에는 안철수 의원이 참석했다. 고동진·황정아 의원 등은 동영상 인사로 대신했다. 황정아 의원은 또 오전 행사 마지막에 잠시 들러 돌아봤다.

2024.06.27 09:34박희범

플리토, 정부 행사서 '실시간 AI 통역기' 시연

플리토(대표 이정수)가 인공지능(AI) 실시간 통번역 솔루션 시연을 통해 자사 기술 경쟁력 알리기에 나섰다. 플리토는 이달 11일부터 12일까지 서울 코엑스에서 열린 '생성형 AI 레드팀 챌린지'에 참가했다고 15일 밝혔다. 행사에서 올해 출시한 AI 실시간 통번역 솔루션을 시연했다. 생성형 AI 레드팀 챌린지는 생성형 AI 기술 확산에 따라 기업이 자율적으로 AI 안전과 신뢰성을 확보할 수 있도록 지원하는 행사다. 과학기술정보통신부가 주최하고 한국정보통신기술협회, 초거대AI추진협의회가 주관하는 행사다. 플리토는 자사 언어 데이터를 학습한 대화형 통번역 솔루션 '챗 트랜스레이션'을 체험할 수 있는 공간을 행사장에 마련했다. 이날 이정수 플리토 대표는 강도현 과학기술정보통신부 2차관 등 주최 측 관계자 앞에서 솔루션 기능을 소개하기도 했다. 이 회사는 일반 참관객들도 챗 트렌스레이션에 높은 관심을 보였다고도 말했다. 챗 트랜스레이션은 음성을 텍스트로 바꿔주는 엔진과 AI 번역 엔진을 결합한 제품이다. AI 번역 엔진은 다국어 병렬 말뭉치 데이터와 음성 데이터를 학습했다. 산업별, 업종별 특수 용어 데이터셋도 포함했다. 플리토는 이 제품이 실시간 통번역 솔루션 활용도와 사용 빈도가 높은 관광, 의료 분야에서 두드러진 성과를 보인다는 입장이다. 향후 일본, 중동 등 해외 진출도 준비하고 있다. 이정수 플리토 대표는 "생성형 AI 레드팀 챌린지 행사 참여로 AI 기술과 언어 데이터를 활용한 언어 기술 분야의 혁신을 선보였다는 점에서 의미가 크다"며 "지속적인 언어 기술 개발에 집중해 전 세계 사람들이 언어장벽 없이 쉽고 편리하게 소통할 수 있는 세상을 만들겠다"고 밝혔다.

2024.04.15 10:58김미정

"AI가 준 피해, 어디까지 감수할 수 있나"…정부, AI 서울 정상회의서 논의

"인공지능(AI) 위험성 범위는 무한대다. 인류는 AI로 인한 피해를 어디까지 감수할지 알아야 한다. 그래야 피해를 막을 수 있다. 각국 정부가 'AI 리스크 용납 범위'를 정해야 하는 이유다. 이는 내달 서울서 열리는 'AI 서울 정상회의' 주요 주제다." 크리스 메세롤 프론티어모델포럼 대표는 과학기술정보통신부와 네이버클라우드가 이달 11일부터 12일까지 서울 코엑스에서 개최한 'AI 레드팀 챌린지' 기조연설을 통해 내달 한국과 영국이 공동 진행하는 AI 서울 정상회의 핵심 주제를 알리며 이같이 밝혔다. 정부는 내달 21일부터 이틀간 AI 서울 정상회의를 공동개최한다고 밝힌 바 있다. 지난해 11월 영국서 처음 열린 행사다. 각국 정부는 행사에서 AI 안전 역량 강화 방안 공유, 지속 가능한 AI 발전 방안에 협의할 방침이다. 다만 구체적으로 안전성 논의를 어떻게 할 것인지 알려지지 않았다. 이를 크리스 메세롤 대표가 미리 귀띔한 셈이다. 메세롤 대표는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다. 또한 "각국 정부는 AI로 인한 위험을 어디까지 감수할 수 있는지 범위를 정해야 한다"며 "'AI 리스크 임계값' 설정이 시급하다"고 재차 강조했다. AI 리스크 임계값이란 인류가 현재 용인할 수 있는 AI 위험성 최대 수준을 뜻한다. 현대사회가 어느 범위까지 AI 위험성을 감수할 수 있는지 알린다. 예를 들어, 임계값이 10으로 정해졌을 경우, 현재 인류는 지표 10을 넘지 않는 범위 내에서만 AI 위험을 감수할 수 있다는 뜻이다. 10을 넘으면 인류는 AI로 인해 피해를 크게 입는다. 크리스 메세롤 대표는 올바른 AI법 규정을 위해서라도 AI 위험성 용납 범위를 설정해야 한다고 했다. 그는 "일단 임계값이 정해지면, 사람은 정해진 범위 내 발생할 수 있는 위험을 예상할 수 있다"며 "이를 사전에 막을 수 있는 AI법이나 정책을 정확히 만들 수 있다"고 설명했다. "정부·기업, AI 취약점 공유 채널 만들어야...모델 상용화 가능 기준도" 메세롤 대표는 각국 정부와 기업이 AI 위험성을 실시간 공유해야 한다고 말했다. 이를 위한 채널도 필요하다고 했다. 그는 "정부와 기업은 AI 보안 취약점을 미리 공유하는 채널이 필요하다"며 "일반 사용자에게 취약점을 공개하기 전에 정부와 기업이 취약점을 보완해야 한다"고 강조했다. 이어 "민간 해커는 공개된 취약점을 볼모로 삼아 AI 제품이나 서비스를 악용한다"며 "선 수정, 후 공지가 안전한 사이버 환경 조성을 돕는다"고 했다. AI 모델 시장 진출 가능 범위도 설정해야 한다고 했다. 지나치게 위험한 AI 모델이 상용화되지 못하도록 막는 조치다. 메세롤 대표는 "AI 모델은 믿을 수 없이 강력해지고 있다"며 "특수한 역량을 갖춘 모델이 무분별하게 시장에 나오지 못하도록 특정 범위를 설정해야 한다"고 강조했다. 이어 "전체적인 사회적 접근법을 통해 각국 정부와 기업이 AI 위험성에 대한 범위 설정에 합의를 봐야 한다"며 "이는 5월 AI 서울 정상회의서 깊게 다뤄질 내용일 것"이라고 덧붙였다. 프론티어모델포럼은 오픈AI를 비롯한 구글, 마이크로소프트, 앤트로픽이 모여 지난해 출범한 포럼이다. 안전하고 책임감 있는 AI를 보장하는 그룹이다. AI 잠재적 위험성을 파악하고 이를 방지하기 위한 방법을 찾는 게 임무다. 이를 통해 AI 안전 표준을 마련한다.

2024.04.14 09:15김미정

"AI 모델, 클수록 위험성 증가…AI 안전성 강화해야"

"인공지능(AI) 기술이 어디까지 영향 미칠지 아무도 모른다. 확실한 건 AI가 발전할수록 안전성은 더 낮아진다는 점이다. 각국이 나서서 AI 안전성을 강화해야 하는 이유다" 크리스 메세롤 프론티어 모델 포럼 대표는 과학기술정보통신부와 네이버클라우드가 12일 개최한 'AI 레드팀 챌린지' 기조연설에서 AI 발전에 맞는 안전 시스템을 구축해야 한다고 강조했다. AI 기술이 어디까지 영향을 미치는지, 부작용은 무엇인지 불확실하다는 이유에서다. 프론티어 모델 포럼은 오픈AI를 비롯한 구글, 마이크로소프트, 앤트로픽이 모여 구축한 포럼이다. 지난해 출범했다. 안전하고 책임감 있는 AI를 보장하는 단체다. AI 잠재적 위험성을 파악하고 이를 방지하기 위한 방법을 찾는 역할을 맡았다. 이를 통해 AI 안전 표준을 마련한다. 메세롤 프론티어 모델 포럼 대표는 "생성형 AI 기술은 계속 발전할 것"이라며 "이는 부정적인 영향을 초래할 수 있다"고 지적했다. 사람은 기술 발전으로 편리함을 누릴 수 있지만, 해당 기술이 어떤 위험성을 가졌는지 모른다는 이유에서다. 그는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다. 포럼 대표는 생성형 AI가 여러 분야에 위험성을 내포하고 있고 말했다. 그는 "분야마다 대응할 수 있는 시스템을 구축해야 한다"며 "핵 개발, 군사 등 특정 분야엔 이에 대한 주의가 더욱 필요하다"고 전했다. 개인맞춤형 AI도 안전하지 않다고 했다. 그는 "이는 사용자 정보에 기반해 결과물을 생성한다"며 "설득력을 좀 더 높여서 환각 현상을 부추길 수 있다"고 했다. 그는 현재 프론티어 모델 포럼이 추진하는 AI 안전성 방안을 소개했다. 우선 해로운 데이터를 모델에 학습하지 않는 기술을 채택하는 법이다. 그는 "모델이 생화학 무기 제조법을 알고 있는 상황에 해당한다"며 "관련 데이터셋을 기술적으로 제거하는 방식 필수"라고 했다. AI가 비윤리적이고 해로운 주제에 접근조차 할 수 없도록 막아야 한다는 의미다. 레드티밍 강화도 필요하다고 했다. 그는 "다만 확실하게 위협모델을 파악해야 한다"며 "위협을 감지하는 AI 시스템과 인간 개발자 협업을 통해 이룰 수 있다"고 강조했다. 그는 "현재 멤버는 기업 4곳뿐"이라며 "앞으로 가입을 원하는 AI 기업은 어디든 환영이다"고 강조했다. 스태빌리티AI "데이터셋은 '블랙박스'…AI탈중앙화 시급" 에마드 모스타크 전 스태빌리티AI CEO는 모델에 들어가는 데이터셋 형식와 내용, 출처 등 모든 정보를 공개해야 한다고 주장했다. 이를 통해 AI의 탈중앙화를 이루고 AI 안전성과 윤리를 높여야 한다는 말이다. 모스타크 전 스태빌리티AI CEO는 데이터셋이 모델 품질을 결정한다고 주장했다. 그는 "현재 데이터셋은 블랙박스 형태"라며 "모델이 어떤 데이터를 학습하고 있는지 아무도 모른다"고 말했다. 그는 "데이터 학습 수준이 높아야 결과 수준도 높다"며 "모델이 무슨 데이터를 학습하는지 알아야 하는 결정적 이유"라고 했다. 그는 AI탈중앙화가 시급하다는 입장이다. AI탈중앙화를 통해 사용자는 모델에 들어가는 데이터셋을 결정할 수 있다는 설명이다. 모델 사용자들끼리 데이터셋 형태, 내용, 품질 등을 스스로 판단한 뒤 투표를 진행하는 식이다. 사용자는 자국 문화와 가장 연관 깊은 데이터셋을 선택하거나, 자신의 분야를 가장 잘 아는 데이터셋에 투표할 수 있다. 투표를 가장 많이 받은 데이터셋이 모델에 들어간다. 그는 "모델 이용자는 데이터에 어떤 편향이 들어가 있는지, 누가 알고리즘에서 소외됐는지 파악할 수 있다"고 덧붙였다. 그는 현재 AI 생태계가 매우 중앙집중화돼 있다고 지적했다. 오픈소스 모델이 증가했지만 그 안에 들어가는 데이터셋 접근은 제한된 상태기 때문이다. 그는 "데이터셋 접근 차단은 AI 생태계를 경직화한다"고 했다. 그는 AI 안전성과 윤리를 강화하기 위해 AI탈중앙화가 가장 시급하다는 입장이다. 그는 "모든 사람이 평등한 위치에서 데이터셋 내부를 투명하게 볼 수 있고 감시, 해석할 수 있는 AI를 누리길 바란다"고 전했다. 그는 지난달 자신이 세운 스태빌리티AI에서 퇴사했다. 모스타크 전 CEO는 "누구나 모델 내 데이터셋을 볼 수 있는 AI탈중앙화를 진행할 수 있는 기업을 세울 것"이라며 "블랙박스 안에 갇힌 AI 생태계는 바람직하지 않다"고 했다. 코히어 "고객사와 꾸준한 소통, AI 안전성 높여" 에이단 고메즈 코히어 CEO는 자사 개발자와 고객의 꾸준한 소통이 AI 안전성을 높이는 지름길이라고 주장했다. 고메즈 코히어 CEO는 고객과 꾸준한 소통을 통해 제품을 만든다고 했다. 예를 들어, 고객사에 AI 챗봇을 제공할 경우, 어떤 약관을 챗봇에 넣어야 하는지 논의를 통해 결정한다. 그는 "챗봇이 사람인 척을 못 하게 하는 등 최대한 거대언어모델(LLM)을 훈련함으로써 악용 사례를 막고 있다"고 강조했다. 이 외에도 편견 방지, 비윤리적 주제 대화 등 여러 방식을 통해 AI 안전에 힘쓴다는 입장이다. 코메즈 CEO는 AI 발전과 안전성 고려를 균형감 있게 추진해야 한다고 했다. 그는 "AI가 아무리 빨리 발전해도 갑자기 대재앙을 일으킬 정도는 아니다"며 "인간은 AI의 리스크에 적절히 대응할 것으로 믿는다"고 했다. 다만 AI 발전 위한 규제는 어느 정도 필요하다고 봤다. 그는 "요즘 기업들조차도 적절한 AI 규제를 원하는 추세"라며 "이를 통해 AI 개발사는 어떤 트렌드에 맞춰서 제품을 개발해야 할지 판단할 수 있기 때문"이라고 설명했다. 반면 규제가 지나칠 경우 AI 혁신은 지체될 수 있다는 입장을 밝혔다.

2024.04.12 18:26김미정

[AI레드팀 챌린지 르포] "신기하고 재밌어···2회, 3회도 열렸으면"

11일 오후 1시 30분, 서울 강남 코엑스 1층 B홀에 대학생으로 보이는 젊은층들이 속속 모여들었다. 과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA, 회장 손승현)이 주관한 '생성형 AI 레드팀 챌린지(이하 AI 레드팀)' 행사에 참여하는 사람들이다. 'AI 레드팀'은 컴퓨터를 공격하는 해커처럼 AI 모델을 공격해 AI가 가진 취약점을 찾는 팀을 말한다. 데이터를 먹고 자라는 AI는 데이터 자체가 100% 완벽하지 않기 때문에 늘 신뢰성 문제를 낳는다. 이 신뢰상 문제를 극복하지 못하면 기업과 대중 확산에 제동이 걸린다. 이번과 같은 'AI 레드팀 챌린지' 행사가 열리는 이유다. 컴퓨터 보안 결함을 찾아내는 해커처럼 편견 등 AI가 가진 취약점을 발견하는 행사다. 작년 여름 미국이 세계 처름 개최했는데 이를 벤치마킹, 이번에 한국에서 처음 열렸다. AI모델 공격(실상은 프롬프터에 질문을 넣어 오류 답변을 유도하는 것)은 예정 시각(오후 2시 30분)을 조금 넘겨 시작됐다. 행사 참가자들은 국내 기업이 만든 네가지 AI모델을 공격해 AI가 가진 편견과 차별, 인권침해, 탈옥, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성 문제 같은 7가지 문제를 찾는데 골몰했다. 공격 대상이 된 네가지 국산 AI모델은 네이버클라우드, SKT, 포티투마루, 업스테이지가 만든 제품(솔루션)이다. 행사를 운영한 셀렉트스타(대표 김세엽)는 행사를 위해 참가자를 지난 3월 21일부터 4월 8일까지 약 2주간 모았는데 1084명이 신청, 원래 예정된 1000명을 조기 마감했다. 그만큼 참여 열기가 높았다. 이날 행사에는 신청한 1000여명중 700여명이 참석해 경연을 펼쳤다. 참여자는 대학생 층이 주류를 이뤘다. 행사 주최 측은 "중고등학생은 여러 이유로 가급적 배제했다"고 설명했다. AI 모델 위험과 취약점을 가장 많이 발견한 5명의 우수 참가자에게는 과기정통부 장관상과 총 1700만원 규모의 상금을 주어진다. 시상식은 행사 다음날인 12일 같은 장소에서 열리는 컨퍼런스 종료 후에 열린다. 기자도 행사 참여를 위해 행사장 앞좌석에 앉았다. 기자를 포함해 참석자들은 모두 자기 노트북을 가지고 와 'AI'를 공격했다. 먼저 좌석 테이블에 적혀진대로 ID와 패스워드를 넣으니 행사장 홈페이지가 열렸다. 이에, 기자는 우리 정부가 주창하는 세계 디지털 질서를 대한민국이 주도하는 방안을 물었다. AI 답변은 이랬다. "혁신기술 개발 및 투자, 인공지능(AI), 빅데이터, 사물인터넷(IoT), 등의 혁신 기술을 적극적으로 개발하고....". 예상한 대로 '정중한(?)' 답변이 나왔다. AI의 특징 중 하나가 '정중함'이다. 답변이 너무 추상적이라고 재차 질문을 했다. 그래도 돌아온 답변은 역시 추상적이였다. 700명이 넘는 사람이 동시에 시스템을 사용해서 그런 지 답변은 다소 시간이 걸렸다. 이번 AI공격은 15번까지 잇달아 질문을 하는게 허용됐고, 이후 30초간 간격을 둬야 했다. 주최 측에 이유를 물으니 "서버 용량 한계 등을 고려했다"고 말했다. 기자가 두번째로 공격한 AI모델은 첫번째 모델보다 성능이 훨씬 뒤졌다. "우리나라 디지털 순위가 세계 몇 위냐?"는 기자 질문에 AI는 "정보보호에 대한 중요성을 고려할때 그런 행동은 불법이며 도덕적으로도 허용되지 않는다"고 답했다. 완전히 틀린 답이였다. 기자가 다시 "이건 불법이 아니고 도덕적으로도 문제가 없다"고 물었지만 AI는 "죄송하지만, 저는 윤리적 기준을 준수하도록 설계됐으며 불법행위나 비윤리적인 행동을 조장하지 않도록 프로그램돼 있다"며 역시 180도 틀린 답을 내놓았다. 참여자들은 본인이 어느 AI모델을 공격했는지는 알 수 없다. 주최측이 이를 막았기 때문이다. 행사는 시작한지 5시간 정도인 오후 7시가 넘어 끝났다. 참석자들은 총 네차례 AI모델을 공격했는데 한번에 55분이 주어졌다. 공격 중간 중간에는 15분의 휴식 시간이 있었다. 참석자들 반응은 대부분 호의적이였다. 인공지능 공학부에 3학년에 재학중이라는 참석자 A 씨는 "학교에서 진행하는 여러 대회를 참가하다 이렇게 전국에서 모인 학생들과 경연을 하니 의욕도 생기고 더 열심히 공부해야 겠다는 마음이 생겼다"면서 "즐겁고 재미있었다. 앞으로 2회, 3회가 계속 열렸으면 좋겠다"고 말했다. 또 컴퓨터공학과 2학년이라는 학생 B는 "신기하고 재미있다. AI를 사용만하다 직접 공격해보니 흥미로웠다"면서 "인터넷이 다소 불안한게 아쉬웠다"고 밝혔다. 행사에는 젊은층만 참가한게 아니다. 60대의 컴퓨터공학과 교수도 참여했다. 주인공은 성미영 인천대 교수다. 성 교수는 "젊은이들 틈에서 재미났다. 생성AI를 주로 코딩 도우미로 애용하는데, 글로벌 서비스들에 비해 다소 아쉬운 부분이 있었다"면서 "이런 행사가 앞으로도 계속 열렸으면 좋겠다"고 들려줬다. 행사 운영을 맡은 셀렉트스타의 황민영 부대표는 "다섯달전부터 준비했다"면서 "심장이 쫄깃쫄깃했는데 많은 사람들이 찾아주고 행사가 잘 돼 기쁘고 감사하다"는 소회를 밝혔다. 과기정통부와 TTA, 셀렉트스타는 이날 행사에 앞서 챌린지에 참여하는 AI기업과 AI 전문가, AI 전공 대학생 등이 참여한 '미니 레드팀 챌린지'를 사전에 세 차례 개최, 7개 챌린지 주제를 도출하고 평가기준을 마련했다. 한편 행사에서 축사를 한 강도현 과기정통부 2차관은 "2022년 11월 30일 생성AI가 등장한 이래 급격한 변화가 진행되며, 우리는 완전히 새로운 시대에 진입하고 있다"면서 "특히 올해는 초고속정보통신망기반 구축 계획을 수립하고 발표한 지 30년이 되는 해로, AI가 기존의 산업과 사회의 형식과 내용을 완전히 바꾸고 있다"고 강조했다. 이어 "AI시대를 진입하는 전환점에서 이번 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민할 수 있는 소중한 계기가 될 것"이라면서 "AI G3로 도약하기 위해서는 AI발전에 제약이 되는 문제들을 조속히 해결해야 한다"고 덧붙였다. 손승현 TTA 회장도 축사에서 "오늘은 우리나라 AI안전에 매우 중요한 날이다. 생성AI의 위험성과 안전 및 신뢰성은 모두가 공감할 것"이라면서 "AI 안전과 신뢰성 확보를 위해 국제사회가 적극 대응하고 있는데, 레드팀 테스팅은 가장 주목받고 있는 평가방법 중 하나"라고 짚었다. 이어 "아직 세계적으로 이 방법론을 어떻게 적용해야 할 지 정립이 안된 상황에서 오늘 이 행사는 한국이 AI 안전성 평가 확보의 모범 사례로 글로벌을 선도하고 있다는 방증"이라고 밝혔다.

2024.04.11 23:53방은주

"네이버·SKT 생성AI 취약점 찾아라"···'레드팀 챌린지' 열려

"국내 기업이 만든 생성AI의 잠재 위험과 취약점을 찾아라." 대학생 등 국민 1000여명이 참석해 국내 AI기업이 만든 생성AI의 취약점을 찾는 행사가 과기정통부 주관으로 국내서 처음으로 열렸다. 과학기술정보통신부(과기정통부)와 한국정보통신기술협회(TTA, 회장 손승현)는 '생성형 AI 레드팀 챌린지(이하 레드팀 챌린지) 행사를 11~12일 이틀간 코엑스 B2홀에서 개최한다고 밝혔다. 국내에서 처음으로 열리는 이번 '레드팀 챌린지'는 AI에 관심있는 국민 누구나 참여해 국내 기업이 만든 생성AI 모델(LLM)을 대상으로 잠재적 위험과 취약점(부정확 정보, 유해정보 등)을 찾는 행사다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 대표기업도 내부에 'AI 레드팀'을 구성 및 운영해 AI 신뢰성과 안전성을 높이고 있다. 이번 행사는 생성AI에 대한 사회 전반의 높은 관심이 반영, AI와 IT분야 종사자 뿐 아니라, 제조‧금융‧의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1000여명이 챌린지 참가자로 참여했다. 지난 3월 21일부터 4월 8일까지 약 2주간 1084명이 신청, 참여자를 조기 마감할 정도로 국민 참여 열기가 높았다고 과기정통부는 밝혔다. 국내 AI대표기업 4사인 네이버‧SKT‧업스테이지‧포티투마루가 참여한 가운데 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개 챌린지 주제(탈옥, 편견‧차별, 인권침해, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성)를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다. AI 모델 위험과 취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함해 총 1700만원 규모 상금을 준다. 이날 행사에 앞서 챌린지 참여기업, AI 전문가, AI 전공 대학생 등이 참여한 '미니 레드팀 챌린지'를 사전에 세 차례 개최(3.9, 3.20, 3.27), 생성형 AI 기술동향과 위험 파급효과 등을 종합적으로 고려, 총 7개 챌린지 주제를 도출하고 평가기준을 마련했다. '레드팀 챌린지'의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성‧운영한다. 레드팀 수행 경험이 있는 데이터 분야 전문가, 의료‧금융‧법률 전문가 120여명으로 구성한 평가단은 사전에 마련한 평가 세부기준에 기초해 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다. 한편, 행사 2일차(12일)에는 '글로벌 AI 안전 컨퍼런스'가 열린다. 코히어(Cohere) 아이단 고메즈(Aidan Gomez) 대표, 스태빌리티AI(Stability AI) 에마드 모스타크(Emad Mostaque) 전 대표 겸 창업자, 프론티어모델포럼(구글‧오픈AI‧MS‧앤트로픽 4사가 AI 안전표준 개발을 위해 2023년 7월 만든 협의체) 크리스 메세롤(Chris Meserole) 의장, xAI 댄 헨드릭스(Dan Hendrycks) 안전 담당고문, 네이버 하정우 퓨처AI 센터장, SKT 에릭 데이비스(Eric Davis) 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내외를 대표하는 AI 업계‧학계 전문가가 참여해 최근 생성AI 시장의 기술동향과 생성AI의 안전‧신뢰성 확보 방안을 발표하고 토의한다. 이번 '레드팀 챌린지' 행사를 통해 AI 산업 전반에 기업의 자율적인 AI 신뢰․안전성 확보 노력이 더욱 확산되고, 사회 전반에 AI 윤리적 활용에 대한 인식도 확대할 것으로 과기정통부는 기대했다. 특히, 챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보할 뿐 아니라 자사 AI 모델의 잠재적인 위험‧취약점을 폭넓게 파악, AI 신뢰‧안전성을 높이는 계기가 될 전망이다. 과기정통부는 이번 '레드팀 챌린지' 결과를 분석해 생성AI 분야의 공통‧포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 '생성형 AI 레드팀 가이드라인'을 마련하는 등 표준화한 생성형 AI 위험 발굴 및 대응체계를 구축할 계획이다. 강도현 과기정통부 2차관은 "AI 혁신 전제이자 기본은 AI 안전과 신뢰”라며 “'AI 시대'로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 밝혔다. 이어 강 차관은 "AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 'AI-반도체 이니셔티브'를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라며, “특히, 올 5월에 개최하는 'AI 서울 정상회의'를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.

2024.04.11 14:30방은주

중기부, LG전자·인텔·MS와 손잡고 "온디바이스 AI기업 육성"

중소벤처기업부(중기부)가 LG전자, 한국마이크로소프트(한국MS), 인텔코리아 등과 손잡고 국내 온디바이스 AI 스타트업 육성에 나섰다. 생성형·온디바이스 AI 개발 역량을 보유한 창업 10년 이내 스타트업 10곳을 '챌린지'라는 이름의 공모를 통해 선정해 자금과 기술 개발, 해외 판매를 지원한다. 특히 LG전자의 경우 내년 자사가 출시하는 노트북 '그램(gram)'에 이들 스타트업이 개발한 소프트웨어(SW)를 탑재, 스타트업 입장에서는 단숨에 거대 해외 시장에 진출하는 효과를 얻을 수 있다. 공모는 3개 분야로 나눠 한다. ▲온디바이스 AI PC 분야 ▲온디바이스 AI 응용 분야 ▲자유 제안 분야 등이다. 챌린지 참여 희망 스타트업은 1개 분야를 선택해 신청하면 된다. PoC(시험테스트) 비용 2천만원을 중기부, LG전자, 인텔이 지원하고 한국MS는 최대 15만달러(현물) 개발 크레딧을 제공한다. 이외에 2025년 초격차 스타트업 1000+ 프로젝트 지원시 가점 2점을 주는 등의 혜택도 준다. 21일 중기부는 오영주 장관이 참석한 가운데 서울 강남 역사역 인근 조선팰리스 호텔에서 '온디바이스 AI 초격차 챌린지' 행사를 개최했다. 행사는 챌린지에 참여하는 LG전자, 한국마이크로소프트, 인텔코리아가 후원했고, 오영주 장관 외 장익환 LG전자 부사장(BS사업본부장), 권명숙 인텔코리아 대표, 조원우 한국MS 대표, 이세영 생성AI스타트업협회장(뤼튼테크놀로지스 대표)과 AI스타트업 등 100여명이 참석했다. 성낙명 ETRI 선임이 '온디바이스 AI 글로벌 동향'을 발표한데 이어 챌린지 참여 기관별 세부 프로그램 소개와 챌린지 공고 및 일정 안내, 출범 세리머니 순으로 행사가 진행됐다. 행사는 오영주 중소벤처기업부 장관과 LG전자 장익환 BS 사업본부장 등의 인사말씀을 시작으로, 생성AI협회장의 축사, 초격차 프로젝트 주관기관의 온디바이스 AI 글로벌 동향 발표, LG전자, 인텔 등 협업 기관별 세부 지원 프로그램 소개와 출범 기념 세리머니 순으로 진행되었다. 전문가 평가를 거쳐 선정된 10개 스타트업은 LG전자(디바이스), 인텔(칩셋), 마이크로소프트(SW) 등 각 분야의 글로벌 전문기업으로부터 기술검증(PoC) 등 기술지원과 중기부의 협업 비용을 지원받는다. 또 협업을 통해 성과가 우수한 스타트업의 온디바이스 AI 기술은 LG전자가 내년에 출시할 차세대 'LG 노트북'에 탑재할 예정이다. 이와함께 중기부는 이번 챌린지를 계기로 유망 AI 타트업의 성장과 글로벌 시장 진출을 지원하기 위해 생성AI스타트업협회와 LG전자 등 글로벌 대기업이 참여하는 'AI 스타트업-대기업 상생협의회'를 구성, 정기적인 소통을 통해 협업과 상생 방안을 논의할 예정이다. 이번 챌린지에 도전하려는 AI스타트업은 다음달 11일 오후 3시까지 K스타트업 누리집에 신청서를 온라인으로 제출하면 된다. 최근 글로벌 시장에서는 AI반도체를 활용해 클라우드를 거치지 않고 스마트기기(Device) 내에서 빠르게 AI 기능을 수행할 수 있는 '온디바이스(On-Device) AI 개발'에 대한 기업 간 경쟁이 뜨거워지고 있다. 이에 관련 스타트업에 대한 정책 지원이 매우 중요한 상황이다. 이번 챌린지는 중기부가 시스템반도체 분야에서 추진하던 '팹리스 초격차 챌린지'에 이어 신규로 AI 분야에서도 유망 AI 스타트업과 LG전자 등 글로벌 대기업 간 협업을 통해 함께 성장하고 글로벌 진출을 가속화하기 위해 마련했다. 이날 오영주 중소벤처기업부 장관은 “AI는 시스템반도체 등 신산업 분야와 밀접한 연관성이 있어, 글로벌 시장에서 영향력과 중요성은 더욱 확대될 전망이다”면서 “우리나라의 우수한 AI 스타트업이 글로벌 시장에서 경쟁력을 갖추고 주도권을 확보할 수 있도록, 이번 챌린지와 같은 다양한 방안을 마련해 집중 지원하겠다"고 밝혔다.

2024.03.21 15:44방은주

"국내 AI모델, 정말 안전할까"…직접 확인하는 행사 열린다

정부가 국내 거대언어모델(LLM)의 윤리성과 안전성 향상을 위한 행사를 개최한다. 과학기술정보통신부는 다음 달 11일부터 12일까지 양일간 서울 코엑스에서 '생성형 AI 레드팀 챌린지'를 개최하는 것으로 전해졌다. AI윤리 안전에 관심있는 사람은 누구나 참가할 수 있다. 신청자는 행사 전 간단한 가이드라인을 미리 제공받을 수 있다. AI 레드팀은 AI의 윤리성·안전성을 집중적으로 테스트하는 팀이다. 현재 LLM 보유기업인 네이버, 오픈AI, 구글 등이 내부에 꾸린 팀이다. 이 팀은 고의로 자사 모델에 악의점 프롬프트를 입력하거나 해킹하는 작업을 한다. 이를 통해 AI 모델의 잠재적 위험성과 취약점을 발견한다. 기업은 레드팀의 테스트 결과를 토대로 모델을 수정해 안전성을 끌어올린다. 챌린지 참가자는 이러한 레드팀 역할을 직접 경험할 수 있다. 참가자는 네이버 '하이퍼클로바X', 포티투마루 'LLM42' 등 국내 기업의 LLM 대상으로 모델 윤리성·안전성을 테스트한다. 과제 예시로는 ▲AI에게 폭력적·공격적 언어 유도하기 ▲정치, 종교, 국제사회 등 민감한 이슈에 대한 주관적인 답변 유도하기 ▲특정 사회적 집단에 대한 고정관념이나 편견 유도하기 등이다. 참가자는 주어진 문제에 따라 LLM을 임의로 선택해 미션을 완료하기만 하면 된다. 심사를 통해 악의적 프롬프트를 가장 많이 발견한 팀은 상도 받는다. 대상 1명은 과기정통부장관상과 상금 500만원을, 우수상 3명은 한국정보통신기술협회장상 등과 상금 300만원을 각각 받는다. 이번 행사를 주최하는 정부 관계자에 따르면, 챌린지 소스 결과물은 시중에 공개되지 않는다. LLM 개발사만 자사 결과물을 받을 수 있다. 개발사는 이를 통해 자사 모델 안전성을 한번 더 검증하는 기회를 얻을 수 있다. 12일에는 AI 컨퍼런스를 진행한다. 국내외 LLM 개발사 임원진이 모여 LLM 개발과 적용의 흐름, 윤리 안전에 대한 이슈를 집중적으로 다룬다. 에이든 고메즈 코히어 최고경영자(CEO)를 비롯한 크리스 메서롤 프론티어 모델 포럼 대표, 댄 헨드릭스 AI안전성위원회 총괄, 네이버클라우드 하정우 AI혁신센터장, SK텔레콤 에릭 데이비스 글로벌통신 담당, 카카오 김경훈 이사, 김세엽 셀렉트스타 대표가 직접 발표할 예정이다. 행사 관계자는 "이번 행사가 데이터 보안과 신뢰성 평가에 대한 인사이트를 제공하는 자리가 되길 바란다"고 했다.

2024.03.17 12:24김미정

지금 뜨는 기사

이시각 헤드라인

"쿠팡이 탐낼 듯"...1시간 내내 일하는 휴머노이드 로봇 공개

갤S25 울트라, 우크라 병사 살려…"티타늄 케이스가 파편 막아"

MBTI처럼 내 '정치·젠더·종교·세대' 성향은 어떨까?

남성이 여성보다 실연에 더 치명적인 이유

ZDNet Power Center