• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
스테이블코인
인공지능
배터리
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 검증'통합검색 결과 입니다. (4건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

"AI 도입 2배 늘어나는 동안 AI 보안 사고는 7.5배 늘어"

최근 정부와 공공기관, 금융권 등을 중심으로 인공지능(AI) 기술 도입이 빠르게 확산하고 있는 가운데 국내 LLM(거대 언어 모델)은 빅테크 기업의 LLM 모델과는 달리 내재적인 보안 기능이 부실하다는 지적이 나왔다. 이에 공공기관 AI 도입을 위한 보안 점검이 필요하다는 주장에 힘이 실리고 있다. 김호원 부산대 컴퓨터공학과 교수는 지난 7일 한국사이버안보학회 학술대회에서 이같은 내용을 골자로 한 'MITRE ATLAS 관점에서의 생성형 AI보안과 신뢰성 검증 기술'을 주제로 발표했다. 김 교수는 AI모델 무결성, 개인정보·기업 정보 유출 이슈 등 AI 보안 관리 중요성을 강조하면서, AI 기술 확산과 함게 보안 위협도 증가하고 있다고 진단했다. AI추론 결과에 대한 신뢰 이슈, 부정확한 정보 제공 등 AI 관련 리스크를 진단하는 공공기관 도입 AI의 안전성·신뢰성·보안성 검증이 필수라고 짚었다. 그는 "AI가 단순 업무 지원 도구에 그쳤던 반면 최근에는 전 산업 분야에서 생성형 AI 도입이 급속히 확산하고 있는 만큼, 내부 주요 정보 활용과 자율적 의사결정을 통한 생성형 AI 사용 범위가 확대됐다"며 "그에 따라 보안 리스크도 증가하고 있다"고 역설했다. 실제로 올해 기준 산업 내 생성형 AI의 도입 비율은 2023년 대비 2배 이상 늘어난 것으로 나타났다. 이에 따라 생성형 AI 보안 사고 역시 2023년 대비 7.5배 늘었다. AI 도입이 늘어나면서 AI에 따른 보안 사고도 크게 뛴 것이다. 김 교수는 생성형AI 사용으로 새롭게 발생하거나, 기존 위험을 더욱 악화시키는 리스크 유형 12개를 소개했다. 구체적으로 ▲화학, 생물학, 핵, 방사선(CBRN)정보를 생성하거나 악용하는 위험 ▲사실이 아닌 정보를 그럴듯하게 생성하는 위험 ▲위험하거나 폭력적인 콘텐츠 ▲데이터 프라이버시 ▲에너지 소비 등 환경 문제 ▲특정 그룹에 불리하거나 차별적인 결과물을 생성하는 문제 ▲인간이 AI 시스템을 과도하게 신뢰하거나 의존하는 위험 ▲정보 무결성 ▲정보 보안 ▲지적 재산권 ▲음란하거나 모욕적인 콘텐츠 ▲AI 공급망 보안 등이다. 이에 AI 시스템의 안전성과 신뢰성 확보를 위해 모델 수준의 보안 및 신뢰성 검증이 필수적이라는 것이 김 교수 진단이다. 그는 "AI 모델 도입 전 주요 공격 기법과 취약점에 대한 사전 대응 가능성을 검증해야 할 필요가 있다"며 "특히 적대적 공격내성, 출력 검증, 공정성·편향성 등 AI 특화 보안·신뢰성 검증 기법 활용이 필요하다"고 강조했다. 제시한 12개 유형의 위험 및 문제에 대해 항목별 점건 기준을 마련해야 한다고도 역설했다. 이는 단순히 기술적인 문제를 극복하기 위한 차원이 아니라 AI 확산에 따른 사회적 신뢰 확보를 위한 핵심 요소라는 것이다. 한편 김 교수는 대표적인 AI 시스템에 대한 공격 기업에 대해서도 소개했다. 우선 프롬프트 가로채기(Prompt Injection)가 가장 대표적인 생성형 AI 위협으로 꼽혔다. 공격자가 프롬프트를 조작해 AI 모델이 의도하지 않은 행동을 하도록 유도하는 유형이다. OWASP 2025 LLM 보안 Top10 리포트에서도 생성형 AI의 최대 보안 위협으로 꼽히기도 했다. 이로 인해 실질적인 데이터 유출, 고객의 개인정보 유출 등 피해가 이어질 수 있다. 또 생성형 AI의 안전장치를 무력화하는 방식으로도 공격이 이어질 수 있다. AI의 정책 위반 금지 조항, 윤리적 제약 등을 우회하도록 설계해 프롬프트 구조나 입력 패턴 또는 문맥적 단서를 활용하는 등 사회공학적 기법을 활용해 LLM 안전장치를 우회하고, AI 모델이 원하지 않는 출력을 강제로 생성하도록 유도할 수 있다. 민원 대응 챗봇, 교육용 AI 등에서 윤리적 문제 및 신뢰도 하락을 유발할 우려도 제기됐다.

2025.11.08 15:20김기찬

AI 탑재한 포시에스 이폼사인, TTA 클라우드 품질 검증 통과

포시에스가 인공지능(AI)을 탑재한 클라우드 전자계약 서비스 이폼사인의 안정적인 품질과 신뢰성을 공식적으로 인정받았다. 포시에스가 '이폼사인 AI'에 대해 한국정보통신기술협회(TTA) 소프트웨어시험인증연구소의 품질 검증을 통과했다고 31일 밝혔다. TTA 시험인증연구소가 지난달 20~22일 실시한 이번 품질 검증은 국제 표준을 기반으로 클라우드 서비스가 갖춰야 하는 필수 요건을 종합 점검하는 공인 절차다. 실제 운영 중인 이폼사인 환경에서 진행된 이번 AI 전자계약 서비스의 테스트를 통해 우수한 성능과 안정성을 객관적으로 검증받았다. 이폼사인은 컴퓨터와 모바일 등 다양한 기기와 주요 웹브라우저 환경에서 안정적인 서비스 제공 능력을 인증받았고 안정적으로 클라우드 인프라를 운영하고 있음이 확인됐다. 서비스 확장성과 성능 측면에서도 기술력을 입증했다. 이폼사인은 접속자가 급증하는 상황에서도 신속하게 서버를 확장해 안정적인 서비스를 지속할 수 있는 기술 역량을 갖췄다. 이번 인증은 독자 개발한 AI 기술을 탑재한 이폼사인 최신 버전의 품질과 안정성이 국제 표준에 따라 공식 검증됐다는 점을 시사한다. 포시에스는 정보통신산업진흥원(NIPA) 주관 'AI 기반 이폼사인 개발 및 사업화' 국가 과제를 수행하며 네이버 클로바X와 협력해 지난 9월 AI 비서 기능을 공개했으며 문서 안에서 입력할 부분을 자동으로 찾아 배치하고 기본 권한을 설정하는 등의 기능을 서비스에 적용하기 시작했다. 이번 품질 검증 통과는 급증하는 신생 전자계약 서비스들과 차별화되는 검증된 품질 체계를 갖춘 것으로 평가된다. 포시에스는 이미 국제 정보보안 인증과 클라우드 보안 인증, 소프트웨어 품질 인증, 정부혁신제품 지정 등을 보유 중이다. 이번 품질 검증으로 보안성과 안정성을 모두 갖춘 종합 전자계약 플랫폼으로서의 경쟁력을 확고히 했다는 설명이다. 이를 통해 이폼사인 고객들은 검증된 품질과 신뢰성을 갖춘 전자계약 서비스를 이용할 수 있게 됐다. 포시에스는 초거대언어모델(LLM)을 접목한 이폼사인의 이번 인증 취득을 통해 향후 공공·민간 분야에서의 활용 범위를 더욱 확대한다는 목표다. 포시에스 관계자는 "이번 TTA 품질 검증에서 항목 전체 정상 동작 판정을 받은 것은 AI를 탑재한 이폼사인의 품질과 안정성이 국제 표준에 따라 공식 검증됐다는 것"이라며 "실제 운영 환경에서 진행된 엄격한 시험을 통해 서비스 전반의 품질을 객관적으로 입증함으로써 고객들에게 더욱 안심하고 사용할 수 있는 전자계약 환경을 제공하게 됐다"고 밝혔다. 이어 "오랜 전자문서 기술력을 바탕으로 AI 기술까지 접목한 최신 버전의 이폼사인이 보안 인증과 품질 검증을 모두 갖춘 서비스로서 시장 내 차별화된 경쟁력을 확보했다"며 "앞으로도 지속적인 기술 혁신과 철저한 품질 관리를 통해 고객들이 신뢰할 수 있는 안정적이고 우수한 전자계약 서비스를 제공하며 국내 전자문서·전자계약 시장을 선도해 나갈 것"이라고 덧붙였다.

2025.11.03 10:38한정호

HCG '탈렌엑스', AI 기반 성과 관리·평가 기능 서비스 시작

휴먼컨설팅그룹(대표 박재현, 이하 HCG)은 자사 HR 서비스형 소프트웨어(SaaS) 플랫폼 '탈렌엑스'의 AI 기반 성과관리·평가 기능이 주요 고객사 실무 검증(PoC)을 완료하고, 본격 서비스에 돌입했다고 30일 밝혔다. 이번에 새롭게 선보인 AI 기능은 단순한 기술 개발 단계를 넘어, 실제 HR 실무에서 검증을 마친 실증형 서비스다. HCG는 주요 고객사와 협업해 과거 성과관리 및 평가 데이터를 기반으로 AI 모델의 적합성과 결과 신뢰도를 테스트했다. 그 결과 실무자들이 즉시 활용 가능한 수준의 완성도를 확보했다고 설명했다. 탈렌엑스는 이번 업데이트를 통해 ▲모든 구성원에게 인사정보와 성과데이터에 근거해 목표 및 핵심성과지표를 자동 추천하는 'AI 목표 추천' ▲팀장급에게 팀원의 1년간 성과와 피드백, 다면진단 결과를 요약 제공하는 'AI 성과활동 요약' ▲임원급에게 직속 조직 팀장들이 작성한 팀원 평가 결과를 요약 제공해 팀원 성과와 기여 수준을 빠르게 파악하고 평가 등급 조정이 가능하도록 지원하는 'AI 평가 요약' 기능을 추가했다. 이번 업데이트 기능과 함께, 탈렌엑스는 지난 3월 특허를 출원한 'AI 기반 감정 분석 기술'을 적용한 'AI 피드백 분석' 기능을 운영해 오고 있다. 해당 기능은 피드백의 긍·부정 경향과 주요 키워드를 분석해 구성원의 강점과 개선점을 직관적으로 도출하도록 지원하며, HR 현장에서 꾸준히 활용되고 있다. HCG는 AI 기능을 통해 HR 담당자는 업무 효율을 높이고, 리더는 데이터와 근거 기반으로 평가·보상·육성 의사결정을 내릴 수 있을 것으로 전망하고 있다. 이번 실무 검증은 HR 테크의 중심이 단순한 '시스템 관리'에서 'AI 기반 의사결정 지원'으로 진화하고 있음을 보여주는 사례로 평가된다. 또 이번 검증은 HCG가 지난해 설립한 AI×HR R&D센터의 연구개발 성과이기도 하다. HCG는 향후 성과·평가 외에도 근무·급여·직무·보상 영역으로 AI 기능을 확장하고, 자연어 기반 인재 검색과 전략적 HR 의사결정 지원 등 AI 에이전트 기능을 단계적으로 개발할 계획이다. 휴먼컨설팅그룹 백승아 최고제품책임자는 “HCG는 단순히 AI 기능을 '도입'하는 수준이 아니라, 현장의 데이터를 학습하고 실무에 바로 적용 가능한 '검증된 AI HR'을 구현하고 있다”며 “탈렌엑스가 AI HR의 새로운 표준으로 자리 잡을 수 있도록 기술 고도화를 지속하겠다”고 말했다.

2025.10.30 15:01백봉삼

[현장] 車·원전·방산 SW 검증 강자 슈어소프트테크, AI 시장 겨냥한 新무기 꺼냈다

"소프트웨어로 더 안전한 세상을 만드는 기업이 되겠습니다." 올해 23주년을 맞은 슈어소프트테크가 이 같은 비전을 앞세워 소프트웨어(SW) 자동화 검증 플랫폼 기업을 넘어 빅데이터, 인공지능(AI), 소프트웨어 개발 등에서 다양한 성장 동력을 키워나갈 것이란 포부를 드러냈다. 특히 AI의 신뢰성, 안전성을 기반으로 기술력을 끌어 올려 시장 주도권을 확보해나간다는 방침이다. 배현섭 슈어소프트테크 대표는 4일 경기도 성남시 그래비티조선서울판교에서 진행된 '2025 슈어 AI 테크 컨퍼런스'에 참여해 "지금까지 걸어온 검증 기술이라는 길 위에서 다가오는 AI 시대를 맞아 신뢰성, 안전성을 확보하기 위해 어떻게 나서야 할 지 고민을 한 끝에 이 자리를 마련했다"며 "기술 패러다임이 완전히 전환되고 있는 시점에서 AI 적용 범위가 자율주행뿐 아니라 국방, 금융, 의료 등 다양한 분야로 확장되며 검증되지 않은 AI가 초래할 수 있는 위험에 대해 짚어볼 필요가 있다고 생각했다"고 운을 띄웠다. 이어 "신뢰할 수 있는 AI 기술에 대한 필요성이 더 높아지며 영국, 미국, 일본, 유럽연합(EU) 등에선 AI의 신뢰성과 안전성 연구 기관을 앞다퉈 설립하고 있고, 우리나라도 AI안전연구소를 개설한 상황"이라며 "범국가적 노력과 더불어 민간 영역에서도 AI 기술을 검증하고 활용하려는 노력이 치열하게 전개되고 있는 상황에서 우리 회사도 중요한 역할을 하고자 한다"고 덧붙였다. 이를 위해 배 대표는 AI 시대를 맞아 ▲테스트 바이 AI(Test by AI) ▲테스트 오브 AI(Test of AI) 등 두 가지 주제를 앞세워 슈어소프트테크의 새로운 기술을 선보였다. 테스트 바이 AI는 슈어소프트테크가 기존에 했던 여러 종류의 시험들에 AI를 접목함으로써 사람이 저지를 수 있는 여러가지 실수를 배제하고 더 효율적이고 정교하게 업무를 수행할 수 있게 하는 개념이다. 테스트 오브 AI는 자체 검증을 통해 안전하고 신뢰할 수 있을 뿐 아니라 윤리적으로 문제가 없는 AI를 활용할 수 있도록 돕는다는 의미다. 이 개념을 토대로 슈어소프트테크는 이날 콘퍼런스에서 ▲AI 에이전트 '알리라-AI(ALIRA-AI)'와 ▲AI 검증 서비스인 '베리파이-엠(VERIFY-M)'을 처음 공개했다. '알리라-AI'는 생성형 AI 기술과 에이전틱 AI 기술을 활용해 SW 테스트 전반의 작업 생산성을 향상 시킬 수 있는 '테스트 바이 AI 솔루션'이다. '베리파이-엠'은 AI 모델을 신뢰할 수 있도록 시험하고 평가하는 것을 지원하는 '테스트 오브 AI 솔루션'이다. 슈어소프트테크는 이를 선보이기 위해 오픈AI의 '챗GPT'가 등장하기 시작한 직후부터 AI 전담팀을 구성해 솔루션 개발에 주력해왔다. 특히 에이전트 AI, 피지컬 AI로 넘어가기 시작하는 AI 트렌드에 발 맞춰 이에 걸맞는 솔루션을 앞세워 제조 영역에서 정확도 높은 AI 기술 도입 확산을 이끌겠다는 의지도 다졌다. 이번에 공개된 '알리라-AI'는 그 결과물로, 기존 AI 에이전트 개념을 벗어나 산업별로 특화된 앱 형태의 솔루션이란 점에서 많은 기업들의 관심을 받고 있다. 이 솔루션은 ▲기존 V&V(SW 확인·검증) 솔루션의 생산성·지능성을 개선해주는 'AI-이네이블드 테스트 오토메이션(AI-Enabled Test Automation)' ▲복합 태스크에 집중된 개발 환경에 맞춘 '태스크 특화 생산성 도구' ▲SW 공학 태스크를 위한 AI 앱 '알리라-AI 허브' ▲서비스 파이프라인을 구성하는 '알리라-AI 커스텀 파이프라인' 등 4가지 구성 요소로 이뤄져있다. 현재 슈어소프트테크의 주요 고객사인 현대자동차 등에서 이 솔루션을 활용 중으로, 적용 시 인력뿐 아니라 비용, 시간 절감 효과가 30%가량인 것으로 파악됐다. '베리파이-엠'도 최근 국내외에서 '신뢰할 수 있는 AI(Trustworthy AI)'에 대한 수요가 많아짐에 따라 공개 전부터 여러 기업에서 관심을 보이고 있는 상태다. 국내 주요 통신사와 자동차 업체, 공공기관, 국방 등에선 이미 슈어소프트테크와 '베리파이-엠' 활용에 대해 협업을 추진 중인 것으로 알려졌다. '베리파이-엠'은 ▲AI 모델에 대한 메타모픽 시험 평가 ▲DL모델 화이트박스 테스트 ▲표준 기반 ML 모델 평가 지표 계산 ▲텐서플로우 등 모델에 대한 다양한 포맷 지원 등을 통해 AI를 평가·검증한다. 현재 AI 검증 솔루션은 국내외서 많지 않은 상태지만, 관련 시장이 급속도로 성장하고 있다는 점에서 '베리파이-엠'이 슈어소프트테크에 좋은 성장 동력이 될 것으로 기대된다. 업계에선 AI 모델 리스크 관리 시장이 지난 2023년 약 54억8천만 달러에서 2030년까지 연평균 12.8%씩 성장할 것으로 전망하고 있다. 업계 관계자는 "AI 기술의 확산과 함께 신뢰성, 정확성, 윤리성 확보에 대한 요구가 증가하고 있다"며 "특히 금융, 헬스케어, 자율주행 등 고위험 분야에서의 AI 활용이 확대되면서 관련 솔루션과 서비스에 대한 수요도 급증하고 있다"고 분석했다. 슈어소프트테크 관계자는 "'베리파이-엠'은 평가 도구의 60% 이상을 자동화를 적용해 빠르게 검증할 수 있다는 것이 장점"이라며 "앞으로도 AI 소프트웨어를 위해 선도적이고 중요한 책임을 수행함으로써 안전하고 신뢰성 있는 AI 발전에 기여하고자 노력할 것"이라고 강조했다. 슈어소프트테크는 '알리라-AI'와 '베리파이-엠'을 앞세워 '미션 크리티컬 SW 검증' 시장을 넘어 AI 시장에서도 승기를 잡겠다는 각오다. 또 올해 전체 매출의 5%가량을 AI로 채운 후 향후 30~40%까지 비중을 확대한다는 계획이다. 배 대표는 "AI 기반 서비스가 굉장히 많이 출현하고 있는 상황에서 안전하고 신뢰할 만한지, 윤리적으로는 문제가 없는지에 대해 충분히 고민하고 내놓은 솔루션"이라며 "2년 전 상장한 후 미래를 위해 꾸준히 성장하기 위해 노력해왔던 상태로, 이번에 공개한 AI 솔루션들이 앞으로 회사의 미래 성장 동력이 될 것으로 믿는다"고 밝혔다.

2025.06.04 14:42장유미

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

SK그룹, 신상필벌·강소화 인사…반도체·AI 힘 실어

'코드레드' 발령한 오픈AI, 챗GPT 아성 지켜낼까

[현장] '노키아의 나라' 핀란드, 갈등 해결 도구로 '오픈소스' 주목한 이유는

오픈AI, 韓서 '스타게이트' 논의…"직접 투자는 제한"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.