• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (331건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

스노우플레이크, 엔비디아와 풀스택 AI 플랫폼 제공

스노우플레이크는 엔비디아와 파트너십을 강화해 풀스택 AI 플랫폼을 제공한다고 21일 발표했다. 인공지능(AI)을 활용해 기업 고객의 생산성을 높일 수 있도록 지원하는 것으로, 스노우플레이크의 데이터 기반과 안정성 높은 데이터 클라우드의 AI 기술을 풀스택 엔비디아 가속 플랫폼에 결합할 수 있게 된다. 양사는 AI의 생산성과 비즈니스 속도를 높이고 여러 산업군에 걸쳐 새로운 비즈니스 기회를 확대하도록 설계된 인프라와 컴퓨팅 기술을 결합해 안전하고 강력한 기능을 제공한다. 지난해 6월 스노우플레이크와 엔비디아가 엔비디아 네모 통합 기능을 확대한다고 발표했다.. 강화된 파트너십에서 스노우플레이크는 자사 플랫폼에서 데이터 보안, 개인정보보호 및 거버넌스를 원활하게 유지하면서 직접 엔비디아의 네모 리트리버를 활용할 수 있게 된다. 네모 리트리버는 기업이 맞춤형 LLM을 기업 데이터에 연결할 수 있는 생성형 AI 마이크로 서비스다. 이를 기반으로 챗봇 애플리케이션의 성능과 확장성을 개선하고 스노우플레이크 코텍스(프리뷰 공개)로 AI 애플리케이션을 구축한 400개 이상의 기업이 보다 빠르게 비즈니스 가치를 실현할 수 있도록 지원한다. 또한 딥 러닝 추론 애플리케이션에 짧은 지연 시간과 높은 처리량을 제공하는 엔비디아 텐서RT를 활용할 수 있어 기업 고객의 LLM 기반 검색 기능이 향상될 것으로 기대된다. SQL 사용자는 스노우플레이크 코텍스 LLM 기능을 통해 소규모 LLM을 활용해 감정 분석, 번역 및 요약 등의 특정 작업을 몇 초 만에 비용 효율적으로 처리할 수 있다. 미스트랄AI, 메타 등의 고성능 모델을 활용한 AI 애플리케이션의 개발에도 적용할 수 있다. 스노우플레이크의 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 사용자들이 대화 형식으로 질문하면 관련 테이블을 활용해 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다. 도큐먼트 AI는 기업들이 LLM을 사용해 문서에서 청구 금액 또는 계약 약관 등의 내용을 쉽게 추출하고 시각화 인터페이스와 자연어를 사용해 결과를 섬세하게 조정할 수 있도록 지원한다. 고객사는 도큐먼트 AI를 사용해 수작업으로 인한 오류를 줄이고 자동 문서 처리를 통해 효율성을 강화한다. 슈리다 라마스워미 스노우플레이크 CEO는 “데이터는 AI의 원동력으로, 효과적인 AI 전략 수립에 매우 중요하다”며 “스노우플레이크는 엔비디아와 협력으로 신뢰할 수 있는 기업 데이터를 위한 안전하고 확장 가능하며 사용이 용이한 플랫폼을 제공하게 됐다”고 밝혔다. 그는 “특히 기술 전문성에 상관없이 모든 사용자가 AI를 사용할 수 있게 해 누구나 AI 기술 혜택을 얻도록 지원한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “기업 데이터는 비즈니스 인텔리전스를 확보할 수 있는 커스터마이징 AI 애플리케이션의 근간”이라며 “엔비디아 가속 컴퓨팅 및 소프트웨어를 스노우플레이크의 데이터 플랫폼에 적용함으로써 고객이 기업 전용의 생성형 AI 애플리케이션을 구축, 배포 및 관리할 수 있게 된다”고 강조했다.

2024.03.21 09:39김우용

경계현 삼성전자 사장 "내년 초 AI 가속기 '마하1' 출시"

삼성전자가 LLM(Large Language Models, 거대언어모델)을 지원하는 첫번째 AI 반도체 '마하1(MACH-1)를 연내에 만들어서 내년 초에 AI 가속기로 출시할 계획이다. 경계현 삼성전자 DS부문(반도체) 대표이사 사장은 20일 경기 수원시 수원컨벤션센터에서 열린 정기주주총회 이후 진행된 '주주와의 대화'에서 AI 반도체 '마하1'을 처음으로 언급했다. 경 사장은 "AI 반도체 마하1은 FPGA를 통해서 기술 검증을 완료했고, 현재 시스템칩(SoC) 디자인을 진행 중에 있다"라며 "올해 연말 정도면 마하1 칩을 만들어서 내년 초에 저희 칩으로 구성된 시스템(AI 가속기)을 보실 수 있을 것이다"고 말했다. 범용인공지능(AGI)은 인간 지능에 가깝거나 이를 능가하는 수준의 스스로 학습하는 기술이다. 최근 삼성전자는 범용인공지능(AGI) 반도체를 개발하기 위해 미국과 한국에 AGI 컴퓨팅랩을 설립했다. AGI 컴퓨팅랩은 마하1 칩 개발을 담당하며, 구글 텐서처리장치(TPU) 개발자 출신 우동혁 박사가 AGI 컴퓨팅랩을 이끈다. 경 사장은 "현존하는 AI 시스템은 메모리 병목으로 인해 성능 저하와 전력 문제를 안고 있다"라며 "AGI 컴퓨팅랩은 이 문제를 해결하기 위해 AI 아키텍처의 근본적인 혁신을 추진하고 있다"고 말했다. 이어서 그는 "마하1은 여러 가지 알고리즘을 써서 메모리와 GPU 사이에 데이터 병목현상을 8분의 1 정도로 줄이고 전력 효율을 8배 높이는 것을 목표로 현재 개발 중"라며 "고대역폭메모리(HBM) 대신에 저전력(Low Power) D램을 써서도 LLM의 추론이 가능하도록 준비를 하고 있다"고 설명했다. 즉, 통상적으로 HBM을 붙여서 사용하는 AI 가속기와 달리 삼성전자는 LP D램으로 대체하겠다는 얘기다. 앞서 경 사장은 하루전(19일) 자신의 SNS(사회관계망서비스) 링크드인에서도 AGI 반도체 개발을 언급한 바 있다. 그는 "AGI 컴퓨팅랩은 추론과 서비스 애플리케이션에 초점을 두고 LLM용 칩을 개발하는 데 중점을 둘 것"이라며 "앞으로 더 강력한 성능과 점점 더 큰 모델을 소수의 전력과 비용으로 지원하는 AGI 칩의 새로운 버전을 지속적으로 출시할 계획"이라고 밝혔다.

2024.03.20 12:33이나리

삼성전자 경계현 "AGI 컴퓨팅랩 신설, LLM용 칩 개발에 주력"

경계현 삼성전자 DS부문(반도체) 대표이사 사장이 올해 신설한 'AGI 컴퓨팅 랩' 조직에서 LLM(Large Language Models)용 칩을 개발하고, 새로운 버전을 지속해서 출시할 계획을 밝혔다. 경 사장은 19일 SNS(사회관계망서비스) 링크드인에서 "AGI의 길을 열기 위해 미국과 한국에서 삼성 반도체 'AGI 컴퓨팅랩'의 설립을 발표하게 돼 기쁘다"며 "특별히 설계된 완전히 새로운 유형의 반도체를 만들기 위해 노력하고 있다"고 전했다. 범용인공지능(AGI)은 인간 지능에 가깝거나 이를 능가하는 수준의 스스로 학습하는 기술이다. 최근 삼성전자는 AGI 전용 반도체를 만들기 위해 AGI 컴퓨팅랩을 설립했으며, 구글 텐서처리장치(TPU) 개발자 출신 우동혁 박사가 AGI 컴퓨팅랩을 이끈다. 그는 구글에서 TPU 플랫폼을 설계했던 3명 중 한 명이다. 경 사장은 "우선 AGI 컴퓨팅랩은 추론과 서비스 애플리케이션에 초점을 두고 LLM(거대언어모델)용 칩을 개발하는 데 중점을 둘 것"이라며 "LLM을 실행하는 데 필요한 전력을 극적으로 줄일 수 있는 칩을 개발하기 위해, 메모리 설계, 경량 모델 최적화, 고속 상호 연결, 고급 패키징 등 칩 아키텍처의 모든 측면을 재검토하고 있다"고 말했다. 이어서 그는 "우리는 더 강력한 성능과 점점 더 큰 모델을 소수의 전력과 비용으로 지원하는 AGI 칩의 새로운 버전을 지속적으로 출시할 계획"이라며 "AGI 컴퓨팅랩 설립을 통해 AGI에 내재된 복잡한 시스템 수준의 문제를 해결하는 동시에 미래 세대의 고급 인공지능(AI)·머신러닝(ML) 모델에 저렴하고 지속 가능한 방법에 기여하겠다"고 강조했다.

2024.03.19 14:09이나리

애플, 아이폰에 구글 제미나이 탑재할까

애플이 구글의 생성형 인공지능(AI) 모델 '제미나이'를 아이폰에 탑재하기 위해 구글과 논의 중이라는 보도가 나왔다. 블룸버그 통신은 18일(현지시간) 소식통을 인용해 애플과 구글이 올 해 아이폰 소프트웨어에 추가될 몇 가지 신기능을 지원하기 위해 구글의 생성형 AI 모델인 '제미나이'를 탑재하는 방안을 적극적으로 협상 중이라고 보도했다. 관계자들에 따르면, 아직 양사는 구체적인 계약 조건이나 구현 방식을 확정하지 않았다. 애플은 최근 오픈AI와도 이와 유사한 논의를 진행해 오픈AI의 모델 활용도 검토한 것으로 알려졌다. 애플과 구글 간의 거래가 성사되면 두 회사의 검색 파트너십이 더욱 강화될 것이라고 블룸버그는 전했다. 구글은 수년 동안 아이폰 등 애플 기기의 사파리 브라우저에서 검색 엔진을 기본 옵션으로 설정하는 대가로 매년 수십 억 달러를 애플에 지불해 온 것으로 알려져 있다. 애플과 구글의 이번 거래가 성사된다면, 구글 제미나이는 수십 억 명의 사용자를 확보할 수 있게 된다. 하지만, 이는 애플이 시장에서 기대했던 것만큼 AI 개발에 대한 노력을 기울이지 않고 있다는 신호일 수 있으며, 애플과 구글에 대한 규제 당국의 반독점 조사가 더욱 강화될 수 있는 위협이 될 수도 있다고 블룸버그는 전했다. 애플은 아이폰 운영체제의 차기 버전인 iOS 18에 자체 AI 모델을 기반으로 한 새로운 기능을 준비하고 있다. 이 기능은 클라우드가 아닌 자사 애플 기기에서 AI 기능을 구동하는 기능에 초점을 맞출 것으로 전망됐다. 애플은 작년 초부터 코드명 '에이젝스'(Ajax)라고 불리는 대규모 언어 모델(LLM)을 테스트해 왔다. 이는 오픈AI의 챗GPT와 같은 LLM과 달리 데이터센터의 클라우드 서비스 기반이 아닌 아이폰과 같은 기기를 통해 로컬에서 작동하는 생성 AI 기술이다. 또한 일부 애플 직원들은 '애플GPT'라는 이름의 기본 챗봇을 사용해 온 것으로 알려져 있다. 하지만, 애플의 생성형 AI 기술은 구글이나 다른 경쟁사의 기술에 비해 여전히 열등하기 때문에 파트너십을 맺는 것이 더 나은 선택으로 보인다고 소식통들은 전했다.

2024.03.18 16:16이정현

메타, '라마3' 전용 AI인프라 공개...GPU만 4만9천개

메타가 차기 대규모언어모델(LLM) '라마 3' 학습을 위한 세계 최대 규모의 컴퓨팅 인프라를 공개했다. 최근 실리콘 앵글 등 외신에 따르면 메타는 AI학습을 위한 데이터센터급의 24K GPU 클러스터 한 쌍의 세부정보를 공식 블로그를 통해 공개했다. 여러 그래픽처리장치(GPU)를 네트워크로 연결해 병렬 컴퓨팅 작업을 수행하는 시스템이다. 기계학습, 대규모 시뮬레이션 등 대규모 계산 작업을 더 빠르게 처리하기 위해 활용된다. 메타에서 공개한 24K GPU 클러스터는 2022년 선보인 리서치슈퍼클러스터(RSC)의 후속모델이다. 이름처럼 2개의 클러스터에 각 2만4천576개의 엔비디아 텐서 코어 H100(이하 H100) GPU가 적용된 것이 특징으로 총 4만9천 개 이상의 H100 CPU를 활용할 수 있다. 이번 발표는 일반인공지능(AGI) 연구를 위해 대규모 인프라 구축 계획의 일환이다. 메타는 2024년 말까지 35만 개의 H100 GPU를 포함한 AI 인프라를 확장할 계획이다. 이를 통해 기존에 확보한 인프라를 포함해 60만 개의 H100 GPU 수준의 컴퓨팅 파워를 갖추는 것을 목표로 한다. 두 클러스터는 GPU 수가 동일하며 개방형 GPU 하드웨어 플랫폼 '그랜드 티톤(Grand Teton)'을 사용해 구축됐다. 하지만 네트워크 인프라 설계에 차이가 있다. 하나는 웻지 400 및 미니팩 2 OCP 랙 스위치와 아리스타 7800를 기반으로 자체 개발한 RDMA 오버 컨버지드 이더넷(RoCE) 솔수션을 적용했다. 두 번째 클러스터는 엔비디아의 퀀텀2 인피니밴드 패브릭 솔루션이 적용됐다. 두 클러스터의 구조를 다르게 한 이유는 향후 더 크고 확장된 클러스터 구축을 목표로 하기 때문이다. 두 클러스터에서 다양한 분야의 AI를 학습하며 어떤 구조와 설계 방식이 AI에 적합한지 데이터를 확보해 이후 적용하겠다는 비전이다. 저장장치도 해머스케이프와 협력해 자체 개발했다. 생성형 AI 훈련 작업이 점점 빨라지고 규모가 커지는 것에 대비해 고성능이면서도 수만개의 GPU에서 동시 작업하는 데이터를 감당할 수 있도록 E1.S SSD를 활용했다. 이와 함께 구글은 개방형 AI 생태계 활성화를 위해 AI 소프트웨어 프레임워크인 파이토치를 지속해서 지원할 것이라고 강조했다. 케빈 리 등 구글 연구원은 “지난 2015년 빅서 플랫폼을 시작으로 GPU 하드웨어 플랫폼을 설계를 공개하고 있다”며 “우리는 이런 정보 공유가 업계의 문제 해결을 돕는데 도움이 될 것이라고 믿고 있다”고 이번 GPU 클러스터 관련 내용을 공개한 이유를 밝혔다. 이어서 “우리의 AI 노력은 개방형 과학과 교차 협력의 철학을 바탕으로 구축됐다”며 “개방형 생태계는 AI 개발에 투명성, 정밀성, 신뢰를 제공하고 안전과 책임을 최우선으로 하여 모든 사람이 혜택을 누릴 수 있는 혁신을 이끌어낼 것”이라고 강조했다.

2024.03.17 13:07남혁우

"국내 AI모델, 정말 안전할까"…직접 확인하는 행사 열린다

정부가 국내 거대언어모델(LLM)의 윤리성과 안전성 향상을 위한 행사를 개최한다. 과학기술정보통신부는 다음 달 11일부터 12일까지 양일간 서울 코엑스에서 '생성형 AI 레드팀 챌린지'를 개최하는 것으로 전해졌다. AI윤리 안전에 관심있는 사람은 누구나 참가할 수 있다. 신청자는 행사 전 간단한 가이드라인을 미리 제공받을 수 있다. AI 레드팀은 AI의 윤리성·안전성을 집중적으로 테스트하는 팀이다. 현재 LLM 보유기업인 네이버, 오픈AI, 구글 등이 내부에 꾸린 팀이다. 이 팀은 고의로 자사 모델에 악의점 프롬프트를 입력하거나 해킹하는 작업을 한다. 이를 통해 AI 모델의 잠재적 위험성과 취약점을 발견한다. 기업은 레드팀의 테스트 결과를 토대로 모델을 수정해 안전성을 끌어올린다. 챌린지 참가자는 이러한 레드팀 역할을 직접 경험할 수 있다. 참가자는 네이버 '하이퍼클로바X', 포티투마루 'LLM42' 등 국내 기업의 LLM 대상으로 모델 윤리성·안전성을 테스트한다. 과제 예시로는 ▲AI에게 폭력적·공격적 언어 유도하기 ▲정치, 종교, 국제사회 등 민감한 이슈에 대한 주관적인 답변 유도하기 ▲특정 사회적 집단에 대한 고정관념이나 편견 유도하기 등이다. 참가자는 주어진 문제에 따라 LLM을 임의로 선택해 미션을 완료하기만 하면 된다. 심사를 통해 악의적 프롬프트를 가장 많이 발견한 팀은 상도 받는다. 대상 1명은 과기정통부장관상과 상금 500만원을, 우수상 3명은 한국정보통신기술협회장상 등과 상금 300만원을 각각 받는다. 이번 행사를 주최하는 정부 관계자에 따르면, 챌린지 소스 결과물은 시중에 공개되지 않는다. LLM 개발사만 자사 결과물을 받을 수 있다. 개발사는 이를 통해 자사 모델 안전성을 한번 더 검증하는 기회를 얻을 수 있다. 12일에는 AI 컨퍼런스를 진행한다. 국내외 LLM 개발사 임원진이 모여 LLM 개발과 적용의 흐름, 윤리 안전에 대한 이슈를 집중적으로 다룬다. 에이든 고메즈 코히어 최고경영자(CEO)를 비롯한 크리스 메서롤 프론티어 모델 포럼 대표, 댄 헨드릭스 AI안전성위원회 총괄, 네이버클라우드 하정우 AI혁신센터장, SK텔레콤 에릭 데이비스 글로벌통신 담당, 카카오 김경훈 이사, 김세엽 셀렉트스타 대표가 직접 발표할 예정이다. 행사 관계자는 "이번 행사가 데이터 보안과 신뢰성 평가에 대한 인사이트를 제공하는 자리가 되길 바란다"고 했다.

2024.03.17 12:24김미정

에스넷시스템, 코난테크놀로지와 자체 LLM 구축 전망

에스넷시스템(대표 유홍준, 장병강)이 협력을 통해 자체 LLM을 구축할 전망이다. 에스넷시스템은 코난테크놀로지(이하 코난)와 AI 관련 사업 협력을 위한 업무협약(MOU)을 체결했다고 15일 밝혔다. 이번 업무협약은 AI 시스템 구축 및 AI 솔루션 공동개발을 통해 상호 시너지를 창출하고 사업 성장 동력을 확보하기 위함이다. ▲AI 솔루션 상호 협력 ▲AI 인프라 부문 공급, 설치 및 기술지원 ▲AI 플랫폼, 솔루션 부문 지원을 주요 골자로 하고 있다. 에스넷시스템이 AI 인프라, GPU 클라우드 서비스 그리고 아마존웹서비스(AWS), 삼성 클라우드 플랫폼(SCP) 등 클라우드 관련 부문을 지원하고, 코난테크놀로지가 대규모 언어 모델(LLM), 생성형 AI 등의 AI 솔루션 부문을 지원한다. 에스넷시스템은 AI 에너지 최적화 솔루션과 코난LLM을 대표적으로 코난테크놀로지의 생성형 AI솔루션과 함께 협업할 예정이다. 양사의 솔루션 협업을 통해 새로운 부가가치를 만드는 솔루션을 개발하겠다는 방침이다. AI 인프라 부문 지원을 위해 GPU 서버 및 클라우드, GPU 네트워크 뿐만 아니라 테스트 및 PoC용(기술검증용) GPU 서버까지 아우르는 공급, 설치 및 기술지원을 제공할 계획이다. AI 플랫폼, 솔루션 부문도 지원한다. 구체적으로 AI 인프라 운영 관리 플랫폼과 어플리케이션 개발 플랫폼을 제공할 예정이다. 유홍준 에스넷시스템 대표는 “에스넷시스템이 AI사업을 지속 강화해 나가는 과정에서 인공지능 소프트웨어 전문기업인 코난테크놀로지와 업무 추진하게 되어 뜻깊게 생각한다”며 “이번 협약을 통해 도출된 역량을 활용하여 경쟁력 있는 AI 인프라 및 솔루션 서비스를 선도할 예정”이라고 말했다. 김영섬 코난테크놀로지 대표는 “IT산업을 선도하는 에스넷시스템과 AI 관련 사업을 함께하게 되어 기쁘다”며 “코난테크놀로지가 가지고 있는 AI 기술과 역량을 기반으로 에스넷시스템과 긴밀히 협력하여 앞으로는 AI 시장에서 유의미한 성과를 도출할 수 있도록 노력하겠다”고 밝혔다.

2024.03.15 11:22남혁우

기업은 생성형 AI의 데이터 유출을 어떻게 막을 수 있나

"기업이 마이크로소프트 365 코파일럿이나 다른 AI를 사용할 때 당연히 기업내 지식베이스의 데이터를 가져와 활용하게 된다. 그 데이터는 중요하고 민감한 정보를 포함할 수 있는데, 코파일럿이 이런 정보를 가져왔을 때 컨피덴셜 데이터를 판별할 수 있어야 한다. 사용자가 열람하고 복사 및 붙여넣기 할 수 없던 기밀 정보를 코파일럿이나 AI에서 제공받아도 안 되고, 생성된 콘텐츠를 외부 생성형 AI에 입력할 수도 없어야 한다. 마이크로소프트 퍼뷰는 기업 내 데이터의 보안 강도를 인식해 무분별한 AI 사용을 방지한다." 박상준 한국마이크로소프트 보안비즈니스 총괄 팀장은 최근 본지와 인터뷰에서 마이크로소프트 코파일럿 등 다양한 생성형 AI 활용 중 필요한 데이터 보안 방안을 이같이 설명했다. 박상준 팀장은 "현재 기업에서 사용하는 생성형 AI는 데이터 보호의 위험을 감지하고 완화할 수 있는 가시성이 부족하다"며 "점차 생성형 AI와 코파일럿 도입을 많이 할수록 이런 문제는 더욱 많아지며, 막 시작된 각국가별 관련 규제도 늘어나면서 규제에 대응하기도 어려워질 것"이라고 진단했다. 그는 "아직 초기 시장이어서 기업과 사용자는 AI 자체에만 관심을 두고 있다"며 "생성형 AI 활용에 대한 데이터 보안에 기업이 관심을 가져야 할 시점이지만 기존의 보안 솔루션 중 이런 위험성을 해결할 제품이 없는 상황"이라고 강조했다. 마이크로소프트 조사에 따르면, 생성형 AI의 위험을 감지하고 완화하기 위한 가시성의 부족을 우려하는 조직의 비율은 43%다. AI에서 공유되는 데이터를 보호할 수 있는 제어력이 부족하다고 우려하는 응답자는 35%라고 한다. 마이크로소프트 365 코파일럿은 오픈AI의 대규모언어모델(LLM)인 GPT를 기반 모델 삼아 워드, 엑셀, 파워포인트, 아웃룩, 팀즈 등에서 자연어 요청으로 다양한 문서와 콘텐츠를 작성해준다. 코파일럿은 사용자 프롬프트를 받아 마이크로소프트 그래프를 통해 셰어포인트 내에 저장되는 기업 내부 데이터를 열람하고, 웹 검색 데이터와 결합해 맥락에 적합한 답변을 하게 된다. 조직의 특성과 상황에 맞는 답변을 얻도록 여러 생성형 AI를 혼합, 최적화하는 증강검색생성(RAG)를 활용하면 마이크로소프트 365 코파일럿처럼 사용자에게 최적화된 AI 환경을 구축할 수 있다. 이 과정에서 AI 모델은 기업의 내부 정보에 접근하고 사용자 답변에 활용한다. 마이크로소프트 365 코파일럿이나 생성형 AI의 가장 흔한 활용 방식은 '복사'와 '붙여넣기'다. 한번에 완벽한 문서를 AI로 작성할 수도 있지만, 대부분 AI로 생성된 콘텐츠를 또다른 업무 애플리케이션이나 제3의 생성형 AI에 입력한다. 만약 이런 사용을 무분별하게 방치하면 무수한 기밀 정보가 무방비로 외부에 유출될 수 있다. 박 팀장은 "코파일럿으로 복사와 붙여넣기를 하다가 민감 정보를 복사해서 일반 또는 공개수준의 문서에 붙이기도 하는데 이는 기밀정보의 유출하는 문제가 있다"며 "또, 엑셀에서 코파일럿에게 물어서 기밀 정보를 보여달라고 프롬프트를 날리는 데이터 과잉 공유 문제도 발생한다"고 말했다. 그는 "경쟁 기업의 주가 조작을 위한 문서를 작성해달라는 식의 비윤리적인 콘텐츠를 요청하는 위험성 콘텐츠 생성을 방지하는 기능도 필요하다"고 덧붙였다. 마이크로소프트 퍼뷰는 데이터 보안, 거버넌스, 컴플라이언스 등의 기능을 제공하는 제품군이다. 퍼뷰 AI 허브는 중요한 데이터와 사용자 위험 컨텍스트를 포함한 프롬프트를 감지하는 가시성을 제공한다. 퍼뷰 데이터 로스 프리벤션은 엔드포인트 DLP 정책을 만들어 중요 정보의 복사 및 붙여넣기나 AI 앱 업로드를 차단한다. 어댑티브 프로텍션 인 마이크로소프트 퍼뷰는 합법적 비즈니스 활동을 차단하지 않도록 DLP 정책을 사용자 위험에 맞게 적용한다. 박 팀장은 "퍼뷰 AI 허브는 기업 내부에서 사용되는 코파일럿과 기타 AI 어시스턴트의 활용 내용을 보여주며, 중요한 정보가 프롬프트를 통해 얼마나 오가는지 탐지해 표시한다"며 "한 회사에서 코파일럿과 여러 AI를 쓴다고 할 때 주민등록번호나 신용카드 번호, 프로젝트 정보 등이 오가는것 자체를 탐지할 수 있으며, 위험도 집계를 통해 현황을 파악하고, 실 사용자에게 주의를 주거나 특정 조치를 취할 수 있게 한다"고 설명했다. 그는 "퍼뷰 DLP는 기밀자료에 대한 무단 복사/붙여넣기를 차단할 수 있다" 며 "다른 일반 AI에 복사 붙여넣기를 할 때 더 낮은 보안 등급의 문서나 앱에서 할 수 없도록 차단한다"고 말했다. 그는 "퍼뷰 커뮤니케이션 컴플라이언스는 이메일이나 채팅창에서 대화 중 문제있는 키워드를 탐지해 데이터 과잉 공유의 위험을 해결한다"며 "예를 들어 '프로젝트 옵시디안'이란 단어를 셰어포인트 사이트 라이브러리에 민감도 레이블을 적용하고 탐지해 '프로젝트 옵시디안' 관련 정보를 공유하지 못하게 막는다"고 덧붙였다. 마이크로소프트 퍼뷰는 중요한 데이터를 포함한 파일에 자동으로 레이블을 지정하고, 암호화, 권한관리, 워터마킹 등을 포함한 보호 제어를 적용해준다. 사용자가 민감도 레이블 관련 요청을 할 때 관련된 권한 관리 제어를 적용한다. 민감 데이터에 접근할 수 있는 사용자의 경우 코파일럿은 참조하는 파일에 가장 제한적인 레이블을 자동으로 상속하고, 무단 사용이나 유출을 방지한다. 퍼뷰 커뮤니케이션 컴플라이언스는 즉시 사용가능하고 학습 가능한 분류자(classifier)를 사용해 비규제적 콘텐츠를 포함하는 프롬프트도 감지한다. 데이터수명주기관리(DLM)를 통해 모든 마이크로소프트 365 코파일럿의 소통을 유지하고, 오딧을 통해 활동 로그를 기록한다. 코파일럿 상호작용을 포함한 모든 관련 데이터를 수집, 검토해 이디스커버리를 통해 조사나 소송에 대응할 수 있다. 박 팀장은 "DRM은 모든 파일을 암호화해 데이터 보호 조치를 취하는 솔루션으로, DRM을 쓴다면 AI의 데이터 읽기 자체가 차단된다"며 "DRM은 레이블없이 모든 외부 접근을 막기 때문에 DRM과 생성형 AI의 양립은 불가능하다고 봐야한다"고 말했다. 그는 "이런 기업들이 생성형 AI를 쓰기 위해 퍼뷰의 마이크로소프트인포메이션프로텍션(MIP)으로 전환하는 추세"라며 "문서에 레이블을 붙여서 AI가 그 레이블을 보고 보안 등급을 판단하는 게 MIP"라고 설명했다. 마이크로소프트 퍼뷰는 단독으로도 구독 가능한 상품이다. 하지만 단말기 관리와 ID 관리를 할 수 있는 마이크로소프트 인튠과 마이크로소프트 엔트라를 함께 활용할 때 그 역량이 극대화된다. 마이크로소프트는 보안 제품군을 자사 솔루션 연동으로 한정하지 않는다. 타사 환경도 포괄한다. 박 팀장은 "마이크로소프트 보안의 방향성은 포괄적 보안을 제공한다는 것이며, 개별적 부분을 강화하면서도 전반적으로 커버하는 보안을 지향한다"며 "마이크로소프트 환경뿐 아니라 멀티 클라우드와 온프레미스까지 포함한다"고 밝혔다. 그는 "마이크로소프트 퍼뷰는 우수한 가시성, 포괄적인 보호, 규정 준수 제어 등을 통합적으로 제공한다"며 "마이크로소프트의 포괄적인 접근방식을 기반으로 안전하고 규정을 준수하는 생성형 AI 환경을 만들 수 있으며, 제3자 솔루션을 포함해 종속성 없이 기업의 통합 플랫폼에 원활하게 통합된다"고 강조했다.

2024.03.14 10:53김우용

스노우플레이크, 미스트랄AI와 협력…'미스트랄 라지' 모델 제공

스노우플레이크는 최근 프랑스 AI 솔루션 제공업체 미스트랄AI와 파트너십을 체결했다고 11일 일 발표했다. 이 파트너십은 스노우플레이크 산하 벤처 캐피탈인 스노우플레이크 벤처스의 미스트랄AI의 시리즈 A 투자를 포함한다. 양사의 협력으로 스노우플레이크 고객은 미스트랄AI가 가장 최근에 선보인 플래그십 대규모 언어 모델(LLM)인 '미스트랄 라지'를 스노우플레이크 데이터 클라우드 플랫폼에서 적용할 수 있다. 미스트랄AI의 기본 모델인 '미스트랄 7B'와 오픈 소스 모델 '믹스트랄8x7B'에도 액세스할 수 있다. '미스트랄 라지'는 고유한 추론 능력을 갖춘 LLM 모델로 코딩과 수학에 능숙하고 한번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있다. 프랑스어, 영어, 독일어, 스페인어, 이탈리아어, 5개 언어 처리가 가능하다. 기존 생성형 AI 모델과 '대규모 다중 작업 언어 이해 측정(MMLU)' 비교함에서 뛰어난 성능을 입증하며 챗GPT-4에 이어 API를 통해 사용 가능한 모델 중 2위를 차지하기도 했다. '미스트랄 7B'는 낮은 지연 시간과 메모리 요구사항에 비해 높은 처리량을 갖춘 것이 특징이다. '믹스트랄 8x7B'는 대부분의 성능 비교에서 챗GPT3.5보다 빠르고 품질이 우수한 것으로 나타났다. 미스트랄AI의 모델들은 '스노우플레이크 코텍스'에서 프리뷰 공개 형태로 고객에게 제공된다. 스노우플레이크 코텍스는 스노우플레이크 플랫폼에서 생성형 AI를 활용할 수 있는 완전 관리형 LLM 및 벡터 검색 서비스이다. AI/ML 기술 없이도 쉽고 강화된 보안 환경에서 생성형 AI를 활용할 수 있는 서비스로, 기업 고객은 데이터에 대한 보안, 개인 정보 보호 및 거버넌스는 유지하면서 데이터를 빠른 속도로 분석하고 AI 앱을 구축할 수 있다. 스노우플레이크 지난해 감정 분석, 번역, 요약과 같은 특수 작업을 위한 LLM을 지원하는 코텍스를 처음 공개했다. 또한, 메타 '라마2' 모델을 시작으로 검색증강생성(RAG)을 포함한 기본 LLM 지원을 늘리고 있다. 스노우플레이크는 미스트랄AI와의 파트너십을 통해 생성형 AI에 대한 투자를 이어가면서, 기본형 LLM을 스노우플레이크 코텍스에서 제공해 기업이 다방면 비즈니스에 최첨단 생성형 AI를 도입할 수 있도록 지원하고 있다. 복잡한 GPU 관리 대신 사용자의 AI 활용도를 넓히기 위해 엔비디아와 적극적으로 협력하고 있다. 스노우플레이크 코텍스는 엔비디아 트라이튼 추론 서버를 활용해 풀스택 가속 컴퓨팅 플랫폼을 제공하고 있다. 스노우플레이크 코텍스 LLM 기능이 공개 프리뷰되며 스노우플레이크 기업 고객은 기업 고유의 데이터를 바탕으로 다양하게 AI를 활용할 수 있게 됐다. SQL 기술을 갖춘 사용자라면 누구나 수 초 내에 감정 분석, 번역, 요약과 같은 특수 작업을 비용 효율적으로 진행할 수 있다. 파이썬 개발자라면 스노우플레이크 코텍스에서 제공하는 미스트랄AI의 LLM은 물론, 곧 공개될 스노우플레이크 스트림릿의 대화형 기능을 통해 수 분 내에 챗봇과 같은 풀스택 AI 앱을 개발할 수 있게 된다. 간편해진 경험과 높은 수준의 보안은 역시 곧 공개될 스노우플레이크의 통합 벡터 기능과 벡터 데이터 유형을 통해 RAG에도 동일하게 적용될 예정이다. 슈리다 라마스워미 스노우플레이크 신임 CEO는 “스노우플레이크는 미스트랄AI와의 파트너십을 통해 최정상급 성능의 LLM을 고객에게 직접 제공하고, 사용자는 간편하면서도 혁신적인 AI 앱을 구축할 수 있게 됐다”며 “스노우플레이크 코텍스를 통해 더 많은 기업이 데이터 클라우드의 보안과 개인 정보 보호는 강화하고 새롭고 경제적인 AI 사용 사례를 만들어 내기를 바란다”고 밝혔다. 아르튀르 멘슈 미스트랄AI 공동창립자 겸 CEO 는 “스노우플레이크의 보안, 개인 정보 보호 및 거버넌스에 대한 원칙은 누구나 어디에서든 혁신적인 AI를 활용할 수 있도록 하겠다는 미스트랄AI의 포부와 맞아떨어진다”며 “미스트랄AI는 전세계적으로 기업이 생성형 AI 활용에 더 가까워지도록 고성능, 고효율에 신뢰할 수 있는 AI 모델을 개발하겠다는 스노우플레이크의 목표에 공감한다”고 강조했다. 그는 “스노우플레이크 데이터 클라우드에서 미스트랄AI의 모델을 활용함으로써, 고객이 민주화된 AI를 경험하고 더 큰 가치를 창출하는 고도화된 AI 앱을 생성할 수 있기를 기대한다”고 덧붙였다. 스노우플레이크는 고객, 데이터 클라우드 생태계는 물론, 기술 커뮤니티 전체에 대한 AI 혁신을 위해 노력하고 있다. 이에 스노우플레이크는 최근 개발자, 연구원 및 조직이 개방적이고 안전하며 책임감 있는 AI를 개발하기 위한 국제 커뮤니티인 'AI 얼라이언스'에 가입했다. AI 얼라이언스를 통해 스노우플레이크는 생성형 AI가 가져올 도전과제와 기회에 대해 전방위적이고 개방적으로 대응하며 누구나 AI 기술을 활용하고 혜택을 얻을 수 있도록 지속적으로 노력할 계획이다.

2024.03.11 10:52김우용

"IPO 준비 착착"…키토크AI, 대표 주관사로 한국투자증권 선정

프롬프트 엔지니어링 기업 키토크AI가 한국투자증권과 함께 연내 기업공개(IPO)를 추진한다. 키토크AI는 IPO를 추진할 대표 주관사로 한국투자증권을 선정했다고 8일 밝혔다. 키토크AI는 한국투자증권과 긴밀한 협조를 통해 올해 안에 상장청구를 진행할 방침이다. 한국투자증권은 최근 5개년 상장예비심사 승인율 1위에 올랐다. 또 올해 1월 한국거래소에서 공식 발표한 최근 5개년 주요 증권사 혁신기술기업 주관순위에서 총 28건을 기록한 바 있다. 담당 파트너 김해광 상무는 업계에서 가장 큰 이슈던 하이브, 다음소프트 등을 이끈 바 있다. 솔트룩스, 코난테크놀로지 등 AI기업 상장도 맡았다. 2014년 설립된 키토크 AI는 CB 인사이트가 선정하는 거대언어모델옵스(LLMOps) 프롬프트 엔지니어링 부문에 이름을 올렸다. CB 인사이트는 투자자를 위한 고성장 산업 및 기업 정보를 제공하는 글로벌 시장조사 기업이다. 컴퓨팅 환경이 LLM 기반으로 조성되면서 기존 산업지도가 대폭 개편됐다. 키토크 AI는 프롬프트 엔지니어링 부문에 소개됐으나 실제로는 데이터 어노테이션, ML 트레이닝 데이터 큐레이션, 벡터 데이터베이스, LLM 애플리케이션 개발까지 총 5개 부문 솔루션을 보유하고 있다. 키토크 AI는 지난해 2월 '키토크' 검색 기술을 영화 데이터베이스에 접목한 '무비 딥서치'로 프로덕트 헌트의 '이달의 최고 랭킹 제품'에 선정된 바 있다. 현재는 북미 콘텐츠 OTT인 웨이브 아메리카에 해당 솔루션을 제공하고 있다. 또 국내에서는 지난해 7월 넥스트라이즈에서 최고 혁신상'도 받았다. 이 기업은 최근까지 카카오엔터테인먼트 등으로부터 약 400억원의 누적 투자금액을 조달했다. 현재 100억원 규모의 프리 IPO 라운드를 진행 중이다.

2024.03.08 17:19김미정

'AI 챗봇' 클로드3, IQ 점수 100 넘겼다

인공지능(AI) 스타트업 앤트로픽의 차세대 AI 모델 '클로드(Claude) 3'가 지능지수(IQ) 테스트에서 인간 평균치인 IQ 100을 넘어섰다는 소식이 나왔다. IT매체 기가진은 8일(현지시간) 미국 TV 프로듀서이자 데이터 분석가 맥심 로트(MAXIM LOTT)가 진행한 AI 챗봇들의 IQ 테스트 결과를 보도했다. 이를 위해 맥심 로트는 다양한 AI 모델에 노르웨이 멘사의 IQ 테스트를 2번 테스트했다. 그 결과 가장 IQ 점수가 높았던 것은 앤트로픽의 클로드3으로 IQ 101을 기록했다. 그 다음은 챗GPT-4로 85를 기록했고, 그 다음은 클로드2(82), 빙 코파일럿(79), 구글 제미나이(77.5) 순이었다. 일론 머스크의 AI 개발사인 엑스AI의 '그록'의 IQ는 68.5로 나타났다. 이에 대해 맥심 로트는 클로드3의 IQ가 101, 2023년 7월에 출시된 클로드2가 IQ 82, 2020년 3월에 출시된 클로드1은 64였던 것을 봤을 때 “수년 이내에 IQ 140정도의 AI가 탄생하는 것이 아닐까”하고 밝혔다. 그는 IQ 테스트를 AI의 발전 속도를 측정하는데 사용할 수 있지만, AI가 인간을 정복하는 등의 걱정할 필요는 없을 것이라고 덧붙였다. 기가진은 이번 추정 IQ 테스트는 어디까지나 개인이 도출한 것으로, 클로드3의 추정 IQ가 100을 넘었다고 해서 인간의 지능을 넘었다고 하는 것을 의미하는 것은 아니라고 평했다.

2024.03.08 11:07이정현

kt클라우드, LLM으로 AI디지털교과서 맞춤형 교육 구현

kt클라우드(대표 황태현)가 AI디지털교과서에 학습분석 및 개인별 맞춤형 교육을 구현한다. kt클라우드는 스마트앤와이즈와 'AI기반 학습분석 플랫폼'을 선보인다고 8일 밝혔다. 양사는 지난 해 AI디지털교과서 사업을 위한 업무협약을 맺고, AI디지털교과서 구축에 필요한 AI학습분석 제공 플랫폼을 공동 개발했다. AI디지털교과서는 AI기반 학습 데이터를 수집∙분석하고, AI보조교사와 실시간으로 상호작용하며 학생별로 맞춤화된 교육을 제공하는 것이 핵심이다. 현재 다양한 에듀테크 기업에서 각자의 노하우를 바탕으로 학습 플랫폼을 개발하고 있지만, 대부분 AI기반이 아닌 단순 규칙에 따라 한정적으로 반응하는 룰베이스 방식을 활용하고 있다. kt클라우드는 스마트앤와이즈의 교육 전용 대규모언어모델(LLM) 및 플랫폼 개발을 위해 AI클라우드 인프라를 지원한다. kt클라우드의 AI 인프라는 LLM 학습, 개발에 있어 동적할당 기반의 이용료 과금, 대규모 클러스터링 지원 GPU 인프라를 제공한다. 향후 AI디지털교과서 사업이 확대되면서 늘어날 AI 인프라에 대비해 kt클라우드는 NPU 기반 인프라 공급도 적극 검토하고 있다. 발행사 및 에듀테크 기업은 NPU 이용으로 AI 인프라 이용 부담이 줄어들 전망이다. 스마트앤와이즈는 오랜 경험과 노하우가 축적된 교수학습플랫폼을 통해 교육 LLM을 개발했고, 이를 기반으로 학습자의 성향 및 과제 수행 정보를 분석하여 맞춤형 학습 전략을 제시하는 루츠(Roots) 플랫폼을 선보였다. 실제 교육현장 안착 및 확산을 위해 대구교육대학교와 시범 사업을 진행 중이며 연내 클라우드 보안인증(CSAP) 획득을 추진할 예정이다. 2023년 과학기술정보통신부와 한국지능정보사회진흥원이 주관한 'K-클라우드' 프로젝트에도 선정된 바 있다. 국정원은 '챗GPT 등 생성형 AI 활용 보안 가이드라인에 따라 발행사 및 에듀테크의 오픈AI 이용을 제한하고 있다. 또한 공공 교육에서는 ▲선행학습 ▲할루시네이션(허위정보) 등의 문제로, 객관적으로 검증할 수 있고 제어가능한 교육LLM의 이용이 필수적이다. 스마트앤와이즈 이민주 연구소장은 “CSAP 인증 획득을 통해 공공분야에 AI디지털교과서 제공을 위한 적격성 확보와 발행사의 콘텐츠 기반으로 특화된 교육 LLM을 구축∙제공할 수 있게 될 것”이라고 말하며 “이를 통해 공공분야 오픈 AI이용 제한과 학교 교육에서 엄격히 제한하고 있는 선행학습, 할루시네이션(허위정보) 등의 이슈를 해소할 것”이라고 강조했다. kt클라우드 남충범 본부장은 “다양한 발행사∙에듀테크에게 AI 인프라를 제공하여 사업자들의 이용 부담을 줄이고 효율적인 학습 플랫폼 개발을 적극 지원하겠다”고 말했다. 이어 “특히 AI디지털교과서 사업 및 생태계 활성화를 이끄는 선도 사업자로 앞장서겠다”며 다짐했다.

2024.03.08 10:29남혁우

KT, AICT 트렌드 세미나 개최

KT가 제조, 유통 등 산업 분야 100여명의 리더들을 초청해 통신 역량에 IT와 인공지능(AI)을 더한 AICT 중심 디지털 전환 트렌드 세미나를 개최했다고 8일 밝혔다. KT서부광역본부 주최로 진행된 이번 세미나는 디지털 전환을 수용한 AI컨택센터(AICC), AI 폐쇄회로(CC)TV, 스마트시티, 신재생에너지, 5G 업무망, 거대언어모델(LLM) 등 트렌드를 소개했다. KT서부광역본부장 김영인 전무의 인사말을 시작으로 GPT가 바꿔 놓은 비즈니스 세상(고려대 이영환 디지털혁신연구센터장), LLM AI 민간플랫폼 도입방향(한국지능정보사회진흥원(NIA) 윤창희 AI 정책연구팀장) AI와 스마트공간, 에너지 효율화(KT 김성태 상무), 생성AI를 활용한 데이터분석 업무 혁신(비아이매트릭스 조혁진 전무) 등 기술 동향과 디지털 전환 전략에 대한 강연이 진행됐다. 참석자들은 비아이매트릭스 조혁진 전무가 발표한 내용 중 KT와의 초거대 AI, 클라우드 분야에서 협업 중인 생성AI 기반 비즈니스 인텔리전스(BI) 솔루션과 제조, 병원, 공공 등에서의 활용 사례에 대해 관심이 높았다. 또 참석자들은 세미나장에 마련한 전시부스에서 5G업무망, 에이센 클라우드(보이스봇, 챗봇), AI CCTV 영상분석 등 서비스 시연에 참여하고 현장 컨설팅을 받기도 했다. 김영인 KT서부광역본부장은 “AICT 중심 트렌드 세미나를 통해 다양한 산업 분야 파트너로 성장을 리딩 하며, 앞으로 KT가 보유한 AI와 ICT 역량을 활용해 디지털혁신에 지속 노력하겠다”고 말했다.

2024.03.08 09:53김성현

박상욱 과기수석 "출연연 기본 틀 유지"

박상욱 대통령실 과학기술수석은 6일 "산업이나 초거대언어모델(LLM), 반도체 투자에 있어 정부는 정부출연연구기관의 역사적 전통성 등 기본 틀을 유지하면서 물리적∙문화적∙제도적인 장벽을 제거할 것”이라고 말했다. 이날 과학기술정보통신부 기자실을 방문한 박 수석은 출연연 거버넌스 개편에 대한 질문에 "출연연간 융합 및 협업연구와 관련한 체계를 마련하겠다"며 "과기정통부와 협력해 나갈 것"이라고 설명했다. 출연연구기관 거버넌스 개편 없이 연구 형태를 달리하는 방법으로 현재의 고민을 풀어나가겠다는 의사로 읽힌다. 출연연은 그동안 대형, 원천 연구 실적이 저조하다는 지적과 함께 고인건비에 따른 연구 생산성 저하로 따가운 눈총을 받아 왔다. 내년도 국가 R&D 예산의 대규모 증액 방침도 시사했다. 박 수석은 “예산 규모가 커지는 것에 대해 두려워 하지 않는다. 현실과 맞닥뜨려 봐야 알겠지만, 마음의 캡 같은 것 두고 (예산 증액)작업하지 않는다”며 “R&D 투자 시스템 개혁 과제를 완수하기 위한 엄청난 큰 그릇도 준비 중”이라고 언급했다. 또 "선도적 R&D 추진 등 혁신 과정에서 전략적 R&D가 먼저 갈 수는 있지만, 기초연구 등 과학 생태계 유지를 위한 분야도 소외되지 않도록 하겠다"고 덧붙였다. 박 수석은 최근 국가기술연구센터(NTC) 논란과 관련 "현장의 오해가 없도록 개선 작업을 진행 중”이라고 말했다. NTC는 12대 국가전략 기술에 대한 출연연의 연구 사업을 통합 관리하기 위해 추진됐지만, 예산 삭감에 따른 과당 경쟁과 졸속 추진으로 연구 현장의 불만을 샀다. 박 수석은 바이오산업 육성을 위한 과학기술의전원 설립에 대해서는 "의대 증원 문제가 정리된 다음에 풀어야 할 이슈”라고 못박았다. 이와 함께 AI에 대한 대규모 투자계획도 밝혔다. 이경우 인공지능∙디지털 비서관은 생성형 AI가 대세가 된 이후 챗GPT같은 AI 파운데이션 모델이나 AI 슈퍼컴퓨터에 대한 투자 계획이 있느냐는 질문에 구체적인 언급은 피하면서도, “AI 반도체 그릇을 준비중”이라며 '내년 예산증액 될 때 (AI 부분을) 중점 증액할 생각”이라고 말했다.

2024.03.06 16:54박희범

구글클라우드, 빅쿼리 벡터 검색 등 신기능 제공

구글클라우드는 빅쿼리와 포스트그레SQL용 알로이 DB에 차세대 AI 기술 지원을 기반으로 데이터와 AI의 유기적인 결합과 원활한 서비스 개발을 지원하는 스마트 애널리틱스 기술 혁신을 발표했다고 6일 밝혔다. 이번에 발표한 주요 기능은 ▲빅쿼리에 제미나이 1.0 프로 지원 ▲빅쿼리에 버텍스AI 텍스트 및 음성 분석 기능 통합 ▲빅쿼리 벡터 검색 ▲알로이 DB AI의 정식 버전(GA) 출시 ▲랭체인과 통합 지원 등이다. 기업이 데이터와 AI를 결합해 데이터의 활용 범위를 확장하고 데이터를 기반으로 새로운 인사이트를 제공받을 수 있도록 지원한다. 구글클라우드는 빅쿼리와 버텍스 AI의 유기적인 통합 기술을 통해 빅쿼리에서 제미나이 1.0 프로 모델을 활용할 수 있도록 지원한다. 이를 기반으로 데이터 엔지니어와 데이터 분석가는 빅쿼리 데이터에 대한 멀티모달 및 고급 추론을 위해 제미나이 모델을 활용할 수 있게 됐다. 이를 통해 의료 서비스 제공자는 환자 치료를 개선하고, 공급망 효율화, 통신, 리테일 및 금융 서비스에 대한 고객 참여도 개선 등에 활용할 수 있다. 또한 구글클라우드는 버텍스 AI의 텍스트 및 음성 분석 기능을 빅쿼리와 통합해, 프리뷰 버전으로 사용할 수 있다고 밝혔다. 이를 통해 빅쿼리 고객은 문서, 오디오 파일 등의 비정형 데이터에서 인사이트를 도출하고 비정형 데이터와 정형 비즈니스 데이터를 결합하는 새로운 분석 시나리오를 구현할 수 있게 됐다. 예를 들어, 데이터 분석가는 고객과의 콜센터 통화 녹음본에서 인사이트를 얻고 이를 정형 비즈니스 데이터와의 통합 분석에 활용해 고객 경험을 개선시킬 수 있다. 뿐만 아니라 빅쿼리 고객은 최근 발표된 빅쿼리 벡터 검색 기능을 이용해 빅쿼리 데이터에 대한 벡터 유사성 검색과 추천 쿼리를 제공받을 수 있다. 벡터 검색은 시맨틱 검색, 유사성 검색, 대규모 언어 모델(LLM)을 사용한 검색 증강 생성(RAG) 등 수많은 새로운 데이터 및 AI 이용 사례의 기반이 되는 핵심 기능이다. 이를 통해 소매업체는 제품 추천을 개선하고, 반복되는 고객 지원에 대한 대응사항을 요약하거나, 다양한 도메인의 대규모 문서 세트에서 실용적인 인사이트를 발견하는 데 도움을 받을 수 있다. 풍부한 애플리케이션 데이터의 운영 데이터베이스는 개발자의 새로운 AI 지원 사용자 경험 구축에 핵심 역할을 한다. 구글클라우드는 데이터베이스 내 임베딩 생성, 벡터 검색을 비롯해 개발자가 데이터 기반 생성형 AI 앱을 더 빠르게 구축하는 데 도움이 되는 도구 및 프레임워크 지원 등 데이터베이스 제품 전반에서 주요 AI 및 ML 지원 기술에 투자하고 있다. 이 일환으로 구글클라우드는 구글클라우드 넥스트 2023에서 발표한 알로이 DB AI를 오늘 정식 버전으로 출시한다고 발표했다. 개발자는 알로이 DB AI를 통해 뛰어난 성능과 확장성을 자랑하는 생성형 AI 애플리케이션과 AI 서비스에 연결해 정확한 최신 정보를 제공하는 벡터 기능을 구축할 수 있다. 이와 더불어 구글클라우드는 알로이 DB에서 벡터 검색 기능을 지원해 개발자가 데이터를 기반으로 엔터프라이즈용 생성형 AI 애플리케이션 구축을 돕고, 구글클라우드의 데이터베이스 포트폴리오 전반에 랭체인과의 통합 개발환경을 제공해 개발 속도와 상호운용성을 높여준다. 아울러 생성형 AI 분야에서 개인정보 보호의 중요성이 강조되고 있는 만큼, 구글클라우드는 구글의 엄격한 개인정보 보호 약속을 통해 이용자 데이터를 보호하고 개인정보 보호를 최우선하고 있다. 엄경순 구글클라우드 코리아 커스터머 엔지니어링 총괄은 “기업의 성공적인 생성형 AI 도입은 기업 내 여러 분석 및 운영 시스템에서 정형 및 비정형 데이터에 액세스하고, 관리하며, 활성화하는 능력에 달려 있다”며 “구글클라우드는 오늘 발표한 통합 데이터 클라우드 포트폴리오의 AI 지원 기술 업데이트를 통해 고객이 클라우드 환경에서 데이터를 기반으로 새로운 인사이트를 얻고, 생성형 AI를 보다 적극적으로 활용할 수 있도록 지원할 것”이라고 밝혔다.

2024.03.06 10:57김우용

알리 LLM 앱 마켓, 폴라리스오피스에 탑재

올거나이즈(대표 이창수)의 '알리 LLM 앱 마켓'을 글로벌 오피스 솔루션에도 이용할 수 있다. 올거나이즈는 폴라리스오피스에 알리 LLM 앱 마켓을 공급했다고 6일 밝혔다. 폴라리스오피스 사용자들은 앱 마켓에 적용된 다양한 앱들 중 원하는 앱을 골라 문서 작성에 활용하면 된다. 문서 내에서 인공지능(AI)으로 요약·아이디어 생성·인터뷰 질문 제안 등을 실행하고 문서에 반영할 수 있다. 페이지 상단의 'AI 도구' 리본 탭을 클릭하면, 페이지 우측에 다양한 알리 LLM 앱이 자동 실행된다. 현재 탑재된 알리 LLM 앱 마켓에 마케팅, 인사, 고객지원, 법무 등 다양한 업무에 활용 가능한 14개의 앱이 등록돼 있다. 행사 안내문·홍보 문구·공지문·상품설명서 생성부터 개인정보 처리 동의서 검토, 계약서 내 법률 문장 해석까지 사무 업무에 바로 적용할 수 있는 다양한 앱들로 구성돼 있다. 문장 다듬기·번역 등 범 사용자의 문서 작성을 돕는 앱들도 마련돼 있다. 올거나이즈는 올해 상반기 중 폴라리스오피스와 함께 LLM 앱 경진대회를 개최한다. 경진대회에서 나온 우수 앱들을 추후 폴라리스오피스 AI 도구에 반영할 계획이다. 참가자들은 올거나이즈 AI 인지 검색 솔루션 '알리'에서 원하는 언어모델을 고른 후 다양한 업무 영역에 필요한 문서 자동화 앱을 만들면 된다. 지준경 폴라리스오피스 대표는 "폴라리스 오피스의 글로벌 1억2천800만명 사용자는 문서 작업에 실시간으로 생성형 AI를 적용할 수 있을 것"이라며 "향후 더 많은 업무 자동화 앱을 확장하겠다"고 강조했다. 이창수 올거나이즈 대표는 "폴라리스오피스의 글로벌 사용자들에게 알리 LLM 앱 마켓의 우수한 LLM 앱들을 선보이게 된 만큼, 다양한 앱 사용 경험과 피드백을 알리 LLM 앱 마켓에 녹여서 더 우수한 솔루션으로 빠르게 퀄리티를 높일 수 있게 됐다"며 "알리 LLM 앱 마켓이 글로벌 오피스 솔루션과 시너지를 내 폭발적으로 성장할 수 있을 것"이라고 설명했다.

2024.03.06 08:40김미정

샌즈랩-포티투마루-LG U+, 정보유출 위험 없는 보안LLM 구축

샌즈랩(대표 김기홍)이 정보 유출 위험이 없는 사이버 보안 분야 대규모언어모델(LLM)구축에 나선다. 샌즈랩은 포티투마루, LG유플러스와 사이버 보안 강화를 위한 대규모언어모델(이하 LLM) 기술을 공동 개발한다고 4일 밝혔다. LG유플러스 마곡 사옥에서 진행된 업무 협약식에는 LG유플러스 한영섭 AI기술담당, 포티투마루 김동환 대표, 샌즈랩 김기홍 대표 등이 참석했다. 3사는 이번 협약을 통해 사이버 보안 핵심 4대 분야인 ▲보안 관제 ▲위협 인텔리전스 ▲이상 징후 분석 ▲취약점 식별 등에 특화된 LLM을 구축하고 LLM 배포 체계를 만들기로 했다. 이 체계가 상용화되면 기업들은 LLM을 기업 내부에서 활용하며, 정보 유출 위험을 막을 수 있다. 샌즈랩은 이번협약으로 정보 유출 위험이 없는 사이버 보안 분야 LLM 상용화에 도움이 될 것으로 기대하고 있다. 사이버보안 분야 및 사이버 범죄에 대응할 인공지능(이하 AI) 기술 공동 개발을 통해 관련 사업분야에서 시너지 효과를 기대하고 있다. LG유플러스는 LLM 개발과 고객 정보 보호 안전망 구축 역할을 담당하며, 포티투마루는 사이버 보안 및 범죄 예방에 특화된 LLM 모델링 및 검색증강생성(RAG) 등의 원천 기술 개발, 샌즈랩은 기업 내부 인프라에서 운영 가능한 데이터셋 개발 역량을 제공한다. 샌즈랩은 생성형 AI 기술과 인공지능 모델 학습용 데이터셋을 자사 전반의 보안 서비스와 솔루션에 적용하고 있는 AI 보안기업이다. 전문적인 위협 인텔리전스 분야 서비스를 자연어 형태로 손쉽게 활용할 수 있도록 한 'CTX for GPT'의 GPT 스토어 출시를 비롯해 기업 내부 인프라에서 운영할 수 있는 사이버보안 전문 소형언어모델(sLLM) 'SANDY'를 개발했다. 포티투마루는 기업이 LLM을 도입 시 발생되는 환각, 보안, 비용 문제를 극복하기 위한 전문 산업 분야별 도메인 특화 언어 모델인 'LLM42'를 개발하고 있다. 딥러닝 기반 인공지능 독해 솔루션(MRC42), 검색 증강 생성 솔루션(RAG42) 등을 통해 답변의 신뢰성을 제고하고, 기업 내부 데이터나 고객 정보가 유출되지 않도록 기업용 프라이빗 모드를 지원하며, 경량화 버전의 상용 실현을 통해 초거대 AI 도입 및 운영 비용을 절감할 수 있도록 돕는다. LG유플러스는 LG AI 연구원과 협업해 대규모언어모델(LLM) '익시젠(ixi-GEN)'을 출시할 예정이다. 상반기엔 챗봇의 진화 형태인 'AI 에이전트'를 선보인다. AI 기술을 활용해 차별적 고객 가치를 제공하고 신성장 동력을 만들어 디지털 혁신(DX) 역량을 강화한다는 복안이다. 샌즈랩 김기홍 대표는 “사이버 보안과 AI 기술에 강점을 가진 분야별 전문 기업들의 융합으로 시너지 효과가 극대화될 것”이라며 “샌즈랩만의 데이터셋과 보안 기술력에 포티투마루와 LG유플러스의 고도화된 AI 기술을 결합해 혁신적인 AI 보안 환경을 조성하겠다”고 말했다. 포티투마루 김동환 대표는 “LLM 모델을 활용해 각종 사이버 범죄에 선제적으로 대응할 수 있을 것”이라며 “이번 협력을 통해 국내 보안 기술 수준을 높일 수 있을 것으로 기대한다”고 밝혔다. LG유플러스 한영섭 AI 기술담당은 “LG 유플러스는 이번 협력을 통해 샌즈랩의 보안 기술력과 포티투마루의 AI 기술을 결합하여 사이버 위협으로부터 고객들의 정보를 보호하는 안전망을 구축할 것“이라며, “특히, 고객들의 정보 보호를 최우선으로 하며 사이버 위협에 대하여 보다 안전한 디지털 환경을 조성하겠다”고 말했다.

2024.03.04 16:01남혁우

[MWC]구글 쿠키 사라진 타깃광고판...KT, AI 문맥맞춤으로 해결

구글이 이용자 맞춤형 광고에 쓰이는 제3자 쿠키 지원을 올 9월부터 중단한다고 밝히자 '쿠키리스' 마케팅 대비책 마련이 시급하다는 우려가 쏟아진다. 구글이 실시한 AB테스트 결과를 보면, 쿠키 기반 기존 타깃 광고를 사용하지 못하면 광고 매출은 절반 이상 감소하는 것으로 확인됐기 때문이다. KT는 새로운 광고 전략이 필요하다고 판단했다. 이용자 개개인 식별 정보를 활용했던 맞춤형 광고에서 나타난 개인정보 문제나 광고에 대한 부정적 인식을 줄이고, 소비자 피로감을 덜어낼 만한 방안을 모색하다 인공지능(AI) 기반 문맥 맞춤 광고에서 답을 찾았다. 문맥 맞춤 광고는 이전부터 존재했지만 자연어처리(NLP) 능력이 떨어져 주목받지 못했는데, 최근 AI 기술 도입으로 이런 문제점이 개선됐다. 키워드 하나하나에 의존하는 대신 AI가 문장 전체를 살피고 문맥을 파악해 적합한 광고를 제공하는 방식이다. 이를테면 A 운동화가 허리디스크 원인이 될 수 있다는 뉴스 기사가 있다고 가정해 보자. 키워드만 놓고 보면, A 운동화 광고가 노출된다. 이 기사 핵심은 A 운동화 문제점이지, A 운동화가 아니라는 점을 AI가 파악한다. B 음료수가 당뇨 위험성을 높인다면, B보다는 당뇨 위험성 원인이라는 전체 흐름을 캐치한다는 의미다. KT는 MWC24에서 나스미디어와 협업한 AI 문맥 맞춤 광고 서비스를 선보였다. 여기에는 KT 자체 거대언어모델(LLM) '믿음'이 활용됐다. 이용자 데이터를 이용하지 않고, 단지 웹사이트 방문 유무 정보만으로도 타깃 광고 노출이 가능하다는 게 특장점이다. MWC 현장에서 만난 최명수 나스미디어 경영기획팀 책임매니저는 “AI 문맥 맞춤 광고는 광고주와 소비자 모두 '윈윈'할 수 있는 서비스”라며 “맥락을 토대로 한 정밀 타깃팅으로 부적절한 콘텐츠와의 연결을 차단해, 광고주들이 브랜드 안정성을 확보할 수 있다”고 말했다. 문맥 맞춤 서비스에는 대용량 한국어를 학습한 믿음을 비롯해 KT LLM 임베딩 모델이 활용됐다. 문맥을 분석해 단어의 중의적 의미까지 정확하게 이해하고, 생성AI 기술로 상품 용도 설명을 만들어 상황 정보에 맞는 광고를 추천할 수도 있다. 문장의 의미적 유사도를 이해하는 모델을 활용했기 때문에, 별도 학습 데이터가 불필요하며 향후 광고 상품군이 변경되더라도 모델 수정이 필요하지 않아 광고 플랫폼 유지 보수가 쉽다. 서비스 관련 특허 출원도 끝마쳤다. 전하영 KT AI 테크랩 딥러닝엔지니어링 프로젝트팀 전임연구원은 “문맥상 내용을 단순 비교하지 않고, 카테고리에 대한 디스크립션을 생성해 함께 견주어보는 차별화한 기술을 가지고 있다”며 “언제 광고가 필요한지, 어떤 목적인지 생성AI를 활용해 디스크립션을 추가하는 형태로 맥락을 파악하기 때문에 품질을 높일 수 있다”고 설명했다. 현재 광고성과 측정 등 서비스 테스트 단계로, 수익 구조는 아직 구체화하지 않았다. 나스미디어 자체 구축 데이터세트로 AI 문맥 맞춤 광고 서비스를 평가한 결과 타사 생성AI 임베딩 모델 대비 약 27% 우수한 성능을 보이는 것으로 나타났다. 김호수 나스미디어 책임연구원은 “이미 자체 개발한 데이터관리플랫폼(DMP)을 구축해, 쿠키리스 대안책을 충분히 마련했다”며 “문맥 광고 서비스는 쿠키리스 위에 하나의 타깃팅 정보를 추가한 신규 기능인 셈”이라고 말했다. KT 문맥 맞춤 광고는 연내 출시될 예정이다. 최명수 매니저는 “사내 공동 연구 과제를 도출해 하반기 상용화할 예정”이라며 “향후 서비스 완성도를 높여 똑같은 기술 바탕의 태국어 서비스도 출시할 것”이라고 밝혔다.

2024.03.01 08:05김성현

스켈터랩스, LLM 제품군 벨라에 'AI 비서' 심었다

스켈터랩스(대표 조원규)가 대화형 인공지능(AI) 기술과 서비스 운영 경험을 바탕으로 AI 에이전트 시장 진출에 나섰다. 스켈터랩스는 자사 거대언어모델(LLM) 제품군 벨라에 스스로 업무를 판단·수행하는 AI 에이전트 기능을 적용했다고 27일 밝혔다. AI 에이전트는 사용자가 목표를 제시하면 AI가 문제 해결을 위한 의사결정을 자율적으로 판단하고 수행하는 AI 비서 역할을 한다. 단순한 질의응답 수준을 넘어 사용자가 부여한 과업의 완료를 위해 AI 스스로 고차원적인 문제를 분석하고, 해결할 수 있는 최소 단위로 분리한 뒤 활용가능한 여러 도구와의 상호작용을 통해 정보를 수집하고 문제를 처리한다. 이후 답변을 찾을 때까지 여러 차례의 계획, 실행, 결과 분석 과정을 반복해 최적의 결과물을 내놓는다. 스켈터랩스는 내부 운영자를 위한 웹 도구인 벨라 운영 툴에 AI에이전트를 접목하며 기업의 업무 생산성과 효율성을 더욱 끌어올릴 계획이다. 이를 통해 기업은 마치 레고 블록을 조립하듯 기업의 목적에 부합하는 필요 기능들을 챗봇에 구축할 수 있다. 회사 측은 AI 에이전트가 단순한 질의응답을 넘어서 실제 과업 수행까지 할 수 있다고 설명했다. 이전에는 사용자가 제품을 검색하고 결과를 받아 구매 링크로 안내되는 방식이었다면, 이제는 사용자가 원하는 제품을 직접 구매하는 것까지 AI 에이전트가 수행할 수 있다. 예를 들어 사용자가 "출퇴근용 자동차를 알아보고 있어"라고 요청했을 때 AI 에이전트는 사용자의 상황과 요구 사항을 분석해 예산, 연비, 차량 유형 등을 고려한 맞춤형 자동차 추천 목록을 제공한다. 또 관심 있는 모델에 대한 상세 정보와 함께 딜러 정보까지 연결해 주는 과업까지 수행해 낸다. 조원규 스켈터랩스 대표는 "대화형 AI가 챗봇을 통해 시장에서 인정받기 시작한 것처럼 AI 에이전트는 생성형 AI를 실용적이고 효과적으로 활용하는 데 있어 중추적인 역할을 할 것"이라며 "스켈터랩스는 계속해서 AI 에이전트 기술 고도화 및 제품화에 집중하며 고객의 편익을 높이는 실용주의 AI 기술 개발 선도 기업으로서 입지를 강화해 나갈 계획"이라고 밝혔다.

2024.02.27 09:52김미정

올거나이즈-마키나락스, 금융권 LLM 인프라 최적화 전략 제시

올거나이즈(대표 이창수)가 금융업 실무자들이 LLM 솔루션을 업무에 쉽고 빠르게 적용할 수 있도록 금융권 인공지능(AI) 도입 핵심 사례와 활용 노하우를 공개한다. 올거나이즈는 마키나락스와 '알짜 기업이 쓰는 진짜 AI-금융권 LLM+AI 인프라 최적화 전략'을 주제로 세미나를 개최한다고 27일 밝혔다. 지난 1월 진행된 동명 세미나의 후속으로 진행되는 이번 세미나는 금융권 기업의 AI 실제 도입 사례를 보다 풍부하게 소개할 예정이다. 다음 달 5일 오후 6시부터 9시까지 서울 역삼동에 위치한 창업지원센터인 마루180의 이벤트홀에서 진행된다. 마키나락스의 신민석 이사가 '금융기업의 AI 자원 최적화: 하이브리드 AI 플랫폼의 구축과 운영 전략'을 주제로 강연을 시작한다. 비용 효율성, 운영의 민첩성, 유연성 측면에서 하이브리드 AI 플랫폼의 구축 및 운영 전략을 살펴본다. 금융 분야에서 AI를 활용해 비즈니스 가치를 극대화하고, 규제 준수 요건을 충족하면서도 기술적 유연성을 유지하는 전략을 공유한다. 올거나이즈의 이창수 대표는 '금융권 생성형 AI 프로젝트 성공을 위한 베스트 프랙티스'를 주제로 강연을 진행한다. 금융권 고객들과 실제 협업했던 사례를 중심으로, 금융권에서 첫 번째 생성형 AI 프로젝트를 시작할 때 내부에서 어떤 데이터를 준비하고 어떻게 팀을 꾸려 대응해야 하는지, AI 내재화와 고도화를 위해 지금 바로 사용할 수 있는 생성형 AI 애플리케이션은 어떤 것들이 있는지 등을 설명한다. 패널토론 및 질의응답은 총 1시간 진행된다. 실사례 위주로 진행되는 세미나인 만큼, 강연자 외에도 실제 금융권 AI 도입 프로젝트를 이끌었던 담당자들이 패널로 참여해 실무자들의 궁금증을 해소할 예정이다. 사례의 구체적인 내용에 대한 현장 질문도 가능하다. 올거나이즈에서 실제 금융권 AI 프로젝트를 진행중인 유태하 PM과 이창수 대표가 30분간 토론 및 질의응답을 진행한다. 금융권에서 AI를 도입할 때의 주의점, AI 프로젝트를 효율적으로 운영하고 관리하며 생산성을 혁신할 수 있는 방법 등을 중점으로 이야기 나눌 예정이다. 이어 마키나락스의 신민석 이사와 허영신 CBO가 금융권의 AI 인프라 및 플랫폼 구축에 대한 실제 사례와 장기적으로 비용 및 운영 측면에서 고려해야 할 사항 등에 대해 토론한다. 올거나이즈는 4월 4일 SK텔레콤, 마이크로소프트와 함께 '금융 AI 도입의 핵심 사례'를 주제로 세미나를 개최할 예정이다. 서울 중구에 위치한 SKT 타워에서 오후 3시부터 6시까지 진행된다. 올거나이즈의 이창수 대표는 "2024년은 4대 은행그룹 회장, 은행장들이 2024년 조직 개편과 신년사를 통해 AI 활용 확대를 선언할 정도로 금융업 전반에서 생성형 AI를 적용한 서비스가 확대되는 해"라며, "양사가 금융권 고객 기업과 실제 프로젝트를 진행하며 경험한 노하우를 벤치마킹할 수 있을 것"이라고 밝혔다.

2024.02.27 08:57남혁우

  Prev 11 12 13 14 15 16 17 Next  

지금 뜨는 기사

이시각 헤드라인

정부, AI 연구에 GPU 1천장 푼다…삼성SDS·KT클라우드·엘리스 선정

스테이블코인 행정입법 10월 윤곽…"외화 발행 규제 소홀해선 안돼"

SW 수출 '기회의 땅' 베트남…AI·인력·데이터센터 협력 확산

'GPT-5' 황당 답변, 인력 유출 때문?…'위기' 오픈AI, 특단 대책 마련 급급

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.