검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (264건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

퀄컴 "메타 라마3 PC·스마트폰·차량서 구동 지원"

퀄컴은 19일 메타가 공개한 LLM(거대언어모델)인 라마3(Llama 3)를 스마트폰과 PC, VR/AR 헤드셋과 차량 등에서 직접 구동할 수 있도록 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 퀄컴은 지난 해 7월 라마2 최적화 지원에 이어 라마3 역시 스냅드래곤 기반 기기에 최적화 예정이다. 스냅드래곤 내장 퀄컴 AI 엔진을 활용한 직접 구동으로 응답 속도 향상, 프라이버시 보호, 개인화 경험을 기대할 수 있다. 두르가 말라디 퀄컴 기술, 기획 및 엣지 솔루션 부문 본부장은 "라마3를 이용해 개발자를 지원하고 AI 혁신을 촉진하는 메타의 개방형 접근에 뜻을 같이 한다"고 밝혔다. 이어 "퀄컴은 엣지에 위치하는 다양한 기기 접근성과 함께 온디바이스 AI 분야 리더십을 통해 라마 생태계를 넓히고, 고객과 협력사와 개발자가 혁신적인 AI 경험을 얻도록 할 것"이라고 덧붙였다. 퀄컴은 현재 100개 이상의 최적화 AI 모델을 지원하는 퀄컴 AI 허브를 통해 스냅드래곤 플랫폼에서 라마3를 구동하는 데 필요한 개발툴과 자원 등을 제공할 예정이다.

2024.04.19 09:51권봉석

"애플, iOS18부터 아이폰에 AI 기능 넣는다"

애플이 올 가을 출시할 예정인 차세대 아이폰 운영체제 'iOS 18'에 생성형 인공지능(AI) 기능을 탑재할 것으로 전망되는 가운데, 애플도 기기 자체에서 AI를 구동하는 '온디바이스 AI'를 적용할 것이라는 관측이 나왔다. 최근 블룸버그 통신은 애플이 iOS 18 업데이트를 통해 새로운 AI 기능을 기기 내에서 처리할 수 있도록 할 예정이라고 밝혔다. 미국 IT매체 애플인사이더는 소식통을 인용해 해당 보도가 정확하다는 정보를 받았다고 15일(현지시간) 보도했다. 보도에 따르면, iOS18에서 구동하는 기본 텍스트 분석 및 응답 생성 등의 기본적인 AI 기능은 인터넷 연결 없이도 작동하며, 클라우드 기반의 처리 없이 기기 자체에서 구동할 것으로 보인다. 애플은 작년 초부터 내부적으로 '에이젝스'(Ajax)로 알려진 대규모 언어모델(LLM)을 테스트해 온 것으로 알려졌다. 물론, 고급 AI 기능을 사용하려면 인터넷 연결이 필요하다. 애플은 자체 LLM 개발과 별개로 iOS 18에 생성형 AI 기능을 내장하기 위해 구글, 오픈AI과 협의한 것으로 알려졌다. 최근 AI 기능이 큰 주목을 받고 있는 가운데 AI 도구에 대한 일반 소비자들의 접근성이 높아지면서 법률 및 교육 분야에서 문제가 발생하고 있다. 하지만, 온디바이스 AI 프로세스는 클라우드를 통해 실행되는 AI 도구에서 발견되는 환각 현상 등 특정 논란들을 없애는 데 도움이 될 수 있다고 애플인사이더는 전했다. 또, 애플이 '에이젝스' LLM을 통해 클라우드 기반 AI 처리의 필요성을 없애고 텍스트 생성 품질을 개선함으로써 경쟁사 AI 서비스에 비해 이점을 얻을 수도 있다고 덧붙였다. 애플은 오는 6월 10일 개최되는 WWDC24 행사에서 iOS 18를 비롯한 향후 애플의 AI 전략을 공개할 예정이다.

2024.04.16 10:34이정현

"실제 체감 만족도 평가"…텍스트넷, 新서비스로 LLM 신뢰 높일까

인공지능 학습 데이터 구축 서비스 텍스트넷(TEXTNET, 법인명 스피링크)이 LLM의 신뢰를 높일 수 있는 서비스를 선보인다. 텍스트넷은 사용자 측면에서 언어모델을 평가하는 'LLM 사용성 평가 서비스'를 출시한다고 15일 밝혔다. LLM 사용성 평가는 벤치마크를 통해 측정하는 성능 평가와 달리 AI와 사용자가 나누는 대화 전반을 바탕으로 실제 사용자가 체감하는 만족도를 평가한다. 유창성, 정확성, 신뢰성 등의 지표를 바탕으로 생성형 AI 시스템의 결과물이 적절한지를 검토하는 것이 특징이다. 평가 지표는 3개의 대분류, 4개의 중분류, 12개의 소분류로 구성돼 LLM의 서비스 형태와 목적에 맞게 다양한 측면에서 평가가 가능하다. 또 LLM의 성능이나 사용자 만족도는 물론 평가 결과에 대한 면밀한 분석을 통해 당장 적용이 가능한 개선 방안부터 데이터 차원의 근본적인 개선 방안까지 제공받을 수 있다. 프로젝트 초반 서비스 형태와 목적, 주요 기능과 사용자 특성 등을 살펴 기본 평가 지표를 커스터마이징해 적용하기 때문에 높은 평가 신뢰도를 기대할 수 있다. 국내 유일 텍스트 데이터 설계 및 구축 전문 서비스인 텍스트넷은 실무 인력의 80% 이상이 언어 전문가로 구성돼 있다. 특히 AI와의 상호작용 강화를 목적으로 지속적인 R&D를 진행, 사용자가 선호하는 AI 에이전트 발화 특성을 비롯해 목적 달성을 위한 AI 대화 전략 등을 연구해 왔다. 텍스트넷은 이러한 역량을 바탕으로 지난 1월 유력 통신사와의 AI 서비스 사용성 평가 프로젝트를 성공적으로 완료한 바 있다. 이 외에도 국내 대기업 대고객 챗봇을 사용자 중심으로 개선하는 컨설팅 프로젝트를 3년 연속 수주했다. 고경민 텍스트넷 대표는 "일상 속에 AI가 자리하게 되면서 사람들은 좀 더 자연스러운, 계속 대화하고 싶은 AI를 찾게 될 것"이라며 "AI 기반 서비스를 운영하는 기업에게는 고객 커뮤니케이션과 충성도의 바로미터인 AI 사용성이 벤치마크 성능 만큼이나 중요한 지표"라고 말했다.

2024.04.15 16:14장유미

"우리 조직에 맞는 LLM 찾아줍니다"···다음달 22일 전문가 세미나

AI열풍 속에 기업과 교육, 공공 시장 등에 최적화한 거대언어모델(LLM, Large Language Model)인 이른바 '엔터프라이즈 LLM' 시장도 달아오르고 있다. 엔터프라이즈라 불리는 이들 수요처의 관심이 높아지고 있는 가운데 벤더(솔루션 공급사)들도 잇달아 제품을 내놓고 있다. 하지만 엔터프라이즈 LLM을 도입하려는 수요처는 관심은 크지만 어디서부터 어떻게 해야 할 지 모르는 실정이다. 여기에 데이터 프라이버시와 보안, 정확성, 신뢰성, 통합 등 여러 문제도 고민해야 한다. 기업의 이런 고민을 해결 해 줄 '엔터프라이즈 LLM 세미나'가 다음달 22일 열린다. 투이컨설팅(대표 김인현)과 트러스트커텍터(대표 윤석빈)는 오는 5월 22일 오전 10시~오후 6시 서울 강남 뱅뱅사거리 인근 드림플러스 이벤트홀(지하 1층)에서 '우리 조직에 맞는 엔터프라이즈 LLM'을 주제로 유료 세미나를 개최한다고 11일 밝혔다. 본격적인 생성AI 시대를 맞이해 기업도 자체 AI서비스를 제공하기 위해 소형언어모델(sLLM)을 구축하려는 움직임이 늘고 있다. 하지만 데이터 유출 등 보안 문제와 비싼 API 사용료, 복잡한 인프라 구축, 내부 시스템 연계 어려움 등 여러 이슈로 도입이 지연되거나 시험테스트(PoC) 형태로만 진행되고 있는 것이 현실이다. ■ 엔비디아 본사서 H100개발 경험 한국 개발자 스테펀 조가 영상으로 인사이트 제공 이번 세미나는 챗GPT의 환각(hallucination) 문제를 해결하고 회사 내부 데이터를 sLLM에 연결하는 효과적인 방법과 sLLM 도입 시 발생하는 각종 이슈를 어떻게 해결할 수 있는 지에 대한 현실적인 방안을 모색하기 위해 마련했다. 국내 정상급 AI 전문가들이 한자리에 모여 세션 발표와 패널 토의를 한다. 특히 엔비디아 본사에서 H100 GPU 개발에 참여한 한국 개발자인 스테펀 조(Stephen Cho)가 영상을 통해 인사말과 함께 최근 주목받는 AI 반도체와 생성 AI에 대한 통찰(인사이트)을 제시한다. 행사 첫 번째 발표는 한국마이크로소프트(한국MS) 이건복 상무가 '생성AI 동향과 엔터프라이즈 LLM 구현'을 주제로 발표, 최근 생성AI 시장에 대한 주요 현안을 설명하고 기업 대상 엔터프라이즈 LLM 구축과 활용 사례를 제시한다. 이어 래블업 신정규 대표가 '우리 조직에 맞는 엔터프라이즈 LLM 구축 방안'을 주제로 발표하고 셀렉트스타 황민영 부대표는 '엔터프라이즈 LLM 도입 전략:빅테크 vs. 오픈소스'를 주제로 빅테크와 오픈소스 LLM 도입 시 장단점 분석과 우리 기업에 맞는 효과적인 도입 전략을 소개한다. 또 BI매트릭스 배영근 대표가 '엔터프라이즈 LLM:LCNC 적용 사례와 활용 전략'을 주제로 담당자가 AI와 대화를 하듯이 기업 데이터베이스에서 데이터를 조회하고, 이를 바탕으로 노코드 로코드로 AI 서비스를 개발한 실제 적용 사례를 설명한다. ■ KAIST 장동인 교수 등 참여 전문가 패널 토의서 심도있는 대안 제시 오후 세션에서는 트러스트커넥터 대표 겸 서강대 특임 교수인 윤석빈 대표 사회로 펑션투웰브 박승호 대표, KAIST 장동인 교수, T3Q 박병훈 대표 등이 참여해 '엔터프라이즈 LLM 도입시 발생 이슈와 해결 방안'을 주제로 50분 동안 패널 토의를 벌인다. 패널 토의에서는 엔터프라이즈 LLM 도입 필요성과 기존 시스템과의 연계 방안, 인프라, 비용 등에 대한 내용이 심도있게 다뤄질 예정이다. 패널 토의 이후에는 유엔진 솔루션즈 장진영 대표가 '엔터프라이즈 LLM 활용한 비지니스 프로세스 관리 혁신 상세 방안'을 또 포티투마루 김동환 대표가 '언어 인공지능 상용화 사례 및 RAG, LLM 도입 전략'을, 법무법인 디엘지 조원희 대표 변호사가 'EU AI 법이 국내에 미치는 영향'을 주제로 각각 발표한다. 세미나를 주최한 투이컨설팅 김인현 대표는 "기업용 sLLM의 중요성이 강조되는 최근 추세와는 달리 국내 기업이 이를 어떻게 도입하고 활성화할 방법은 아직 미미하다"면서 "세미나 이후에도 학계 및 업계 전문가들과 함께 생성AI 시대에 부합하는 LLM 도입 및 활성화 방안을 고민하고 투이컨설팅 유튜브 채널인 '투이톡(youtube.com/@2eTalk)'을 통해 내용을 공유하겠다”고 밝혔다. 세미나 참가 신청은 트러스트커넥터 홈페이지(www.trustconnector.site)에서 하면 된다. 1차 등록 마감은 이번달 30일까지다. 한편 투이컨설팅(대표 김인현)은 1996년 3월 설립이래 대한민국의 대표 기업들에게 차세대 시스템 구축, 데이터 통합, 정보전략계획, 프로세스 혁신, 소프트웨어 아키텍처, 프로젝트 관리, IT거버넌스, 엔터프라이즈 아키텍처, 비즈니스 프로세스 관리 등의 선진 서비스를 제공해왔다. 김 대표는 "어제보다 더 나은 미래를 제시하고 고객 성공을 위해 실질적인 대안을 제시하며 고객과 함께 성과를 만들어가는 지식 전문가 집단"이라면서 "해외의 베스트 프랙티스를 국내 기업에 단순 적용하는 차원을 넘어 국내 기업의 비즈니스 환경과 업무 프로세스에 대한 깊은 이해와 통찰 그리고 선진 기업의 프로젝트 경험에서 우러나온 콘텐츠 능력을 바탕으로 고객 문제를 가장 적절하게 해결하는 IT 컨설팅 서비스를 제공하고 있다"고 말했다. 공동 주관사인 트러스트커넥터(대표 윤석빈)는 자체 보유한 AI 알고리즘 및 B2B 컨설팅 역량을 활용해 수요처와 공급처 간 서비스를 매칭하는 '생성형 AI Business Matching' 서비스를 제공하고 있다. 윤 대표는 "고객이 서비스 요청 사항을 등록하면, AI 기술 회사는 해당 고객의 요구 사항에 맞는 공급처를 제공한다"면서 "이 서비스 역할을 AI 기술회사가 수행함으로써 고객 요청에 따른 새로운 해결책을 제안해 준다"고 밝혔다.

2024.04.11 11:13방은주

디노도, 구글클라우드와 생성형 AI 통합 발표

디노도테크놀로지(이하 디노도)는 구글클라우드와 파트너십의 일환으로 데이터 통합, 관리 플랫폼인 디노도 플랫폼과 구글 클라우드의 버텍스 AI를 새롭게 통합한다고 11일 밝혔다. 디노도는 데이터 가상화 기술을 기반으로 구글 클라우드와 협력해 논리적 데이터 관리 기능을 생성형 AI 서비스와 결합하고 최신 대규모언어모델(LLM)을 활용할 수 있도록 지원할 계획이다. 오늘날 기업은 금융 서비스, 의료, 제조, 소매, 통신, 고등 교육 등 산업 전분야에 걸쳐 생성형 AI를 활용한 비즈니스 혁신 방안을 적극적으로 찾고 있다. 이번 양사의 플랫폼 통합으로 기업은 제미나이 모델을 이용해 혁신적인 신규 서비스와 애플리케이션을 개발할 수 있게 돼 실질적인 변화를 추진할 수 있게 된다. 구글클라우드는 인프라 플랫폼, 산업 솔루션 및 전문성을 결합해 기업 비즈니스의 디지털 혁신 역량을 강화한다. 기업은 구글 클라우드의 생성형 AI 및 LLM 기술과 결합한 디노도 플랫폼을 활용해 자사의 데이터를 안전하고 효율적으로 버텍스 AI 애플리케이션에 제공함으로써 편향성 완화, 개인정보 보호 및 인적 오류 등 윤리적 고려사항을 책임감 있게 지킬 수 있다. 리티카 수리 구글클라우드 기술파트너십부문 이사는 “생성형 AI는 비즈니스 운영 방식을 현저하게 개선하고 사실상 모든 산업에 이익을 제공할 수 있다”며 “디노도는 구글 클라우드의 선도적인 생성형 AI 기능을 활용함으로써 고객이 데이터 운영을 개선하고 생산성을 향상하는 데 도움이 되는 새로운 인사이트를 확보할 수 있도록 지원할 수 있게 됐다”라고 밝혔다 . 나라얀 순다르 디노도 전략적 제휴 담당 선임 이사는 “다양한 산업 분야의 기업들이 디노도의 논리적 접근방식을 통해 데이터를 통합 및 관리하고, 사전에 훈련된 LLM 과 외부 데이터 소스를 결합한 RAG 기술을 적용할 수 있다”며 “양사의 이번 플랫폼 통합은 데이터와 생성형 AI의 강력한 힘을 기반으로 새로운 차원의 비즈니스 가치를 실현함으로써 기업이 혁신의 한계를 재정의할 수 있는 계기를 제공한다”고 강조했다. 그는 “구글클라우드의 오랜 파트너인 디노도는 신뢰할 수 있고 연관성 있는 데이터를 쿼리하고, 비즈니스 인사이트를 제공하는 섬세한 응답을 생성할 수 있도록 함으로써 LLM의 기능을 개선한다” 고 덧붙였다.

2024.04.11 10:17김우용

네이버, 인텔과 AI 동맹…한국에 공동연구소 만든다

네이버와 인텔이 생성 인공지능(AI) 생태계 확대를 위한 공동 연구소 설립한다. 또한 두 회사는 인텔 AI칩인 가우디2 성능 평가, LLM(거대언어모델) 인스턴스 제공을 위해 협력하기로 했다. 엔비디아가 장악하고 있는 AI 반도체 시장에서 경쟁력을 확보하기 위해 두 회사가 손을 잡은 것이다. 9일(현지시간) 미국 애리조나 피닉스에서 열린 '인텔비전 2024' 기조연설에서 팻 겔싱어 인텔 최고경영자(CEO)는 네이버와의 협력 소식을 알렸다. 겔싱어 CEO는 관중들에게 "네이버를 아느냐"고 물으며 "몇 년 전까지는 네이버에 대해 몰랐지만, 아시아에서 엄청난 규모의 AI모델을 구축한 대단한 회사”라고 설명했다. 이어 최수연 네이버 CEO가 영상을 통해 회사를 소개하며 "네이버는 세계에서 3번째로 자체 하이퍼스케일 생성형 AI 모델을 공개했다”며 "인텔과 AI 칩 생태계를 만들어 나가는 것이 기대된다"고 말했다. 곧바로 하정우 네이버 퓨처AI센터장이 등장해 네이버 AI 비전을 추진하기 위해 인텔의 '가우디2'를 활용해 LLM을 개발하겠다고 밝혔다. 하 센터장은 “인텔의 가우디는 LLM 훈련과 추론에 있어 가장 유망하고 경쟁력 있는 선택지”라며 "가우디 생태계를 확장하기 위해 네이버에 연구소를 만들었다"고 발표했다. 그러면서 "기업이나 공공 등 고객을 위한 LLM 훈련용 상용 클라우드 서비스에 가우디 2 기반 인프라를 활용할 계획"이라고 덧붙였다.

2024.04.10 23:10안희정

GPT-3.5, 스트리트파이터3로 GPT-4 꺾었다

오픈AI의 GPT-3.5 터보가 GPT-4 등 상위 인공지능(AI) 모델을 꺾고 스트리트파이터3 챔피언에 올랐다. 14개 대규모언어모델(LLM)들이 각축을 벌인 스트리트파이터3 게임 대회에서 'GPT-3.5'가 우승을 차지했다고 PC게이머 등 외신들이 최근 보도했다. 보도에 따르면 미국 샌프란시스코에서 개최한 미스트랄 AI SF 해커톤에서 LLM간 이벤트 매치가 열렸다. 비디오게임 스트리트파이터3를 학습해 치러진 이번 대회는 LLM이 실제 업무에서 어떤 성과를 낼 수 있는지 시각적으로 확인할 수 있도록 마련됐다. 단기간에 치러진 대회인 만큼 학습시간을 줄이기 위해 캐릭터는 켄으로 제한됐다. 승부에 참여한 LLM은 화면을 인식할 수 있도록 텍스트 설명이 제공되며 캐릭터와 상대의 동작 그리고 양쪽의 체력바를 학습해 대회가 치러졌다. 오픈AI의 GPT-3.5 및 GPT-4과 다양한 버전의 미스트랄 LLM 등 총 14종의 LLM이 경합을 벌인 결과 GPT-3.5 터보버전이 최종 우승을 차지했다. 이어서 미스트랄 스몰 파이널버전이 뒤를 이었다. 기본 성능이 더 높은 GPT-4와 미스트랄 AI 상위 모델이 오히려 하위권을 기록해 눈길을 끌기도 했다. 이에 대해 미스트랄 AI의 운영진은 각 AI가 갖는 특성이 게임에 영향을 미쳤다고 설명했다. 모델의 크기가 작으면 대기 시간과 속도에 이점을 가질 수 있는 만큼 게임에서 유리해질 가능성이 크다는 설명이다.

2024.04.08 14:11남혁우

김우승 크라우드웍스 대표 취임..."신뢰할 수 있는 AI 구축"

김우승 크라우드웍스 신임 대표가 정식 취임했다. 크라우드웍스는 정기주주총회에서 김우승 대표 선임 안건을 승인했다고 3일 밝혔다. 김우승 대표는 취임 후 가진 첫 타운홀미팅에서 임직원들과 회사 비전을 공유했다. 김 대표는 "챗GPT 등장 이후 AI 모델 기술력이 상향 평준화되면서 AI 발전은 결국 데이터가 결정하게 될 것"이라며 "크라우드웍스는 국내 최고 수준의 AI 데이터 지식을 갖춘 기업으로, 데이터 전문가가 개발한 엔터프라이즈 AI 비즈니스로 새로운 성장 스토리를 만들어갈 것"이라고 말했다. 크라우드웍스는 신임 대표 취임과 함께 회사 사업 방향을 담은 신규 캐치프레이즈 'Trustworthy AI built on your data'도 공개했다. 기업의 핵심 자산인 '데이터'를 바탕으로 '신뢰할 수 있는 AI'를 구축하는 최고의 AI 테크 기업으로 확고히 자리매김한다는 목표를 담았다. 크라우드웍스는 데이터 전문역량과 경쟁력을 기반으로 거대언어모델(LLM) 사업 확장에 박차를 가할 계획이다. 지난해 하반기부터 파운데이션 모델을 활용한 기업 맞춤형 LLM 개발 레퍼런스를 빠르게 확보하며 생성형AI 시장 선점에 나섰다. 기업들의 성공적인 LLM 도입을 위한 전략 컨설팅부터 데이터 구축 및 자산화, RAG와 파인튜닝 등을 통한 LLM 모델 구축, 레드팀 서비스까지 'LLM Service' 사업 부문 포트폴리오를 강화하며 사업 성장에 시너지를 만들고 있다. 크라우드웍스는 상반기 신임 대표 취임과 함께 데이터 솔루션 고도화, LLM 상품 출시 등을 추진하며 올해 지속 성장을 가속화할 방침이다. 김우승 크라우드웍스 대표는 삼성전자, SK텔레콤, SK플래닛 등을 거친 ICT 전문가로 줌인터넷에 CTO로 합류해 대표까지 역임하며 2019년 코스닥 상장을 이끌었다. 2021년부터는 대교에 CDO로 영입돼 디지털 전환에 중추적 역할을 맡았고, 동시에 대교와 메가존클라우드 합작사 디피니션 대표를 겸직했다.

2024.04.03 09:04백봉삼

HPE 아루바, 생성형 AI 기능으로 AI옵스 기능 강화

HPE는 클라우드 네이티브 네트워크 관리 솔루션인 'HPE 아루바 네트워킹 센트럴'에 다양한 생성형 AI 대규모 언어 모델(LLM)을 통합해 AI옵스 네트워크 관리 기능을 확장했다고 28일 밝혔다. HPE는 미국 네트워크 전문기업 버라이존 비즈니스가 자사 고객에게 보안 중심의 인공지능(AI) 기반 네트워킹을 제공할 수 있도록 HPE 아루바 네트워킹 센트럴을 자사 관리형 서비스 포트폴리오에 추가하며 서비스를 확대한다고 발표했다. 다른 생성형 AI 네트워킹의 접근 방식은 단순히 퍼블릭 LLM에 API 호출을 보내는 방식인 반면, HPE 아루바 네트워킹 센트럴의 새로운 독립형 LLM 모델 세트는 혁신적인 사전 처리 및 가드레일을 통해 검색 응답 시간, 정확성 및 데이터 프라이버시에 중점을 두고 사용자 경험과 운영 효율성을 개선하도록 설계됐다. 대규모 데이터레이크를 보유한 HPE 아루바 네트워킹은 약 400만 개의 네트워크 관리형 디바이스와 10억 개 이상의 고유 고객 엔드포인트에서 텔레메트리를 수집하며, HPE 아루바 네트워킹 센트럴의 예측형 애널리틱스 및 제안용 머신러닝 모델은 이를 기반으로 구동된다. 이러한 새로운 생성형 AI LLM 기능은 HPE 아루바 네트워킹 센트럴의 AI 검색 기능에 통합되어 포트폴리오 전반에서 기존 머신러닝(ML) 기반 AI를 보완함으로써 더 깊은 인사이트를 도출하고 더욱 향상된 애널리틱스 기능 및 선제적인 대응 역량을 제공한다. HPE 아루바 네트워킹은 개인 및 고객 식별 정보(PII/CII) 보안을 최우선으로 하는 접근방식을 바탕으로 AI를 안전하게 활용하기 위한 노력을 지속하고 있으며, LLM은 HPE 그린레이크 클라우드 플랫폼에서 실행되는 HPE 아루바 네트워킹 센트럴 내에서 샌드박스화 됐다. HPE 아루바 네트워킹 센트럴은 네트워크 운영 관련 질문에 1초 내로 신속하게 응답하며, PII/CII 데이터를 제거하고 검색 정확도를 개선하는 목적 기반 LLM을 활용해 고객 데이터 보안을 보장한다. 이에 더해, 생성형 AI 모델용 HPE 아루바 네트워킹 훈련 세트는 다른 클라우드 기반 플랫폼보다 최대 10배 더 크고, 공개 도메인에서 가져온 HPE 아루바 네트워킹의 소스 문서들과 지난 다년간의 운영과정에서 수집한 300만개 이상의 고객 문의사항을 포함하고 있다. 미국 네트워크 전문기업 버라이존 비즈니스와 HPE는 기업 고객들이 네트워크 및 애플리케이션 성능을 개선해 사내 IT 리소스에 부담을 주지 않으면서 보다 민첩하고 예측 가능한 결과를 얻을 수 있도록 협력해왔다. 전 세계 150여 개국에서 30년 이상 축척한 4,500개 이상의 고객 네트워크 관리 경험을 바탕으로한 버라이존 관리형 서비스에는 이제 HPE 아루바 네트워킹 센트럴이 포함되어 제공된다. 생성형 AI LLM 기능이 추가됨에 따라 버라이존 고객들은 새로운 기능을 활용할 수 있게 되었다. 스콧 로렌스 버라이존 비즈니스 글로벌 솔루션 수석 부사장은 “네트워크 관리 솔루션을 평가할 때 우리는 플랫폼이 확장성, 보안성 및 전반적인 운영 경험을 갖추었는지 살펴본다”며 “HPE 아루바 네트워킹 센트럴의 생성형AI LLM 기능을 도입했다는 것은 버라이존의 혁신에 대한 지속적인 관심과 고객에게 이러한 기능들을 관리형 서비스로 제공하겠다는 우리의 확고한 결심을 나타낸다”고 강조했다. 2014년 출시된 이래로 HPE 아루바 네트워킹 센트럴은 유무선 LAN, WAN, IoT 전반에 걸쳐 네트워크의 구성, 관리, 모니터링, 문제 해결을 위한 강력한 기능을 제공하는 동시에 네트워크 운영의 수명 주기 전반에 걸쳐 이러한 기능을 통합해왔다. HPE 아루바 네트워킹 센트럴은 파운데이션 유형 및 고급 유형으로 구성된 2단계 라이선싱 모델을 연간 구독 방식으로 이용할 수 있는 SaaS 제품이다. 새로운 생성형 AI LLM 기반 검색 엔진은 HPE의 회계연도 기준 2024년 2분기에 제공될 예정이며 모든 라이선스 유형에 포함돼 제공된다. HPE 아루바 네트워킹 센트럴은 독립형 SaaS 제품으로도 제공되지만, 네트워킹용 HPE 그린레이크 구독 모델을 활용해 NaaS 방식으로 HPE 그린레이크 플랫폼을 통해 이용할 수 있다. 데이빗 휴즈 HPE 아루바 네트워킹 최고 제품 책임자는 “현대 네트워킹 고객은 중요 인프라에 대한 보안 중심의 AI 기반 인사이트를 필요로 하고, HPE는 바로 이러한 서비스를 제공하는 기업”이라며 “HPE는 대담한 노력과 함께 HPE 아루바 네트워킹 센트럴의 새로운 접근방식을 통해 다양한 LLM 모델을 배포함으로써 AI 혁신을 이어 나가고 있다”고 밝혔다.

2024.03.28 12:57김우용

데이터브릭스, 범용 대형언어모델 'DBRX' 출시

데이터브릭스가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 출시했다. 데이터브릭스는 기업의 자체 밤줌형 LLM을 구축, 학습시킬 수 있는 LLM 'DBRX'를 오픈소스로 28일 공개했다. DBRX는 모든 기업을 위해 맞춤형 고성능 LLM의 학습과 튜닝을 보편화한다. 조직은 DBRX를 통해 더 이상 소수의 폐쇄형 모델에 의존하지 않아도 된다. DBRX는 오늘부터 바로 사용 가능하며, 전 세계 조직은 비용 효율적으로 자체 맞춤형 LLM을 구축, 교육 및 서비스할 수 있다. DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 라마2 70B 및 믹스트랄 8x7B와 같은 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다. DBRX는 여러 벤치마크에서 GPT-3.5의 성능을 능가한다. 모델 평가와 성능 벤치마크에 대한 보다 자세한 정보, 그리고 DBRX가 SQL과 같은 내부 사용 사례에서 GPT-4 품질 대비 어떤 경쟁력을 제공하는지에 대한 자세한 정보는 모자이크 리서치 블로그에서 확인할 수 있다. 데이터브릭스는 효율성을 위해 메가블록스의 오픈소스 프로젝트에 기반한 전문가 혼합(MoE) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM대비 최대 2배 높은 컴퓨팅 효율 등 최고의 성능을 갖추고 있다. 또한 DBRX는 주어진 시간에 360억 개의 매개변수만 사용한다. 하지만 모델 자체는 1천320억 개 파라미터이므로 속도(토큰/초) 대 성능(품질) 측면에서 두 마리 토끼를 모두 잡을 수 있다. DBRX는 모든 기업이 커스터마이징할 수 있는 투명한 생성형 AI로 오픈소스 모델의 새로운 기준을 제시한다. 최근 미국 VC 기업 안드레센 호로위츠가 발표한 조사 결과에 따르면 AI 리더의 약 60% 가 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 모델의 성능과 거의 일치할 경우, 오픈소스로 전환하는데 관심을 보이는 것으로 나타났다. 2024년 이후에는 상당수의 기업이 폐쇄형에서 오픈소스로 전환할 것으로 예상되며, 데이터브릭스는 DBRX가 이러한 추세를 더욱 가속화할 수 있을 것이라고 확신한다. DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합돼, 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다. DBRX는 깃허브와 허깅페이스에서 연구 및 상업적 용도로 무료로 사용 가능하다. 기업은 데이터브릭스 플랫폼에서 DBRX와 상호 작용하고, 검색 증강 생성(RAG) 시스템에서 긴 문장(context) 기능을 활용하며, 자체 고유 데이터에서 맞춤형 DBRX 모델을 구축할 수 있다. AWS와 구글 클라우드,, 마이크로소프트 애저 등에서도 직접 사용할 수 있다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “데이터브릭스는 데이터와 AI를 보편화하겠다는 사명 아래 모든 기업에 데이터 인텔리전스를 제공하여 그들이 보유 중인 데이터를 이해하고 이를 활용하여 자체적인 AI 시스템을 구축할 수 있도록 지원하고 있다”며 “DBRX 출시는 이러한 노력의 결과물”이라고 밝혔다. 그는 “DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가하고, 대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로, 우리는 독점 모델을 오픈소스 모델로 대체하는 추세가 고객 기반 전반에 걸쳐 가속화될 것으로 기대된다”며 “DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이므로, DBRX는 오픈소스 LLM의 새로운 기준을 제시하며, 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공해 준다”고 덧붙였다. 데이터브릭스는 오는 4월 26일 한국시간으로 오전 12시 DBRX 웨비나를 개최할 예정이다.

2024.03.28 11:24김우용

"AI 모델 순위 매기는 '리더보드'는 과장됐다"

인공지능(AI) 언어모델의 성능을 측정해 순위를 매기는 리더보드 점수가 과장됐다는 지적이 이어지고 있다. 기업들이 임의로 데이터를 조정해 모델 점수를 높여 이를 홍보나 투자 유치를 위한 수단으로 활용한다는 이유에서다. 최근 기업들은 자사 거대언어모델(LLM)이나 소형언어모델(SLM) 성능이 오픈AI의GPT-4를 뛰어넘었다는 소식을 전하고 있다. 기준은 깃허브나 허깅페이스, 오픈 Ko-LLM 리더보드 순위다. 오픈 Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지가 지난해 구축한 한국어 전용 리더보드다. 개발사가 리더보드에서 모델 등수를 받으려면 몇 가지 과정을 거쳐야 한다. 우선 모델은 벤치마크 테스트를 받는다. 벤치마크는 특정 작업에서 모델 성능을 비교하는 테스트다. 이를 통해 모델은 점수를 받는다. 점수에는 답변 정확성, 속도, 견고성 등으로 이뤄졌다. 모델은 이를 기반으로 리더보드에서 순위가 매겨진다. "답안지 보고 문제 푸는 셈...기업 홍보·투자 유치 수단" 국내 전문가들도 기업들이 평가 과정 틈새를 이용해 모델 벤치마킹 점수와 리더보드 순위를 조작하고 있다고 입을 모았다. 익명을 요청한 국내 AI 기업 대표는 "개발사가 모델에 학습데이터가 아니라 이미 테스트를 거친 공개 평가데이터를 입력해 점수와 등수를 올린다"고 지적했다. 그는 "마치 모델이 시험 답안지를 한번 훑고 문제를 푸는 것과 같은 것"이라며 "당연히 벤치마크 점수와 리더보드 순위가 급상승할 수밖에 없다"고 덧붙였다. 한 국내 대학 연구원은 "보통 벤치마크에서 동일한 질문을 여러 모델에 물어봐야 성능 평가가 가능하다"며 "같은 질문을 했을 때 나오는 답변 수준에 따라 리더보드 순위가 매겨지기 때문"이라고 설명했다. 연구원은 "AI 개발사들은 타사 모델이 답했던 데이터를 단순 참고용으로만 활용해야 하는데, 이를 아예 자사 모델에 집어넣는 행태를 취하고 있다"고 악용 사례를 지적했다. 그는 "현재 벤치마크 종목도 공개된 상태"라며 "개발사는 평가 데이터를 모델에 넣지 않아도, 벤치마크 종목과 유사한 데이터를 생성할 수는 있다"고 설명했다. 모델이 벤치마크 종목 데이터를 집중 학습함으로써 점수를 올릴 수 있는 셈이다. 이런 상황은 해외서도 발생했다. 앞서 마이크로소프트는 SLM '파이-1'이 리더보드에서 오픈AI의 GPT-3.5를 능가했다고 발표한 바 있다. 당시 미국 개발자들은 해당 모델을 직접 테스트한 후 점수가 과장됐다고 지적했다. 이를 증명하는 논문까지 발표된 바 있다. 개발사들이 자사 모델에 '리더보드 1위' 이름표를 붙이려는 이유는 따로 있다. 모델 홍보 효과와 투자 유치에 유용한 수단이기 때문이다. 업계 관계자는 "기업이 자사 LLM을 리더보드 상위권에 올리면 해당 기업 주가도 덩달아 오른다"며 "추후 투자자들에게도 이를 적극 어필한다"고 설명했다. 그는 "투자가 급하거나 주식 상승 효과를 보고 싶은 기업이 리더보드를 통해 자사 모델 홍보를 하는 추세"라며 "돈 있는 기업이거나 AI 전문가들은 리더보드에 관심 없다"고 했다. 업스테이지 "해당 현상 알고 있어…조치 논의 중" 지난해부터 NIA와 오픈 Ko-LLM 리더보드를 운영하는 업스테이지도 해당 현상을 인지하고 있다고 밝혔다. 업스테이지 관계자는 "벤치마크 항목은 공개 정보"라며 "개발자는 유사 데이터를 생성할 수 있어 악용 사례가 나올 수밖에 없는 구조"라고 설명했다. 기업이 모델 학습 범위를 평가데이터로만 한정해 점수만 올리려는 '오버피팅'이 가능한 셈이다. 다만 "자사 리더보드는 프라이빗 데이터셋으로 운영된다"며 "개발사가 평가 데이터를 직접 넣을 순 없다"고 덧붙였다. 관계자는 "최근 기업들이 오버피팅으로 모델 점수와 순위를 높이는 상황을 알고 있다"며 "이는 리더보드 생태계 취지와 부합하지 않는다"고 했다. 그는 "업스테이지는 내부적으로 오버피팅을 비롯한 유사 데이터 생성 방지를 막기 위해 징벌 조치를 논의하고 있다"며 "NIA와 상의를 통해 리더보드 평가 과목, 방식을 전면 교체함으로써 악용 사례를 막을 계획"이라고 말했다.

2024.03.26 14:50김미정

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

"기업의 실질적 생성형 AI 활용은 통합에 달렸다"

“오라클의 AI 솔루션은 생성형 AI와 기업 데이터 플랫폼을 유기적으로 연계하는데 초점을 맞추고 있다. 오라클은 '통합'에 주목한다. 기업이 그동안 투자해온 데이터 플랫폼, 다양한 도구, 프로그래밍 언어 등을 그대로 활용하면서 동시에 생성형 AI란 최신 기술을 개방형으로 구축, 활용하게 지원한다.” 나정옥 한국오라클 클라우드엔지니어링 부사장은 21일 '최신 AI 트렌드와 오라클의 AI 전략'을 주제로 기자 간담회에서 이같이 밝혔다. 나정옥 부사장은 “현재 비즈니스의 핵심이 '데이터'에서 AI 기반 '분석'으로 변화하고 있는 가운데, 오라클은 기술 스택 전반의 모든 레이어마다 AI 솔루션을 제공하는 '풀 스택' 전략을 통해 기업 AI 여정을 촉진한다”고 말했다. 나 부사장은 “오라클은 생성형 AI 모델의 학습과 운영에 필요한 비용효과적인 클라우드 인프라, AI 앱 개발을 위한 완전관리형 서비스, 신뢰성 있는 관리형 AI 모델 등을 갖췄고, 오라클의 모든 애플리케이션에 AI를 내장시켰다”며 “AI 시대를 맞아 데이터 수집, 전처리, 저장, 분석, 활용에 이르는 전단계를 지원한다”고 강조했다. 오라클은 완전하고 통합된 데이터 및 AI 포트폴리오의 일부로서 ▲AI 인프라 ▲애플리케이션 ▲AI 서비스 ▲데이터 플랫폼과 유기적으로 작동하는 오라클 클라우드 인프라스트럭처(OCI) 생성형 AI 서비스 등을 제공한다. 오라클의 최신 생성형 AI 기술 및 서비스를 살펴보면, 애플리케이션은 생성형 AI를 내재화한 퓨전 애플리케이션을, AI 서비스는 라마 2와 코히어 등의 LLM 미세조정 및 추론 서비스 및 데이터 플랫폼과 결합 가능한 검색 증강 생성(RAG) 서비스를 제공한다. 데이터 플랫폼은 AI를 내장한 자율운영 데이터베이스와 마이SQL 히트웨이브 및 오라클 데이터베이스 23c의 벡터 검색 지원 기능 등을 제공한다. OCI 생성형 AI 서비스는 OCI 슈퍼클러스터와 통합을 기반으로 하며, 기업이 자체 데이터를 활용해 가장 안전하면서도 비용효율적인 방식으로 생성형 AI 서비스를 개발 및 운영하도록 지원한다. 데이터 플랫폼에서 모든 애플리케이션 및 개발 환경에 데이터를 제공하고, 데이터 수집, 처리, 분석, 예측 등에 AI를 활용하도록 한다. 이날 간담회에서 김태완 한국오라클 수석 솔루션엔지니어 상무는 오라클의 생성형 AI 솔루션의 주요 기능을 직접 시연했다. 데모 시연을 통해 OCI 생성형 AI 서비스에서 임베딩, 프롬프트 작업 및 자동 코드 생성 등을 통해 애플리케이션 개발을 효과적으로 지원하는 기능, 미세조정을 통한 모델 맞춤화 및 모델 성능 관리 기능을 설명했다. 김태완 상무는 “OCI 생성형 AI 서비스는 상용 모델과 오픈소스 모델을 제공하며, 프롬프트 엔지니어링, 텍스트 임베딩, 코드 생성, 요약 등의 기능을 이용할 수 있다”며 “여러 모델을 운영, 테스트할 수 있고, 자바나 파이썬 코드를 생성하고, 텍스트를 벡터로 변환해 데이터 간 연관성과 유사도를 시각적으로 확인할 수 있는데, 모든 과정을 UI로 할 수 있다”고 설명했다. 김 상무는 “파인튜닝과 커스터마이징을 위해 전용 인스턴스를 생성, 파인튜닝하고, 성능 검증해 변경된 모델을 프롬프트로 테스트하고 코드화할 수 있다”며 관리콘솔로 대시보드와 모니터링 환경을 제공함으로써 기업의 LLM 모델 활용에 대한 기술 진입장벽을 낮춘다”고 덧붙였다. 오라클 OCI 생성형 AI 서비스는 제공 모델에 미스트랄 AI의 믹스트랄을 곧 추가할 예정이다. 김 상무는 기업에서 신뢰성 높은 생성형 AI 앱을 만들 수 있도록 검색증강생성(RAG)를 쉽게 활용하게 하는 서비스를 소개했다. RAG는 기업 내부 데이터와 LLM을 연결하고, 벡터화된 내부 데이터의 의미 검색을 통해 사용자 프롬프트의 맥락에 가장 알맞는 답변을 생성하도록 하는 기법이다. 그는 “맥락에 맞는 데이터 저장소에서 정보를 찾아서 LLM에 보내고, 캐싱을 처리하고, 양질 프롬프트를 새로 만들고, 입력 프롬프트를 임베딩해서 적정 데이터를 찾게 하는 등의 전처리 과정이 RAG에서 매우 복잡하다”며 “오라클은 에이전트란 서비스를 통해 LLM과 RAG를 자동화할 수 있는 부분을 혼합하고 추상화시켜서 고객의 부담을 최소화하며 AI 앱을 쉽게 개발하게 한다”고 설명했다. 그는 “에이전트는 오픈서치 기반으로 LLM과 통합하는 데이터 저장소를 만들며, 오라클 데이터베이스23c나 마이SQL 히트웨이브의 벡터 서치를 저장소로 연동할 수 있다”며 “레디스 캐시로 프롬프트 히스토리를 관리할 수 있는 등 대상 LLM과 저장소를 연결해 RAG 앱을 만드는 모든 부분을 자동화한다”고 덧붙였다.

2024.03.21 16:38김우용

스노우플레이크, 엔비디아와 풀스택 AI 플랫폼 제공

스노우플레이크는 엔비디아와 파트너십을 강화해 풀스택 AI 플랫폼을 제공한다고 21일 발표했다. 인공지능(AI)을 활용해 기업 고객의 생산성을 높일 수 있도록 지원하는 것으로, 스노우플레이크의 데이터 기반과 안정성 높은 데이터 클라우드의 AI 기술을 풀스택 엔비디아 가속 플랫폼에 결합할 수 있게 된다. 양사는 AI의 생산성과 비즈니스 속도를 높이고 여러 산업군에 걸쳐 새로운 비즈니스 기회를 확대하도록 설계된 인프라와 컴퓨팅 기술을 결합해 안전하고 강력한 기능을 제공한다. 지난해 6월 스노우플레이크와 엔비디아가 엔비디아 네모 통합 기능을 확대한다고 발표했다.. 강화된 파트너십에서 스노우플레이크는 자사 플랫폼에서 데이터 보안, 개인정보보호 및 거버넌스를 원활하게 유지하면서 직접 엔비디아의 네모 리트리버를 활용할 수 있게 된다. 네모 리트리버는 기업이 맞춤형 LLM을 기업 데이터에 연결할 수 있는 생성형 AI 마이크로 서비스다. 이를 기반으로 챗봇 애플리케이션의 성능과 확장성을 개선하고 스노우플레이크 코텍스(프리뷰 공개)로 AI 애플리케이션을 구축한 400개 이상의 기업이 보다 빠르게 비즈니스 가치를 실현할 수 있도록 지원한다. 또한 딥 러닝 추론 애플리케이션에 짧은 지연 시간과 높은 처리량을 제공하는 엔비디아 텐서RT를 활용할 수 있어 기업 고객의 LLM 기반 검색 기능이 향상될 것으로 기대된다. SQL 사용자는 스노우플레이크 코텍스 LLM 기능을 통해 소규모 LLM을 활용해 감정 분석, 번역 및 요약 등의 특정 작업을 몇 초 만에 비용 효율적으로 처리할 수 있다. 미스트랄AI, 메타 등의 고성능 모델을 활용한 AI 애플리케이션의 개발에도 적용할 수 있다. 스노우플레이크의 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 사용자들이 대화 형식으로 질문하면 관련 테이블을 활용해 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다. 도큐먼트 AI는 기업들이 LLM을 사용해 문서에서 청구 금액 또는 계약 약관 등의 내용을 쉽게 추출하고 시각화 인터페이스와 자연어를 사용해 결과를 섬세하게 조정할 수 있도록 지원한다. 고객사는 도큐먼트 AI를 사용해 수작업으로 인한 오류를 줄이고 자동 문서 처리를 통해 효율성을 강화한다. 슈리다 라마스워미 스노우플레이크 CEO는 “데이터는 AI의 원동력으로, 효과적인 AI 전략 수립에 매우 중요하다”며 “스노우플레이크는 엔비디아와 협력으로 신뢰할 수 있는 기업 데이터를 위한 안전하고 확장 가능하며 사용이 용이한 플랫폼을 제공하게 됐다”고 밝혔다. 그는 “특히 기술 전문성에 상관없이 모든 사용자가 AI를 사용할 수 있게 해 누구나 AI 기술 혜택을 얻도록 지원한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “기업 데이터는 비즈니스 인텔리전스를 확보할 수 있는 커스터마이징 AI 애플리케이션의 근간”이라며 “엔비디아 가속 컴퓨팅 및 소프트웨어를 스노우플레이크의 데이터 플랫폼에 적용함으로써 고객이 기업 전용의 생성형 AI 애플리케이션을 구축, 배포 및 관리할 수 있게 된다”고 강조했다.

2024.03.21 09:39김우용

경계현 삼성전자 사장 "내년 초 AI 가속기 '마하1' 출시"

삼성전자가 LLM(Large Language Models, 거대언어모델)을 지원하는 첫번째 AI 반도체 '마하1(MACH-1)를 연내에 만들어서 내년 초에 AI 가속기로 출시할 계획이다. 경계현 삼성전자 DS부문(반도체) 대표이사 사장은 20일 경기 수원시 수원컨벤션센터에서 열린 정기주주총회 이후 진행된 '주주와의 대화'에서 AI 반도체 '마하1'을 처음으로 언급했다. 경 사장은 "AI 반도체 마하1은 FPGA를 통해서 기술 검증을 완료했고, 현재 시스템칩(SoC) 디자인을 진행 중에 있다"라며 "올해 연말 정도면 마하1 칩을 만들어서 내년 초에 저희 칩으로 구성된 시스템(AI 가속기)을 보실 수 있을 것이다"고 말했다. 범용인공지능(AGI)은 인간 지능에 가깝거나 이를 능가하는 수준의 스스로 학습하는 기술이다. 최근 삼성전자는 범용인공지능(AGI) 반도체를 개발하기 위해 미국과 한국에 AGI 컴퓨팅랩을 설립했다. AGI 컴퓨팅랩은 마하1 칩 개발을 담당하며, 구글 텐서처리장치(TPU) 개발자 출신 우동혁 박사가 AGI 컴퓨팅랩을 이끈다. 경 사장은 "현존하는 AI 시스템은 메모리 병목으로 인해 성능 저하와 전력 문제를 안고 있다"라며 "AGI 컴퓨팅랩은 이 문제를 해결하기 위해 AI 아키텍처의 근본적인 혁신을 추진하고 있다"고 말했다. 이어서 그는 "마하1은 여러 가지 알고리즘을 써서 메모리와 GPU 사이에 데이터 병목현상을 8분의 1 정도로 줄이고 전력 효율을 8배 높이는 것을 목표로 현재 개발 중"라며 "고대역폭메모리(HBM) 대신에 저전력(Low Power) D램을 써서도 LLM의 추론이 가능하도록 준비를 하고 있다"고 설명했다. 즉, 통상적으로 HBM을 붙여서 사용하는 AI 가속기와 달리 삼성전자는 LP D램으로 대체하겠다는 얘기다. 앞서 경 사장은 하루전(19일) 자신의 SNS(사회관계망서비스) 링크드인에서도 AGI 반도체 개발을 언급한 바 있다. 그는 "AGI 컴퓨팅랩은 추론과 서비스 애플리케이션에 초점을 두고 LLM용 칩을 개발하는 데 중점을 둘 것"이라며 "앞으로 더 강력한 성능과 점점 더 큰 모델을 소수의 전력과 비용으로 지원하는 AGI 칩의 새로운 버전을 지속적으로 출시할 계획"이라고 밝혔다.

2024.03.20 12:33이나리

삼성전자 경계현 "AGI 컴퓨팅랩 신설, LLM용 칩 개발에 주력"

경계현 삼성전자 DS부문(반도체) 대표이사 사장이 올해 신설한 'AGI 컴퓨팅 랩' 조직에서 LLM(Large Language Models)용 칩을 개발하고, 새로운 버전을 지속해서 출시할 계획을 밝혔다. 경 사장은 19일 SNS(사회관계망서비스) 링크드인에서 "AGI의 길을 열기 위해 미국과 한국에서 삼성 반도체 'AGI 컴퓨팅랩'의 설립을 발표하게 돼 기쁘다"며 "특별히 설계된 완전히 새로운 유형의 반도체를 만들기 위해 노력하고 있다"고 전했다. 범용인공지능(AGI)은 인간 지능에 가깝거나 이를 능가하는 수준의 스스로 학습하는 기술이다. 최근 삼성전자는 AGI 전용 반도체를 만들기 위해 AGI 컴퓨팅랩을 설립했으며, 구글 텐서처리장치(TPU) 개발자 출신 우동혁 박사가 AGI 컴퓨팅랩을 이끈다. 그는 구글에서 TPU 플랫폼을 설계했던 3명 중 한 명이다. 경 사장은 "우선 AGI 컴퓨팅랩은 추론과 서비스 애플리케이션에 초점을 두고 LLM(거대언어모델)용 칩을 개발하는 데 중점을 둘 것"이라며 "LLM을 실행하는 데 필요한 전력을 극적으로 줄일 수 있는 칩을 개발하기 위해, 메모리 설계, 경량 모델 최적화, 고속 상호 연결, 고급 패키징 등 칩 아키텍처의 모든 측면을 재검토하고 있다"고 말했다. 이어서 그는 "우리는 더 강력한 성능과 점점 더 큰 모델을 소수의 전력과 비용으로 지원하는 AGI 칩의 새로운 버전을 지속적으로 출시할 계획"이라며 "AGI 컴퓨팅랩 설립을 통해 AGI에 내재된 복잡한 시스템 수준의 문제를 해결하는 동시에 미래 세대의 고급 인공지능(AI)·머신러닝(ML) 모델에 저렴하고 지속 가능한 방법에 기여하겠다"고 강조했다.

2024.03.19 14:09이나리

애플, 아이폰에 구글 제미나이 탑재할까

애플이 구글의 생성형 인공지능(AI) 모델 '제미나이'를 아이폰에 탑재하기 위해 구글과 논의 중이라는 보도가 나왔다. 블룸버그 통신은 18일(현지시간) 소식통을 인용해 애플과 구글이 올 해 아이폰 소프트웨어에 추가될 몇 가지 신기능을 지원하기 위해 구글의 생성형 AI 모델인 '제미나이'를 탑재하는 방안을 적극적으로 협상 중이라고 보도했다. 관계자들에 따르면, 아직 양사는 구체적인 계약 조건이나 구현 방식을 확정하지 않았다. 애플은 최근 오픈AI와도 이와 유사한 논의를 진행해 오픈AI의 모델 활용도 검토한 것으로 알려졌다. 애플과 구글 간의 거래가 성사되면 두 회사의 검색 파트너십이 더욱 강화될 것이라고 블룸버그는 전했다. 구글은 수년 동안 아이폰 등 애플 기기의 사파리 브라우저에서 검색 엔진을 기본 옵션으로 설정하는 대가로 매년 수십 억 달러를 애플에 지불해 온 것으로 알려져 있다. 애플과 구글의 이번 거래가 성사된다면, 구글 제미나이는 수십 억 명의 사용자를 확보할 수 있게 된다. 하지만, 이는 애플이 시장에서 기대했던 것만큼 AI 개발에 대한 노력을 기울이지 않고 있다는 신호일 수 있으며, 애플과 구글에 대한 규제 당국의 반독점 조사가 더욱 강화될 수 있는 위협이 될 수도 있다고 블룸버그는 전했다. 애플은 아이폰 운영체제의 차기 버전인 iOS 18에 자체 AI 모델을 기반으로 한 새로운 기능을 준비하고 있다. 이 기능은 클라우드가 아닌 자사 애플 기기에서 AI 기능을 구동하는 기능에 초점을 맞출 것으로 전망됐다. 애플은 작년 초부터 코드명 '에이젝스'(Ajax)라고 불리는 대규모 언어 모델(LLM)을 테스트해 왔다. 이는 오픈AI의 챗GPT와 같은 LLM과 달리 데이터센터의 클라우드 서비스 기반이 아닌 아이폰과 같은 기기를 통해 로컬에서 작동하는 생성 AI 기술이다. 또한 일부 애플 직원들은 '애플GPT'라는 이름의 기본 챗봇을 사용해 온 것으로 알려져 있다. 하지만, 애플의 생성형 AI 기술은 구글이나 다른 경쟁사의 기술에 비해 여전히 열등하기 때문에 파트너십을 맺는 것이 더 나은 선택으로 보인다고 소식통들은 전했다.

2024.03.18 16:16이정현

메타, '라마3' 전용 AI인프라 공개...GPU만 4만9천개

메타가 차기 대규모언어모델(LLM) '라마 3' 학습을 위한 세계 최대 규모의 컴퓨팅 인프라를 공개했다. 최근 실리콘 앵글 등 외신에 따르면 메타는 AI학습을 위한 데이터센터급의 24K GPU 클러스터 한 쌍의 세부정보를 공식 블로그를 통해 공개했다. 여러 그래픽처리장치(GPU)를 네트워크로 연결해 병렬 컴퓨팅 작업을 수행하는 시스템이다. 기계학습, 대규모 시뮬레이션 등 대규모 계산 작업을 더 빠르게 처리하기 위해 활용된다. 메타에서 공개한 24K GPU 클러스터는 2022년 선보인 리서치슈퍼클러스터(RSC)의 후속모델이다. 이름처럼 2개의 클러스터에 각 2만4천576개의 엔비디아 텐서 코어 H100(이하 H100) GPU가 적용된 것이 특징으로 총 4만9천 개 이상의 H100 CPU를 활용할 수 있다. 이번 발표는 일반인공지능(AGI) 연구를 위해 대규모 인프라 구축 계획의 일환이다. 메타는 2024년 말까지 35만 개의 H100 GPU를 포함한 AI 인프라를 확장할 계획이다. 이를 통해 기존에 확보한 인프라를 포함해 60만 개의 H100 GPU 수준의 컴퓨팅 파워를 갖추는 것을 목표로 한다. 두 클러스터는 GPU 수가 동일하며 개방형 GPU 하드웨어 플랫폼 '그랜드 티톤(Grand Teton)'을 사용해 구축됐다. 하지만 네트워크 인프라 설계에 차이가 있다. 하나는 웻지 400 및 미니팩 2 OCP 랙 스위치와 아리스타 7800를 기반으로 자체 개발한 RDMA 오버 컨버지드 이더넷(RoCE) 솔수션을 적용했다. 두 번째 클러스터는 엔비디아의 퀀텀2 인피니밴드 패브릭 솔루션이 적용됐다. 두 클러스터의 구조를 다르게 한 이유는 향후 더 크고 확장된 클러스터 구축을 목표로 하기 때문이다. 두 클러스터에서 다양한 분야의 AI를 학습하며 어떤 구조와 설계 방식이 AI에 적합한지 데이터를 확보해 이후 적용하겠다는 비전이다. 저장장치도 해머스케이프와 협력해 자체 개발했다. 생성형 AI 훈련 작업이 점점 빨라지고 규모가 커지는 것에 대비해 고성능이면서도 수만개의 GPU에서 동시 작업하는 데이터를 감당할 수 있도록 E1.S SSD를 활용했다. 이와 함께 구글은 개방형 AI 생태계 활성화를 위해 AI 소프트웨어 프레임워크인 파이토치를 지속해서 지원할 것이라고 강조했다. 케빈 리 등 구글 연구원은 “지난 2015년 빅서 플랫폼을 시작으로 GPU 하드웨어 플랫폼을 설계를 공개하고 있다”며 “우리는 이런 정보 공유가 업계의 문제 해결을 돕는데 도움이 될 것이라고 믿고 있다”고 이번 GPU 클러스터 관련 내용을 공개한 이유를 밝혔다. 이어서 “우리의 AI 노력은 개방형 과학과 교차 협력의 철학을 바탕으로 구축됐다”며 “개방형 생태계는 AI 개발에 투명성, 정밀성, 신뢰를 제공하고 안전과 책임을 최우선으로 하여 모든 사람이 혜택을 누릴 수 있는 혁신을 이끌어낼 것”이라고 강조했다.

2024.03.17 13:07남혁우

"국내 AI모델, 정말 안전할까"…직접 확인하는 행사 열린다

정부가 국내 거대언어모델(LLM)의 윤리성과 안전성 향상을 위한 행사를 개최한다. 과학기술정보통신부는 다음 달 11일부터 12일까지 양일간 서울 코엑스에서 '생성형 AI 레드팀 챌린지'를 개최하는 것으로 전해졌다. AI윤리 안전에 관심있는 사람은 누구나 참가할 수 있다. 신청자는 행사 전 간단한 가이드라인을 미리 제공받을 수 있다. AI 레드팀은 AI의 윤리성·안전성을 집중적으로 테스트하는 팀이다. 현재 LLM 보유기업인 네이버, 오픈AI, 구글 등이 내부에 꾸린 팀이다. 이 팀은 고의로 자사 모델에 악의점 프롬프트를 입력하거나 해킹하는 작업을 한다. 이를 통해 AI 모델의 잠재적 위험성과 취약점을 발견한다. 기업은 레드팀의 테스트 결과를 토대로 모델을 수정해 안전성을 끌어올린다. 챌린지 참가자는 이러한 레드팀 역할을 직접 경험할 수 있다. 참가자는 네이버 '하이퍼클로바X', 포티투마루 'LLM42' 등 국내 기업의 LLM 대상으로 모델 윤리성·안전성을 테스트한다. 과제 예시로는 ▲AI에게 폭력적·공격적 언어 유도하기 ▲정치, 종교, 국제사회 등 민감한 이슈에 대한 주관적인 답변 유도하기 ▲특정 사회적 집단에 대한 고정관념이나 편견 유도하기 등이다. 참가자는 주어진 문제에 따라 LLM을 임의로 선택해 미션을 완료하기만 하면 된다. 심사를 통해 악의적 프롬프트를 가장 많이 발견한 팀은 상도 받는다. 대상 1명은 과기정통부장관상과 상금 500만원을, 우수상 3명은 한국정보통신기술협회장상 등과 상금 300만원을 각각 받는다. 이번 행사를 주최하는 정부 관계자에 따르면, 챌린지 소스 결과물은 시중에 공개되지 않는다. LLM 개발사만 자사 결과물을 받을 수 있다. 개발사는 이를 통해 자사 모델 안전성을 한번 더 검증하는 기회를 얻을 수 있다. 12일에는 AI 컨퍼런스를 진행한다. 국내외 LLM 개발사 임원진이 모여 LLM 개발과 적용의 흐름, 윤리 안전에 대한 이슈를 집중적으로 다룬다. 에이든 고메즈 코히어 최고경영자(CEO)를 비롯한 크리스 메서롤 프론티어 모델 포럼 대표, 댄 헨드릭스 AI안전성위원회 총괄, 네이버클라우드 하정우 AI혁신센터장, SK텔레콤 에릭 데이비스 글로벌통신 담당, 카카오 김경훈 이사, 김세엽 셀렉트스타 대표가 직접 발표할 예정이다. 행사 관계자는 "이번 행사가 데이터 보안과 신뢰성 평가에 대한 인사이트를 제공하는 자리가 되길 바란다"고 했다.

2024.03.17 12:24김미정

에스넷시스템, 코난테크놀로지와 자체 LLM 구축 전망

에스넷시스템(대표 유홍준, 장병강)이 협력을 통해 자체 LLM을 구축할 전망이다. 에스넷시스템은 코난테크놀로지(이하 코난)와 AI 관련 사업 협력을 위한 업무협약(MOU)을 체결했다고 15일 밝혔다. 이번 업무협약은 AI 시스템 구축 및 AI 솔루션 공동개발을 통해 상호 시너지를 창출하고 사업 성장 동력을 확보하기 위함이다. ▲AI 솔루션 상호 협력 ▲AI 인프라 부문 공급, 설치 및 기술지원 ▲AI 플랫폼, 솔루션 부문 지원을 주요 골자로 하고 있다. 에스넷시스템이 AI 인프라, GPU 클라우드 서비스 그리고 아마존웹서비스(AWS), 삼성 클라우드 플랫폼(SCP) 등 클라우드 관련 부문을 지원하고, 코난테크놀로지가 대규모 언어 모델(LLM), 생성형 AI 등의 AI 솔루션 부문을 지원한다. 에스넷시스템은 AI 에너지 최적화 솔루션과 코난LLM을 대표적으로 코난테크놀로지의 생성형 AI솔루션과 함께 협업할 예정이다. 양사의 솔루션 협업을 통해 새로운 부가가치를 만드는 솔루션을 개발하겠다는 방침이다. AI 인프라 부문 지원을 위해 GPU 서버 및 클라우드, GPU 네트워크 뿐만 아니라 테스트 및 PoC용(기술검증용) GPU 서버까지 아우르는 공급, 설치 및 기술지원을 제공할 계획이다. AI 플랫폼, 솔루션 부문도 지원한다. 구체적으로 AI 인프라 운영 관리 플랫폼과 어플리케이션 개발 플랫폼을 제공할 예정이다. 유홍준 에스넷시스템 대표는 “에스넷시스템이 AI사업을 지속 강화해 나가는 과정에서 인공지능 소프트웨어 전문기업인 코난테크놀로지와 업무 추진하게 되어 뜻깊게 생각한다”며 “이번 협약을 통해 도출된 역량을 활용하여 경쟁력 있는 AI 인프라 및 솔루션 서비스를 선도할 예정”이라고 말했다. 김영섬 코난테크놀로지 대표는 “IT산업을 선도하는 에스넷시스템과 AI 관련 사업을 함께하게 되어 기쁘다”며 “코난테크놀로지가 가지고 있는 AI 기술과 역량을 기반으로 에스넷시스템과 긴밀히 협력하여 앞으로는 AI 시장에서 유의미한 성과를 도출할 수 있도록 노력하겠다”고 밝혔다.

2024.03.15 11:22남혁우

Prev 11 12 13 14 Next