검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'GPU 컴퓨팅'통합검색 결과 입니다. (27건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

'AI 3대 강국' 목표 세운 韓, 대규모 투자 시동…조준희 "산업용 LLM에 주목해야"

최근 우리나라 정부가 인공지능(AI) 분야를 국가 전략 기술로 지정하고 집중 지원에 나선 가운데 국내 기업들이 산업용 거대언어모델(LLM) 개발에 적극 나서야 한다는 주장이 나왔다. 23일 업계에 따르면 조준희 한국소프트웨어협회장은 최근 자신의 소셜미디어(SNS) 페이스북 계정을 통해 "AI는 국가적으로 전략물자 수준 이상으로 생각해야 되고, 일종의 '핵무기'와 같다고 봐야 된다"며 "앞으로는 우리를 보호하는 무기로서의 AI를 가질 것이냐, AI 핵우산에 기댈 것이냐의 선택일 것"이라고 강조했다. 그러면서 "산업 보국을 위해서는 기업 수와 고용이 동반해서 늘어야 되는데 그런 면에서 우리가 소홀히 보고 있는 산업용 LLM 시장에 큰 기대감을 가지고 있다"며 "특히 제조 강국으로서의 산업 특화 LLM 개발 부분은 수출 측면에서도 선전 할 수 있다고 생각한다"고 덧붙였다. 조 회장이 이처럼 주장하고 나선 것은 최근 우리나라에서 AI 산업 발전을 위해 정부와 기업이 다각도로 방안을 모색하고 있는 상황에서 방향성을 제시하기 위한 것으로 분석된다. 앞서 정부는 지난 20일 제3차 국가AI위원회 회의를 진행해 '국가대표 정예팀'을 선발하는 한편, 빠른 시간 안에 세계 최고 수준의 LLM을 개발할 수 있도록 데이터와 그래픽처리장치(GPU) 등을 전폭 지원하겠다는 계획을 내놓은 바 있다. 특히 AI 컴퓨팅 인프라 확충을 위해 단기적으로는 내년 상반기까지 1만8천 장 규모의 첨단 GPU를 확충하기로 했다. 1만 장은 국가AI컴퓨팅센터를 중심으로 올해 안에 마련하고 나머지 8천여 장은 슈퍼컴퓨터 6호기 구축을 통해 확보한다. 장기적으로 2030년까지 국가AI컴퓨팅센터 내 국산 AI 반도체 비중을 50%로 끌어올려 저전력·고성능의 국산 AI 반도체 경쟁력을 높인다는 계획이다. 초기에는 엔비디아 등의 GPU를 쓰되 국산 AI 반도체의 성능을 검증해 점차 비율을 늘린다는 방침이다. 범용인공지능(AGI) 구현에 필요한 핵심 원천기술 확보도 추진하고 있다. 약 1조원을 투입할 계획으로, 현재 예비타당성 조사가 진행 중이다. 이에 대해 조 회장은 "국가 AI 역랑 강화 방안들은 어려운 환경에서 시기 적절하고 정교하게 잘 만들어졌다"며 "실행에 만전을 기하면 승산이 있다고 본다"고 말했다. 정부가 이처럼 나선 것은 AI 주도권을 둘러싼 글로벌 시장 경쟁이 갈수록 격화되고 있어서다. 미국은 지난 달 오픈AI, 오라클을 중심으로 AI 데이터센터에 약 730조원을 투자하는 '스타게이트 프로젝트'를 발표했다. 이에 질세라 유럽연합(EU)은 'AI기가팩토리 프로젝트'를 포함해 300조원가량을 투자키로 했다. 프랑스도 AI데이터센터에 약 163조원을 투자할 것이란 계획을 최근 공개했다. 하지만 우리나라는 미국, 중국에 이어 'AI 3대 강국'을 목표로 하고 있지만 '쩐의 전쟁'에선 다소 밀리는 모양새다. 한국은 일단 글로벌 AI 생태계에서 싱가포르·영국·프랑스와 함께 3위권으로 평가 되고 있지만, 고성능 AI 모델을 개발하기에는 국내 인프라가 부족하다는 지적을 받고 있다. 실제 지난해 기준 우리나라가 보유한 엔비디아의 AI 반도체 'H100'은 약 2천 개로, 미국 빅테크 메타의 15만 개, 마이크로소프트(MS)의 15만 개에 비해 상당히 낮은 수치다. 기술격차도 갈수록 커지고 있다. 미국과는 지난해 3월 기준 1.3년에 달했고 유럽과는 1년, 중국과는 0.9년의 차이가 났다. AI 고급 인재의 해외 이탈도 많아지면서 기술 개발에도 상당히 어려움을 겪고 있다. 이에 카카오는 자체 LLM 개발 중심 전략에서 선회해 오픈AI와 손을 잡았다. LLM 개발에 수천억원이 든다는 점에서 부담이 컸기 때문이다. 하지만 업계에선 카카오의 이 같은 전략에 대해 상당한 아쉬움을 드러냈다. 카카오가 파운데이션 AI 모델 개발에 소요되는 대규모 투자 비용을 절감하는 효과가 있겠지만, 자체적인 AI 역량 확보가 어려워져 향후 해외 진출에 어려움을 겪을 수도 있다고 판단해서다. 조 회장은 "국내 국민 메신저를 운영하는 대기업의 미국 LLM기업과의 제휴는 AI가 국가 기간산업이라는 철학이 부재한 보여주기식의 쉬운 접근"이라며 "(이 같은 전략은) 성공하기 어려울 것"이라고 주장했다. 이어 "AI는 LLM, GPU, 고대역폭메모리(HBM), 프로세싱-인-메모리(PIM), 클라우드, 양자 등 대규모 융합 산업으로, 어느 하나도 포기할 수 없는 주요 테크산업인 만큼 협업과 종합적인 접근이 중요하다"며 "올해 (우리나라가 AI기본법과 관련해) 세부 규정과 시행령을 더 정교하게 만들어서 미국 빅테크 기업을 적절히 견제하고 국내 산업을 증진시킬 수 있도록 (모두의) 균형있는 노력이 필요할 것"이라고 덧붙였다.

2025.02.23 15:37장유미

정부 "GPU 우선 확보…세계 수준 LLM 만든다"

과학기술정보통신부가 인공지능(AI) 컴퓨팅 인프라를 확충하면서 즉시, 단기, 중장기 등 3단계에 걸친 마스터플랜을 가동키로 했다. 20일 열린 국가인공지능위원회 3차 회의에서 과기정통부는 이같은 내용을 담은 'AI컴퓨팅 인프라 확충을 통한 국가 AI역량 강화 방안'을 발표했다. AI컴퓨팅인프라 특별위원회와 당정협의회에서 논의된 내용을 담은 것으로, 새해 경제정책방향에 따라 1분기 내 수립 예정이던 대책을 딥시크 돌풍으로 앞당겨 마련한 방안이다. 내년 상반기까지 GPU 1.8만장 확보...H100 416장 우선 지원 이 방안에 따라, 정부는 인공지능 컴퓨팅 인프라 확충 3단계에 걸친 마스터플랜을 가동한다. 당장 현장에 시급한 AI 컴퓨팅 수요에 대응하기 위해 광주AI데이터센터, 민간 클라우드 등 이미 국내에 보유하고 있는 GPU 자원을 활용해 우선 지원한다. 현재 국내에 있는 엔비디아 H100 880장 가운데 정부가 416장을 확보하고 있는데 이를 지원하겠다는 뜻이다. 이후 2026년 상반기까지 1만8천 장 규모의 첨단 GPU를 확충한다. 그 중 1만 장은 국가 AI컴퓨팅 센터를 중심으로 민관 협력을 통해 연내 확보하고, 나머지 8천여 장도 슈퍼컴퓨터 6호기 구축을 통해 확보할 예정이다. 마지막 중장기 단계로 2030년까지 국가AI컴퓨팅센터 내 국산 AI 반도체 비중을 50%로 끌어올리는 등 저전력 고성능의 국산 AI 반도체 경쟁력 제고도 지원한다. 민간의 AI 컴퓨팅 인프라 투자를 촉진하기 위해 세제지원, 전력 입지 등 제도적 기반도 강화한다. AI를 조세특례제한법 상 국가전략기술로 지정해 첨단 AI R&D 등 우대 공제율 30~50%, AI 통합투자 우대 공제율 15~35% 등에 대한 세제지원을 확대한다. 비수도권에 AI데이터센터 구축 시 전력계통 영향평가 우대를 검토하고, 항만배후단지, 공항지원시설 등으로 입지 다변화, 승강기 미술품 설치 최소기준 적용 등 전력 입지 시설에 관한 제도개선 등도 지속 추진한다. 국산 AI 반도체의 성장도 적극 지원한다. 국산 인공지능 반도체를 토대로 글로벌 수준의 개방형 HW-SW 기술생태계를 조성하여 대규모 고성능 시스템의 최적 운용을 뒷받침한다. 이를 통해 대규모 수요 창출과 동시에 기술개발 성과의 실증과 사업화도 지원한다. WBL 프로젝트 추진...AGI 구현 1조 단위 예타 검토 국가AI컴퓨팅센터 등 인프라 확충을 계기로 독자적 인공지능 모델 경쟁력 확보를 본격 추진한다. AI 국가대표 프로젝트인 가칭 월드베스트LLM(WBL) 프로젝트를 신규 추진할 계획이다. AI 정예팀을 선발하고 단시간에 세계 최고 수준의 대형언어모델을 개발할 수 있도록 필요한 데이터, GPU 등 핵심 인프라를 전폭 지원한다. 또한 AI 분야의 도전적인 문제를 해결하기 위해 국내외 최고 인재가 팀을 이뤄 겨루는 대규모 경진대회인 '글로벌 AI 챌린지'도 개최한다. 세계적인 AI 분야 석학들과 대국민 평가 등을 통해 최고 인재의 참여를 유도하고 입상자에 대해서는 창업 지원이나 WBL 정예팀 기업에 채용을 연계하는 등 파격적인 인센티브를 제공한다. 아울러 장기적으로는 생성형 인공지능을 넘어 범용인공지능(AGI) 구현에 필요한 핵심 원천기술 확보를 위해 1조원 규모에 달하는 기술개발을 추진한다. 고급 AI 인재 양성체계도 고도화한다. 지난해 뉴욕에 개소한 '글로벌 AI 프론티어랩'을 영미권을 넘어 유럽 등으로 확대하는 방안을 추진하여 세계를 선도하는 연구그룹과의 공동연구를 강화한다. 이와 더불어 국내 AI 신진연구자의 창의도전적 연구를 지원하는 프로그램도 신설한다. 기업이 원하는 실전 역량을 갖춘 최고 인재를 양성하기 위해 교사, 교재, 수업 없이 실전형 혁신 교육을 지원하는 '이노베이션 아카데미'를 확대하고, '기업-대학 협력형 AX 대학원' 신설을 추진할 계획이다. 글로벌 우수 인재 유치도 대폭 지원한다. WBL 프로젝트와 연계해 정예팀 기업이 필요로 하는 글로벌 인공지능 핵심 인재를 국내에 유치할 경우 인건비, 연구비, 체재비 등 파격적인 지원방안을 적극 검토할 계획이다. 이밖에 '우리 AI 컴퓨팅 인프라'를 통해 '우리 AI 인재'가 개발한, '우리 AI 모델'로 국가 AI 전환을 가속화한다. 우수한 국산 AI 모델의 초기시장 창출을 위해, 우리의 독자적 특화 데이터를 학습한 생성형 인공지능을 의료(맞춤형 치료 건강관리), 법률(대국민 법률정보 제공), 공공(행정업무 효율화) 등 다양한 분야에 접목하는 부처 협력형 선도 프로젝트를 추진한다. 유상임 과기정통부 장관은 “AI 패권경쟁은 기업 간 대결을 넘어 국가가 전면에 나서는 경쟁으로 변화하고 있다”며 “우리의 대응이 1년 늦어지면 경쟁력은 3년이 뒤처진다는 각오로 AI 컴퓨팅 인프라와 핵심인재 육성 확보에 전폭적이고 속도감 있는 투자를 추진하겠다”고 말했다. 이어, “우리나라가 이미 보유한 잠재력을 최대한 활용하고 부족한 부분은 빠르게 보완하는 등 국가의 인공지능 역량을 강화해 인공지능 3대 강국으로 도약하겠다”고 밝혔다.

2025.02.20 11:30박수형

최상목 대행 "연내 GPU 1만장...내년 상반기 GPU 8천장 슈퍼컴 구축"

최상목 대통령 권한대행 부총리가 17일 “연내 고성능 GPU 1만장을 확보해 국가AI컴퓨팅센터 서비스를 조기 개시하고 내년 상반기에는 GPU 8천장 상당의 슈퍼컴 6호기를 구축해 연구계를 지원하겠다”고 밝혔다. 최상목 권한대행은 이날 오후 정부서울청사에서 열린 제3차 AI컴퓨팅인프라특별위원회를 열어 “최근 AI 산업 패권 경쟁이 가열되는 가운데, 경쟁 구도도 기업 간 대결을 넘어 국가가 전면에 나서는 '혁신생태계 간 경쟁'으로 바뀌고 있다”며 이같이 말했다. 그러면서 “정부와 민간이 한 팀이 되어 힘을 모으면 과거 광대역 통신망을 구축해 우리나라가 IT 강국으로 부상하였듯이 AI컴퓨팅 인프라를 기반으로 인공지능 3대 강국으로 도약할 것”이라고 강조했다. 국가AI위원회 산하 AI컴퓨팅인프라특별위원회는 국가AI컴퓨팅센터를 비롯해 정부에서 추진 중인 AI컴퓨팅 인프라 관련 현안을 민관이 함께 논의하고 대응 방안을 모색하기 위해 구성됐다. 이날 회의는 지난달 22일 국정현안관계장관회 후속 조치로 '국가AI컴퓨팅센터 구축(SPC 설립) 실행계획' 관련 현안 점검을 위해 개최됐다. 미국 스타게이트 프로젝트, 프랑스 AI 데이터센터 구축 계획 등에서 보듯 최근 AI컴퓨팅 인프라 역량은 국가별 AI 생태계의 경쟁력을 결정짓는 척도로 부상하고 있으나 첨단 반도체가 집적된 AI컴퓨팅 인프라는 적정 투자 규모를 사전에 예측하기 어려우며, 기술 시장의 변화가 빠르다. 이에 따라, 정부는 앞으로 특별위원회에서 수시로 추진 상황을 점검하고, 각종 현안에 유연하게 밀접 대응할 계획이다. 이날 회의에 참석한 업스테이지의 김성훈 대표는 범용 AI(AGI) 강국으로 가는 길을 주제로 인재, GPU의 중요성과 우리나라가 보유한 역량을 강조하며 AGI 강국으로 도약하는 데 필요한 지원방안에 대해 발표했다. 이어, 배경훈 LG AI연구원장은 최신 AI 기술 동향과 한국형 AI 발전 방향을 주제로 낮은 비용으로 동등 수준의 성능 확보가 가능한 추론 강화 모델에 대해 설명하고, 이를 바탕으로 개발된 LG의 AI모델 엑사원 성과를 소개했다. 민간의 발표와 함께 국가AI컴퓨팅센터 관련 현안으로 사업 공모와 사업설명회 개최 등 사업 추진 경과와 GPU, 서비스, 입지, 전력, 정책금융 프로그램 등 주요 항목별 현안 및 대응 방향에 대해 논의했다. 정부는 이번 특별위원회를 통해 제시된 정책 제언을 바탕으로 AI컴퓨팅 인프라 확충 정책을 보완해나갈 계획이다.

2025.02.17 15:40박수형

CPU·GPU 에너지 사용 100만분의 1로 줄인 '열컴' 나오나

기존 CPU나 GPU가 사용하는 에너지의 100만분의 1만으로도 경로찾기 등 복합한 최적화 계산을 할 수 있는 차세대 열 컴퓨팅 기술이 개발됐다. 인공지능과 딥러닝 등의 확산에 따른 전기 에너지 사용량이 현안으로 부상한 가운데 공개된 혁신적인 컴퓨팅 구동 기술이어서 과학기술계의 관심을 끌었다. KAIST는 신소재공학과 김경민 교수 연구팀이 미국 샌디아 국립연구소와 공동으로 산화물 반도체의 열-전기 상호작용에 기반하는 열 컴퓨팅(Thermal computing) 기술 개발에 성공했다고 26일 밝혔다. 연구팀은 반도체 소자에서 발생하는 열이 CPU의 계산 성능을 떨어뜨리고, 이 열을 처리하는 추가 비용이 발생한다는데 주목했다. 이 같은 문제 해결 방안으로 연구팀은 전기-열 상호작용이 강한 산화나이오븀(NbO₂) 기반의 모트 전이 (Mott transition) 반도체를 눈여겨 봤다. 모트 전이 반도체는 온도에 따라 전기적 특성이 부도체에서 도체로 변하는 전기-열 상호작용이 강한 반도체 소자다. 연구팀은 낮은 열전도도와 높은 비열을 가지고 있는 폴리이미드 기판으로 모트 전이 반도체 소자를 제작했다. 소자에서 발생한 열은 폴리이미드 기판에 저장했다. 저장된 열은 일정 시간 동안 유지돼 시간적 정보 역할을 했다. 또 이 열은 공간적으로도 이웃 소자로 전파되면서 공간적 정보 역할도 했다. 연구팀은 "열 정보를 시,공간적으로 활용해 컴퓨팅을 수행할 수 있었다"며 "CPU나 GPU가 쓰는 에너지 소모량 대비 1백만분의 1 정도만 써도 경로 찾기 등과 같은 복잡한 최적화 문제를 풀수 있었다"고 부연 설명했다. 김경민 교수는 “버려지던 반도체 소자 열을 컴퓨팅에 활용하는 개념을 최초로 제안했다"며 "열 컴퓨팅 기술을 활용하면 뉴런과 같은 신경계의 복잡한 신호도 매우 간단히 구현할 수 있다"고 말했다. 김 교수는 또 고차원의 최적화 문제를 기존의 반도체 기술을 바탕으로 해결할 수 있어 양자 컴퓨팅의 현실적인 대안이 될 수 있다”고 기술의 장점을 강조했다 이 연구는 KAIST 신소재공학과 김광민 박사과정, 인재현 박사, 이영현 박사과정 연구원이 공동 제1 저자로 참여했다. 관련 논문은 재료 분야 국제 학술지 `네이처 머티리얼즈(Nature Materials, Impact factor: 41.2)'(6월18일자)에 게재됐다.

2024.06.26 05:06박희범

지코어 "삶을 바꾸는 생성 AI의 위치는 엣지"

“인공지능(AI)이 인류의 미래를 바꿀 것이라 전망되지만, AI가 어떻게 산업에 연결돼 서비스로 다가오고 경제 생활을 만들어낼 지 알 수 없다. 가시적인 변화는 AI가 생산성으로 이어져야 가능할 것이다. 일반인공지능(AGI)도 중요한 문제고 인류의 미래를 바꾸겠지만, 기업의 먹거리와 인류의 삶을 바꾸는 AI는 결국 엣지에서 있을 것이다.” 지코어코리아 김진용 팀장은 지디넷코리아가 17일 서울 인터컨티넨탈코엑스에서 개최한 '제21회 어드밴스드컴퓨팅컨퍼런스플러스(ACC+) 2024' 기조연설에서 이같이 밝혔다. 김진용 팀장은 "생성형 AI는 2년도 안 돼 부풀려진 기대치의 정점을 찍었고, 곧 환멸의 골짜기에 도달할 것으로 보인다”며 “생성형 AI 기업의 운영 비용은 월 100만달러에 달하는 큰 부담을 주고 실질적인 이익을 벌어들이지 못하는 상황이기 때문”이라고 설명했다. 김 팀장은 “현 시점에서 필요한 것은 기존 자산을 잘 조합하고 새로운 아이디어를 고안해내서 새로운 혁신을 이루는 것”이라며 “AI 학습과 추론, 모델을 묶어서 사용자 가까이 있는 디바이스와 안전한 통신으로 연결되는 모든 세트를 갖춰야 한다”고 강조했다. 지코어는 160개 이상의 국가와 지역에 PoP를 운영하고 있다. 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업이라고 스스로를 강조한다. 특히 생성형 AI 학습과 추론에 필요한 전용 인프라를 클라우드 서비스로 제공하고 있다. 최근 지코어코리아는 한국 데이터센터를 개소했다. 품귀현상을 보이는 엔비디아 H100 텐서코어 GPU 서버를 설치했다.지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 김진용 팀장은 “생성형 AI의 아키텍처는 기존 엔터프라이즈용 애플리케이션과 달리 서비스 부분에서 많은 자원이 필요하다”며 “지코어는 훈련용과 추론용 인프라로 GPU 자원을 제공하며, 더 특별한 수요에 대응하는 IPU도 제공한다”고 말했다. 지코어의 또 다른 강점은 네트워킹 인프라다. 콘텐츠딜리버리네트워크(CDN)에서 시작한 회사란 장점을 살려 초저지연시간을 보장하는 고속 네트워크를 생성 AI에 제공할 수 있다. 지코어의 클라우드 컴퓨팅은 '서버리스 컴퓨팅'에 기반한다. 거대언어모델(LLM)을 사용할 때 자원 할당을 별도로 하지 않아도 되며, 실제로 모델을 작동시키는 양만큼만 비용을 내면 된다. 그는 “AI는 지연시간에 민감한 서비스기에 지코어는 글로벌 평균 26밀리초의 지연시간을 유지하며, 한국의 경우 한자릿수 밀리초의 지연시간으로 이용할 수 있다”며 “다양한 LLM을 기업이 모두 미리 깔아놓을 수 없으므로 정말 필요할 때 자원과 모델을 곧바로 활용할 수 있도록 서버리스 컴퓨팅으로 제공하고 있다”고 설명했다. 지코어는 중앙의 인프라와 네트워킹에 더해 엣지 단계에서 AI 모델 추론을 수행할 수 있는 환경도 제공한다. '인퍼런스앳더엣지'란 서비스는 160여개 지코어 POP의 캐싱서버에 암페어 알트라맥스와 엔비디아 L40S 칩을 두고 고객의 AI 서비스를 구동할 수 있게 한다. 필요한 LLM도 캐싱해 빠르게 제공할 수 있으며, 유사한 추론을 반복적으로 하게 되는 상황을 감안해 모델응답을 캐시할 수 있다. 김 팀장은 “사용자가 지코어 기잔의 AI 서비스에 접속하면 인퍼런스앳더엣지의 AI 칩으로 다양한 모델을 끌어와 서비스를 돌릴 수 있다”며 “지리적 혹은 정치적 이유에 따른 규제 차이에 맞게 답변과 모델에 차이를 둬야 할 때도 맞춤형으로 대응가능하다”고 말했다. 그는 여기에 '5G 보안 네트워크' 기반으로 생성 AI와 사용자 디바이스를 연결할 수 있다고 했다. 사용자, 기업 등의 데이터가 외부에 유출되지 않도록 제로트러스트 네트워크를 통해 정보를 주고 받을 수 있다. 그는 “어떤 IoT 디바이스든 데이터를 실제 AI 서비스 장소까지 안전하게 전달하는 센서 데이터 보안 확보가 가능하다” 그는 “지코어의 서비스를 통해 '모든 것의 인터넷(IoT)'에서 '모든 것의 AI(AioT)'라 할 수 있게 된다”며 “지코어는 앞으로 AI 시장이 우리 현실 속에 들어온 엣지 디바이스에서 일어날 것으로 생각하며 이를 실현하기 위해 어느 기업보다 먼저 아키텍처를 고안해 선보이고 실제로 잘 움직이도록 잘 조율해 서비스에 녹여왔다”고 강조했다.

2024.04.17 11:53김우용

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용