ZDNet 검색 페이지

'GPU 가속'통합검색 결과 입니다. (10건)

韓 소부장, 엔비디아·TSMC 기술혁신 발맞춰 신시장 개척

엔비디아·TSMC 등 글로벌 빅테크 기업들이 AI 산업의 주도권을 유지하기 위한 기술 변혁을 지속하고 있다. 이에 국내 소부장 기업들도 차세대 제품 양산화를 위한 테스트를 진행하고 있는 것으로 파악됐다. 30일 업계에 따르면 국내 소부장 기업들은 엔비디아 및 TSMC의 차세대 기술 도입에 맞춰 신제품 양산을 추진하고 있다. 엔비디아는 내년 출시할 차세대 AI 가속기인 'B300'부터 소켓 방식을 적용하는 방안을 검토 중이다. B300은 엔비디아가 지난 3월 공개한 AI 반도체 '블랙웰' 시리즈 중 가장 성능이 높은 제품으로, HBM3E(5세대 고대역폭메모리) 12단을 탑재한다. 그간 엔비디아의 AI 가속기는 고성능 GPU와 HBM, 인터페이스 등을 메인 기판에 모두 집적하는 온-보드(on-board) 형식으로 제작돼 왔다. 반면 소켓은 GPU를 기판에 실장하지 않고, 별도로 탈부착하는 방식이다. AI 가속기를 소켓 방식으로 변경하는 경우 GPU 불량에 따른 문제에 효율적으로 대응할 수 있게 된다. GPU 및 기판의 제조 안정성도 높일 수 있다. 다만 GPU와 기판을 안정적으로 연결해야 하는 것이 과제로 꼽힌다. 현재 엔비디아향 소켓은 한국 및 대만의 후공정 부품업체가 주력으로 공급하고 있다. 이들 기업은 올 4분기 AI 가속기용 소켓 샘플을 공급한 것으로 알려졌다. 실제 양산에 돌입하는 경우 내년 중반부터 출하량을 늘릴 수 있을 것으로 관측된다. 엔비디아의 핵심 파트너인 대만 TSMC도 자체 개발한 'CoWoS' 기술을 고도화하고 있다. CoWoS는 넓은 기판 모양의 실리콘 인터포저 위에 반도체 다이(Die)를 수평 배치하는 첨단 패키징이다. 특히, TSMC는 기존 대비 소형화된 인터포저를 사용하는 CoWoS-L을 최신형 HBM에 적용하고 있다. 이러한 기조에 따라 계측 분야에서도 변화가 감지되고 있다. 기존 CoWoS-L에 구현된 회로의 배선폭은 2마이크로미터 이상이다. 그러나 CoWoS-L의 집적도가 높아지면서, 배선폭 역시 더 좁은 1마이크로미터 내외가 요구되고 있다. 기존 CoWoS의 회로 계측은 3D 광학 검사를 활용해 왔다. 그러나 배선폭이 1마이크로미터로 줄어들게 되면 성능의 한계로 계측이 힘들어진다. 이에 TSMC는 AFM(원자현미경) 기술을 CoWoS에 적용하는 방안을 추진 중이다. 국내 장비업체도 복수의 AFM 장비를 공급해 품질 테스트를 거치고 있는 것으로 파악된다. AFM은 탐침을 시료 표면에 원자 단위까지 접근시켜, 탐침과 표면 간의 상호작용을 통해 시료를 계측하는 장비다. 기존 광학식 대비 속도는 느리지만, 매우 미세한 수준까지 계측이 가능하다. 때문에 기존 AFM은 주로 초미세 공정과 직결된 전공정 영역에서 활용돼 왔다. TSMC가 CoWoS 패키징에 AFM을 양산 도입하는 경우, AFM의 적용처가 최첨단 패키징 분야로도 확장될 수 있을 것으로 전망된다.

2024.12.30 11:22장경윤

젠슨황 엔비디아 "삼성전자 HBM 승인 위해 빨리 작업 중"

세계 최고 인공지능(AI) 반도체 기업 엔비디아의 젠슨 황 최고경영자(CEO)가 “삼성전자 AI 메모리 칩 납품을 승인하기 위해 최대한 빠르게 작업하고 있다”고 밝혔다. 23일(현지시각) 홍콩 과학기술대 명예박사 학위 수여식에 참석하기 위해 홍콩을 찾은 황 CEO는 블룸버그TV와의 인터뷰에서 이같이 말했다고 블룸버그통신이 보도했다. 엔비디아는 삼성전자 5세대 고대역폭 메모리(HBM) HBM3E 8단과 12단 품질을 검증하고 있다. 지난달 31일 삼성전자는 3분기 실적을 내놓은 뒤 주요 고객사 품질 시험에서 중요한 단계를 완료하는 의미 있는 진전을 이뤘다며 4분기 (HBM3E) 판매를 확대할 수 있을 것이라고 발표했다. 다만 블룸버그는 지난 20일 황 CEO가 3분기(8∼10월) 실적을 발표한 뒤 메모리 공급 업체로 SK하이닉스와 마이크론 등을 언급했으나 삼성전자는 거론하지 않았다고 지적했다.

2024.11.24 15:45유혜진

파네시아, 2년 연속 CES 혁신상 수상...CXL 3.1 IP로 인프라 지원

국내 반도체 CXL 팹리스 스타트업 파네시아가 CXL(Compute Express Link) 3.1 IP(설계자산)를 탑재한 GPU 메모리 확장 솔루션으로 'CES 2025 혁신상'을 수상했다. 파네시아는 'CES 2024'에서도 'CXL 탑재 AI 가속기'로 혁신상을 수상 한 바 있다. CES(Consumer Electronics Show)는 전미소비자기술협회(Consumer Technology Association, CTA)가 기획 및 운영하는 행사로, 소비자 전자 기술업계의 선두주자들이 모여 차세대 혁신 기술을 시장에 선보이는 50년 전통의 국제전자제품박람회이다. 파네시아의 CXL 기반 GPU 메모리 확장 키트는 가속기 메모리 확장 문제를 해결하기 위해 파네시아에서 자체 보유한 CXL 3.1 IP로 개발한 기술이다. GPU에 메모리 확장장치를 연결해 통합된 메모리 공간을 구성할 때, 해당 메모리 공간에 대한 관리 동작을 각 장치에 내재된 파네시아의 CXL 3.1 컨트롤러가 자동으로 처리해준다. 따라서 GPU는 GPU 내부 메모리에 접근할 때와 동일하게 일반적인 읽기(load)/쓰기(store) 명령만 보냄으로써 메모리 확장장치에 접근이 가능하며, 결과적으로 사용자 입장에서는 GPU 내부 메모리 용량이 수십 기가바이트에서 테라바이트 수준으로 확장된 효과를 누리게 된다. 해당 솔루션의 가장 큰 장점은 하드웨어 구성을 최적화함으로써 AI 인프라 구축비용을 수십 배 절약할 수 있다는 것이다. 기존에는 부족한 메모리 자원을 확보하기 위해 연산 자원이 충분한 상황에서도 고가의 GPU를 다수 장착해야만 했으나, GPU당 메모리를 확장하는 파네시아의 솔루션은 대규모 AI 서비스를 처리하기 위해 필요한 GPU 수를 크게 줄여 AI 인프라 구축비용을 절감할 수 있다. 즉, 기존에는 메모리 용량이나 연산자원이 부족할 때마다 GPU를 증축하는 방식이었다면, 이제는 연산 자원이 부족할 때에만 선택적으로 GPU를 증축하여 비용 효율성을 개선할 수 있다. 파네시아 관계자는 "AI향 CXL 솔루션으로 2년 연속 CES 혁신상을 수상한 사례는 파네시아가 유일하다"라며 "이런 성과를 달성할 수 있었던 것은 파네시아가 세계에서 유일하게 개발하여 보유하고 있는 가속기용 CXL 3.1 IP 덕분"이라고 설명했다. 파네시아는 내년 1월 미국 라스베가스에서 열리는 CES 2025 행사에서 이번 혁신상을 수상한 CXL 기반 GPU 메모리 확장 키트를 선보일 예정이다.

2024.11.14 09:20이나리

엔비디아, '블랙웰' AI칩 브랜드 정비…첨단 패키징·HBM 수요 촉진

엔비디아가 출시를 앞둔 고성능 GPU의 라인업을 재정비하고, AI 데이터센터 시장을 적극 공략할 계획이다. 이에 따라 대만 주요 파운드리인 TSMC의 첨단 패키징 수요도 크게 늘어날 것으로 전망된다. 22일 시장조사업체 트렌드포스에 따르면 엔비디아는 최근 '블랙웰' 울트라 제품을 'B300' 시리즈로 브랜드를 변경했다. 블랙웰은 엔비디아가 지난 3월 공개한 최신형 AI 반도체다. TSMC의 4나노미터(nm) 공정 및 첨단 패키징을 기반으로, 이전 세대(H100) 대비 데이터 연산 속도를 2.5배가량 높였다. 블랙웰 시리즈는 전력 소모량에 따라 B100, B200 등의 모델로 나뉜다. 두 모델은 HBM3E(5세대 고대역폭메모리) 8단 제품이 탑재된다. 나아가 엔비디아는 상위 모델인 B200 울트라를 설계하고, 여기에 HBM3E 12단을 적용하기로 한 바 있다. 이번 리브랜딩에 따라, B200 울트라는 B300으로 이름이 바뀌었다. '그레이스' CPU와 결합된 'GB200 울트라' 모델은 'GB300'으로 불린다. 기존 AI 반도체에서 성능을 일부 하향 조정한 'B200A 울트라'와 'GB200A 울트라' 역시 각각 'B300A', 'GB300A'로 변경됐다. B300 시리즈는 내년 2분기와 3분기 사이에 출시될 것으로 예상된다. 기존 B200과 GB200 등은 올 4분기부터 내년 1분기 사이 양산이 시작될 전망이다. 트렌드포스는 "엔비디아는 당초 서버 고객사를 위해 B200A를 출시할 계획이었으나, 설계 과정에서 B300A로 전환해 성능을 하향 조정한 GPU의 수요가 예상보다 약하다는 것을 나타냈다"며 "또한 GB200A에서 GB300A로 전환하는 기업의 경우 초기 비용이 증가할 수 있다"고 설명했다. 또한 엔비디아의 고성능 GPU 출시는 TSMC의 'CoWoS' 패키징 수요를 크게 촉진할 것으로 분석된다. CoWoS는 TSMC가 자체 개발한 2.5D 패키징이다. 칩과 기판 사이에 인터포저라는 얇은 막을 삽입해, 패키징 면적을 줄이고 칩 간 연결성을 높인 것이 특징이다. 트렌드포스에 따르면 올해 CoWoS 수요는 전년 대비 10% 이상 증가할 것으로 예상된다. 트렌드포스는 "최근 변화에 비춰볼 때 엔비디아는 CoWoS-L 기술을 활용하는 북미 서버 고객사에 B300 및 GB300 제품을 공급하는 데 집중할 가능성이 높다"고 밝혔다. CoWoS-L는 로컬실리콘인터커넥트(LSI)라는 소형 인터포저를 활용하는 기술이다.

2024.10.23 10:01장경윤

'델' 주도 AI 서버 시장, 엔비디아 최신 칩 등장 속 판도 변화 올까

생성형 인공지능(AI) 시장 확대와 맞물려 AI 가속기 기반 서버 수요가 폭발하면서 관련 업체들이 고객 확보 경쟁에 본격 나섰다. 각 업체들은 최신 AI 칩을 기반으로 한 신무기를 잇따라 선보이며 점유율 확대에 사활을 건 분위기다. 16일 블룸버그통신에 따르면 델 테크놀로지스는 엔비디아의 AI 가속기인 '블랙웰' 칩을 탑재한 서버를 다음 달부터 일부 고객에게 발송한다. 내년 초부터는 일반 고객에게도 제공될 예정이다. '블랙웰'은 기존 엔비디아 AI 칩인 'H100', 'H200' 등 호퍼(Hopper)를 이을 최신 칩으로, 올해 11월부터 본격적인 양산에 들어간다. 'GB200'은 엔비디아가 블랙웰 아키텍처로 생산된다. 블랙웰 AI 서버 시스템인 'GB200 NVL72'는 이미 출하되고 있는 상태로, 2개의 블랙웰 GPU와 엔비디아의 CPU인 그레이스를 하나로 연결한 GB200 슈퍼칩 36개로 구성됐다. 가격은 380만 달러에 달하며 엔비디아 'GB200' 출하의 대부분을 차지할 것으로 전망됐다. 델 테크놀로지스는 'GB200 NVL72' 시스템을 기반으로 한 파워엣지 'XE9712'를 현재 일부 고객들에게 샘플용으로 공급하고 있다. '블랙웰' 칩은 지난 8월 패키징 결함으로 출시가 다소 늦어질 것으로 예상됐으나 최근 본격 생산되기 시작하며 수요가 폭발적으로 늘어나고 있는 상태다. 특히 마이크로소프트, 오픈AI 등 빅테크들이 AI 데이터센터 구축을 위해 '블랙웰'을 대량 주문하면서 이미 12개월치 생산 물량이 매진됐다. 이 같은 상황에서 델 테크놀로지스는 엔비디아와의 끈끈한 협력 관계를 바탕으로 '블랙웰' 초기 물량 확보에 성공하며 AI 서버 시장에서 입지를 더 탄탄히 구축할 수 있게 됐다. 아서 루이스 델 테크놀로지스 인프라스트럭처 부문 사장은 "'블랙웰' 칩이 포함된 AI 기반 서버는 다음 달 일부 고객에게 보내져 내년 초에 일반 공급될 것"이라며 "다양한 서비스 및 제품으로 차별화한 덕분에 엔비디아의 최신 칩을 조기에 공급 받을 수 있었다"고 설명했다. 델 테크놀로지스는 현재 AI 작업용 고성능 서버 판매 사업 확장에 주력하고 있는 상태로, '블랙웰' 외에 AMD의 기술을 탑재한 AI 특화 서버 신제품 'XE7745'도 전날 공개해 고객들의 선택 폭을 넓혔다. 이 제품은 4U 공냉식 섀시에서 최대 8개의 이중 폭 또는 16개의 단일 폭 PCIe GPU와 AMD 5세대 에픽 프로세서를 지원한다. 이 제품은 AMD 5세대 에픽 프로세서를 탑재한 '델 파워엣지 R6715'와 '델 파워엣지 R7715' 서버와 함께 내년 1월까지 순차적으로 출시된다. 경쟁사인 HPE는 엔비디아 '블랙웰'의 대항마로 여겨지는 AMD의 '인스팅트 MI325X' 가속기를 탑재한 'HPE 프로라이언트 컴퓨트(ProLiant Compute) XD685'를 새로운 무기로 꺼내들었다. 이 서버는 대규모 언어 모델(LLM) 학습, 자연어 처리(NLP), 멀티모달 학습 등 고성능 인공지능(AI) 클러스터를 신속하게 배포할 수 있도록 설계된 제품이다. 또 5U 모듈형 섀시로 다양한 GPU, CPU, 구성 요소, 소프트웨어 및 냉각 방식을 수용할 수 있는 유연성을 갖추고 있다. 이번 일을 기점으로 HPE는 AMD와의 협력을 통해 앞으로 AI 서비스 제공업체, 정부, 대규모 AI 모델 개발자들이 요구하는 유연하고 고성능의 솔루션을 제공해 AI 경쟁에서 우위를 점하겠다는 목표를 가지고 있다. 트리시 댐크로거 HPE HPC 및 AI 인프라 솔루션 부문 수석 부사장은 "AMD와 협력해 HPE 프로라이언트 컴퓨트 XD685로 AI 혁신을 확장할 것"이라며 "AI 모델 개발자 시장의 수요에 부응하며 산업 전반에서 과학과 공학의 혁신을 가속화할 것"이라고 말했다. 슈퍼마이크로 역시 AMD '인스팅트 MI325X' 기반의 새로운 서버를 최근 선보였다. 이번에 출시한 'H14' 서버 포트폴리오는 슈퍼마이크로의 하이퍼 시스템, 트윈 멀티노드 서버 및 AI 추론 GPU 시스템을 포함하고 있다. 또 모든 제품이 공냉식 또는 수냉식 옵션으로 제공된다. 찰스 리앙 슈퍼마이크로 CEO는 "'H14' 서버는 에픽 9005 64코어 CPU를 탑재해 2세대 에픽 7002 시리즈 CPU를 사용하는 자사 'H11' 서버 대비 2.44배 더 빠른 성능을 제공한다"며 "고객은 데이터센터의 총면적을 3분의 2 이상 줄이고 새로운 AI 처리 기능을 추가할 수 있다"고 설명했다. 이처럼 각 업체들이 AI 시장을 노리고 잇따라 성능을 높인 새로운 서버를 출시하면서 업계에선 시장 판도에 변화가 생길 지 주목하고 있다. 전 세계 서버 시장은 현재 델테크놀로지스가 주도하고 있는 상태로, HPE와 슈퍼마이크로가 뒤를 잇고 있다. 특히 현재 5~7%가량의 점유율을 차지하고 있는 슈퍼마이크로는 GPU 기반 AI 서버 시장에서 존재감을 높이며 델 테크놀로지스를 점차 위협하고 있다. 미즈호증권 비제이 라케시 애널리스트에 따르면 2022~2023년 AI 서버 시장 내 슈퍼마이크로의 점유율은 80~100%에 달했다. 다만 델 테크놀로지스도 최근 들어 AI 서버 매출을 점차 늘리고 있다. 올해 5~7월에는 31억 달러가 출하됐고, 지난해 5월부터 올해 4월까지는 60억 달러가량의 AI 서버가 판매됐다. 업계 관계자는 "AI 서비스에 대한 수요가 증가함에 따라 자연스럽게 AI 서버에 대한 수요도 함께 늘어나고 있다"며 "우수한 설계 능력과 강력한 AI 파트너십을 바탕으로 존재감을 드러내고 있는 슈퍼마이크로가 향후 델, HPE 등 경쟁사들의 점유율을 빼앗을 가능성이 높다"고 말했다. 아거스리서치 애널리스트들은 "슈퍼마이크로는 AI 시대를 선도하는 컴퓨터 및 서버 업체"라며 "지난 1년간 큰 폭의 이익을 얻었는데 앞으로도 수년 동안 강력한 매출 성장과 마진 확대, 주당순이익(EPS) 가속화에 대비하고 있다"고 평가했다.

2024.10.16 11:51장유미

퓨리오사AI, 차세대 AI칩 '레니게이드' 공개

AI 반도체 스타트업 퓨리오사AI는 미국 현지시간 기준 26일 'Hot Chips 2024' 컨퍼런스에서 2세대 AI 반도체 RNGD(레니게이드)를 공개했다고 28일 밝혔다. 퓨리오사의 2세대 AI 반도체 RNGD는 거대언어모델(LLM) 및 멀티모달모델의 효율적인 추론을 위해 설계된 데이터센터용 가속기다. 국내 팹리스가 Hot Chips 행사에서 신제품 발표자로 선정된 것은 최초다. HBM3가 탑재된 추론용 AI 반도체에 대한 행사 현장의 관심과 반응도 높았던 것으로 전해진다. 이날 백준호 대표는 '퓨리오사 RNGD: 지속 가능한 AI 컴퓨팅을 위한 텐서 축약 프로세서(Tensor Contraction Processor)'라는 주제로 제품 소개 및 초기 벤치마크를 공개하며, Llama 3.1 70B의 라이브 데모를 선보였다. 초기 테스트 결과 RNGD는 GPT-J 및 Llama 3.1과 같은 주요 벤치마크 및 LLM에서 경쟁력 있는 성능을 보였으며, 단일 PCIe 카드 기준으로 약 100억 개의 파라미터를 가진 모델에서 초당 2천~3천개의 토큰을 처리할 수 있는 성능을 나타냈다. RNGD는 범용성과 전력 효율의 균형을 이룬 텐서 축약 프로세서(TCP) 기반 아키텍처다. 주요 GPU의 TDP가 1000W 이상인 것에 비해, 150W TDP의 높은 효율성을 갖췄다. 또한 48GB HBM3 메모리를 탑재해 Llama 3.1 8B와 같은 모델을 단일 카드에서 효율적으로 실행 가능하다. 퓨리오사AI는 2017년 삼성전자, AMD, 퀄컴 출신의 세 명의 공동 창업자에 의해 설립된 이후, 지속적인 기술 혁신과 제품 양산에 집중해 왔다. 그 결과 TSMC로부터 첫RNGD 샘플을 올 5월에 받은 후 빠른 속도로 브링업을 완료했다. 소프트웨어 역량도 강화했다. 퓨리오사AI는 2021년 당시 출시된 1세대 칩 첫 샘플을 받은 지 3주 만에 브링업을 완료하고 MLPerf 벤치마크 결과를 제출한 바 있으며, 이후 컴파일러 개선만을 통해 성능을 113% 향상시킨 바 있다. 백준호 퓨리오사AI 대표는 "이번 Hot Chips에서 RNGD를 글로벌 시장에 공개하고 빠른 초기 브링업 결과를 발표할 수 있었던 것은 회사의 기술 개발이 하나의 결실을 맺은 것”이라며 “RNGD는 업계의 실질적인 추론 니즈를 충족시킬 수 있는 지속 가능하고 현실적인 AI 컴퓨팅 솔루션”이라고 강조했다. 그는 이어 “우리 제품이 LLM을 효율적으로 연산할 수 있다는 것을 증명하였다는 것은 회사가 다음 성장 단계에 접어들었다는 것을 의미한다"며 "팀의 헌신과 지속적인 노력에 대해 매우 자랑스럽고 감사하다”고 말했다. 아디티아 라이나 GUC 최고마케팅책임자(CMO)는 "퓨리오사AI와의 협력으로 성능과 전력 효율성 모두 뛰어난 RNGD를 시장에 선보이게 됐다"며 "퓨리오사AI는 설계에서부터 양산 샘플 출시까지 탁월한 역량을 보여주며, 업계에서 가장 효율적인 AI 추론 칩을 출시하게 되었다"고 밝혔다.

2024.08.28 15:04장경윤

"엔비디아, 내년 HBM3E 물량 중 85% 이상 차지할 듯"

8일 시장조사업체 트렌드포스에 따르면 엔비디아의 내년 HBM3E 소비량은 전체 물량의 85%를 넘어설 전망이다. 엔비디아가 시장을 주도하고 있는 AI 서버용 칩은 고성능 GPU와 HBM 등을 함께 집적한 형태로 만들어진다. HBM은 여러 개의 D램을 수직으로 적층한 메모리로, 데이터 처리 성능이 일반 D램에 비해 월등히 높다. 엔비디아는 지난 2022년 말 '호퍼' 아키텍처 기반의 H100 칩을 출시했으며, 올해에는 HBM3E 탑재로 성능을 더 강화한 H200 양산을 시작했다. H200에 채택된 HBM3E는 현재 SK하이닉스와 마이크론이 공급하고 있다. 이에 따라 엔비디아의 HBM3E 소비 점유율은 올해 60% 이상으로 예상된다. 나아가 엔비디아는 '블랙웰' 아키텍처 기반의 'B100', 'B200' 등의 제품을 내년부터 출시할 계획이다. 해당 제품에는 HBM3E 8단 및 12단 제품이 탑재된다. 이에 따라 내년 엔비디아의 HBM3E 소비 점유율은 85% 이상을 기록할 전망이다. 트렌드포스는 "블랙웰 울트라, GB200 등 엔비디아의 차세대 제품 로드맵을 고려하면 HBM3E 12단 제품의 비중이 내년 40%를 넘어걸 것으로 추산된다"며 "현재 공급사들이 HBM3E 8단 제품에 집중하고 있으나, 내년에 12단 제품 생산량이 크게 증가할 것"이라고 밝혔다. 트렌드포스는 이어 "현재 삼성전자와 SK하이닉스, 마이크론이 모두 제품 검증을 거치고 있으며, 특히 삼성전자가 시장 점유율을 늘리는 데 적극적"이라며 "검증 순서가 주문량 할당에 영향을 미칠 수 있다"고 덧붙였다.

2024.08.09 08:40장경윤

KAIST 'AI 가속기'에 잇단 러브콜…"엔비디아 2배 성능"

엔비디아의 GPU 성능을 넘어서는 고용량·고성능 AI 가속기가 상용화 수준으로 개발됐다. 이 기술을 개발한 KAIST 정명수 전기및전자공학부 교수는 "빅테크 기업들의 러브콜이 이어지고 있다"며 “대규모 AI 서비스를 운영하는 이들의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 것"이라고 말했다. KAIST(총장 이광형)는 차세대 GPU간 연결기술인 CXL(Compute Express Link)를 새로 설계해 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는데 성공했다고 8일 밝혔다. 연구는 전기및전자공학부 정명수 교수의 컴퓨터 아키텍처 및 메모리 시스템 연구실이 수행했다. 연구결과는 미국 산타클라라 USENIX 연합 학회와 핫스토리지 연구 발표장에서 공개한다. GPU 내부 메모리 용량은 수십 기가바이트(GB, 10의9승)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 업계에서는 대안으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU가격이 비싸 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높인다. 이에 따라 산업계에서는 차세대 인터페이스 기술인 CXL를 활용해 대용량 메모리를 GPU 장치에 직접 연결하는'CXL-GPU'구조 기술이 활발히 검토되고 있다. CXL-GPU는 CXL을 통해 연결된 메모리 확장 장치들의 메모리 공간을 GPU 메모리 공간에 통합시켜 고용량을 지원한다. CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다. 그러나 여기에도 근본적인 한계가 있다. 기존 GPU 성능 대비 CXL-GPU의 읽기 및 쓰기 성능이 떨어진다는 점이다. 아무리 GPU가 연산처리를 빨리 해도 CXL-GPU가 이를 같은 속도로 처리하지 못한다. 연구팀이 이 문제를 해결했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발했다. GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 시스템을 설계했다. 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업 하도록 했다. GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없다. 연구팀은 또 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작한다. GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다. 이 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 테스트 결과 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초(10의 9승분의 1초) 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러 등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다.

2024.07.08 08:22박희범

엔비디아, 4분기 매출 265% 급증…AI 서버로 '퀀텀 점프'

글로벌 팹리스 엔비디아가 또 다시 '어닝 서프라이즈'를 달성했다. 폭발적인 인공지능(AI) 서버 수요 증가세에 따른 효과로, 회사는 올해 상반기에도 당초 예상을 뛰어넘는 매출을 달성할 수 있을 것으로 내다봤다. 엔비디아는 22일 2023 회계연도 4분기(2024년 1월 종료) 매출이 221억 달러로 전년 동기에 비해 265% 증가했다고 발표했다. 이는 전분기에 비해서도 22% 늘어난 것이며 증권가 전망치 204억 달러를 크게 웃돌았다. 같은 분기 주당 순이익(GAAP 기준)도 4.93달러로 전분기 대비 33%, 전년동기 대비 765% 늘어났다. 엔비디아 호실적의 주역은 데이터센터 사업이다. 해당 분기 데이터센터 사업 매출은 184억 달러로 전분기 대비 27%, 전년동기 대비 409% 증가했다. 젠슨 황 엔비디아 최고경영자(CEO)는 "가속컴퓨팅 및 생성형 AI가 티핑 포인트(특정 현상이 급속도로 커지는 지점)에 도달했다"며 "국가, 산업을 가리지 않고 전 세계적으로 수요가 급증하고 있다"고 밝혔다. 엔비디아는 올 상반기 실적에 대해서도 긍정적인 전망을 내비쳤다. 회사는 2024 회계연도 1분기(2024년 4월 종료) 매출 예상치로 전분기 대비 8% 증가한 240억 달러를 제시했다. 이 전망치 역시 증권가 예상보다 9% 가량 상회한 수치다. 현재 엔비디아는 AI 산업의 핵심인 고성능 그래픽처리장치(GPU)와 이를 기반으로 한 AI 가속기 시장을 사실상 독과점하고 있다. 올해에도 3나노미터(nm) 기반의 신규 제품 'B100' 출시를 목표로 하는 등, 시장 지배력 유지를 위한 행보를 이어가고 있다.

2024.02.22 08:50장경윤

젠슨 황 엔비디아 "세계 각국, AI 인프라 독자 구축해야"

젠슨 황 엔비디아 CEO가 세계 각국이 독자적인 AI(인공지능) 인프라를 구축해야 함을 강조했다고 로이터통신 등이 12일 보도했다. 이날 두바이에서 열린 '세계정부정상회의(WGS) 2024'에 참석한 황 CEO는 "AI의 경제적 잠재력을 활용하면서 자국의 문화를 보호하려면 모든 국가가 자체 AI 인프라를 보유해야 한다"며 "다른 국가가 그런 일을 하도록 허용해서는 안 된다"고 말했다. 그는 이어 "가능한 한 빨리 AI 산업의 주도권을 잡고, 업계를 활성화하고, 인프라를 구축하는 것은 전적으로 각국 정부에 달렸다"고 덧붙였다. AI 산업의 위험성에 대해서는 "과도한 두려움"이라는 입장을 밝혔다. 황 CEO는 "자동차, 항공 등 다른 신기술 및 산업도 성공적으로 규제된 바 있다"며 "AI에 대한 공포를 부추기면서 아무 것도 하지 않도록 장려하는 사람들은 실수를 하고 있다고 생각한다"고 강조했다. 현재 엔비디아는 AI 구현의 핵심으로 꼽히는 고성능 서버용 GPU(그래픽처리장치) 분야에서 압도적인 시장 점유율을 차지하고 있다. 덕분에 최근 엔비디아의 시가총액은 1조8천200억 달러까지 상승하면서 지난 2002년 이후 처음으로 아마존을 앞지르기도 했다.

2024.02.13 08:49장경윤

지금 뜨는 기사

이시각 헤드라인

"요금 올리거나, 무료 풀거나"…OTT, 전략 분화

"책 대신 '아이패드'로 수업을"…디지털이 바꾼 교실 풍경은

과학자들, 납으로 금 만들었다…'연금술사의 꿈' 실현되나

[ZD브리핑] 아시아 IT 박람회 컴퓨텍스 개최...21대 대선 후보 첫 토론회

ZDNet Power Center