검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'GPU SW'통합검색 결과 입니다. (6건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[AI는 지금] "GPU만으론 부족"…삼성도 'AI 추론 SW' 짐렛랩스에 베팅

짐렛랩스가 서로 다른 종류의 반도체를 묶어 인공지능(AI) 추론을 처리하는 '멀티 실리콘' 기술을 앞세워 대규모 투자 유치에 성공했다. AI 추론 수요와 데이터센터 전력 부담이 함께 커지면서 짐렛랩스처럼 GPU·CPU·전용 가속기를 조합해 처리 효율을 높이는 방식이 주목받는 분위기다. 5일 업계에 따르면 짐렛랩스는 시리즈B에서 3억 달러(약 4038억원)를 조달해 기업가치 30억 달러를 인정받았다. 앤드리슨호로위츠가 투자를 주도했으며 ARM홀딩스와 마이크로소프트 벤처캐피털 M12, 삼성벤처스 등이 참여했다. 앞서 시드와 시리즈A에서 조달한 9200만 달러를 더하면 누적 투자액은 3억9200만 달러다.짐렛랩스는 스탠퍼드대 연구 프로젝트에서 출발한 미국 샌프란시스코 기반 AI 인프라 스타트업으로, 지난 2023년 설립됐다. 2025년 10월 스텔스 모드에서 벗어나 AI 에이전트용 추론 플랫폼을 공개했으며 자인 아스가 최고경영자(CEO)를 비롯한 창업진은 쿠버네티스 옵저버빌리티 기업 픽시에서 함께 일한 경험이 있다. 픽시는 2020년 뉴렐릭에 인수됐다. 짐렛랩스의 핵심 기술은 '멀티 실리콘 추론 클라우드'다. 하나의 AI 워크로드를 여러 단계로 나눠 GPU와 CPU, 전용 가속기 가운데 각 작업에 적합한 하드웨어로 배분하는 것이다. 또 새로운 AI 칩을 직접 설계하기보다 서로 다른 반도체를 하나의 추론 인프라로 연결하고 컴파일러와 런타임 소프트웨어로 작업을 분산하는 것이 특징이다. AI 추론은 처리 단계마다 필요한 하드웨어 특성이 달라 하나의 칩으로 모든 작업을 수행할 경우 효율이 떨어질 수 있다. 입력 데이터를 한꺼번에 처리하는 프리필은 연산 성능이 중요하고, 토큰을 순차 생성하는 디코드는 메모리 대역폭의 영향을 더 많이 받는다. AI 에이전트는 여기에 반복적인 모델 호출과 외부 도구 사용까지 더해져 작업 특성이 더욱 복잡해진다. 짐렛랩스는 이런 차이를 활용해 각 단계에 적합한 칩을 배치함으로써 같은 전력에서 더 많은 추론을 처리하고 응답 속도도 높이려 하고 있다. 짐렛랩스는 "이기종 반도체에 추론 작업을 분산하면 동일한 비용과 전력 조건에서 프런티어 AI 워크로드의 성능을 3~10배 높일 수 있다"며 "같은 전력 범위에서도 처리량과 상호작용 성능을 최대 10배 개선할 수 있다"고 밝혔다. 짐렛랩스는 최근 사업 범위를 추론 소프트웨어에서 데이터센터 인프라로 넓히고 있다. 여러 종류의 반도체를 함께 운용하려면 칩별 전력 밀도와 네트워크, 냉각 조건까지 고려해야 해서다. 이에 고객사의 데이터센터 구축을 지원하는 동시에 자체 인프라도 확대하고 있다. 특히 지난 3월 이후 수십억 달러 규모의 계약을 확보했으며 관리 용량도 수백MW 수준으로 늘렸다. 또 짐렛랩스는 ARM 기반 반도체에서도 자사 소프트웨어를 구동할 수 있도록 ARM과 협력하고 있다. 이는 다양한 종류의 반도체를 지원해 멀티 실리콘 추론 환경을 확대하려는 전략의 일환이다. 자인 아스가 짐렛랩스 최고경영자(CEO)는 "서로 다른 칩에 워크로드를 분산하는 기술을 개발했지만 실제 데이터센터는 이기종 하드웨어를 함께 운용하도록 설계돼 있지 않았다"며 "이에 소프트웨어를 넘어 데이터센터 인프라까지 사업을 확대하게 됐다"고 말했다.

2026.09.05 14:35장유미 기자

[AI는 지금] GPU만 빠르면 끝?…AI 에이전트 시대, '추론 SW'가 판 바꾼다

인공지능(AI) 에이전트 확산으로 AI 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 연산 성능에서 추론 소프트웨어와 서빙 시스템 전반으로 넓어지고 있다. 대화형 AI보다 훨씬 긴 컨텍스트를 유지하고 도구 호출과 반복 추론을 수행하는 AI 에이전트가 늘면서 KV 캐시 관리와 요청 스케줄링, 모델 병렬화 같은 소프트웨어 기술이 실제 서비스 성능과 비용을 좌우하는 요소로 떠오르고 있다. 26일 엔비디아에 따르면 차세대 AI 시스템 '베라 루빈 NVL72'는 세미애널리시스의 에이전틱 AI 벤치마크 '에이전트X'를 이용한 자체 시험에서 GB300 NVL72보다 메가와트당 AI 처리량이 최대 30배 높았다. 이번 수치는 엔비디아가 측정한 프리뷰 결과로, 현재 세미애널리시스의 검토를 기다리고 있다. 현재 세대인 GB300 NVL72에서도 성능 격차가 확인됐다. 딥시크 V4 프로 1.6T를 구동했을 때 H200 NVL8 대비 메가와트당 처리량이 최대 15배 높았으며, 키미 K3 2.8T에서는 비슷한 인터랙티브 성능을 기준으로 최대 80배까지 격차가 벌어졌다. 엔비디아는 GB300 NVL72를 사용할 경우 일부 조건에서 H200 NVL8보다 100만 토큰당 비용도 최대 10분의 1 수준으로 낮출 수 있다고 설명했다. 이번 결과에서 주목할 부분은 GPU 세대별 연산 성능 차이만은 아니다. 에이전트X가 기존 AI 벤치마크와 달리 실제 코딩 에이전트가 작동하는 방식을 재현하면서 AI 소프트웨어의 역할을 성능 평가에 본격적으로 끌어들였기 때문이다. 기존 추론 벤치마크는 8K 입력과 1K 출력처럼 길이가 정해진 요청을 반복해 GPU의 처리 성능을 측정하는 경우가 많았다. AI 에이전트는 이전 작업을 기억하면서 컨텍스트가 계속 길어지고 추론 도중 외부 도구를 호출하거나 다른 에이전트에 작업을 넘기기도 한다. 이를 두고 세미애널리시스는 "장문·멀티턴·높은 프리픽스 재사용과 서브에이전트 실행이 실제 AI 서비스 트래픽에서 중요해졌다"며 "그러면서 고정 길이 평가만으로 하드웨어와 소프트웨어 성능을 측정하기 어려워졌다"고 설명했다. 에이전트X는 이를 반영해 실제 클로드 코드 세션에서 발생한 요청 패턴을 재생한다. 턴이 진행될수록 컨텍스트가 누적되는 과정뿐 아니라 도구 호출로 모델이 대기하는 시간까지 반영하고 여러 에이전트가 동시에 작동할 때 처리량과 응답 속도가 어떻게 변하는지도 측정한다. 이에 따라 GPU 자체의 연산 속도뿐 아니라 추론 엔진과 캐시, 라우터가 얼마나 효율적으로 움직이는지가 결과에 영향을 미친다. 세미애널리시스는 에이전트X를 이용한 최적화 과정에서 vLLM의 프리픽스 캐시 적중률이 일부 조건에서 95%를 넘었으며 CPU로 KV 캐시를 오프로딩하는 방식에서는 재연산 대비 출력 처리량이 81.7% 높아진 사례도 공개했다. 세미애널리시스는 "실제 환경은 멀티턴·긴 컨텍스트와 높은 프리필 재사용, 서브에이전트 실행과 수많은 도구 호출로 구성된다"고 설명했다. 이번 일로 AI 소프트웨어 업체에도 향후 변화가 예상된다. 기존에는 쿠다(CUDA) 같은 GPU 프로그래밍 플랫폼과 vLLM·SGLang·텐서RT-LLM 등 추론 엔진의 연산 최적화가 주요 경쟁 영역이었다면, 에이전틱 AI에선 여러 소프트웨어 계층을 하나의 시스템으로 묶어 운영하는 능력이 중요해지고 있어서다. 특히 KV 캐시 관리가 핵심으로 부상하고 있다는 점은 눈여겨 볼 요소다. AI 에이전트가 작업을 수행할 때 이전 컨텍스트를 반복해서 다시 계산하지 않고 캐시에 저장된 데이터를 활용하면 GPU 연산량과 응답 시간을 줄일 수 있어서다. 반대로 동시에 많은 에이전트가 움직이면서 캐시를 제대로 관리하지 못하면 필요한 정보를 삭제하거나 같은 내용을 다시 계산하면서 GPU를 추가해도 성능이 충분히 나오지 않을 수 있다. 요청을 적절한 GPU로 배분하는 라우터와 스케줄러의 역할도 커지고 있다. 세미애널리시스의 에이전트X 시험에서는 엔비디아 추론 오케스트레이션 소프트웨어 '다이나모'의 라우팅 방식을 개선한 뒤 일부 조건에서 출력 처리량이 22.2% 증가했다. 다른 최적화에선 에이전트 세션 재생 시간이 20% 이상 단축됐다. 이는 하드웨어 교체 없이 소프트웨어 최적화만으로도 에이전틱 AI 추론 효율을 끌어올릴 수 있다는 점이 확인된 것으로 평가된다. 엔비디아도 이런 변화에 맞춰 하드웨어와 소프트웨어를 함께 묶는 전략을 강화하고 있다. GB300 NVL72의 72개 GPU를 NV링크로 연결하고 다이나모를 통해 프리필과 디코드 작업을 나누는 동시에 KV 캐시 상태와 서버 부하를 고려해 요청을 배분하는 방식이다. 이를 통해 엔비디아는 SGLang·vLLM·텐서RT-LLM과 MoE 최적화 기술까지 결합해 GPU 한 장의 성능보다 랙 단위 추론 효율을 높이는 데 초점을 두고 있다. 이에 따라 클라우드와 AI 서비스 사업자의 인프라 투자 기준도 달라질 가능성이 있다. 에이전트가 일반 챗봇보다 더 많은 토큰과 컴퓨팅 자원을 사용하는 만큼, GPU 도입 가격뿐 아니라 동일한 전력에서 얼마나 많은 사용자와 에이전트를 동시에 처리할 수 있는지가 서비스 비용을 좌우할 수 있어서다. 에이전트X도 초당 토큰 수에 더해 첫 토큰 생성 시간과 전체 지연시간, 사용자당 인터랙티브 성능, 메가와트당 처리량을 함께 평가하도록 설계됐다. 세미애널리시스는 추론 엔진과 라우터, KV 캐시 관리자, 데이터 전송 라이브러리, 클러스터 제어기가 서로 연동되는 구조를 새로운 AI 추론 환경의 핵심으로 보고 있다. 엔비디아 다이나모뿐 아니라 레드햇의 llm-d, AMD 인페라 등도 여러 추론 소프트웨어를 묶어 분산형 AI 시스템을 운영하는 방향으로 개발되고 있다. 세미애널리시스는 "에이전틱 추론은 칩이나 커널 수준의 문제가 아니라 시스템 전체의 문제"라고 강조했다.

2026.08.26 09:17장유미 기자

[ZD SW 투데이] 정철 나무기술 대표, '정보인의 날' 공로상 外

지디넷코리아가 소프트웨어(SW) 업계의 다양한 소식을 한 눈에 볼 수 있는 'ZD SW 투데이'를 새롭게 마련했습니다. SW뿐 아니라 클라우드, 보안, 인공지능(AI) 등 여러 분야에서 활발히 활동하고 있는 기업들의 소식을 담은 만큼 좀 더 쉽고 편하게 이슈를 확인해 보시기 바랍니다. [편집자주] ◆정철 나무기술 대표, '정보인의 날' 공로상 수상 정철 나무기술 대표가 서울 서초구 더 리버사이드호텔에서 열린 '제40회 정보인의 날 기념식'에서 한국인공지능·소프트웨어산업협회 공로상을 수상했다. 정철 대표는 엔터프라이즈 정보기술(IT) 분야에서 쌓은 기술 역량을 바탕으로 기업 현장의 AI 전환과 운영 체계 고도화를 추진해 왔다. 에이전틱 AI 플랫폼 중심 사업 확대와 공공·민간 협력을 통한 AI 활용 기반 마련, 클라우드·소프트웨어 산업 정책 제언과 생태계 활성화에 힘썼다는 평가다. 정보인의 날은 국내에 처음으로 컴퓨터가 도입된 1967년 6월 24일을 기념해 제정된 행사로, 정보통신 분야 발전에 기여한 유공자를 발굴·격려하기 위해 매년 열린다. 제40회 기념식은 한국IT전문가협회가 주최하고 한국인공지능·소프트웨어산업협회 등 10개 정보통신 관련 협·단체가 공동 주관했다. ◆솔트웨어, '공공 AI 산업 박람회'서 AI 보안 솔루션 소개 솔트웨어가 지난 23일부터 24일까지 경기 고양시 킨텍스에서 열린 '2026 공공 AI 산업 박람회(KPAIX)'에 참가해 생성형 AI 보안 솔루션 '사피가디언(Sapie-Guardian)'을 선보였다. 사피가디언은 챗GPT, 클로드 같은 서비스형소프트웨어(SaaS) AI의 입력(프롬프트)과 출력(응답) 구간에서 실시간 모니터링과 유사도 기반 필터링 기능을 제공한다. 이를 통해 개인정보와 내부 업무자료, 기밀 데이터 등 민감정보의 외부 유출을 막고 AI 사용 정책 수립과 운영 현황 관리 기능으로 공공기관의 안전한 AI 도입을 지원한다. 솔트웨어는 현장에서 데이터 유출 시나리오와 보안 통제 과정을 시연했다. 부스를 방문한 공공기관 정보화 담당자 및 디지털 혁신 관계자들과의 상담도 진행했다. ◆디딤, 'K-AI PaaS 서밋'서 AIOps 위한 하네스 운영 전략 발표 디딤이 한국인공지능클라우드산업협회(KACI)가 주최한 'K-AI PaaS 서밋 2026'에 참가해 인공지능 기반 IT운영(AIOps) 구현을 위한 '하네스(Harness)' 도입·운영 전략을 발표했다. 발표자로 나선 장정호 디딤 AX연구1센터장은 클라우드 환경의 복잡도와 운영 데이터가 급증하면서 관리서비스업체(MSP) 관점에서 AIOps 도입이 핵심 경쟁력이라고 강조했다. 다만 검증 없이 AI에 시스템 변경 권한을 전적으로 위임할 경우 오조치로 인한 장애 등 위험을 초래할 수 있다고 지적했다. 디딤이 제시한 해법은 통제된 자율을 구현하는 하네스 체계로, AI 에이전트 계층과 실제 인프라 실행 계층 사이에 운영자가 설계한 정책과 구조를 두는 전략이다. 디딤의 하네스 전략은 안전 게이트(쓰기 작업 전 검증), 멀티테넌시(고객 간 자격증명 격리), 감사 추적(모든 행위 기록) 등 3대 정책을 강제한다. 디딤은 검증된 권한만 단계적으로 허용하는 '통제형 자동화 아키텍처'로서의 하네스 실현 방안과 고객별 운영 정책 커스터마이징 전략도 소개했다. ◆한국데이터센터연합회, 데이터센터 역량강화 교육 2차 과정 모집 한국데이터센터연합회(KDCC)가 급변하는 데이터센터 산업 환경에 대응하고 현장 중심 전문인력을 양성하기 위해 '데이터센터 역량강화 교육' 2차 과정을 개설했다. 이 교육은 유료 과정으로 올해 총 3회 운영되며 지난달 열린 1차 교육은 모집 정원이 조기 마감됐다. 2차 교육은 다음달 22일과 23일 서울역 삼경교육센터에서 진행되고 3차 교육은 10월로 예정됐다. 한국데이터센터연합회는 이번 과정을 공통 분야인 데이터센터 시장 현황·정책·제도와 특화 분야인 시장·기술·사례 중심으로 구성했다. 데이터센터 산업 종사자들이 단편적 기술 이해를 넘어 구축·운영·리스크관리·지속가능성 대응을 포괄하는 종합적 관점을 갖추도록 하는 데 중점을 뒀다. 교육 신청은 다음달 17일까지 한국데이터센터연합회 홈페이지의 온라인 신청서를 통해 가능하다. ◆한국컴퓨팅산업협회, 'GPU 프로그램 모델 및 최적화' 교육과정 개설 한국컴퓨팅산업협회가 다음달 '그래픽처리장치(GPU) 프로그램 모델 및 최적화' 교육과정을 개설한다. 이 과정은 과학기술정보통신부 지원으로 운영 중인 'HPC 이노베이션 허브' 일환이다. 최신 고성능컴퓨팅(HPC) 시스템 구조와 GPU 아키텍처 이해부터 오픈CL·SYCL 프로그래밍 모델, GPU 연산과 메모리 최적화, 멀티 GPU 활용, 엔사이트(Nsight) 기반 프로파일링 방법론까지 산업 현장의 요구를 반영해 구성됐다. 참가자는 GPU 아키텍처와 프로그래밍 모델을 학습하고 실습 코드에 적용해 최적화와 분석을 실시간으로 진행할 수 있다. 한국컴퓨팅산업협회는 빅데이터·AI 개발자, 시스템 엔지니어, HPC 소프트웨어 개발자를 대상으로 커리큘럼을 고도화하고 중소·스타트업이 HPC 기반 AI 신사업을 추진하도록 지원을 이어갈 방침이다.

2026.06.26 16:45이나연 기자

"GPU는 많은데 쿠다는 하나"...AI 주권 위협하는 시스템 SW 종속

인공지능(AI) 시대 그래픽처리장치(GPU) 확보가 필수 요소로 떠오르면서 이를 실제 작동하게 하는 소프트웨어(SW) 생태계 구축이 핵심 경쟁력으로 부각되고 있다. 다만 국내를 비롯한 글로벌 AI 산업은 엔비디아의 병렬 컴퓨팅 플랫폼 '쿠다(CUDA)' 의존도가 높아 새로운 AI 가속기가 실효성을 갖기 어려운 구조라는 우려도 나온다. 1일 업계에 따르면 국내 주요 AI·클라우드 기업은 대부분 엔비디아 GPU 기반의 연산 인프라를 도입하고 있으며 모델 학습과 추론도 쿠다 기반 SW 스택 위에서 수행 중이다. 일부 기업이 AMD의 'ROCm'이나 국산 AI 반도체를 실증하고 있지만 생태계 호환성과 개발자 도구 부족으로 인해 상용 환경에서의 확장은 제한적인 것으로 알려졌다. 엔비디아는 자사 GPU용 병렬 컴퓨팅 플랫폼 쿠다를 통해 사실상 GPU 업계의 운영체제(OS) 역할을 수행하고 있다. AI 프레임워크 대부분이 쿠다 기반으로 최적화돼 있으며 '파이토치'나 '텐서플로우'와 같은 주요 AI 개발 도구도 쿠다 없이는 성능 구현이 어렵다. 이에 전 세계 개발자 생태계가 자연스럽게 쿠다에 락인된 상태다. 클라우드 업계 관계자는 "GPU는 많지만 쿠다는 하나라는 말이 괜히 나온 게 아니다"라며 "AI 개발자에게 쿠다는 선택이 아닌 전제 조건"이라고 말했다. 국내 기업이 설계한 AI 반도체 역시 같은 문제에 봉착해 있다. 자체 하드웨어(HW)를 개발해도 아직 파이토치나 허깅페이스 등 주요 AI 프레임워크와 바로 연결되지 않아 코드가 없는 반도체라는 현실적 벽에 직면했다는 게 업계의 시각이다. ONNX 변환, 트라이톤 서버 호환 등을 통해 다양한 호환 경로를 모색 중이지만 쿠다 기반 환경 대비 모델 구동 속도나 디버깅 편의성이 크게 떨어진다는 지적이 나온다. 공공 AI 개발 사업도 비슷한 양상이다. 대부분의 사업 제안요청서(RFP)에서 쿠다 기반 모델 구현을 전제로 하고 있어 대체 생태계가 실질적으로 배제되고 있다는 목소리가 나온다. 이같은 종속 구조 속에서 글로벌 오픈소스 진영은 '탈(脫) 쿠다'를 위한 기술적 시도를 이어가고 있다. 인텔은 CPU·GPU·FPGA를 아우르는 병렬 컴퓨팅 플랫폼 '원API'를 통해 쿠다 대항마 생태계 구축에 나섰다. C++ 기반 병렬 언어인 SYCL도 산업계에서 점차 채택이 늘고 있다. 구글이 주도하는 MLIR, 오픈AI의 트라이톤도 쿠다 없이 GPU 커널을 작성할 수 있는 대안 기술로 주목받고 있다. 다만 이들 기술은 아직 파이토치나 텐서플로우와의 완전한 통합, 성능 최적화, 디버깅 기능에서 초기 단계에 머무르고 있어, 대규모 AI 모델을 효율적으로 돌리는 데에는 부족하다는 평가가 많다. 이 가운데 정부는 독자적인 AI 모델과 인프라 구축을 담은 '소버린 AI' 핵심 국가 전략으로 추진 중이다. 그러나 대규모 GPU 투자 대비 이를 운용·활용할 수 있는 범용 SW 스택에 대한 전략은 아직 미비하다는 평가다. 이에 정부는 최근 산학연과 함께 국산 시스템 SW 경쟁력 강화와 생태계 조성을 위한 인재 양성에 힘쓰고 있다. AI 업계 관계자는 "진정한 소버린 AI란 단순히 GPU를 국산화하거나 반도체만 확보하는 것이 아니라 그 위에서 AI를 개발하고 서비스로 연결할 수 있는 생태계 전체의 자립"이라며 "장기적으로 정부와 민간이 함께 쿠다에 대응할 수 있는 오픈소스 기반 범용 SW 생태계 육성 전략을 세워야 한다"고 강조했다.

2025.08.01 13:35한정호 기자

[현장] 한국인공지능산업협회 "AI 전환은 생존 문제"…산업 현안 집중 조명

한국인공지능산업협회(AIIA)가 국내 인공지능(AI) 산업계의 현안을 짚고 기술 대응 방향을 모색하는 만남의 장을 열었다. AI 인프라와 소프트웨어(SW) 테스트 분야의 현안을 조명해 업계의 변화 속도를 조명하기 위함이다. AIIA는 15일 서울 양재동 엘타워에서 'AI는 어디에나 있다'를 주제로 '제49회 AIIA 조찬포럼'을 개최했다. 이날 행사에서는 이동기 SK텔레콤 랩장이 AI 인프라 구축과 서비스로서의 그래픽처리장치(GPUaaS)를, 이혜진 티벨 이사가 소프트웨어(SW) 테스트에서의 AI 활용 사례를 주제로 각각 발표했다. 양승현 AIIA 협회장은 "최근 모델 컨텍스트 프로토콜(MCP)과 화웨이 AI 칩의 등장 등 가파른 기술의 발전으로 시장의 방향성이 바뀌고 있다"며 "AI 인프라 전환은 더 이상 선택이 아닌 생존의 문제"라고 말했다. "AI 데이터센터는 새로운 제조업"…SKT 랩장의 경고와 해법은 이날 첫 발표를 맡은 이동기 SK텔레콤 AI 데이터센터랩장은 AI 인프라 구축 프로젝트와 GPU 서비스 전환 흐름을 집중 조명했다. 그는 AI 데이터센터가 전통적인 서버룸 중심의 데이터센터 개념에서 탈피한 근본적 전환이 이뤄지고 있다고 진단했다. 발표에 따르면 AI 데이터센터는 네 가지 축을 중심으로 구체화된다. ▲GPU 서버로 구성된 고성능 컴퓨팅 인프라 ▲액체 냉각 기반의 첨단 쿨링 시스템 ▲분산형 친환경 에너지 설비 ▲자원·비용·성능을 통합 관리하는 최적화 소프트웨어가 핵심이다. 이 랩장은 AI 데이터센터의 등장을 '토큰 공장' 개념으로 비유했다. 단순한 컴퓨팅 자원이 아닌 AI 추론과 학습을 통해 대규모 토큰을 실시간 생산해내는 AI 팩토리로 진화하고 있다는 설명이다. 실제로 젠슨 황 엔비디아 CEO도 "AI 데이터센터는 새로운 종류의 제조업이 되고 있다"고 강조한 바 있다. 이 과정에서 가장 큰 변화를 맞는 영역은 냉각과 전력 인프라다. 기존 공랭 방식은 고집적 GPU 서버를 감당할 수 없기 때문이다. 냉각 방식도 지속적으로 진화하고 있다. 단순히 직접 냉각 뿐만 아니라 서버 자체를 냉각장치 안에 넣는 '침수형'과 '정밀 액체분사형' 냉각 기술도 함께 발전 중이다. 다만 침수 방식은 물의 무게 탓에 상면당 하중이 기존 대비 최대 4배까지 증가할 수 있어 구조 설계부터 다시 짜야 한다는 부담이 뒤따른다. 이러한 흐름은 글로벌 무대에서도 극단적으로 전개되고 있다. 일론 머스크는 xAI의 파운데이션 모델인 '그록3' 개발을 위해 폐공장을 매입해 10만 장 규모의 GPU 팩토리를 구축하려다 전력과 냉각 시스템 병목에 부딪힌 바 있다. 결국 전국에서 발전기를 조달하고 미국 내 이동식 냉각 장비의 4분의 1을 임대해 대응하는 방식으로 급조된 데이터센터를 운영한 바 있다. GPU 장비의 고가·단명화 추세에 대한 우려도 제기됐다. 이동기 랩장은 "직접 센터를 지어도 몇 달 만에 장비가 구형이 될 수 있다"며 "GPU 인프라의 진화 속도를 감안할 때 이를 보유하는 것보다 서비스 형태로 이용하는 쪽이 현실적인 선택이 되고 있다"고 말했다. SK텔레콤은 이를 해결하기 위해 GPUaaS 모델을 도입하고 있다. 미국 람다랩스와의 협력을 통해 최신 GPU 클러스터를 국내 기업들에게 제공 중이며 연내 온디맨드 상품도 출시할 계획이다. 람다는 '인피니밴드' 기반의 대형 클러스터를 동적으로 나눠 쓰는 '원클릭 클러스터' 기술을 강점으로 내세우고 있다. 이 랩장은 "AI 데이터센터 구축에 필요한 총비용의 약 70%가 GPU 인프라에 투입된다"며 "GPUaaS는 전력, 공간, 업그레이드 리스크를 모두 분산시킬 수 있는 해법"이라고 강조했다. "AI가 SW 테스트하는 시대"…티벨, 자동화 넘어 '테스트옵스'로 간다 이날 두 번째 발표자로 나선 이혜진 티벨 이사는 SW 테스트 분야에서 AI 기술이 어떻게 활용되고 있는지를 소개했다. 그는 "테스트는 기술이 아니라 신뢰"라는 격언을 강조하며 자동화와 AI 기반 도구들이 궁극적으로 확보해야 할 목표는 '품질에 대한 신뢰'라고 밝혔다. 티벨은 금융, 교육, 전자상거래 등 다양한 분야의 품질 보증 서비스를 제공하는 테스트 전문 기업이다. 이 회사는 기존 수작업 기반의 테스트를 넘어 자동화 테스트, AI 기반 검증 기술, 테스트 운영 환경 설계까지 사업 영역을 확대하고 있다. 특히 음성 기반 테스트 자동화, 대규모 고객민원(VOC) 처리 시스템, 거대언어모델(LLM) 결과 신뢰성 검증 등 다양한 R&D 성과도 함께 공개했다. 이 이사는 먼저 테스트의 부재가 초래한 사고들을 사례로 제시하며 테스트의 중요성을 강조했다. 그는 나사의 화성 기후 탐사선 폭발 사고, 아마존웹서비스(AWS)의 대규모 장애, 영국 은행 시스템 마비 등의 사례를 언급하며 테스트 실패는 곧 신뢰 손실로 직결된다는 점을 보였다. 이러한 상황에 대응해 티벨이 제시한 테스트 기술의 진화는 다음과 같다. ▲사람이 직접 케이스를 설계하는 매뉴얼 테스트 ▲반복 작업과 지속적 통합(CICD) 연동 중심의 자동화 테스트 ▲AI 기반의 시나리오 생성, 이상 탐지, 유저 인터페이스(UI) 변경 인식이 가능한 지능형 테스트 ▲자율주행처럼 스스로 복구하고 실행하는 '자율 테스트'가 그것이다. 특히 음성 기반 서비스 검증을 위한 자동화 기술도 소개됐다. 텍스트투사운드(TTS)·사운드투텍스트(STT)·자연어처리(NLP) 기술을 결합해 발화된 음성과 AI의 응답을 비교·분석해 유사도를 측정하고 결과를 자동으로 아틀라시안의 이슈 트래킹 툴인 '지라(JIRA)'에 업데이트하는 구조다. AI 기술을 테스트에 접목한 주요 활용 사례도 다양했다. 머신러닝을 통한 오류 패턴 분석, 테스트 로그 기반의 신규 케이스 추출, NLP 기반 요구사항 문서 분석, UI 탐색 자동화, 테스트 코드 자동 생성 등이다. 이 이사는 테스트 운영 환경을 자동화하는 '테스트옵스'의 중요성도 함께 강조했다. 그는 "단순 자동화 기술이 아니라 테스트 설계부터 실행·결과 관리까지 전체 프로세스를 자동화하는 게 진정한 진화"라며 "이를 위해 우리는 오픈소스 기반 기술을 적극 채택하고 고객사 인프라에 맞춰 유연한 환경을 구현하고 있다"고 밝혔다. 이혜진 티벨 이사는 발표를 마치며 "AI 도구가 아무리 고도화돼도 테스트의 본질은 신뢰이며 그 신뢰는 사람이 만든다"며 "자동화는 도구로, 품질에 대한 맥락 이해와 판단은 여전히 사람의 몫"이라고 강조했다.

2025.04.15 10:06조이환 기자

엔비디아 'GTC 2025' 개막...젠슨 황 입 주목

엔비디아가 생성형 인공지능(AI)과 고성능 컴퓨팅 미래 비전을 제시한다. 엔비디아는 17일부터 21일(현지시간)까지 미국 캘리포니아 산호세에서 'GPU 테크놀로지 컨퍼런스(GTC) 2025'를 개최해 AI 시대 필요한 차세대 그래픽처리장치(GPU)를 비롯한 AI 칩, 소프트웨어(SW) 플랫폼을 발표한다. 이번 행사는 세션 약 1천개, 연사 2천명, 전시 400개로 구성됐다. 젠슨 황 엔비디아 최고경영자(CEO)는 18일 오전 10시 SAP 센터에서 기조연설을 진행한다. 매년 글로벌 기술 업계는 황 CEO 발표 내용에 주목했다. 엔비디아는 이번 황 CEO 연설이 AI와 고성능 컴퓨팅 기술에 초점을 맞출 예정이라고 밝혔다. 로보틱스, 소버린 AI, AI 에이전트, 자동차 분야 관련 발표도 진행된다. 다수 외신은 이번 행사에서 블랙웰 칩 라인업 업그레이드 버전이 공개될 가능성이 크다고 봤다. 앞서 황 CEO는 최근 실적 발표에서 차세대 블랙웰 B300 시리즈 '블랙웰 울트라'가 올해 하반기 출시될 예정이라고 밝힌 바 있다. 블랙웰 울트라는 기존보다 더 높은 컴퓨팅 성능을 제공하며, 288GB 메모리를 탑재했다. 메모리 집약적인 AI 모델을 실행하고 학습하는 데 적합할 것이라는 평가를 받고 있다. 차세대 GPU 시리즈인 '루빈'도 이번 GTC에서 언급될 것이란 분석도 이어지고 있다. 루빈은 2026년 출시 예정이다. 테크크런치는 "이번 행사에 루빈 이후 제품에 대한 내용도 일부 공개될 전망"이라며 "루빈 울트라 GPU 혹은 루빈 다음 세대의 GPU 아키텍처일 수도 있다"고 봤다. 엔비디아는 '퀀덤 데이'를 통해 양자 컴퓨팅 전략도 제시한다. 양자 컴퓨팅 분야 주요 인사들과 양자 애플리케이션 개발을 위한 로드맵을 논의할 예정이다. 외신은 엔비디아가 올해 행사 성과가 비즈니스에 영향 미칠 것이라고 봤다. 초기 블랙웰 GPU 과열 문제와 미국 수출 통제로 인한 관세 우려가 엔비디아 주가 하락으로 이어진 바 있다. 여기에 중국 AI 스타트업 딥시크가 딥시크-R1 모델을 출시하면서 투자자들은 고성능 GPU 수요에 대한 우려를 표하고 있다. 이 외에도 엔비디아는 이번 GTC에서 글로벌 기업과 연구 기관, 정부와 맺은 전략적 협업 사례와 성과도 소개한다고 밝혔다. 개발자와 기술 전문가를 위한 교육 세션을 전년보다 확대했다. 또 데이터 보안 등 AI 윤리적 측면을 다룬 토론회도 진행될 예정이다. 엔비디아는 "이번 GTC는 AI와 가속 컴퓨팅 미래를 결정짓는 중요한 자리가 될 것"이라며 "기술 혁신을 선도하고 글로벌 산업의 발전을 이끄는 계기가 될 것"이라고 공식 홈페이지를 통해 밝혔다.

2025.03.16 09:21김미정 기자