검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'CNET's Top 100'통합검색 결과 입니다. (124건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[현장] "GPU 병목 넘는다"…구글 클라우드 '트릴리움' TPU로 AI 혁신 본격화

"그래픽 처리 장치(GPU)는 그래픽 연산에 특화돼 있지만 텐서 처리 장치(TPU)는 처음부터 인공지능(AI)용으로 설계됐습니다. 거대 언어 모델(LLM) 시대에 필요한 초거대 연산을 효율적으로 처리하는데 있어 우리가 개발한 '트릴리움' TPU는 좋은 답이 될 것입니다." 모한 피치카 구글 클라우드 프로덕트 매니저는 16일 회사가 개최한 '렛츠 토크 AI : 구글 클라우드 트릴리움 교육 세션'에서 이같이 말했다. 이날 온라인으로 진행된 행사에서 피치카 PM은 구글 클라우드가 새롭게 선보인 6세대 텐서 TPU '트릴리움'과 AI 하이퍼컴퓨팅 전략을 설명했다. 피치카 PM에 따르면 GPU가 본래 컴퓨터 그래픽의 병렬 처리를 위해 개발된 것과 달리 TPU는 뉴럴 네트워크 연산에 특화해 처음부터 AI를 염두에 두고 탄생한 장치다. 구글 역시 이러한 트렌드를 감안해 지난 2015년 경부터 TPU를 개발해 왔다. 트릴리움 TPU는 단순히 '칩' 하나만 개선한 것이 아니다. LLM을 학습하려면 네트워킹, 스토리지, 소프트웨어 스택까지 모두 일관성 있게 최적화돼야 하는 것은 필수다. 이에 구글 클라우드 역시 '트릴리움'이 이 모든 구성 요소를 하나의 거대한 슈퍼컴퓨터처럼 움직이도록 설계했다는 것이 피치카 PM의 설명이다. 실제로 구글 클라우드는 저전력 액체 냉각 기술, 3세대 스파스코어(SparseCore), 확장된 고대역폭 메모리(HBM) 등 다양한 요소를 결합해 '트릴리움'의 전력 효율과 확장성을 함께 끌어올렸다. 피치카 PM은 "GPU만 쓰는 환경에서는 분산 처리가 복잡해질 수 있지만 트릴리움 TPU는 칩 수천 개를 유기적으로 연결해 병목 현상을 최소화한다"며 "이런 통합 아키텍처야말로 거대 언어 모델 시대에 꼭 필요한 핵심"이라고 말했다. 행사에서 반복적으로 언급된 또다른 키워드는 'AI 하이퍼컴퓨터'였다. '트릴리움'을 통해 구글이 네트워크, 스토리지, 오픈소스 소프트웨어, 유연한 소비 모델을 통합함으로써 거대 언어 모델을 빠르고 안정적으로 서빙할 수 있는 '슈퍼컴퓨팅 환경'을 구현했다는 것이다. 피치카 PM은 "구글은 이미 검색, 포토, 지도 등 주요 서비스에 TPU를 대규모로 적용해 왔다"며 "이를 통해 얻은 노하우가 글로벌 고객들에게도 곧바로 제공된다"고 밝혔다. 구체적인 활용 사례도 공개됐다. 현재 카카오는 통합 AI 브랜드 '카나나(Kanana)'를 개발하던 중 GPU 자원의 한계를 느껴 트릴리움 TPU를 도입한 바 있다. 이에 따라 70B 파라미터를 지닌 대형 한국어·영어 모델을 빠르게 학습시킬 수 있었다. 글로벌 유즈 케이스 역시 상당하다. 글로벌 제약회사인 바이엘은 신약 개발에, 딥 지노믹스는 RNA 치료제 연구에 '트릴리움'을 적용해 대규모 AI 모델을 효율적으로 구동하고 있다. 피치카 PM은 "노벨상 수상 연구로 주목받은 알파폴드(AlphaFold) 2나 구글의 최신 모델 제미나이(Gemini) 2.0 역시 '트릴리움' TPU를 가속기로 썼다"며 "초거대 모델 시대에 TPU가 점점 더 중요한 위치를 차지할 것"이라고 내다봤다. TPU는 성공적인 AI 연산 뿐만 아니라 지속 가능성 측면에서도 주목할만한 대안이다. 구글에 따르면 지난해 12월 출시된 '트릴리움' 6세대는 이전 세대 대비 전력 효율을 67%까지 끌어올려 에너지 소비를 줄이고 액체 냉각 기술 같은 친환경 기술을 통해 탄소발자국을 최소화한다. 피치카 PM은 "우리는 친환경적인 AI 인프라를 구축하기 위해 TPU 설계와 운영에서 지속 가능성을 핵심 목표로 삼았다"며 "이러한 기술적 혁신은 에너지 효율성 개선과 환경 보호를 동시에 달성하려는 구글의 장기적인 전략에 부합한다"고 덧붙였다. 구글 클라우드는 경쟁사와의 비교에도 자신감을 보였다. '트릴리움'과 엔비디아 'H100' GPU의 차이에 대한 기자의 질문에 피치카 PM은 "칩과 소프트웨어 스택이 서로 달라 단순 비교는 어렵다"면서도 "'트릴리움'은 뉴럴 네트워크 연산에 특화된 구조로 동일 코어 대비 '행렬 곱셈(Matrix multiplication)' 등 AI 핵심 작업에서 높은 효율을 보인다"고 설명했다. 다만 "아키텍처가 다른 칩들을 성능 점수만으로 비교할 수는 없기 때문에 심층적인 분석이 필요하다"고 당부했다. 지난해 12월 정식 출시 이후 전 세계 고객사들은 이미 '트릴리움' TPU를 이용해 대규모 AI 모델을 구동하고 있다. 구글은 이러한 기술을 기반으로 보다 다양한 유즈 케이스를 확보해 글로벌 시장에서 영향력을 확대할 계획이다. 피치카 PM은 "GPU가 이끌던 AI 시대를 이제 TPU가 한 단계 더 진화시키고 있다"며 "'트릴리움'은 고밀도 모델과 초거대 연산에 최적화된 전용 솔루션으로, 누구든 이 'AI 하이퍼컴퓨터' 인프라를 활용해 글로벌 경쟁력을 확보할 수 있을 것"이라고 강조했다.

2025.01.16 12:00조이환 기자

SKT, 가산 AI데이터센터 오픈...엔비디아 H100기반 클라우드 출시

SK텔레콤은 지난 12월30일 가산 AI 데이터센터(AIDC)를 오픈하고, 시범 운영을 마친 뒤 AI 클라우드 서비스인 'SKT GPUaaS'를 출시했다고 13일 밝혔다. SK텔레콤은 지난 SK AI 서밋 2024에서 AI 인프라 슈퍼 하이웨이 구축 전략을 발표한 뒤 연말 조직 개편에서 AIDC 사업부를 별도 조직으로 신설하며 'AI 인프라' 사업 본격화에 속도를 내고 있다. 새롭게 오픈한 가산 AIDC는 랙당 전력밀도가 국내 최고 수준인 44kW로 국내 데이터센터 랙 당 평균 전력밀도인 4.8kW의 약 9배에 달하는 등 고밀도 GPU 서버 운영 환경에 최적화된 데이터 코로케이션 환경을 제공한다. 엔비디아 H100 기반 'SKT GPUaaS' 출시… 람다와 1년 준비 'SKT GPUaaS'는 미국 람다와 지난 약 1년간 함께 준비한 구독형 AI 클라우드이다. 이를 위해 가산 AIDC에 람다의 한국 리전을 유치했다. 아시아태평양 지역에 처음으로 생기는 람다의 리전이다. SK텔레콤은 지난해 2월 AIDC 사업 본격 추진을 위한 첫 번째 글로벌 행보로 글로벌 GPU 클라우드 회사인 람다(Lambda)에 투자를 진행했다. 2012년 AI 엔지니어들이 설립한 람다는 글로벌 빅테크 기업들을 대상으로 AI 클라우드 서비스를 제공하는 GPUaaS 기업으로, SK텔레콤은 람다와의 협력을 통해 GPU의 안정적 확보를 기반으로 AI 클라우드 시장 공략에 본격 나설 계획이다 SK텔레콤이 출시한 GPUaaS는 엔비디아 GPU H100을 기반으로 한다. 서비스 구독을 원하는 기업 고객은 AI 서비스 규모나 목적에 따라 GPU 수량과 기간을 선택하고 단독 서버, 방화벽, 전용회선 등 맞춤형 패키지를 구성할 수 있다. 고객사는 독자적인 GPU를 사용해 안정적 AI 학습과 추론을 시행할 수 있다. 방화벽과 전용 회선을 활용할 경우 보안성 역시 크게 강화할 수 있다. 또한 고객의 AI 작업량이 급격히 늘어나더라도 단독 서버에 GPU를 손쉽게 추가할 수 있어 추가 시설 투자에 대한 부담을 크게 덜 수 있다. 또한 GPUaaS는 퍼블릭 클라우드와 상호 연동이 가능하다. 기업 고객이 기존에 사용하던 클라우드를 그대로 활용하면서 SK텔레콤의 GPU 컴퓨팅 파워를 이용할 수 있는 것이다. GPUaaS와 SK텔레콤의 'AI 클라우드 매니저'를 함께 활용하면 GPU 자원을 보다 효율적으로 관리할 수 있다. 'AI 클라우드 매니저'는 수많은 GPU 자원을 마치 한 대의 컴퓨터처럼 관리해 GPU 성능을 극대화하고, AI 개발을 위한 학습 소요 시간을 단축하도록 지원하는 솔루션이다. GPUaaS 가격은 약정 기간, GPU 개수, 선불형의 과금 형태에 따라 탄력적으로 책정했다. 예컨대 고객이 24개월 동안 32개의 GPU를 원할 경우 이에 맞는 가격을 설정하는 방식이다. 1개월, 2개월 등 단기 서비스 이용도 가능하다. SK텔레콤은 GPUaaS 출시를 기념해 특별 프로모션도 진행한다. 2월 말까지 약 2개월 간 구독 가격의 20% 할인한다. GPU 교체 보상 프로그램, 클라우드 비용 최적화 컨설팅 등의 이벤트도 시행할 예정이다. 1분기 중 H200 도입 SK텔레콤은 GPUaaS 정식 출시 전부터 100개가 넘는 기업들이 구체적인 내용 문의를 받았다. 특히 대기업, 중소기업뿐만 아니라 AI를 연구하는 각종 대학과 연구 기관에서도 큰 관심을 보였다. 기업들은 GPUaaS를 이용하고 싶은 이유에 대해 ▲고성능 GPU 활용 따른 AI 모델 학습 기간 단축 ▲GPU를 합리적인 가격에 짧은 기간도 이용 가능 ▲서버 구매와 데이터센터 운영 고민 없이 GPU 자원 바로 사용 등으로 꼽았다. 이와 함께 SK텔레콤은 1분기 중 최신 GPU인 H200도 도입할 예정이다. 국내 최초로 H200을 도입해 국내 기업들이 보다 빠르게 AI 기술과 서비스를 개발할 수 있는 환경을 조성하고, GPUaaS 고객 확대에도 박차를 가할 계획이다. 김명국 SK텔레콤 GPUaaS사업본부장은 “GPUaaS 출시는 AI 데이터센터 사업이 고객에게 다가가는 첫번째 사례로 SK텔레콤이 AI 인프라 핵심 사업자로 자리매김하는데 의미가 크다”며, “국가 AI 경쟁력을 높이는 GPU 팜으로 구축하겠다"고 말했다.

2025.01.13 09:16박수형 기자

[AI는 지금] 中 딥시크, 'V3'로 실리콘밸리에 도전장…"비용·성능 모두 잡았다"

중국 인공지능(AI) 스타트업 딥시크가 최근 새로운 오픈소스 거대언어모델(LLM) 'V3'를 공개하며 주목받고 있다. 주요 벤치마크에서 오픈AI 등 실리콘밸리 빅테크의 AI 모델과 대등하거나 우수한 성능을 입증하면서도 누구나 사용이 가능해 글로벌 생태계에 큰 변화를 가져올 잠재력을 인정받고 있다. 9일 업계에 따르면 딥시크 'V3'는 총 6천710억 개에 달하는 매개변수를 갖춘 모델로, 메타의 최신 모델인 '라마(Llama) 3.1' 버전보다 약 1.5배 더 큰 규모다. 그동안 오픈소스 LLM으로 가장 널리 알려진 라마 시리즈와 비교해도 방대한 수준의 매개변수를 자랑한다. 또 누구나 쉽게 접근할 수 있는 오픈소스 형태로 출시돼 향후 글로벌 AI 생태계에 적잖은 파장을 일으킬 것이라는 관측이 제기된다. 전문가들은 딥시크 'V3'의 성능이 공인 가능한 벤치마크들을 통해 인정받았다고 평가한다. 코딩 분야에서는 코드포스(Codeforces) 등 국제 공인 프로그래밍 테스트를 통해 메타 '라마 3.1'이나 오픈AI의 '챗GPT 4o'와 어깨를 나란히 하거나 일부 영역에서는 오히려 앞선 결과를 보였다. 언어 능력에 있어서도 마찬가지다. 'V3'는 LLM 언어능력을 평가하는 MMLU 벤치마크에서도 88.5점을 달성했다. 이 점수는 88.7점을 받은 'GPT-4o'와의 점수 차가 매우 근소한 수준으로, '클로드 3.5'나 구글 '제미나이' 모델의 점수를 능가해 사실상 최고 수준에 가까운 역량을 입증했다. 개발 비용 측면에서의 가성비는 기술적 완성도만큼이나 'V3'가 주목받는 이유다. 딥시크 측은 'V3' 개발에 약 557만 달러(한화 약 82억 원)를 투입했다고 설명했는데 이는 오픈소스 방식으로 개발된 메타 라마 모델에 투입된 6억4000만 달러(한화 약 8천960억원)의 1% 수준에 불과하다. 또 엔비디아의 최신 AI칩인 'H100' 대신 상대적으로 낮은 성능의 'H800' 활용하면서도 데이터 압축과 연산 최적화를 통해 컴퓨팅 자원을 효율적으로 활용해 성능을 확보했다. 업계 전문가들은 이를 단순히 비용을 절감했다는 차원을 넘어 제한된 환경에서도 고성능 모델을 구현할 수 있다는 가능성을 보여줬다고 평가한다. 다만 오픈AI의 샘 알트먼 대표는 최근 자신의 소셜미디어 계정에서 “이미 운영 중인 것을 복사하는 것은 쉽다"며 "새롭고 어려운 일을 하는 것이 진정한 도전"이라고 언급했다. 업계 일각에서는 이를 딥시크와 같은 중국 AI 기업의 빠른 모델 출시를 겨냥한 우회적 비판으로 분석했다. 그럼에도 불구하고 딥시크가 내세우는 오픈소스 경쟁력과 저렴한 애플리케이션 프로그램 인터페이스(API) 요금 체계는 글로벌 시장에서 테크 기업들의 변화를 초래하는 주요 동력으로 작용할 가능성이 높다. 개인 구독제 형태로 과금을 하는 오픈AI, 구글 등 실리콘 밸리 AI 스타트업과는 달리 'V3'는 깃허브나 허깅페이스에서 개인이 무료로 다운로드가 가능하기 때문이다. 또 API 가격 역시 백만토큰 당 입력토큰이 약 30센트(한화 약 520원), 출력토근이 약 1달러(한화 약 1400원)로 '챗GPT 4'에 비해 약 30~40배 저렴하다. 실제로 중국 내 빅테크 기업들은 이미 딥시크 'V3'를 계기로 모델 사용료를 낮추는 방안을 검토하고 있는 것으로 알려졌다. 'V3' 모델의 경이로운 발전에는 미중 기술 경쟁과 AI 보호무역주의가 오히려 기여했다는 시각도 존재한다. 'H100' 등 미국 정부의 대중국 고성능 반도체 수출 규제 상황과 오픈AI의 중국 내 서비스 중단이 중국 AI 기술 발전을 초래했다는 것이다. 실제로 딥시크는 이보다 훨씬 낮은 사양인 'H800 GPU'에 각종 최적화 기술을 접목해 고효율화를 이뤄낸 것으로 평가된다. 또 지난해 7월부터 오픈AI가 중국 내 '챗GPT' 서비스를 VPN 접속마저 전면 차단하면서 중국 AI 기업들이 독자적인 모델을 키워낼 기회를 갖게 됐다는 분석이다. 미·중 간 기술 패권 경쟁이 중국 AI 스타트업을 더욱 독려하고 있는 셈이다. 다만 정치적 민감 이슈에 대한 회피와 모델 자체의 환각 문제 등은 'V3'이 극복해야 할 과제로 거론된다. 다수의 외신과 소셜 미디어 포스트 등에 따르면 'V3'는 천안문 사태처럼 중국 당국이 민감하게 여기는 주제에 대해서는 답변을 기피하도록 설계됐다. 이는 체제 안정을 AI 개발의 정책적 목표 중 하나로 간주하는 중국 당국의 정책때문이다. 이와 더불어 해외 사용자들이 진행한 테스트 결과 모델은 자신을 'GPT-4'로 혼동하거나 "나는 챗GPT입니다"라고 소개하는 등 환각 현상이 일부 포착됐다. 이에 런던 킹스칼리지의 마이크 쿡 연구원은 "경쟁 모델을 무분별하게 참조하면 현실 왜곡이 일어날 수 있다"고 우려했다. 이같은 단점에도 불구하고 딥시크 'V3'는 성능과 비용 효율 면에서 중요한 진전을 이뤄냈으며 글로벌 AI 시장에 새로운 변화를 불러올 가능성 가진 것으로 평가된다. 한 국내 AI 업계 관계자는 "LLM 수준이 상향 평준화되고 있기 때문에 'GPT 4' 수준의 성능을 보이는 것은 특기할 만한 점은 아니지만 그 외의 조건들이 주목할만 하다"며 "특히 671B 수준의 대형 모델 학습비용이 겨우 77억원밖에 나오지 않았다는 점이 고무적"이라고 평가했다.

2025.01.09 14:16조이환 기자

신성이엔지, 군산산단서 50억원 규모 태양광 발전소 EPC 사업 수주

신성이엔지가 군산산업단지의 RE100 달성을 위한 그린에너지 구축사업에 참여하며 산업단지 친환경 에너지 전환에 힘을 보탠다. 신성이엔지는 군산산업단지 내 총 12MW 규모의 재생에너지 발전설비 구축 사업에서 3.5MW 규모, 약 50억원 수준의 태양광 발전소 EPC(설계·조달·시공) 사업을 수주했다고 2일 밝혔다. 이 사업은 2026년까지 진행될 예정이다. 이번 사업은 군산산업단지의 에너지 자립을 위한 핵심 프로젝트로, 산업단지 내 기업들의 RE100 이행을 지원하고 에너지 비용 절감에 기여할 것으로 기대된다. 특히 산업단지 입주기업들은 이를 통해 전력 구매 비용을 낮추고 안정적인 에너지 수급을 확보할 수 있게 된다. 신성이엔지 관계자는 "산업단지의 친환경 에너지 전환이라는 시대적 과제 해결에 동참하게 되어 기쁘다"며 "기업들의 RE100 달성을 위한 핵심 파트너로서 다양한 사업 기회를 지속 발굴할 계획"이라고 밝혔다. 이번 프로젝트에서 신성이엔지는 단순한 재생에너지 설비 구축을 넘어 산업단지 전반의 에너지 효율화와 지속가능성 제고를 위한 솔루션을 제공한다. 특히 회사가 개발한 실시간 모니터링 시스템과 체계적인 운영 관리 플랫폼을 통해 최적의 발전 효율을 확보할 계획이다. 산업단지 재생에너지 발전설비는 생산된 전력을 산업단지 내에서 직접 소비할 수 있다는 장점이 있다. 이를 통해 송전 손실을 최소화하고, 전력 계통 안정성을 높일 수 있다. 또한 산업단지 내 전력 자급률을 높임으로써 에너지 안보 측면에서도 긍정적인 효과가 기대된다. 이번 사업을 통해 신성이엔지는 산업단지 재생에너지 전환 시장에서의 선도적 위치를 더욱 공고히 할 전망이다. 회사는 태양광 모듈 제조부터 발전소 EPC까지 아우르는 수직계열화된 사업구조와 2021년부터 운영해온 RE100 전담 조직의 전문성을 바탕으로 기업 맞춤형 재생에너지 솔루션을 제공하고 있다. 앞서 신성이엔지는 전국 17개 공장을 대상으로 한 161억원 규모의 산업단지 태양광 발전설비 구축 사업을 수주하는 등 산업단지 재생에너지 전환에서 경쟁력을 강화하고 있다. 한편 이번 프로젝트는 정부의 2050 탄소중립 정책에 부응하는 동시에, 산업단지의 친환경 에너지 자급자족 체계 구축의 모범 사례가 될 것으로 평가받고 있다. 성공적인 사업 수행을 통해 다른 산업단지들의 재생에너지 전환 사업에도 긍정적인 영향을 미칠 것으로 기대된다.

2025.01.02 10:33장경윤 기자