[현장] "GPU 병목 넘는다"…구글 클라우드 '트릴리움' TPU로 AI 혁신 본격화

"그래픽 처리 장치(GPU)는 그래픽 연산에 특화돼 있지만 텐서 처리 장치(TPU)는 처음부터 인공지능(AI)용으로 설계됐습니다. 거대 언어 모델(LLM) 시대에 필요한 초거대 연산을 효율적으로 처리하는데 있어 우리가 개발한 '트릴리움' TPU는 좋은 답이 될 것입니다." 모한 피치카 구글 클라우드 프로덕트 매니저는 16일 회사가 개최한 '렛츠 토크 AI : 구글 클라우드 트릴리움 교육 세션'에서 이같이 말했다. 이날 온라인으로 진행된 행사에서 피치카 PM은 구글 클라우드가 새롭게 선보인 6세대 텐서 TPU '트릴리움'과 AI 하이퍼컴퓨팅 전략을 설명했다. 피치카 PM에 따르면 GPU가 본래 컴퓨터 그래픽의 병렬 처리를 위해 개발된 것과 달리 TPU는 뉴럴 네트워크 연산에 특화해 처음부터 AI를 염두에 두고 탄생한 장치다. 구글 역시 이러한 트렌드를 감안해 지난 2015년 경부터 TPU를 개발해 왔다. 트릴리움 TPU는 단순히 '칩' 하나만 개선한 것이 아니다. LLM을 학습하려면 네트워킹, 스토리지, 소프트웨어 스택까지 모두 일관성 있게 최적화돼야 하는 것은 필수다. 이에 구글 클라우드 역시 '트릴리움'이 이 모든 구성 요소를 하나의 거대한 슈퍼컴퓨터처럼 움직이도록 설계했다는 것이 피치카 PM의 설명이다. 실제로 구글 클라우드는 저전력 액체 냉각 기술, 3세대 스파스코어(SparseCore), 확장된 고대역폭 메모리(HBM) 등 다양한 요소를 결합해 '트릴리움'의 전력 효율과 확장성을 함께 끌어올렸다. 피치카 PM은 "GPU만 쓰는 환경에서는 분산 처리가 복잡해질 수 있지만 트릴리움 TPU는 칩 수천 개를 유기적으로 연결해 병목 현상을 최소화한다"며 "이런 통합 아키텍처야말로 거대 언어 모델 시대에 꼭 필요한 핵심"이라고 말했다. 행사에서 반복적으로 언급된 또다른 키워드는 'AI 하이퍼컴퓨터'였다. '트릴리움'을 통해 구글이 네트워크, 스토리지, 오픈소스 소프트웨어, 유연한 소비 모델을 통합함으로써 거대 언어 모델을 빠르고 안정적으로 서빙할 수 있는 '슈퍼컴퓨팅 환경'을 구현했다는 것이다. 피치카 PM은 "구글은 이미 검색, 포토, 지도 등 주요 서비스에 TPU를 대규모로 적용해 왔다"며 "이를 통해 얻은 노하우가 글로벌 고객들에게도 곧바로 제공된다"고 밝혔다. 구체적인 활용 사례도 공개됐다. 현재 카카오는 통합 AI 브랜드 '카나나(Kanana)'를 개발하던 중 GPU 자원의 한계를 느껴 트릴리움 TPU를 도입한 바 있다. 이에 따라 70B 파라미터를 지닌 대형 한국어·영어 모델을 빠르게 학습시킬 수 있었다. 글로벌 유즈 케이스 역시 상당하다. 글로벌 제약회사인 바이엘은 신약 개발에, 딥 지노믹스는 RNA 치료제 연구에 '트릴리움'을 적용해 대규모 AI 모델을 효율적으로 구동하고 있다. 피치카 PM은 "노벨상 수상 연구로 주목받은 알파폴드(AlphaFold) 2나 구글의 최신 모델 제미나이(Gemini) 2.0 역시 '트릴리움' TPU를 가속기로 썼다"며 "초거대 모델 시대에 TPU가 점점 더 중요한 위치를 차지할 것"이라고 내다봤다. TPU는 성공적인 AI 연산 뿐만 아니라 지속 가능성 측면에서도 주목할만한 대안이다. 구글에 따르면 지난해 12월 출시된 '트릴리움' 6세대는 이전 세대 대비 전력 효율을 67%까지 끌어올려 에너지 소비를 줄이고 액체 냉각 기술 같은 친환경 기술을 통해 탄소발자국을 최소화한다. 피치카 PM은 "우리는 친환경적인 AI 인프라를 구축하기 위해 TPU 설계와 운영에서 지속 가능성을 핵심 목표로 삼았다"며 "이러한 기술적 혁신은 에너지 효율성 개선과 환경 보호를 동시에 달성하려는 구글의 장기적인 전략에 부합한다"고 덧붙였다. 구글 클라우드는 경쟁사와의 비교에도 자신감을 보였다. '트릴리움'과 엔비디아 'H100' GPU의 차이에 대한 기자의 질문에 피치카 PM은 "칩과 소프트웨어 스택이 서로 달라 단순 비교는 어렵다"면서도 "'트릴리움'은 뉴럴 네트워크 연산에 특화된 구조로 동일 코어 대비 '행렬 곱셈(Matrix multiplication)' 등 AI 핵심 작업에서 높은 효율을 보인다"고 설명했다. 다만 "아키텍처가 다른 칩들을 성능 점수만으로 비교할 수는 없기 때문에 심층적인 분석이 필요하다"고 당부했다. 지난해 12월 정식 출시 이후 전 세계 고객사들은 이미 '트릴리움' TPU를 이용해 대규모 AI 모델을 구동하고 있다. 구글은 이러한 기술을 기반으로 보다 다양한 유즈 케이스를 확보해 글로벌 시장에서 영향력을 확대할 계획이다. 피치카 PM은 "GPU가 이끌던 AI 시대를 이제 TPU가 한 단계 더 진화시키고 있다"며 "'트릴리움'은 고밀도 모델과 초거대 연산에 최적화된 전용 솔루션으로, 누구든 이 'AI 하이퍼컴퓨터' 인프라를 활용해 글로벌 경쟁력을 확보할 수 있을 것"이라고 강조했다.