[유미's 픽] "GPU만 늘려선 안 돼"…시스코, AI 데이터센터 병목 해법 꺼냈다
"인공지능(AI) 데이터센터 성능을 높이는 과정에서 가장 큰 병목은 그래픽처리장치(GPU)와 GPU를 연결하는 백엔드 네트워크에서 발생합니다. 이를 해결하려면 네트워크 데이터 처리를 담당하는 고성능 스위칭 반도체(ASIC)와 800Gbps(초당 800기가비트)·1600Gbps급 스위치, 듀얼·멀티플레인 네트워크 같은 구조적 개선이 필요합니다." 최수영 시스코코리아 테크놀로지 스트래티지&어드바이저리 그룹(TSAG) 상무는 20일 서울 삼성동에서 열린 시스코코리아 미디어 테크 세션에서 AI 데이터센터의 주요 병목으로 GPU 백엔드 네트워크를 꼽았다. GPU 클러스터 규모가 커질수록 GPU 간 통신량이 급증하고 서버 한 대당 필요한 네트워크 포트 수도 늘어나면서 백엔드 네트워크의 처리 성능과 확장성이 전체 시스템 성능을 좌우하는 비중이 커지고 있다고 봐서다. GPU 서버에는 관리망과 서비스용 프런트엔드, 스토리지, GPU 간 통신을 담당하는 백엔드 네트워크가 함께 연결된다. 이 가운데 백엔드 네트워크는 서버 한 대에서 8~16개 포트가 사용되고, 포트당 400Gbps·800Gbps급 속도가 요구돼 클러스터 규모가 커질수록 네트워크 처리 부담이 빠르게 늘어난다. 이때 여러 GPU 서버 사이의 데이터를 빠르게 전달하고 경로를 연결하는 것이 네트워크 스위치로, 시스코는 기업용 이더넷 스위치 시장에서 선두를 달리고 있다. 또 최근에는 자체 네트워크 반도체인 '실리콘 원'과 넥서스 스위치 제품군을 앞세워 AI 데이터센터용 고속 네트워크 시장으로 영역을 넓히고 있다. 최 상무는 "대규모 GPU 네트워크를 지원하려면 결국 고성능 스위칭 ASIC과 이를 기반으로 한 스위치, 전체 네트워크를 관리할 수 있는 운영 솔루션이 함께 필요하다"며 "시스코는 자체 ASIC과 엔비디아 ASIC을 모두 활용해 고객 환경에 맞는 선택지를 제공하고 있다"고 말했다.실제 시스코는 자체 ASIC을 적용한 스위치와 엔비디아 '스펙트럼-X' 계열 ASIC을 적용한 스위치를 함께 제공하고 있다. 두 제품 모두 고속 GPU 백엔드 네트워크를 겨냥하지만 필요한 기능에 따라 선택 기준은 달라진다. 시스코 자체 ASIC은 기존 엔터프라이즈·통신 네트워크에서 사용하던 라우팅과 확장성, 다양한 기능을 유지하면서 AI 트래픽 처리 역량을 높이는 데 초점을 맞췄다. 반면 엔비디아 ASIC 기반 제품은 GPU 백엔드 트래픽 처리와 엔비디아 생태계에 특화된 기능 활용에 무게를 두고 있다. 최 상무는 "통신사처럼 기존 네트워크에서 사용하던 많은 기능을 그대로 유지해야 하는 고객은 시스코 ASIC이 유리할 수 있다"며 "별도로 GPU 네트워크를 구성하면서 엔비디아 기능을 사용하는 것이 더 중요하다면 엔비디아 ASIC을 선택할 수 있다"고 설명했다. 네트워크 속도도 빠르게 높아지고 있다. 시스코는 포트당 800Gbps를 지원하는 64포트 스위치에 이어 포트당 1600Gbps급 64포트 제품도 선보이고 있다. GPU 서버가 고밀도화하면서 일부 제품에는 액체냉각까지 적용했다. 액체냉각 적용 범위가 GPU 서버에서 네트워크 장비로 넓어진 셈이다. 최 상무는 "AI 랙의 전력 밀도가 높아지고 컴퓨팅과 네트워크 장비가 하나의 시스템처럼 구성되면서 스위치도 냉각 구조를 함께 고려해야 하는 단계로 들어서고 있다"며 "GPU 서버 자체가 액체냉각 환경에 연결돼 있다 보니 스위치까지 함께 액체냉각을 적용하려는 요구도 최근 나오고 있다"고 말했다. 그러면서 "스위치도 이제 액체냉각으로 전환하는 시대가 시작됐다고 볼 수 있다"고 덧붙였다. 시스코는 스위치 자체 성능을 끌어올리는 방식과 함께 네트워크 설계도 바꾸고 있다. 기존에는 GPU마다 하나의 네트워크 인터페이스 카드(NIC)와 링크를 전용으로 연결하는 구조가 일반적이었다. 그러나 앞으로는 하나의 NIC에 복수의 링크를 두고 서로 다른 네트워크 플레인으로 트래픽을 보내는 듀얼플레인 구조를 적용해 동일한 리프-스파인 환경에서 더 많은 GPU를 연결할 수 있도록 한다는 방침이다. 또 향후에는 듀얼플레인을 넘어 멀티플레인 구조까지 확대할 계획이다. 800Gbps 포트를 400Gbps 두 개로 나누거나, 1600Gbps 포트를 800Gbps 두 개로 분기해 여러 경로를 구성하면 클러스터 규모를 키우면서도 GPU 간 통신이 거치는 스위치 수를 줄일 수 있어서다. 또 이 방식은 서로 다른 스케일러빌리티 유닛(SU)에 있는 GPU끼리 통신할 때도 가능한 한 하나의 스위치만 거치도록 해 지연을 낮출 수 있다. 시스코는 관리망과 프런트엔드, 스토리지, GPU 백엔드까지 AI 서버에 연결되는 여러 네트워크를 이더넷 기반으로 통일하는 전략도 추진하고 있다. 공통 아키텍처를 적용하면 모니터링과 가시성, AI 기반 운영 도구를 하나의 관리 체계에서 활용하기 쉬워진다고 봐서다. 더불어 AI 팩토리 구성에선 엔비디아·슈퍼마이크로와 협력을 확대하고 있다. 시스코는 현재 네트워크와 실리콘, 광통신, 보안, 스플렁크 기반 가시성을 담당하고, 슈퍼마이크로의 GPU 컴퓨팅 시스템을 결합하는 방식으로 풀스택 AI 인프라를 제공한다. 또 엔비디아 ASIC을 활용한 대규모 네트워크 설계도 엔비디아와 함께 마련해 주목 받고 있다. 시스코는 엔비디아 클라우드 파트너(NCP) 요건을 충족하도록 설계해 대규모 GPU 서비스를 운영하는 사업자가 엔비디아 생태계와 호환성을 유지할 수 있도록 했다. 최 상무는 "기존에는 대규모 GPU 환경이 필요하지 않은 경우가 많아 단독형 GPU 서버를 100대, 200대씩 구축하는 방식이 일반적이었다"며 "앞으로 초대형 클러스터는 GPU 간 연결 효율이 높은 NVL72 같은 랙스케일 구조를 중심으로 구축될 가능성이 높다"고 설명했다. 국내에서도 랙스케일 AI 인프라 도입 움직임이 나타나고 있다. 기존에는 GPU 서버를 개별적으로 증설하는 방식이 많았지만, 초대형 클러스터로 갈수록 GPU 간 연결과 전력·냉각·네트워크를 함께 최적화할 수 있는 랙 단위 시스템의 필요성이 커지고 있어서다. 최 상무는 "국내에서도 관련 작업이 진행되고 있다"며 "내년에는 여러 곳에서 실제 설치 사례가 나타날 것으로 보고 있다"고 말했다. 구본일 시스코코리아 TSAG 상무는 이날 지난 8월 미국에서 출시된 '시스코 클라우드 컨트롤'을 중심으로 에이전틱옵스 기반 인프라 운영 전략을 소개했다. '시스코 클라우드 컨트롤'은 사무실·사업장 네트워크와 데이터센터, 와이파이, 보안 등 서로 분리돼 관리되던 영역의 데이터를 한곳에서 연결해 AI가 장애 원인을 분석하고 운영자 간 협업을 지원하는 것이 특징이다. 현재 미주 지역에서 300개 이상 기업이 사용하고 있으며 5000개 이상 기업이 대기 중이다. 국내 도입 시점은 아직 정해지지 않았다. 시스코가 클라우드 컨트롤을 에이전틱옵스의 중심에 둔 것은 AI가 인프라를 제대로 운영하려면 개별 장비나 특정 영역의 정보만으로는 부족하다고 보기 때문이다. 네트워크와 보안, 데이터센터 등 여러 영역에서 발생하는 데이터를 함께 연결해야 장애 원인과 서비스 영향을 종합적으로 파악하고 적절한 대응 방안까지 제시할 수 있어서다. 구 상무는 "기존에는 각 영역이 자기 시스템만 보면서 문제가 있는지 확인하는 방식이어서 장애 원인을 찾는 데 시간이 많이 걸렸다"며 "클라우드 컨트롤은 여러 도메인의 데이터를 한곳에 모아 서로 연관된 정보를 분석하고 협업할 수 있도록 하는 데 목적이 있다"고 밝혔다. 클라우드 컨트롤은 기존 관리 제품을 하나로 합치는 방식과는 다르다. 데이터센터와 캠퍼스 네트워크 등 실제 설정 변경은 각 영역의 관리 시스템이 맡고, 클라우드 컨트롤은 이들 시스템에서 올라오는 데이터를 연결해 분석하는 상위 운영 계층으로 작동한다. 여러 영역에서 발생한 이벤트를 한 화면에서 비교하고 연관성을 찾아 운영자가 장애 원인을 빠르게 좁힐 수 있도록 돕는다. 시스코는 여기에 생성형 AI 기반 기능인 'AI 캔버스'도 적용했다. 운영자는 자연어로 현재 네트워크 상태나 장애 원인을 질문하고, 각 영역에서 수집된 정보를 바탕으로 관련 장비와 이벤트, 원인 후보를 확인할 수 있다. AI가 어떤 데이터를 참고했고 어떤 과정을 거쳐 결과를 제시했는지도 기록으로 남겨 운영자가 분석 과정을 확인할 수 있도록 했다. 구 상무는 "AI 캔버스에서는 여러 도메인의 에이전트가 필요한 데이터를 가져와 하나의 화면에서 보여준다"며 "운영자가 자연어로 질문하면 관련 정보를 찾아 분석하고, 이후 다른 담당자가 이어서 업무를 진행할 수 있도록 이력도 남긴다"고 설명했다. 시스코는 클라우드 컨트롤을 자사 제품에만 한정하지 않고 외부 시스템과도 연결하는 방향으로 확대하고 있다. 서비스나우와 인포블록스 등 외부 솔루션과 연동할 수 있도록 커넥터를 제공하고 있으며, 최근 인수한 스플렁크에서 수집한 데이터 역시 다른 인프라 정보와 함께 분석할 수 있도록 했다. 구 상무는 "실제 고객 환경은 시스코 제품만으로 구성돼 있지 않기 때문에 외부 시스템의 데이터까지 함께 봐야 전체 상황을 파악할 수 있다"며 "클라우드 컨트롤도 이런 데이터를 연결해 분석하는 방향으로 확장하고 있다"고 말했다. 시스코는 클라우드 컨트롤의 적용 범위를 넓히면서도 AI에 인프라 운영 권한을 전적으로 맡기지는 않는다는 원칙도 세웠다. AI가 장애 원인을 분석하고 대응 방법을 제시하더라도 실제 설정 변경이나 조치 실행은 운영자가 최종 승인하도록 하는 방식이다. 에이전틱옵스를 완전자율 운영보다 AI와 사람이 역할을 나눠 협업하는 구조로 가져가고 있는 셈이다. 구 상무는 "시스코는 전반적으로 AI를 도입하더라도 사람이 무조건 승인하는 형태를 가져가길 원한다"며 "AI가 설정 변경을 제안하더라도 실제 실행 과정에서는 담당자의 승인이 들어가는 구조가 될 것"이라고 강조했다.
