• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
반도체
AI의 눈
디지털트러스트
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'추론 인프라'통합검색 결과 입니다. (9건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

GPU 확보보다 활용…오케스트로, 추론 특화 플랫폼 '콘체르토 AI' 공개

오케스트로가 생성형 인공지능(AI) 서비스 확산으로 급증하는 추론 수요에 대응하기 위한 AI 인프라 운영 플랫폼을 공개했다. 단순 그래픽처리장치(GPU) 확보 경쟁을 넘어 보유 자원을 얼마나 효율적으로 활용하느냐가 기업 AI 경쟁력으로 떠오르면서, 추론 최적화와 운영 자동화 시장 공략에 나선 모습이다. 오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 출시했다고 29일 밝혔다. 콘체르토 AI는 기업이 보유한 GPU 인프라 활용 효율을 높여 생성형 AI 서비스 운영 과정에서 발생하는 추론 병목과 응답 지연 문제를 줄이는 데 초점을 맞췄다. 최근 기업 시장에선 AI 챗봇과 업무 자동화 에이전트, 검색증강생성(RAG) 기반 서비스 도입이 확대되면서 추론 연산 수요가 빠르게 증가하고 있다. 특히 에이전트형 AI 환경에선 하나의 요청이 여러 모델 호출과 반복 연산으로 이어지면서 GPU 자원 부담이 커지고 있다. 이에 업계에선 GPU 증설보다 기존 인프라 활용 효율을 높이는 운영 기술 중요성이 커지는 추세다. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU와 신경망처리장치(NPU) 등 가속기 자원을 작업 특성에 맞게 배분하도록 설계됐다. 질문 분석과 답변 생성 작업을 분리해 각각 최적의 자원에 할당하는 분산 서빙 방식을 적용해 병목 현상을 줄이고 응답 성능을 높인다. 여기에 키-값 캐시(KV Cache) 최적화와 메모리 재사용 기술을 적용해 초기 응답 시간과 토큰 처리 속도를 개선했다. 실시간 대기열과 자원 상태를 반영한 지능형 라우팅 기능도 탑재해 고부하 환경에서도 안정적인 응답 성능을 유지할 수 있도록 지원한다. 오케스트로에 따르면 자체 온프레미스 AI 인프라 환경에서 진행한 벤치마크 결과, 동시 요청이 집중되는 고부하 환경에서 콘체르토 AI의 분산 서빙 방식은 기존 단일 처리 방식 대비 토큰 출력 속도를 2.2배 향상시켰다. 회사는 이를 통해 동일한 하드웨어 환경에서도 응답 지연을 줄이고 추론 처리 안정성을 높일 수 있다고 설명했다. 운영 자동화 기능도 강화했다. 콘체르토 AI는 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 거대언어모델 운영관리(LLMOps) 전 과정을 단일 플랫폼에서 지원한다. 표준화된 모델 패키징 기술을 기반으로 쿠버네티스 환경에서 배포 과정을 자동화하고 초기 응답 시간과 토큰 처리 속도, 자원 사용량 등 주요 운영 지표를 통합 관리할 수 있도록 돕는다. 특히 국내 유일 이기종 AI 가속기 지원 구조도 차별점으로 내세웠다. 엔비디아 GPU뿐 아니라 리벨리온과 퓨리오사AI 등 국산 NPU 환경까지 지원해 기업과 기관이 프라이빗 AI와 소버린 AI 환경에서 특정 하드웨어 벤더 의존도를 낮추고 인프라를 유연하게 구성할 수 있도록 지원한다. 최근 AI 인프라 시장 경쟁축은 학습 중심에서 추론 중심으로 이동하는 분위기다. 생성형 AI 서비스가 실제 업무 환경에 본격 적용되면서 GPU 확보 경쟁을 넘어 운영 효율과 자원 활용 최적화, LLM옵스 역량이 새로운 경쟁력으로 부상하고 있다. 오케스트로 역시 콘체르토 AI를 통해 기업 AI 인프라 운영 효율을 높이고 프라이빗 AI 시장 공략을 강화한다는 전략이다. 김범재 오케스트로 대표는 "생성형 AI가 실제 업무로 확산되고 에이전트형 AI 서비스가 늘어나면서 기업 AI 인프라 과제는 더 많은 GPU를 확보하는 것에서 보유 자원을 얼마나 효율적으로 운영하느냐로 옮겨가고 있다"며 "콘체르토 AI를 기반으로 기업이 보유한 AI 인프라 활용 효율을 높이고 프라이빗 AI 환경에서도 안정적인 AI 서비스 운영을 지원하겠다"고 말했다.

2026.05.29 10:48한정호 기자

[AI는 지금] "추론판 AWS 되겠다"…엔비디아가 베팅한 바세텐, 몸값 110억 달러 논의

인공지능(AI) 반도체 공룡 엔비디아가 투자한 미국 AI 추론 인프라 스타트업 '바세텐(Baseten)'이 110억 달러(약 15조원)의 기업가치로 대규모 투자 유치에 나섰다. 지난 1월 50억 달러의 가치를 평가받은 지 불과 3개월 만으로, 글로벌 AI 시장의 투자 중심축이 거대 모델 '학습'에서 비용 효율화를 위한 '추론(실제 서비스 구동)' 인프라로 급격히 이동한 분위기다. 29일 IT 전문매체 디인포메이션에 따르면 바세텐은 최근 투자자들과 10억 달러 규모 신규 투자 유치를 논의했다. 이번 투자 조건은 투자 후 기업가치 110억 달러를 전제로 한다. 성사될 경우 바세텐의 기업가치는 올해 초 인정받은 50억 달러에서 2배 이상 높아진다. 바세텐은 지난 2019년 미국 샌프란시스코에서 설립된 AI 추론 인프라 기업으로, 고객들이 오픈소스 모델과 자체 조정 모델을 서비스에 배포·운영할 수 있도록 모델 서빙, GPU 자원 관리, 지연시간 최적화, 비용 관리 기능을 제공한다. 주요 고객사로는 AI 코드 편집기 '커서(Cursor)'와 업무 협업 툴 '노션(Notion)' 등이 거론된다. 또 바세텐은 AI 모델 실행 인프라 시장에서 AWS와 같은 플랫폼 지위를 목표로 하고 있다. 클라우드 시장에서 AWS가 기업 컴퓨팅 인프라를 제공하며 성장한 것처럼 바세텐은 AI 시대의 추론 인프라를 겨냥하고 있다. 추론 인프라 수요가 커지면서 바세텐에는 대형 투자자 자금도 몰리고 있다. 바세텐은 올해 1월 50억 달러 평가액으로 3억 달러 투자 유치에 성공했다. 당시 라운드는 벤처캐피털 IVP와 알파벳 계열 독립 성장펀드 캐피털G가 공동 주도했으며 엔비디아도 참여했다. 엔비디아는 해당 거래의 일환으로 바세텐에 1억5000만 달러를 투자하기로 한 것으로 전해졌다. 바세텐은 최근 1년 사이 3차례 투자 유치에 나섰다. 누적 투자 유치액은 5억8500만 달러 수준으로 늘었다. 110억 달러 기업가치가 인정되면 올해 초 투자 라운드 이후 3개월 만에 평가액이 2배 이상 오르게 된다. 엔비디아의 투자는 추론 인프라 시장 확대와 맞물려 있다. 생성형 AI 도입이 확산되면서 기업들은 모델 학습용 GPU뿐 아니라 학습된 모델을 수많은 이용자 요청에 맞춰 빠르게 구동하는 추론 인프라 확보에 나서고 있다. 엔비디아는 GPU 수요를 키우는 추론 플랫폼 기업에 투자하며 하드웨어와 소프트웨어 생태계를 넓히고 있다. AI 업계에선 추론 시장의 성장성이 학습 시장보다 더 클 수 있다는 관측도 나온다. 모델 학습은 대규모 자본과 데이터센터 역량을 갖춘 소수 기업 중심으로 이뤄진다. 반면 추론은 AI 기능을 서비스에 붙이는 모든 기업에서 반복적으로 발생한다. 이용자가 AI 애플리케이션을 호출할 때마다 GPU 연산이 필요하기 때문이다. 오픈소스 AI 모델 확산도 바세텐의 성장 요인으로 꼽힌다. 라마, 딥시크, 미스트랄, 젬마 등 공개 모델을 업무와 서비스에 적용하는 기업이 늘면서 최근 모델 배포와 운영 수요가 증가하고 있다. 이 과정에서 파인튜닝, 모니터링, 비용 관리 등을 통합 지원하는 추론 인프라 플랫폼의 필요성은 커지고 있다. 추론 인프라 시장을 둘러싼 투자 경쟁도 거세지고 있다. 개발자들에게 AI 추론 인프라를 제공하는 파이어웍스AI는 지난해 10월 기업가치 40억 달러를 기준으로 2억5000만 달러를 조달했다. 추론 전용 칩을 설계한 세레브라스도 오픈AI와 파트너십을 맺은 뒤 기업가치 220억 달러로 10억 달러 투자 유치를 논의 중인 것으로 알려졌다. 대형 클라우드 사업자들도 추론 시장을 겨냥하고 있다. AWS, 구글 클라우드, 마이크로소프트 애저는 자체 AI 인프라와 모델 운영 서비스를 강화하고 있다. 코어위브, 람다, 토게더AI 등 GPU 인프라 기업들도 AI 스타트업과 기업 고객을 상대로 추론 워크로드 확보 경쟁을 벌이고 있다. 초기 생성형 AI 경쟁은 대규모 모델 개발과 학습 데이터 확보에 집중됐다. 최근에는 기업들이 AI 기능을 실제 서비스에 적용하기 시작하면서 지연시간, 안정성, 보안, 비용 효율성 등 운영 역량이 경쟁 변수로 떠올랐다. 모델 성능뿐 아니라 서비스 환경에서 모델을 얼마나 빠르고 저렴하게 구동할 수 있는지가 기업 AI 도입의 핵심 조건이 되고 있다. 엔비디아는 AI 반도체 공급자 지위를 넘어 오픈AI, AI 인프라 기업, 애플리케이션 기술 기업 등으로 투자 보폭을 넓히고 있다. GPU를 쓰는 기업에 자본을 투입하고, 이들이 다시 엔비디아 기반 인프라를 확장하는 구조다. 바세텐 투자도 엔비디아의 추론 생태계 확대 전략과 연결돼 있다는 분석이 나온다. 업계 관계자는 "AI 시장의 다음 경쟁은 누가 더 큰 모델을 만드느냐보다 그 모델을 실제 서비스에서 얼마나 빠르고 저렴하게 돌리느냐에 달려 있다"며 "바세텐의 투자 논의는 추론 인프라가 AI 생태계의 핵심 인프라로 자리 잡고 있다는 신호"라고 말했다.

2026.05.29 08:51장유미 기자

[현장] 엔비디아 독주 맞서는 국산 NPU…'추론·피지컬 AI'로 승부수

엔비디아 그래픽처리장치(GPU)가 인공지능(AI) 생태계를 장악하는 가운데, 국내 AI 반도체 기업들이 저전력·고효율 추론과 피지컬 AI 특화 전략을 앞세워 글로벌 시장 공략 의지를 드러냈다. AI 인프라 시장 무게중심이 단순 연산 성능 경쟁에서 전성비와 운영 효율, 인터커넥트, 소프트웨어 생태계 경쟁으로 빠르게 이동하면서 국산 신경망처리장치(NPU) 기업들도 데이터센터·추론·온디바이스 시장을 겨냥한 차별화 전략 강화에 속도를 내는 모습이다. 국내 AI 반도체 대표 기업인 리벨리온·퓨리오사AI·모빌린트 임원진은 28일 서울 강남구 GS타워에서 열린 '솔트룩스 AI 컨퍼런스(SAC)' 패널 토론에 참석해 이같은 비전을 공유했다. 토론은 '엔비디아, 적인가 친구인가? 소버린 AI 반도체의 미래'를 주제로 진행됐으며 사회는 이경일 솔트룩스 대표가 맡았다. 이날 연사들은 AI 시장이 학습 중심에서 추론 중심으로 빠르게 이동하면서 NPU 중요성이 더욱 커지고 있다고 입을 모았다. GPU 중심 AI 인프라가 막대한 전력과 운영 비용 부담으로 이어지면서 저전력·고효율 구조를 구현할 수 있는 추론 특화 반도체 수요가 빠르게 확대될 것이란 전망이다. 김광정 리벨리온 리더는 "AI 서비스 관점에서 비전부터 코드 에이전트까지 다양한 버티컬 서비스를 지원할 수 있는 추론 인프라가 중요해지고 있다"며 "효율적으로 AI 추론 서비스를 제공하는 것이 핵심 경쟁력이 될 것"이라고 말했다. 조영진 퓨리오사AI 부사장은 "최신 GPU는 전력 소모가 워낙 커 데이터센터 자체를 새롭게 지어야 하는 수준"이라며 "초기에는 단순 처리량 중심 경쟁이었다면 이제는 전성비와 총소유비용(TCO)을 중요하게 보는 방향으로 시장이 바뀌고 있다"고 설명했다. 윤상현 모빌린트 최고전략책임자(CSO)는 "우리는 데이터센터보다는 엣지와 온디바이스 환경에 맞춘 NPU를 개발하고 있다"며 "피지컬 AI 시대에 맞는 저전력·고효율 AI 반도체 경쟁력이 중요해질 것"이라고 강조했다. 연사들은 AI 인프라 시장 경쟁 구도가 단순 연산 성능 중심에서 운영 효율과 서비스 비용 경쟁 단계로 빠르게 이동하고 있다고 진단했다. AI 모델 규모가 커질수록 메모리 비용 부담이 핵심 변수로 떠오르고 있는 데다 기업 고객들도 이제는 단순 성능보다 토큰당 비용과 운영 효율성을 중요하게 보기 시작했다는 설명이다. 현장에선 AI 메모리 수급 불안과 비용 부담도 주요 화두로 떠올랐다. 김 리더는 메모리 가격이 지난해 대비 4배 가까이 상승했다고 언급했고 조 부사장 역시 GPU 전력 비용과 데이터센터 증설 부담이 AI 시장 핵심 변수로 떠오르고 있다고 진단했다. 특히 엣지 AI 시장에선 성능뿐 아니라 전력과 가격까지 동시에 만족해야 하는 구조적 한계가 커지고 있다는 분석도 나왔다. 연사들은 제한된 환경 안에서 AI 모델을 얼마나 효율적으로 경량화·양자화할 수 있느냐가 향후 핵심 경쟁력이 될 것으로 내다봤다. 또 수천 개 GPU와 NPU를 병렬로 연결하는 초대형 AI 인프라 시대가 열리면서 인터커넥트와 시스템 아키텍처 경쟁력이 AI 반도체 산업 핵심 변수로 떠오르고 있다고 강조했다. 조 부사장은 "현재 엔비디아와 가장 큰 격차는 인터커넥트와 시스템 기술"이라며 "국내 기업들도 이 부분에 대한 투자를 빠르게 확대하고 있다"고 말했다. 김 리더도 "글로벌 시장에서 경쟁하기 위해선 칩 성능만이 아니라 오픈소스 기반 소프트웨어 스택과 AI 프레임워크를 얼마나 잘 결합할 수 있느냐가 중요하다"며 "칩렛 기반 아키텍처와 네트워크 프로토콜 분야 투자를 지속 강화하고 있다"고 밝혔다. 국산 AI 반도체 기업들은 엔비디아를 단순 경쟁 상대가 아닌 AI 생태계를 키운 협력자이자 동시에 넘어야 할 대상으로 바라봤다. 연사들은 정부 지원이 국내 NPU 기업 성장 과정에서 중요한 역할을 했다고 평가하면서도 장기적으로 글로벌 시장에서 독자 경쟁력을 확보해야 한다고 강조했다. 특히 IT 시장이 과거 메인프레임 중심 구조에서 PC·모바일 중심으로 세분화된 것처럼 앞으로 AI 반도체 시장 역시 추론·엣지·온디바이스·피지컬 AI 등으로 빠르게 분화될 것으로 전망했다. 이에 국산 NPU 기업들도 특정 영역 중심으로 차별화 전략을 구축하면 충분히 글로벌 경쟁력을 확보할 수 있다는 기대감도 나타냈다. 조 부사장은 "현재 엔비디아와 직접 정면 승부를 벌이기보다는 추론 시장에서 차별화된 포지셔닝 전략으로 경쟁력을 확보하는 데 집중하고 있다"며 "10년 뒤에는 국내 AI 반도체 기업들이 세계 최고 수준 기업으로 성장할 수 있을 것으로 믿는다"고 말했다. 윤 CSO는 "온디바이스와 피지컬 AI 시장은 앞으로 빠르게 성장할 영역"이라며 "국내 기업들이 정부 지원을 기반으로 초기 시장을 선점한다면 글로벌 시장에서도 충분히 기회를 만들 수 있을 것"이라고 말했다. 김 리더는 "AI 시장은 특정 기업 중심 독과점 구조보다는 다양한 협력자와 생태계가 공존하는 방향으로 발전할 가능성이 크다"며 "국산 NPU 기업들도 글로벌 AI 생태계 안에서 의미 있는 역할을 차지할 수 있을 것"이라고 밝혔다.

2026.05.28 16:22한정호 기자

리벨리온, Arm·SKT와 협력...추론 인프라 시장 겨냥

인공지능(AI) 반도체 스타트업 리벨리온이 Arm, SK텔레콤 등 글로벌 AI 기업과 협력해 추론 인프라 시장을 겨냥한다고 10일 밝혔다. 소버린 AI와 통신사 특화 데이터센터 수요에 대응한 추론 인프라 제공이 목표다. 3사는 Arm의 자체 설계 데이터센터용 중앙처리장치(CPU)인 'AGI CPU'와 리벨리온의 AI 반도체를 결합한 AI 서버를 공동 개발하고, 이를 SK텔레콤의 AI 데이터센터에서 검증할 계획이다. 리벨리온은 "AI 인프라 분야 전문 기업이 참여하는 이번 연합은 급성장하는 추론 시장 수요에 기민하게 대응하고, 고성능·저전력 기반 소버린 AI 인프라 표준 정립이 목표"라고 설명했다. 이어 "이를 통해 인프라 설계부터 실전 검증까지 전 밸류체인을 포괄하는 협력 체계를 구축할 계획"이라고 덧붙였다. 이를 위해 Arm 네오버스(Neoverse) CSS V3 기반의 'Arm AGI CPU'와 리벨리온의 '리벨카드'를 통합한다. 리벨카드는 기존 1세대 칩 ATOM을 비롯한 국내외 AI 반도체 다수가 RTX 등 워크스테이션급 칩과 비교돼 온 것과 달리, 한국 최초로 데이터센터 서버급 고성능 AI 반도체 리벨100을 탑재했다. 리벨리온과 Arm은 단순 하드웨어 결합을 넘어 펌웨어 등 소프트웨어 전반을 공동으로 개발하고, SK텔레콤 데이터센터에 도입하여 실제 운영환경에 배치해 데이터 처리 성능과 안정성을 검증한다. 특히, SK텔레콤이 개발한 독자 파운데이션 모델 A.X K1를 해당 서버로 운영하는 방안도 검토 중이다. Arm과 리벨리온은 지난 3월 'Arm 에브리웨어' 행사에서 각 사 칩을 결합해 오픈 AI의 언어모델인 GPT OSS 120B 기반의 에이전틱 AI 서비스를 실시간 시연하며, 초기 검증 결과와 대규모 데이터센터 워크로드 적용 가능성을 확인했다. 기술 검증 후 3사는 더 넓은 범위의 상용화 기회를 발굴할 예정이다. 리벨리온은 글로벌 소버린 AI 데이터센터 최적화 솔루션을 공급하고, 아시아 지역을 중심으로 시장을 공략할 계획이다. 독자 AI 인프라 구축이 필요한 글로벌 통신사와 공공 산업군을 중심으로, 안정성이 검증된 맞춤형 특화 솔루션 공급에 주력할 예정이다. 오진욱 리벨리온 최고기술책임자(CTO)는 “리벨리온은 압도적 성능과 전력 효율을 갖춘 '리벨카드'와 풀스택 소프트웨어 경쟁력을 바탕으로 차세대 AI 데이터센터를 지탱하는 핵심 축을 담당한다”며 “AI 특화 인프라 구축을 위해 각 분야 전문가가 원팀으로 뭉친 이번 협력은 업계에도 유의미한 선례가 될 것"이라고 기대했다. 이재신 SK텔레콤 AI 사업개발 담당은 “추론에 최적화된 인프라와 독자 파운데이션 모델 A.X K1을 결합한 풀 패키지를 제공해 AI 데이터센터 경쟁력을 강화하겠다”고 말했다. 에디 라미레즈 Arm 클라우드 AI 사업부 GTM 부사장은 “AI 인프라가 전 세계적으로 확산됨에 따라 가속기, 메모리, 네트워킹 전반 워크로드를 조율하는 CPU 역할이 중요해졌다”며 “Arm 네오버스 CSS V3를 기반으로 설계한 'Arm AGI CPU'는 대규모 AI 구축에 필수인 성능과 효율성을 갖췄다. 이를 바탕으로 리벨리온, SK텔레콤 등 주요 파트너와 협력해 소버린 AI 및 통신 시장을 위한 확장성 있는 인프라를 실현해 기쁘다”고 밝혔다.

2026.04.10 10:11전화평 기자

뉴타닉스, 에이전틱 AI 인프라 고도화…추론·실행 시대 전략 가속

뉴타닉스가 에이전틱 인공지능(AI)을 중심으로 한 클라우드 플랫폼 전략을 강화하며 차세대 AI 인프라 시장 공략에 나섰다. 단순 모델 활용을 넘어 실제 운영 환경에서 AI 에이전트를 안정적으로 실행할 수 있는 기반을 제공한다는 목표다. 뉴타닉스는 '뉴타닉스 에이전틱 AI' 솔루션에 신규 기능을 추가하고 네오클라우드 사업자를 위한 AI 서비스 플랫폼 역량을 확대했다고 9일 밝혔다. 최근 AI 시장은 학습 중심에서 추론 중심으로 빠르게 이동하고 있다. 다수 기업이 AI를 실제 업무에 적용하는 단계로 진입하면서, 보안·성능·비용을 동시에 충족하는 인프라 수요가 커지고 있다. 뉴타닉스는 이러한 변화에 대응해 에이전틱 AI 기반의 통합 소프트웨어(SW) 스택을 제시했다. 토마스 코넬리 뉴타닉스 제품 관리 부문 수석 부사장은 "기업들이 데이터 통제권을 유지하며 AI를 활용하는 방법을 모색하면서 소버린 및 특화형 AI 클라우드에 대한 수요가 빠르게 증가하고 있다"며 "뉴타닉스 에이전틱 AI 솔루션은 안전한 멀티테넌트 환경과 AI 관리 포털을 갖춰 네오클라우드 제공업체들이 고부가가치 AI 서비스를 신속하게 제공할 수 있도록 설계됐다"고 설명했다. 뉴타닉스 에이전틱 AI는 멀티테넌트 기반 AI 관리 포털과 서비스 제공 환경을 통해 복잡성을 줄이고 운영 효율성을 높이는 것이 특징이다. 그래픽처리장치(GPU) 자원과 컴퓨팅 리소스를 테넌트별로 분리·관리할 수 있으며 보안과 성능을 동시에 확보할 수 있도록 지원한다. 또 서비스형 GPU(GPUaaS), 쿠버네티스 서비스(KaaS), 가상머신(VM) 서비스, 벡터 데이터베이스(DB), 모델 서비스 등 다양한 AI 서비스 카탈로그를 통합 제공해 기업별 맞춤형 AI 환경을 구축할 수 있도록 돕는다. AI 인프라 운영과 서비스 제공을 단일 플랫폼에서 관리할 수 있다는 설명이다. 운영 관리 기능도 강화됐다. 뉴타닉스 클라우드 매니저(NCM)는 AI 인프라 모니터링과 사용량 기반 과금 기능을 지원해 GPU 사용량, API 호출, 모델 사용량 등을 기반으로 비용을 관리할 수 있도록 했다. 기업이 AI 서비스 운영과 비용 통제를 모두 수행할 수 있도록 지원할 방침이다. 스콧 싱클레어 옴디아 인프라·클라우드·데브옵스·네트워킹 부문 실무 디렉터는 "자율 에이전트 도입은 차세대 핵심 분야로 급부상하고 있지만 데이터 보안과 거버넌스, 성능 측면에서 새로운 과제를 동반한다"며 "뉴타닉스 에이전틱 AI 솔루션은 이러한 요구를 충족할 수 있는 엔터프라이즈급 기반을 제공한다"고 말했다. 아울러 뉴타닉스는 하이브리드 멀티클라우드 전략도 강화하고 있다. 특히 '뉴타닉스 클라우드 클러스터 온 AWS(NC2 on AWS)'를 통해 기존 인프라 구조를 유지하면서 클라우드로 워크로드를 이전할 수 있는 환경을 제공한다. NC2 온 AWS는 미션 크리티컬 워크로드를 안정적으로 클라우드 환경에서 운영할 수 있도록 지원하는 솔루션으로, 국내에선 에버랜드에 처음 적용됐다. 기존 네트워크 아키텍처를 유지한 채 클라우드 전환이 가능해 기업의 인프라 전환 부담을 줄였다는 평가다. 뉴타닉스는 고객 요구에 맞춘 맞춤형 설계와 지속적인 커뮤니케이션을 통해 프로젝트를 성공적으로 완료하며 클라우드 전환 사례를 확보했다고 강조했다. 국내 기업의 하이브리드 클라우드 도입을 확대해 나간다는 계획이다. 변재근 뉴타닉스 코리아 사장은 "이번 에버랜드 프로젝트를 시작으로 앞으로도 더 많은 국내 기업이 복잡한 인프라 전환을 자신 있게 추진할 수 있도록 지원하겠다"고 밝혔다.

2026.04.09 10:56한정호 기자

데이터센터 밖으로 확장된 AI…서버 업계, '엣지 AI' 경쟁 가속

인공지능(AI) 인프라의 중심이 데이터센터에서 현장으로 이동하고 있다. 생성형 AI 확산으로 대규모 모델 학습뿐 아니라 실시간 추론 수요가 빠르게 증가하면서 제조 현장, 매장, 통신 기지국 등 데이터가 생성되는 장소에서 바로 AI를 활용하는 '엣지 AI'가 차세대 인프라로 떠오르고 있다. 5일 업계에 따르면 글로벌 서버 기업들은 데이터센터 중심의 기존 AI 인프라 전략을 넘어 제조·리테일·통신·로봇 등 산업 현장에서 AI 연산을 처리하는 엣지 인프라 구축 경쟁에 속도를 내고 있다. 특히 델 테크놀로지스, HPE, 슈퍼마이크로 등 주요 서버 기업들이 엣지 환경에서 AI 추론을 수행할 수 있는 특화 서버와 네트워크 솔루션을 잇달아 선보이며 시장 공략에 나서고 있다. 엣지 AI는 데이터를 중앙 데이터센터로 보내 처리하는 대신 데이터가 생성되는 현장에서 즉시 분석과 의사결정을 수행하는 방식이다. 실시간 처리가 필요한 산업에서 지연 시간을 줄이고 네트워크 비용을 낮출 수 있다는 점에서 스마트팩토리·리테일·자율주행·로봇 등 다양한 산업에서 활용 가능성이 주목받고 있다 포춘비즈니스인사이트 등 주요 시장조사업체에 따르면 글로벌 엣지 AI 시장 규모는 2024년 약 200억 달러(약 29조원) 수준에서 2030년 1천억 달러(약 146조원)로 연평균 20% 이상 성장할 전망이다. 서버 기업들은 이같은 흐름에 맞춰 엣지 환경에 최적화된 AI 인프라를 잇따라 내놓고 있다. 델 테크놀로지스는 최근 실외 환경에서도 AI 워크로드를 처리할 수 있는 서버 '파워엣지 XR9700'을 공개하며 엣지 AI 시장 공략을 강화했다. 해당 서버는 전신주나 옥상 등 외부 환경에서도 설치할 수 있도록 설계됐으며 통신 기지국과 원격지에서 클라우드 무선 접속망(RAN)과 엣지 AI 애플리케이션을 직접 실행할 수 있도록 지원한다. HPE 역시 엣지 인프라 전략을 강화하고 있다. MWC26에서 'HPE 프로라이언트 컴퓨트 EL9000 섀시'와 'EL140 젠12 서버' 기반 AI 인프라를 공개하며 코어 데이터센터부터 통신 기지국 등 엣지 환경까지 AI 워크로드를 처리하는 플랫폼을 제시했다. 해당 솔루션은 통신사와 서비스 사업자가 증가하는 AI 트래픽을 처리하고 엣지 환경에서 AI 서비스를 제공할 수 있도록 설계된 것이 특징이다. 슈퍼마이크로도 통신 네트워크와 결합한 엣지 AI 인프라 확대에 나섰다. 회사는 AI-RAN을 지원하는 서버 시스템을 공개하고 노키아·SK텔레콤 등 글로벌 통신사와 협력해 통신망에서 AI 워크로드를 처리하는 분산형 인프라 활용 사례를 선보였다. 이 시스템은 그래픽처리장치(GPU) 기반 AI 서버를 활용해 엣지 AI를 위한 네트워크 최적화와 자동화를 지원한다. 글로벌 네트워크 기업들도 엣지 AI 경쟁에 뛰어들고 있다. 시스코는 분산형 AI 환경을 지원하기 위한 '유니파이드 엣지' 플랫폼을 공개하며 컴퓨팅·네트워킹·스토리지·보안을 하나의 인프라로 통합했다. 데이터가 생성되는 지점에서 실시간 AI 추론을 수행하는 분산형 AI 환경을 구현한다는 전략이다. 클라우드 기업 역시 AI 추론을 엣지로 확장하는 움직임을 보이고 있다. 대표적으로 아카마이는 엔비디아 AI 인프라를 기반으로 한 '인퍼런스 클라우드'를 공개하며 데이터센터에서 인터넷 엣지까지 AI 추론을 확장하는 분산형 AI 플랫폼 구축에 나서고 있다. 스마트 커머스와 실시간 금융 의사결정, 산업용 로봇 등 다양한 AI 서비스에 대응한다는 계획이다. 업계에선 엣지 AI가 향후 피지컬 AI 확산을 뒷받침할 핵심 인프라가 될 것으로 보고 있다. 공장 자동화와 자율주행, 로봇 등 물리 세계와 연결된 AI 서비스는 밀리초 단위의 실시간 데이터 처리 능력이 요구되기 때문이다. 이에 기존 데이터센터 중심 AI 인프라와 함께 산업 현장과 초고속 네트워크 환경에 맞춤화된 분산형 엣지 AI 인프라 역시 성장할 것이라는 전망이 나온다. 데이터센터 업계 관계자는 "AI 산업이 모델 학습 중심에서 실제 서비스와 산업 적용 단계로 넘어가면서 데이터가 생성되는 현장에서 AI를 처리하는 엣지 인프라가 주목받고 있다"며 "향후 스마트팩토리와 로봇, 자율주행 등 피지컬 AI 확산과 함께 엣지 AI 서버 시장도 성장할 것"이라고 말했다.

2026.03.05 14:12한정호 기자

[현장] STT GDC, 가산에 첫 데이터센터 연다…韓 코로케이션 시장 본격 진출

글로벌 데이터센터 전문기업 STT GDC가 국내 첫 데이터센터를 올해 6월 가동하며 한국 시장 공략에 본격 나선다. 인공지능(AI)·클라우드 수요 확대에 대응하는 AI-레디 인프라를 앞세워 국내 코로케이션 시장에서 입지를 구축할 계획이다. 허철회 STT GDC 코리아 대표는 22일 서울 여의도 FKI타워에서 진행한 기자간담회에서 "가산에 들어서는 'STT 서울1'을 시작으로 한국 시장에서 AI·클라우드 수요를 안정적으로 받쳐줄 인프라를 단계적으로 확대해 나가겠다"고 밝혔다. STT GDC는 싱가포르에 본사를 둔 글로벌 데이터센터 전문기업으로, 12개국에서 100개 이상의 데이터센터를 운영하며 총 IT 부하 용량 2기가와트(GW) 이상을 확보하고 있다. 고성능·고효율·저탄소 데이터센터 인프라를 기반으로 아마존·마이크로소프트·구글 등 글로벌 하이퍼스케일러들을 지원해왔다. STT GDC가 한국을 전략 시장으로 설정한 배경에는 AI 확산에 따른 데이터센터 수요 급증이 있다. 허 대표는 "AI 지출 확대와 에이전틱 AI, AI 서비스형 소프트웨어(SaaS) 등 시장이 빠르게 커지고 있다"며 "이에 맞춰 데이터센터 인프라뿐 아니라 저지연 네트워크·해저 케이블 등 연결성까지 중요해지고 있다"고 설명했다. 특히 허 대표는 앞으로 데이터센터 수요를 주도할 핵심 축으로 '추론'을 지목했다. 그는 "AI 애플리케이션과 추론 중심 워크로드가 늘수록 데이터센터의 수도권 입지와 네트워크가 더 중요해질 것"이라고 진단했다. 이런 흐름에 한국 시장도 소버린 AI와 그래픽처리장치(GPU) 확산 정책이 맞물리며 전력 수요가 크게 늘고 있다는 게 STT GDC의 판단이다. 허 대표는 정부가 엔비디아와 체결한 GPU 26만 장 도입 논의 등으로 인해 추가 전력 수요가 발생할 수 있으며 2030년에는 국내 데이터센터 전력 수요가 3GW 수준까지 필요해질 수 있다고 언급했다. STT GDC가 이번에 첫 거점으로 공개한 STT 서울1은 서울 금천구 가산동에 위치한 AI 데이터센터로, 최대 IT 부하 30메가와트(MW)를 수용하도록 설계됐다. STT GDC는 이 센터를 기반으로 국내 고객의 AI·클라우드 인프라 수요에 대응하는 동시에, 글로벌 확장과 연계한 코로케이션 서비스를 제공하겠다는 구상이다. STT 서울1은 주·예비 2회선 이중화 기반 22.9kV 전력 인입, 분산형 중복 구성 방식 무정전전원장치(UPS), N+1 비상발전기 등 안정성을 고려한 전력 설계를 갖췄다. 최대 부하 기준 24시간 무급유 발전이 가능한 연료탱크를 구축했고 업타임 티어 3 TCCD·TCCF 인증과 무중단 유지보수·내결함성 설계도 추진한다. 건물은 지하 2층부터 지상 10층까지 멀티스토리 구조로 설계됐으며 데이터센터 특성상 층고가 높아 체감 높이는 일반 아파트 약 20층 수준에 해당한다. STT GDC는 도심 내 제한된 부지에서 전력·설비 집적도를 극대화하기 위해 이같은 구조를 선택했다고 밝혔다. 네트워크는 망중립 구조를 기반으로 2개의 독립된 MDF실과 3개의 인입 경로를 구성해 복수 통신사 및 다양한 연결 옵션을 확보했다. 냉각은 설계 전력사용효율(PUE) 1.3 미만을 목표로 중앙 냉수식 냉방 설비와 팬월 유닛 등을 적용해 AI 워크로드에 대비한 열관리 효율을 높인다는 방침이다. 나아가 STT GDC는 액침 냉각 등 차세대 냉각 기술도 글로벌 본사 차원에서 검증하고 있다. 슈나이더 일렉트릭, 아이스오토프와 협력해 액침 냉각 기술검증(PoC)을 진행했고 인도 법인도 액체 냉각 기술 연구·테스트를 추진 중이다. 국내 센터 운영 전략으로는 인하우스 중심 운영을 강조했다. STT GDC 코리아 양재석 운영센터장은 "다수 데이터센터 사업자가 운영을 외주화하는 것과 달리, 우리는 운영 핵심 기능을 자체 인력으로 수행한다"며 "글로벌 하이퍼스케일러 지원 경험을 바탕으로 국내에서도 동일한 표준과 교육 체계를 적용할 계획"이라고 밝혔다. STT GDC는 한국 시장이 글로벌 하이퍼스케일러뿐 아니라 국내 클라우드 사업자와 소버린 AI 프로젝트 확대로 수요 구조가 빠르게 바뀌고 있다고 진단했다. 이에 대해 허 대표는 "연도별 수요·공급 변동성이 커지는 만큼 단계적 확장과 안정적 운영 역량이 중요해졌다"며 "향후 한국 내 추가 데이터센터 부지 확보도 검토 중"이라고 말했다. 끝으로 "AI 시대 데이터센터는 단순히 전력을 공급하는 시설이 아니라, 고밀도 워크로드를 안정적으로 처리하면서도 지속가능성을 함께 달성해야 한다"며 "재생에너지 확대와 냉각 혁신을 바탕으로 한국에서도 장기적으로 경쟁력 있는 데이터센터 플랫폼을 구축해 나가겠다"고 강조했다.

2026.01.22 16:33한정호 기자

앤트로픽, 구글 TPU 핵심 파트너와 AI 데이터센터 구축 '박차'

인공지능(AI) 인프라 경쟁이 본격화되는 가운데, 앤트로픽이 구글의 핵심 파트너로 떠오른 네오클라우드 기업 플루이드스택과 초대형 데이터센터 구축에 박차를 가한다. 18일 월스트리트저널(WSJ)에 따르면 플루이드스택은 미국 루이지애나주에 건설되는 대규모 AI 데이터센터에서 앤트로픽이 활용할 고성능 컴퓨팅 클러스터 운영을 맡게 됐다. 해당 프로젝트는 단계별로 확장되는 구조로, 초기에는 약 245메가와트(MW) 규모의 연산 용량이 제공될 예정이다. 이 인프라는 앤트로픽이 대규모 언어모델(LLM)을 학습·운영·확장하는 데 활용된다 . 이번 협력에서 플루이드스택은 단순 임대 사업자를 넘어 AI 연산 인프라 운영의 중심 역할을 맡는다. 회사는 구글 텐서처리장치(TPU) 생태계의 핵심 파트너로, 최근 '제미나이 3' 학습용 TPU 인프라를 공급하며 급부상했다. TPU 중심 전략을 앞세워 AI 모델 개발사들의 엔비디아 그래픽처리장치(GPU) 의존도를 낮추는 동시에 대형 데이터센터와 AI 슈퍼컴퓨팅 인프라 구축에 속도를 내고 있다 . 플루이드스택은 현재 약 7억 달러(약 1조345억원) 규모의 신규 투자 유치를 추진 중이며 투자 성사 시 기업가치는 70억 달러(약 10조원)에 이를 것으로 전망된다. 구글과 골드만삭스가 투자 논의에 참여한 것으로 알려졌고 프랑스에 100억 유로(약 17조원) 규모의 AI 슈퍼컴퓨팅 센터를 구축하는 계획도 공개했다. 이는 글로벌 AI 인프라 수요가 급증하는 가운데, 기술 기업과 금융권이 결합한 새로운 데이터센터 투자 모델을 대표하는 사례로 평가된다. 앤트로픽 역시 공격적인 인프라 투자에 나서고 있다. 회사는 총 500억 달러(약 73조원)를 투입해 미국 내 맞춤형 AI 데이터센터를 구축할 계획이며 텍사스와 뉴욕을 시작으로 내년부터 순차 가동한다. 이 과정에서 플루이드스택과의 협력은 앤트로픽이 안정적인 연산 자원과 전력을 확보하는 핵심 축으로 작동할 전망이다. 업계에서는 앤트로픽의 대규모 인프라 투자가 오픈AI, 메타 등 경쟁사들의 초대형 프로젝트에 대응하기 위한 전략적 선택으로 보고 있다. 생성형 AI 성능 경쟁이 연산 능력과 전력 확보 경쟁으로 확산되면서 클라우드 사업자의 위상도 빠르게 높아지고 있다는 분석이 나온다. 플루이드스택이 단기간에 구글과 앤트로픽을 지원하는 글로벌 AI 인프라 핵심 사업자로 부상한 배경도 이같은 흐름과 맞물려 있다 . 앤트로픽은 "이번 데이터센터 구축을 통해 보다 강력하고 안전한 AI 시스템을 개발하고 과학적 발견과 산업 전반의 혁신을 가속화할 수 있을 것으로 기대한다"고 밝혔다.

2025.12.18 13:31한정호 기자

삼성전자, 엔비디아향 '소캠2' 공급 임박…샘플 평가·표준화 협력

삼성전자와 엔비디아가 AI 메모리 분야에서 긴밀한 협력을 더 강화하고 있다. LPDDR(저전력 D램) 기반 차세대 서버 메모리 모듈에 대한 평가를 진행 중인 것은 물론, 공식 표준화 작업도 함께 진행 중이다. 양사 간 협업은 내년 초부터 본격적인 시너지 효과를 발휘할 것으로 기대된다. 삼성전자는 18일 공식 뉴스룸을 통해 고객사에 SOCAMM(소캠; Small Outline Compression Attached Memory Module)2 샘플을 공급하고 있다고 밝혔다. 소캠은 엔비디아가 독자 표준으로 개발해 온 차세대 메모리 모듈로, 저전력 D램인 LPDDR을 4개씩 집적한다. 기존 모듈(RDIMM) 대비 데이터 전송 통로인 I/O(입출력단자) 수가 많아, 데이터 처리 성능의 척도인 대역폭이 높다는 장점이 있다. 소캠2는 2세대 소캠으로서, RDIMM 대비 2배 이상의 대역폭과 55% 이상 낮은 전력 소비를 제공한다. 또한 분리형 모듈 구조를 적용해 시스템 유지보수와 수명주기 관리가 한층 수월해진다. 기존에는 서버에 저전력 LPDDR을 적용하려면 메인보드에 직접 실장해야 했지만, 소캠2는 보드를 변경하지 않고도 메모리를 쉽게 교체하거나 업그레이드할 수 있다. 삼성전자가 개발한 소캠2는 내년 초부터 본격 상용화될 전망이다. 현재 삼성전자는 1b(5세대 10나노급) D램을 기반으로 소캠2를 개발해, 주요 고객사인 엔비디아와 퀄(품질) 테스트를 거치고 있는 것으로 알려졌다. 삼성전자는 "서버 시장에서 늘어나는 저전력 메모리 수요에 대응하기 위해 LPDDR 기반 서버 메모리 생태계 확장을 적극 추진하고 있다"며 "특히 엔비디아와의 기술 협업을 통해 소캠2를 엔비디아 가속 인프라에 최적화함으로써, 차세대 추론 플랫폼이 요구하는 높은 응답성과 전력 효율을 확보했다"고 밝혔다. 소캠2의 공식 표준화 작업도 마무리 단계에 접어들었다. 현재 글로벌 주요 파트너사와 함께 JEDEC 표준 규격 제정을 주도하고 있으며, 차세대 AI 플랫폼과의 호환성 확보 및 생태계 확장을 위한 기술 표준 마련에 적극 기여하고 있다. 디온 헤리스 엔비디아 HPC 및 AI 인프라 솔루션 총괄 이사는 "AI 워크로드가 학습 중심에서 복잡한 추론과 피지컬 AI로 확대되는 상황에서, 차세대 데이터센터는 성능과 전력 효율을 동시에 만족하는 메모리 솔루션이 필수"라며 "삼성전자와의 지속적인 기술 협력을 통해 소캠2와 같은 차세대 메모리가 AI 인프라에 요구되는 높은 응답성과 효율을 구현할 수 있도록 최적화 작업을 이어가고 있다"고 밝혔다.

2025.12.18 11:04장경윤 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

디지털자산 제도화 "공론화 진전, 법제화는 제자리"…디지털 금융 B-

중국은 3분 배터리 교체 경쟁…현대차가 구독형 택한 이유

'애플 감성' 담은 페라리 첫 전기차, 7월 성적표 주목

메모리 가격상승에 기업 내 PC 교체 지연...더 미뤄도 될까

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.