• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
반도체
AI의 눈
디지털트러스트
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'추론 AI'통합검색 결과 입니다. (75건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

'AI' vs '로스쿨 교수', 법률 추론 대결...승자는

인공지능(AI)이 학생들 질문에 인간 법학 교수보다 더 우수하게 답변할 수 있다는 연구 결과가 나왔다. 심지어 답변이 오해를 불러일으키거나 교육적으로 유해하다고 판단되는 비율 역시 AI가 인간 교수보다 훨씬 낮았다. 이 연구 보고서는 지난달 27일 스탠퍼드 로스쿨 홈페이지에 게재됐으며, 이달 1일 같은 웹사이트 내 뉴스&미디어를 통해 보도됐다. 스탠퍼드 대학교 로스쿨의 법학 교수이자 '법무혁신 프론티어 테크놀로지 랩(LIFT Lab)'을 이끄는 줄리언 냐르코(Julian Nyarko) 교수는 예일대·뉴욕대 등 미국 명문대 동료 연구진과 함께 AI가 학생들의 법률 질문에 얼마나 정교하게 답할 수 있는지를 검증하는 연구를 진행했다. 냐르코 교수 연구팀이 진행한 이번 실험에는 미국 로스쿨에 재직 중인 법학 교수 16명이 참여했다. 교수들은 실제 계약법 강의 중이나 강의 후에 학생들이 던질 수 있는 대표적인 질문 40개를 작성한 뒤, 각 질문에 대한 모범 답안을 직접 기술했다. 연구팀은 AI에게도 동일한 질문을 주고 답변을 생성하게 한 뒤, 평가자가 어떤 답변이 인간 교수의 것이고 어떤 것이 AI의 것인지 알 수 없도록 '블라인드 테스트' 방식으로 평가를 진행했다. 특히 연구팀은 실험의 형평성과 타당성을 확보하기 위해 AI가 생성한 답변의 길이나 구조를 인간 교수가 작성한 답변 스타일에 맞춰 엄격하게 조정했다. 냐르코 교수는 "이번 연구가 가지는 학술적 중요성이 매우 크기 때문에, 실험 설계를 최대한 엄격하고 객관적으로 진행했다"고 강조했다. 기존의 AI 성능 조사는 주로 정답과 오답이 명확히 갈리는 단답형 문제에 초점이 맞춰져 있었다. 하지만 법적 추론의 영역은 대립하는 논거들을 신중하게 분석하고 모호함을 조율하며 타당한 결론을 도출해야 하는 복잡한 과정이다. 냐르코 교수는 "법학에 초점을 맞춘 이유는 단순히 사실을 기억하는 능력을 넘어, 판단력과 섬세한 추론 능력, 그리고 모호함을 극복하는 능력이 복잡하게 요구되는 분야이기 때문"이라고 설명했다. 참여 교수들이 총 2918건의 답변을 교차 평가한 결과, 놀랍게도 교수들은 동료 인간 법학 교수가 작성한 답변보다 AI가 생성한 답변에 현저히 높은 점수를 줬다. AI가 생성한 답변은 인간 교수와의 1대1 비교 평가에서 약 75%의 승률을 기록했다. 가장 주목할 만한 부분은 '교육적으로 해롭거나 잘못된 정보를 담고 있다'고 지적된 답변 비율이었다. 인간 교수가 작성한 답변 중 유해성이나 오류가 지적된 비율은 약 12%에 달했으나, AI가 생성한 답변에서는 그 비율이 불과 3.5%에 그쳐 안정성 면에서도 판정승을 거뒀다. 냐르코 교수는 "실험에 사용된 질문들은 결코 단순한 문답 수준이 아니었다"며 "대부분 복잡한 법리 개념을 통합하고 이를 새로운 가상 상황에 적용해, 학생들이 분석적 기술을 키울 수 있도록 돕는 고난도 질문이었다"고 설명했다. 이어 "이번 연구는 법학 교육에서 AI의 역할에 대해 우리가 가졌던 기존의 부정적 전제들에 강한 의문을 제기한다"고 덧붙였다. 이번 연구 결과는 향후 법학 교육 현장에서 'AI 튜터'의 활용 가능성을 시사한다는 점에서 학계의 큰 관심을 모으고 있다. 현재 미국 로스쿨 환경에서는 AI 도입을 두고 고심하고 있는데, 일각에서는 AI의 환각 현상이나 학생들의 과도한 의존, 비판적 사고력 저하 등을 우려해 도입에 신중한 태도를 보여왔다. LIFT Lab의 연구원인 알레한드로 살리나스(Alejandro Salinas)는 "우리의 연구는 AI를 통한 개별 지도가 법률처럼 고도의 판단을 요하는 전문 분야 학습에 어떻게 기여할 수 있는지를 보여준다"면서 "법학 교육자들의 평가를 통해, AI 튜터가 교실 수업을 보완하는 질 높은 상시 지원(On-demand) 서비스를 제공할 수 있으며, 전문가 지도에 대한 학생들의 접근성을 획기적으로 확대할 잠재력이 있음이 증명됐다"고 평가했다. 이어 그는 "법조인 교육의 본질은 미래의 변호사들이 비판적으로 사고하고, 설득력 있는 논증을 펴며, 윤리적으로 복잡한 문제에 대처할 수 있도록 훈련하는 것"이라며 "AI 튜터의 전면 도입을 성급하게 권장하는 것은 아니지만, 데이터가 보여주듯 AI에 대해 무조건적인 회의론을 고집하는 것 또한 부당하다"고 지적했다. 나아가 살리나스 연구원은 "이제 논의의 초점은 'AI가 과연 정확하고 질 높은 답변을 줄 수 있는가'라는 의구심에서 벗어나, '학생들의 학습 이익을 위해 AI를 어떻게 책임감 있게 교육 과정에 활용할 것인가'로 전환돼야 한다"고 제언했다.

2026.06.07 09:42백봉삼 기자

[AI 고속도로] 국산 클라우드-NPU 연합 생태계 본궤도…정부 육성정책 결실 맺나

국내 클라우드 기업들이 국산 신경망처리장치(NPU)를 서비스 형태로 제공하는 사업에 잇따라 뛰어들면서 정부가 수년간 추진해 온 AI 반도체 육성 정책이 본격적인 상용화 단계에 진입하고 있다. 기술 실증과 연구개발(R&D)을 넘어 실제 클라우드 서비스와 산업 현장으로 확산되며 독자 인프라 생태계 구축에 속도가 붙는 모습이다. 5일 업계에 따르면 KT클라우드와 가비아가 최근 리벨리온 반도체 기반 서비스형 NPU(NPUaaS)를 출시한 데 이어 삼성SDS도 오는 7월 퓨리오사AI NPU를 탑재한 서비스를 선보일 예정이다. 국내 주요 클라우드 사업자들이 국산 AI 반도체를 클라우드 상품으로 제공하며 본격적인 상용화에 나서는 분위기다. 이는 신규 서비스 출시를 넘어 정부 주도 AI 반도체 육성 정책이 실제 시장으로 연결되는 전환점이 될 전망이다. 그동안 국산 NPU는 기술 검증과 실증 사업 중심으로 성장해 왔지만, 최근에는 국내 클라우드를 통해 기업과 공공기관이 손쉽게 활용할 수 있는 서비스 형태로 확산을 앞두고 있다. K-AI 반도체, 실증 넘어 서비스 단계 진입 KT클라우드는 지난 4일 리벨리온의 차세대 NPU '아톰 플러스'를 적용한 공공 전용 NPU 서비스 출시를 발표했다. 국내 NPUaaS 가운데 처음으로 클라우드 보안인증(CSAP)을 획득했으며 공공기관과 지방자치단체가 보안 규제를 충족하면서 국산 AI 반도체를 활용할 수 있도록 설계됐다. 가비아도 지난 4월 리벨리온 '아톰-맥스'를 기반으로 한 NPUaaS를 선보였다. 클라우드 환경에서 NPU를 구독형으로 제공하며 AI 추론 최적화 컨설팅까지 함께 지원할 계획이다. 그래픽처리장치(GPU) 공급 부족과 비용 부담이 커지는 상황에서 추론 중심 AI 서비스 수요를 겨냥한 전략이다. 삼성SDS 역시 다음 달 퓨리오사AI의 2세대 NPU '레니게이드' 기반 NPUaaS를 삼성 클라우드 플랫폼(SCP)에 출시할 예정이다. 엔비디아 GPU 중심 인프라에서 벗어나 고객이 워크로드 특성에 따라 GPU와 NPU를 선택할 수 있는 구조를 구축한다는 목표다. 이 외 다양한 국내 IT서비스 기업들도 국산 NPU 생태계 확대에 동참하고 있다. 롯데이노베이트는 모빌린트와 협력해 휴머노이드와 스마트 인프라 등 피지컬 AI 분야 실증을 추진한다. 포스코DX도 산업용 제어 시스템에 모빌린트 NPU를 적용해 제조 현장 중심의 엣지 AI 구축에 나서고 있다. LG CNS도 국산 NPU 기반 AI 인프라와 서비스 확대를 추진하면서 AI 반도체 활용 범위가 클라우드를 넘어 제조·공공·기업 업무 영역 전반으로 확산되는 상황이다. 최근 AI 인프라 시장이 대규모 학습 중심에서 추론 중심으로 이동하는 것도 이러한 변화 배경으로 꼽힌다. NPU는 추론 작업에서 GPU 대비 전력 효율과 비용 경쟁력이 높아 AI 에이전트와 기업용 생성형 AI 서비스 확산 과정에서 새로운 대안으로 주목받고 있다. 정부 'AI 반도체 팜' 결실 맺기 시작 현재 나타나는 상용화 흐름은 정부가 지난 수년간 추진해 온 AI 반도체 육성 정책과 맞닿아 있다. 대표 사례가 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 추진한 'AI 반도체 팜 구축·실증' 사업이다. 해당 사업은 국산 NPU 기반 고성능 클라우드 인프라를 구축하고 실제 산업 현장에서 성능을 검증하기 위해 2023년부터 3년간 진행됐다. 사업에는 네이버클라우드·KT클라우드·NHN클라우드 등이 참여했으며 리벨리온과 퓨리오사AI가 반도체 공급사로 함께했다. 이들은 총 19.95페타플롭스(PF) 규모 국산 NPU 인프라를 구축하고 의료·번역·챗봇 등 다양한 AI 서비스를 실증했다. 특히 네이버클라우드는 퓨리오사AI와 함께 외국인 근로자를 위한 거대언어모델(LLM) 기반 번역·챗봇 서비스를 실증했으며 KT클라우드와 NHN클라우드는 리벨리온과 협력해 뇌 질환 진단·예측 플랫폼 등을 운영했다. 또 NHN클라우드는 정부 'K-클라우드 프로젝트'를 통해 22PF 이상 규모 국산 NPU 인프라를 구축하며 의료·공공안전 분야 실증을 수행했고 네이버클라우드 역시 국산 NPU 기반 서비스 검증과 운영 경험을 축적하며 상용화 기반 마련에 기여했다. 일부 실증에선 국산 NPU가 외산 GPU 대비 경쟁력 있는 성능을 보인 것으로도 전해졌다. 업계에선 정부 사업이 국산 NPU 성능을 검증하는 데 그치지 않고 클라우드 사업자들이 실제 운영 경험을 축적하는 계기가 됐다고 평가했다. 최근 등장하는 NPUaaS 역시 당시 확보한 운영 노하우와 최적화 경험이 기반이 됐다고 분석했다. 다음 시험대는 공공 AX 수요 창출 다만 국산 클라우드와 NPU 결합 생태계가 본격적으로 성장하기 위해선 안정적인 추가 수요 창출이 필요하다는 지적도 나온다. 현재 정부는 삼성SDS 컨소시엄과 국가AI컴퓨팅센터 구축 사업을 추진하고 있다. 오는 2028년까지 첨단 AI 반도체 1만 5000장 규모 인프라를 구축하는 초대형 프로젝트로, 국산 AI 반도체 연구개발과 실증 환경도 함께 제공할 계획이다. 특히 정부는 센터 내 연구개발 존을 조성해 국산 NPU 시범 운영과 신뢰성 검증을 지원하고 향후 국산 AI 반도체 활용 비중도 확대한다는 방침이다. 공공 AI 전환(AX) 사업 역시 중요한 기반이다. 최근 정부와 지방자치단체가 생성형 AI와 AI 에이전트 도입을 확대하면서 추론 중심 AI 인프라 수요가 빠르게 증가하고 있다. 이같은 공공 사업에서 국산 NPU 활용 사례가 늘어날 경우 클라우드 사업자와 반도체 기업 모두에게 새로운 성장 기회가 될 전망이다. 업계 관계자는 "국산 NPU가 과거보다 성능이 많이 개선된 만큼 이제 기술 검증 단계를 넘어 실제 서비스와 시장 적용 단계에 진입하고 있다"며 "정부와 공공 사업 등에서 의미 있는 수요가 만들어진다면 토종 클라우드와 AI 반도체가 함께 성장할 수 있을 것"이라고 말했다. 배경훈 부총리 겸 과기정통부 장관은 지난 4일 'K-AI 반도체 성장 포럼'에서 "국산 AI반도체는 AI 3대 강국 도약이라는 국정과제 실현과 독자 AI 완성을 위한 핵심 기반"이라며 "본격적인 양산과 상용화를 넘어 실질적인 성과를 낼 수 있도록 정부가 마중물 역할을 수행하며 적극 뒷받침하겠다"고 강조했다.

2026.06.05 14:50한정호 기자

인텔 "에이전틱 AI 시대, CPU 중요성 다시 커진다"

[타이베이(대만)=권봉석 기자] 생성 AI와 AI 모델 훈련에 집중되던 데이터센터와 연산 수요가 에이전틱 AI 워크로드와 자체 개발 AI 모델을 활용한 추론으로 옮겨가고 있다. 인텔이 1일(현지시간) 정식 출시한 서버·데이터센터용 프로세서 '제온6+'는 클라우드·통신사, 에이전틱 AI 등 대규모 코어 작동이 필요한 환경을 겨냥했다. 세 환경 모두 높은 처리량과 연산 밀도가 중요시되는 스케일아웃 환경이라는 공통점을 지녔다. 1일 오전 대만 타이베이 험블하우스 내 행사장에서는 케보크 케치치안 인텔 데이터센터그룹 총괄을 비롯해 주요 업계 관계자들이 참석한 가운데 AI 워크로드 변화 속 제온6+의 방향성에 대한 패널 토론이 진행됐다. AI 처리 과정에서 CPU 역할 확대 가속 다니엘 허우 기가컴퓨팅 CEO, 마그누스 에버브링 에릭슨 아태지역 CTO, GPU 클라우드 서비스 기업인 GMI클라우드의 유징 치엔 엔지니어링 부사장 등은 "AI 처리 과정에서 CPU의 역할이 다시 커지는 등 중요도가 높아졌다"고 입을 모았다. 다양한 AI 에이전트가 데이터를 처리하고, 네트워크·스토리지·메모리를 조율하며, GPU 자원을 효율적으로 활용하기 위해서는 강력한 CPU가 필수적이다. 케보크 케치치안 인텔 총괄은 "AI 시대에도 제온은 여전히 제어판이자 기반 인프라가 될 것"이라고 강조했다. AI 에이전트 훈련 위한 환경 조성에도 CPU 필수 과거 AI 인프라 논의의 중심에는 GPU가 있었다. 그러나 에이전틱 AI 확산은 CPU 수요를 구조적으로 늘리고 있다. 위징치엔 GMI클라우드 부사장은 "최근 대형 AI 기업들은 단순히 데이터를 입력하는 사전학습보다 강화학습 기반 후처리에 더 많은 자원을 투입하고 이 과정에서 실제 인터넷 환경을 본딴 대규모 샌드박스 환경이 필요하다"고 설명했다. 이어 "AI 에이전트가 작동하는 환경을 CPU가 만들고 있으며 에이전트 밀도를 높일 수록 학습 속도와 서비스 효율성이 크게 향상된다"고 덧붙였다. "제온6+, 통신사업자의 전력 효율 향상" 마그누스 에버브링 에릭슨 CTO는 "향후 디지털 생태계는 AI와 클라우드, 모바일 네트워크 삼각축으로 구성되며 이동통신망은 AI 서비스를 전달하는 핵심 플랫폼이 될 것"이라고 설명했다. 문제는 폭증하는 트래픽이다. 에릭슨은 향후 10년 동안 이동통신 트래픽이 10~15배 증가할 것으로 전망한다. 마그누스 에버브링 에릭슨 CTO는 "통신사업자에게 가장 중요한 것은 효율성과 예측 가능성이며 제온6+는 성능 대비 전력 효율을 크게 향상시키면서도 장기적인 네트워크 확장성을 제공한다"고 평가했다. 그는 기지국 인근 엣지 데이터센터부터 지역 거점, 중앙 데이터센터까지 다양한 환경에서 동일한 소프트웨어 아키텍처를 유지할 수 있다는 점도 장점으로 꼽았다. "코어 밀도 향상으로 데이터센터 전력 절감 가능" AI 데이터센터가 끌어다 쓰는 막대한 전력이 향후 확장을 가로막는 가장 큰 문제가 될 것이라는 우려가 커지고 있다. 이날 패널들도 AI 데이터센터의 전력 효율성을 당면 과제로 지적했다. 패널들은 제온6+의 높은 코어 밀도와 랙당 처리량을 핵심 가치로 평가했다. 동일한 전력량 안에서 더 많은 AI 에이전트를 운영하고 더 많은 샌드박스를 생성하는 동시에 절감된 전력을 GPU로 돌릴 수 있기 때문이다. 케보크 케치치안 인텔 총괄은 "이제 업계는 단순 코어 수가 아니라 랙 단위에서 얼마나 많은 AI 에이전트를 처리할 수 있는지를 평가하기 시작했다"며 "에이전트 밀도와 전력 효율이 새로운 평가 기준이 될 것"이라고 설명했다.

2026.06.02 06:56권봉석 기자

[AI 고속도로] AI 열풍 탄 '네오클라우드'…인프라 새 전장으로

인공지능(AI) 시대 핵심 자원 그래픽처리장치(GPU)를 전문적으로 공급·운영하는 '네오클라우드'가 글로벌 인프라 시장의 새로운 강자로 떠오르고 있다. AI 경쟁 무게중심이 모델 개발에서 인프라 확보로 이동하는 가운데, 국내 기업들도 차세대 AI 클라우드 시장 선점에 나서는 모습이다. 네오클라우드는 AI 모델 학습과 추론에 필요한 GPU를 서비스형(GPUaaS)으로 제공하는 AI 특화 클라우드 사업자를 뜻한다. 웹서비스와 기업 업무를 폭넓게 처리하는 기존 범용 퍼블릭 클라우드와 달리 AI 연산에 최적화된 구조를 갖춘 것이 특징이다. 네오클라우드가 주목받는 배경에는 폭발적으로 증가한 AI 연산 수요가 있다. 빅테크 기업들의 AI 데이터센터 투자와 소버린 AI 프로젝트 확대로 GPU 수요가 급증했지만 공급은 이를 따라가지 못하고 있다. 동시에 확보한 GPU조차 효율적으로 활용하지 못하는 문제가 나타나면서 AI 전용 인프라 필요성이 커지고 있다. 가격 경쟁력도 강점으로 꼽힌다. 업타임 인스티튜트 분석에 따르면 북미 기준 엔비디아 H100 GPU 온디맨드 사용 비용은 네오클라우드가 시간당 약 34달러로, 하이퍼스케일러 평균인 98달러 대비 크게 저렴한 것으로 나타났다. AI 워크로드에 불필요한 요소를 줄여 비용 효율을 높인 결과다. 글로벌 시장에선 코어위브, 람다랩스, 네비우스 등이 대표 사업자로 부상했다. 특히 코어위브는 오픈AI와 앤트로픽, 구글, 메타, 퍼플렉시티 등 주요 AI 기업에 GPU 인프라를 제공하며 시장을 선도하고 있다. 최근에는 AI 개발 플랫폼 기업 위츠앤바이어스(W&B)를 인수한 데 이어 에이전트 AI 기능까지 출시하며 단순 GPU 임대를 넘어 풀스택 AI 클라우드 기업으로 진화하고 있다. 네비우스 역시 AI 특화 클라우드 기업으로 빠르게 성장 중이다. 러시아 최대 검색엔진 얀덱스에서 분사한 뒤 AI 클라우드 기업으로 전환한 네비우스는 마이크로소프트와 메타, 엔비디아 등과 대형 계약을 체결하며 시장 영향력을 확대하고 있다. 올해 들어 주가가 130% 이상 급등하는 등 투자자들의 관심도 집중되고 있다. 글로벌 자본도 네오클라우드에 몰리는 상황이다. 블랙스톤과 칼라일 등 미국 주요 투자기관들은 코어위브와 람다, 크루소 등 네오클라우드 기업이 보유한 GPU를 담보로 대규모 자금을 공급하고 있다. 시장에선 GPU 자체가 새로운 인프라 자산으로 평가받기 시작했다는 분석도 나온다. 통신사들도 경쟁에 뛰어들고 있다. 일본 소프트뱅크는 엔비디아 GB200 NVL72 기반 네오클라우드 서비스를 올해 정식 출시할 예정이다. 자체 AI 클라우드 운영체제(OS) '인프리니아'를 결합해 학습부터 추론까지 통합 지원하는 구조를 내세우고 있다. 글로벌 통신사들이 AI 인프라 사업자로 영역을 확장하는 흐름이 뚜렷해지는 양상이다. 국내에선 베슬AI와 몬드리안에이아이 등이 대표 주자로 꼽힌다. 베슬AI는 연내 최신 GPU 1만 장 규모 인프라 구축을 추진하며 글로벌 데이터센터 네트워크를 확대하고 있다. 몬드리안에이아이는 AI 플랫폼과 인프라를 결합한 네오클라우드 전략을 내세우며 교육·연구 시장을 공략 중이다. 엘리스그룹 역시 모듈형 데이터센터와 GPU 스팟 요금제를 앞세워 시장 진입에 속도를 내고 있다. 업계에선 네오클라우드가 기존 하이퍼스케일러를 대체하기보다 AI 특화 워크로드를 처리하는 새로운 인프라 축으로 자리 잡을 것으로 보고 있다. 시장조사기관 ABI리서치는 네오클라우드 GPUaaS 시장이 2030년 수백조원 규모로 성장할 것으로 전망했다. 코리 샌더스 코어위브 제품 관리 담당 수석부사장은 최근 미국 IT 전문매체 AI 비즈니스 인터뷰에서 "AI 클라우드는 더 이상 GPU 임대 사업이 아니다"라며 "학습과 추론, 운영을 아우르는 풀스택 플랫폼 경쟁이 시작됐으며 이것이 차세대 AI 인프라 시장의 핵심이 될 것"이라고 강조했다.

2026.05.31 11:00한정호 기자

GPU 확보보다 활용…오케스트로, 추론 특화 플랫폼 '콘체르토 AI' 공개

오케스트로가 생성형 인공지능(AI) 서비스 확산으로 급증하는 추론 수요에 대응하기 위한 AI 인프라 운영 플랫폼을 공개했다. 단순 그래픽처리장치(GPU) 확보 경쟁을 넘어 보유 자원을 얼마나 효율적으로 활용하느냐가 기업 AI 경쟁력으로 떠오르면서, 추론 최적화와 운영 자동화 시장 공략에 나선 모습이다. 오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 출시했다고 29일 밝혔다. 콘체르토 AI는 기업이 보유한 GPU 인프라 활용 효율을 높여 생성형 AI 서비스 운영 과정에서 발생하는 추론 병목과 응답 지연 문제를 줄이는 데 초점을 맞췄다. 최근 기업 시장에선 AI 챗봇과 업무 자동화 에이전트, 검색증강생성(RAG) 기반 서비스 도입이 확대되면서 추론 연산 수요가 빠르게 증가하고 있다. 특히 에이전트형 AI 환경에선 하나의 요청이 여러 모델 호출과 반복 연산으로 이어지면서 GPU 자원 부담이 커지고 있다. 이에 업계에선 GPU 증설보다 기존 인프라 활용 효율을 높이는 운영 기술 중요성이 커지는 추세다. 콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU와 신경망처리장치(NPU) 등 가속기 자원을 작업 특성에 맞게 배분하도록 설계됐다. 질문 분석과 답변 생성 작업을 분리해 각각 최적의 자원에 할당하는 분산 서빙 방식을 적용해 병목 현상을 줄이고 응답 성능을 높인다. 여기에 키-값 캐시(KV Cache) 최적화와 메모리 재사용 기술을 적용해 초기 응답 시간과 토큰 처리 속도를 개선했다. 실시간 대기열과 자원 상태를 반영한 지능형 라우팅 기능도 탑재해 고부하 환경에서도 안정적인 응답 성능을 유지할 수 있도록 지원한다. 오케스트로에 따르면 자체 온프레미스 AI 인프라 환경에서 진행한 벤치마크 결과, 동시 요청이 집중되는 고부하 환경에서 콘체르토 AI의 분산 서빙 방식은 기존 단일 처리 방식 대비 토큰 출력 속도를 2.2배 향상시켰다. 회사는 이를 통해 동일한 하드웨어 환경에서도 응답 지연을 줄이고 추론 처리 안정성을 높일 수 있다고 설명했다. 운영 자동화 기능도 강화했다. 콘체르토 AI는 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 거대언어모델 운영관리(LLMOps) 전 과정을 단일 플랫폼에서 지원한다. 표준화된 모델 패키징 기술을 기반으로 쿠버네티스 환경에서 배포 과정을 자동화하고 초기 응답 시간과 토큰 처리 속도, 자원 사용량 등 주요 운영 지표를 통합 관리할 수 있도록 돕는다. 특히 국내 유일 이기종 AI 가속기 지원 구조도 차별점으로 내세웠다. 엔비디아 GPU뿐 아니라 리벨리온과 퓨리오사AI 등 국산 NPU 환경까지 지원해 기업과 기관이 프라이빗 AI와 소버린 AI 환경에서 특정 하드웨어 벤더 의존도를 낮추고 인프라를 유연하게 구성할 수 있도록 지원한다. 최근 AI 인프라 시장 경쟁축은 학습 중심에서 추론 중심으로 이동하는 분위기다. 생성형 AI 서비스가 실제 업무 환경에 본격 적용되면서 GPU 확보 경쟁을 넘어 운영 효율과 자원 활용 최적화, LLM옵스 역량이 새로운 경쟁력으로 부상하고 있다. 오케스트로 역시 콘체르토 AI를 통해 기업 AI 인프라 운영 효율을 높이고 프라이빗 AI 시장 공략을 강화한다는 전략이다. 김범재 오케스트로 대표는 "생성형 AI가 실제 업무로 확산되고 에이전트형 AI 서비스가 늘어나면서 기업 AI 인프라 과제는 더 많은 GPU를 확보하는 것에서 보유 자원을 얼마나 효율적으로 운영하느냐로 옮겨가고 있다"며 "콘체르토 AI를 기반으로 기업이 보유한 AI 인프라 활용 효율을 높이고 프라이빗 AI 환경에서도 안정적인 AI 서비스 운영을 지원하겠다"고 말했다.

2026.05.29 10:48한정호 기자

[AI는 지금] "추론판 AWS 되겠다"…엔비디아가 베팅한 바세텐, 몸값 110억 달러 논의

인공지능(AI) 반도체 공룡 엔비디아가 투자한 미국 AI 추론 인프라 스타트업 '바세텐(Baseten)'이 110억 달러(약 15조원)의 기업가치로 대규모 투자 유치에 나섰다. 지난 1월 50억 달러의 가치를 평가받은 지 불과 3개월 만으로, 글로벌 AI 시장의 투자 중심축이 거대 모델 '학습'에서 비용 효율화를 위한 '추론(실제 서비스 구동)' 인프라로 급격히 이동한 분위기다. 29일 IT 전문매체 디인포메이션에 따르면 바세텐은 최근 투자자들과 10억 달러 규모 신규 투자 유치를 논의했다. 이번 투자 조건은 투자 후 기업가치 110억 달러를 전제로 한다. 성사될 경우 바세텐의 기업가치는 올해 초 인정받은 50억 달러에서 2배 이상 높아진다. 바세텐은 지난 2019년 미국 샌프란시스코에서 설립된 AI 추론 인프라 기업으로, 고객들이 오픈소스 모델과 자체 조정 모델을 서비스에 배포·운영할 수 있도록 모델 서빙, GPU 자원 관리, 지연시간 최적화, 비용 관리 기능을 제공한다. 주요 고객사로는 AI 코드 편집기 '커서(Cursor)'와 업무 협업 툴 '노션(Notion)' 등이 거론된다. 또 바세텐은 AI 모델 실행 인프라 시장에서 AWS와 같은 플랫폼 지위를 목표로 하고 있다. 클라우드 시장에서 AWS가 기업 컴퓨팅 인프라를 제공하며 성장한 것처럼 바세텐은 AI 시대의 추론 인프라를 겨냥하고 있다. 추론 인프라 수요가 커지면서 바세텐에는 대형 투자자 자금도 몰리고 있다. 바세텐은 올해 1월 50억 달러 평가액으로 3억 달러 투자 유치에 성공했다. 당시 라운드는 벤처캐피털 IVP와 알파벳 계열 독립 성장펀드 캐피털G가 공동 주도했으며 엔비디아도 참여했다. 엔비디아는 해당 거래의 일환으로 바세텐에 1억5000만 달러를 투자하기로 한 것으로 전해졌다. 바세텐은 최근 1년 사이 3차례 투자 유치에 나섰다. 누적 투자 유치액은 5억8500만 달러 수준으로 늘었다. 110억 달러 기업가치가 인정되면 올해 초 투자 라운드 이후 3개월 만에 평가액이 2배 이상 오르게 된다. 엔비디아의 투자는 추론 인프라 시장 확대와 맞물려 있다. 생성형 AI 도입이 확산되면서 기업들은 모델 학습용 GPU뿐 아니라 학습된 모델을 수많은 이용자 요청에 맞춰 빠르게 구동하는 추론 인프라 확보에 나서고 있다. 엔비디아는 GPU 수요를 키우는 추론 플랫폼 기업에 투자하며 하드웨어와 소프트웨어 생태계를 넓히고 있다. AI 업계에선 추론 시장의 성장성이 학습 시장보다 더 클 수 있다는 관측도 나온다. 모델 학습은 대규모 자본과 데이터센터 역량을 갖춘 소수 기업 중심으로 이뤄진다. 반면 추론은 AI 기능을 서비스에 붙이는 모든 기업에서 반복적으로 발생한다. 이용자가 AI 애플리케이션을 호출할 때마다 GPU 연산이 필요하기 때문이다. 오픈소스 AI 모델 확산도 바세텐의 성장 요인으로 꼽힌다. 라마, 딥시크, 미스트랄, 젬마 등 공개 모델을 업무와 서비스에 적용하는 기업이 늘면서 최근 모델 배포와 운영 수요가 증가하고 있다. 이 과정에서 파인튜닝, 모니터링, 비용 관리 등을 통합 지원하는 추론 인프라 플랫폼의 필요성은 커지고 있다. 추론 인프라 시장을 둘러싼 투자 경쟁도 거세지고 있다. 개발자들에게 AI 추론 인프라를 제공하는 파이어웍스AI는 지난해 10월 기업가치 40억 달러를 기준으로 2억5000만 달러를 조달했다. 추론 전용 칩을 설계한 세레브라스도 오픈AI와 파트너십을 맺은 뒤 기업가치 220억 달러로 10억 달러 투자 유치를 논의 중인 것으로 알려졌다. 대형 클라우드 사업자들도 추론 시장을 겨냥하고 있다. AWS, 구글 클라우드, 마이크로소프트 애저는 자체 AI 인프라와 모델 운영 서비스를 강화하고 있다. 코어위브, 람다, 토게더AI 등 GPU 인프라 기업들도 AI 스타트업과 기업 고객을 상대로 추론 워크로드 확보 경쟁을 벌이고 있다. 초기 생성형 AI 경쟁은 대규모 모델 개발과 학습 데이터 확보에 집중됐다. 최근에는 기업들이 AI 기능을 실제 서비스에 적용하기 시작하면서 지연시간, 안정성, 보안, 비용 효율성 등 운영 역량이 경쟁 변수로 떠올랐다. 모델 성능뿐 아니라 서비스 환경에서 모델을 얼마나 빠르고 저렴하게 구동할 수 있는지가 기업 AI 도입의 핵심 조건이 되고 있다. 엔비디아는 AI 반도체 공급자 지위를 넘어 오픈AI, AI 인프라 기업, 애플리케이션 기술 기업 등으로 투자 보폭을 넓히고 있다. GPU를 쓰는 기업에 자본을 투입하고, 이들이 다시 엔비디아 기반 인프라를 확장하는 구조다. 바세텐 투자도 엔비디아의 추론 생태계 확대 전략과 연결돼 있다는 분석이 나온다. 업계 관계자는 "AI 시장의 다음 경쟁은 누가 더 큰 모델을 만드느냐보다 그 모델을 실제 서비스에서 얼마나 빠르고 저렴하게 돌리느냐에 달려 있다"며 "바세텐의 투자 논의는 추론 인프라가 AI 생태계의 핵심 인프라로 자리 잡고 있다는 신호"라고 말했다.

2026.05.29 08:51장유미 기자

[현장] 엔비디아 독주 맞서는 국산 NPU…'추론·피지컬 AI'로 승부수

엔비디아 그래픽처리장치(GPU)가 인공지능(AI) 생태계를 장악하는 가운데, 국내 AI 반도체 기업들이 저전력·고효율 추론과 피지컬 AI 특화 전략을 앞세워 글로벌 시장 공략 의지를 드러냈다. AI 인프라 시장 무게중심이 단순 연산 성능 경쟁에서 전성비와 운영 효율, 인터커넥트, 소프트웨어 생태계 경쟁으로 빠르게 이동하면서 국산 신경망처리장치(NPU) 기업들도 데이터센터·추론·온디바이스 시장을 겨냥한 차별화 전략 강화에 속도를 내는 모습이다. 국내 AI 반도체 대표 기업인 리벨리온·퓨리오사AI·모빌린트 임원진은 28일 서울 강남구 GS타워에서 열린 '솔트룩스 AI 컨퍼런스(SAC)' 패널 토론에 참석해 이같은 비전을 공유했다. 토론은 '엔비디아, 적인가 친구인가? 소버린 AI 반도체의 미래'를 주제로 진행됐으며 사회는 이경일 솔트룩스 대표가 맡았다. 이날 연사들은 AI 시장이 학습 중심에서 추론 중심으로 빠르게 이동하면서 NPU 중요성이 더욱 커지고 있다고 입을 모았다. GPU 중심 AI 인프라가 막대한 전력과 운영 비용 부담으로 이어지면서 저전력·고효율 구조를 구현할 수 있는 추론 특화 반도체 수요가 빠르게 확대될 것이란 전망이다. 김광정 리벨리온 리더는 "AI 서비스 관점에서 비전부터 코드 에이전트까지 다양한 버티컬 서비스를 지원할 수 있는 추론 인프라가 중요해지고 있다"며 "효율적으로 AI 추론 서비스를 제공하는 것이 핵심 경쟁력이 될 것"이라고 말했다. 조영진 퓨리오사AI 부사장은 "최신 GPU는 전력 소모가 워낙 커 데이터센터 자체를 새롭게 지어야 하는 수준"이라며 "초기에는 단순 처리량 중심 경쟁이었다면 이제는 전성비와 총소유비용(TCO)을 중요하게 보는 방향으로 시장이 바뀌고 있다"고 설명했다. 윤상현 모빌린트 최고전략책임자(CSO)는 "우리는 데이터센터보다는 엣지와 온디바이스 환경에 맞춘 NPU를 개발하고 있다"며 "피지컬 AI 시대에 맞는 저전력·고효율 AI 반도체 경쟁력이 중요해질 것"이라고 강조했다. 연사들은 AI 인프라 시장 경쟁 구도가 단순 연산 성능 중심에서 운영 효율과 서비스 비용 경쟁 단계로 빠르게 이동하고 있다고 진단했다. AI 모델 규모가 커질수록 메모리 비용 부담이 핵심 변수로 떠오르고 있는 데다 기업 고객들도 이제는 단순 성능보다 토큰당 비용과 운영 효율성을 중요하게 보기 시작했다는 설명이다. 현장에선 AI 메모리 수급 불안과 비용 부담도 주요 화두로 떠올랐다. 김 리더는 메모리 가격이 지난해 대비 4배 가까이 상승했다고 언급했고 조 부사장 역시 GPU 전력 비용과 데이터센터 증설 부담이 AI 시장 핵심 변수로 떠오르고 있다고 진단했다. 특히 엣지 AI 시장에선 성능뿐 아니라 전력과 가격까지 동시에 만족해야 하는 구조적 한계가 커지고 있다는 분석도 나왔다. 연사들은 제한된 환경 안에서 AI 모델을 얼마나 효율적으로 경량화·양자화할 수 있느냐가 향후 핵심 경쟁력이 될 것으로 내다봤다. 또 수천 개 GPU와 NPU를 병렬로 연결하는 초대형 AI 인프라 시대가 열리면서 인터커넥트와 시스템 아키텍처 경쟁력이 AI 반도체 산업 핵심 변수로 떠오르고 있다고 강조했다. 조 부사장은 "현재 엔비디아와 가장 큰 격차는 인터커넥트와 시스템 기술"이라며 "국내 기업들도 이 부분에 대한 투자를 빠르게 확대하고 있다"고 말했다. 김 리더도 "글로벌 시장에서 경쟁하기 위해선 칩 성능만이 아니라 오픈소스 기반 소프트웨어 스택과 AI 프레임워크를 얼마나 잘 결합할 수 있느냐가 중요하다"며 "칩렛 기반 아키텍처와 네트워크 프로토콜 분야 투자를 지속 강화하고 있다"고 밝혔다. 국산 AI 반도체 기업들은 엔비디아를 단순 경쟁 상대가 아닌 AI 생태계를 키운 협력자이자 동시에 넘어야 할 대상으로 바라봤다. 연사들은 정부 지원이 국내 NPU 기업 성장 과정에서 중요한 역할을 했다고 평가하면서도 장기적으로 글로벌 시장에서 독자 경쟁력을 확보해야 한다고 강조했다. 특히 IT 시장이 과거 메인프레임 중심 구조에서 PC·모바일 중심으로 세분화된 것처럼 앞으로 AI 반도체 시장 역시 추론·엣지·온디바이스·피지컬 AI 등으로 빠르게 분화될 것으로 전망했다. 이에 국산 NPU 기업들도 특정 영역 중심으로 차별화 전략을 구축하면 충분히 글로벌 경쟁력을 확보할 수 있다는 기대감도 나타냈다. 조 부사장은 "현재 엔비디아와 직접 정면 승부를 벌이기보다는 추론 시장에서 차별화된 포지셔닝 전략으로 경쟁력을 확보하는 데 집중하고 있다"며 "10년 뒤에는 국내 AI 반도체 기업들이 세계 최고 수준 기업으로 성장할 수 있을 것으로 믿는다"고 말했다. 윤 CSO는 "온디바이스와 피지컬 AI 시장은 앞으로 빠르게 성장할 영역"이라며 "국내 기업들이 정부 지원을 기반으로 초기 시장을 선점한다면 글로벌 시장에서도 충분히 기회를 만들 수 있을 것"이라고 말했다. 김 리더는 "AI 시장은 특정 기업 중심 독과점 구조보다는 다양한 협력자와 생태계가 공존하는 방향으로 발전할 가능성이 크다"며 "국산 NPU 기업들도 글로벌 AI 생태계 안에서 의미 있는 역할을 차지할 수 있을 것"이라고 밝혔다.

2026.05.28 16:22한정호 기자

"제조업 AX 성패, 암묵지 표준화에 달렸다"

국내 제조업의 인공지능 전환(AX)을 고도화하기 위해 이질적 데이터를 규격화하고, 사후학습을 지원하는 신경망처리장치(NPU) 개발이 시급하다는 지적이 나왔다. 단순한 디지털 전환(DX)을 넘어 인공지능(AI) 중심 완전 자동화를 구현하려면 현장 숙련공의 노하우인 '암묵지'를 데이터화하고, 이를 저비용·고효율로 학습할 수 있는 국산 반도체 생태계가 뒷받침돼야 한다는 내용이다. 차석근 첨단제조표준화포럼 위원장은 27일 서울 양재에서 개최된 '2026 시스템-반도체 포럼'에서 "이제는 DX를 넘어 AX로 나아가야 할 때"라며 "AX 성패는 결국 생산현장에서 다이내믹하게 움직이는 유효 데이터를 어떻게 수집하고 활용하느냐에 달려 있다"고 강조했다. 차 위원장은 "센싱 기술로 현장에 숨어 있는 암묵지 데이터를 끌어올려야 하고, 이를 위해 제각각인 생산현장 데이터를 표준화하는 작업이 선행돼야 한다"고 설명했다. 현재 제조현장의 실제 의사결정은 표준작업지침서(SOP) 같은 형식지보다 오랜 경험을 가진 숙련자 감에 크게 의존하고 있다. 차 위원장은 "베테랑 작업자들은 설비에서 발생하는 미세한 진동음, 제품의 색상 변화, 당일 습도 등 정형화되지 않은 조건을 종합 판단해 공정 변수를 미세 조정한다"고 말했다. 문제는 이러한 판단의 근거가 문서화되지 않아 데이터화하기 까다롭다는 점이다. 불량 예측, 수율 최적화, 이상 탐지 등 AI를 통해 달성하고자 하는 고부가가치 자동화 영역이 바로 이 암묵지에 집중돼 있다는 점이 제조업 AX의 가장 큰 난제다. 차 위원장은 발표자료에서 "기존 형식지만 AI에 학습시킬 경우 현장의 단편적 공정만 자동화될 뿐, 제조업의 핵심 가치를 AI 모델에 담기 어렵다"고 덧붙였다. 업계는 암묵지를 기계가 인식할 수 있는 구조화·표준화된 데이터 형태로 번역하고, 이를 기반으로 생산공정을 100% 자동화하는 데 역량을 집중하고 있다. 제조 데이터의 높은 이질성은 걸림돌이다. 공장 내부에는 여러 벤더의 설비와 서로 다른 세대 장비가 혼재돼 있다. 통신 프로토콜과 단위, 샘플링 주기, 태그 명명 규칙 등이 제각각 얽혀 있다. 이에 따라 일정한 규격에 맞춰 암묵지를 정제하는 표준화 프로세스가 필수다. "피지컬 AI 시대, 학습 가능한 NPU가 핵심" 포럼에서는 '학습 기능'을 내장한 NPU 개발 필요성도 논의됐다. 장성준 한국전자기술연구원(KETI) 센터장은 "현재 시장에 나와 있는 NPU가 주로 추론 기능에 초점이 맞춰져 있는 것은 사실이지만, 미래에는 NPU가 학습 기능까지 수행하는 방향으로 나아가지 않을까 한다"고 전망했다. 장 센터장은 "로봇 파운데이션 모델은 범용 작업에 특화돼 새로운 작업에 직면했을 때는 제대로 대응하지 못할 가능성이 크다"며 "생산현장에서 발생하는 소량 샘플 데이터만으로도 실시간 학습을 수행할 수 있는 능력이 필수이고, 이때 온디바이스 NPU나 그래픽처리장치(GPU)가 경량 학습을 지원할 수 있어야 한다"고 짚었다. 아울러 제조현장 내 온프레미스 환경에서 사후학습과 파인튜닝(미세조정) 역할이 커지고 있다고 덧붙였다. 그는 "중앙 GPU 데이터센터에서 1차로 학습된 거대 모델을 가져와 각 팩토리의 고유 데이터에 맞게 파인튜닝하는 과정이 핵심"이라며 "이 과정에서 NPU가 같이 학습을 담당할 수 있으면 총소유비용(TCO)이 절감될 것"이라고 설명했다. 다만 장 센터장은 "현재 국내 반도체 생태계에는 학습 기능을 지원하는 토종 NPU가 전무한 실정"이라며 "아마존웹서비스(AWS)의 트레이니움이나 구글의 텐서처리장치(TPU)처럼 국내에서도 학습을 지원하는 NPU가 나와야 한다"고 말했다.

2026.05.27 14:09진운용 기자

'AI 거품설' 일축...엔비디아 "AI 투자 3조 달러 시대 온다"

"에이전틱 AI 시대에 접어들어 AI가 실제로 생산적이고 가치 있는 일을 수행하기 시작했다. 연산 역량이 매출과 영업이익에 직결되는 시대가 왔다. 토큰이 수익을 내고 주요 AI 기업들이 더 많은 서비스를 생산하기 위한 경쟁에 돌입했다." 20일(현지시간) 1분기(2~4월, 회계연도 기준 2027년 1분기) 실적 발표 이후 진행된 컨퍼런스콜에서 젠슨 황 엔비디아 CEO가 이렇게 강조했다. 이날 엔비디아가 공개한 1분기 매출은 816억 1500만 달러(약 122조 2503억원)로 전년 동기(440억 달러) 대비 85% 늘어났다. 영업이익은 535억 달러(약 80조 1371억원)로 전년 동기(187억 달러) 대비 세 배 이상 늘어났다. 젠슨 황 CEO는 "현재 AI 인프라 수요는 포물선 형태로 늘어나고 있다. 엔비디아는 모든 프론티어 AI 모델을 지원하는 유일한 플랫폼이며 하이퍼스케일 클라우드뿐 아니라 AI 네이티브 클라우드, 소버린 AI, 산업용 AI, 로보틱스까지 모두 지원한다"고 강조했다. "차세대 GPU '베라 루빈', 올 3분기부터 공급 시작" 이날 콜렛 크레스 엔비디아 최고재무책임자(CFO)는 "베라 루빈 출하는 올 3분기부터 시작해 4분기부터 대량 생산에 들어간다. 내년 1분기에는 큰 규모의 매출이 일어날 것"이라고 설명했다. 이어 "이미 주요 고객들의 주문 계획이 확정된 상태이며 수요 역시 충분히 확보됐다. 현재는 복잡한 시스템 조립과 생산 타이밍이 핵심 변수"라고 덧붙였다. 젠슨 황 CEO도 "모든 선도 AI 모델 기업이 베라 루빈을 도입할 것으로 예상된다. 베라 루빈은 블랙웰보다 더 성공적인 제품이 될 것"이라고 강조했다. 베라 루빈은 Arm 기반 88개 코어 탑재 CPU인 '베라'와 GPU '루빈'으로 구성된다. 엔비디아는 전 세대와 달리 올해부터는 베라 CPU를 별도로 분리해 공급할 예정이다. 젠슨 황 CEO는 "수십억 개 AI 에이전트가 등장하면 이들이 사용하는 도구와 오케스트레이션 작업은 CPU가 담당하게 된다. 올해 CPU에서 200억 달러 매출이 예상된다"고 설명했다. "AI 투자, 연 3조 달러 규모 간다" 젠슨 황 CEO는 글로벌 클라우드 업체와 하이퍼스케일러의 투자 규모에 대해서 낙관론을 내놨다. 그는 "애널리스트들은 하이퍼스케일러 투자가 내년 1조 달러에 달할 것이며 장기적으로는 3~4조 달러까지 지속 성장할 것"이라고 말했다. 그는 “AI 기업들은 과거 SaaS 기업들이 10년 걸려 달성했던 성장을 단 몇 달 만에 만들어내고 있다”며 “AI는 엄청난 수준의 컴퓨팅을 필요로 한다”고 설명했다. 특히 엔비디아는 향후 AI 데이터센터 시장이 단순 하이퍼스케일러를 넘어 산업·기업·국가 단위로 확대될 것으로 전망했다. 젠슨 황 CEO는 "현재 두 번째 시장군인 AI 네이티브 클라우드, 엔터프라이즈, 산업용 AI, 소버린 AI 시장이 매우 빠르게 성장하고 있다. 장기적으로 이 시장 규모가 하이퍼스케일러 시장보다 더 커질 가능성이 높다"고 말했다. "피지컬 AI와 로보틱스·추론 시장 확대 전망" 젠슨 황 CEO는 향후 AI 시장의 중심 축이 피지컬 AI와 로보틱스로 확장될 것으로 전망했다. "전 세계 수십만 개 기업들이 자체 AI 팩토리를 구축하게 될 것이며 특히 제조·산업 분야는 클라우드가 아닌 온프레미스 인프라가 필요하다"고 강조했다. 그는 "앞으로 수십억 개의 자율주행·로봇 시스템이 실제 세계에서 작동하는 시대가 올 것이며 엔비디아는 30년에 걸쳐 컴퓨팅 플랫폼을 구축해왔다"고 말했다. 젠슨 황 CEO는 추론 시장 점유율 확대도 전망했다. 그는 "올해 앤트로픽과 전략적 협력을 시작했고 AWS, 마이크로소프트 애저, 코어위브 등 다양한 클라우드 사업자를 통해 대규모 컴퓨팅 용량을 공급하고 있다"고 설명했다. "미국 정부 승인에도 중국 GPU 사업 여전히 불투명" 젠슨 황 CEO는 지난 주 미-중 정상회담 당시 도널드 트럼프 미국 대통령 전용기에 함께 탑승해 중국 베이징으로 향했다. 정상회담 직후 로이터통신은 "미국 상무부가 알리바바, 텐센트, 징둥닷컴 등 중국 기업 10여 곳에 H200 GPU 공급을 승인했다"고 보도했다. 그러나 콜렛 크레스 CFO는 "실제로 매출은 발생하지 않았다. 중국 정부의 수입 허가 여부도 불확실하다. 이 때문에 지난 분기와 마찬가지로 이번 가이던스에도 중국 시장 매출은 포함하지 않았다"고 설명했다.

2026.05.21 07:56권봉석 기자

딥시크, V4 모델 공개…"저비용 AI로 경쟁력 강화"

딥시크가 저비용·고성능 전략을 앞세운 인공지능(AI) 모델을 새로 내놔 기술 경쟁력 강화에 나섰다. 딥시크는 24일 거대언어모델(LLM) '딥시크 V4' 프리뷰 버전을 공개했다고 밝혔다. 모델은 프로와 플래시 두 가지 버전으로 제공된다. 이번 모델은 이전과 동일하게 오픈소스로 공개됐다. 사용자는 해당 모델 기능과 성능을 직접 시험할 수 있다. 개발자가 코드를 내려받아 수정하고 로컬 환경에서도 이를 실행할 수 있다. 딥시크는 이번 모델이 에이전트 기반 작업과 지식 처리 추론 영역에서 경쟁사 대비 높은 성능을 확보했다고 설명했다. V4는 특히 추론 비용 절감에 초점 맞춘 것으로 나타났다. 추론 비용은 AI 모델을 실제로 실행해 결과를 생성할 때 드는 컴퓨팅과 비용을 의미한다. 딥시크는 해당 모델이 앤트로픽 '클로드 코드'와 '오픈클로' 등 에이전트 도구 가능하다고 밝혔다. 벤치마크 기준으로는 낮은 비용 대비 높은 에이전트 성능을 보일 가능성도 알렸다. 딥시크는 2024년 V3 모델 출시에 이어 2025년 R1 모델을 통해 시장 주목을 받았다. R1이 낮은 성능 칩으로 약 2개월 만에 600만 달러 미만 비용으로 개발됐다는 주장 때문이다. 다수 외신은 이번 V4가 시장에 미치는 충격이 R1 수준에는 미치지 못할 것으로 분석했다. 이미 투자자들이 중국 AI 경쟁력과 비용 우위를 일정 부분 반영했기 때문이다. 업계에선 V4 출시 뒤 중국 내 AI 경쟁은 더욱 치열해질 것이란 전망이 나오고 있다. CNBC는 "알리바바와 바이트댄스 등 주요 기업이 잇따라 모델을 출시하며 딥시크와 직접 경쟁 구도를 형성하기 시작했다"고 보도했다. V4 학습에 사용된 칩 역시 주요 변수로 꼽힌다. 화웨이는 어센드 AI 프로세서 기반 클러스터가 V4를 지원할 수 있다고 밝혔지만 실제 학습 과정에서의 사용 비중은 공개되지 않은 상태다. 중국은 미국의 수출 규제로 엔비디아 최신 칩 확보에 제약을 받아왔다. 이에 따라 정부는 자국 반도체 사용을 확대하며 AI 주권 확보에 속도를 내고 있다. 웨이 쑨 카운터포인트 리서치 수석 AI 애널리스트는 "V4가 훨씬 낮은 비용으로 뛰어난 에이전트 역량을 제공할 수 있을 것"이라며 "글로벌 AI 개발 속도 향상을 도울 것"이라고 CNBC를 통해 밝혔다.

2026.04.25 17:11김미정 기자

[AI는 지금] 구글, 학습·추론 모두 효율로 승부…AI 인프라 판 흔든다

구글이 여러 데이터센터에 나뉜 연산 자원으로 대규모 인공지능(AI) 모델을 학습시키는 기술을 공개했다. 통신량과 장애 영향을 줄인 구조로, 초거대 AI 인프라 경쟁에서도 성능 못지않게 효율이 핵심 변수로 떠오르고 있다. 구글 딥마인드는 23일(현지시간) 공식 블로그를 통해 '디커플드 디로코(Decoupled DiLoCo)'를 발표했다. 대규모 학습 작업을 여러 개의 독립된 연산 단위로 나누고, 이들 사이에 비동기식으로 데이터를 주고받는 구조다. 동일한 칩을 하나의 대형 클러스터로 묶어 동기 상태를 유지하는 기존 방식과 달리 떨어진 데이터센터의 연산 자원을 여러 학습 단위로 나눠 운영하는 것이 핵심이다. 디커플드 디로코는 여러 지역에 나뉜 연산 자원을 묶어 학습을 이어가는 분산 학습 구조다. 특정 구역에서 장애가 발생해도 전체 학습이 멈추지 않도록 설계했다. 구글은 이 구조를 적용해 미국 4개 지역에서 120억 개 매개변수(12B) 모델을 2~5기가비피에스(Gbps) 광역망으로 학습시켰고, 기존 동기화 방식 대비 20배 이상 빠른 결과를 냈다. 또 별도 전용망 없이도 광역 네트워크 수준에서 생산급 분산 사전학습이 가능하다는 점도 강조했다. 장애 상황을 가정한 실험도 진행했다. 카오스 엔지니어링(chaos engineering) 방식으로 하드웨어 장애를 넣은 환경에서 일부 학습 단위가 중단된 뒤에도 전체 학습을 이어갔다. 또 복구된 단위는 다시 체계에 편입됐다. 특정 장비나 특정 구역의 문제가 전체 학습 작업으로 번지는 영향을 줄이도록 설계한 구조란 점에서 주목된다. 디커플드 디로코는 기존 디로코(DiLoCo)를 확장한 기술이다. 구글 딥마인드는 지난 2023년 연결성이 낮은 여러 연산 구역에서도 언어모델을 학습할 수 있는 저통신 분산 학습 기술인 디로코를 공개했다. 당시 8개 작업 단위 기준 완전 동기식 최적화와 유사한 성능을 내면서도 통신량은 500배 줄였다고 밝힌 바 있다. 이번에는 여기에 비동기 데이터 흐름과 장애 격리 구조를 더했다. 이는 구글의 6세대 텐서처리장치(TPU)인 트릴리움 운용 전략과도 연결된다. 구글은 디커플드 디로코를 통해 'TPU v6e'와 'TPU v5p' 등 서로 다른 세대의 칩을 하나의 학습 작업에 함께 투입할 수 있다고 설명했다. 신형 칩이 모든 지역에 동시 배치되지 않는 만큼, 최신 칩 확보뿐 아니라 기존 설비 활용도도 AI 인프라 경쟁력을 가르는 요소로 부상하고 있다. 이와 별개로 구글은 추론 병목 완화에도 속도를 내고 있다. 특히 구글 리서치가 지난 3월 공개한 '터보퀀트(TurboQuant)'는 생성형 AI 운영의 최대 걸림돌로 꼽히는 메모리 병목을 압축 기술로 줄일 수 있다는 점에서 업계의 높은 관심을 받았다. 터보퀀트는 LLM의 임시 기억장치인 'KV 캐시'를 3비트 수준으로 압축해 정확도 손실 없이 메모리 사용량을 최소 6배 줄이는 기술이다. 이를 통해 구글은 디커플드 디로코로 학습 단계에서 네트워크와 장애 영향을 줄이고, 터보퀀트로 추론 단계에서 메모리 병목을 낮추는 방식으로 AI 인프라 전반의 효율 개선에 나선 것으로 보인다. 경쟁사들도 비슷한 방향으로 움직이고 있다. 엔비디아는 블랙웰 계열에서 추론 성능과 함께 토큰당 비용 절감, 전력 효율을 강조하고 있다. 마이크로소프트(MS)는 마이아 200(Maia 200)을 AI 토큰 생성의 경제성을 높이기 위한 추론 가속기로 소개했다. 메타는 MTIA 로드맵을 공개하며 맞춤형 반도체를 인공지능 인프라 전략의 중심에 두겠다고 밝혔다. 아마존웹서비스(AWS)도 트레이니엄3 울트라서버를 내놓으며 비용 효율과 에너지 효율을 전면에 내세웠다. 다만 구글은 칩 성능이나 서비스 단가에만 초점을 맞추지 않았다는 점에서 차별화된 모습을 보이고 있다. 학습 단계에선 데이터센터 간 분산 학습 구조를 손보고, 추론 단계에선 메모리 병목을 줄이는 방식으로 접근 범위를 넓혔다. 서로 다른 세대의 하드웨어를 함께 쓰는 구조까지 제시한 점도 특징이다. 업계 관계자는 "이제 AI 인프라 경쟁은 더 많은 칩 확보에서 끝나지 않는다"며 "분산된 자원을 얼마나 안정적으로 묶어 학습시키고, 추론 비용을 얼마나 낮추느냐가 핵심 경쟁력으로 떠오르고 있다"고 설명했다.

2026.04.24 16:43장유미 기자

인텔 "데이터센터 내 CPU 비율, GPU 추월 가능"

인텔이 23일(현지시각) 올 1분기 실적발표 이후 진행된 컨퍼런스 콜에서 "에이전틱 AI 수요 등으로 CPU 수요가 크게 늘어나고 있으며 향후 데이터센터 내 CPU 비율이 GPU를 넘어설 수 있다"고 전망했다. 이날 인텔이 내놓은 1분기 실적에 따르면 서버용 제온6 프로세서를 공급하는 데이터센터 및 AI(DCAI) 그룹 매출은 전년 동기 대비 22% 성장한 51억 달러(약 7조 5480억원) 매출을 기록했다. 립부 탄 인텔 CEO는 "AI 처리가 추론으로 이동하는 상황에서 작업 조율과 제어, 다양한 에이전트와 데이터 관리 측면에서 CPU가 더 효율적"이라고 설명했다. 이어 "과거 CPU:GPU 비율은 1:8이었지만 현재는 1:4까지 왔다. 앞으로는 CPU:GPU 비율이 1:1로 동등해지거나 CPU 비중이 더 커질 수 있다"고 강조했다. "공급량 부족으로 기회 놓쳐... 수율 개선 위해 노력" 단 서버용 주력 제품을 생산하는 인텔 3 공정의 공급 부족은 작년 4분기에 이어 1분기에도 영향을 미쳤다. 데이비드 진스너 CFO 역시 "1분기 충족하지 못한 수요에 대해 구체적인 숫자를 밝힐 수 없지만 'b(10억 달러)'로 시작하는 의미 있는 수준"이라며 이를 간접적으로 시인했다. 이어 "인텔 7, 인텔 3, 인텔 18A 등 세 개 공정의 웨이퍼 투입량을 늘리고 있다. 립부 탄 CEO가 수율과 처리량 확보를 위해 인텔 파운드리 담당자들을 독려했고 1분기 의미있는 성과를 얻었다"고 설명했다. 코어 울트라 시리즈3(팬서레이크), 제온6+(클리어워터 포레스트) 등을 생산하는 인텔 18A 공정 수율에 대해서는 "구체적인 수치를 공개할 수 없지만 올 연말 달성했던 목표를 연 중반까지 달성할 수 있을 것"이라고 설명했다. "패키징·ASIC 사업에서 수십억 달러 매출 예상" 립부 탄 CEO는 인텔 파운드리 사업의 한 분야인 맞춤형반도체(ASIC)과 관련해 "인텔은 CPU와 패키징, 첨단 공정을 모두 갖추고 있어 고객사 요구에 최적화된 실리콘을 생산할 수 있는 특별한 위치에 있다"고 설명했다. 데이비드 진스너 CFO는 "작년 9월 케이던스 출신 스리니바산 아이옌가 수석부사장과 립부 탄 CEO가 ASIC 사업을 시작했고 연간 10억 달러(약 1조 4820억원) 규모 매출이 예상된다"고 설명했다. 각종 패키징 관련 사업에 대해 "당초 수억 달러 규모 수요를 예측했지만 현재는 수십억 달러 규모 매출이 예상된다"며 "수주 잔고량(백로그)가 이미 증가한 상태이며 이를 처리하기 위해 말레이시아(페낭) 내 시설 확장에 나선 상태"라고 밝혔다. "테라팹, 반도체 수요 충족 위한 공동 프로젝트" 인텔 1분기 실적 발표 전날인 22일(현지시간) 일론 머스크 테슬라 CEO는 1분기 실적발표에서 "반도체 생산시설 신규 건립을 위한 테라팹 프로젝트에 인텔 14A(1.4나노급) 공정을 활용할 것"이라고 밝힌 바 있다. 립부 탄 CEO는 "일론 머스크와 나는 글로벌 반도체 공급망이 AI 수요의 급격한 증가를 따라가지 못한다는 문제 인식을 공유한다"며 "공정과 제조에서 혁신적인 방법을 함께 연구하는 매우 폭넓은 관계"라고 설명했다. 다만 테라팹 운영 방식이 인텔이 주도하는 방식인지, 혹은 공정 기술을 라이선스하는 방식인지를 묻는 질문에는 구체적인 답변을 피했다. 그는 "향후 테라팹 관련 내용을 진행하며 추후 구체적인 내용을 공개할 예정이며 기다려 달라"고 답했다. "올해 수율 등 개선해 시장 수요 충족에 주력" 립부 탄 CEO는 x86 기반 프로세서 제조사인 AMD와 서버 시장에서 경쟁에 대해 "현재 로드맵을 계속 조정하고 있다. 현행 제온6 프로세서의 차세대 제품인 '코랄래피즈'에는 하이퍼스레딩(SMT) 기술을 투입해 경쟁력을 확보할 것"이라고 설명했다. Arm에 대해서는 "Arm은 IP 라이선스 모델을 효과적으로 운용해 왔고 아마존과 구글이 Arm 기반 네오버스 CSS로 자체 CPU를 만드는 것은 새로운 일이 아니다"라고 평가했다. 그는 컨퍼런스 콜 말미에 "작년에는 인텔이 생존하기 위해 노력했다면 지금은 얼마나 빨리 공급량을 늘리느냐가 더 큰 문제"라며 "2026년은 실행의 해로 수율, 생산성, 사이클 타임을 개선해 수요를 따라잡겠다"고 강조했다.

2026.04.24 09:32권봉석 기자

인텔 "아크 프로 B70·B65, 추론 특화 GPU 시장 현실적 선택지"

"아크 프로 B70은 클라우드에 의존하지 않는 온프레미스(On-Premise) AI를 구축할 수 있는 성능과 32GB 대용량 메모리를 갖췄습니다. AI가 실험 단계를 넘어 실무로 확산되는 현 시점에서 현실적인 선택지입니다." 21일 서울 여의도 인텔코리아에서 만난 주민규 인텔코리아 한국 채널영업본부장(전무)가 이렇게 강조했다. 인텔은 지난 3월 말 AI 추론 수요를 겨냥한 워크스테이션용 GPU '아크 프로 B70/B65'를 출시했다. GDDR6 32GB 메모리를 탑재해 중소규모 기업과 개발자가 대형 언어모델(LLM)을 로컬 환경에서 직접 구동할 수 있게 한 것이 핵심이다. "32GB 메모리로 클라우드 없이 대용량 LLM 구동" 아크 프로 B70은 Xe2 코어 32개와 32GB 메모리 기반으로 대용량 AI 모델을 분할 없이 구동할 수 있다는 점이 차별화 포인트다. 연산 성능은 최대 367 INT8 TOPS(초당 1조 회 연산) 수준이다. 현재 시중에서 32GB 메모리를 탑재한 엔비디아 지포스 RTX 5090이 500만원을 웃도는 반면, 아크 프로 B70은 949달러(약 140만원) 수준이다. 200억 개 이상 매개변수를 가진 모델도 로컬 GPU에서 직접 실행할 수 있다. 메모리 용량과 비용 효율을 중시하는 환경을 겨냥했다. 주민규 본부장은 "보안 규제로 클라우드 활용이 제한된 기업이나 기관에서 관심이 높다"며 "비용 부담을 낮추려는 중소규모 조직에도 현실적인 대안이 될 수 있다"고 말했다. "추론 특화 GPU 시장 선점 노린다" 주 본부장은 아크 프로 B70/B65를 소비자용이 아닌 '추론 특화 GPU'로 규정했다. 그는 "현재 AI 시장은 학습보다 실제 서비스 운영 단계의 추론 수요가 더 빠르게 증가하고 있다"며 "다수 기업이 참여하는 성장 초기 시장이라고 판단했다"고 설명했다. 이어 "기업들이 AI를 실험 단계에서 실제 적용 단계로 전환하면서, 추론을 효율적으로 처리할 수 있는 인프라에 대한 관심이 높아지고 있다"며 "이 수요를 겨냥해 선제적으로 제품을 출시했다"고 덧붙였다. "AI 도입 초기 설치 장벽 낮추는 SW도 준비" 온프레미스 AI 확산의 걸림돌로는 초기 구축 난이도가 꼽힌다. 현재는 비개발자가 로컬 환경에서 AI를 실행하기까지 복잡한 설치 과정을 거쳐야 한다. 에이전틱 AI 소프트웨어 '오픈클로'도 윈도 환경에서 최소 5단계를 거쳐야 구동된다. 주 본부장은 "AI 활용의 확산은 초기 진입 장벽을 얼마나 낮추느냐에 달려 있다"고 말했다. 인텔은 이를 해결하기 위해 소프트웨어 협력사와 함께 클릭 한 번으로 AI 실행 환경을 구성할 수 있는 설치 도구를 준비 중이다. 해당 소프트웨어는 근시일 내 배포될 예정이다. "안정적 드라이버 지원으로 제품 수명·활용 범위 확장" 인텔은 아크 GPU 출시 이후 드라이버 지원을 지속적으로 강화해왔다. 게임 출시와 동시에 대응하는 '데이제로' 드라이버를 제공하고, 월 2~3회 업데이트를 유지하고 있다. 최근 펄어비스 신작 게임 '붉은사막'이 아크 GPU에서 실행되지 않는 문제가 발생하자 약 10일 만에 수정 드라이버를 배포하기도 했다. 신규 장비 도입 후 장기간 운영되는 기업 환경에서는 드라이버 업데이트의 중요성이 더 크다. AI 모델과 소프트웨어 지원을 통해 활용 범위를 지속적으로 확장할 수 있기 때문이다. 주 본부장은 "제품 수명주기 동안 일관된 드라이버 지원은 필수"라며 "시장 점유율과 무관하게 지원을 지속하는 것이 인텔의 방향"이라고 강조했다. "방향성 다른 소비자·기업 만족 위해 노력" 인텔은 2022년 이후 아크 GPU 라인업을 확대해왔다. 데스크톱용 A770·A750을 시작으로 B580/B570을 출시했고, 워크스테이션용으로는 A60, B60/B50, B70/B65까지 제품군을 확장했다. 주 본부장은 "인텔은 일반 소비자 시장과 전문가용 시장 모두 중요하게 보고 있다. 일반 소비자용 시장은 경쟁이 치열하지만 전체적인 시장 규모는 기업용 시장이 크다. 어느 시장에 더 중점을 둔다고 말하기는 어렵다"고 말했다. 그는 "다만 일반 소비자가 원하는 게임 성능과 기업·개발자가 요구하는 추론 성능은 기술적으로 차이가 있다"며 "두 시장을 동시에 만족시키는 것이 인텔의 목표"라고 덧붙였다.

2026.04.22 08:49권봉석 기자

SKT, CPU에 NPU 더해 AI 추론 서버 성능 검증

ARM의 AGI CPU와 리벨리온의 리벨카드로 AI 추론 성능을 높이는 솔루션을 개발하고 이를 SK텔레콤 AI 데이터센터에서 실증한다. SK텔레콤이 지난 9일 ARM, 리벨리온과 차세대 AI 인프라 혁신을 위한 전략적 업무협약을 체결했다. AI 산업이 AI 모델을 만드는 '학습'에서 실제 서비스를 제공하는 '추론'으로 패러다임 변화가 이뤄지면서 AI 인프라의 핵심과제도 학습을 위한 막대한 연산 능력보다는 얼마나 적은 전력으로 얼마나 빠르고 저렴하게 AI 서비스를 제공할 수 있느냐로 변하고 있다. 특히 추론은 365일 쉬지 않고 작동해야 되기 때문에 전력 효율이 곧 비용 경쟁력과 직결된다. AI 추론은 학습과 달리 상대적으로 가벼운 연산을 빠르고 반복적으로 처리하는 작업이다. GPU는 이런 추론 작업에도 사용할 수 있지만, 마치 대형 트럭으로 택배를 배달하는 것처럼 과도한 전력을 소모하고 비용이 높다. 이에 업계에서는 추론에 특화된 전용 칩, 즉 NPU가 대안으로 부상하고 있다. NPU에 CPU를 결합하는 이유도 명확하다. 실제 AI 서비스 운영에서는 AI 연산 외에도 데이터 입출력, 네트워크 통신, 메모리 관리, 작업 스케줄링 등 다양한 범용 처리가 동시에 필요하다. CPU가 시스템의 '관제탑' 역할을 하며 데이터 흐름과 시스템 운영을 총괄하고, NPU가 AI 추론 연산을 전담하는 이종 컴퓨팅 구조는 시스템의 성능과 효율을 높일 수 있다. 'Arm AGI CPU'는 ARM이 35년 역사상 처음으로 직접 생산에 나선 데이터센터용 프로세서로, AI 추론 서비스에 최적화된 것이 특징이다. 리벨리온의 리벨카드도 대규모 AI 추론에 특화된 NPU다. 두 칩을 한 서버 안에 탑재해 CPU가 데이터 처리와 시스템 운영 등 범용 연산을 담당하고, NPU가 AI 추론 연산을 전담하면 전력 효율을 높이고 운영 비용을 줄일 수 있다. SK텔레콤은 이러한 방식이 대규모 AI 서비스를 운영하는 데이터센터에서 효율적인 서버 아키텍처라고 설명했다. ARM과 리벨리온은 이미 지난 3월 진행된 'Arm 에브리웨어' 행사에서 각 사의 칩을 결합하여 오픈 AI의 언어모델인 GPT OSS 120B 기반의 에이전틱 AI 서비스를 실시간으로 시연하며, 대규모 데이터센터에서의 상용화 가능성을 보여줬다. SK텔레콤은 AI DC에서 CPU와 NPU를 결합한 AI 추론 컴퓨팅의 성능을 검증하고, 특히 독자 개발한 AI 파운데이션 모델 에이닷엑스 케이원(A.X K1)을 운영하는 방안도 검토하고 있다. 이재신 SK텔레콤 AI 사업개발 담당은 “추론에 최적화된 인프라와 독자 파운데이션 모델 A.X K1을 결합한 풀 패키지를 제공함으로써 AI 데이터센터 경쟁력을 더욱 강화해 나가겠다”고 말했다. 에디 라미레즈 ARM 클라우드 AI 사업부 GTM 부사장은 “AI 추론의 급속한 성장은 대규모 배포에 최적화된 새로운 데이터센터 인프라 수요를 촉진하고 있다”며, “SK텔레콤, 리벨리온과 같은 파트너는 Arm AGI CPU를 구축하고 AI 추론 인프라를 현대화하는 데 있어 중요한 역할을 하고 있다”고 전했다. 리벨리온의 오진욱 CTO는 “리벨리온은 압도적인 성능과 전력 효율을 갖춘 '리벨카드'와 풀스택 소프트웨어 경쟁력을 바탕으로 차세대 AI 데이터센터를 지탱하는 핵심 축을 담당하게 됐다”며, “AI 특화 인프라 구축을 위해 각 분야 전문가들이 원팀으로 뭉친 이번 협력은 업계에서도 매우 유의미한 선례가 될 것으로 기대한다”고 강조했다.

2026.04.11 03:42박수형 기자

리벨리온, Arm·SKT와 협력...추론 인프라 시장 겨냥

인공지능(AI) 반도체 스타트업 리벨리온이 Arm, SK텔레콤 등 글로벌 AI 기업과 협력해 추론 인프라 시장을 겨냥한다고 10일 밝혔다. 소버린 AI와 통신사 특화 데이터센터 수요에 대응한 추론 인프라 제공이 목표다. 3사는 Arm의 자체 설계 데이터센터용 중앙처리장치(CPU)인 'AGI CPU'와 리벨리온의 AI 반도체를 결합한 AI 서버를 공동 개발하고, 이를 SK텔레콤의 AI 데이터센터에서 검증할 계획이다. 리벨리온은 "AI 인프라 분야 전문 기업이 참여하는 이번 연합은 급성장하는 추론 시장 수요에 기민하게 대응하고, 고성능·저전력 기반 소버린 AI 인프라 표준 정립이 목표"라고 설명했다. 이어 "이를 통해 인프라 설계부터 실전 검증까지 전 밸류체인을 포괄하는 협력 체계를 구축할 계획"이라고 덧붙였다. 이를 위해 Arm 네오버스(Neoverse) CSS V3 기반의 'Arm AGI CPU'와 리벨리온의 '리벨카드'를 통합한다. 리벨카드는 기존 1세대 칩 ATOM을 비롯한 국내외 AI 반도체 다수가 RTX 등 워크스테이션급 칩과 비교돼 온 것과 달리, 한국 최초로 데이터센터 서버급 고성능 AI 반도체 리벨100을 탑재했다. 리벨리온과 Arm은 단순 하드웨어 결합을 넘어 펌웨어 등 소프트웨어 전반을 공동으로 개발하고, SK텔레콤 데이터센터에 도입하여 실제 운영환경에 배치해 데이터 처리 성능과 안정성을 검증한다. 특히, SK텔레콤이 개발한 독자 파운데이션 모델 A.X K1를 해당 서버로 운영하는 방안도 검토 중이다. Arm과 리벨리온은 지난 3월 'Arm 에브리웨어' 행사에서 각 사 칩을 결합해 오픈 AI의 언어모델인 GPT OSS 120B 기반의 에이전틱 AI 서비스를 실시간 시연하며, 초기 검증 결과와 대규모 데이터센터 워크로드 적용 가능성을 확인했다. 기술 검증 후 3사는 더 넓은 범위의 상용화 기회를 발굴할 예정이다. 리벨리온은 글로벌 소버린 AI 데이터센터 최적화 솔루션을 공급하고, 아시아 지역을 중심으로 시장을 공략할 계획이다. 독자 AI 인프라 구축이 필요한 글로벌 통신사와 공공 산업군을 중심으로, 안정성이 검증된 맞춤형 특화 솔루션 공급에 주력할 예정이다. 오진욱 리벨리온 최고기술책임자(CTO)는 “리벨리온은 압도적 성능과 전력 효율을 갖춘 '리벨카드'와 풀스택 소프트웨어 경쟁력을 바탕으로 차세대 AI 데이터센터를 지탱하는 핵심 축을 담당한다”며 “AI 특화 인프라 구축을 위해 각 분야 전문가가 원팀으로 뭉친 이번 협력은 업계에도 유의미한 선례가 될 것"이라고 기대했다. 이재신 SK텔레콤 AI 사업개발 담당은 “추론에 최적화된 인프라와 독자 파운데이션 모델 A.X K1을 결합한 풀 패키지를 제공해 AI 데이터센터 경쟁력을 강화하겠다”고 말했다. 에디 라미레즈 Arm 클라우드 AI 사업부 GTM 부사장은 “AI 인프라가 전 세계적으로 확산됨에 따라 가속기, 메모리, 네트워킹 전반 워크로드를 조율하는 CPU 역할이 중요해졌다”며 “Arm 네오버스 CSS V3를 기반으로 설계한 'Arm AGI CPU'는 대규모 AI 구축에 필수인 성능과 효율성을 갖췄다. 이를 바탕으로 리벨리온, SK텔레콤 등 주요 파트너와 협력해 소버린 AI 및 통신 시장을 위한 확장성 있는 인프라를 실현해 기쁘다”고 밝혔다.

2026.04.10 10:11전화평 기자

프렌들리AI, 몰로코 COO 출신 브라이언 유 영입…해외 사업 확대

프렌들리AI가 인공지능(AI) 추론 시장 경쟁 격화 속 비즈니스 조직 강화에 속도를 낸다. 프렌들리AI는 몰로코 최고운영책임자(COO) 출신 브라이언 유를 최고사업책임자(CBO)로 선임했다고 9일 밝혔다. 이번에 합류한 브라이언 유 CBO는 조직 구축과 사업 확장을 동시에 이끌어온 글로벌 운영 전문가다. 그는 몰로코에서 재무, 마케팅, 인적자원(HR), 비즈옵스, 법무, 정보기술(IT) 등 주요 기능 조직을 구축하고 글로벌 운영 체계를 완성했다. 이를 기반으로 매출을 500배 이상 성장시켜 2억 5000만 달러 이상으로 확대했으며 조직 규모도 10명에서 600명 이상의 글로벌 기업으로 성장시켰다. 1억 8000만 달러 이상의 투자 유치도 주도하며 기업 가치를 약 40억 달러 수준으로 끌어올렸다. 이후 매쉬업벤처스 벤처파트너로 활동하며 스타트업 생태계 확장에 기여해왔다. 유 CBO는 프렌들리AI에서 글로벌 사업 전략 전반을 맡는다. 고투마켓(Go-to-Market) 전략 수립 및 실행을 비롯해 파트너십 확대, AI 스타트업과 서비스형 소프트웨어(SaaS) 및 엔터프라이즈 고객 기반 확장, 사업 운영 고도화 등을 통해 시장 점유율 확대를 추진할 계획이다. 유 CBO는 "AI가 실제 서비스 단계로 확산되면서 인퍼런스 성능이 비용과 수익성을 좌우하는 핵심 요소로 자리잡았다"며 "거대언어모델(LLM) 도입 이후 인퍼런스 비용 최적화에 대한 수요가 커지는 시점에서 우리 경쟁력이 더 부각될 것"이라고 말했다. 프렌들리AI는 AI 추론 인프라 업계 표준으로 자리잡은 '컨티뉴어스 배칭(continuous batching)' 기술을 개발한 연구진이 설립한 기업이다. 대규모 AI 워크로드를 안정적으로 처리할 수 있는 추론 엔진을 제공하고 있다. 그래픽처리장치(GPU) 활용 최적화를 통해 가상 거대언어모델(vLLM) 대비 최대 3배 빠른 처리 속도와 기존 폐쇄형 모델 응용 프로그램 인터페이스(API) 대비 50~90% 비용 절감을 구현했다. 전병곤 프렌들리AI 대표는 "유 CBO는 AI 스타트업의 운영 체계를 구축하고 글로벌 기업으로 성장시키는 과정에서 핵심적인 역할을 수행해 온 인물"이라며 "AI 추론 인프라 수요가 빠르게 증가하는 상황에서 그의 경험은 우리 글로벌 확장에 중요한 전환점이 될 것"이라고 기대했다.

2026.04.09 13:56이나연 기자

뉴타닉스, 에이전틱 AI 인프라 고도화…추론·실행 시대 전략 가속

뉴타닉스가 에이전틱 인공지능(AI)을 중심으로 한 클라우드 플랫폼 전략을 강화하며 차세대 AI 인프라 시장 공략에 나섰다. 단순 모델 활용을 넘어 실제 운영 환경에서 AI 에이전트를 안정적으로 실행할 수 있는 기반을 제공한다는 목표다. 뉴타닉스는 '뉴타닉스 에이전틱 AI' 솔루션에 신규 기능을 추가하고 네오클라우드 사업자를 위한 AI 서비스 플랫폼 역량을 확대했다고 9일 밝혔다. 최근 AI 시장은 학습 중심에서 추론 중심으로 빠르게 이동하고 있다. 다수 기업이 AI를 실제 업무에 적용하는 단계로 진입하면서, 보안·성능·비용을 동시에 충족하는 인프라 수요가 커지고 있다. 뉴타닉스는 이러한 변화에 대응해 에이전틱 AI 기반의 통합 소프트웨어(SW) 스택을 제시했다. 토마스 코넬리 뉴타닉스 제품 관리 부문 수석 부사장은 "기업들이 데이터 통제권을 유지하며 AI를 활용하는 방법을 모색하면서 소버린 및 특화형 AI 클라우드에 대한 수요가 빠르게 증가하고 있다"며 "뉴타닉스 에이전틱 AI 솔루션은 안전한 멀티테넌트 환경과 AI 관리 포털을 갖춰 네오클라우드 제공업체들이 고부가가치 AI 서비스를 신속하게 제공할 수 있도록 설계됐다"고 설명했다. 뉴타닉스 에이전틱 AI는 멀티테넌트 기반 AI 관리 포털과 서비스 제공 환경을 통해 복잡성을 줄이고 운영 효율성을 높이는 것이 특징이다. 그래픽처리장치(GPU) 자원과 컴퓨팅 리소스를 테넌트별로 분리·관리할 수 있으며 보안과 성능을 동시에 확보할 수 있도록 지원한다. 또 서비스형 GPU(GPUaaS), 쿠버네티스 서비스(KaaS), 가상머신(VM) 서비스, 벡터 데이터베이스(DB), 모델 서비스 등 다양한 AI 서비스 카탈로그를 통합 제공해 기업별 맞춤형 AI 환경을 구축할 수 있도록 돕는다. AI 인프라 운영과 서비스 제공을 단일 플랫폼에서 관리할 수 있다는 설명이다. 운영 관리 기능도 강화됐다. 뉴타닉스 클라우드 매니저(NCM)는 AI 인프라 모니터링과 사용량 기반 과금 기능을 지원해 GPU 사용량, API 호출, 모델 사용량 등을 기반으로 비용을 관리할 수 있도록 했다. 기업이 AI 서비스 운영과 비용 통제를 모두 수행할 수 있도록 지원할 방침이다. 스콧 싱클레어 옴디아 인프라·클라우드·데브옵스·네트워킹 부문 실무 디렉터는 "자율 에이전트 도입은 차세대 핵심 분야로 급부상하고 있지만 데이터 보안과 거버넌스, 성능 측면에서 새로운 과제를 동반한다"며 "뉴타닉스 에이전틱 AI 솔루션은 이러한 요구를 충족할 수 있는 엔터프라이즈급 기반을 제공한다"고 말했다. 아울러 뉴타닉스는 하이브리드 멀티클라우드 전략도 강화하고 있다. 특히 '뉴타닉스 클라우드 클러스터 온 AWS(NC2 on AWS)'를 통해 기존 인프라 구조를 유지하면서 클라우드로 워크로드를 이전할 수 있는 환경을 제공한다. NC2 온 AWS는 미션 크리티컬 워크로드를 안정적으로 클라우드 환경에서 운영할 수 있도록 지원하는 솔루션으로, 국내에선 에버랜드에 처음 적용됐다. 기존 네트워크 아키텍처를 유지한 채 클라우드 전환이 가능해 기업의 인프라 전환 부담을 줄였다는 평가다. 뉴타닉스는 고객 요구에 맞춘 맞춤형 설계와 지속적인 커뮤니케이션을 통해 프로젝트를 성공적으로 완료하며 클라우드 전환 사례를 확보했다고 강조했다. 국내 기업의 하이브리드 클라우드 도입을 확대해 나간다는 계획이다. 변재근 뉴타닉스 코리아 사장은 "이번 에버랜드 프로젝트를 시작으로 앞으로도 더 많은 국내 기업이 복잡한 인프라 전환을 자신 있게 추진할 수 있도록 지원하겠다"고 밝혔다.

2026.04.09 10:56한정호 기자

가비아, 국산 NPU 탑재 클라우드 서비스 출시…AI 추론 시장 승부수

가비아가 국산 인공지능(AI) 반도체 기반 클라우드 서비스를 출시하며 AI 인프라 사업 다각화를 추진한다. 그래픽처리장치(GPU) 중심 구조에서 벗어나 비용 효율성과 공급 안정성을 확보한다는 전략이다. 가비아는 리벨리온의 신경망처리장치(NPU) '아톰-맥스'를 탑재한 클라우드 서비스형 NPU(NPUaaS)를 출시했다고 9일 밝혔다. 최근 생성형 AI와 AI 에이전트 확산으로 실시간 추론 인프라 수요가 급증하는 가운데, GPU 수급 불안과 비용 부담이 주요 과제로 떠오르고 있다. 가비아는 NPU 기반 클라우드 서비스를 통해 이러한 문제를 해결하고 AI 서비스 환경 효율성을 높인다는 목표다. NPUaaS는 NPU 인프라를 클라우드 형태로 구독해 사용하는 서비스다. 학습된 AI 모델을 실제 서비스에 적용하는 추론 작업에 특화된 NPU는 GPU 대비 전력 소모가 적고 비용 효율성이 높아 대안으로 주목받고 있다. 가비아 NPUaaS는 인스턴스(VM) 기반으로 제공되며 운영체제(OS) 커널 수준의 세밀한 환경 설정과 커스터마이징을 지원한다. 기업은 AI 워크로드 특성에 맞는 정밀한 인프라 구성을 구현하고 서비스 목적에 따라 유연하게 확장할 수 있다. 아톰-맥스는 1장 기준 128 테라플롭스(FP16)의 연산 성능과 64GB NPU 메모리, 16 v코어 CPU, 256GB 시스템 메모리를 제공한다. 대규모언어모델(LLM), 비전 AI, 멀티모달 AI, 피지컬 AI 등 다양한 워크로드를 지원하며 도입 규모에 따라 다중 구성도 가능하다. 가비아는 NPUaaS와 함께 AI 추론 프레임워크 최적화 컨설팅도 제공한다. 소프트웨어 개발 키트(SDK) 기반 환경 설정부터 성능 최적화까지 전문 인력이 지원한다. 또 파이토치와 텐서플로우 기반 환경은 물론 허깅페이스 허브 모델 연동도 돕는다. vLLM, 트라이톤 추론 서버, 토치서브 등 서빙 도구 활용도 제공한다. 또 고객사 워크로드에 맞춘 맞춤형 기술 지원도 병행한다. 라마 3, 젬마 등 오픈소스 LLM이 아톰-맥스 환경에서 최적의 성능을 낼 수 있도록 프로파일링과 커널 최적화, 파라미터 튜닝을 지원한다. 가비아는 이번 서비스를 통해 금융·의료·공공 등 보안과 성능 요구가 높은 산업을 중심으로 AI 인프라 시장 공략을 확대할 계획이다. 정대원 가비아 상무는 "AI 서비스의 경쟁력은 모델 성능만큼이나 추론 환경의 효율성에 달려 있다"며 "NPUaaS와 전문 컨설팅을 결합해 기업이 인프라 부담 없이 AI 비즈니스에 집중할 수 있는 환경을 만들겠다"고 말했다.

2026.04.09 10:55한정호 기자

삼성전기, '그록3 LPU'용 FC-BGA 공급

삼성전기가 '그록(Groq)3 언어처리장치(LPU)'용 반도체 패키지기판의 주력 공급망 지위를 확보했다. 그록3 LPU는 엔비디아의 최첨단 인공지능(AI) 반도체 '베라 루빈(Vera Rubin)' 성능을 높일 추론 가속기 칩이다. AI 산업에서 추론 중요성이 커지는 만큼, 삼성전기도 엔비디아 AI 반도체 생태계 내 영역을 확장할 것으로 기대된다. 8일 지디넷코리아 취재에 따르면 삼성전기는 최근 그록3 LPU용 플립칩-볼그레이드어레이(FC-BGA) 양산 준비에 돌입했다. 삼성전기는 그록3 LPU용 FC-BGA의 '퍼스트 벤더(공급량 1위 업체)' 지위를 확보했고, 올 2분기부터 본격 양산할 것으로 관측된다. 그록3 LPU는 4나노 공정 기반의 AI 추론 가속기 칩이다. 삼성전자 파운드리에서 양산한다. 삼성 파운드리가 그록3 LPU에 할당한 웨이퍼 투입량은 월 1만장 수준으로 추산된다. FC-BGA는 반도체 칩과 기판을 '플립칩 범프(칩을 뒤집는 방식)'로 연결하는 패키지기판이다. 기존 와이어 본딩 대비 전기적·열적 특성이 높다. 초도 물량은 적지만, 삼성전기는 이번 FC-BGA 공급으로 엔비디아 AI 반도체 생태계 내 영역을 확장할 수 있다. 앞서 삼성전기는 올해 초 'NV스위치' 칩용 FC-BGA 공급을 확정하며 엔비디아 공급망에 진입한 바 있다. NV스위치는 서버 내 복수 그래픽처리장치(GPU)를 연결하는 데 쓰인다. 그록 LPU 역시 엔비디아 AI 반도체 플랫폼에 채택된 만큼, 향후 출하량 확대가 기대된다. 이와 관련, 젠슨 황 엔비디아 최고경영자(CEO)는 지난달 16일(현지시간) 미국 캘리포니아 새너제이에서 열린 'GTC 2026' 기조연설에서 첨단 AI 반도체 플랫폼 변화를 발표했다. 엔비디아가 올해 하반기 출시하는 베라 루빈 플랫폼은 당초 '루빈' GPU와 '베라' 중앙처리장치(CPU)를 비롯해 '블루필드-4' 데이터처리장치(DPU), 스위치 등 6개의 칩으로 구성됐다. 그러나 젠슨 황 CEO는 베라 루빈 플랫폼에 그록 3 LPU을 추가해, 총 7개의 칩 구조로 변화시켰다. 256개의 그록 3 LPU를 탑재한 추론 전용 랙 '그록 3 LPX'를 엔비디아 베라 루빈 NV72 랙에 통합하는 방식이다. NV72는 72개의 루빈 GPU와 36개의 베라 CPU로 구성된다. 그록 3 LPU는 D램 대비 용량이 작지만 데이터 전송속도가 빠른 S램을 탑재했다. 덕분에 LLM의 추론 단계에서 기존 단일 GPU 시스템에서 발생하던 지연(레이턴시) 현상을 크게 줄일 수 있다. LPX가 결합된 베라 루빈의 경우, 1조 매개변수 모델에서 메가와트당 최대 35배 더 높은 처리량을 제공할 수 있다고 엔비디아는 설명한다. 이에 엔비디아는 지난해 말 약 29조원을 들여 그록을 우회 인수하는 등 적극적인 협력 체계를 구축하고 있다. 반도체 업계 한 관계자는 "엔비디아가 각 영역에 특화된 칩으로 전체 AI 플랫폼을 구상하는 전략을 강화하고 있다"며 "그록 LPU 채택량도 더 늘어날 것으로 전망되고, 협력사들도 수혜를 입을 것"이라고 설명했다.

2026.04.08 10:35장경윤 기자

정부, AI 추론데이터 10종 구축 나서…"사고·판단 능력 강화"

정부가 인공지능(AI) 추론 능력 강화를 위한 학습 데이터 구축에 나섰다. 과학기술정보통신부와 한국지능정보사회진흥원은 2026년 추론데이터 10종 구축 사업 공모를 시작했다고 1일 밝혔다. 총 66억 원 규모로 거대언어모델(LLM)과 제조·로보틱스 분야에서 각각 5개 과제가 추진된다. 이번 사업은 단순 데이터 축적을 넘어 논리적 사고 과정과 인과관계를 포함한 추론형 데이터 확보에 초점 맞췄다. AI 모델 신뢰성을 높이고 실제 산업 환경서 활용 가능한 수준으로 성능을 끌어올릴 방침이다. LLM 분야에서는 복잡한 문서 이해와 논리 판단, 도구 활용 등 단계적 문제 해결 과정을 반영한 데이터 구축이 추진된다. 한국어와 국내 사회·문화 맥락을 반영한 데이터 확보도 병행된다. 복합 문서 기반 지식 추론 데이터, 과학 연구 지원 데이터, 한국어 기반 도구 호출 데이터, 웹·GUI 행동 추론 데이터, 오류 교정 추론 데이터 등이 포함된다. 제조·로보틱스 분야에선 실제 산업 현장서 발생하는 문제 기반으로 원인 분석과 해결 방안을 도출하는 데이터 구축이 이뤄진다. 여러 변수 상황에서도 작업을 수정하고 수행할 수 있는 자율 제조 기반 확보가 핵심이다. 관련 과제로는 제조설비 이상 진단 데이터, 표면 결함 분석 데이터, 로봇 작업 실패 복구 데이터, 휴머노이드 행동 생성 시뮬레이션 데이터, 공정 인과성 분석 데이터 등이 해당된다. 구축된 데이터는 향후 'AI허브'를 통해 공개돼 기업과 연구기관 스타트업 등이 활용할 수 있도록 제공된다. 업계는 이번 프로젝트 핵심 목적을 AI 기술 신뢰성과 실용성 확보에 두고 있다. 단순히 데이터를 쌓는 단계를 넘어 실제 산업 현장에서 즉시 활용 가능한 수준까지 성능을 끌어올리겠다는 취지라는 설명이다. 최동원 과기정통부 AI인프라정책관은 "생성형 AI 확산으로 고차원적 추론과 맥락 이해가 가능한 학습용 데이터 수요가 증가하고 있다"며 "이번 사업을 통해 실제 산업 현장에서 필요한 맞춤형 추론데이터를 확보해 대한민국 AI 산업의 질적 도약을 적극 지원하겠다"고 밝혔다.

2026.04.01 12:01김미정 기자

  Prev 1 2 3 4 Next  

지금 뜨는 기사

이시각 헤드라인

삼성전자 반도체 모멘텀의 마지막 퍼즐은 '패키징'

네이버는 엔비디아·AMD, 카카오는 구글·오픈AI...두 기업의 같은 길, 다른 동맹

AI 날개 단 '블랙 해커'…고도화된 해킹 생태계

'숨 가빴던 4박5일' 젠슨 황은 무엇을 남겼나

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.