검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 반도체 최적화'통합검색 결과 입니다. (5건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

노타, '데이터센터 AI 반도체'로 최적화 영토 확장

노타가 인공지능(AI) 반도체 스타트업과 협력을 확대하며 데이터센터와 기업용 AI 추론 시장을 겨냥한 반도체 최적화 소프트웨어 사업을 강화한다. 노타는 하이퍼엑셀과 대규모언어모델(LLM) 최적화 기술 공급 후속 계약을 체결했다고 12일 밝혔다. 지난해 9월 첫 계약에 이어 2년 연속 수주에 성공한 것으로 하이퍼엑셀 LLM 추론 전용 반도체 '베르다(Bertha) 언어처리장치(LPU)'에 모델 및 연산 최적화 기술을 공급한다. 베르다 LPU는 LLM 처리에 특화된 AI 반도체다. 양사는 데이터센터와 기업용 AI 서비스 환경에서 다양한 LLM을 효율적으로 실행할 수 있도록 반도체와 소프트웨어 간 최적화 수준을 높일 계획이다. AI 반도체를 도입하는 기업은 연산 성능뿐 아니라 실제 서비스에 필요한 AI 모델을 지원하는지, 얼마나 효율적으로 실행할 수 있는지도 고려한다. 노타와 하이퍼엑셀은 최신 LLM을 베르다에 맞춰 최적화해 고객 모델 선택지를 확대하고 다양한 AI 추론 수요에 대응할 방침이다. 이번 계약에는 하이퍼엑셀 소프트웨어 개발도구 '하이퍼엑셀 SDK'와 자체 임베디드 도메인 특화 언어(eDSL) '레가토(Legato)'가 활용된다. 노타는 AI 최적화 플랫폼 '넷츠프레소'를 활용해 베르다 하드웨어 특성에 맞는 모델 최적화를 수행한다. 특히 LLM의 주요 연산을 처리하는 커널을 LPU 아키텍처에 맞춰 최적화할 계획이다. 모델별 특성을 고려한 양자화 기술도 적용해 메모리 사용 효율을 높이고 AI 모델의 실행 환경을 개선한다. 채명수 노타 대표는 "AI 반도체 기업 경쟁력은 우수한 하드웨어뿐 아니라 고객이 원하는 AI 모델을 빠르고 효율적으로 실행할 수 있도록 지원하는 소프트웨어 생태계에서도 결정된다"며 "글로벌 AI 반도체 기업들과 협력을 확대하고 모델 최적화부터 연산 커널까지 아우르는 소프트웨어 기술 공급 사업을 성장시키겠다"고 말했다.

2026.11.12 11:42이나연 기자

"AI 가능성, 생산성으로 입증해야"...IITP, 내년 AI·ICT 10대 이슈 선정

2027년 AI 경쟁의 핵심으로 업무 완수 능력과 운영 효율이 떠오를 전망이다. 여러 AI 에이전트가 협업해 복잡한 임무를 처리하고, 반도체와 데이터센터는 작업에 드는 비용과 전력을 줄이는 방향으로 진화한다. AI 활용 범위가 산업 현장과 통신망으로 넓어지면서 권한 검증과 안전 통제, 인프라 운영 주권도 중요해질 것으로 예상됐다. 정보통신기획평가원(IITP)은 11일 대한상공회의소에서 열린 2027 AI·ICT 기술전망 컨퍼런스에서 내년을 관통하는 주제로 'AI의 가능성을 AX 생산성으로 입증'을 제시했다. AI 전환(AX)의 성과를 실제 업무 수행과 비용 절감으로 확인해야 한다는 뜻이다. 구체적으로 내년을 관통할 AI·ICT 10대 이슈로 ▲에이전틱 이코노미 ▲피지컬 AI 범용화 ▲범용인공지능(AGI) 경쟁 ▲AI 반도체 최적화 ▲AI 데이터센터(AIDC) ▲토큰 효율성 ▲공간컴퓨팅 ▲AI 네이티브 6G ▲사이버쉴드돔 ▲풀스택 소버린 AI다. '에이전틱 이코노미', AI가 일을 끝까지 맡는다 새해 첫 번째 이슈는 AI가 맡은 임무를 끝까지 수행하는 '에이전틱 이코노미'가 꼽혔다. 장기 기억과 다중 에이전트 협업으로 업무 완수 역량이 높아지면서 슈퍼 에이전트를 통한 통합, 산업별 특화 에이전트 활용, 에이전트 사이의 자율거래가 확산할 것으로 전망됐다. 장기 기억은 업무에 필요한 맥락을 유지하고, 다중 에이전트 협업은 여러 에이전트가 역할을 나눠 임무를 처리하는 기반이다. 보고서는 이러한 역량이 발전하면서 에이전트가 자율적으로 수행하는 업무 범위도 넓어질 것으로 봤다. 확산의 전제로는 'Know Your Agent'를 주목했다. 업무를 수행하는 에이전트의 신원과 위임받은 권한을 검증하고, 수행 결과를 신뢰할 수 있어야 한다는 것이다. 조직 업무 구조와 함께 책임 소재, 비용 기준을 정립하는 일이 현업 도입의 관건으로 제시됐다. '피지컬 AI', 시연을 넘어 현장으로 시연에 머물렀던 로봇 AI는 정해진 무대에서 정해진 동작을 보여주는 데 그쳤다. 그런 가운데 IITP는 내년부터 피지컬 AI가 '동작 시연을 넘어 임무 완수' 중심으로 발전할 것으로 내다봤다. 피지컬 AI는 AI가 로봇 같은 몸을 얻어 현실 세계에서 보고 판단하고 움직이는 것을 말한다. 이를 가능하게 하는 두 축은 자기주도적 통합 행동지능과 전용 온디바이스 컴퓨팅이 필수적이다. 앞의 것은 보고, 판단하고, 움직이는 과정을 하나로 묶어 로봇이 스스로 다음 행동을 정하는 지능이다. 뒤의 것은 멀리 있는 데이터센터에 묻지 않고 로봇 몸 안의 전용 칩으로 그 자리에서 바로 생각하고 반응하는 능력이다. 한국의 NPU는 이 지점에서 성장할 것으로 봤다. 관건은 데이터다. IITP는 경험을 축적하는 '피지컬 AI 레디 데이터'를 주목했다. 공간의 생김새, 사람과 물체의 움직임, 무게와 마찰 같은 물리적 성질, 영상과 소리 등 여러 감각을 아우르는 멀티모달 데이터를 모아야 한다. 이렇게 모은 데이터를 서로 나누고, 현실 세계를 가상으로 본뜬 월드모델 안에서 연습시켜 실제로 겪지 않은 경험까지 넓힐 수 있다. 이를 바탕으로 범용화에 이를 것이란 전망이다. AI가 AI를 만드는 갈림길...AGI 경쟁 AGI는 특정 분야에만 능한 AI가 아니라 사람처럼 여러 분야를 두루 해내는 범용 인공지능을 말한다. IITP는 내년을 'AGI 경쟁의 분수령'으로 보고, 그 열쇠를 'AI가 만드는 AI'에서 찾았다. 핵심 개념은 재귀적 자기개선(RSI)이다. AI가 스스로를 고쳐 더 나은 AI가 되고, 그렇게 나아진 AI가 다시 자신을 개선하는 과정이 꼬리를 물고 이어지는 구조다. 지금까지 AI의 발전 속도는 사람 연구자의 속도에 묶여 있었지만, 이 고리가 돌기 시작하면 발전이 스스로 빨라진다. IITP는 이를 통해 AI가 ▲사람의 지시 없이 움직이는 자율성 ▲여러 분야를 넘나드는 범용성 ▲지능 그 자체 등을 바탕으로 사람의 능력을 뛰어넘는 초지능(ASI)의 실현이 앞당겨질 수 있다고 내다봤다. AGI 시대가 가져올 큰 변화로 과학 분야가 떠오른다. AI가 스스로 가설을 세우고, 실험하고, 결과를 검증하는 'AI 자율 과학자'로 진화한다는 것이다. IITP는 이런 AI가 질병과 식량 위기처럼 인류가 오랫동안 풀지 못한 난제에 도전할 것으로 내다봤다. 또 우주 예측의 큰 변화를 예상했다. 단일 칩 한계 넘어 이기종·풀스택 최적화...AI 반도체 에이전트와 피지컬 AI가 늘어날수록 AI는 쉬지 않고 추론한다. AI 학습의 시대를 넘어 '추론의 시대'가 열렸다는 설명이다. 추론 수요가 커지면서 단일 칩 하나의 성능만으로는 감당하기 어려운데, 서로 다른 종류의 칩을 섞어 쓰는 개방형 이기종 칩 조합이 떠오를 것으로 점쳐졌다. 특히 IITP는 여기서 더 나아가 AI 모델과 소프트웨어, 칩, 시스템을 한꺼번에 다듬는 계층 간 통합 최적화를 강조했다. 반도체와 소프트웨어가 각각의 성능 시너지를 내야 한다는 뜻이다. 국산 NPU의 차별적 경쟁력을 찾을 수 있을 것이란 점이 눈길을 끈다. 한국의 NPU가 AI 모델과 추론 엔진, 프로그램을 칩이 알아듣는 말로 옮겨주는 컴파일러까지 여러 층을 넘나들며 함께 최적화해, 전기를 적게 쓰는 추론에서 경쟁력을 키울 수 있다는 뜻이다. AI 데이터센터, 토큰 생산성 극대화 경쟁 AIDC에서는 가동 시점을 앞당기는 속도 경쟁과 전력당 토큰 생산성을 높이는 성능 경쟁이 함께 진행될 것으로 예상됐다. 모듈형 구축은 데이터센터를 더 일찍 가동하기 위한 수단으로 제시됐다. 운영 단계에서는 연산 부하에 맞춰 전력과 냉각을 통합 제어하는 방식이 중요해질 것으로 봤다. 유휴 또는 과잉 운전을 줄여 전력을 효율적으로 사용하고, 전력당 토큰 생산량을 높이는 것이 목표다. 랙 안에서 광역망까지 연결되는 데이터 전송이 중요한 과제로 꼽혔다. 이를테면 스케일업, 스케일아웃, 스케일어크로스 등 AIDC 인터커넥트 경쟁이 본격화될 것이란 전망이다. '토큰 효율성', AI 운영 효율화 절실 토큰 가격 하락과 임무당 비용 부담이 동시에 나타날 수 있다는 점에 주목했다. 이에 따라 작업 하나를 끝내는 데 드는 '태스크 코스트(Task Cost)'를 낮추는 경쟁이 본격화될 것으로 전망했다. 이에 따라 AI 워크플로우의 재설계가 중요 과제로 꼽힌다. 더 적은 비용으로 임무를 완수할 수 있도록 실행과 운영 방식을 바꿔야 한다는 것이다. 토큰 단가와 함께 전체 작업에 투입하는 자원을 관리하는 접근이다. 기술적으로는 연산량과 메모리 사용을 줄이고 토큰 생성 속도를 높여 추론 효율을 개선하는 시도가 이어질 것으로 봤다. IITP는 '오픈웨이트 모델'을 활용해 운영 방식을 최적화하는 방안도 비용 효율화의 주요 수단으로 꼽았다. 메타버스 이어 AI글래스 시대 '공간컴퓨팅' 사람과 기계가 만나는 방식은 키보드와 마우스에서 손가락 터치로 바뀌어 왔고 그 다음은 AI글래스가 지목됐다. AI 글래스는 개인화 에이전트를 이용하는 접점이자 산업 현장 작업을 지원하는 수단으로 확장될 전망이다. 음성, 시선, 제스처와 주변 환경 정보를 활용해 사용자의 맥락과 공간을 이해하는 방향으로 발전할 것으로 예상됐다. 피지컬 AI에 필요한 데이터를 수집하는 역할도 제시됐다. 다만 역기능을 간과하기 어려운 이슈로 꼽힌다. 늘 쓰고 다니는 디바이스가 끊임없이 정보를 모으면 내가 누구와 어울리는지, 하루를 어떻게 보내는지, 무엇을 하려 하고 무엇을 좋아하는지까지 드러날 수 있다. 이에 따라 IITP는 정보를 모으고 쓰는 일을 통제할 수 있는 장치, 이를 뒷받침하는 제도 정비, 사회적 합의를 반영한 새로운 프라이버시 기준이 필요하다고 봤다. AI 네이티브 6G ...“망 운영부터 추론 공간 인지로” 6G 통신은 AI를 망 운용과 서비스에 내재화한 'AI 실행 인프라'로 전환을 추진할 것으로 전망됐다. AI 네이티브 완전 자율 네트워크를 통한 운영에 더해 AI 추론 연산 지원과 공간 인지까지 기능이 확장되는 방향이다. 네트워크 운영의 자율화와 AI 서비스 지원이 함께 진행되는 변화다. 특히 6G 통신에서 이러한 전환이 본격적으로 시작될 것으로 봤다. 통신 AI 인프라의 범위는 우주로도 확대될 것으로 예상됐다. 저궤도 위성통신의 핵심 통신 인프라 역할이 커지고, 우주 데이터센터를 위한 궤도상 AI 칩 연산 실증이 추진될 것으로 전망했다. 자율 다층 방어 체계 '사이버쉴드돔' AI는 공격도, 방어도 가능한 수단이다. 공격하는 쪽은 한 곳만 뚫으면 되지만 막는 쪽은 모든 곳을 지켜야 한다. 여기에 AI가 더해지면 공격은 더 빠르고 정교해지고, 사람이 일일이 대응해서는 따라잡기 어려워진다. AI 공격에 대응할 보안 체계로는 '사이버쉴드돔'을 제시했다. 조직별 자율 방어 에이전트의 대응, 산업 내 위협 정보 공유, 국가 차원의 공동 대응과 조정을 결합하는 다층 방어 구조다. 각 기업과 기관이 스스로 위협을 찾아 대응하는 자율 방어 에이전트를 두고, 같은 산업 안에서 위협 정보를 서로 나눠 한 곳이 당한 공격을 다른 곳이 미리 막을 수 있게 할 수 있다. 아울러 국가 차원에서 함께 대응하고 조정하는 체계로 사이버 보안이 고도화될 수 있다는 설명이다. IITP는 AI 통제 상실 위험에 대한 관리도 강화될 것으로 봤다. 안전설계 원칙과 1·2차 방어선, 제3자 평가를 결합하고 설계부터 실행까지 전주기를 통제하는 접근이다. 기술뿐 아니라 법·제도·서비스 관리체계까지 포괄하는 안전 확보가 과제로 제시됐다. 칩·모델 확보 넘어 운영 통제권 경쟁...풀스택 소버린 AI 소버린 AI는 다른 나라나 외부에 기대지 않고 스스로 통제할 수 있는 AI를 말한다. 지금까지 AI 주권 경쟁은 주로 '확보'의 문제였는데, 칩과 모델과 데이터를 갖추는 데서 그치지 않고 이를 잇는 ▲네트워크와 AI를 돌리는 컴퓨팅 ▲전체를 지키는 보안, ▲전략적인 AX까지 모든 층을 직접 운영하고 통제할 수 있느냐가 AI 주권의 기준이 된다는 게 IITP의 판단이다. 즉 AI 주권 경쟁은 칩, 모델, 데이터 확보를 위한 기술 자립에서 네트워크, 컴퓨팅, 보안, 전략적 AX까지 확대될 것이란 전망이다. 임진국 IITP 단장은 “앞으로 다가올 2027년은 임무 완성을 넘어서는 AI 혁신과 피지컬 AI와 가상형 컴퓨팅으로 모든 곳에 AI가 존재하게 될텐데 그 과정에서 컴퓨팅 연산비용의 최적화와 안정성 확보는 가장 중요한 열쇠가 될 것”이라고 말했다.

2026.11.11 12:11박수형 기자

모빌린트, ETRI와 국산 NPU 기술 '레이' 메인 코드 탑재

국산 AI 반도체 스타트업 모빌린트가 글로벌 AI 분산 컴퓨팅 프레임워크 생태계에 자사 기술을 성공적으로 안착시키며 하드웨어를 넘어 소프트웨어 호환성 확보에 속도를 내고 있다. 모빌린트는 자사 신경망처리장치(NPU)를 글로벌 대표 오픈소스 분산 AI 프레임워크인 '레이(Ray)'에서 자동으로 인식하고 관리할 수 있도록 한 기능이 레이의 공식 메인 코드에 최종 반영됐다고 4일 밝혔다. 이번 성과는 한국전자통신연구원(ETRI)이 주관하는 '이종 AI반도체용 분산추론 및 모델 최적화 기술 개발' 과제의 일환으로 추진됐다. ETRI 김영주 책임연구원 팀과 모빌린트가 공동 개발한 해당 기능은 엄격한 오픈소스 리뷰 과정을 거쳐 레이(Ray)의 공식 깃허브(GitHub) 메인 브랜치 조기 합류에 성공했다. 레이는 복수의 서버와 AI 반도체를 결합해 대규모 AI 모델의 학습과 추론을 효율적으로 분산 처리하는 대표적인 글로벌 인프라 소프트웨어다. 지금까지는 레이 환경에서 모빌린트 NPU를 쓰기 위해 수동으로 장치를 등록하고 작업을 할당해야 하는 번거로움이 있었으나, 이번 업데이트를 통해 시스템 내 탑재된 모빌린트 NPU를 자동으로 감지하고 최적의 자원을 배분할 수 있는 오케스트레이션 기반이 마련됐다. 모빌린트는 이번 공식 코드 연동을 계기로 자사 제품군의 글로벌 AI 데이터센터 및 온프레미스 인프라 진입 장벽을 대폭 낮출 수 있게 됐다. 모빌린트 관계자는 "ETRI와 기술 협력을 바탕으로 글로벌 메인스트림 AI 프레임워크와의 직접 연동을 확대하고 있다"며 "자체 SDK 고도화와 런타임 최적화를 병행해 국산 NPU가 다양한 AI 산업 현장에서 손쉽게 채택될 수 있도록 하드웨어와 소프트웨어를 잇는 컴퓨팅 인프라를 완성할 것"이라고 강조했다.

2026.11.04 10:18전화평 기자

[유미's 픽] "엔비디아 쿠다 장벽 넘자"…AI 반도체, SW 경쟁 불붙었다

인공지능(AI) 반도체 기업들이 잇따라 모델 최적화 소프트웨어 역량 확보에 나서고 있다. 칩 설계만으로는 AI 인프라 경쟁에서 우위를 점하기 어려워지면서 한정된 컴퓨팅·메모리 자원으로 더 많은 연산을 처리하는 소프트웨어 기술의 가치가 부각되는 분위기다. 퀄컴은 지난달 24일 AI 소프트웨어 기업 모듈러를 약 40억 달러 규모 주식 거래로 인수하겠다고 발표했다. 모듈러는 AI 모델을 다양한 칩에서 실행할 수 있도록 돕는 소프트웨어 기업이다. 로이터는 이번 인수가 퀄컴을 엔비디아 '쿠다(CUDA)'와 경쟁하는 소프트웨어 플랫폼 경쟁에 올려놓는 움직임이라고 평가했다. 국내에서도 비슷한 흐름이 나타났다. AI 반도체 기업 리벨리온은 지난달 30일 AI 추론 최적화 기업 스퀴즈비츠 인수를 발표했다. 스퀴즈비츠는 대형 AI 모델을 더 적은 연산·메모리 자원으로 구동하기 위한 모델 압축과 양자화, 추론 최적화 기술을 보유한 기업이다. 리벨리온은 이번 인수를 통해 신경망처리장치(NPU) 하드웨어와 소프트웨어 최적화, 추론 서빙을 함께 제공하는 통합 AI 인프라 기업으로 사업 범위를 넓힌다는 계획이다. 업계 관계자는 "AI 반도체 기업 입장에선 자체 칩 위에서 고객 모델을 빠르고 안정적으로 실행시키는 역량이 영업 경쟁력과 직결된다"며 "칩을 공급하는 데 그치지 않고 실제 워크로드 성능까지 입증해야 하는 수요가 커진 셈"이라고 설명했다.AI 모델 최적화 기업 노타도 같은 날 퓨리오사AI의 데이터센터용 NPU 환경에서 LG AI연구원의 엑사원 236B 최적화 결과를 공개해 주목받았다. 엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델로, 노타는 모델 크기를 약 71% 줄이면서도 주요 평가 항목에서 원본과 유사한 수준의 정확도를 유지했다. 데이터센터 인프라 최적화 기업 망고부스트도 AI 실행 효율 경쟁의 한 축으로 꼽힌다. 망고부스트는 데이터처리장치(DPU)를 앞세워 네트워킹·스토리지·보안 등 데이터센터 인프라 작업을 중앙처리장치(CPU)에서 분리하는 기술을 개발해왔다. AI 모델 자체를 줄이는 방식은 아니지만 GPU와 서버 자원을 AI 연산에 더 집중시키는 구조라는 점에서 모델 최적화 기업들과 같은 수요를 겨냥하고 있다는 평가를 받는다. 이처럼 AI 반도체 시장에서 성능 최적화 소프트웨어 기업들이 주목받게 된 것은 생성형 AI 활용 방식이 달라지면서 모델 실행 능력이 더욱 중요해지고 있어서다. 대형언어모델(LLM)이 단순 실험 단계를 넘어 서비스와 업무 시스템에 적용되면서, 기업들은 칩의 이론 성능보다 실제 운영 환경에서 응답 속도와 처리량을 유지하면서 비용을 낮추는 역량을 더 중시하고 있다. 하지만 모델 규모가 커질수록 기업들의 비용 부담은 갈수록 늘어나는 추세다. 특히 LLM은 파라미터 규모가 클수록 추론 과정에서 많은 메모리와 연산 자원을 필요로 한다. 여기에 긴 문맥 처리, 검색증강생성(RAG), AI 에이전트처럼 반복 호출이 많은 서비스가 늘면서 데이터 이동량과 지연시간 관리 부담도 함께 증가하고 있다. 이로 인해 메모리 효율도 AI 인프라 경쟁의 핵심 변수로 떠오르고 있다. 고성능 메모리 확보 경쟁이 이어지고 있지만 모든 기업이 충분한 GPU와 메모리를 확보하기는 어렵다. 같은 하드웨어라도 모델 압축, 양자화, 컴파일러, 런타임, 추론 서빙 구조에 따라 필요한 서버 수와 운영비가 달라질 수 있어 최적화 소프트웨어의 중요성이 커지고 있다.엔비디아가 GPU 시장에서 구축한 소프트웨어 생태계도 반도체 기업들의 움직임을 자극하고 있다. 엔비디아는 GPU 성능뿐 아니라 쿠다를 중심으로 한 개발자 생태계와 소프트웨어 도구를 앞세워 AI 인프라 시장에서 우위를 확보했다. 이에 후발 AI 반도체 기업들은 하드웨어 성능만으로 고객을 설득하기 어려워졌고, 모델 실행과 개발 편의성을 함께 제시해야 하는 압박을 받고 있다. 국내 기업들도 이 같은 구도 변화에 맞춰 전략을 조정하고 있다. 리벨리온은 스퀴즈비츠 인수로 NPU와 최적화 소프트웨어 결합에 나섰고, 퓨리오사AI는 노타와 협력해 대형 모델의 NPU 구동 가능성을 넓히고 있다. 망고부스트는 DPU 기반 인프라 오프로딩으로 데이터센터 내부 병목을 줄이는 방식으로 AI 실행 효율 경쟁에 참여하고 있다. 업계에선 AI가 데이터센터를 넘어 산업 현장으로 확산될수록 최적화 수요가 더 커질 것으로 예상했다. 자동차, 로봇, 제조 설비 등은 전력과 지연시간, 보안 요건이 데이터센터와 다른 만큼, 범용 모델을 그대로 배포하기보다 각 산업과 칩 환경에 맞게 조정하는 역량이 AI 인프라 기업의 경쟁력이 될 것으로 보인다. 이 같은 분위기 속에 AI 반도체 시장이 하드웨어 공급 경쟁을 넘어 소프트웨어 스택 경쟁으로 재편될 가능성도 높아지고 있다. 특히 칩 설계, 모델 최적화, 런타임, 추론 서빙, 인프라 오프로딩을 촘촘하게 묶어 제공하는 기업이 고객 확보에서 유리한 위치를 차지할 것으로 전망된다. 업계 관계자는 "AI 반도체 기업이 고객을 설득하려면 벤치마크 수치뿐 아니라 실제 모델을 자사 칩에서 얼마나 효율적으로 돌릴 수 있는지를 제시해야 한다"며 "소프트웨어 최적화 역량이 없는 칩은 데이터센터와 산업 현장에서 채택 속도가 느릴 수밖에 없다"고 말했다. 그러면서 "AI 인프라 비용 부담이 커질수록 기업들은 같은 서버 자원으로 더 많은 추론을 처리할 수 있는 기술을 찾게 된다"며 "앞으로 AI 반도체 경쟁력은 칩 성능과 함께 모델 최적화, 메모리 효율, 데이터센터 운영 효율을 함께 제공할 수 있느냐에 따라 갈릴 것"이라고 덧붙였다.

2026.07.01 10:53장유미 기자

[유미's 픽] "연산보다 메모리"…구글 '터보퀀트' 등장에 엔비디아도 '긴장'

구글이 생성형 인공지능(AI) 운영의 핵심 병목으로 꼽혀온 '메모리 문제'를 소프트웨어 방식으로 풀어내는 기술을 공개하면서 AI 인프라 경쟁의 방향이 바뀌고 있다. 모델 규모 확대 중심이던 기존 경쟁 구도가 실행 효율과 메모리 최적화 중심으로 이동하고 있다는 분석이 나온다. 27일 업계에 따르면 최근 대규모언어모델(LLM) 운영에서는 연산 성능보다 메모리 처리 효율이 전체 성능을 좌우하는 사례가 늘고 있다. LLM은 답변 생성 과정에서 이전 정보를 반복적으로 참조하는 구조를 갖고 있어 데이터 접근 과정에서 발생하는 지연이 속도와 비용을 동시에 제한하는 요인으로 작용한다. 현재 엔비디아 H100 등 최신 그래픽처리장치(GPU) 도입으로 연산 성능은 크게 향상됐지만, 메모리 대역폭과 데이터 이동 효율은 상대적으로 제한돼 있다. 실제 서비스 환경에서는 GPU 연산보다 메모리 접근이 병목으로 작용하는 경우가 적지 않다. 이 같은 흐름 속에서 AI 추론 시스템을 구성하는 기술 구조에 대한 이해도 중요해지고 있다. AI 추론은 모델, 메모리 구조, 실행 소프트웨어, 하드웨어가 단계적으로 결합된 형태로 작동한다. 우선 모델은 연산 과정에서 생성된 정보를 메모리에 저장하고 이를 반복적으로 참조한다. 이 과정에서 메모리 사용량이 급격히 증가하며 병목이 발생한다. 이를 해결하기 위한 접근이 메모리 압축 기술로, 데이터 표현을 줄이는 양자화(Quantization) 방식과 데이터 구조를 효율적으로 인코딩하는 방식이 함께 발전하고 있다. 이 가운데 구글이 지난 24일 공개한 터보퀀트(TurboQuant)는 데이터 표현 방식을 재구성하는 양자화 기반 접근으로, 메모리 사용량을 줄이면서도 정확도를 유지하는 데 초점을 맞춘 기술로 평가받는다. 엔비디아 역시 같은 문제를 두고 다른 접근을 시도하고 있다. 특히 최근에는 KV 캐시를 효율적으로 저장하기 위한 'KV 캐시 트랜스폼 코딩(KV Cache Transform Coding)' 기반 기술을 앞세우고 있다. 이는 데이터를 단순히 제거하는 방식이 아닌, 정보 구조를 효율적으로 인코딩해 저장 효율을 높이는 접근에 가깝다. 다만 모델별 특성에 맞춘 보정 과정이 필요하다는 점에서 적용 방식에는 차이가 있다. 두 기술 모두 메모리 압축을 목표로 하지만 접근 방식에는 차이가 있다. 터보퀀트가 양자화를 기반으로 정확도 손실을 최소화하는 데 초점을 둔 반면, KV 캐시 트랜스폼 코딩은 인코딩 효율을 높여 압축률을 끌어올리는 기술로 분석된다. 두 기술은 기존 메모리 최적화 기술의 연장선에선 의미 있는 진전으로 평가된다. KV 캐시의 정밀도를 낮추는 양자화 기법은 GPTQ, AWQ 등 오픈소스 진영과 스타트업을 중심으로 확산돼 왔고, 중요도가 낮은 토큰을 선택적으로 제거하는 방식이나 슬라이딩 윈도우 기반 메모리 관리 기법도 일부 모델에 적용돼 왔다. 또 메모리 접근을 줄이는 어텐션 최적화 기술은 데이터 전송 횟수를 줄여 속도를 높이는 플래시어텐션(FlashAttention) 등으로 발전하며 주요 AI 기업과 연구 커뮤니티에서 활용되고 있다. 업계 관계자는 "양자화나 토큰 프루닝 같은 기법은 이미 널리 쓰이고 있지만, 실제 서비스에서는 정확도나 안정성 문제 때문에 적용 범위가 제한적인 경우가 많다"며 "KV 캐시 자체를 압축 대상으로 삼는 접근은 구현 난이도는 높지만, 제대로 적용되면 체감 성능을 크게 바꿀 수 있는 영역"이라고 밝혔다. 메모리 압축과 더불어 모델 실행 방식 자체를 개선하려는 소프트웨어 경쟁도 확대되고 있다. vLLM, 텐서RT-LLM(TensorRT-LLM)을 비롯해 라마(llama.cpp) 등 다양한 추론 엔진들이 등장하며 요청 처리 방식과 메모리 관리 효율을 높이는 방향으로 발전하고 있다. 특히 vLLM은 미국 UC버클리 연구진이 주도해 개발한 오픈소스 추론 엔진으로, 요청을 효율적으로 묶어 처리하고 페이지드어텐션(PagedAttention) 구조를 통해 메모리를 동적으로 관리하는 방식으로 처리 효율을 높인다. 엔비디아가 개발한 텐서RT-LLM(TensorRT-LLM) 역시 GPU 연산을 최적화해 추론 속도를 개선하는 소프트웨어로, 데이터센터 환경에서 널리 활용되고 있다. 추론 엔진은 모델 자체를 변경하지 않고도 실행 방식만으로 성능을 개선할 수 있다. 동일한 모델이라도 어떤 실행 소프트웨어를 사용하느냐에 따라 처리 속도와 비용이 달라지는 구조다. 업계 관계자는 "같은 모델이라도 vLLM이나 텐서RT 같은 추론 엔진 설정에 따라 처리량 차이가 크게 난다"며 "실제 서비스에서는 모델보다 실행 스택이 성능을 좌우하는 경우도 적지 않다"고 설명했다. 메모리 압축 기술과 추론 엔진이 결합된 뒤 최종 연산은 GPU에서 수행된다. 특히 최신 GPU 환경에서는 연산 성능보다 메모리 활용 효율이 전체 성능을 좌우하는 경우가 많아지면서 소프트웨어 기반 최적화의 중요성이 더욱 커지고 있다. 이와 함께 AI 경쟁의 방향도 변화하고 있다. 그동안 생성형 AI는 더 많은 데이터를 학습하고 더 큰 모델을 구축하는 데 집중해 왔지만, 최근에는 동일한 모델을 얼마나 빠르고 비용 효율적으로 운영할 수 있는지가 핵심 경쟁력으로 부상하고 있다. 업계 관계자는 "대규모 서비스에서는 모델 성능보다 추론 효율이 비용 구조를 좌우하는 경우가 더 많다"며 "메모리 구조와 추론 엔진을 함께 최적화하지 않으면 GPU를 늘려도 수익성을 맞추기 어려운 단계에 들어섰다"고 말했다.

2026.03.27 12:11장유미 기자