[유미's 픽] "엔비디아 쿠다 장벽 넘자"…AI 반도체, SW 경쟁 불붙었다

인공지능(AI) 반도체 기업들이 잇따라 모델 최적화 소프트웨어 역량 확보에 나서고 있다. 칩 설계만으로는 AI 인프라 경쟁에서 우위를 점하기 어려워지면서 한정된 컴퓨팅·메모리 자원으로 더 많은 연산을 처리하는 소프트웨어 기술의 가치가 부각되는 분위기다. 퀄컴은 지난달 24일 AI 소프트웨어 기업 모듈러를 약 40억 달러 규모 주식 거래로 인수하겠다고 발표했다. 모듈러는 AI 모델을 다양한 칩에서 실행할 수 있도록 돕는 소프트웨어 기업이다. 로이터는 이번 인수가 퀄컴을 엔비디아 '쿠다(CUDA)'와 경쟁하는 소프트웨어 플랫폼 경쟁에 올려놓는 움직임이라고 평가했다. 국내에서도 비슷한 흐름이 나타났다. AI 반도체 기업 리벨리온은 지난달 30일 AI 추론 최적화 기업 스퀴즈비츠 인수를 발표했다. 스퀴즈비츠는 대형 AI 모델을 더 적은 연산·메모리 자원으로 구동하기 위한 모델 압축과 양자화, 추론 최적화 기술을 보유한 기업이다. 리벨리온은 이번 인수를 통해 신경망처리장치(NPU) 하드웨어와 소프트웨어 최적화, 추론 서빙을 함께 제공하는 통합 AI 인프라 기업으로 사업 범위를 넓힌다는 계획이다. 업계 관계자는 "AI 반도체 기업 입장에선 자체 칩 위에서 고객 모델을 빠르고 안정적으로 실행시키는 역량이 영업 경쟁력과 직결된다"며 "칩을 공급하는 데 그치지 않고 실제 워크로드 성능까지 입증해야 하는 수요가 커진 셈"이라고 설명했다.AI 모델 최적화 기업 노타도 같은 날 퓨리오사AI의 데이터센터용 NPU 환경에서 LG AI연구원의 엑사원 236B 최적화 결과를 공개해 주목받았다. 엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델로, 노타는 모델 크기를 약 71% 줄이면서도 주요 평가 항목에서 원본과 유사한 수준의 정확도를 유지했다. 데이터센터 인프라 최적화 기업 망고부스트도 AI 실행 효율 경쟁의 한 축으로 꼽힌다. 망고부스트는 데이터처리장치(DPU)를 앞세워 네트워킹·스토리지·보안 등 데이터센터 인프라 작업을 중앙처리장치(CPU)에서 분리하는 기술을 개발해왔다. AI 모델 자체를 줄이는 방식은 아니지만 GPU와 서버 자원을 AI 연산에 더 집중시키는 구조라는 점에서 모델 최적화 기업들과 같은 수요를 겨냥하고 있다는 평가를 받는다. 이처럼 AI 반도체 시장에서 성능 최적화 소프트웨어 기업들이 주목받게 된 것은 생성형 AI 활용 방식이 달라지면서 모델 실행 능력이 더욱 중요해지고 있어서다. 대형언어모델(LLM)이 단순 실험 단계를 넘어 서비스와 업무 시스템에 적용되면서, 기업들은 칩의 이론 성능보다 실제 운영 환경에서 응답 속도와 처리량을 유지하면서 비용을 낮추는 역량을 더 중시하고 있다. 하지만 모델 규모가 커질수록 기업들의 비용 부담은 갈수록 늘어나는 추세다. 특히 LLM은 파라미터 규모가 클수록 추론 과정에서 많은 메모리와 연산 자원을 필요로 한다. 여기에 긴 문맥 처리, 검색증강생성(RAG), AI 에이전트처럼 반복 호출이 많은 서비스가 늘면서 데이터 이동량과 지연시간 관리 부담도 함께 증가하고 있다. 이로 인해 메모리 효율도 AI 인프라 경쟁의 핵심 변수로 떠오르고 있다. 고성능 메모리 확보 경쟁이 이어지고 있지만 모든 기업이 충분한 GPU와 메모리를 확보하기는 어렵다. 같은 하드웨어라도 모델 압축, 양자화, 컴파일러, 런타임, 추론 서빙 구조에 따라 필요한 서버 수와 운영비가 달라질 수 있어 최적화 소프트웨어의 중요성이 커지고 있다.엔비디아가 GPU 시장에서 구축한 소프트웨어 생태계도 반도체 기업들의 움직임을 자극하고 있다. 엔비디아는 GPU 성능뿐 아니라 쿠다를 중심으로 한 개발자 생태계와 소프트웨어 도구를 앞세워 AI 인프라 시장에서 우위를 확보했다. 이에 후발 AI 반도체 기업들은 하드웨어 성능만으로 고객을 설득하기 어려워졌고, 모델 실행과 개발 편의성을 함께 제시해야 하는 압박을 받고 있다. 국내 기업들도 이 같은 구도 변화에 맞춰 전략을 조정하고 있다. 리벨리온은 스퀴즈비츠 인수로 NPU와 최적화 소프트웨어 결합에 나섰고, 퓨리오사AI는 노타와 협력해 대형 모델의 NPU 구동 가능성을 넓히고 있다. 망고부스트는 DPU 기반 인프라 오프로딩으로 데이터센터 내부 병목을 줄이는 방식으로 AI 실행 효율 경쟁에 참여하고 있다. 업계에선 AI가 데이터센터를 넘어 산업 현장으로 확산될수록 최적화 수요가 더 커질 것으로 예상했다. 자동차, 로봇, 제조 설비 등은 전력과 지연시간, 보안 요건이 데이터센터와 다른 만큼, 범용 모델을 그대로 배포하기보다 각 산업과 칩 환경에 맞게 조정하는 역량이 AI 인프라 기업의 경쟁력이 될 것으로 보인다. 이 같은 분위기 속에 AI 반도체 시장이 하드웨어 공급 경쟁을 넘어 소프트웨어 스택 경쟁으로 재편될 가능성도 높아지고 있다. 특히 칩 설계, 모델 최적화, 런타임, 추론 서빙, 인프라 오프로딩을 촘촘하게 묶어 제공하는 기업이 고객 확보에서 유리한 위치를 차지할 것으로 전망된다. 업계 관계자는 "AI 반도체 기업이 고객을 설득하려면 벤치마크 수치뿐 아니라 실제 모델을 자사 칩에서 얼마나 효율적으로 돌릴 수 있는지를 제시해야 한다"며 "소프트웨어 최적화 역량이 없는 칩은 데이터센터와 산업 현장에서 채택 속도가 느릴 수밖에 없다"고 말했다. 그러면서 "AI 인프라 비용 부담이 커질수록 기업들은 같은 서버 자원으로 더 많은 추론을 처리할 수 있는 기술을 찾게 된다"며 "앞으로 AI 반도체 경쟁력은 칩 성능과 함께 모델 최적화, 메모리 효율, 데이터센터 운영 효율을 함께 제공할 수 있느냐에 따라 갈릴 것"이라고 덧붙였다.