검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 최적화'통합검색 결과 입니다. (18건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[유미's 픽] "엔비디아 쿠다 장벽 넘자"…AI 반도체, SW 경쟁 불붙었다

인공지능(AI) 반도체 기업들이 잇따라 모델 최적화 소프트웨어 역량 확보에 나서고 있다. 칩 설계만으로는 AI 인프라 경쟁에서 우위를 점하기 어려워지면서 한정된 컴퓨팅·메모리 자원으로 더 많은 연산을 처리하는 소프트웨어 기술의 가치가 부각되는 분위기다. 퀄컴은 지난달 24일 AI 소프트웨어 기업 모듈러를 약 40억 달러 규모 주식 거래로 인수하겠다고 발표했다. 모듈러는 AI 모델을 다양한 칩에서 실행할 수 있도록 돕는 소프트웨어 기업이다. 로이터는 이번 인수가 퀄컴을 엔비디아 '쿠다(CUDA)'와 경쟁하는 소프트웨어 플랫폼 경쟁에 올려놓는 움직임이라고 평가했다. 국내에서도 비슷한 흐름이 나타났다. AI 반도체 기업 리벨리온은 지난달 30일 AI 추론 최적화 기업 스퀴즈비츠 인수를 발표했다. 스퀴즈비츠는 대형 AI 모델을 더 적은 연산·메모리 자원으로 구동하기 위한 모델 압축과 양자화, 추론 최적화 기술을 보유한 기업이다. 리벨리온은 이번 인수를 통해 신경망처리장치(NPU) 하드웨어와 소프트웨어 최적화, 추론 서빙을 함께 제공하는 통합 AI 인프라 기업으로 사업 범위를 넓힌다는 계획이다. 업계 관계자는 "AI 반도체 기업 입장에선 자체 칩 위에서 고객 모델을 빠르고 안정적으로 실행시키는 역량이 영업 경쟁력과 직결된다"며 "칩을 공급하는 데 그치지 않고 실제 워크로드 성능까지 입증해야 하는 수요가 커진 셈"이라고 설명했다.AI 모델 최적화 기업 노타도 같은 날 퓨리오사AI의 데이터센터용 NPU 환경에서 LG AI연구원의 엑사원 236B 최적화 결과를 공개해 주목받았다. 엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델로, 노타는 모델 크기를 약 71% 줄이면서도 주요 평가 항목에서 원본과 유사한 수준의 정확도를 유지했다. 데이터센터 인프라 최적화 기업 망고부스트도 AI 실행 효율 경쟁의 한 축으로 꼽힌다. 망고부스트는 데이터처리장치(DPU)를 앞세워 네트워킹·스토리지·보안 등 데이터센터 인프라 작업을 중앙처리장치(CPU)에서 분리하는 기술을 개발해왔다. AI 모델 자체를 줄이는 방식은 아니지만 GPU와 서버 자원을 AI 연산에 더 집중시키는 구조라는 점에서 모델 최적화 기업들과 같은 수요를 겨냥하고 있다는 평가를 받는다. 이처럼 AI 반도체 시장에서 성능 최적화 소프트웨어 기업들이 주목받게 된 것은 생성형 AI 활용 방식이 달라지면서 모델 실행 능력이 더욱 중요해지고 있어서다. 대형언어모델(LLM)이 단순 실험 단계를 넘어 서비스와 업무 시스템에 적용되면서, 기업들은 칩의 이론 성능보다 실제 운영 환경에서 응답 속도와 처리량을 유지하면서 비용을 낮추는 역량을 더 중시하고 있다. 하지만 모델 규모가 커질수록 기업들의 비용 부담은 갈수록 늘어나는 추세다. 특히 LLM은 파라미터 규모가 클수록 추론 과정에서 많은 메모리와 연산 자원을 필요로 한다. 여기에 긴 문맥 처리, 검색증강생성(RAG), AI 에이전트처럼 반복 호출이 많은 서비스가 늘면서 데이터 이동량과 지연시간 관리 부담도 함께 증가하고 있다. 이로 인해 메모리 효율도 AI 인프라 경쟁의 핵심 변수로 떠오르고 있다. 고성능 메모리 확보 경쟁이 이어지고 있지만 모든 기업이 충분한 GPU와 메모리를 확보하기는 어렵다. 같은 하드웨어라도 모델 압축, 양자화, 컴파일러, 런타임, 추론 서빙 구조에 따라 필요한 서버 수와 운영비가 달라질 수 있어 최적화 소프트웨어의 중요성이 커지고 있다.엔비디아가 GPU 시장에서 구축한 소프트웨어 생태계도 반도체 기업들의 움직임을 자극하고 있다. 엔비디아는 GPU 성능뿐 아니라 쿠다를 중심으로 한 개발자 생태계와 소프트웨어 도구를 앞세워 AI 인프라 시장에서 우위를 확보했다. 이에 후발 AI 반도체 기업들은 하드웨어 성능만으로 고객을 설득하기 어려워졌고, 모델 실행과 개발 편의성을 함께 제시해야 하는 압박을 받고 있다. 국내 기업들도 이 같은 구도 변화에 맞춰 전략을 조정하고 있다. 리벨리온은 스퀴즈비츠 인수로 NPU와 최적화 소프트웨어 결합에 나섰고, 퓨리오사AI는 노타와 협력해 대형 모델의 NPU 구동 가능성을 넓히고 있다. 망고부스트는 DPU 기반 인프라 오프로딩으로 데이터센터 내부 병목을 줄이는 방식으로 AI 실행 효율 경쟁에 참여하고 있다. 업계에선 AI가 데이터센터를 넘어 산업 현장으로 확산될수록 최적화 수요가 더 커질 것으로 예상했다. 자동차, 로봇, 제조 설비 등은 전력과 지연시간, 보안 요건이 데이터센터와 다른 만큼, 범용 모델을 그대로 배포하기보다 각 산업과 칩 환경에 맞게 조정하는 역량이 AI 인프라 기업의 경쟁력이 될 것으로 보인다. 이 같은 분위기 속에 AI 반도체 시장이 하드웨어 공급 경쟁을 넘어 소프트웨어 스택 경쟁으로 재편될 가능성도 높아지고 있다. 특히 칩 설계, 모델 최적화, 런타임, 추론 서빙, 인프라 오프로딩을 촘촘하게 묶어 제공하는 기업이 고객 확보에서 유리한 위치를 차지할 것으로 전망된다. 업계 관계자는 "AI 반도체 기업이 고객을 설득하려면 벤치마크 수치뿐 아니라 실제 모델을 자사 칩에서 얼마나 효율적으로 돌릴 수 있는지를 제시해야 한다"며 "소프트웨어 최적화 역량이 없는 칩은 데이터센터와 산업 현장에서 채택 속도가 느릴 수밖에 없다"고 말했다. 그러면서 "AI 인프라 비용 부담이 커질수록 기업들은 같은 서버 자원으로 더 많은 추론을 처리할 수 있는 기술을 찾게 된다"며 "앞으로 AI 반도체 경쟁력은 칩 성능과 함께 모델 최적화, 메모리 효율, 데이터센터 운영 효율을 함께 제공할 수 있느냐에 따라 갈릴 것"이라고 덧붙였다.

2026.07.01 10:53장유미 기자

리벨리온, 스퀴즈비츠 전격 인수…풀스택 AI 인프라 기업 진화

국내 대표 AI 반도체 기업 리벨리온이 소프트웨어 최적화 전문 스타트업을 품으며 하드웨어와 소프트웨어를 아우르는 통합 AI 인프라 기업으로의 전환을 선언했다. 리벨리온은 AI 추론 최적화 전문기업 스퀴즈비츠를 인수한다고 30일 밝혔다. 이번 인수로 스퀴즈비츠는 리벨리온의 100% 자회사가 된다. 인수는 신주 발행을 통해 진행됐다. 리벨리온이 스퀴즈비츠 주주들이 가진 지분을 가져올 때, 리벨리온의 신주를 기존 주주들에게 나눠주는 방식이다. 리벨리온 관계자는 "카카오벤처스 등 주주들이 겹치는 경우가 많아서 인수 과정에 큰 문제는 없었다"고 말했다. 양사의 공통된 주주로는 카카오벤처스, 네이버D2SF, 신한캐피탈 등이 있다. 한편 양사는 지난 2024년부터 리벨리온 NPU 기반의 모델 경량화 기술 및 전용 소프트웨어를 공동 개발하며 협력을 이어온 바 있다. 국내 개발자 커뮤니티를 대상으로 추론 최적화 오픈소스인 'vLLM' 관련 행사와 워크숍을 공동 개최하며 오픈소스 AI 생태계 활성화를 주도하기도 했다. 이번 인수를 통해 리벨리온은 자체 신경망처리장치(NPU) 하드웨어 기술력에 스퀴즈비츠의 소프트웨어 최적화 및 추론 서빙(Serving) 역량을 결합해, 인프라 전 구간을 시스템 레벨로 제어하는 독자적인 플랫폼 경쟁력을 확보하게 됐다. 추론 서빙은 AI 모델이 실제 서비스로 구동되는 전 과정을 의미하며 속도와 비용, 안정성을 결정짓는 핵심 파이프라인이다. 스퀴즈비츠는 AI 반도체와 딥러닝, 모델 경량화 분야의 검증된 연구자들이 모여 창업한 딥테크 스타트업이다. 다양한 하드웨어 환경에서 AI 모델의 구동 속도를 높이고 운영 비용을 낮추는 독보적인 최적화 기술을 보유하고 있다. 특히 창업 직후 인텔, 엔비디아 등 글로벌 AI 하드웨어 공룡 기업들과 협업 레퍼런스를 쌓으며 기술력을 전 세계적으로 인정받았다. 이번 인수로 리벨리온은 하드웨어부터 서비스 배포까지 엔드투엔드(End-to-End)로 제공되는 차세대 AI 인프라를 완성하게 됐다. 고객사가 AI 서비스를 구축할 때 마주하는 복잡한 최적화 프로세스 부담을 최소화하고, 가장 경제적이고 효율적인 인프라 환경을 원스톱으로 제공하겠다는 계획이다. 박성현 리벨리온 대표는 "훌륭한 인재와 기술력이 기업의 경계를 넘어 결집할 때 한국 AI 생태계에 새로운 가능성이 열린다"며 "스퀴즈비츠와 힘을 합쳐 하드웨어, 소프트웨어, 대규모 시스템을 모두 아우르는 기업으로 거듭나 글로벌 무대에서 이를 증명하겠다"고 밝혔다. 김형준 스퀴즈비츠 대표 역시 "우리의 최적화 기술이 리벨리온 NPU 생태계를 더욱 폭넓게 확장할 것"이라며 "풀스택 AI 인프라를 구현해 고객들이 리벨리온 기반에서 AI 서비스를 더욱 쉽고 경제적으로 운영할 수 있도록 지원하겠다"고 말했다.

2026.06.30 10:02전화평 기자

노타, LG CNS와 'AI 교통체계' 수출 나선다

노타가 LG CNS와 손잡고 인공지능(AI) 기반 지능형 교통 체계(ITS) 기술 글로벌 시장 공략에 나선다. 노타는 LG CNS와 AI 기반 실시간 ITS 기술 사업화를 위한 업무협약(MOU)을 체결했다고 23일 밝혔다. 노타는 AI 모델 경량화·최적화 역량을 바탕으로 엣지 환경에서도 실시간 영상 분석이 가능한 ITS 기술을 구현하고 있다. 생성형 비전언어모델(VLM) 기반 영상관제 솔루션 '노타 비전 에이전트(NVA)'를 통해 교통 흐름 분석·돌발상황 감지·보행자 및 차량 위험 상황 인식 등 교통관제 기능을 제공한다. LG CNS는 도시 교통 흐름을 정밀 분석·예측하는 도시통합운영센터(IOC)를 중심으로 글로벌 스마트시티 시장에서 다양한 ITS 프로젝트를 추진해 왔다. 양사는 노타의 ITS 기술과 LG CNS의 자체 AI 스마트시티 플랫폼을 연계해 교통 인프라 디지털 전환 수요에 공동 대응한다. 특히 미주 지역을 주요 대상 시장으로 삼아 AI 기반 ITS 프로젝트 기회를 함께 발굴할 계획이다. 양사 협력은 이미 케냐 나이로비 ITS 구축사업을 통해 구체화됐다. 노타는 지난해 LG CNS가 주관한 케냐 나이로비 교통관제센터 구축 프로젝트에서 AI 경량화·최적화 기반 스마트교차로 시스템을 엣지 환경에 맞게 구현하며 해외 ITS 사업 협력 레퍼런스를 확보했다. 채명수 노타 대표는 "우리 AI 경량화·최적화 기술이 글로벌 ITS 사업 역량을 갖춘 LG CNS와 결합해 더 큰 시장으로 확장될 계기"라며 "양사 기술과 사업 역량을 바탕으로 현장에서 활용 가능한 AI 기반 지능형 교통 체계 솔루션을 만들겠다"고 말했다.

2026.06.23 09:53이나연 기자

AI 주권, 모델 넘어 '운영' 경쟁으로 번진다

앤트로픽의 최상위 인공지능(AI) 모델에 대한 미국의 수출 통제를 계기로 AI가 국가 안보 자산으로 취급되고 있다. 기술 보유국의 정책 변화만으로 모델과 서비스 공급망이 흔들릴 수 있다는 우려가 현실화하면서, 자국 모델 기술력과 이를 효율적으로 운영할 역량이 소버린(주권) AI의 핵심 과제로 떠오르고 있다. 22일 업계에 따르면 미국 행정부는 지난 12일(현지시간) 앤트로픽 신규 모델 '클로드 미토스5'와 '클로드 페이블5'에 대한 외국 국적자의 접근을 제한하는 수출 통제 지침을 내렸다. 해외 접속뿐 아니라 미국 내 체류 중인 외국인과 앤트로픽 소속 외국인 직원의 사용까지 제한 대상에 포함되면서 파장이 커졌다. 이번 조치로 글로벌 AI 보안 협의체 '프로젝트 글래스윙'에 합류한 한국도 영향을 받게 됐다. 프로젝트 글래스윙은 앤트로픽이 '클로드 미토스 프리뷰' 공개와 함께 출범한 협의체다. 보안 취약점 탐지에 특화된 미토스의 오남용을 막기 위해 검증된 기업과 기관에 모델을 선제 제공하고 이를 통해 소프트웨어 취약점을 방어하는 방식으로 운영돼 왔다. 앤트로픽은 지난 2일(현지시간) 글래스윙 참여 대상을 15개국 약 150개 기관으로 확대했다. 국내에서는 한국인터넷진흥원(KISA), 삼성전자, SK하이닉스, SK텔레콤 등이 참여했다. 그러나 이후 미토스5와 페이블5에 대한 수출 통제가 내려지면서 국내 참여 기관들은 본격적인 모델 활용에 나서기 전부터 접근 제약에 직면했다. 업계는 이번 사태가 특정 빅테크 모델을 쓰지 못하게 된 문제에 그치지 않는다고 본다. 해외 사업자의 모델과 응용프로그램인터페이스(API), 클라우드에 의존하는 구조에서는 공급국의 정책 변화나 사업자 판단만으로 AI 서비스 운영 자체가 흔들릴 수 있기 때문이다. 프런티어 AI를 외부에서 들여온다는 것은 모델 하나를 사용하는 문제가 아니라 개발·배포·운영 환경 전반을 외부 스택에 의존하는 문제라는 지적이다. 한국은 외산 AI 의존도를 낮추기 위해 독자 AI 파운데이션 모델 개발에 나서고 있다. 지난해부터 과학기술정보통신부가 추진한 '독자 AI 파운데이션 모델(독파모)' 프로젝트는 거대언어모델(LLM)과 멀티모달 등 주요 AI 영역에서 원천 기술력을 확보하는 것을 목표로 한다. 다만 업계에서는 자국 AI 모델 개발만으로는 충분하지 않다는 목소리가 나온다. 국내에서 확보 가능한 컴퓨팅 자원과 인프라 안에서 모델을 안정적으로 학습·추론하고 서비스할 수 있는 운영 역량도 함께 갖춰야 한다는 것이다. 미국과 중국의 대형 사업자처럼 대규모 그래픽처리장치(GPU)와 데이터센터를 단기간에 확보하기 어려운 만큼, 제한된 연산 자원의 활용 효율이 경쟁력으로 꼽힌다. 최신 AI 추론 환경은 기존 데이터센터보다 높은 전력 밀도와 메모리 자원을 요구한다. 이에 따라 인프라 확충과 함께 모델 구조와 서비스 환경에 맞춰 정밀도, 메모리 사용량, 처리 속도를 조정하는 경량화·최적화 기술에도 관심이 쏠린다. 같은 인프라에서 처리할 수 있는 작업량을 늘리고 운영 비용을 낮출 수 있어서다. 이 같은 운영 최적화는 독파모 프로젝트에서도 적용되고 있다. 업스테이지 컨소시엄에 참여 중인 노타는 솔라 계열 모델을 국내 인프라 환경에서 구동하기 위한 압축·최적화 작업을 맡고 있다. 이 회사는 대규모 전문가 혼합(MoE) 모델에서 중요도가 낮은 영역을 선별적으로 압축해 메모리 사용량을 줄이고 성능 저하를 최소화하는 기술을 제공한다. 실제 업스테이지 '솔라 오픈 100B'에 노타의 최적화 기술을 적용한 결과, 메모리 사용량을 약 72.8% 줄이면서 원본 모델과 유사한 성능 지표를 유지한 것으로 나타났다. 업계 관계자는 "앤트로픽 사태가 단발성 사건으로 끝나더라도 AI 인프라 종속의 구조적 위험은 그대로 남을 것"이라며 "독자 개발한 자국 모델을 한정된 자원에서 효율적으로 가동하는 경량화·최적화 기술이 함께 가야 AI 주권이 외부 정책 변수에 흔들리지 않는다"고 말했다.

2026.06.22 11:37이나연 기자

김완종 SK AX 사장 "단순 AI 도입 넘어 기업 전체 최적화해야"

"기업 경쟁력은 더 좋은 인공지능(AI)을 도입하는 것이 아니라 AI를 통한 전사 최적화로 새로운 성장 가치를 창출하는 데 있습니다." 김완종 SK AX 사장은 16일 서울 그랜드 인터컨티넨탈 파르나스 호텔에서 개최한 '이매진 AX 2026' 컨퍼런스에서 이같이 강조했다. 'AI를 도입하는 기업에서 AI가 일하는 기업으로(Beyond AI: The Agentic Enterprise)'를 주제로 진행된 이번 행사에서 SK AX는 전사 업무와 운영 전반을 AI로 혁신해 온 '비잉(Being) AX' 경험을 중점적으로 소개했다. 제조·금융·통신·유통·서비스 등 다양한 산업 경영진도 한자리에 모여 SK AX와의 협업을 통한 AI 전환(AX) 사례를 공유했다. 김 사장은 이날 기조연설을 통해 "AI로 업무 효율화와 전사 증강을 이뤄낸 기업들과 그렇지 못한 기업간 격차는 이미 경영 성과로 나타나기 시작했으며 앞으로 그 격차는 더욱 커질 것"이라며 "기업이 그 격차의 상단에 서기 위해선 단순 AI 도입을 넘어 전략·기술· 데이터·운영체계·인재·변화관리 등 AX 핵심 역량을 갖춰야 한다"고 강조했다. 그러면서 "우리는 스스로를 첫번째 고객이라 생각하며 비잉 AX를 실천해 이러한 역량을 검증해 왔다"고 덧붙였다. SK AX는 기업 실제 업무와 운영 전반이 AI로 재설계되는 에이전틱 엔터프라이즈 시대를 연다는 청사진을 제시했다. 단순 AI 도입을 넘어 AI로 비즈니스 모델을 혁신하고 사람·AI 협업을 통해 기업 전체가 증강되는 성장의 선순환 구조를 만들겠다는 목표다. SK AX는 비잉 AX 전략의 핵심으로 전사 최적화를 위한 전략적 로드맵은 물론 통합 플랫폼 역량을 앞세우고 있다. 대표적인 에이전틱 AI 플랫폼으로는 '엑스젠틱와이어(AXgenticWire) NPO'가 꼽힌다. 이는 수많은 에이전트를 연결하고 이들 협업을 오케스트레이션하는 동시에 보안과 품질 편차, 비용 증가 등 문제를 통제하도록 설계됐다. 김 사장은 "AX는 단순한 기술 도입이 아닌 조직 전체가 AI와 함께 움직일 수 있도록 일하는 방식과 기업운영 체계를 재설계하는 것을 의미한다"며 "AI와 협업 가능한 인재를 육성하고 이를 지지하는 조직문화와 시스템을 만들어야 비로소 AI 증강을 통한 전사 통합과 시너지 창출이 가능하다"고 말했다. 이날 행사엔 제조·반도체·금융·HR 등 다양한 영역의 주요 고객과 파트너사 경영진이 참석해 SK AX와의 실제 협력 사례를 발표했다. SK AX와 엔터프라이즈 AI 파트너십을 체결한 오픈AI가 대표적이다. 기업 내부 시스템 맥락을 정확히 이해하고 실제 업무 성과와 투자 대비 효과까지 높이는 AX 혁신 모델을 고도화 과정을 소개했다. SK하이닉스는 SK AX와 함께 디지털 트윈을 기반으로 제조 공정 정밀도와 데이터 활용 범위를 넓혔으며 수율 극대화를 위한 자율운영 모델인 자율형 공장 전환에도 속도를 내고 있다. 또 글로벌 풍력타워 제조기업인 씨에스윈드는 생산 현장 데이터와 업무 프로세스를 AI 에이전트와 연결해 작업 계획 수립 및 일정 조정을 최적화한 글로벌 제조 AX 모델을 SK AX와 함께 구현해 적용 중이다. 신한금융그룹은 SK AX와 함께 데이터 보안, 권한 관리, 규제 대응을 충족하는 '1인 1 금융 에이전트' 기반 업무 혁신 모델을 구체화하고 있다. 글로벌 HR 컨설팅 기업 머서 역시 SK AX와 파트너십을 기반으로 사람과 AI가 협업하는 조직 운영 체계를 설계하고 있다. 손건일 SK AX 최고고객책임자(CCO)는 "다수 고객사들과의 AX 경험을 토대로 성공조건을 살펴보면 에이전트 구성원을 염두에 둔 기존 프로세스 재설계, 사내 암묵지의 에이전트화를 통한 자산화, 이를 통한 성공 경험이 중요하다"며 "이를 위해선 현재 시스템과 현장 업무를 이해하고 AI 기술을 통해 업무 끝단까지 재연결하려는 노력이 동반돼야 할 것"이라고 말했다. 차지원 SK AX 최고AI혁신책임자(CAIO)는 "기술 선택 기준이 도입 자체에서 AI를 어떻게 일하게 할 것인가의 영역으로 이동하고 있다"고 진단했다. 이어 "AI가 실제 비즈니스 성과를 내려면 기업 내부 데이터와 시스템, 프로세스뿐 아니라 산업별 도메인 지식이 정교하게 맞물려야 한다"며 "우리는 엑스젠틱와이어를 통해 현장 맞춤형 실행 모델을 고도화하고 있다"고 밝혔다.

2026.06.16 11:23한정호 기자

노타, 세계적 학회서 'MoE' 특화 AI 최적화 기술력 입증

노타가 세계적 머신러닝 학회에서 거대언어모델(LLM) 핵심 구조로 주목받는 전문가 혼합(MoE) 모델 최적화 분야 기술력을 인정받았다. 지난 엔비디아 네모트론 해커톤에서 데이터 기반 MoE 양자화 기법으로 트랙 우승과 종합우승을 차지한 데 이은 성과다. 노타는 ICML 2026의 '리소스 적응형 파운데이션 모델 추론(AdaptFM)' 워크숍에서 자사의 MoE 특화 양자화 알고리즘 논문 2편이 최종 채택됐다고 11일 밝혔다. MoE는 여러 전문가 모델 중 필요한 일부만 선택해 동작하는 방식으로, 대형 AI 모델의 성능과 효율을 동시에 높일 수 있어 최신 LLM에서 빠르게 확산하고 있다. 다만 모델 구조가 복잡한 만큼 이를 더 작고 가볍게 만드는 양자화 과정에서도 기존 일반 모델과는 다른 접근이 필요하다. 이번에 채택된 첫 번째 논문 'DREAM-MoE'는 대규모 AI 모델을 여러 구간으로 나눠 양자화할 때 발생할 수 있는 판단 흐름의 변화를 줄이는 방법을 제안한다. 노타는 앞쪽 구간에서 생긴 작은 오차가 뒤쪽 구간 전문가 선택까지 바꿀 수 있다는 점에 주목해 양자화 이후에도 모델이 원래와 유사한 방식으로 필요한 전문가를 선택할 수 있도록 했다. 또 다른 논문 'SRA-MoE'는 모델 결과에 더 큰 영향을 주는 중요한 입력을 선별해 우선적으로 보호하는 방법을 제안한다. 모든 입력을 동일하게 다루기보다 핵심 입력에서 전문가 선택이 크게 흔들리지 않도록 설계해 제한된 자원으로도 모델 품질을 효과적으로 유지할 수 있도록 했다. 두 연구 모두 최신 MoE 특화 양자화 기법들과 비교해 더 높은 성능이 확인됐다고 노타는 강조했다. AI 모델을 더 적은 메모리와 연산 자원으로 실행하면서도 품질 저하를 줄였다는 설명이다. 노타는 정부 주도의 독자 파운데이션 모델 개발 과제에 참여 중인 업스테이지 컨소시엄에서 '솔라 MoE'와 같은 대규모 모델 최적화를 추진하는 한편, 엔비디아 네모트론 3 나노 모델 양자화 경험을 네모트론 울트라 등 최신 모델로 확장하는 등 기술 적용 범위를 넓히고 있다. 채명수 노타 대표는 "이번 논문 채택은 노타가 MoE에 특화된 양자화 기술을 꾸준히 고도화해 온 성과"라며 "대규모 AI 모델을 더 효율적으로 활용할 수 있는 최적화 기술 개발을 이어가겠다"고 말했다.

2026.06.11 10:16이나연 기자

검색 주도권, AI로 바뀐다…아카마이, GEO 시장 공략

아카마이가 생성형 인공지능(AI) 기반 검색과 에이전트 중심 웹 환경 확산에 대응하기 위한 신규 브랜드 최적화 플랫폼을 공개했다. 검색엔진최적화(SEO)를 넘어 거대언어모델(LLM)과 AI 에이전트가 기업 콘텐츠를 어떻게 이해하고 인용하느냐가 새로운 경쟁력으로 떠오르면서, 기업 디지털 전략도 AI 중심 구조로 빠르게 재편되는 모습이다. 아카마이는 기업이 AI 검색과 에이전틱 트래픽 환경에 맞춰 콘텐츠를 최적화할 수 있도록 지원하는 'AI 브랜드 프레즌스'를 출시했다고 27일 밝혔다. 최근 인터넷 검색 환경은 사람 중심 검색에서 AI 기반 답변·추천 중심 구조로 빠르게 이동하고 있다. 소비자들이 브랜드 웹사이트를 직접 방문하기보다 챗GPT와 같은 생성형 AI 응답을 통해 브랜드를 접하는 사례가 늘어나면서 기존 검색·광고 기반 마케팅 구조에도 변화가 나타나고 있다. 아카마이에 따르면 최근 1년간 AI 봇 트래픽은 300% 이상 증가했다. 동시에 전체 검색 중 약 60%가 웹사이트 클릭 없이 AI 답변 단계에서 종료되는 '제로 클릭' 현상도 확대되는 것으로 나타났다. 이는 기업 입장에서 기존 검색엔진 노출 전략만으로는 브랜드 가시성을 유지하기 어려워지고 있음을 의미한다. 아카마이는 이러한 변화를 '에이전틱 검색 시대'로 규정했다. 앞으로는 AI 모델이 어떤 콘텐츠를 신뢰하고 인용하느냐가 브랜드 노출과 고객 유입을 좌우하게 되면서 기업들도 AI가 이해하기 쉬운 데이터 구조와 콘텐츠 전달 체계를 구축해야 한다는 설명이다. 최근 업계에서 주목받는 생성형 엔진 최적화(GEO) 흐름과 맞닿아 있는 전략으로 풀이된다. AI 브랜드 프레즌스는 이를 위해 웹사이트 정보를 AI가 이해하기 쉬운 구조로 자동 변환하는 AI 최적화 컨텍스트 전달 기능을 지원한다. 백엔드 시스템 변경 없이 엣지 환경에서 실시간으로 콘텐츠 구조를 조정할 수 있으며 일반 사용자 경험에는 영향을 주지 않는 방식이다. 또 어떤 AI 모델이 사이트를 방문하고 어떤 콘텐츠를 소비하는지 분석하는 가시성·인사이트 기능도 제공한다. 기업들은 단일 대시보드를 통해 AI 상호작용이 실제 트래픽과 고객 참여에 어떤 영향을 미치는지 파악할 수 있으며 이를 기반으로 콘텐츠 전략을 조정할 수 있다. AI 시스템이 브랜드·제품·메시지를 어떻게 이해하고 노출하는지 실시간으로 확인할 수 있는 점도 특징이다. 아카마이는 기존 최적화 방식과 달리 이 솔루션이 엣지에서 동작한다는 점도 강점으로 내세웠다. 기존 워크플로우나 사용자 경험을 바꾸지 않고도 AI 환경에 맞춰 콘텐츠 전달 구조를 실시간으로 조정할 수 있도록 설계했다. 아카마이는 자사 글로벌 웹사이트에 해당 기술을 시범 적용한 결과, 브랜드 관련 인용 횟수가 85% 증가했고 브랜드명이 직접 언급되지 않은 일반 검색에서 브랜드 노출도는 364% 급증했다고 밝혔다. 특히 챗GPT 내 브랜드 노출은 경쟁사 대비 133% 증가한 것으로 나타났다. 회사는 AI 맞춤형 웹사이트 버전을 별도로 제공해 기계가 처리해야 하는 데이터 양을 최대 99%까지 줄였다고 설명했다. 이번 발표는 AI 시대 기업 디지털 전략 중심축이 기존 SEO에서 GEO와 AI 에이전트 대응 체계로 이동하고 있음을 보여주는 사례로 풀이된다. 단순히 검색 순위를 높이는 것을 넘어 AI 모델이 기업 정보를 어떤 방식으로 이해하고 추천하는지까지 관리해야 하는 시대가 열리고 있다는 분석이다. 아카마이는 향후 사용자를 대신해 자율 에이전트가 정보 탐색과 의사결정, 거래까지 수행하는 미래 AI 생태계에 대응하기 위해 관련 기술을 지속 확대할 계획이다. AI 최적화 딜리버리 기술과 AI 트래픽 가시성을 결합해 기업들이 새로운 AI 상호작용 환경에서 브랜드 표현 방식을 보다 능동적으로 관리할 수 있도록 지원한다는 구상이다. 현재 AI 브랜드 프레즌스는 북미 일부 고객을 대상으로 우선 제공되며 향후 적용 범위를 단계적으로 확대할 예정이다. 킴 세일럼-잭슨 아카마이 최고마케팅책임자(CMO)는 "AI 모델이 기업 콘텐츠를 어떻게 찾고 공유하는지를 관리하지 못하면 결국 브랜드 평판 통제권을 잃게 된다"며 "이제 훌륭한 웹사이트는 사용자 경험뿐 아니라 AI가 신뢰하는 답변 출처가 될 수 있도록 최적화돼야 한다"고 말했다.

2026.05.27 14:32한정호 기자

"AI가 '지갑 속 노는 코인' 운용하는 시대"

지난 2월 글로벌 가상자산 거래소 코인베이스는 인공지능(AI) 에이전트 전용 지갑 인프라 에인전틱 월렛(Agentic Wallet)을 공개하며, “조언만 하던 에이전트에서, 실제로 행동하는 에이전트로 넘어가는 시대”를 선언했다. 이제 에이전트는 스스로 자금을 보유하고, 토큰을 사고팔며, 애플리케이션프로그래밍인터페이스(API)나 컴퓨트 비용을 온체인으로 결제할 수 있다. 사람 대신 소프트웨어가 서로에게 청구서를 보내고, 그 자리에서 정산하는 머신 이코노미의 초입이 열린 것이다. 에이전트의 지갑 안에서는 무슨 일이 벌어질까 에이전틱 월렛과 이를 감싸는 에이전틱 키트는 에이전트에게 인증, 펀드, 송금, 거래 등의 온체인 스킬을 통째로 제공한다. 개발자가 이 모듈만 붙이면 에이전트가 스스로 스왑·송금·이자 수취를 할 수 있는 구조다. 이 구조가 정착되면 에이전트 지갑 안의 스테이블코인과 토큰은 '기본값이 예치 상태'가 된다. 더 이상 잔고가 놀지 않는다. 에이전트는 가스비·리스크를 동시에 계산해, 항상 더 나은 이자·보상 구조 쪽으로 자산을 흘려보낸다. 페이파이: 결제가 곧 금융상품이 되는 순간 여기서 페이파이(PayFi)가 중요해진다. PayFi는 말 그대로 결제가 금융이 되는 현상이다. 결제 행위가 끝난 뒤에 따로 예적금을 고민하는 것이 아니라, 결제와 동시에 자금이 금융상품으로 흘러들어가 이자를 발생시키도록 설계하는 것이다. 페이파이 솔루션 티클리(Tikkly)는 이 아이디어를 상업 서비스로 구현한 사례다. 티클리는 여러 회사에 흩어진 포인트를 모아 스테이블코인, 비트코인 등으로 즉시 전환하고, 파트너사와의 정산을 블록체인 스마트컨트랙트로 짧은 주기로 처리한다. 또 전환된 자산을 디파이 프로토콜에 자동 예치해 결제 직후부터 이자를 붙이는 구조를 만든다. AI 에이전틱 페이파이: 에이전트가 만드는 24시간 스마트 수익 엔진 지갑을 가진 AI 에이전트와, 결제 즉시 자산을 운용하는 페이파이를 겹쳐보자. 이미 코인베이스의 에이전트키트는 오픈AI 에이전트 개발키트(SDK)와 바로 붙는 툴킷을 제공해, “에이전트에 지갑을 붙이는 일”을 10분 만에 끝내도록 만들었다. 에이전트는 이 지갑으로 사용자의 구독료, 광고비, 데이터 판매 수익 등을 스테이블코인 형태로 수취하고, 동시에 클라우드 컴퓨트·API·데이터 구매에 필요한 비용을 자동으로 지출할 수 있다. 결과적으로 AI 에이전트는 자기 지갑과 자기 운용정책을 가진 작은 금융기관처럼 행동한다. 사람은 수익률, 변동성, 손실 한도와 윤리·규제 경계를 지정하고, 그 안에서 에이전트는 24시간 자율적으로 경제 활동을 한다. 이미 시장에는 에이전트 빌더를 위한 지갑·결제 SDK 레퍼런스가 쌓이고 있다. 코인베이스 에이전트 키트는 에이전트 프레임워크에 바로 불러 쓸 수 있는 지갑 모듈로, 오픈AI 에이전트 SDK와의 통합을 공식 지원한다. 크립토닷컴의 AI 에이전트SDK는 자연어로 “이 토큰 보내줘, 잔고 보여줘”라고 말하면, 내부적으로 지갑 API와 디파이 플랫폼을 호출하는 구조를 제공한다. 책임 소재·보안 등의 리스크도 다만, 상용화 과정에서 법적·운영적·책임적 장애물이 산적해 있다. 아래는 주요 이슈를 더 날카롭게 정리한 것이다. 1. 책임 소재 불명확 에이전트가 디파이에서 손실을 내거나, 해킹·스마트컨트랙트 익스플로잇에 휘말리면 누가 책임져야 할까. 앤트로픽 연구처럼 AI 에이전트가 스스로 취약점을 찾아 익스플로잇하는 사례도 이미 관찰됐다. 더욱 위험한 것은 프롬프트 인젝션과 도구 사용 오남용이다. “최대 수익률로 투자해”라는 단순 지시가 에이전트에게 “레버리지 100배 포지션 잡아”로 해석되는 경우가 현실적으로 발생할 수 있다. 2. 보안·오남용 리스크 에이전틱 월렛이 퍼지면 에이전트 간 “자원 도둑질”, 무한 루프 거래(머니 러닝), 또는 거대언어모델(LLM) 환각으로 인한 고위험 베팅이 대규모로 발생할 위험이 크다. 실제 개념검증(PoC) 단계에서 가장 먼저 현실화될 가능성이 높은 시나리오는 에이전트간 공격과 프롬프트 기반 정책 우회다. 3. 한국 시장 특화 과제 한국에서는 글로벌 비전과 국내 규제 간 괴리가 더 크다. 가상자산 이용자 보호법 개정안에서 AI 에이전트의 자율 거래 행위를 '이용자 대리 행위'로 규정할 가능성이 높다. 또 금융위원회가 준비 중인 '지능형 AI 에이전트 금융 행위 가이드라인'에서는 인간 감독 의무, 비상정지 장치 필수화, 손실 발생 시 배상 책임 등이 논의되고 있다. 해외 지갑 사용 시 외국환거래법 위반 이슈(무인가 해외 송금)와 자금세탁방지(AML) 규제가 걸림돌이 될 수 있다. 이러한 리스크를 극복하지 않으면, 에이전트 경제는 “자율성의 환상”으로 끝날 수 있다. 다만, 코인베이스, 티클리 같은 플레이어들이 속도를 내고 있는 만큼, 머지 않아 실제 PoC가 나올 가능성은 높아 보인다. *본 칼럼 내용은 본지 편집방향과 다를 수 있습니다. • 2025 ~ 현재: Noone21 대표이사, 포항공대 CCBR(Center for Cryptocurrency & Blockchain Research) 부센터장 • 2023 ~ 현재: 수호아이오 사업 및 전략 고문 • 2018 ~ 2023: 람다256 대표이사 • 2016 ~ 2018: SK텔레콤 전무이사 (서비스 플랫폼) • 2008 ~ 2016: 삼성전자 무선사업부 상무이사 (삼성페이, 챗온)

2026.04.07 14:24박재현 컬럼니스트

[유미's 픽] "연산보다 메모리"…구글 '터보퀀트' 등장에 엔비디아도 '긴장'

구글이 생성형 인공지능(AI) 운영의 핵심 병목으로 꼽혀온 '메모리 문제'를 소프트웨어 방식으로 풀어내는 기술을 공개하면서 AI 인프라 경쟁의 방향이 바뀌고 있다. 모델 규모 확대 중심이던 기존 경쟁 구도가 실행 효율과 메모리 최적화 중심으로 이동하고 있다는 분석이 나온다. 27일 업계에 따르면 최근 대규모언어모델(LLM) 운영에서는 연산 성능보다 메모리 처리 효율이 전체 성능을 좌우하는 사례가 늘고 있다. LLM은 답변 생성 과정에서 이전 정보를 반복적으로 참조하는 구조를 갖고 있어 데이터 접근 과정에서 발생하는 지연이 속도와 비용을 동시에 제한하는 요인으로 작용한다. 현재 엔비디아 H100 등 최신 그래픽처리장치(GPU) 도입으로 연산 성능은 크게 향상됐지만, 메모리 대역폭과 데이터 이동 효율은 상대적으로 제한돼 있다. 실제 서비스 환경에서는 GPU 연산보다 메모리 접근이 병목으로 작용하는 경우가 적지 않다. 이 같은 흐름 속에서 AI 추론 시스템을 구성하는 기술 구조에 대한 이해도 중요해지고 있다. AI 추론은 모델, 메모리 구조, 실행 소프트웨어, 하드웨어가 단계적으로 결합된 형태로 작동한다. 우선 모델은 연산 과정에서 생성된 정보를 메모리에 저장하고 이를 반복적으로 참조한다. 이 과정에서 메모리 사용량이 급격히 증가하며 병목이 발생한다. 이를 해결하기 위한 접근이 메모리 압축 기술로, 데이터 표현을 줄이는 양자화(Quantization) 방식과 데이터 구조를 효율적으로 인코딩하는 방식이 함께 발전하고 있다. 이 가운데 구글이 지난 24일 공개한 터보퀀트(TurboQuant)는 데이터 표현 방식을 재구성하는 양자화 기반 접근으로, 메모리 사용량을 줄이면서도 정확도를 유지하는 데 초점을 맞춘 기술로 평가받는다. 엔비디아 역시 같은 문제를 두고 다른 접근을 시도하고 있다. 특히 최근에는 KV 캐시를 효율적으로 저장하기 위한 'KV 캐시 트랜스폼 코딩(KV Cache Transform Coding)' 기반 기술을 앞세우고 있다. 이는 데이터를 단순히 제거하는 방식이 아닌, 정보 구조를 효율적으로 인코딩해 저장 효율을 높이는 접근에 가깝다. 다만 모델별 특성에 맞춘 보정 과정이 필요하다는 점에서 적용 방식에는 차이가 있다. 두 기술 모두 메모리 압축을 목표로 하지만 접근 방식에는 차이가 있다. 터보퀀트가 양자화를 기반으로 정확도 손실을 최소화하는 데 초점을 둔 반면, KV 캐시 트랜스폼 코딩은 인코딩 효율을 높여 압축률을 끌어올리는 기술로 분석된다. 두 기술은 기존 메모리 최적화 기술의 연장선에선 의미 있는 진전으로 평가된다. KV 캐시의 정밀도를 낮추는 양자화 기법은 GPTQ, AWQ 등 오픈소스 진영과 스타트업을 중심으로 확산돼 왔고, 중요도가 낮은 토큰을 선택적으로 제거하는 방식이나 슬라이딩 윈도우 기반 메모리 관리 기법도 일부 모델에 적용돼 왔다. 또 메모리 접근을 줄이는 어텐션 최적화 기술은 데이터 전송 횟수를 줄여 속도를 높이는 플래시어텐션(FlashAttention) 등으로 발전하며 주요 AI 기업과 연구 커뮤니티에서 활용되고 있다. 업계 관계자는 "양자화나 토큰 프루닝 같은 기법은 이미 널리 쓰이고 있지만, 실제 서비스에서는 정확도나 안정성 문제 때문에 적용 범위가 제한적인 경우가 많다"며 "KV 캐시 자체를 압축 대상으로 삼는 접근은 구현 난이도는 높지만, 제대로 적용되면 체감 성능을 크게 바꿀 수 있는 영역"이라고 밝혔다. 메모리 압축과 더불어 모델 실행 방식 자체를 개선하려는 소프트웨어 경쟁도 확대되고 있다. vLLM, 텐서RT-LLM(TensorRT-LLM)을 비롯해 라마(llama.cpp) 등 다양한 추론 엔진들이 등장하며 요청 처리 방식과 메모리 관리 효율을 높이는 방향으로 발전하고 있다. 특히 vLLM은 미국 UC버클리 연구진이 주도해 개발한 오픈소스 추론 엔진으로, 요청을 효율적으로 묶어 처리하고 페이지드어텐션(PagedAttention) 구조를 통해 메모리를 동적으로 관리하는 방식으로 처리 효율을 높인다. 엔비디아가 개발한 텐서RT-LLM(TensorRT-LLM) 역시 GPU 연산을 최적화해 추론 속도를 개선하는 소프트웨어로, 데이터센터 환경에서 널리 활용되고 있다. 추론 엔진은 모델 자체를 변경하지 않고도 실행 방식만으로 성능을 개선할 수 있다. 동일한 모델이라도 어떤 실행 소프트웨어를 사용하느냐에 따라 처리 속도와 비용이 달라지는 구조다. 업계 관계자는 "같은 모델이라도 vLLM이나 텐서RT 같은 추론 엔진 설정에 따라 처리량 차이가 크게 난다"며 "실제 서비스에서는 모델보다 실행 스택이 성능을 좌우하는 경우도 적지 않다"고 설명했다. 메모리 압축 기술과 추론 엔진이 결합된 뒤 최종 연산은 GPU에서 수행된다. 특히 최신 GPU 환경에서는 연산 성능보다 메모리 활용 효율이 전체 성능을 좌우하는 경우가 많아지면서 소프트웨어 기반 최적화의 중요성이 더욱 커지고 있다. 이와 함께 AI 경쟁의 방향도 변화하고 있다. 그동안 생성형 AI는 더 많은 데이터를 학습하고 더 큰 모델을 구축하는 데 집중해 왔지만, 최근에는 동일한 모델을 얼마나 빠르고 비용 효율적으로 운영할 수 있는지가 핵심 경쟁력으로 부상하고 있다. 업계 관계자는 "대규모 서비스에서는 모델 성능보다 추론 효율이 비용 구조를 좌우하는 경우가 더 많다"며 "메모리 구조와 추론 엔진을 함께 최적화하지 않으면 GPU를 늘려도 수익성을 맞추기 어려운 단계에 들어섰다"고 말했다.

2026.03.27 12:11장유미 기자

아이티센씨티에스, 세타온과 AI 인프라 최적화 사업 '맞손'

아이티센씨티에스가 인공지능(AI) 인프라 비용 잠식 문제를 해결하기 위해 기술 파트너십을 강화한다. 아이티센씨티에스는 세타온과 차세대 AI 인프라 구축·운영 최적화 기술 사업화를 위한 업무협약(MOU)을 체결했다고 22일 밝혔다. 양사는 이번 협력을 통해 AI 모델 대형화에 따른 전력 소모 및 비용 상승 문제를 해결하고 지능형 인프라 시장을 선점할 계획이다. 최근 AI 시장은 그래픽처리장치(GPU) 서버의 폭발적인 전력 소모와 기하급수적인 스토리지 증설 비용으로 인해 비용 잠식이라는 문제에 직면했다. 세타온은 소프트웨어(SW)와 하드웨어(HW)를 통합 제어하는 AI 커널 기술을 통해 이러한 난제를 해결할 원천 기술을 보유 중이다. 특히 단일 위상 파라미터 기반 동적 제어와 의미 기반 저장 기술을 통해 전력 효율과 스토리지 총소유비용(TCO)을 각각 30% 이상 최적화하는 핵심 솔루션을 제공한다. 또 데이터 중복 맥락을 제거하는 업무형 영구기억 기술은 기업의 핵심 자산 유출을 차단하고 글로벌 빅테크에 대한 종속을 탈피할 수 있는 소버린 AI 구현의 핵심 역할을 할 것으로 주목받고 있다. 아이티센씨티에스는 자사 AI 고성능 컴퓨팅(HPC) 최적화 및 인프라 설계 역량에 세타온의 커널 최적화 기술을 결합해 차별화된 AI 인프라 매니지먼트 서비스를 강화한다는 방침이다. 양사는 아이티센 AI 이노베이션 데이터센터에서 AI 서비스 개발부터 테스트, 최적화까지 전 과정을 자동화한 처리 시스템 모델을 공동 실증할 예정이다. 특히 이번 MOU를 기점으로 ▲아이티센 AI 이노베이션 데이터센터 내 커널 기술검증(PoC)을 통한 성능 지표 확보 ▲통합 AI 랙 공식 론칭 ▲공공 및 기업용 소버린 AI 플랫폼 구축 ▲동남아·일본 등 글로벌 시장 진출을 단계적으로 추진할 방침이다. 이를 통해 인프라 운영 마진율을 15% 이상 높이고 라이선스 기반의 고정 수익 모델을 안착시킨다는 전략이다. 한상욱 아이티센씨티에스 대표는 "세타온 AI 커널 기술은 인프라 운영 효율을 극대화할 수 있는 게임체인저가 될 것"이라며 "양사 시너지를 통해 공공 및 기업 고객이 직면한 에너지와 비용 문제를 해결하는 차세대 AI 운영 표준을 제시하겠다"고 말했다.

2026.01.22 18:32한정호 기자

중동 넘어 아프리카로…노타, 케냐 나이로비 스마트교차로 구축 참여

노타가 인공지능(AI) 경량화·최적화 기술을 중동에 이어 아프리카 교통 체계에 적용한다. 노타는 케냐 나이로비의 지능형 교통 체계(ITS) 구축 사업에 스마트교차로 시스템 기술 공급 계약을 체결했다고 17일 밝혔다. 이번 계약은 케냐 도시도로공사(KURA)와 LG CNS가 함께 진행하는 교통관제 센터 구축 프로젝트의 일환으로, 한일 에스티엠이 시스템 설계와 관리를 맡고 노타는 AI 모델 경량화·최적화 기술 기반의 스마트교차로 시스템을 엣지 환경에 맞게 구현한다. 노타의 AI 경량화·최적화 기술은 AI 모델의 연산량과 메모리 사용을 줄여 엣지 환경에서 효율적으로 구동되도록 만드는 기술로, 저전력과 저지연이 필요한 환경에 효율적으로 평가된다. 이번에 도입되는 AI 경량화·최적화 기반 스마트교차로 시스템은 분석에 필요한 모델의 크기를 경량화한다. 이를 교차로 현장 CCTV에 최적화해 서버 개입 없이 실시간으로 차종 분류와 교통량, 대기행렬 등 교통 상황을 분석해 교통 흐름 개선에 기여할 계획이다. 특히 경량화 기술을 통해 엣지 디바이스 하나로 다수의 CCTV 채널을 동시에 관리하고 실시간 데이터를 처리할 수 있어 높은 비용 효율성 제공할 예정이다. 나아가 관리자는 실시간 데이터를 바탕으로 교통 상황을 파악하는 것은 물론 향후 교차로 운영 효율 향상을 위한 데이터로 활용 가능하다. 엣지 환경에서 구현되므로 서버 비용 부담을 줄이고 안정된 시스템 운영도 지원한다. 앞서 노타는 ITS 성능 평가와 기업 및 지방자치단체를 통한 기술 검증으로 기술력을 인정받았다. 노타의 기술로 완성된 스마트교차로 시스템과 돌발상황 검지 시스템은 실시간성과 정확도가 핵심지표인 ITS 기본성능평가에서 최상급 성적을 획득한 바 있다. 또 최근 영천 ITS 보강 사업에서도 전 항목 평균 99.5%의 성능을 보이며 준공했다. 이같은 기술력을 바탕으로 노타는 ITS 기술 수익화에도 속도를 내고 있다. ▲아랍에미리트 교통 인프라 기업 'ATS' 파트너십 ▲두바이 교통국과 ITS 솔루션 공급 계약 ▲아부다비 교통청 ITS 구축 사업 추진 논의 ▲소니와 미국 레이크우드 지역 내 보행자 안전 지원과 교통량 분석 검증 성공 등 기술을 선보여왔다. 이번 케냐 나이로비 프로젝트 참여를 통해 아프리카 지역까지 기술 적용을 확대했다. 채명수 노타 대표는 "우리의 AI 경량화·최적화 기술이 두바이에 이어 나이로비의 교통 혁신에 기여하게 돼 기쁘다"며 "이번 프로젝트를 성공적으로 마쳐 글로벌 시장에서 AI 경량화·최적화 기술의 영향력을 더욱 확장해 나갈 것"이라고 밝혔다.

2025.12.17 15:04한정호 기자

노타, 삼성 '엑시노스'에 AI 최적화 기술 공급…"온디바이스 기술력·시장성 입증"

노타가 삼성전자의 최신 애플리케이션 프로세서(AP)에 인공지능(AI) 최적화 기술을 탑재해 온디바이스 생성형 AI 대중화에 박차를 가한다. 노타는 자사 AI 모델 최적화 기술을 삼성전자의 '엑시노스 2500'에 공급하는 계약을 체결했다고 26일 밝혔다. 이번 계약을 통해 노타는 삼성전자의 AI 모델 최적화 툴체인 '엑시노스 AI 스튜디오'에 핵심 기술을 제공하며 엑시노스 2500 AP에서 고도화된 생성형 AI 경험이 구현될 수 있도록 기술적 기반을 마련했다. 엑시노스 AI 스튜디오는 고객이 개발한 AI 모델을 엑시노스 프로세서에 최적화해 효율적으로 구동할 수 있도록 지원하는 툴체인이다. 여기에 노타의 기술이 접목되면서 모델 최적화 효율과 성능이 향상되는 것은 물론 클라우드 연결 없이도 스마트폰에서 한층 강화된 온디바이스 AI 경험이 가능해졌다. 삼성전자 모바일 AP S/W 개발팀 조철민 상무는 "엑시노스 AI 스튜디오에 노타의 AI 모델 최적화 기술이 적용되면서 온디바이스 AI 모델 개발 효율성이 전작 대비 향상됐다"며 "양사 간 기술 협업으로 좋은 성과를 낼 수 있어 기쁘다"고 밝혔다. 노타는 이번 삼성전자와의 협업으로 기술력에 더해 시장성과 사업성을 입증했다고 강조했다. 노타는 최근 코스닥 시장에 공식 상장했으며 확보한 자금을 북미·유럽·중동 등 주요 글로벌 시장에서의 사업 확장에 투입할 계획이다. 이를 통해 온디바이스 생성형 AI의 상용화를 선도하고 글로벌 AI 기술 리더로서의 입지를 공고히 한다는 방침이다. 채명수 노타 대표는 "삼성전자와의 협업은 우리의 AI 최적화 기술이 글로벌 소비자용 제품에 적용돼 상용화된 의미 있는 사례"라며 "AI 반도체와 소프트웨어의 유기적 결합을 통해 온디바이스에서 고성능 생성형 AI를 구현했다"고 말했다. 이어 "앞으로도 삼성전자 및 글로벌 파트너들과 함께 온디바이스 AI 생태계 확장을 주도해 나가겠다"고 덧붙였다.

2025.11.26 16:23한정호 기자

노타, 온디바이스 기술력 글로벌서 입증…'매드 랜드스케이프' 2년 연속 선정

노타가 글로벌 인공지능(AI) 생태계를 대표하는 주요 벤치마크에 이름을 올리며 기술 경쟁력을 입증했다. 노타는 글로벌 AI 산업의 핵심 지표로 평가되는 '2025 매드(머신러닝·AI·데이터) 랜드스케이프'에서에서 엣지 AI 부문에 2년 연속 선정됐다고 13일 밝혔다. 이는 올해 4월 CB 인사이트가 발표한 '2025 글로벌 혁신 AI 스타트업 100'에 이어 거둔 성과다. 매드 랜드스케이프는 글로벌 VC·테크 업계가 AI·데이터 산업의 구조적 변화를 파악하는 데 활용하는 대표 자료다. 올해 발표에서는 AI가 클라우드 중심에서 디바이스·하드웨어 중심으로 재편되는 흐름이 더욱 뚜렷해졌다는 점이 주목된다. 특히 엣지 AI는 이러한 변화의 중심에 있으며 고성능 모델의 디바이스 탑재 수요 증가에 따라 글로벌 AI 경쟁력의 핵심 지표로 부상한 분야다. 전 세계 1천150여 개 기업이 포함된 이번 매드 랜드스케이프에서 한국 기업은 삼성을 포함해 단 세 곳이며 노타는 엔비디아·퀄컴·애플·인텔·AMD 등 칩셋·디바이스 생태계를 구축한 글로벌 테크 리더들과 함께 엣지 AI 부문에 선정됐다. 이를 통해 노타는 온디바이스 AI 분야에서 기술적 존재감과 글로벌 경쟁력을 빠르게 확대하고 있음을 입증했다. 노타가 독자 개발한 AI 모델 최적화 플랫폼 '넷츠프레소'는 AI 반도체부터 IoT 디바이스까지 다양한 하드웨어에서 모델을 효율적으로 압축·최적화·배포할 수 있는 기술 플랫폼이다. 모델 크기를 최대 90% 이상 줄이면서도 정확도를 유지해 개발·운영 비용을 대폭 절감하며 다양한 산업의 AI 도입 속도를 크게 높이고 있다. 노타는 삼성전자·퀄컴·르네사스·소니 등 글로벌 반도체 기업과 협력을 통해 엣지 인텔리전스 산업 전반에서 입지를 확대하고 있다. 최근에는 저사양 디바이스에서도 대규모언어모델(LLM)을 구동할 수 있는 최적화 기술을 선보여 제조·가전·IoT 등 디바이스 중심 산업으로 온디바이스 AI 적용 범위를 확장 중이다. 또 정부의 독자 AI 파운데이션 모델 개발 프로젝트에 정예팀으로 참여하며 국가적 차원에서도 기술력을 인정받고 있다. 채명수 노타 대표는 "CB 인사이트 AI 100에 이어 매드 랜드스케이프 엣지 AI 부문에도 연달아 선정된 것은 우리의 기술 혁신성이 글로벌에서 인정받은 중요한 성과"라며 "앞으로도 독보적인 AI 경량화·최적화 기술을 기반으로 제조·모빌리티·로봇·가전 등 산업 전반의 적용 범위를 넓히고 글로벌 시장에서 새로운 성장 기회를 주도하겠다"고 말했다.

2025.11.13 16:55한정호 기자

노타, 상장 열차 탔다…'LLM 최적화'로 기업가치 퀀텀점프 승부수

노타가 값비싼 하드웨어 교체 없이 최신 거대언어모델(LLM)을 도입하는 기술로 인공지능(AI) 시장을 공략한다. 노타는 낮은 사양의 디바이스에서도 LLM을 구현할 수 있는 'LLM 최적화 서비스'를 오픈했다고 25일 밝혔다. 이 서비스는 LLM과 비전언어모델(VLM) 최적화를 지원한다. 이번 서비스의 최대 강점은 비용 효율성이다. 고객사는 기존에 사용하던 하드웨어를 그대로 유지하며 최신 LLM을 적용할 수 있어 추가적인 인프라 투자 부담을 덜게 된다. 노타가 내세운 서비스 효과는 ▲다양한 칩셋 호환 ▲메모리 및 연산 효율 향상 ▲전력 및 클라우드 비용 절감 등이다. 복잡한 파라미터를 가진 LLM의 높은 최적화 난도를 극복하고 경량화를 통해 추론 속도와 성능을 모두 확보했다는 설명이다. 이 기술은 클라우드는 물론 온디바이스 환경까지 폭넓게 지원한다. 이에 따라 가전제품이나 모빌리티처럼 하드웨어 교체가 쉽지 않은 산업 분야에서도 최신 AI 서비스를 발 빠르게 도입할 수 있을 것으로 기대된다. 이 회사는 이번 서비스 오픈을 기념해 공식 홈페이지를 통해 무료 컨설팅 이벤트를 진행한다. 이미 노타는 정부의 'AI 국가대표' 프로젝트 팀으로 선정돼 기술력을 공인받았다. 더불어 최근 증권신고서가 통과돼 연내 코스닥 상장을 목표로 하고 있다. 채명수 노타 대표는 "LLM 최적화 서비스는 다양한 AI 모델을 실제 하드웨어에 최적화해 온 경험을 기반으로 개발됐다"며 "별도의 하드웨어 교체 없이 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고 동시에 한층 향상된 사용자 경험을 제공할 수 있다는 점에서 차별화된 의미가 있다"고 밝혔다.

2025.09.25 15:25조이환 기자

"모델 공짜로 풀어도 돈 버는 딥시크"…모레가 밝힌 AI 전쟁의 진짜 무기는?

모레가 인공지능(AI) 시대의 경쟁력은 모델 아키텍처가 아닌 인프라 소프트웨어에 달렸다고 선언했다. 엔비디아의 대안 생태계를 위한 핵심 소프트웨어를 제공해 AI의 '개발 속도'와 '추론 비용' 전쟁을 주도하겠다는 것이다. 래블업은 24일 서울 양재 aT센터에서 'lab | up > /conf/5'를 개최했다. 이날 조강원 모레 대표는 올해 초 시장을 뒤흔든 딥시크 사례를 통해 AI 경쟁의 본질이 어떻게 변하고 있는지 심도 있게 분석했다. 조 대표는 딥시크의 진짜 혁신은 모델 자체가 아니라고 단언했다. 그는 "딥시크가 공개하지 않은 진짜 비밀 병기는 경쟁사의 5분의 1 비용으로 서비스를 운영하는 '추론 소프트웨어'"라며 "AI 전쟁의 핵심이 비용 효율로 넘어왔다"고 말했다. 실제로 현재 AI 산업의 무게중심은 '달러 퍼 토큰' 즉 토큰당 비용을 줄이는 데 사활을 걸고 있다. 조 대표에 따르면 동일 퀄리티 모델의 서비스 비용은 매년 10분의 1씩 줄어들고 있으며 이 상황에서 기업간 치열한 최적화 경쟁이 벌어지는 중이다. 이같은 비용 전쟁의 '게임 체인저'로 '분산 추론' 기술이 부상했다. 조 대표는 "분산 추론을 잘하면 서버 100대로도 200배, 심지어 1천 배의 성능을 낼 수 있다"며 "이제 모든 데이터센터가 반드시 해야 하는 기술"이라고 강조했다. 모레는 이 분산 추론 문제를 해결하기 위해 '모아이(MoAI) 추론 프레임워크'를 개발하고 있다. 이 프레임워크는 수많은 분산 기법들을 자동으로 조합해 최적의 실행 계획을 수립하는 '자동화된 분산·라우팅 엔진'을 핵심으로 한다. 모아이 프레임워크의 궁극적인 지향점은 '이종 가속기'의 혼용이다. 연산 성능이 높은 AMD 그래픽 처리장치(GPU)와 메모리 대역폭이 강점인 다른 GPU를 섞어 쓰는 식으로 전체 비용 효율을 53% 개선한 사례를 직접 공개했다. 나아가 짐 켈러가 이끄는 텐스토렌트의 칩까지 조합해 소프트웨어를 통해 전체 인프라 효율을 극대화하는 솔루션을 개발 중이라고 밝혔다. 모레는 자회사 모티프를 통해 자체 파운데이션 모델도 직접 개발한다. 이는 구글이 텐서플로우처리장치(TPU)와 제미나이 모델을 함께 개발하며 시너지를 내는 것과 같은 전략으로, 미래 기술을 예측하고 자사 소프트웨어를 검증하기 위함이다. 조강원 대표는 "과거에 번들 소프트웨어로 취급받던 인프라 소프트웨어의 역할이 근본적으로 바뀌고 있다"며 "이제는 AI 모델의 성능과 비용을 좌우하는 가장 비판적인 요소가 됐고 우리는 그 영역의 최고가 될 것"이라고 강조했다.

2025.09.24 15:36조이환 기자

"국내 기업 중 처음"…LG CNS, '이것' 주제로 포럼한 이유는?

LG CNS가 국내 기업 중 처음으로 수학적최적화를 주제로 포럼을 개최하며 이를 기반으로 한 혁신 사례와 기술 트렌드 공유에 나섰다. 산업 전반의 기술 확산을 가속화하며 인공지능 전환(AX) 기업으로서의 주도권을 굳건히 하기 위해서다. LG CNS는 지난 18일 여의도 콘래드 서울에서 제조·통신·조선·유통·물류·화학 등 다양한 산업군의 고객들을 초청해 '제1회 AX 최적화 포럼'을 개최했다고 21일 밝혔다. 이번 포럼은 '최적화로 혁신과 미래경영을 말하다'라는 주제로 진행됐다. 수학적최적화는 기업의 의사결정 상황에서 선택가능한 모든 경우의 수를 분석해 비용 최소화 및 성과 극대화에 가장 도움이 되는 방안을 제시하는 기술이다. 이 같은 장점으로 인해 아마존, 구글 등 글로벌 빅테크 기업들은 이미 수년전부터 수학적최적화를 경영 전반에서 활발히 활용하고 있다. 수학적최적화는 업계의 화두로 떠오른 에이전틱 AI를 포함해 AI 분야의 핵심 기술 중 하나로도 손꼽힌다. AI 모델이 학습한 데이터와 실시간 분석을 바탕으로 스스로 판단하고 의사 결정을 내리는 과정에서 최적의 해답을 찾는 수학적최적화가 반드시 필요하기 때문이다. 기업의 AX가 가속화됨에 따라 수학적최적화의 필요성도 더욱 확대되고 있다. LG CNS는 이번 포럼에서 디지털마케팅 최적화 플랫폼 'MOP(Marketing Optimization Platform)'를 기반으로 광고업계의 혁신을 이끈 사례를 소개했다. LG CNS가 2023년 5월 출시한 MOP는 수학적최적화, AI 기술을 통해 셀러(제품 판매기업)들의 포털 검색 광고, 디스플레이 광고 등의 효율성을 극대화하는 플랫폼이다. 예를 들어 셀러가 포털 검색광고를 통해 운동화를 판매하려고 할 때 ▲소비자가 운동화를 가장 많이 검색하는 시간 ▲광고 클릭수가 높은 화면상의 위치 ▲경쟁사 입찰가 등을 MOP가 분석해 고객의 구매 전환율을 극대화하는 최상의 광고집행 방안을 찾을 수 있다. LG CNS는 지난 2023년 5월 MOP 출시 후 2년만에 2천여 개의 기업 고객을 확보하며 광고업계의 게임체인저로 인정받고 있다. 기업 고객이 MOP를 통해 취급하는 광고 금액만 3천억원을 돌파했다. 이 외에도 포럼에서는 세계 최고 수준의 최적화 솔루션 전문기업인 미국의 '구로비(Gurobi Optimization)', LG CNS와 함께 로봇 사업을 추진하고 있는 미국의 로봇 전문기업 '베어로보틱스(Bear Robotics)'가 각각 '수학적최적화 트렌드 및 동향'과 '피지컬(Physical) AI가 주도하는 미래 로봇산업'에 대한 세션 발표를 진행해 주목을 끌었다. '미래경영을 위한 최적화 활용방안'을 주제로 진행된 패널토의에서는 수학적최적화 분야 구루인 서울대학교 이경식 교수가 좌장으로 참여해 경영 인사이트를 공유하는 시간을 가졌다. LG CNS는 국내 수학적최적화 분야에서 가장 앞서있는 기업으로 손꼽힌다. 그간 수학적최적화를 통해 ▲물류·운송 ▲제조·공정 ▲금융 ▲통신 ▲교통·항공·철도 등 다양한 기업 고객의 비즈니스 페인포인트 100여개를 해결해왔다. 또 LG CNS는 가장 많은 석박사급 최적화 전문가도 보유하고 있는 것으로 업계에서 알려져 있다. LG CNS는 최적화 전문가를 지속 육성·확보하기 위해 지난 해 5월부터 국내 최초의 수학적최적화 경연대회를 진행하기도 했다. 연세대학교 대학원 과정에 채용 연계형 계약학과인 '지능형데이터·최적화학과'를 신설하는 협약도 체결한 바 있다. 현신균 LG CNS 사장은 "수학적최적화는 기업의 경영 효율성과 수익성을 극대화할 수 있는 최고의 해답"이라며 "우리의 수학적최적화와 AI 기술 역량을 바탕으로 '고객가치 혁신'을 가속화할 것"이라고 밝혔다.

2025.04.21 10:00장유미 기자

"클라우드 비용 자동으로 최적화"…옵스나우, 美서 검증받은 서비스 국내 출시

옵스나우가 클라우드 서비스 이용료를 실시간으로 관리할 수 있는 인공지능(AI) 기반 서비스를 앞세워 국내 사용자들의 유연한 클라우드 활용을 돕는다. 옵스나우는 미국 시장에서 먼저 출시돼 사용성을 검증받은 자동 비용 최적화 서비스 '옵스나우 오토세이빙즈(OpsNow AutoSavings)'를 상반기 중 국내 도입할 예정이라고 31일 밝혔다. 고정적인 약정 구매 방식은 클라우드 서비스의 비용 구조와 관리 방식에 의존하고 있기에 변경 시 충분한 최적화 효과를 얻기 어려울 수 있다는 업계 우려가 제기되고 있다. 이러한 기존 약정 기반 절감 방식 외에 자동화된 대안이 필요한 클라우드 운영 기업들을 위해 옵스나우는 오토세이빙즈 서비스를 국내에 선보인다. 옵스나우 오토세이빙즈는 완전 자동화된 비용 최적화 기술을 활용해 기업 고객이 추가적인 관리 부담 없이 비용 절감과 운영 효율성을 동시에 확보할 수 있도록 돕는 서비스다. 특히 클라우드 서비스 제공자(CSP)의 약정 방식 변화에도 유연하게 대응할 수 있도록 설계돼 MSP 등 클라우드 운영 고객이 효과적인 비용 절감 전략을 실행할 수 있도록 돕는다. 사용자의 개입 없이 실행되는 자동화 솔루션으로 직접 비용 절감 전략을 고민하거나 관리하지 않아도 된다. 또 AI 기반 자동화 기술을 바탕으로 실시간 사용량과 비용 패턴을 분석함으로써 특정 약정 방식의 제약 없이 최적의 비용 절감 전략을 적용할 수 있다. 특히 실시간 최적화와 자동 조정 기능을 통해 비용을 더욱 정밀하게 관리할 수 있도록 지원한다. 분석된 사용 패턴에 따라 약정 규모를 자동 조정해 비용 절감을 극대화할 수 있다. 실제 MSP가 옵스나우 오토세이빙즈를 도입했을 때를 가정해 시뮬레이션한 결과, 클라우드 비용이 평균 37% 절감됐으며 리셀링 방식과 비교할 때의 수익률은 최대 10% 증가한 것으로 나타났다. 컨설팅 서비스 매출도 최대 42% 증가해 비즈니스 확장에도 긍정적인 영향을 미칠 수 있는 것으로 분석됐다. 옵스나우 오토세이빙즈는 AWS 마켓플레이스의 오토 RI(Auto Reserved Instance) 기능을 기반으로 하며 국내 마켓플레이스가 정식 오픈되면 본격적인 활용이 가능할 전망이다. 옵스나우는 고객이 변화하는 비용 구조에 효과적으로 대응할 수 있도록 다양한 지원 프로그램도 운영하고 있다. 백서와 비용 절감 전략 가이드를 제공해 새로운 비용 최적화 모델을 구축할 수 있도록 지원한다. 자동화된 비용 관리 역량 강화를 위해 맞춤형 교육과 기술 지원도 제공한다. 또 고객에게 옵스나우 오토세이빙즈의 가치를 효과적으로 전달할 수 있도록 마케팅 협업과 함께 전담 프로그램을 운영한다. 옵스나우 박대식 상품혁신본부장은 "MSP를 비롯해 많은 기업들이 클라우드 환경에서 비용 최적화와 수익성 확보라는 중요한 과제를 안고 있다"며 "옵스나우 오토세이빙즈는 AI 기반 자동화 기술을 활용해 고객의 사용 패턴에 맞춰 비용 절감을 자동으로 실행하며 운영 효율성과 수익성을 함께 높일 수 있도록 지원한다"고 설명했다. 이어 "변화하는 클라우드 환경에서 지속 가능한 비용 최적화를 원하는 기업에게 실질적인 가치를 제공할 것"이라고 덧붙였다.

2025.03.31 15:38한정호

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환 기자

Prev 1 Next