검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (260건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

Arm·애플·퀄컴 출신 전문가, CPU 스타트업 '누바코어' 설립

에이전틱 AI가 등장하며 CPU의 중요성이 커지는 상황에서 x86·Arm 위주의 서버용 프로세서 시장에 새로운 도전이 시작됐다. 애플과 Arm, 퀄컴을 거친 CPU 설계 전문가 제러드 윌리엄스가 '완전히 새로운 CPU' 개발을 선언했다. 그가 애플·퀄컴에서 함께 한 동업자 두 명과 함께 이달 설립한 스타트업 '누바코어(Nuvacore)'는 거대언어모델(LLM)과 에이전틱 AI에 최적화된 차세대 프로세서 개발을 목표로 했다. 누바코어는 "성능과 전력 효율 간 절충이 아닌, 두 요소를 동시에 극대화하는 '리셋' 수준의 제품 개발"을 선언했다. 이런 새로운 설계 방향이 실제 상용화로 이어질 경우, 반도체 산업의 경쟁 구도 전반에 적지 않은 파장을 미칠 것으로 전망된다. 제러드 윌리엄스, 누비아 거쳐 2021년 퀄컴 합류 제러드 윌리엄스는 1996년 텍사스 인스트루먼트(TI)를 시작으로 1998년부터 2010년까지 Arm에서 근무하며 CPU IP인 코어텍스 A8, 코어텍스 A15 개발을 주도한 시스템반도체(SoC) 설계 전문가다. 애플에서는 아이폰용 A시리즈 SoC에 탑재되는 CPU IP를 개발하는 한편 애플이 자체 설계한 PC용 SoC인 M1 4종 설계에도 관여했다. 이후 Arm과 애플에서 함께 했던 엔지니어와 스타트업 '누비아'(Nuvia)를 차렸다. PC 분야 역량 강화를 원하던 퀄컴은 CPU 강화를 목적으로 2021년 누비아를 인수했다. 제러드 윌리엄스도 수석부사장으로 퀄컴에 합류해 오라이언(Oryon) CPU 개발을 지휘했다. 오라이언 CPU 상용화... 당초 방향성에서 이탈 오라이언 CPU는 2024년 6월 PC용 칩인 스냅드래곤 X 엘리트 등으르 시작으로 PC와 스마트폰 등에 쓰였다. 제러드 윌리엄스가 목표로 했던 서버용 프로세서 '피닉스'와는 방향성이 크게 달라졌다. 제러드 윌리엄스는 지난 2월 초 자신이 운영하는 링크드인 계정에 "현재 가족과 시간을 보내고 있으며 퀄컴과 여정은 끝났다. 지난 4년간 함께 한 모든 분께 감사한다"고 밝혔다. 이어 "올 1월부터 집의 벽을 칠하고 수리하는 등 편안한 시간을 보내고 있다"고 적기도 했다. 퀄컴 퇴직 후 3개월만에 '누바코어' 설립 제러드 윌리엄스는 퀄컴 퇴직 3개월 만인 이번 달부터 다시 복귀를 선언했다. 애플과 퀄컴 시절을 함께 보낸 동료 두 명과 스타트업 '누바코어'를 차리고 완전히 새로운 CPU를 설계하겠다고 선언한 것이다. 그는 링크드인에 "CPU는 수십년 간 이전 세대를 위해 만들어진 아키텍처를 기반으로 조금씩 발전해 왔다. 그러나 현대 대규모 인프라와 AI가 요구하는 것은 게임의 판도를 바꾸고 있으며 누바코어는 이를 리셋하기 위한 회사"라고 설명했다. 이어 "(Arm과 애플, 퀄컴에서 함께한) 존 브루노, 람 스리니바산과 함께 누바코어를 설립했고 세쿼이아 캐피털의 투자를 받아 최대 성능과 절대적인 효율성을 규모에 맞게 구현하기 위해 처음부터 새롭게 설계된 새로운 클래스의 CPU를 만들고 있다"고 설명했다. "현대 요구사항에 맞춘 새 CPU 개발" 선언 제러드 윌리엄스가 밝힌 누바코어의 목표는 분명하다. 지금까지 설계된 CPU의 구조를 완전히 벗어나 거대언어모델(LLM)과 에이전틱 AI에 특화된 완전히 새로운 CPU를 만들겠다는 것이다. 누바코어 공식 블로그 역시 "기존 아키텍처가 전력 효율과 성능 사이 균형을 찾는데 어려움을 겪는 반면, 새로 설계할 CPU는 최대 성능과 절대적인 면적 효율성이라는 두 축에 집중할 것"이라고 강조했다. '기존 아키텍처'에 대한 명확한 설명은 없었지만 정황상 인텔 제온과 AMD 에픽 등 기존 x86 기반 서버용 프로세서를 겨냥한 것으로 보인다. 실제로 인텔은 2023년 기존 16비트 응용프로그램 관련 구조를 완전히 덜어낸 새로운 64비트 명령어 체계인 'x86-S'를 만들겠다고 선언하기도 했다. 그러나 1년 뒤인 2024년 말 이 프로젝트를 폐기하기도 했다. x86·Arm 중심 CPU 경쟁 구도 깨지나 현재 AI 연산은 GPU와 가속기가 주도하고 있지만, 데이터 처리·스케줄링·시스템 제어 측면에서 CPU의 역할은 여전히 중요하다. 특히 에이전틱 AI가 등장하며 이를 처리할 장치로 CPU가 다시 주목받고 있는 상황이다. 지난 달 Arm 네오버스 CSS 기반 첫 완제품 프로세서인 'AGI CPU'를 공개한 Arm 역시 에이전틱 AI의 중요성을 내세웠다. 누바코어는 회사 웹사이트 공개와 함께 아키텍처, 회로 설계 등 CPU 설계에 필요한 전 영역에서 인재 채용에 나섰다. 단순히 개념 설계에서 벗어나 실제 칩 개발과 공급까지 염두에 둔 조직 구축을 시작한 것이다. 누바코어가 새로운 CPU 개발과 상용화에 성공할 경우 기존 x86·Arm 중심의 CPU 경쟁 구도에도 변화가 올 수 있다.

2026.04.20 17:39권봉석 기자

"LLM, 보안 취약점 탐지 아직 사람한테 안돼"

"AI로 가짜 뉴스를 생성하는데 평균 4초, 13원밖에 들지 않습니다. AI 에이전트가 우리 삶 가까이에 다가오면서 생성형 AI 기능 및 역량을 악용하는 전술이 활개를 치고 있습니다. 이같은 AI 악용은 여론 및 의견 조작에 가장 많은 것으로 나타났습니다." 고우영 국가보안기술연구소(국보연) 선임연구원은 지난 16일 정보보호학회 주관으로 서울 코엑스에서 열린 '제32회 정보통신망 정보보호 컨퍼런스(NetSec-KR 2026)'에서 국가·공공사이버안보를 위한 AI 보안 기술 세션에서 'AI시대, 보안의 명암과 우리의 대응: AI 허위 정보 중심으로'를 주제로 발표했다. 이날 고 연구원은 생성형 AI를 악용한 허위 정보들이 우리 사회에 범람하고 있으며, 가짜 여론을 형성하기 위한 악성 댓글 생성 등의 공격이 늘어나고 있다고 강조했다. 그는 "12개의 가짜 뉴스를 만드는 데 평균 155원, 46초가 소요됐다"며 "가짜 뉴즈나 가짜 댓글을 생성하는 비용이 너무나 낮고, 그 양이 점차 많아지다 보니 참과 거짓을 구분하기 힘든 수준까지 치달았다"고 진단했다. 고 연구원은 이처럼 가짜 정보가 넘쳐나기 시작하면 우리 사회 구성원들은 가짜 정보에 지쳐 현실에 무관심해지기 시작하고, 진짜 정보까지도 하나하나 의심하기 시작한다고 강조했다. 그는 "가짜뉴스에 대한 처벌은 금전적인 이익으로 이어진 경우가 아니라면 법적으로 처벌하기 어렵다"면서 "생성형 AI 기술이 너무나 빠르게 진화하고 있는데 제도 개선이 필요하다"고 강조했다. 이날 국가·공공사이버안보를 위한 AI 보안 기술 세션에서는 고 연구원에 이어 최석우 국보연 실장, 지현석 국보연 책임연구원 등 연구진이 각각 한 가지씩 발제했다. 최 실장은 'AI 기반 악성코드 분석기술'에 대해 발표했다. 최 실장 발표에 따르면 AI가 악성코드를 생성하는 데 쓰이기 시작하면서 매일 약 45만 건 이상의 신규 악성코드가 생겨나는 것으로 조사됐다. 이로써 누적된 악성코드는 10억 건을 돌파했다. 이에 최 실장은 ▲AI 기반 분석 보조 시스템 ▲거대 언어 모델(LLM) 기반 자율 분석 에이전트 ▲난동화 자동 해제 등 AI를 활용한 대안 마련이 필요하다고 역설했다. 이어 지 연구원은 'LLM 기반 소프트웨어 보안 취약점 탐지의 시대'를 주제로 발표했다. 그는 LLM이 어떻게 취약점을 탐지하는지에 대해 집중적으로 탐구한 결과를 소개했다. 지 연구원은 "최근 사례를 보면 AI가 수많은 취약점을 찾아냈지만, 분석 결과를 보면 실상은 그렇지 않다"면서 "AI 모델이나 LLM에 취약점 탐지 도구를 쥐어 줬을 때에만 효과적인 취약점 탐지가 가능했다"고 진단했다. 이에 지 연구원은 보안 취약점을 직접 찾을 수 있는 실력 있는 분석가가 LLM을 활용할 수 있을 때 시너지가 극대화될 것으로 전망했다. 아직은 LLM이 대규모 코드베이스 처리 한계, 데이터 의존, 불성실한 추론 등 한계를 갖고 있다고 봤다. 그는 "LLM의 취약점 탐지는 현재까지는 아직 완벽하지 않다. 더 취약점을 잘 찾을 수 있는 방법을 탐색해야 한다"고 강조했다.

2026.04.17 06:52김기찬 기자

'2조원 GPU 사업 도전장' 엘리스, 올해 IPO 정조준

토종 기술로 차세대 인공지능(AI) 이동형 모듈형 데이터센터(PMDC) 구축 계획을 본격화한 엘리스그룹이 자금 조달을 위해 올해 기업공개(IPO)를 추진한다. 김재원 엘리스그룹 대표는 15일 열린 기자간담회에서 “고객이 늘어난 만큼 대규모 자본 지출에 대해서는 당연히 상장이든 비상장이든 지금 자금 조달이 필요한 것은 맞다”며 “현재로서는 상장 시장에서 자금을 조달하자는 목표를 갖고 준비해 나가고 있다”고 밝혔다. 이어 “연내에 (PMDC를) 구축해야 되기 때문에 해당 기간 안에 자금 조달을 해야 하는 상황”이라고 덧붙였다. 엘리스그룹은 AI 기반 교육 실습 플랫폼을 시작으로 AI 클라우드 인프라까지 영역을 확장하면서 AI 전 영역을 직접 구현 가능한 풀스택 기업이다. 기존에 국내에 없던 AI PMDC라는 방식으로 AI 전용 데이터센터를 구축했으며 AI 가상화 솔루션인 ECI를 자체 개발하기도 했다. 최근에는 정부가 2조원 규모로 추진하는 첨단 그래픽처리장치(GPU) 확보·구축·운용지원 사업 공모에 도전장을 내기도 했다. 엘리스그룹의 지난해 매출은 400억원 수준으로 추산되며 교육 매출은 여기서 30~40%가량을 차지한다. 회사 측은 올해 클라우드 매출이 교육 매출을 넘어섰을 것으로 보고 있다. 김 대표는 “지난해부터 급속도로 클라우드 매출이 올라왔는데, 올해는 클라우드 매출이 폭발적으로 늘어나면서 (교육 매출을) 상회하는 상황이 됐다”고 설명했다. 이날 엘리스그룹은 토종 기술로 완성한 'K-PMDC'를 중심으로 차세대 AI 클라우드 인프라 시장 공략에 나선다고 발표했다. 쉽게 말하면, 소버린 AI에 맞는 소버린(독자적인 AI 파운데이션 모델 개발을 지원해 데이터 주권을 확보하고 기술 자립을 이루는 것) 인프라를 구축한다는 것이 골자다. 이를 위해 엘리스그룹은 AI 인프라 국산화를 핵심 전략으로 삼고 차세대 AI PMDC 구축에 시동을 건다. 차세대 GPU 아키텍처를 반영한 AI 데이터센터를 통해 고성능 컴퓨팅 환경에 최적화된 인프라를 구현하고 급증하는 AI 수요에 대응할 수 있는 기반을 마련한다는 계획이다. 회사는 랙당 230kW 수준의 전력을 요구하는 차세대 그래픽처리장치(GPU) '베라 루빈 NVL72'을 지원하는 PMDC 개발을 완료하며 인프라 설계 역량을 확보했다. 이와 함께 엘리스그룹은 AI 인프라 활용도를 극대화할 수 있도록 국내 클라우드 서비스 제공자(CSP) 최초로 'GPU 스팟 요금제'를 도입했다. 해당 요금제는 유휴 GPU 자원을 활용해 온디맨드 대비 최대 50% 수준의 비용으로 제공하며, B200, H100, A100 등 주요 GPU 전 라인업을 지원한다. 이외에도 엘리스그룹의 회사 기반이었던 교육 영역에서 고도화를 꾀한다. 기업과 학교에서 맞춤형으로 활용하는 생성형 AI 솔루션 'AI헬피챗'에도 헬피 비전을 통합해 문서 이해도를 높여 정확한 리포트 생성을 가능하게 한다. 이외에도 AI 기반 이용자경험(UX) 라이팅 툴 등 기업맞춤형 도구를 통합하고 자체 ML 응용 프로그램 인터페이스(API) 구동 초거대언어모델(LLM)로 개인 및 기밀 정보 유출 위험을 낮춘다. 엔터프라이즈 리더 및 실무자 대상 AI 전환(AX) 교육도 진화시킬 방침이다.

2026.04.15 16:18박서린 기자

이연수 NC AI 대표 "모두가 크리에이터…다른 기업과 협력 원해"

"기술을 소개하는 세미나보다는 네트워킹을 통해 협력을 얘기하고, AI와 관련한 후속사업들을 같이 얘기하고 싶다." 지난 8일 대전에서 열린 한국인공지능시스템포럼(의장 유회준 KAIST 교수) 조찬 강연회에서 이연수 NC AI 대표가 회사를 소개하며 참석자들에 던진 메시지다. 평범한 인사말이지만, "혼자보다 모두와 함께 일하고 싶다"는 메시지를 담았다. 이날 행사에 굳이 김민재 CTO를 동행한 이유이기도하다. 후속 사업 아이템이나 함께 할 사업 기회를 찾겠다는 의지의 표현으로 읽혔다. "NC AI는 게임 회사에서 출발했다. 2011년 TF가 생기고, 리서치 본부가 300명 정도됐다. 분사하면서 가진 미션은 "모두가 크리에이터가 될 수 있다. 모두가 디렉터가 될 수 있다"였다." NC AI는 사실 지난해 '독자 인공지능(AI) 파운데이션 모델 프로젝트(독파모) 1차평가에서 탈락하며 성장통을 겪기도 했으나, 최종적으로 국가대표 5개사 가운데 하나로 선정됐다. 이 대표는 AI시대 인간의 역할을 거론하며 "NC AI는 게임 AI에서 다양한 산업특화 AI로 확장중"이라고 말했다. 5대 확장 분야는 ▲NCSOFT를 위한 사내AI기술 ▲게임 산업장 ▲콘텐츠 AI ▲완전히 다른 산업 ▲글로벌 등을 꼽았다. "생성형 AI에 가장 적합한 회사였다. 분사하면서 돈도 많이 썼으니, 돈 좀 벌어보라는 말을 들었다. 다양한 사업으로 기술 확장을 시도중인데, 그 모델이 바로 바르코(VARCO)와 배키(VAETKI)다." 이 대표는 "에이전트 게임에서는 이미 MPC 챗봇이 많이 동작하고 있다. LMM(거대언어모델) 리즈닝 레그(RAG) 기술들이 다 쓰이고 있다. 7개 게임 1천만 유저에 대해 동시접속 100만까지도 에이전트와 번역을 지원한다"고 언급했다. 이 대표는 또 "오디오나 번역은 이미 빅테크들이 잘하고 있다"며 NC AI만의 강점으로 3D를 언급했다. 규모 큰 게임 개발에는 애니메이터만 200~300명 "3D 구현은 단순히 영상만을 생성하는 일이 아니다. 게임 화면에서 때리면 리얼하게 부서져야 하고, 자율로 움직여야하는 등 상호작용이 일어나야 한다. 그러다보니, 큰 게임들은 개발자만 500명이다. 그런데 그 가운데 200~300명 정도가 애니메이터다." 이 대표는 "기존에 손으로 직접 3D를 제작하고, 스캔하고 애니메이션화하는 과정들을 자동화했다"며 "프롬프트로 만들거나 컨셉 아트 이미지를 가져다 3D형태로 메시부터 텍스처링, 애니메이션까지 같이 할 수 있는 통합 툴을 제공한다. 이것이 NC AI가 글로벌 사스(SaaS ) 플랫폼으로 가는 가장 중요한 기술"이라고 강조했다. 피지컬AI와 관련해서는 "1,000만 유저가 40만~50만 동시접속 상황에서 LLM을 돌리면 서버 비용이 엄청나게 커진다"며 "모델이 크지 않더라도 여러 가지 리즈닝이나 딥서치 기술 등을 잘 결합하면, 두 번째 중간급 모델들도 '환각현상' 없이 서비스가 가능하다"고 설명했다. NC AI가 끊임없이 기술개발을 하는 이유에 대해 이 대표는 "어느 순간 하드웨어가 너무 싸질 수도 있다. 전세계 연구자들도 다양한 방향으로 연구를 한다. 큰 모델만 연구하고 있지 않다"며 "미래를 위해 경량화된 모델들을 많이 연구하고 있고 그런 기술들을 계속 확보해 나갈 필요가 있다"고 말했다. "기술 의존성을 낮추는 등 언젠가 하드웨어적인 인프라가 잘 갖춰졌을 때는 독자 개발 능력도 필요하다. 그런 측면서 NC AI가 잘하는 비전이나 3D 분야에서 바르코 비전을 베키 비전으로 해서 산업이나 로봇에 특화된 비전 모델을 연구하고 서비스하려 한다." 이 대표는 "대부분 스타트업으로 출발할 때 엣지있는 기술을 가지고 시작한다. 그러나 NC AI는 처음부터 통합적인 서비스를 많이 했다. 그래서 풀스탭으로 기업 파트너가 되서 서비스와 컨설팅하는 것을 지향한다"고 덧붙였다. "최근 많이 얘기하는 피지컬 AI는 NC AI가 잘할 수 있는 디지털 트윈과 월드모델 등에서 역할을 찾고 있고, 잘할 수 있을 것이라고 판단한다." 이어 마이크를 넘겨 받은 김민재 CTO는 "다양한 산업 분야에서 기술 POC(개념증명)을 진행 중"이라며 "조선, 제철, 물류, 서비스 등 다양한 환경에서 WM(월드모델), RFM(로보틱 파운데이션 모델),디지털트윈 등을 수행 중이다. 도메인 노하우를 축적해 새로운 환경에서 개발 주기를 단축하고자 한다"고 설명했다. 주로 기술적인 설명을 이어간 김민재 CTO는 하이드리드 캡처기술이나 스캔기반 디지털트윈 제작과정, 뉴럴 렌더링기술, 가상세계에서 학습된 지능을 물리적 실제와 결합해 자율형 인공지능을 구현하는 기술 등에 대해 자세히 소개했다. 한편 강연뒤 필드에서 AI R&D 전문 기업으로 성장중인 채영환 시즌 대표가 천문학적인 비용이 들어가는 파운데이션 모델 효용성과 대안을 언급해 관심을 끌었다.

2026.04.11 14:02박희범 기자

정부, AI 추론데이터 10종 구축 나서…"사고·판단 능력 강화"

정부가 인공지능(AI) 추론 능력 강화를 위한 학습 데이터 구축에 나섰다. 과학기술정보통신부와 한국지능정보사회진흥원은 2026년 추론데이터 10종 구축 사업 공모를 시작했다고 1일 밝혔다. 총 66억 원 규모로 거대언어모델(LLM)과 제조·로보틱스 분야에서 각각 5개 과제가 추진된다. 이번 사업은 단순 데이터 축적을 넘어 논리적 사고 과정과 인과관계를 포함한 추론형 데이터 확보에 초점 맞췄다. AI 모델 신뢰성을 높이고 실제 산업 환경서 활용 가능한 수준으로 성능을 끌어올릴 방침이다. LLM 분야에서는 복잡한 문서 이해와 논리 판단, 도구 활용 등 단계적 문제 해결 과정을 반영한 데이터 구축이 추진된다. 한국어와 국내 사회·문화 맥락을 반영한 데이터 확보도 병행된다. 복합 문서 기반 지식 추론 데이터, 과학 연구 지원 데이터, 한국어 기반 도구 호출 데이터, 웹·GUI 행동 추론 데이터, 오류 교정 추론 데이터 등이 포함된다. 제조·로보틱스 분야에선 실제 산업 현장서 발생하는 문제 기반으로 원인 분석과 해결 방안을 도출하는 데이터 구축이 이뤄진다. 여러 변수 상황에서도 작업을 수정하고 수행할 수 있는 자율 제조 기반 확보가 핵심이다. 관련 과제로는 제조설비 이상 진단 데이터, 표면 결함 분석 데이터, 로봇 작업 실패 복구 데이터, 휴머노이드 행동 생성 시뮬레이션 데이터, 공정 인과성 분석 데이터 등이 해당된다. 구축된 데이터는 향후 'AI허브'를 통해 공개돼 기업과 연구기관 스타트업 등이 활용할 수 있도록 제공된다. 업계는 이번 프로젝트 핵심 목적을 AI 기술 신뢰성과 실용성 확보에 두고 있다. 단순히 데이터를 쌓는 단계를 넘어 실제 산업 현장에서 즉시 활용 가능한 수준까지 성능을 끌어올리겠다는 취지라는 설명이다. 최동원 과기정통부 AI인프라정책관은 "생성형 AI 확산으로 고차원적 추론과 맥락 이해가 가능한 학습용 데이터 수요가 증가하고 있다"며 "이번 사업을 통해 실제 산업 현장에서 필요한 맞춤형 추론데이터를 확보해 대한민국 AI 산업의 질적 도약을 적극 지원하겠다"고 밝혔다.

2026.04.01 12:01김미정 기자

투비유니콘, ETRI와 손잡고 미션크리티컬 AI 시장 "정조준"

미션크리티컬 AI 선도기업 투비유니콘(대표 윤진욱)이 한국전자통신연구원(ETRI)으로부터 고신뢰 생성형 AI 구축을 위한 핵심 기술을 이전받아 본격적인 상용화에 나선다. 특허와 함께 이번에 이전받은 대형 언어모델(LLM) 관련 기술은 ▲도메인 특화 지속 사전학습과 복합 추론 능력을 극대화하는 '사용자 선호 기반 지식인출을 위한 사후학습 기술' ▲데이터 최신성을 유지하는 '한국어 특화 텍스트 임베딩 및 군집화 기술' 등이다. 윤진욱 대표는 "이 기술은 생성형 AI의 고질적 문제인 환각 현상을 제어하고 답변 정확도를 획기적으로 높이는 데 초점이 맞춰져 있다"고 설명했다. 투비유니콘은 이번에 확보한 원천 기술을 자체 개발한 특화 언어모델 'TBU LLM'에 전면 적용, 사소한 오류도 허용되지 않는 '미션크리티컬(Mission-Critical)' AI 솔루션 성능을 극대화할 계획이다. 단 1%의 오류가 치명적인 리스크로 이어질 수 있는 핵심 산업군을 타깃으로, 데이터 보안과 신뢰성이 완벽하게 담보된 프라이빗 대형 언어모델(LLM) 및 경량화 모델(sLLM)을 개발한다는 복안이다. 윤 대표는 "스스로 판단하고 행동하는 에이전틱 AI(Agentic AI) 등 실행력을 갖춘 엔터프라이즈 AI 시장에서의 지배력을 한층 강화할 방침"이라고 부연 설명했다. 투비유니콘은 그동안 축적해 온 통신 음영지역, 산불, 산사태, 위성 데이터 등 특수 도메인 데이터 처리 노하우 및 인프라 기술을 새롭게 고도화한 검색 증강 생성(RAG) 파이프라인과 전면 결합할 계획도 공개했다. 이를 통해 기존 범용 AI 모델 실무 적용 한계를 극복하고, 도입 즉시 현업에 투입해 업무 생산성을 극대화하는 '즉시 전력형(Ready-to-use)' 맞춤형 AI 인프라를 제공할 계획이다. 투비유니콘은 이번 기술 융합을 기점으로 본격적인 AI 시대에 데이터 보안과 신뢰성이 담보된 프라이빗 산업 생태계의 판도를 바꾸는 강력한 게임체인저로 도약한다는 구상도 내놨다. 윤진욱 대표는 "작은 오류가 치명적인 결과로 이어지는 미션크리티컬 환경에서는 데이터의 최신성과 AI의 무결성이 기업의 핵심 경쟁력"이라며, "ETRI의 독보적인 LLM 원천 기술을 투비유니콘만의 차별화된 상용화 노하우 및 애자일한 실행력과 융합, 공공 및 엔터프라이즈 시장에서 가장 신뢰할 수 있는 맞춤형 초거대 AI 혁신을 이끌어 갈 것'이라고 밝혔다. 운 대표는 또 "개별 솔루션 공급을 넘어, 국가적 재난 대응 및 첨단 R&D 환경까지 아우르는 국가 단위의 신뢰형 AI 혁신 서비스를 개발할 것"이라며 "글로벌 수준의 미션크리티컬 AI 표준을 새롭게 정립해 나갈 것"이라고 덧붙였다.

2026.03.29 12:00박희범 기자

하이퍼엑셀, '생성형 AI 전용 LPU' 승부수… 2세대 팹리스의 역습

국내 AI 반도체 생태계가 1세대 기업들의 칩 양산 경쟁을 넘어 특정 목적에 최적화된 2세대 기업들의 등장으로 진화하고 있다. 그 중심에 선 하이퍼엑셀은 리벨리온, 퓨리오사AI 등 선배 격인 기업들과 출발선부터 궤를 달리한다. 1세대 기업들이 비전 기술에서 시작해 LLM(거대언어모델)으로 영역을 확장해온 것과 달리, 하이퍼엑셀은 설립 초기부터 오직 '생성형 AI'만을 타깃으로 삼았다. 'LLM 하나만큼은 세계 최고 기술로 돌리는 칩을 만든다'는 이들의 전략은 엔비디아의 독주 속에 실질적인 대안을 찾는 글로벌 수요 기업들의 시선을 사로 잡고 있다. [강점: Strength] LPDDR 기반의 압도적 효율…'토큰 생성 지연' 최소화 하이퍼엑셀의 가장 강력한 무기는 스스로 명명한 LPU(Large language model Processing Unit) 아키텍처다. 기존 NPU 칩이 다양한 AI 모델을 두루 섭렵하려다 설계가 복잡해진 것과 달리, 하이퍼엑셀은 트랜스포머 기반의 LLM 추론에만 모든 자원을 집중했다. 하이퍼엑셀과 협력 중인 정무경 디노티시아 대표는 “하이퍼엑셀의 LPU는 사실상 '트랜스포머 액셀러레이터'라고 정의할 수 있다”며 “아직 제품이 정식 출시 전이라 시장의 전체적인 평가를 논하기엔 이르지만, 기술적 지향점만큼은 매우 명확하고 유망하다”고 평했다. 특히 하이퍼엑셀은 고가의 HBM(고대역폭 메모리) 대신 저전력·고효율 메모리인 LPDDR을 활용해 전력 효율과 비용 문제를 동시에 해결했다. LLM 추론의 최대 난제인 메모리 병목 현상을 하드웨어 차원에서 최적화된 스케줄링 기술로 극복한 것이다. 이러한 설계적 묘수는 실제 성능으로 이어진다. 하이퍼엑셀의 LPU는 실시간 AI 서비스의 핵심 지표인 토큰 생성 지연 시간을 최소화하는 데 성공했다. 이는 사용자의 질문에 즉각적으로 반응해야 하는 챗봇이나 실시간 대화형 AI 서비스에서 엔비디아 GPU 대비 경제성과 성능 우위를 점할 수 있는 근거가 된다. [약점: Weakness] 트랜스포머 이후 범용성 리스크와 SW 생태계 한계 반면, 특정 목적에 극도로 최적화된 설계는 양날의 검이 될 수 있다. 현재 AI 시장을 지배하는 것은 트랜스포머 아키텍처지만, 미래에는 이와 전혀 다른 구조의 새로운 AI 모델이 대두될 경우 하이퍼엑셀의 하드웨어 범용성이 심각하게 제약될 수 있다는 우려가 나온다. 'LPU'라는 정체성 자체가 트랜스포머 이후의 변화에 유연하게 대응하기 어려울 수 있다는 점은 투자자와 고객사들이 신중하게 살피는 대목이다. 소프트웨어 스택의 성숙도 역시 극복해야 할 산이다. 1세대 기업들에 비해 상대적으로 짧은 업력으로 인해, 엔비디아의 '쿠다(CUDA)'와 경쟁할 만한 소프트웨어 생태계를 단기간에 구축하는 것은 물리적으로 한계가 있다는 지적이 적지 않다. 개발자들이 하이퍼엑셀의 칩을 엔비디아만큼 편하게 쓸 수 있는 환경을 조성하기까지는 상당한 시간과 자본의 투입이 필수적이다. 하이퍼엑셀 관계자는 “AI 인프라 시장은 안정성과 검증된 레퍼런스를 중시하는 만큼 신규 AI칩 기업에게는 초기 고객 확보가 중요한 단계”라며 “이를 위해 글로벌 CSP 및 데이터센터 고객과 PoC 및 협력을 확대하며 실제 서비스 환경에서 성능 및 비용 효율을 검증하고 있다”고 말했다. [기회: Opportunity] 추론 중심 시장 재편과 50조 규모 'K-엔비디아' 수혜 시장 환경은 하이퍼엑셀에게 호의적이다. AI 산업의 무게추가 '학습'에서 '추론'으로 이동하면서 고효율 가속기 수요가 폭발하고 있기 때문이다. 특히 하이퍼엑셀은 서버를 넘어 엣지(Edge) 시장까지 조준하고 있는 걸로 전해진다. AI 반도체 업계 관계자는 “현재는 LLM 모델이 너무 커서 데이터센터 위주로 돌아가지만, 향후 워크로드의 5~10% 정도는 반드시 엣지로 내려올 수 밖에 없다”며 “LLM 모델을 가속할 수 있는 엣지 반도체 시장은 반드시 열릴 것이며, 하이퍼엑셀의 다변화 어프로치는 매우 유효한 전략”이라고 분석했다. 최근 발표된 정부의 'K-엔비디아 프로젝트' 역시 천군만마다. 향후 5년간 50조원이 투입되는 AI 반도체 산업 육성을 위한 정책 자금은 하이퍼엑셀과 같은 2세대 기업들이 대규모 양산 체계를 갖추는 데 결정적인 역할을 할 것으로 보인다. [위협: Threat] 엔비디아의 추론 시장 진출 선언 가장 실질적인 위협은 글로벌 AI 반도체 최강자인 엔비디아가 본격적으로 추론 시장에 진출한 점이다. 엔비디아는 최근 진행된 연례 개발자 컨퍼런스 'GTC 2026'에서 추론용 가속기 '그록3(Groq)'를 소개했다. 이 그록3는 LPU(Language Processing Unit)라는 명칭을 사용한다. 다만 두 칩은 추론 시장을 공략하고 있지만, 지향점은 다소 상이하다. 그록3는 실시간성과 초저지연을 바탕으로 한 '초고속 서비스'에 집중한다. 반면 하이퍼엑셀의 LPU는 LPDDR을 활용해 저전력 환경에 최적화되어 있다. 그록이 극강의 속도를 지향한다면, 하이퍼엑셀은 상대적으로 단가가 낮고 저전력이면서도 많은 메모리 용량이 필요한 환경에 적합한 구조를 취하고 있다.

2026.03.22 17:38전화평 기자

[AI는 지금] 200조 베팅에도 '흔들'…메타AI, 보안사고까지 겹쳐 '사면초가'

마크 저커버그 최고경영자(CEO)가 사활을 걸고 추진 중인 메타의 인공지능(AI) 전략이 안팎으로 거센 역풍을 맞으며 창사 이래 최대 위기에 직면했다. 수조원의 인프라 투자에도 불구하고 차세대 모델 출시가 지연돼 경쟁사인 구글에게 의존해야 할 뿐더러 AI 보안사고까지 발생해 난감한 모습이다. 19일 IT 전문 매체 디인포메이션에 따르면 최근 메타 내부에서 테스트 중이던 자율형 AI 에이전트가 보안 프로토콜을 임의로 우회해 민감한 사내 정보를 노출시키는 사고가 발생했다. 메타는 이를 전사적 보안 비상사태인 '세브 원(Sev 1, Severity 1)'으로 규정하고 정밀 조사에 착수했다. '세브 원'은 통상 글로벌 빅테크 기업에서 서비스 중단이나 치명적인 보안 침해가 발생했을 때 발령하는 최고 수준의 대응 단계다. 해당 AI 에이전트는 엔지니어의 명시적 승인 없이도 시스템 깊숙이 침투해 데이터를 추출했으며 권한이 없는 직원들에게 기밀 정보를 약 2시간 동안 노출시켰다. AI에게 부여한 자율성이 오히려 내부 보안을 위협하는 '양날의 검'으로 돌아오며 메타가 추진해 온 '에이전트 중심 AI 로드맵'에 급제동이 걸렸다. 기술적 완성도에도 빨간불이 켜졌다. 메타가 라마(Llama) 시리즈의 뒤를 잇기 위해 개발 중인 차세대 대형언어모델(LLM) '아보카도(Avocado)'의 출시가 성능 저하 문제로 당초 3월 중순에서 최소 5월 이후로 연기된 탓이다. 뉴욕타임스(NYT) 등 외신에 따르면 메타가 내부 테스트한 결과 아보카도의 추론 및 코딩 능력은 구글이나 오픈AI의 최신 모델에 크게 뒤처지는 것으로 나타났다. 특히 메타가 자체 모델의 경쟁력 공백을 메우기 위해 구글의 '제미나이'를 라이선스 형태로 도입하는 방안까지 검토한 것으로 알려지며 '오픈소스 맹주'를 자처하던 메타의 자존심에 큰 상처를 남겼다. 경영적 압박도 극에 달하고 있다. 메타는 올해 AI 인프라 확충에 전년 대비 2배 수준인 1150억~1350억 달러(약 200조원)를 투입할 계획이다. 장기적으로는 데이터센터 구축 등에 총 6000억 달러(약 800조원)를 쏟아붓겠다는 구상을 갖고 있는 것으로 알려졌다. 수익 모델이 불분명한 상황에서 비용 부담이 치솟자 메타가 비용 절감을 위해 전체 인력의 약 20%인 1만 6000명 규모의 대규모 구조조정을 검토 중이라는 관측도 제기됐다. AI 투자비를 충당하기 위해 숙련된 인력을 내보내는 이른바 '실리콘 우선주의'가 내부의 거센 반발을 사고 있는 형국이다. 업계에선 메타의 이번 위기가 생성형 AI 시장 전체에 시사하는 바가 크다고 보고 있다. 특히 AI 경쟁의 기준이 성능 중심에서 통제와 안전성 중심으로 이동하고 있다는 점을 핵심 변수로 지목했다. 업계 관계자는 "이번 사례는 자율형 에이전트가 실제 시스템 권한을 가진 상태에서 예기치 못한 행동을 일으킨 것"이라며 "기존 보안 체계만으로는 대응이 어려운 영역이 현실화됐음을 보여줬다"고 봤다. 이번 일이 오픈소스 중심 전략에 균열을 일으켰다는 분석도 나왔다. 메타가 주도해 온 라마(Llama) 생태계에도 불구하고 차세대 모델 성능 논란과 외부 모델 도입 가능성이 겹치면서 폐쇄형 모델 중심 구조가 다시 강화될 수 있을 것으로 예상했다. 이는 기업들이 특정 빅테크의 AI 모델에 의존하는 구조를 심화시킬 수 있다는 점에서 시장 전반에 영향을 줄 수 있는 변수로 꼽힌다. 투자 효율성에 대한 의문도 커지고 있다. 메타가 대규모 인력 감축과 동시에 수백조원 규모의 투자를 이어가고 있음에도 가시적 성과를 내지 못하면서 AI 투자 대비 수익성에 대한 검증 요구가 확대되는 모습이다. 향후 성과 입증이 지연될 경우 AI 관련 투자 심리 전반에도 영향을 줄 수 있을 것으로 보인다. 업계 관계자는 "이번 사태는 AI 경쟁의 기준이 성능에서 신뢰성과 효율성으로 이동하고 있음을 보여준다"며 "기업들은 이제 '무엇을 할 수 있는가'보다 '얼마나 안정적으로 운영할 수 있는가'를 더 중요하게 생각할 것"이라고 말했다.

2026.03.19 16:23장유미 기자

[AI는 지금] 네이버 찍고 업스테이지 간다…AMD 리사 수, 韓 AI 생태계 노린 까닭

국내 인공지능(AI) 기업 수장들이 글로벌 반도체 기업 AMD를 이끌고 있는 리사 수 최고경영자(CEO)와 잇따라 만나 협력 방안 논의에 나섰다. 엔비디아 견제에 나선 수 CEO가 이번 만남을 계기로 국내 AI 기업들을 AMD AI 생태계로 끌어들일 수 있을지 주목된다.18일 업계에 따르면 수 CEO는 한국을 찾아 이날 오전 최수연 네이버 CEO와 만난 후 오는 19일 김성훈 대표 등 업스테이지 주요 경영진과도 만날 예정이다. 수 CEO가 이번에 한국을 찾은 것은 AMD CEO 선임 이후 12년 만이다. AMD는 인텔, 엔비디아 등과 경쟁하는 글로벌 반도체 설계(팹리스) 기업이다. 엔비디아가 독점하고 있는 AI 가속기 시장의 대항마로서 점유율 확대를 꾀하고 있다. 네이버와는 이번에 'AI 생태계 확장 및 차세대 인프라 협력'을 위한 MOU를 체결했다. 이에 따라 네이버는 AMD와 고성능 그래픽처리장치(GPU) 연산 환경을 구축해 자사 거대언어모델(LLM) '하이퍼클로바X'를 고도화한다. 연구진에게 AI 컴퓨팅 자원을 제공하고 공동 연구도 추진한다. 네이버는 LLM과 데이터센터, 클라우드 인프라 등의 AI 역량을 바탕으로 AMD의 차세대 인프라를 실제 서비스 환경에 구현할 계획이다. 업스테이지도 AMD와 GPU 관련 협력에 나설 것으로 알려졌다. 수 CEO와 김성훈 대표가 만나는 장소와 시간은 구체적으로 알려지지 않은 상태로, 이번 만남은 비공개로 진행될 예정이다. 이에 대해 업스테이지 관계자는 "별도의 계약이나 MOU 체결을 발표하는 자리는 아닐 것"이라며 "양측이 향후 협력 방향을 폭넓게 논의하는 자리로, AI 인프라를 포함한 다양한 분야에서 협력 가능성을 모색할 예정"이라고 말했다. 수 CEO가 두 기업과 접촉에 나선 것은 자체 거대언어모델(LLM)을 기반으로 실제 서비스 환경에서 기술 검증이 가능하다는 점을 높게 평가했기 때문으로 보인다. 네이버는 '하이퍼클로바X', 업스테이지는 '솔라'를 기반으로 AI 서비스와 기술 경쟁력을 확보해 왔다. 이는 AMD 입장에서 자사 GPU와 AI 인프라를 실제 환경에 적용하고 성능을 검증할 수 있는 조건을 갖춘 파트너라는 의미로 해석된다. 특히 네이버는 그간 삼성전자, 인텔 등과 협업을 진행했지만 협력 구조와 소통, 조직 변화 등의 변수로 인해 성과를 이어가는 데 한계를 겪은 바 있다. 이후 SK하이닉스와는 CXL, PIM 등 차세대 메모리 기술을 데이터센터에서 직접 실증하는 방식으로 협력 구조를 전환하며 인프라 전략을 재정비하고 있다. AMD와의 협력을 통해선 GPU 기반 AI 인프라 선택지를 다변화하고 특정 벤더 의존도를 낮추기 위해 적극 나설 것으로 예상된다. 업스테이지 역시 모델 중심 기업으로서 특정 하드웨어 환경에 맞춘 최적화와 성능 검증이 가능하다는 점에서 차별화된 역할이 기대된다. 자체 LLM을 기반으로 다양한 산업에 적용 사례를 확대해 온 만큼, AMD 입장에서는 초기 생태계 확산을 위한 기술 파트너로 활용할 수 있을 것으로 예상된다. 업계에선 AMD의 이번 행보를 자사 AI 인프라 생태계 확장을 위한 전략으로 보고 있다. 대형 서비스 기업과 스타트업을 동시에 접촉해 데이터센터 구축부터 모델 최적화까지 자사 기술을 적용 범위를 넓히려는 시도로 해석했다. 업계 관계자는 "AI 반도체 시장은 단순한 칩 성능 경쟁을 넘어 어떤 생태계를 확보하느냐가 핵심"이라며 "AMD가 네이버와 업스테이지를 동시에 접촉한 것은 국내 AI 기업들을 중심으로 새로운 축을 만들려는 시도로 볼 수 있다"고 말했다.

2026.03.18 16:40장유미 기자

'베프'처럼 나를 이해할 AI 반도체 세계 첫 개발...2027년 제품화

챗GPT가 내 속마음까지 알아주는 베스트 프렌드(Best Friend)라면? 유회준 KAIST 인공지능반도체대학원 전기및전자공학부 교수 연구팀이 17일 KAIST AI빌딩에서 기자간담회를 갖고, 사용자 특성에 맞춰 스스로 진화하는 개인 맞춤형 거대언어 모델(LLM) 가속기 '소울메이트(SoulMate)'를 공개했다. 유 교수는 이날 "핵심은 챗GPT와 같은 LLM을 사용자가 스스로 학습시킬 수 있다는 것"이라며 "클라우드 없이도 사용자 대화 스타일과 선호도에 맞춰 반응하는 온디바이스 AI 기술을 개발했다"고 설명했다. 연구팀은 기억된 대화 내용을 바탕으로 맞춤형 답변을 생성하는 검색증강생성(RAG) 기술과 사용자 피드백을 즉각 반영해 학습하는 로우 랭크 미세조정(LoRA) 기술을 반도체 내부에 직접 구현했다. 홍성연 전기및전자공학부 박사과정 연구원(제1저자)은 "온디바이스 개인화 LLM 구현에는 거대한 장벽이 존재한다"며 "기존 고성능 LLM 시스템은 보통 100억 개 이상의 파라미터와 8GB 이상의 대용량 메모리를 요구한다. 단일 질의에도 1조 번 이상 연산이 필요하다"고 말했다. 문제는 이 같은 데이터 처리절차에 일반적인 모바일 하드웨어 처리 능력을 수십 배 이상 초과한다는 점이다. 대부분 서비스가 연산을 클라우드 서버에 전적으로 의존하게 되는데, 이에는 3가지 문제가 있다. 우선 첫 번째 단어가 생성되기까지 걸리는 시간(TTFT)이 400ms를 넘길 경우 사용자는 대화가 끊긴다고 느끼며 몰입도가 급격히 저하된다. 개인 신상과 관련한 보안 문제도 있다. 연구팀이 이를 한 방에 해결하기 위해 실시간 피드백과 학습, 즉각 반응이 가능한 혁신적인 인공지능 반도체 전용 시스템온칩(SoC)을 개발했다. 하드웨어 수준에 검색 증강 생성(RAG)과 온칩 미세 조정 기능을 통합한 개인화 LLM 시스템 온 칩인 '소울메이트'를 개발한 것. 연구팀은 삼성 28nm CMOS 공정을 통해 20.25mm² 면적의 칩으로 구현했다. 모바일 기기 내에서 LLM의 막대한 연산량과 메모리 병목 현상을 해결하기 위해 3가지 혁신적인 하드웨어 아키텍처를 도입했다. 3개 아키텍처는 ▲ 혼합 랭크 토큰 처리 아키텍처(MRNE) ▲ 유사도 기반 시퀀스 처리 아키텍처(SMU) ▲ 부울 프리미티브 MX 텐서 코어 (BPMX)다. MRNE는 문장 내 토큰별 중요도를 실시간 판단, 연산 정밀도를 유동적으로 조절하는 기술이다. 이를 통해 연구팀은 사용자 인터페이스(UI) 상에서 첫 번째 토큰이 생성되기까지의 지연 시간(TTFT)을 기존 대비 75.0~82.5% 단축했다. SMU는 '사용자 적응(UA)' 과정에서 불필요한 데이터 이동과 연산을 최소화한다. 학습에 소모되는 에너지를 61.7~76.2% 절감했다. BPMX를 통해 연구팀은 복잡한 부동소수점 연산을 효율적인 부울 논리 체계로 변환, 연산기 자체 피크 전력을 66.1% 절감하면서도 높은 연산 정밀도를 유지하는 데 성공했다. 홍성연 박사과정 연구원은 "32MB 규모의 데이터베이스를 통해 과거 대화 이력을 즉각적으로 참조(RAG)하고, 사용자의 교정이나 말투 선호도를 실시간 반영해 모델을 최적화한다"며 "특히 메타가 개발한 오픈소스 대규모언어모델 'LLaMA 3.2-1B'를 탑재한 시연에서, 클라우드 연결 없이도 63.1ms라는 매우 빠른 응답 속도를 나타냈다"고 설명했다. 유회준 교수는 "초저전력, 실시간 개인화 LLM 가속을 성공적으로 구현, 기술적 완성도를 입증했다"며 "기존 온디바이스 AI 가속 시스템 대비 지연 시간은 최대 82.5% 단축하고 사용자 학습 에너지는 76.2% 절감하는 세계 최고 수준의 효율을 달성했다"고 말했다. 유 교수는 또 "스마트폰, 웨어러블 기기, 개인형 AI 디바이스 등 차세대 플랫폼과 결합해 진정한 개인화 인공지능 서비스 시대를 열 것"이라며 "교원 창업기업 '온뉴로AI'를 통해 2027년께 제품화할 예정"이라고 덧붙였다. 이 연구 결과는 최근 미국 샌프란시스코에서 열린 국제고체회로설계학회(ISSCC)에서 '하이라이트 논문'으로 소개됐다. 연구는 과학기술정보통신부와 정보통신기획평가원(IITP) 정보통신방송혁신인재양성사업 지원을 받아 수행됐다.

2026.03.17 07:31박희범 기자

'AI 허브' 노리는 싱가포르, 신입 채용 감소…"AI 개발 인재 양성 시급"

싱가포르가 인공지능(AI) 글로벌 허브를 목표로 대규모 투자를 이어가고 있지만, 현재의 인재 육성 전략만으로는 기술 경쟁력을 확보하기 어렵다는 지적이 제기됐다. AI를 활용하는 인력 확대에 초점이 맞춰진 정책에서 벗어나 AI를 직접 개발할 수 있는 인재를 더 많이 키워야 한다는 주장이다. 싱가포르 국가 AI 연구개발 프로그램 AI 싱가포르의 선임 디렉터 레슬리 테오는 13일 블룸버그와의 인터뷰에서 "현재 정책은 AI 활용 인력 양성에 치우쳐 있다"며 "실제로 필요한 것은 AI를 구축할 수 있는 인재"라고 강조했다. 싱가포르는 AI 컴퓨팅 인프라와 인재 육성, 산업 생태계 구축을 위해 10억 싱가포르달러(약 7억8200만 달러) 이상의 투자를 추진하고 있다. 미국, 중국 등 주요 국가들이 연구와 인프라, 인재 확보에 대규모 투자를 확대하면서 글로벌 AI 주도권 경쟁이 격화되고 있기 때문이다. 다만 기업들이 AI 도입을 확대하면서 신입 채용을 줄이는 흐름이 나타나고 있다. 실제 싱가포르 대학 졸업생 가운데 정규직 취업 비율은 2025년 74.4%로 전년(79.4%)보다 하락했다. 테오 디렉터는 "신입 직원은 비용이 저렴하지만 AI는 그보다 더 저렴하다"며 "기업들이 과거처럼 신입 교육을 담당하지 않게 되면서 초기 경력 인재 양성의 공백이 생기고 있다"고 말했다. 그러면서 "정부가 초기 경력 인재 교육을 공공재로 간주하고 적극적으로 개입해야 한다"고 주장했다. 현재 싱가포르의 대표적인 인력 양성 정책은 '스킬스퓨처'다. 이 제도는 국민에게 교육비 지원을 제공해 평생 교육을 장려하는 프로그램이다. 지난해 약 60만6000명이 지원 교육 프로그램에 참여할 만큼 참여 규모가 큰 편이다. 그러나 교육 속도가 느리다는 점이 아쉬운 점으로 꼽힌다. AI 기술 변화 속도는 매우 빠른 반면, 교육 과정은 설계·승인·도입까지 시간이 오래 걸려 실제 현장 기술과 괴리가 발생할 수 있다는 지적이 나오고 있다. 싱가포르는 기술 주도권 확보를 위해 자체 AI 모델 개발에도 나서고 있다. AI 싱가포르는 동남아시아 지역을 위한 대형언어모델(LLM) '시-라이언(SEA-LION)'을 개발했다. 이 모델은 인도네시아 IT 기업 고투(GoTo) 등 지역 기업들이 활용하고 있다. 하지만 테오 디렉터는 AI 경쟁에서 중요한 것이 단순한 기술 활용 능력이 아니라 기술을 설계하고 구축할 수 있는 역량 확보라고 보고 있다. 특정 국가의 AI 시스템에 의존할 경우 기술 발전 방향이나 정책 결정 과정에서 영향력을 행사하기 어렵기 때문이다. 그는 "기술 개발에 관한 중요한 결정은 논의의 자리에 있어야 목소리를 낼 수 있다"며 "AI 사용자만이 아니라 AI를 만드는 인재를 충분히 확보하는 것이 국가 경쟁력의 핵심이 될 것"이라고 밝혔다.

2026.03.13 12:16장유미 기자

"전국 1등 안부럽네"…수능 테스트서 만점 받은 GPT-5.4, 오픈AI 지사장도 '만족'

오픈AI가 최근 출시한 인공지능(AI) 모델 GPT-5.4가 국내에서 긍정적인 평가를 받고 있는 것으로 나타났다. 최근 진행된 2026학년도 대학수학능력시험(수능) 문제 풀이 테스트에서도 이전 모델 대비 점수가 상승하며 성능 개선이 눈에 띄게 이뤄졌다는 평가를 받고 있다. 김경훈 오픈AI코리아 지사장은 12일 자신의 소셜미디어(SNS) 링크드인을 통해 GPT-5.4 출시 이후 이어지고 있는 국내 반응과 성능 테스트 사례를 소개했다. 그는 최신 GPT-5.4 모델을 활용한 '2026학년도 수능 풀이' 실험 결과를 언급하며 GPT-5.4가 이전 모델보다 높은 점수를 기록했다고 밝혔다. 지난 6일 출시된 GPT-5.4는 챗GPT와 응용 프로그래밍 인터페이스(API), 코덱스(Codex) 등 오픈AI의 주요 제품 전반에 적용되는 최신 프론티어 모델이다. 추론 능력과 코딩 성능, AI 에이전트 기반 작업을 하나의 모델로 통합한 것이 특징으로, 오픈AI가 공개한 범용 모델 가운데 컴퓨터 사용 능력을 기본적으로 탑재한 최초의 범용 모델이다. 이 같은 GPT-5.4의 우수한 성능은 수능 풀이를 통해서도 증명됐다. 실제 오픈AI 코덱스 개발 엔지니어인 타일러 류가 GPT-5.4를 활용해 2026학년도 수능 문제 풀이를 진행한 결과, 일반적인 문과 선택 과목 조합에서는 419.6점, 이과 조합에서는 415.9점을 기록했다. 이는 이전 모델인 GPT-5.2의 408.4점(문과), 406.3점(이과)보다 약 10점가량 높은 수준이다. 특히 GPT-5.4는 국어 영역에서 거의 만점에 가까운 점수를 기록한 것으로 나타났다. 이에 대해 김 지사장은 "GPT-5.4가 긴 글의 논리적 흐름을 파악하고 추론하는 능력이 크게 향상됐다는 점을 보여주는 결과"라고 평가했다. 외부 테스트에서도 유사한 흐름이 확인됐다. 순천향대학교 컴퓨터소프트웨어공학과 4학년 구유겸 학생이 지난 6일 진행한 거대언어모델(LLM) 수능 벤치마크에서도 GPT-5.4는 450점 만점 기준 최상위권 점수를 기록했다. 구 학생은 "수능 테스트를 처음 시작했을 때만 해도 만점 모델이 당분간 나오기 어려울 것이라고 생각했지만 약 3개월 만에 등장해 놀랐다"며 "AI 발전 속도가 매우 빠르다는 것을 실감하고 있다"고 말했다. 김 지사장은 AI 모델의 성능이 빠르게 상향 평준화되면서 기존 시험 중심 평가 방식만으로는 모델 역량을 판단하기 어려워지고 있다고 봤다. 이에 따라 실제 업무 환경에서 AI가 어떤 성과를 내는지를 평가하는 방식이 중요해지고 있다고 강조했다. 그는 "AI 에이전트가 실제 지식 기반 업무를 수행하는 능력을 평가하는 GDPval 벤치마크에서 GPT-5.4는 전체 업무 과제의 83%에서 산업 전문가와 동등하거나 더 높은 수준의 결과를 보였다"며 "이제 만점에 가까워진 모델을 기존의 평가 방식으로 평가하기가 점점 더 어려워질 것 같다"고 밝혔다. 그러면서 "이제는 실제 우리 업무에서 어떤 도움을 주는지에 대한 현장에서의 평가가 더 중요해질 것"이라고 덧붙였다.

2026.03.12 17:01장유미 기자

"2천억 매개변수 LLM, 개발자 책상 위에서 구동"

11일 늦은 오후, 서울 역삼동 소재 델테크놀로지스 본사 내 '사랑채'에서 32인치 4K 모니터 앞에 펼쳐진 리눅스 데스크톱 환경과 마주했다. 파이어폭스 웹브라우저에는 챗GPT나 제미나이 등 거대언어모델(LLM) 기반 생성 AI와 닮은 입력창이 떠 있다. '인텔 64비트 어셈블리 언어로 사칙연산을 진행하는 예제 코드를 작성하라'는 프롬프트를 입력하자 잠시 후 스무 줄 남짓한 어셈블리 코드가 화면에 쏟아졌다. 이 코드를 생성한 것은 인터넷에 연결된 클라우드 AI 서비스가 아니라 엔비디아 GB10 기반 AI 워크스테이션 '델 프로 맥스 위드 GB10'이다. 200억개 매개변수(파라미터)로 구성된 오픈소스 AI 모델 'gpt-oss-20b'가 로컬에서 작동한 것이다. 이날 델테크놀로지스는 국내 출입기자 대상으로 작년 10월 출시한 '델 프로 맥스 위드 GB10' 설명과 함께 실제 구동 시연, 체험 등 기회를 제공했다. GB10 탑재 제품을 출시한 주요 회사 중 처음이다. GB10, AI 개발 환경 개인 수준까지 확장 GB10은 엔비디아가 데이터센터와 클라우드 중심이었던 AI 개발 환경을 개인 수준까지 확장하기 위해 개발한 시스템반도체(SoC)다. Arm 기반 코어텍스-X925 10코어/A725 10코어 등 총 20코어로 구성된 '그레이스' CPU, 블랙웰 GPU로 구성됐고 128GB LPDDR5X 통합메모리와 한 쌍을 이룬다. 그래픽 메모리 제약이 있는 워크스테이션용 GPU와 달리 더 넓은 메모리 공간을 활용해 로컬 환경에서 최대 2000억 개 매개변수 LLM을 구동할 수 있다. 윤우진 델테크놀로지스 이사는 "AI 개발자들이 데이터센터 자원을 할당받아 사용하는 대신 책상 위에서 직접 모델을 개발하고 테스트할 수 있는 환경을 제공할 수 있다"고 설명했다. 델, GB10 확산 속 'AI 포트폴리오' 강조 델테크놀로지스를 포함해 레노버, 에이수스, HP 등 글로벌 제조사가 작년 10월을 전후해 GB10 탑재 AI 워크스테이션을 속속 시장에 출시하고 있다. 이들 제품은 128GB 통합 메모리와 우분투 리눅스 기반 DGX OS, AI 개발에 필요한 주요 소프트웨어 기본 제공 등 특징을 공유한다. 두 대의 시스템을 연결하면 최대 4000억 매개변수 규모 모델까지 처리할 수 있도록 확장 가능한 점도 동일하다. 윤 이사는 "델테크놀로지스는 데스크톱 워크스테이션부터 '델 프로 맥스 위드 GB10', GB300 등 일관된 AI 포트폴리오를 제공할 수 있다. 또 공기 흐름 설계와 전원 공급과 함께 글로벌 네트워크를 활용한 지원이 가능하다"고 강조했다. "게임 개발사 등 일부 기업 파일럿 도입" 이날 행사에서는 GB10을 활용한 AI 워크로드 시연도 함께 진행됐다. 로컬 환경에서 대형 언어모델을 실행해 챗봇 형태로 질의를 처리하는 한편 장비 두 대를 연결해 4000억 매개변수 LLM을 분산 실행하는 사례도 소개됐다. 시연을 진행한 김진효 메이머스트 이사는 "GB10은 모든 AI 스택이 맞춤형으로 구성된 일체형 장비(어플라이언스)로 임의로 시스템을 수정하면 정상 작동을 보장하기 어렵고 보증 대상에서도 제외될 수 있다"고 설명했다. 윤 이사는 "현재 일부 게임 개발사들이 GB10 탑재 제품을 시범 도입해 내부 테스트를 진행중이며 개발 환경에서 만족도가 확인되면 실제 도입으로 이어질 가능성도 있다"고 밝혔다.

2026.03.12 08:51권봉석 기자

AMD "AI PC, CPU·GPU·NPU 모두 활용 필요"

"마이크로소프트는 2024년 이후 신경망처리장치(NPU)를 활용한 스튜디오 효과, 이미지 편집, 카메라 영상 처리 등을 꾸준히 투입하고 있다. 40 TOPS(1초당 1조번 연산) 이상의 NPU가 없다면 이런 기능 활용은 불가능하다." 11일 오전 서울 삼성동에서 진행된 'AI PC 부트 캠프' 행사에서 김홍필 AMD 시니어 솔루션 아키텍트(이사)가 이렇게 설명했다. NPU는 AI 추론 연산에 특화된 프로세서로, GPU보다 전력 소모가 낮고 INT8 등 저정밀 연산에 효율적이다. AMD는 이날 AI PC용으로 설계된 라이젠 AI 300/400 시리즈 프로세서와 NPU의 활용 상황, GPU 대비 NPU가 가진 전력소모 등 이점과 향후 전망 등을 소개했다. 이날 김홍필 이사는 "시장조사업체 IDC 통계에 따르면 올해를 기점으로 전체 PC 출하량 중 NPU 탑재 제품 비율이 크게 늘어나고 있다. 특히 소형·경량 노트북에는 앞으로 NPU가 반드시 탑재되는 방향으로 갈 것"이라고 설명했다. AMD, 2024년부터 NPU 강화 나서 AMD가 2024년 10월부터 공급중인 노트북용 프로세서인 라이젠 AI 프로 300은 젠5(Zen 5) 기반 CPU, RDNA 3.5 기반 GPU와 XDNA 2 NPU(신경망처리장치)를 결합했다. 김홍필 이사는 "AI 초창기부터 현재까지 많은 AI 모델이 주로 GPU를 활용한다. GPU는 주로 FP32(부동소수점 32비트) 등 연산에 최적화된 반면, NPU는 INT8(정수 8비트) 처리에 최적화됐다. 특히 추론에서는 속도나 메모리 용량에 유리하다"고 설명했다. 올해부터 공급되는 라이젠 AI 400 시리즈는 전작 대비 작동 클록과 메모리 작동 속도 향상으로 CPU와 GPU, NPU 성능을 모두 강화했다. NPU 성능은 전작(50 TOPS) 대비 20% 향상된 60 TOPS까지 올라갔다. "코파일럿+ 시작으로 NPU 활용 S/W 증가 추세" 마이크로소프트 윈도11 코파일럿+ 기능은 2024년 6월 출시된 퀄컴 스냅드래곤 X 엘리트를 시작으로 같은 해 11월부터 인텔·AMD 등 x86 계열 프로세서까지 확장됐다. 주변 대화나 소리를 실시간으로 감지해 자막으로 띄우는 '라이브 캡션', PC 작동 내역을 실시간으로 추적했다 필요한 시점으로 돌아가 확인하는 '리콜' 등이 지원된다. 코파일럿+ 기능 이외에도 마이크로소프트 오피스, 어도비·블랙매직·사이버링크 등 콘텐츠 제작용 솔루션, 피싱이나 악성 코드를 실시간으로 감지하는 보안 솔루션까지 NPU 활용이 확장되는 상황이다. 김홍필 이사는 "현재는 각종 콘텐츠 제작에 AI가 가장 많이 쓰이지만 앞으로는 CPU와 GPU, NPU 3개를 모두 활용해 효율적으로 로컬 AI를 구동하는 것이 중요하다. AMD는 여러 회사와 함께 더 많은 활용 사례를 만들기 위해 노력하고 있다"고 설명했다. NPU 구동해 LLM 실행시 토큰 속도 향상 이날 AMD는 라이젠 AI 7 350 프로세서와 24GB 메모리를 탑재한 HP 엘리트북6 G1a를 이용해 NPU 활용시 전력 소모와 처리 시간을 비교했다. 첫 번째 시연에서는 클라우드 없이 PC에서 직접 거대언어모델(LLM)을 구동하는 오픈소스 소프트웨어 '레모네이드'를 활용했다. AMD CPU와 NPU에 최적화된 딥시크 R1 80억 매개변수 모델을 이용해 첫 토큰(단어) 소요 시간과 초당 토큰 출력 시간을 확인했다. CPU만 구동할 때 첫 토큰 출력까지 1.4초, 초당 토큰은 3.8토큰인 반면 NPU만 활용할 때는 첫 토큰 출력에 2.27초, 초당 토큰은 6.7토큰으로 향상됐다. 프로세서 전력 소모도 CPU만 활용시는 33.20W, NPU 활용시는 절반 가량인 16.59W로 전력 소모 면에서도 일정 부분 이점이 있었다. "NPU 최적화 일부 모델은 GPU 대비 더 빨라" 두 번째 시연은 사진과 영상 콘텐츠를 생성하는 AI 모델을 구동할 수 있는 '어뮤즈'를 활용했다. 스테이블 디퓨전 3.0을 AMD 실리콘에 최적화한 모델로 2048×2048 화소 이미지 생성시 소요 시간을 비교했다. '상자 안의 고양이(A cat in a box)'를 프롬프트로 주고 실행할 때 NPU를 활용하면 총 소요 시간은 127.5초 걸렸다. 반면 GPU만 활용시 소요시간은 296.8초로 2.5배 더 길어졌다. 프로세서 작동 온도에도 일부 차이가 있다. NPU 활용시 온도는 50도로 측정됐지만 GPU만 활용하면 전체 온도는 60도까지 상승한다. 또 과열을 막기 위해 일시적으로 성능을 끌어내리는 스로틀링이 작동해 오히려 더 처리 시간이 길어졌다. 김홍필 이사는 "NPU와 GPU의 연산 정밀도에는 차이가 있고 정밀도를 내릴 수록 처리 시간은 줄어든다. 아직 NPU에 특화된 모델이 드물지만 메모리 용량이나 성능에 일정한 제약이 있는 상황에서 NPU가 더 효율적인 선택지를 줄 수 있다는 의미"라고 설명했다. "NPU 수치보다는 AI 모델 최적화 여부가 관건" 현재 인텔, AMD, 퀄컴 등 주요 AI PC용 프로세서 제조사는 NPU 성능을 차별화 포인트 중 하나로 내세운다. 45 TOPS(퀄컴 헥사곤)로 시작해 50 TOPS(인텔 NPU5), 60 TOPS(AMD) 등 수치상으로는 계속 향상되고 있다. 김홍필 이사는 "실리콘 제조사가 이야기하는 TOPS는 행렬로 구성된 숫자를 서로 곱한 다음 더하는 MAC(곱셈 가산) 수치를 기준으로 한 것이다. 이를 측정하는 벤치마크 도구들이 있지만 정확한 값을 드러낸다고 볼 수 없다"고 설명했다. 이어 "마이크로소프트가 코파일럿+ 기준으로 제시한 40 TOPS는 하한선이다. TOPS 수치가 일종의 마케팅 수단이 됐지만 결국 전반적으로 NPU가 여러 AI 모델에 얼마나 최적화되고 많이 활용되느냐가 더 중요한 사안"이라고 덧붙였다.

2026.03.11 15:49권봉석 기자

레드햇-소프트뱅크, AI-RAN 통합…"통신망서 LLM 추론 분산 처리"

레드햇이 통신 인프라에서 인공지능(AI) 활용을 확대하기 위한 기술 통합에 나섰다. 레드햇은 소프트뱅크 손잡고 AI-무선접속망(RAN) 오케스트레이터 '아이트라스'에 'llm-d'를 통합했다고 10일 밝혔다. 이 기술은 RAN 환경에서 거대언어모델(LLM) 추론을 분산 처리해 성능과 효율을 높이는 오픈소스 프레임워크다. 이번 통합은 통신 사업자가 AI와 기존 RAN 워크로드를 동일한 하드웨어(HW) 환경에서 운영하도록 지원하는 것이 핵심이다. 엣지 환경에서 생성형 AI와 언어 모델 활용이 늘면서 통신망 내부에서도 AI 추론과 네트워크 기능을 동시에 처리해야 하는 수요가 커지고 있기 때문이다. 레드햇과 소프트뱅크는 이를 위해 'vLLM'과 'llm-d'를 결합한 AI-RAN 협력 구조를 구축했다. vLLM은 단일 그래픽처리장치(GPU) 노드에서 고성능 AI 모델 배포를 지원하는 오픈소스 프로젝트다. llm-d는 이를 쿠버네티스 기반으로 여러 노드에 분산 배치해 멀티 노드 환경에서도 AI 추론을 안정적으로 운영하도록 돕는다. 레드햇은 llm-d에 아이트라스가 통합되면서 RAN 워크로드와 LLM 요청을 여러 GPU 클러스터에 걸쳐 동시에 오케스트레이션할 수 있다고 밝혔다. 시스템은 AI 추론 요청을 지능적으로 라우팅하고 GPU 자원 관리와 오토스케일링을 자동으로 수행한다. HW 자원 활용을 높이기 위한 구조도 적용됐다. llm-d는 LLM 추론 과정에서 연산 중심 단계인 프리필(prefill)과 메모리 중심 단계인 디코드(decode)를 분리해 각각 다른 GPU 자원에 배치한다. 이를 통해 다양한 하드웨어 환경에서 자원 활용도를 높이고 동일한 장비에서 실행되는 핵심 RAN 기능을 보호할 수 있다. AI 서비스 요청이 급증하거나 감소하는 상황에도 자동 확장이 가능하다. 아이트라스는 워크로드 특성에 따라 프리필과 디코드 작업자를 자동으로 배치하고 확장한다. 이를 통해 사용자 지연 시간을 줄이고 전력 소비를 낮춰 총소유비용(TCO) 절감에도 기여한다. 레드햇은 "이번 통합은 통신 사업자의 AI 기반 엣지 서비스 확대에 필요한 기반이 될 것"이라며 "엣지에서 AI와 네트워크 기능을 함께 운영하면 운영 비용을 낮추고 새로운 서비스 출시 기간도 단축할 수 있다"고 밝혔다.

2026.03.10 10:27김미정 기자

시선AI, 코딩 자동화 AI '인트라젠엑스' 공개…공공·금융 시장 겨냥

시선AI가 대보DX와 공동 개발한 온프레미스 기반 코딩 자동화 인공지능(AI) 솔루션을 출시하며 공공, 금융 차세대 시스템 개발 시장 공략에 나섰다. 시선AI는 코딩 자동화에 특화된 소형 거대언어모델(sLLM) 기반 온프레미스 AI 코드 어시스턴트 '인트라젠엑스(IntraGenX) 1.0'을 출시했다고 9일 밝혔다. 이번 제품은 자회사 대보DX와 공동 개발했으며 공공기관과 금융권 등 높은 보안 수준이 요구되는 환경을 주요 타깃으로 한다. 인트라젠엑스는 자연어 프롬프트를 통해 개발자의 코딩 작업을 지원하는 AI 기반 개발 보조 도구다. AI 페어 프로그래밍과 프롬프트 기반 개발 방식을 적용해 논리 설계, 코드 리뷰, 오류 탐지 및 수정 등 개발 전 과정의 자동화를 지원한다. 설계 문서나 데이터 모델(ERD), 디자인 산출물 등을 연동하면 프런트엔드와 백엔드 코드를 자동 생성할 수 있는 것이 특징이다. 프런트엔드 개발 환경에서는 리액트, 뷰 등 글로벌 표준 프레임워크와 국내 주요 UI 플랫폼을 지원한다. 이를 통해 화면 설계, HTML 퍼블리싱, 자바스크립트 개발 등 기존 단계별 개발 과정을 단축하고 코드 생성 자동화를 통해 개발 생산성과 품질을 동시에 높일 수 있다는 설명이다. 특히 대규모 인력이 투입되는 공공기관과 금융권 차세대 시스템 구축 프로젝트에서 효과가 클 것으로 회사 측은 기대하고 있다. 설계 문서를 기반으로 코드를 일괄 생성해 개발 과정에서 발생할 수 있는 오류를 줄이고, 대규모 개발 조직에서도 일관된 코드 품질을 유지할 수 있기 때문이다. 보안성도 주요 차별화 요소다. 인트라젠엑스는 외부망 차단 환경에서도 운영 가능한 온프레미스 방식으로 설계됐다. 이를 통해 데이터 유출을 차단하고 데이터 주권 확보와 규제 준수를 지원한다. 최근 기업 내부 민감 정보 유출 우려로 클라우드 기반 LLM 활용을 제한하는 사례가 늘어나는 상황에서 보안 우려를 해소할 수 있는 대안이라는 설명이다. 기술적으로는 대형 LLM 구조를 기업 환경에 맞게 경량화하고 최적화한 sLLM 기술을 적용했다. 자체 파인튜닝과 학습 기술을 통해 코딩 작업에 특화된 성능을 확보했으며 비교적 가벼운 구동 환경에서도 개발 맥락을 이해하고 정밀한 코드 생성을 수행할 수 있도록 설계됐다. 시선AI는 자회사 대보DX와 협력해 공공기관과 금융권 등 보안 요구가 높은 시장을 중심으로 제품 확산에 나설 계획이다. 대보DX는 고객 발굴과 영업, 시스템 구축, 기술 지원을 담당하는 전략 파트너 역할을 수행한다. 남운성 시선AI 대표는 "생성형 AI와 LLM이 제공하는 생산성 혁신 효과에도 불구하고 많은 기관과 기업들이 보안 문제로 인해 이를 적극 활용하지 못하는 상황"이라며 "인트라젠엑스는 높은 보안성을 유지하면서도 개발 생산성과 효율성을 크게 높일 수 있는 기업용 AI 도구가 될 것"이라고 말했다.

2026.03.09 17:40남혁우 기자

"수능 1등이 일을 제일 잘 하나...LLM 평가 관점 다양해야"

[바르셀로나(스페인)=박수형 기자] 정부의 독자 AI 파운데이션 모델 개발 프로젝트에서 벤치마크 점수와 함께 실제 산업에서 활용될 수 있는 모델을 중요하게 살펴야 한다는 의견이 제기됐다. 정석근 SK텔레콤 AI CIC장은 스페인 바르셀로나에서 열린 MWC26 현장에서 기자들과 만나 “수능을 제일 잘 본다고 일을 제일 잘 하는 것은 아니다”며 “정부가 엑사원이 제일 좋다고 얘기했지만 모든 분야, 실생활에서 특히 산업에서 쓰기에 그게 가장 모델이라고 보이지는 않는다”고 말했다. 정 CTO는 “LLM 성능을 평가하는 기준은 매우 다양하다”며 “현재 경연 특성상 벤치마크 점수로 평가하고 있지만, 하나의 기준만 갖고 적절하지 않아 (다양성을 추구하는) 그런 관점에서 봐야 된다고 본다”고 강조했다. 과거 대입 시험을 학력고사나 수능 점수 한 번에 따지는 게 아니라 정시와 수시 등 여러 절차를 사례로 들기도 했다. 그는 또 “3개 회사가 각자의 특징을 가지고 해야 된다라고 생각한다”며 “벤치마크라고 하는 어떤 주어진 문제를 누가 제일 잘 푸느냐를 가지고 끝장을 봤을 때, 또 과연 그게 그러면 그걸 3강에 들어간다고 하면 전 세계 AI 3강이냐 할 때 그렇게 보이지는 않는다”고 말했다. 이어, “평가라는 게 자칫 잘못해 어려운 문제를 푸는 데가 오히려 더 어려운 시험을 보게 되는, 어려운 모델을 만든 데가 더 어려운 시험을 보게 되는 건 좀 이상한 것 같다”며 “그렇다고 해서 쉬운 문제를 가지고 그 문제만 족보만 달달 외워서 그 시험을 잘 보는 게 과연 우리가 지향하는 목표냐 그건 좀 의문은 있다”고 덧붙였다. 그러면서 ”정부에서도 그런 것들을 고려한 평가 기준이 고려했으면 좋겠다고 생각한다“며 ”저희는 그런 면에서 실제로 저희가 잘 쓸 수 있는 SK텔레콤이 그리고 SK하이닉스 혹은 그 외에 산업 현장에서 잘 쓸 수 있는 모델을 만드는 데 집중하려고 한다“고 했다.

2026.03.05 17:06박수형 기자

[현장] LLM보다 20배 자원 쓰는 에이전틱 AI…레드햇 "해법은 추론 최적화"

"에이전틱 AI는 하나의 질문에도 모델을 여러 번 호출하며 일반 챗봇 대비 GPU 자원을 5배에서 최대 20배까지 더 소모하는 구조입니다. 기업이 이를 도입해 수익을 창출하려면 비용 통제와 성능 확보, 서비스 안정성을 동시에 달성할 수 있는 추론 최적화가 필수입니다." 이호진 레드햇 솔루션 아키텍트는 26일 서울 마곡 LG사이언스파크에서 열린 'LG CNS AI 테크 서밋 2026'에서 이같이 강조했다. 그는 '에이전틱 AI로의 진화와 추론 최적화 전략'을 주제로 발표하며, 생성형 AI를 넘어 에이전틱 AI 시대로 전환되는 흐름과 이에 따른 인프라 전략 변화를 짚었다. 이 아키텍트는 가트너와 IDC 리서치를 인용하며 올해 기업 애플리케이션 40%가 업무 특화 AI 에이전트를 탑재하거나 AI 에이전트와 함께 일하게 될 것이라고 설명했다. 단순 질의응답을 수행하는 생성형 AI에서 벗어나, 멀티스텝 업무 자동화와 워크플로우 판단·실행까지 수행하는 구조로 진화하고 있다는 분석이다. 문제는 자원 소모다. 에이전틱 AI는 하나의 요청에도 모델 호출과 도구 실행, 검색과 재시도를 반복한다. 그 결과 일반 챗봇 대비 GPU 자원이 5배에서 최대 20배까지 더 필요할 수 있다. 그는 "이 구조에서는 추론 비용이 급격히 증가할 수밖에 없다"며 "추론 최적화 없이 에이전틱 AI를 확장하는 것은 현실적으로 어렵다"고 말했다. 이어 추론의 개념과 운영 환경에서의 과제를 설명했다. 대규모언어모델(LLM) 추론은 입력을 토큰으로 변환하고 토큰 간 관계를 계산해 답변을 생성하는 과정이다. 현재 AI 시장의 예산과 컴퓨팅 중심이 학습에서 추론 영역으로 이동하고 있으며 상시 운영 환경에서는 성능과 비용 최적화의 효과가 더욱 크게 나타난다고 강조했다. 특히 엔터프라이즈 환경에서는 GPU 자원 효율화뿐 아니라 보안 검증, 모델 안정성 확보, 지연 편차 관리까지 함께 고려해야 한다고 짚었다. 레드햇은 이를 해결하기 위한 전략으로 가상대규모언어모델(vLLM), LLM 컴프레서, 검증된 모델 컬렉션, 대규모 분산 추론 기술(LLM-D)을 제시했다. vLLM은 고성능 모델 서빙 엔진으로, 신규 모델과 다양한 AI 가속기를 지속적으로 지원하며 업계 표준처럼 활용되고 있다고 설명했다. LLM 컴프레서는 양자화를 통해 모델 크기와 GPU 메모리 사용량을 줄이면서도 정확도를 유지하는 기술이다. 실제 70B 모델을 GPU 8장에서 2장으로 줄이면서 99% 이상의 정확도를 확보한 사례도 소개했다. 또한 오픈시프트 기반으로 검증·최적화된 모델을 제공해 엔터프라이즈 AI의 품질과 안정성을 빠르게 확보할 수 있다고 밝혔다. LLMD는 대규모 분산 추론을 지원하는 기술로 여러 서버에 모델을 분산 배치하고 라우팅과 로드밸런싱, KV 캐시 효율화를 통해 고성능과 비용 효율을 동시에 달성할 수 있도록 돕는다고 설명했다. BC카드 사례도 공유했다. 초기에는 오라마 기반으로 최대 20건 요청을 처리했으나, vLLM 전환과 API 캐싱, 튜닝을 거치며 최대 25만건 요청을 처리하는 구조로 확장했다. 특히 LLM 컴프레서를 통한 양자화로 모델 크기를 절반으로 줄이고 성능은 3배 높이면서도 정확도 차이는 0.01% 수준에 그쳤다고 밝혔다. 이 과정에서 기업이 모든 기술 레이어를 자체적으로 감당하기보다 안정적인 플랫폼을 기반으로 전문 역량을 결합하는 전략이 필요하다고 강조했다. 이호진 아키텍트는 "에이전틱 AI 시대에는 추론이 곧 경쟁력"이라며 "레드햇 AI 플랫폼과 전문 역량, 컨설팅을 통해 고객의 추론 최적화와 AI 혁신을 지원하겠다"고 말했다.

2026.02.27 08:38남혁우 기자

SKT, MWC26서 '독파모' AI 모델 A.X K1 신뢰성 검증

SK텔레콤은 자체 개발 인공지능(AI) 모델 'A.X K1'의 안전성과 신뢰성을 검증하기 위해 오는 3월2일부터 5일까지 열리는 'MWC26'에서 '글로벌 AI 레드팀 챌린지'에 참여한다고 25일 밝혔다. 챌린지는 약 100명의 평가단이 통신, AI 기업이 개발한 LLM을 대상으로 AI 모델의 차별적 응답 생성, 정보 침해 등 오용 가능성을 찾아내는 방식으로 진행된다. 세계이동통신사업자연합회(GSMA)와 AI 데이터 신뢰성 평가 전문기업 셀렉트스타가 공동 주최하며, 3일(현지시간) 스페인 바르셀로나 MWC 행사장 내 탤런트 아레나에서 열린다. AI 모델이 생성하는 응답의 안전성을 외부 전문가들이 직접 점검하는 프로그램인 만큼, 기술적 완성도와 신뢰성을 갖춘 기업들이 참여하는 행사라고 회사 측은 설명했다. 평가단이 도출한 검증 결과는 심사단을 통해 점수화되며, 참여 기업 수나 최종 점수, 순위 등은 외부에 공개되지 않는다. SK텔레콤은 'A.X K1'으로 챌린지에 참여한다. A.X K1은 모델 설계부터 학습까지 전 과정을 독자적으로 개발한 모델이다. 최근 국가 차원 AI 프로젝트 '독자 AI 파운데이션 모델' 평가 1단계에 선정되며 기술력을 공식적으로 인정받았다. 행사 참여를 통해 A.X K1의 성능과 안전성을 글로벌 무대에서 검증하는 한편, 그 결과를 AI 서비스 고도화에 적극 반영해 AI 모델의 완성도를 한층 끌어올릴 방침이다. 김태윤 SK텔레콤 파운데이션 모델 담당은 “'글로벌 AI 레드팀 챌린지' 참여를 SK텔레콤 AI 기술에 대한 신뢰성을 높이는 계기로 삼겠다”고 말했다.

2026.02.25 09:26홍지후 기자

포티투마루가 제시한 공공 AX 해법은?

기존 업무에 인공지능(AI) 도구를 덧붙이는 것만으로는 공공 AX를 이룰 수 없다는 전문가 지적이 나왔다. AI를 행정 기본 운영체제로 설정해 일하는 방식 자체를 바꿔야 한다는 설명이다. 포티투마루는 지난 11일 세종시 신용보증재단중앙회 사옥에서 열린 '2월 역량강화아카데미' 공공 AI 특강에서 임직원 대상으로 공공 AX 전략과 미래 비전을 공유했다고 13일 밝혔다. 이승현 포티투마루 부사장이 'AI 시대, 정부 혁신과 디지털 전환 전략'을 주제로 강연했다. 이승현 부사장은 공공 AX를 기존 업무에 AI 도구를 덧붙이는 수준에서 벗어나야 한다고 주장했다. AI를 행정 기본 운영체제로 삼아 일하는 방식과 의사결정 체계를 재설계하는 과정을 필수로 둬야 한다고 설명했다. 기술 발전 속도와 제도 변화 속도의 격차, 경직된 예산 구조, 전문 인력 부족을 공공 부문의 3대 구조적 한계로 짚었다. 이 부사장은 AI 도입 자체가 목적이 돼서는 안 된다고 강조했다. 해결하려는 행정 문제를 먼저 정의하고, 작은 성공 사례를 빠르게 검증한 뒤 조직 전반으로 확산하는 실증 중심 접근이 공공 AX 핵심이라고 설명했다. 이 부사장은 지역신용보증재단 업무 특성에 맞춘 'AI 혁신 3대 방향'도 제시했다. 심사 검증 리포트를 자동 생성해 업무 시간을 80% 단축하는 '심사 에이전트', 규정과 지침을 실시간 검색해 지원하는 '업무 지원 에이전트', 매출 급감 등 이상 징후를 감지해 선제 컨설팅을 제안하는 '능동형 에이전트' 도입이 골자다. 그는 포티투마루 검색증강생성 'RAG42'와 인공지능 독해 'MRC42'를 활용한 공공 특화 서비스 모델도 소개했다. 질의응답, 데이터 분석·시각화, 문서 초안 작성과 요약, 정책 기획 지원, 24시간 민원 상담, 민원 접수·분류·배정 자동화 등 6대 서비스 유형을 제시하며 현장 적용 가능성을 강조했다. 포티투마루는 거대언어모델 환각 현상을 RAG42와 MRC42 엔지니어링으로 완화하고, 산업 특화 경량 모델 LLM42를 개발·서비스하고 있다. 기업용 프라이빗 모드를 지원해 내부 데이터와 민감 정보 유출 우려를 낮출 수 있다. 김동환 포티투마루 대표는 "AI 기술은 단순한 업무 효율화를 넘어, 금융 이력이 부족한 소상공인에게 정밀한 신용 평가를 제공하고 위기 상황을 선제적으로 막아주는 '사회적 안전망' 역할을 해야 한다"고 강조했다.

2026.02.13 14:42김미정 기자

Prev 1 2 3 4 5 6 7 8 9 10 Next