KT, 국산 NPU·LLM 한 서버에 담았다...'모두의AI'에도 활용

KT가 국산 AI 반도체와 국산 언어모델(LLM)을 하나의 서버에 통합한 기업용 소버린 AI 어플라이언스를 출시했다고 19일 밝혔다. KT가 선보인 'KT NPU LLM 스테이션'은 국내 AI 반도체 기업 리벨리온의 NPU 'ATOM-MAX'에 KT의 독자 개발 LLM '믿음 K 2.5 Pro', 운영 API 플랫폼까지 탑재한 일체형 제품이다. ATOM-MAX는 추론에 특화된 국산 NPU로, 공인 시험을 통해 동급 GPU 대비 높은 처리 성능과 전력 효율을 검증받았다. '믿음 K 2.5 Pro'는 고난도 추론과 에이전트 활용에 강점을 가진 KT 독자 모델이다. AI 반도체부터 모델, 운영 플랫폼에 이르는 핵심 기술을 국내 기술로 구성해, 정부가 추진하는 소버린 AI 정책 방향을 기업 현장에서 바로 구현할 수 있다. 강력한 보안이 특징이다. 제품은 고객사 내부에 설치되며 모든 데이터와 AI 연산이 사내에서만 처리된다. 망분리 등 관련 규제와 강력한 보안 필요성으로 해외 생성형 AI를 도입하지 못했던 공공, 국방, 제약, 제조, 금융 등 규제 산업의 AX 전환에 촉매제가 될 것으로 보인다. 서버, AI 모델, 플랫폼이 통합된 완제품형 장치여서 별도 구축 과정 없이 설치 당일부터 사내 문서 기반 질의응답(RAG) 등 AI 기능을 바로 사용할 수 있어 도입 부담도 낮췄다. 추론 특화 NPU를 채택해 동급 GPU 서버 대비 전력 효율이 높고, 업계 표준 API를 제공해 기업이 기존에 쓰던 AI 서비스의 접속 정보만 바꾸면 코드 수정 없이 호환해 사용할 수 있다. KT는 향후 회의록 작성, 코딩 지원, 업무 자동화 에이전트 'K-Claw(가칭)' 등 KT가 개발한 AI 에이전트를 순차 탑재하고, 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로 확장할 계획이다. 나눙어 'KT NPU LLM 스테이션' 활용 영역을 피지컬 AI를 위한 엣지 데이터센터(Edge DC)로 확대해 저전력 저지연 AI 인프라 구현에도 나설 예정이다. 이진형 KT AX사업본부장은 “KT NPU LLM 스테이션은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것”이라며 “데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것”이라고 말했다. 한편, KT는 과학기술정보통신부의 '모두의 AI' 프로젝트에서도 국산 NPU를 활용해 소버린 AI 구현과 국내 AI 생태계 경쟁력 강화에 기여할 계획이다.