레드햇 "똑똑한 모델만큼 중요한 건 'AI 운영 플랫폼'"
"인공지능(AI) 경쟁 무게중심이 모델 성능에서 운영 플랫폼으로 이동하고 있습니다. 앞으로 기업은 모델과 데이터를 안정적으로 연결하고 배포·관리할 수 있는 AI 운영 플랫폼을 필수로 갖춰야 합니다." 임영진 한국레드햇 상무는 17일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 '컨버전스 인사이트 서밋(CIS 2026)'에서 AI 엔터프라이즈 플랫폼 중요성을 이같이 밝혔다. 임 상무는 기업 AI 역량 기준이 바뀌었다고 주장했다. 어떤 모델을 선택하느냐보다 이를 실제 업무 환경에 안정적으로 운영하는 역량이 중요해지고 있다는 설명이다. 기업은 다양한 모델과 데이터를 연결하고 이를 배포·관리할 수 있는 엔터프라이즈 AI 플랫폼을 중요성이 높아지고 있다는 것이다. 임 상무는 이를 지원하기 위한 전략으로 '레드햇 AI 엔터프라이즈 플랫폼'을 제시했다. 이 플랫폼은 오픈소스 모델 선택권을 비롯한 고성능 추론, 데이터 연계, 에이전트 개발·배포, 하이브리드 클라우드 운영을 한 체계로 묶는 데 초점 맞췄다. 그는 해당 플랫폼 특장점으로 빠르고 유연한 AI 추론 환경을 꼽았다. 기업이 다양한 모델을 빠르게 가져와 배포·모니터링할 수 있는 기능이다. 여기에 라마를 비롯한 큐원, 젬마, 딥시크 등 여러 오픈소스 모델이 내장됐다. 그는 "모델을 실제 업무 환경에 배포하고 운영하는 일은 여전히 복잡하다"며 "우리 플랫폼은 이를 효율적으로 구축할 수 있는 환경을 제공한다"고 설명했다. 해당 플랫폼은 모델 선택권과 벤더 종속성 완화도 지원한다. 레드햇은 허깅페이스 내 AI 레포지토리를 통해 여러 오픈소스 모델과 검증·최적화된 모델을 제공한다. 이를 통해 기업은 특정 클라우드·모델에 묶이지 않고 업무 목적과 비용, 보안, 데이터 주권 요구에 맞춰 적절한 모델을 선택할 수 있다. 가상거대언어모델(vLLM) 기반 고성능 추론과 분산 추론 역량도 플랫폼 핵심 기능이다. 레드햇은 vLLM을 활용해 LLM 응답 속도와 그래픽처리장치(GPU) 활용 효율을 높이고, 여러 GPU·노드·파드에 걸쳐 모델을 실행할 수 있는 분산 추론 환경을 제공한다. 그는 플랫폼이 기업 데이터를 AI 모델과 연결하는 통합 기능도 제공한다고 밝혔다. LLM은 기본적으로 기업 내부 데이터를 알지 못하기 때문에 실제 업무에 쓰려면 검색증강생성(RAG)을 비롯한 파인튜닝, 데이터 정렬 같은 과정이 필요하다. 그는 "해당 플랫폼은 데이터 수집·처리부터 합성 데이터 생성, 파인튜닝, 지속 학습 파이프라인, 모델 평가 기능을 제공한다"며 "기업 데이터와 AI 모델을 쉽게 연결할 수 있도록 돕는다"고 강조했다. 임 상무는 플랫폼이 에이전틱 AI 개발과 배포도 지원한다고 강조했다. 에이전트가 외부 도구를 호출하고 여러 에이전트가 협업해 업무 흐름을 실행하는 환경을 플랫폼 차원에서 제공한다는 것이다. 모델 컨텍스트 프로토콜(MCP)과 랭체인, 크루AI 등 개발 프레임워크를 연계해 개발자가 인프라보다 업무 로직과 애플리케이션 코드에 집중할 수 있도록 돕는다. 그는 AI 운영 관측성과 거버넌스도 강조했다. 에이전트가 어떤 모델과 외부 도구를 사용했는지, 사용량과 비용은 얼마나 발생했는지, 보안 정책은 제대로 적용됐는지 추적할 수 있어야 한다는 것이다. 임 상무는 "에이전틱 AI가 확산할수록 모델 배포뿐 아니라 모니터링, 평가, 보안, 비용 관리까지 포함한 전주기 운영 능력이 중요해질 것"이라며 "우리 플랫폼은 단순 AI 관리·운영만 지원하는 것을 넘어 안전한 환경·거버넌스 구축에도 효과적"이라고 말했다.
