검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'vLLM'통합검색 결과 입니다. (3건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"AI는 누구나 쓸 수 있어야"…레드햇이 제시하는 인프라 장벽 해결방안은?

인공지능(AI)은 이제 산업 전체를 바꾸는 거대한 흐름으로 자리잡고 있다. 하지만 많은 기업들은 아직 그 속도를 따라가지 못하고 있는 상황이다. AI 학습과 활용을 위한 그래픽처리장치(GPU)는 비싸고 전문 인력은 부족하다. 복잡한 모델과 배포 환경은 기술력을 갖춘 일부 기업만의 영역처럼 여겨지고 있다. 레드햇(Red Hat)은 이러한 문제를 해결하기 위한 방안으로 가상언어모델(vLLM)을 제시했다. 레드햇 브라이언 스티븐스 최고기술책임자(CTO)는 2일 여의도 레드햇코리아 사옥에서 "AI는 모든 기업이 활용해야 할 기술이지 일부 빅테크 기업의 전유물이 돼선 안 된다"며 "레드햇은 인프라 부담을 없애는 방식으로 AI의 대중화를 실현하려 한다"고 강조했다. 복잡한 인프라 없이도 AI활용… 오픈소스 기반 AI 플랫폼 'vLLM' 지난달 한국산업기술진흥협회가 연구개발(R&D) 조직을 보유한 국내 기업 1천479곳을 대상으로 '기업 AI 활용 실태'를 조사한 결과 전체 응답 기업의 76.9%가 'AI 도입이 필요하다'고 응답했다. 하지만 실제 업무에 활용하거나 도입을 검토하는 기업은 절반에도 못 미치고 있는 것으로 나타났다. 브라이언 스티븐스 CTO는 기업에 AI 도입이 어려운 이유로 그들이 처한 현실을 지적했다. 기술보다 환경의 문제라는 것이다. 그는 "많은 기업들이 AI를 써보려는 생각은 하지만 현실적인 장벽이 너무 많다"며 "GPU 가격은 너무 비싸고 엔비디아 스택은 배우기 어려우며 AI 엔지니어 확보 경쟁은 치열하다"고 설명했다. 이어 "지속되는 불황으로 투자 여유가 없는 상황에서 'AI는 각 기업에게 상관없는 기술'처럼 느껴지게 된다"고 밝혔다. 레드햇은 AI 활용을 위한 여러 장벽 중 가장 문제로 지적되는 인프라를 해결하기 위한 방안으로 vLLM을 선보이고 있다. vLLM은 오픈소스 기반의 AI 추론 서버 플랫폼이다. GPT 같은 대규모 언어모델(LLM)을 기업 내부 서버나 클라우드에서 구동할 수 있게 도와주는 소프트웨어(SW)다. 스티븐스 CTO는 vLLM을 서버나 클라우드를 운영하기 위한 핵심 운영체제(OS)인 리눅스(Linux)에 비유했다. 그는 "vLLM은 특정 하드웨어에 종속되지 않고 복잡한 설정 없이 모델을 실행할 수 있다"며 "엔비디아, AMD, 인텔 등 어떤 GPU든 상관을 뿐 아니라 AI 엔지니어가 아니어도 명령어 하나만 입력하면 모델을 구축하고 운영할 수 있다"고 설명했다. vLLM은 오픈소스 플랫폼 허깅페이스와 연동되며 사용자 친화적인 API와 관리 인터페이스도 제공한다. 중소기업도 서버 한두 대만 있으면 최신 AI 모델을 실행할 수 있으며 대기업은 데이터센터 단위로 확장 가능한 구조다. "GPU는 줄이고 속도는 4배로"…레드햇의 경량화 기법 레드햇이 vLLM을 통해 해결하고자 한 또 하나의 과제는 바로 AI 운영 효율성이다. 최근 LLM의 규모는 갈수록 커지고 있다. 자연어를 이해하고 생성하는 능력이 향상되면서 모델이 처리해야 할 데이터 양도 함께 늘어나고 있기 때문이다. 이렇게 모델이 커질수록 이를 실제로 돌리기 위해서는 고성능의 GPU가 더 많이 필요하고 메모리도 많이 차지한다는 점이다. 이로 인해 전력 소비와 장비 비용이 눈덩이처럼 커진다. 레드햇은 이 문제에 대한 해법으로 모델 경량화 기술인 '양자화(Quantization)'를 제시했다. 이는 AI 모델이 계산에 사용하는 숫자의 표현 단위를 줄여 연산 부담은 낮추면서도 결과의 정확도는 유지할 수 있도록 돕는 기술이다. 그는 "기존 AI 모델은 계산을 위해 소수점 네 자리 정도까지 표현할 수 있는 숫자 형식인 FP16을 사용한다"며 "이 방식은 GPU 메모리를 많이 차지하고 처리 속도도 느리다는 단점이 있다"고 지적했다. 이어 "레드햇은 이를 FP8이나 FP4처럼 절반 이하 수준의 더 간단한 형식으로 바꾸는 기술을 갖추고 있다"고 설명하며 "덕분에 모델 크기는 작아지고 연산 속도는 빨라진다. 실제로 처리 속도는 최대 4배까지 향상됐고 GPU 메모리 사용량도 크게 줄었다"고 소개했다. 레드햇은 'LLM 컴프레서'라는 자체 기술을 통해 이 양자화를 오픈소스로 공개했다. 이 덕분에 정확도는 99% 이상 유지하면서도 모델 경량화가 가능하다. 실제로 허깅페이스에서 매달 100만 건 이상 관련 모델이 다운로드되고 있다. "설정 없이 바로 쓴다"…기업을 위한 '완성형 AI 인프라' 이와 함께 레드햇은 오픈소스 기반의 vLLM과 양자화 기술을 한데 묶은 상용 서비스인 레드햇 AI 인퍼런스 서버도 출시했다. 이 제품은 AI 추론 서버를 기업이 실제 환경에서 바로 쓸 수 있도록 구성했다. vLLM 기반으로 기업에 최적화된 AI 모델, 양자화 도구, 보안 업데이트, 기업용 기술지원이 함께 제공된다. 레드햇 엔터프라이즈 리눅스(RHEL), 오픈시프트(OpenShift) 등 레드햇이 제공하는 서비스와 모두 호환되며 기술지원을 위한 서비스수준협약(SLA)도 제공한다. 그는 "오픈소스 vLLM이 개발자들을 위한 도구라면 인퍼런스 서버는 기업을 위한 완성된 제품"이라며 "컨테이너 형태로 제공돼 누구나 바로 배포하고 운영할 수 있는 것이 강점"이라고 강조했다. 이어 "AI는 더 이상 선택이 아닌 생존의 조건으로 지금은 복잡한 기술을 공부할 때가 아니라 우리 기업의 어디에 AI를 적용할지 고민해야 할 때"라며 "레드햇은 그 진입 장벽을 최대한 낮추기 위해 노력할 것"이라고 덧붙였다.

2025.07.02 10:59남혁우

레드햇 "높은 AI 비용 장벽, 오픈 플랫폼으로 해결"

"기업의 생성형 인공지능(AI) 도입을 여전히 가로막는 장애물은 고비용과 복잡성, 유연성 부족입니다. 이를 해결하려면 누구나 쉽게 모델을 최적화할 수 있는 오픈 플랫폼이 필요합니다. 비용 절감을 위한 경량화 기술, 멀티 클라우드 환경을 아우르는 유연한 배포 체계도 필수입니다." 한국레드햇 유혁 테크세일즈팀 상무는 5일 지디넷코리아가 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 '컨버전스 인사이트 서밋(CIS) 2025'에서 'AI의 대중화를 넘어, 비용효율적 AI로'를 주제로 이같이 밝혔다. 유 상무는 "복잡한 튜닝 프로세스와 높은 추론 비용, 인프라 유연성 부족이 기업의 AI 확산을 가로막고 있다"며 "특히 비전문가가 기업 데이터로 AI 모델을 맞춤화하는 데 겪는 어려움이 크다"고 진단했다. 유 상무는 AI 도입 비용 절감 전략으로 뉴럴매직을 통한 가상거대언어모델(vLLM) 기반 추론 최적화를 제시했다. 그는 "메타의 라마 같은 모델을 FP16이나 FP8 같은 간소한 형식으로 압축하면, 메모리 사용량과 응답 시간을 줄이면서도 정확도를 유지할 수 있다"고 설명했다. 그러면서 "실제 AI 챗봇·상품 리뷰 요약 서비스 사례에서 vLLM을 통해 약 40%의 비용 절감 효과를 거뒀다"고 덧붙였다. 레드햇은 이에 대한 해법으로 복잡성 대응 전략을 내세웠다. 핵심은 '그래닛(Granite)' 모델과 '인스트럭트랩(InstructLab)' 툴이다. 그래닛은 특정 도메인에 최적화된 오픈소스 고성능 모델이다. 기업이 프라이빗 데이터를 기반으로 신뢰성 있게 활용할 수 있도록 설계됐다. 인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. 챗봇 성능 향상을 위한 대규모 정렬(LAB) 방식인 '교사–비평자–학생' 구조로 이뤄진 자동 튜닝의 데이터 생성과 자동 튜닝으로 모델을 훈련한다. 이는 '오픈시프트 AI'와 '레드햇 엔터프라이즈 리눅스(RHEL) AI'와 연계돼 단일 서버부터 클러스터 환경까지 이용 가능하다. 레드햇은 유연성 확보를 위한 방안으로 '레드햇 오픈시프트 AI(RHOAI)' 기반 하이브리드 전략을 설명했다. 해당 플랫폼은 프라이빗 클라우드와 퍼블릭 클라우드, 엣지 등 다양한 환경에 맞게 AI 앱과 모델을 배포할 수 있게 돕는다. 이 플랫폼은 데이터 현지화와 규제 대응, 저지연 추론 처리 등도 지원한다. 또 ML옵스 기반 자동화된 모델 생애주기 관리, 재학습, 편향 탐지까지 가능하다는 설명이다. 유 상무는 "AI 도입은 단순히 모델 하나를 도입하는 것이 아니라, 학습·추론·앱 통합까지 전체 라이프사이클을 관리할 수 있어야 진정한 효과를 볼 수 있다"며 "우리는 오픈소스 기반 전략을 통해 이를 효율적으로 실현할 수 있다"고 말했다.

2025.06.05 13:53김미정

코오롱베니트, 리벨리온 손 잡고 'AI 비즈니스 생태계' 확장 본격화

코오롱베니트가 자체 개발한 안전 관제 시스템 '인공지능(AI) 비전 인텔리전스'로 AI 비즈니스 생태계 확장에 본격 나섰다. 국내 AI 반도체(NPU) 전문 기업 리벨리온과의 협업을 통해 건설 현장에 특화한 LLM(거대 언어 모델, Large Language Model) 기술을 고도화함으로써 코오롱글로벌 실제 건설 현장에 'AI 비전 인텔리전스'를 적용한 것이다. 코오롱베니트는 'AI 비전 인텔리전스' 고도화를 위한 최종 개념검증(PoC) 작업을 코오롱베니트·코오롱글로벌·리벨리온·위시 4사가 컨소시엄 형태로 진행했다고 21일 밝혔다. 코오롱베니트는 건설 환경에 최적화된 안전 관제 시스템을 만들기 위해 방대한 코오롱글로벌 건설 현장 데이터를 정제해 멀티(시각+언어) 구조의 AI 모델을 완성했다. 이 작업은 코오롱글로벌이 제공한 CCTV 영상과 건설 현장 운영 데이터 기반의 현장 맞춤형 기능 요구사항 수립과 시스템 점검을 바탕으로 이뤄졌다. 리벨리온은 자체 AI 반도체 아톰(ATOM)으로 NPU(Neural Processing Unit, 신경망처리장치) 기반의 CCTV 관제 서버 및 기술을 구성했다. 위시는 시각(Vision)과 언어(LLM) 정보를 동시에 출력하는 현장 CCTV 안전 관제 모니터링 솔루션을 제공했다. 이번 'AI 비전 인텔리전스' 프로젝트는 국내 AI 선도 기업과의 협력을 통해 기술력을 대폭 높인 점이 특별하다. 코오롱베니트는 국내 대표 AI 반도체 기업 리벨리온과 함께 GPU·NPU를 동시 활용하는 이종 반도체 기반 AI CCTV 안전 관제 시스템을 완성했다. 코오롱베니트 AI 솔루션센터의 GPU(Graphic Processing Unit, 그래픽처리장치)로 실제 현장의 데이터를 학습한 뒤 이를 리벨리온 AI 반도체가 적용된 NPU 서버로 배포해 추론력을 더 강화하는 방식이다. 이로 인해 현장에서 탐지된 위험 상황 설명이 훨씬 더 구체적이고 정교화됐다. 'AI 비전 인텔리전스'는 건설 현장의 ▲안전모 미착용 ▲위험구역 진입 ▲신호수 배치유무 ▲중장비 접근 등의 사고 예방율을 크게 높일 것으로 전망된다. 코오롱베니트가 개발한 건설 현장에서 탐지된 시각적인 위험 정보를 더 정교화된 언어적 알림 문구로 바꾸는 멀티 모델의 효과다. 이 모델은 기존 대비 처리 속도가 높은 고성능 라이브러리 vLLM(Versatile Large Language Model)을 사용해 LLM 추론 성능을 극대화했다. 코오롱베니트는 독자 개발 안전 관제 시스템 'AI 비전 인텔리전스'를 사업화해 AI 활용을 대중화하는 'AI 엑셀러레이션 서비스' 사업 성장 계기를 마련할 계획이다. 코오롱베니트 AI R&D(연구개발) 부문은 텍스트·이미지·음성 등을 동시 처리하는 '멀티모달 AI 서비스' 출시를 목표로 다양한 산업에 특화한 AI 기술을 개발하고 있다. 코오롱베니트에서 AI 관련 기술 개발을 담당하는 이승재 AI R&D팀장은 "우리는 고객의 사업 효율과 편의성을 극대화하는 AI 기술을 대중화하고 기업의 비즈니스 혁신성을 높이는 신사업 분야를 개척하고 있다"며 "우수한 기술력을 가진 국내 선도 기업들과 기술력을 연계해 AI 비즈니스 생태계를 확장해 나가겠다"고 밝혔다.

2025.04.21 11:19장유미