• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
AI페스타
배터리
양자컴퓨팅
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'vLLM'통합검색 결과 입니다. (4건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

레드햇이 AI 시대 오픈소스 철학으로 경쟁력 확보한 비결

"인공지능(AI) 시대에도 우리 오픈소스 철학은 변하지 않습니다. 누구나 어떤 환경에서도 자유롭게 AI를 개발하게 돕는 것이 목표입니다. 고객이 원하는 AI 모델과 액셀러레이터, 클라우드 환경을 효율적으로 구축하기 위해 노력하고 있습니다. AI 산업에서 경쟁보다 협력을 앞세워 안전하고 효율적인 개발 생태계 구축에 힘쓰겠습니다." 레드햇 프렘 파반 동남아시아·한국(SEAK) 총괄 부사장은 최근 지디넷코리아를 만나 오픈소스 기반 AI 비전을 이같이 밝혔다. 파반 부사장은 한국을 포함해 싱가포르, 말레이시아, 태국, 인도네시아, 베트남, 필리핀 시장을 담당하고 있다. 이 외 소규모 시장까지 합치면 총 11개국 사업을 책임지고 있다. '레드햇 AI' 전략으로 경쟁력 확보…글로벌 파트너십 강화 레드햇은 오픈소스 철학을 바탕으로 레드햇 AI 전략을 추진하고 있다. 가장 대표 사례는 뉴럴매직 인수와 '레드햇 AI 인퍼런스 서버' 개발 등이다. 이를 통해 고객사가 원하는 모델과 가속기, 클라우드 환경에서 자유롭게 AI를 개발할 수 있게 돕는다. 현재 뉴럴매직은 레드햇의 가상거대언어모델(vLLM) 핵심축으로 알려졌다. vLLM은 거대언어모델(LLM) 추론 성능을 끌어올리는 오픈소스 추론 엔진 역할을 한다. 메모리 관리와 병렬 처리 기술을 통해 그래픽처리장치(GPU) 자원 효율성을 높이도록 설계됐다. 레드햇은 이번 인수를 통해 뉴럴매직의 vLLM 최적화 기술을 레드햇 AI 인퍼런스 서버와 '오픈시프트AI' 플랫폼에 통합했다. 이를 통해 고객들이 어떤 환경에서도 안정적이고 비용효율적인 AI 개발·활용이 가능한 환경을 구현한 셈이다. 파반 부사장은 "우리는 단순히 학습된 모델을 그대로 서비스하는 수준을 넘어섰다"며 "연산 구조를 압축하거나 필요 없는 파라미터를 줄여 추론 속도를 높여 자원 소모를 줄이는 기술을 확보하게 된 것"이라고 강조했다. 이어 "vLLM 기반으로 기업 고객이 더 적은 자원으로 더 많은 AI 워크로드를 실행할 수 있도록 지원할 수 있다"고 덧붙였다. 파반 부사장은 레드햇 AI 전략만으로 AI 산업 경쟁력을 확보할 수 없다고 주장했다. 현재 AI 기술을 통한 경쟁보다는 협력이 우선이라는 설명이다. 그는 "AI 산업은 특정 기업의 독점 영역이 아니다"며 "업계 전체가 AI를 안전하고 효율적인 방향으로 키워야 한다"고 강조했다. 실제 레드햇은 글로벌 기업와 AI 연합을 추진하고 있다. 대표 예시가 오픈소스 프로젝트 'llm-d' 출범이다. 여기에 구글클라우드를 비롯한 IBM리서치, 엔비디아, 코어위브가 초기 멤버로 참여했다. 이후 시스코와 허깅페이스, 인텔, 미스트랄AI가 파트너사로 합류했다. llm-d는 vLLM 기반 추론을 분산형으로 확장하는 오픈소스 프로젝트다. 쿠버네티스 기반 인프라를 비롯한 GPU·CPU 자원 최적화, AI-aware 라우팅 등 추론 기술을 통합한 생태계 구축을 목표로 한다. 파반 부사장은 "오픈소스는 단순한 코드 공개가 아니라 커뮤니티·기업·생태계가 신뢰할 수 있는 표준을 만드는 과정"이라며 "우리는 AI 혁신을 안정성과 보안성으로 연결해 엔터프라이즈급 가치를 제공한다"고 강조했다. "한국, AI로 돈 벌기 시작…AI 네이티브로 가야" 파반 부사장은 한국 시장이 아시아에서 우수한 AI 성숙도를 갖췄다고 평가했다. AI 기술 검증(PoC) 단계를 넘어 실제 운영 환경에서 AI를 돈 버는 수단으로 활용하기 시작했다는 이유에서다. 그는 "한국 고객은 특히 GPU 투자 대비 효율성과 추론 비용 최적화, 모델 운영 환경 안정성 등 현실적 과제까지 논의하기 시작했다"며 "어떤 AI 모델을 업무에 활용해야 하는지에 대한 기초 논의를 넘어선 수준"이라고 말했다. 파반 부사장은 아시아 기업들이 AI 네이티브 기업으로 도약하기 위해 갖춰야 할 세 가지 요건으로 데이터와 문화, 스케일을 꼽았다. 기업이 AI를 통해 장기적이고 지속 가능한 성과를 내려면 이 세 가지 균형을 반드시 이뤄야 한다고 재차 강조했다. 그는 "AI 전략을 논의하기 전 가장 먼저 점검해야 할 것은 데이터 품질과 구조화"라며 "사일로 없는 데이터 플랫폼이 구축돼야 기업 전체가 AI 혁신을 추진할 수 있다"고 설명했다. 파반 부사장은 AI 네이티브 문화도 필요하다고 봤다. 경영진이 AI 네이티브에 대한 강력한 의지가 없다면 AI는 단순한 실험으로 끝날 수밖에 없다는 이유에서다. 조직 전체가 AI 활용 문화를 공유하고 뿌리내려야만 AI 성과를 낼 수 있다고 밝혔다. 그는 스케일 전략도 중요하다고 내다봤다. 그는 "작은 성공에 만족하지 말고 장기적 AI 확장을 준비해야 한다"고 말했다. 이어 "앞으로 기업 내 유스케이스가 폭발적으로 늘어나기 때문에 이를 감당할 수 있는 인프라와 전략을 미리 갖추는 것이 필수"라고 덧붙였다.

2025.09.01 10:31김미정

"AI는 누구나 쓸 수 있어야"…레드햇이 제시하는 인프라 장벽 해결방안은?

인공지능(AI)은 이제 산업 전체를 바꾸는 거대한 흐름으로 자리잡고 있다. 하지만 많은 기업들은 아직 그 속도를 따라가지 못하고 있는 상황이다. AI 학습과 활용을 위한 그래픽처리장치(GPU)는 비싸고 전문 인력은 부족하다. 복잡한 모델과 배포 환경은 기술력을 갖춘 일부 기업만의 영역처럼 여겨지고 있다. 레드햇(Red Hat)은 이러한 문제를 해결하기 위한 방안으로 가상언어모델(vLLM)을 제시했다. 레드햇 브라이언 스티븐스 최고기술책임자(CTO)는 2일 여의도 레드햇코리아 사옥에서 "AI는 모든 기업이 활용해야 할 기술이지 일부 빅테크 기업의 전유물이 돼선 안 된다"며 "레드햇은 인프라 부담을 없애는 방식으로 AI의 대중화를 실현하려 한다"고 강조했다. 복잡한 인프라 없이도 AI활용… 오픈소스 기반 AI 플랫폼 'vLLM' 지난달 한국산업기술진흥협회가 연구개발(R&D) 조직을 보유한 국내 기업 1천479곳을 대상으로 '기업 AI 활용 실태'를 조사한 결과 전체 응답 기업의 76.9%가 'AI 도입이 필요하다'고 응답했다. 하지만 실제 업무에 활용하거나 도입을 검토하는 기업은 절반에도 못 미치고 있는 것으로 나타났다. 브라이언 스티븐스 CTO는 기업에 AI 도입이 어려운 이유로 그들이 처한 현실을 지적했다. 기술보다 환경의 문제라는 것이다. 그는 "많은 기업들이 AI를 써보려는 생각은 하지만 현실적인 장벽이 너무 많다"며 "GPU 가격은 너무 비싸고 엔비디아 스택은 배우기 어려우며 AI 엔지니어 확보 경쟁은 치열하다"고 설명했다. 이어 "지속되는 불황으로 투자 여유가 없는 상황에서 'AI는 각 기업에게 상관없는 기술'처럼 느껴지게 된다"고 밝혔다. 레드햇은 AI 활용을 위한 여러 장벽 중 가장 문제로 지적되는 인프라를 해결하기 위한 방안으로 vLLM을 선보이고 있다. vLLM은 오픈소스 기반의 AI 추론 서버 플랫폼이다. GPT 같은 대규모 언어모델(LLM)을 기업 내부 서버나 클라우드에서 구동할 수 있게 도와주는 소프트웨어(SW)다. 스티븐스 CTO는 vLLM을 서버나 클라우드를 운영하기 위한 핵심 운영체제(OS)인 리눅스(Linux)에 비유했다. 그는 "vLLM은 특정 하드웨어에 종속되지 않고 복잡한 설정 없이 모델을 실행할 수 있다"며 "엔비디아, AMD, 인텔 등 어떤 GPU든 상관을 뿐 아니라 AI 엔지니어가 아니어도 명령어 하나만 입력하면 모델을 구축하고 운영할 수 있다"고 설명했다. vLLM은 오픈소스 플랫폼 허깅페이스와 연동되며 사용자 친화적인 API와 관리 인터페이스도 제공한다. 중소기업도 서버 한두 대만 있으면 최신 AI 모델을 실행할 수 있으며 대기업은 데이터센터 단위로 확장 가능한 구조다. "GPU는 줄이고 속도는 4배로"…레드햇의 경량화 기법 레드햇이 vLLM을 통해 해결하고자 한 또 하나의 과제는 바로 AI 운영 효율성이다. 최근 LLM의 규모는 갈수록 커지고 있다. 자연어를 이해하고 생성하는 능력이 향상되면서 모델이 처리해야 할 데이터 양도 함께 늘어나고 있기 때문이다. 이렇게 모델이 커질수록 이를 실제로 돌리기 위해서는 고성능의 GPU가 더 많이 필요하고 메모리도 많이 차지한다는 점이다. 이로 인해 전력 소비와 장비 비용이 눈덩이처럼 커진다. 레드햇은 이 문제에 대한 해법으로 모델 경량화 기술인 '양자화(Quantization)'를 제시했다. 이는 AI 모델이 계산에 사용하는 숫자의 표현 단위를 줄여 연산 부담은 낮추면서도 결과의 정확도는 유지할 수 있도록 돕는 기술이다. 그는 "기존 AI 모델은 계산을 위해 소수점 네 자리 정도까지 표현할 수 있는 숫자 형식인 FP16을 사용한다"며 "이 방식은 GPU 메모리를 많이 차지하고 처리 속도도 느리다는 단점이 있다"고 지적했다. 이어 "레드햇은 이를 FP8이나 FP4처럼 절반 이하 수준의 더 간단한 형식으로 바꾸는 기술을 갖추고 있다"고 설명하며 "덕분에 모델 크기는 작아지고 연산 속도는 빨라진다. 실제로 처리 속도는 최대 4배까지 향상됐고 GPU 메모리 사용량도 크게 줄었다"고 소개했다. 레드햇은 'LLM 컴프레서'라는 자체 기술을 통해 이 양자화를 오픈소스로 공개했다. 이 덕분에 정확도는 99% 이상 유지하면서도 모델 경량화가 가능하다. 실제로 허깅페이스에서 매달 100만 건 이상 관련 모델이 다운로드되고 있다. "설정 없이 바로 쓴다"…기업을 위한 '완성형 AI 인프라' 이와 함께 레드햇은 오픈소스 기반의 vLLM과 양자화 기술을 한데 묶은 상용 서비스인 레드햇 AI 인퍼런스 서버도 출시했다. 이 제품은 AI 추론 서버를 기업이 실제 환경에서 바로 쓸 수 있도록 구성했다. vLLM 기반으로 기업에 최적화된 AI 모델, 양자화 도구, 보안 업데이트, 기업용 기술지원이 함께 제공된다. 레드햇 엔터프라이즈 리눅스(RHEL), 오픈시프트(OpenShift) 등 레드햇이 제공하는 서비스와 모두 호환되며 기술지원을 위한 서비스수준협약(SLA)도 제공한다. 그는 "오픈소스 vLLM이 개발자들을 위한 도구라면 인퍼런스 서버는 기업을 위한 완성된 제품"이라며 "컨테이너 형태로 제공돼 누구나 바로 배포하고 운영할 수 있는 것이 강점"이라고 강조했다. 이어 "AI는 더 이상 선택이 아닌 생존의 조건으로 지금은 복잡한 기술을 공부할 때가 아니라 우리 기업의 어디에 AI를 적용할지 고민해야 할 때"라며 "레드햇은 그 진입 장벽을 최대한 낮추기 위해 노력할 것"이라고 덧붙였다.

2025.07.02 10:59남혁우

레드햇 "높은 AI 비용 장벽, 오픈 플랫폼으로 해결"

"기업의 생성형 인공지능(AI) 도입을 여전히 가로막는 장애물은 고비용과 복잡성, 유연성 부족입니다. 이를 해결하려면 누구나 쉽게 모델을 최적화할 수 있는 오픈 플랫폼이 필요합니다. 비용 절감을 위한 경량화 기술, 멀티 클라우드 환경을 아우르는 유연한 배포 체계도 필수입니다." 한국레드햇 유혁 테크세일즈팀 상무는 5일 지디넷코리아가 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 '컨버전스 인사이트 서밋(CIS) 2025'에서 'AI의 대중화를 넘어, 비용효율적 AI로'를 주제로 이같이 밝혔다. 유 상무는 "복잡한 튜닝 프로세스와 높은 추론 비용, 인프라 유연성 부족이 기업의 AI 확산을 가로막고 있다"며 "특히 비전문가가 기업 데이터로 AI 모델을 맞춤화하는 데 겪는 어려움이 크다"고 진단했다. 유 상무는 AI 도입 비용 절감 전략으로 뉴럴매직을 통한 가상거대언어모델(vLLM) 기반 추론 최적화를 제시했다. 그는 "메타의 라마 같은 모델을 FP16이나 FP8 같은 간소한 형식으로 압축하면, 메모리 사용량과 응답 시간을 줄이면서도 정확도를 유지할 수 있다"고 설명했다. 그러면서 "실제 AI 챗봇·상품 리뷰 요약 서비스 사례에서 vLLM을 통해 약 40%의 비용 절감 효과를 거뒀다"고 덧붙였다. 레드햇은 이에 대한 해법으로 복잡성 대응 전략을 내세웠다. 핵심은 '그래닛(Granite)' 모델과 '인스트럭트랩(InstructLab)' 툴이다. 그래닛은 특정 도메인에 최적화된 오픈소스 고성능 모델이다. 기업이 프라이빗 데이터를 기반으로 신뢰성 있게 활용할 수 있도록 설계됐다. 인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. 챗봇 성능 향상을 위한 대규모 정렬(LAB) 방식인 '교사–비평자–학생' 구조로 이뤄진 자동 튜닝의 데이터 생성과 자동 튜닝으로 모델을 훈련한다. 이는 '오픈시프트 AI'와 '레드햇 엔터프라이즈 리눅스(RHEL) AI'와 연계돼 단일 서버부터 클러스터 환경까지 이용 가능하다. 레드햇은 유연성 확보를 위한 방안으로 '레드햇 오픈시프트 AI(RHOAI)' 기반 하이브리드 전략을 설명했다. 해당 플랫폼은 프라이빗 클라우드와 퍼블릭 클라우드, 엣지 등 다양한 환경에 맞게 AI 앱과 모델을 배포할 수 있게 돕는다. 이 플랫폼은 데이터 현지화와 규제 대응, 저지연 추론 처리 등도 지원한다. 또 ML옵스 기반 자동화된 모델 생애주기 관리, 재학습, 편향 탐지까지 가능하다는 설명이다. 유 상무는 "AI 도입은 단순히 모델 하나를 도입하는 것이 아니라, 학습·추론·앱 통합까지 전체 라이프사이클을 관리할 수 있어야 진정한 효과를 볼 수 있다"며 "우리는 오픈소스 기반 전략을 통해 이를 효율적으로 실현할 수 있다"고 말했다.

2025.06.05 13:53김미정

코오롱베니트, 리벨리온 손 잡고 'AI 비즈니스 생태계' 확장 본격화

코오롱베니트가 자체 개발한 안전 관제 시스템 '인공지능(AI) 비전 인텔리전스'로 AI 비즈니스 생태계 확장에 본격 나섰다. 국내 AI 반도체(NPU) 전문 기업 리벨리온과의 협업을 통해 건설 현장에 특화한 LLM(거대 언어 모델, Large Language Model) 기술을 고도화함으로써 코오롱글로벌 실제 건설 현장에 'AI 비전 인텔리전스'를 적용한 것이다. 코오롱베니트는 'AI 비전 인텔리전스' 고도화를 위한 최종 개념검증(PoC) 작업을 코오롱베니트·코오롱글로벌·리벨리온·위시 4사가 컨소시엄 형태로 진행했다고 21일 밝혔다. 코오롱베니트는 건설 환경에 최적화된 안전 관제 시스템을 만들기 위해 방대한 코오롱글로벌 건설 현장 데이터를 정제해 멀티(시각+언어) 구조의 AI 모델을 완성했다. 이 작업은 코오롱글로벌이 제공한 CCTV 영상과 건설 현장 운영 데이터 기반의 현장 맞춤형 기능 요구사항 수립과 시스템 점검을 바탕으로 이뤄졌다. 리벨리온은 자체 AI 반도체 아톰(ATOM)으로 NPU(Neural Processing Unit, 신경망처리장치) 기반의 CCTV 관제 서버 및 기술을 구성했다. 위시는 시각(Vision)과 언어(LLM) 정보를 동시에 출력하는 현장 CCTV 안전 관제 모니터링 솔루션을 제공했다. 이번 'AI 비전 인텔리전스' 프로젝트는 국내 AI 선도 기업과의 협력을 통해 기술력을 대폭 높인 점이 특별하다. 코오롱베니트는 국내 대표 AI 반도체 기업 리벨리온과 함께 GPU·NPU를 동시 활용하는 이종 반도체 기반 AI CCTV 안전 관제 시스템을 완성했다. 코오롱베니트 AI 솔루션센터의 GPU(Graphic Processing Unit, 그래픽처리장치)로 실제 현장의 데이터를 학습한 뒤 이를 리벨리온 AI 반도체가 적용된 NPU 서버로 배포해 추론력을 더 강화하는 방식이다. 이로 인해 현장에서 탐지된 위험 상황 설명이 훨씬 더 구체적이고 정교화됐다. 'AI 비전 인텔리전스'는 건설 현장의 ▲안전모 미착용 ▲위험구역 진입 ▲신호수 배치유무 ▲중장비 접근 등의 사고 예방율을 크게 높일 것으로 전망된다. 코오롱베니트가 개발한 건설 현장에서 탐지된 시각적인 위험 정보를 더 정교화된 언어적 알림 문구로 바꾸는 멀티 모델의 효과다. 이 모델은 기존 대비 처리 속도가 높은 고성능 라이브러리 vLLM(Versatile Large Language Model)을 사용해 LLM 추론 성능을 극대화했다. 코오롱베니트는 독자 개발 안전 관제 시스템 'AI 비전 인텔리전스'를 사업화해 AI 활용을 대중화하는 'AI 엑셀러레이션 서비스' 사업 성장 계기를 마련할 계획이다. 코오롱베니트 AI R&D(연구개발) 부문은 텍스트·이미지·음성 등을 동시 처리하는 '멀티모달 AI 서비스' 출시를 목표로 다양한 산업에 특화한 AI 기술을 개발하고 있다. 코오롱베니트에서 AI 관련 기술 개발을 담당하는 이승재 AI R&D팀장은 "우리는 고객의 사업 효율과 편의성을 극대화하는 AI 기술을 대중화하고 기업의 비즈니스 혁신성을 높이는 신사업 분야를 개척하고 있다"며 "우수한 기술력을 가진 국내 선도 기업들과 기술력을 연계해 AI 비즈니스 생태계를 확장해 나가겠다"고 밝혔다.

2025.04.21 11:19장유미

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

'AI페스타'서 확인한 한국 AI 파워…"세계 최고 향해 뛰자"

차세대 'K배터리' 성패 가를 정책 포인트 두가지

최우혁 과기정통부 국장 "AI기술 확산, 보안 패러다임 전환 가속화"

오픈AI "韓 소버린 AI는 경쟁 아닌 파트너십…AI G3 도약 함께할 것"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.