• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
CES2026
스테이블코인
배터리
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'가상 서버'통합검색 결과 입니다. (2건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

"AI는 누구나 쓸 수 있어야"…레드햇이 제시하는 인프라 장벽 해결방안은?

인공지능(AI)은 이제 산업 전체를 바꾸는 거대한 흐름으로 자리잡고 있다. 하지만 많은 기업들은 아직 그 속도를 따라가지 못하고 있는 상황이다. AI 학습과 활용을 위한 그래픽처리장치(GPU)는 비싸고 전문 인력은 부족하다. 복잡한 모델과 배포 환경은 기술력을 갖춘 일부 기업만의 영역처럼 여겨지고 있다. 레드햇(Red Hat)은 이러한 문제를 해결하기 위한 방안으로 가상언어모델(vLLM)을 제시했다. 레드햇 브라이언 스티븐스 최고기술책임자(CTO)는 2일 여의도 레드햇코리아 사옥에서 "AI는 모든 기업이 활용해야 할 기술이지 일부 빅테크 기업의 전유물이 돼선 안 된다"며 "레드햇은 인프라 부담을 없애는 방식으로 AI의 대중화를 실현하려 한다"고 강조했다. 복잡한 인프라 없이도 AI활용… 오픈소스 기반 AI 플랫폼 'vLLM' 지난달 한국산업기술진흥협회가 연구개발(R&D) 조직을 보유한 국내 기업 1천479곳을 대상으로 '기업 AI 활용 실태'를 조사한 결과 전체 응답 기업의 76.9%가 'AI 도입이 필요하다'고 응답했다. 하지만 실제 업무에 활용하거나 도입을 검토하는 기업은 절반에도 못 미치고 있는 것으로 나타났다. 브라이언 스티븐스 CTO는 기업에 AI 도입이 어려운 이유로 그들이 처한 현실을 지적했다. 기술보다 환경의 문제라는 것이다. 그는 "많은 기업들이 AI를 써보려는 생각은 하지만 현실적인 장벽이 너무 많다"며 "GPU 가격은 너무 비싸고 엔비디아 스택은 배우기 어려우며 AI 엔지니어 확보 경쟁은 치열하다"고 설명했다. 이어 "지속되는 불황으로 투자 여유가 없는 상황에서 'AI는 각 기업에게 상관없는 기술'처럼 느껴지게 된다"고 밝혔다. 레드햇은 AI 활용을 위한 여러 장벽 중 가장 문제로 지적되는 인프라를 해결하기 위한 방안으로 vLLM을 선보이고 있다. vLLM은 오픈소스 기반의 AI 추론 서버 플랫폼이다. GPT 같은 대규모 언어모델(LLM)을 기업 내부 서버나 클라우드에서 구동할 수 있게 도와주는 소프트웨어(SW)다. 스티븐스 CTO는 vLLM을 서버나 클라우드를 운영하기 위한 핵심 운영체제(OS)인 리눅스(Linux)에 비유했다. 그는 "vLLM은 특정 하드웨어에 종속되지 않고 복잡한 설정 없이 모델을 실행할 수 있다"며 "엔비디아, AMD, 인텔 등 어떤 GPU든 상관을 뿐 아니라 AI 엔지니어가 아니어도 명령어 하나만 입력하면 모델을 구축하고 운영할 수 있다"고 설명했다. vLLM은 오픈소스 플랫폼 허깅페이스와 연동되며 사용자 친화적인 API와 관리 인터페이스도 제공한다. 중소기업도 서버 한두 대만 있으면 최신 AI 모델을 실행할 수 있으며 대기업은 데이터센터 단위로 확장 가능한 구조다. "GPU는 줄이고 속도는 4배로"…레드햇의 경량화 기법 레드햇이 vLLM을 통해 해결하고자 한 또 하나의 과제는 바로 AI 운영 효율성이다. 최근 LLM의 규모는 갈수록 커지고 있다. 자연어를 이해하고 생성하는 능력이 향상되면서 모델이 처리해야 할 데이터 양도 함께 늘어나고 있기 때문이다. 이렇게 모델이 커질수록 이를 실제로 돌리기 위해서는 고성능의 GPU가 더 많이 필요하고 메모리도 많이 차지한다는 점이다. 이로 인해 전력 소비와 장비 비용이 눈덩이처럼 커진다. 레드햇은 이 문제에 대한 해법으로 모델 경량화 기술인 '양자화(Quantization)'를 제시했다. 이는 AI 모델이 계산에 사용하는 숫자의 표현 단위를 줄여 연산 부담은 낮추면서도 결과의 정확도는 유지할 수 있도록 돕는 기술이다. 그는 "기존 AI 모델은 계산을 위해 소수점 네 자리 정도까지 표현할 수 있는 숫자 형식인 FP16을 사용한다"며 "이 방식은 GPU 메모리를 많이 차지하고 처리 속도도 느리다는 단점이 있다"고 지적했다. 이어 "레드햇은 이를 FP8이나 FP4처럼 절반 이하 수준의 더 간단한 형식으로 바꾸는 기술을 갖추고 있다"고 설명하며 "덕분에 모델 크기는 작아지고 연산 속도는 빨라진다. 실제로 처리 속도는 최대 4배까지 향상됐고 GPU 메모리 사용량도 크게 줄었다"고 소개했다. 레드햇은 'LLM 컴프레서'라는 자체 기술을 통해 이 양자화를 오픈소스로 공개했다. 이 덕분에 정확도는 99% 이상 유지하면서도 모델 경량화가 가능하다. 실제로 허깅페이스에서 매달 100만 건 이상 관련 모델이 다운로드되고 있다. "설정 없이 바로 쓴다"…기업을 위한 '완성형 AI 인프라' 이와 함께 레드햇은 오픈소스 기반의 vLLM과 양자화 기술을 한데 묶은 상용 서비스인 레드햇 AI 인퍼런스 서버도 출시했다. 이 제품은 AI 추론 서버를 기업이 실제 환경에서 바로 쓸 수 있도록 구성했다. vLLM 기반으로 기업에 최적화된 AI 모델, 양자화 도구, 보안 업데이트, 기업용 기술지원이 함께 제공된다. 레드햇 엔터프라이즈 리눅스(RHEL), 오픈시프트(OpenShift) 등 레드햇이 제공하는 서비스와 모두 호환되며 기술지원을 위한 서비스수준협약(SLA)도 제공한다. 그는 "오픈소스 vLLM이 개발자들을 위한 도구라면 인퍼런스 서버는 기업을 위한 완성된 제품"이라며 "컨테이너 형태로 제공돼 누구나 바로 배포하고 운영할 수 있는 것이 강점"이라고 강조했다. 이어 "AI는 더 이상 선택이 아닌 생존의 조건으로 지금은 복잡한 기술을 공부할 때가 아니라 우리 기업의 어디에 AI를 적용할지 고민해야 할 때"라며 "레드햇은 그 진입 장벽을 최대한 낮추기 위해 노력할 것"이라고 덧붙였다.

2025.07.02 10:59남혁우

모든 것이 디지털화 된 세상..."트래픽 관리가 돈”

디지털 전환은 더 이상 선택이 아닌 필수인 시대다. 온라인 플랫폼과 비대면 서비스가 일상이 되면서 기업들에게 '트래픽 관리'는 단순한 IT 기술 그 이상으로 자리잡았다. 이에 '얼마나 많은 고객을 플랫폼으로 유입시키느냐'가 기업의 성패를 좌우하는 시대가 됐다. 동시에 '몰려드는 트래픽을 얼마나 안정적으로 관리하느냐'도 핵심 과제가 됐다. 고속도로의 교통 체증을 관리하지 못하면 경제적 손실이 막대한 것처럼, 온라인 서비스 역시 트래픽 폭증에 대처하지 못하면 상상 이상의 비용을 치러야 하기 때문이다. 서버 폭증이나 외부 공격, 전산 오류 같은 시스템 장애, 즉 '다운타임'으로 인한 피해는 얼마나 될까. 시스코의 자회사 스플렁크가 글로벌 상위 2천대 대기업을 조사한 결과 '다운타임'으로 인한 손실은 연 평균 4천억 달러(577조원), 기업당 2억 달러(2천8백억원)에 이르는 것으로 조사됐다. 직접적 매출 손실이 기업당 평균 4천900만 달러로 가장 컸지만, 벌금·브랜드 이미지 하락·생산성 손실·인프라 비용·보험료 등 피해는 회사 운영의 모든 분야에서 발생했다. 급성장하는 가상대기실 시장, 그 이유는? 이 같은 피해를 막기 위해 등장한 솔루션이 가상대기실이다. 적은 비용으로 트래픽 폭증에 대비할 수 있다면 경제적으로도 엄청난 이득이기 때문이다. 전 세계 가상대기실 시장은 폭발적으로 성장하고 있다. 비즈니스 리서치 인사이트에 따르면, 2023년 가상 대기실 소프트웨어 시장 규모는 2억3천100만 달러였으며, 연평균 31.6% 성장해 2032년에는 27억3천400만 달러에 이를 것으로 전망된다. 글로벌 시장에선 아마존을 비롯한 대기업과 수많은 쟁쟁한 스타트업이 이 시장을 차지하기 위해 치열한 경쟁을 벌이고 있다. 국내 가상대기실 시장은 트래픽 관리에 일찌감치 매진해 온 에스티씨의 솔루션 '넷퍼넬'이 즏하고 있다. 명절 열차 승차권, 연말정산, 대학 수강신청 등 국내 3대 트래픽 폭주 문제를 해결했고 글로벌 톱5 가상대기실 솔루션에 선정되기도 했다. 넷퍼넬의 국내 시장 점유율은 97%에 이른다. 금융, 교육, 공공기관, 유통 등 다양한 산업 분야에서 기업 트래픽 문제를 해결해주고 있는 넷퍼넬의 성과를 보면 트래픽 관리는 가시적인 비용 절감으로 이어진다는 사실을 확인할 수 있다. 롯데이노베이트는 롯데건설의 온라인 청약 시스템에 넷퍼넬을 도입한 이후, 서버 다운 없이 안정적으로 청약을 마감하며 고객 민원이 크게 줄어 민원 대응 비용을 약 20% 절감하는 성과를 거뒀다. 쇼핑 플랫폼 SSG닷컴도 가상대기실 솔루션 도입으로 가장 중요한 목표였던 결제 시스템의 안정화와 함께 서버 증설 비용 20% 가까이 절감했다고 평가했다. 트래픽 관리, 비용 절감은 물론 매출 증대로 이어져 가상대기실 도입 이후 플랫폼 운영이 안정되면서 매출이 늘어난 사례도 많다. 11번가는 2021년 쇼킹딜 및 블랙 프라이데이 이벤트에 넷퍼넬을 적용해, 전년 대비 8배 이상의 트래픽을 처리했고, 일일 거래액은 전년 대비 2배 이상 늘었다. 자격시험을 주관하는 한국산업인력공단은 수많은 이용자들이 몰려 먹통이 되던 접수 서비스에 넷퍼넬을 도입했다. 이후 민원이 20% 감소하며 모니터링 리소스는 30% 절감됐고 매출이 30% 증대되는 결과를 얻었다. 지자체 기부를 돕는 고향사랑 e음은 잦은 서버 오류로 골머리를 앓았다. 전국 지자체 서비스를 한 사이트에 몰아 담다 보니 트래픽이 집중될 수밖에 없었던 탓이다. 넷퍼넬 도입 후 서버가 단 한 번도 다운되지 않았고, 이용자 수가 2.5배나 증가해 목표 모금액을 조기 달성하는 성과를 거뒀다. "경제적 측면보다 더 중요한 것은 기업 신뢰도" 서비스 안정은 매출과 비용이라는 측면 외에 기업 신뢰도를 좌우하는 중요한 요소다. 트래픽 관리에 실패하면 신뢰를 잃고 더 큰 위기에 빠지는 경우가 많다. 미국의 티켓 판매 플랫폼 티켓마스터는 2022년 11월 팝스타 테일러 스위프트의 '에라스 투어(Eras Tour)' 티켓을 예매하다 트래픽 폭주로 사흘 간 서버가 마비됐다. 트래픽의 70%가 매크로였다는 등 논란이 확산되면서 티켓마스터는 이듬해 초 미 상원 청문회에 불려 나갔다. 티켓마스터는 개선을 약속했지만 이후 비슷한 사태가 반복되면서 고객 신뢰는 점점 추락했다. 결국 미국 법무부는 지난해 5월 티켓마스터와 모기업인 라이브 네이션을 반독점법 위반 혐의로 기소했다. 2020년 3월 로빈후드 주식 거래 중단 사태도 있다. 주식 거래 플랫폼 로빈후드에서 하필 2020년 3월 2일 미국 주식 시장이 크게 반등한 날 트래픽 폭주로 거래가 중단되며 수많은 투자자들이 막대한 손실을 입었다. 로빈후드는 이 사건으로 미국 증권거래위원회(SEC)의 조사를 받았고 고객들에게 집단 소송을 당했다. 업계 관계자는 “서비스 안정은 곧 신뢰이고, 트래픽 관리는 곧 돈이자 경쟁력”이라면서 “이제 기업은 안정적인 서비스를 확보하며 성장의 발판을 마련해야 한다”고 말했다. 이어 “트래픽 관리는 단순한 기술적 문제가 아니며, 선택이 아닌 필수다. 단 3초만 늦어도 사용자는 떠나버린다”며 “결국 우리 사이트는 믿고 쓸 만하다는 확신을 주는 것이 경쟁력과 매출을 결정짓는 열쇠”라고 덧붙였다.

2025.02.18 08:52백봉삼

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

눈앞으로 다가온 '피지컬 AI'…CES 2026이 증명했다

[ZD브리핑] 국가대표 AI 1차 탈락팀 발표 예정...새해 행사·정책 일정 잇따라

인텔, 아크 B390 성능 공개 "노트북용 별도 GPU 필요없다"

[르포] 폭설에 얼어붙는 도시…전기차 보기 힘든 홋카이도 가다

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.