AWS, 엔비디아 H100 GPU 선불 예약제 출시

아마존웹서비스(AWS)가 인공지능(AI) 인프라의 핵심인 엔비디아 GPU를 간단하게 단기 임대할 수 있는 새 서비스를 선보였다. 특정 기간동안 예약하고 환불불가인 선불 요금제다. AWS는 지난달 31일 블로그를 통해 'ML용 아마존 EC2 용량 블록'을 출시한다고 밝혔다. ML용 아마존 EC2 용량 블록은 정해진 기간동안 GPU 인스턴스에 접근해 이용할 수 있는 서비스다. 필요한 시점에 정해진 기간만큼의 인스턴스 규모를 예약하고 사용함으로써 장기간 임대에 따른 비용 낭비를 줄여준다. 이용자는 인스턴스당 8개 GPU를 갖춘 아마존 EC2 P5 인스턴스1~64개를 1일에서 최대 14일까지 예약할 수 있다. P5 인스턴스는 엔비디아 H100 텐서코어 GPU로 구동되는 인스턴스다. 현재 용량 블록으로 예약가능한 인스턴스 유형은 'p5.48xlarge'로 꽤 거대한 크기다. 예약은 GPU 인스턴스 이용 날짜와 기간, 예약 크기 등을 선택하면 된다. 사전에 지정한 날짜에 용량 블록에 접근해 P5 인스턴스를 시작할 수 있다. 예약 기간이 끝나면 실행중인 인스턴스가 자동으로 종료된다. AWS는 이용기간 종료 시간에 임박해 사용자에게 얘약 종료를 알린다. 실행중인 모든 인스턴스는 예약 종료 30분 전 종료 상태로 바귄다. EC2 용량 블록 예약은 최대 8주 전에 미리 할 수 있다. 블록의 가격은 동적으로 변화한다. 사양의 크기, 기간, 날짜 등에 따라 가격이 달라진다. 사용자는 블록 찾기에서 지정한 날짜 범위 내에서 사양을 충족하는 가장 저렴한 제품을 확인할 수 있다. 콘솔 화면에서 예약으로 지불하게 될 전체 비용을 보여준다. 사용자는 예기치 못한 AI 워크로드 학습량 증가에 따른 비용 급증을 방지하고, 예측 가능한 비용 투명성을 확보하며 AI 연구를 진행할 수 있다. 블록 구매를 콘솔 외에 AWS CLI나 SDK로도 할 수 있다. API를 사용해 클러스터 요구사항을 입력하고 구매할 수 있는 블록을 검색할 수 있다. 현재 아마존 EC2 용량 블록은 AWS 미국 동부(오하이오) 리전에서 이용가능하다. 향후 제공 리전과 AZ가 확대될 예정이다. 엔비디아 H100 GPU는 생성형 AI 분야에서 필수 요소로 여겨지고 있다. 그러나 공급이 폭발적 수요 증가를 따라가지 못해 품귀 현상을 보이고 있다. EC2 용량 블록은 선점을 통해 인기있는 GPU를 쉽게 확보할 수 있다는 장점을 제공한다. 문제는 가격이다. 일종의 경매 방식이기 때문에 특정 시점에 많은 사용자가 예약을 원할 경우 항공권이나 호텔 예약처럼 가격이 급등할 수 있다. AWS 볼로그는 단일 인스턴스의 하루 이용료로 2천344달러를 보여주는 스크린샷을 첨부했다. 일단 예먁한 블록은 구매 후 수정하거나 취소할 수 없다. 결정 후 12시간 내 계정으로 비용을 청구한다. 서비스 실제 이용 여부는 상관없다. 때문에 해당 기간 확실히 GPU를 사용할 수 있는지 확인해야 한다. 만약 이용기간 내 작업을 완료하지 못하면 갑자기 인스턴스가 종료되므로 주의해야 한다.