데이터브릭스, 운영·분석 데이터 한곳서 처리하는 '엘탭' 출시

데이터브릭스가 데이터 복제본과 추출·변환·적재 작업 없이 운영·분석 데이터를 통합 이용할 수 있는 환경을 구축했다. 데이터브릭스는 '엘탭'을 출시했다고 25일 밝혔다. 엘탭은 레이크 트랜잭션·분석 처리 약자다. 트랜잭션과 분석, 스트리밍, 운영 데이터를 단일 스토리지 레이어에서 다루는 아키텍처다. 데이터브릭스는 엘탭을 통해 기업이 데이터 파이프라인과 복제본, 별도 추출·변환·적재 구조를 줄일 수 있다고 설명했다. 운영 데이터는 별도 이동 없이 레이크 안에서 바로 쿼리되고 분석에 활용될 수 있다. 이번 아키텍처 기반은 서버리스 포스트그레스인 '레이크베이스'다. 레이크베이스는 개방형 오브젝트 스토리지 기반으로 작동한다. 레이크하우스와 결합돼 운영·분석·스트리밍 데이터를 단일 거버넌스 모델과 단일 진실 공급원으로 통합한다. 데이터브릭스는 레이크베이스가 이미 전 세계 수천 개 고객사에 도입됐다고 밝혔다. 현재 플랫폼 전반에서 하루 1200만 건 데이터베이스 실행을 처리하고 있다. 엘탭은 기존 하이브리드 트랜잭션·분석 처리 방식과 달리 두 워크로드를 하나의 엔진에 강제로 넣지 않는다. 대신 스토리지 계층에서 데이터를 통합해 트랜잭션과 분석 워크로드가 각각 독립적으로 확장되도록 돕는다. 이를 통해 트랜잭션 워크로드는 표준 포스트그레스에서 완전한 에이시드 트랜잭션을 보장받는다. 분석 워크로드는 레이크하우스 전반에서 규모와 동시성에 맞춰 실행된다. 데이터브릭스는 레이크베이스 기능도 확장했다. 새로 추가된 크로스 클라우드와 크로스 리전 재해 복구 기능은 에이전트가 핵심 비즈니스 운영에 쓰이는 환경에서 데이터 아키텍처 회복탄력성을 높이기 위한 기능이다. 깃 스타일 브랜칭과 스냅샷 기능도 추가됐다. 기업은 운영 데이터에 영향을 주지 않고 테스트를 진행할 수 있으며 자율형 데이터베이스 운영 기능을 통해 에이전트가 시스템 상태를 살피고 성능 저하를 감지하며 인덱스를 제안할 수 있다. 데이터브릭스는 엘탭이 델타와 아이스버그 같은 개방형 포맷을 기반으로 한다고 설명했다. 모든 운영, 분석, 스트리밍 데이터는 유니티 카탈로그를 통해 단일 아이디, 권한, 감사 모델로 관리된다. 알리 고드시 데이터브릭스 공동창립자 겸 최고경영자(CEO)는 "이전 컴퓨팅 시대를 지탱했던 인프라는 그 누구도 감당할 수 없는 병목 현상이 됐다"며 "엘탭은 바로 이 병목 현상을 완전히 제거한다"고 강조했다.