"누구나 데이터 전문가"…데이터브릭스, '레이크플로우 디자이너' 공개

데이터브릭스가 비전문가도 운영 환경 수준의 데이터 처리를 할 수 있는 도구를 내놨다. 데이터브릭스는 '레이크플로우'에 노코드 시각화 도구 '레이크플로우 디자이너'를 도입한다고 13일 밝혔다. 해당 기능은 추후 프라이빗 프리뷰 버전으로 제공될 예정이다. 레이크플로우 디자이너는 드래그 앤 드롭 인터페이스와 자연어 기반 생성형 인공지능(AI) 도우미를 결합해 기술적 배경이 없는 사용자도 손쉽게 데이터 파이프라인을 구축할 수 있도록 설계됐다. 데이터 엔지니어 수준의 확장성, 거버넌스, 유지관리성을 갖추면서도 코드 작성 없이 파이프라인을 완성할 수 있다는 점이 특징이다. 데이터브릭스는 데이터 파이프라인 구축의 이중 구조 문제를 해소하기 위해 이같은 도구를 출시했다고 밝혔다. 그동안 기업은 노코드 도구의 한계 또는 엔지니어 인력 부족이라는 이분법에 갇혀 있었고, 결국 복잡하고 관리 어려운 데이터 환경을 감수해왔다. 레이크플로우 디자이너는 코드 없는 확장성과 운영 수준 성능을 모두 충족하는 대안을 제시한다. 레이크플로우 디자이너는 데이터브릭스 어시스턴트, 유니티 카탈로그 기능도 제공한다. 이를 통해 기술 부서의 거버넌스 부담 없이도 현업 분석가가 주도적으로 문제를 해결할 수 있는 환경을 제공한다. 데이터브릭스는 레이크플로우도 정식 출시했다. 이 솔루션은 선언형 파이프라인을 기반으로 SQL 또는 파이썬만으로 데이터 수집부터 변환, 오케스트레이션까지 아우르는 엔드-투-엔드 데이터 처리를 지원한다. 레이크플로우에 데이터 엔지니어를 위한 새로운 통합 개발 환경도 추가됐다. AI 기반 코드 생성, 디버깅, 유효성 검사 기능을 제공해 데이터 파이프라인 구축 속도를 높인다. 해당 IDE는 현재 퍼블릭 프리뷰로 제공된다. 데이터 수집 커넥터도 확장됐다. 구글애널리틱스, 서비스나우, SQL 서버, 셰어포인트, 포스트그레SQL, SFTP 등 포인트 앤 클릭 방식의 신규 커넥터가 추가돼 다양한 데이터 소스 연동이 가능해졌다. 이 외에도 서버리스 인프라 기반 제로버스를 도입해 이벤트 데이터를 거의 실시간으로 레이크하우스에 기록할 수 있는 기능도 선보였다. 제로버스는 현재 프라이빗 프리뷰 상태다. 알리 고드시 데이터브릭스 공동창립자 겸 최고경영자(CEO)는 "조직들이 AI 역량을 확장해야 한다는 압박이 점점 커지고 있다"며 "레이크플로우 디자이너는 조직 내 더 많은 사람들이 운영 수준의 데이터 파이프라인을 구축할 수 있도록 지원할 것"이라고 강조했다.