데이터브릭스, '지니 코드' 출시…데이터 엔지니어링 자동화

데이터브릭스가 데이터 업무 자동화를 확대하기 위해 인공지능(AI) 에이전트 플랫폼을 출시했다. 데이터브릭스는 데이터 파이프라인 구축과 디버깅, 대시보드, 배포 운영, 시스템 관리 등을 수행하는 AI 에이전트 '지니 코드'를 출시했다고 13일 밝혔다. 이 기능은 기업 데이터 환경에서 아이디어를 실제 운영 시스템으로 전환하는 데이터 엔지니어링 작업을 자동화하는 것이 핵심이다. 지니 코드는 데이터브릭스 대화형 데이터 분석 기능 '지니'를 확장한 형태다. 유니티 카탈로그에 저장된 데이터 컨텍스트와 의미 정보로 기업 데이터 환경을 이해하고 실제 운영 환경에 필요한 엔지니어링 작업을 수행한다. 특히 데이터 팀이 수행하던 계획 수립·조정, 운영, 검증, 유지관리 작업을 에이전트가 스스로 수행하도록 설계됐다. 문제를 분석한 뒤 다단계 실행 계획을 수립하고 운영 수준 코드를 작성해 검증한 뒤 결과를 지속적으로 관리한다. 중요한 의사결정은 사람이 통제하도록 구조다. 지니 코드는 데이터 엔지니어링과 머신러닝 개발 전 과정을 자동화하는 기능을 갖췄다. 모델 설계부터 작성, 배포, 실험, 기록 관리 등을 처리하고 ML플로 기반 실험 기록과 서빙 엔드포인트 최적화를 수행한다. 또 변경 데이터 캡처 워크플로와 데이터 품질 기준 적용 등 데이터 엔지니어링 설계를 자동으로 구축한다. 운영 환경에서는 레이크플로 파이프라인과 AI 모델을 지속적으로 모니터링한다. 장애 원인을 분석하고 이상 징후를 탐지하며 에이전트 실행 기록을 분석해 환각 문제를 수정하고 리소스 할당을 최적화한다. 또 지니 코드는 유니티 카탈로그와 통합돼 기업 데이터 거버넌스 정책을 자동으로 준수한다. 기업 내부 데이터뿐 아니라 외부 플랫폼 데이터까지 연동해 비즈니스 의미와 감사 요구 사항을 반영한다. 데이터브릭스는 AI 에이전트 평가와 강화학습 기술 기업 '쿼션트 AI' 인수도 발표했다. 이를 통해 에이전트 답변 품질을 지속적으로 평가하고 성능 저하를 조기에 탐지하며 강화학습 기반 피드백 루프로 성능을 개선할 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 최고경영자(CEO)는 "AI가 데이터 전문가를 보조하던 시대에서 전문가 지침 하에 AI 에이전트가 실제 업무를 수행하는 시대로 전환되고 있다"며 "에이전틱 데이터 워크는 기업 의사결정 방식을 근본적으로 바꿀 것"이라고 밝혔다.