카카오페이, '이 기업' 덕에 쿼리 성능 30% 향상됐다…어디길래?

전 세계에서 유일하게 하이브리드 데이터 플랫폼을 선보이고 있는 클라우데라가 카카오페이의 데이터 플랫폼 고도화 및 데이터 분석 환경 최적화를 위한 지원군으로 나섰다. 클라우데라는 카카오페이의 쿼리 성능을 30% 향상시켜 데이터 품질 향상, 데이터 분석 역량 강화, 데이터 기반의 의사결정 촉진, 데이터 보안 강화와 같은 여러 전략 달성에 도움을 줬다고 25일 밝혔다. 카카오페이는 카카오톡을 기반으로 결제·송금부터 대출·투자·보험 등 우리나라에서 가장 많은 거래가 일어나고 있는 생활 금융 플랫폼이다. 이곳은 실시간 데이터, 배치 데이터를 수집하고 처리, 저장, 제공하는 데이터 플랫폼을 구축했다. 이 데이터 플랫폼은 다양한 데이터를 통합하고 원활한 대규모 데이터 분석, 활용으로 사용자에게 더 나은 금융 경험을 제공한다. 카카오페이는 기존 클라우데라 플랫폼을 최신 버전으로 업그레이드, 마이그레이션해 데이터 관리를 강화했다. 이 과정에서 ▲분석 ▲실시간 데이터 서비스 ▲이종 쿼리를 위한 3단계의 클러스터를 구축했다. 이들은 서로 연동해 원활한 관리와 분석 기능을 제공한다. 또 카카오페이는 클라우데라와 협력을 통해 아파치 아이스버그(Iceberg)를 도입했다. 아이스버그는 복잡한 데이터에 대한 대규모 고성능 분석을 위해 설계된 오픈소스 테이블 포맷이다. 아이스버그 도입 이후에는 아파치 임팔라(Impala)를 사용해 아파치 아이스버그 테이블의 데이터를 조회하고 업데이트할 수 있는 기능을 활용했다. 결과적으로 카카오페이는 데이터를 행 단위로 수정, 삭제할 수 있게 됐다. 또 아이스버그가 제공하는 스냅샷 기능을 활용해 사용자에 의한 실수로 데이터가 삭제되더라도 과거 스냅샷을 확인해 롤백할 수 있어 데이터를 간편하게 복구할 수 있게 됐다. 윤성환 카카오페이 시니어 데이터 엔지니어는 "아파치 아이스버그 아키텍처는 데이터를 읽어오기 전에 메타데이터를 조회하고 필터링해 쿼리 처리를 위한 데이터 양을 대폭 감소시켰다"며 "이는 쿼리 성능 향상으로 이어져 사용자로부터 성능이 약 30% 향상됐다는 피드백을 받았다"고 말했다. 그러면서 "오픈소스 데이터 사용에는 어려움이 따르지만, 클라우데라는 사전에 검증된 패킹을 제공해 오픈소스를 활용하며 겪는 어려움을 해결해준다"며 "클라우데라에 속한 데이터 전문가 또한 문제 상황을 분석해 솔루션, 관련 자료, 테스트 결과를 제공해 많은 도움이 됐다"고 덧붙였다. 최승철 클라우데라코리아 지사장은 "이번 협력은 고객사가 우리를 통해 보다 안전하고 유연한 데이터 플랫폼을 구축하고, 실시간 분석과 규정 준수를 동시에 충족한다는 점을 증명한 사례"라며 "앞으로도 하이브리드 데이터 플랫폼을 통해 각 산업 선도 기업들의 페인 포인트(Pain Point)를 해결하고 성공적인 기업용 AI 도입을 앞당기기 위해 지원을 아끼지 않을 예정"이라고 밝혔다.