[AI 리더스] 스노우플레이크 "미·중 데이터 표준 경쟁…한국도 설계 나서야"
미국과 중국 인공지능(AI) 패권 경쟁이 모델을 넘어 데이터 의미와 활용 규칙을 정하는 표준 경쟁으로 번지고 있다. 중국이 정부 주도로 자국 표준을 빠르게 확산하는 사이 미국 민간 기업들은 오픈소스와 글로벌 합의를 내세워 개방형 표준 구축에 나섰다. 이런 흐름 속에서 개방형 데이터 표준 프로젝트 '아파치 오시(Apache Ossie)'가 주목받고 있다. 아파치 오시는 AI 에이전트와 비즈니스인텔리전스(BI)·데이터 플랫폼이 비즈니스 데이터 의미를 똑같이 이해할 수 있게 돕는 개방형 시맨틱 데이터 표준이다. 이 프로젝트는 기업마다 다른 매출·고객·할인·이탈률 등 수치 정의와 계산 방식, 데이터 간 관계를 YAML·JSON 기반 공통 형식으로 표현한다. AI 에이전트와 BI 도구, 쿼리 엔진은 이 정의를 읽어 같은 지표를 동일한 방식으로 계산한다. 현재 아파치 소프트웨어 재단의 인큐베이팅 프로젝트로 운영되고 있으며, 명세와 소스코드는 아파치 2.0 라이선스로 공개됐다. 아파치 오시는 스노우플레이크를 비롯한 데이터빌드툴(dbt), 세일즈포스 등 민간 IT 기업이 추진하는 '오픈 시맨틱 인터체인지(Open Semantic Interchange)'에서 출발했다. 현재 아파치 소프트웨어 재단으로 이관돼 특정 기업이 아닌 글로벌 커뮤니티가 프로젝트 기술적 방향과 명세를 결정한다. 현재 51개 북미 기업·기관이 관련 조직에서 활동하고 있다. 프로젝트 초창기 멤버인 조쉬 클라 스노우플레이크 제품관리 디렉터는 최근 지디넷코리아 인터뷰에서 "재단 목표는 다양한 데이터 시스템과 AI 에이전트가 동일한 비즈니스 정의를 활용하도록 하는 것"이라며 "기업이 특정 공급업체에 종속되지 않고 데이터의 의미를 여러 플랫폼에서 자유롭게 활용할 수 있는 개방형 생태계를 구축하겠다"고 강조했다. 이어 "한국 기업 또한 완성된 표준만 수용하는 데 그치지 않아야 한다"며 "데이터 초기 설계 단계부터 참여해 한국 산업 요구를 반영해야 할 것"이라고 덧붙였다. 플랫폼마다 다른 데이터 정의…아파치 오시로 통일 클라 디렉터는 AI 에이전트와 모델이 기업 데이터를 제대로 분석하려면 실질적인 비즈니스 용어 의미부터 제대로 이해해야 한다고 주장했다. 예를 들어 기업이 AI에 '이번 달 매출을 알려달라'고 요청하더라도 명확한 답을 바로 내놓기 어렵다. AI가 매출을 계산할 때 세금을 제외할지, 할인을 적용할지, 사업부마다 다른 기준을 사용할지에 따라 결과가 달라져서다. 클라 디렉터는 "AI가 정확한 답을 내놓으려면 '월간 매출'이라는 용어뿐 아니라 이를 계산하는 공식도 알아야 한다"며 "매출을 합산하고 세금을 제외한 뒤 할인을 적용한다는 규칙이 명확하게 정의돼야 올바른 데이터베이스(DB) 쿼리를 작성할 수 있다"고 설명했다. 문제는 기업 데이터와 계산 규칙이 시스템 하나에만 있지 않다는 점이다. 기업은 데이터 플랫폼과 BI, 분석 애플리케이션 등 여러 솔루션을 동시에 사용하고 있다. 각 솔루션은 매출이나 비즈니스 데이터를 서로 다른 언어와 형식으로 정의한다. 이에 한 플랫폼에서 작성한 데이터 정의를 다른 플랫폼에서 사용하려면, 같은 내용을 다시 작성하거나 별도 변환 작업을 거쳐야 한다. 클라 디렉터는 "아파치 오시는 서로 다른 솔루션 내 데이터 의미와 계산 규칙을 공유할 수 있는 공통 형식을 제공한다"며 "기존 데이터 사전이나 시맨틱 레이어를 없애는 것이 아니라 각 시스템에 흩어진 정의를 서로 연결하는 공통 번역 규칙 역할을 하는 것"이라고 강조했다. 클라 디렉터는 아파치 오시를 통해 정의한 비즈니스 용어와 지표를 다른 플랫폼에서도 동일하게 활용할 수 있다고 말했다. 예를 들어 기업이 스노우플레이크에서 정의한 매출 지표를 다른 공급업체 솔루션으로 옮길 때 아파치 오시 변환기가 두 형식 사이를 연결한다. 기업은 기존 지표와 계산 규칙을 처음부터 다시 만들지 않고 다른 솔루션으로 이전할 수 있다. 클라 디렉터는 "기업은 특정 공급업체의 독자적인 시맨틱 형식에 묶이지 않고 필요에 따라 데이터·BI 솔루션을 교체하거나 함께 사용할 수 있다"며 "데이터 의미와 비즈니스 로직이 플랫폼을 따라 이동할 수 있어 특정 제품에 대한 락인(lock-in) 효과도 줄일 수 있다"고 강조했다. 현재 아파치 오시 프로젝트는 오시 형식으로 작성된 데이터 정의를 dbt와 데이터브릭스, 스노우플레이크, 태블로 등이 읽을 수 있는 형식으로 바꾸는 변환기를 개발하고 있다. 기업은 매출과 고객 같은 데이터 의미와 계산 방식을 오시 형식으로 한 번만 정의한 뒤 여러 솔루션에서 동일하게 활용할 수 있다. 상반된 미중 데이터 체계, 주변국 부담…"한국도 참여해야" 클라 디렉터는 중국 정부 주도 표준과 북미 민간 기업 중심의 오픈소스·커뮤니티 주도 표준이 서로 다른 장단점을 갖는다고 봤다. 정부 주도 방식은 정책을 조율하고 국내 시장에 표준을 빠르게 확산하는 데 유리하지만, 오픈소스 방식은 특정 국가나 시장에 얽매이지 않는다는 설명이다. 그는 "정부가 특정 기술을 표준으로 선언하면 국내에서 이를 의무화하고 시장 전체에 빠르게 적용할 수 있다"며 "커뮤니티 주도 방식은 여러 국가와 기업이 설계 과정에 참여할 수 있어 글로벌 표준으로 발전할 가능성이 크다"고 분석했다. 클라 디렉터는 커뮤니티 방식에도 한계는 있다는 점을 인정했다. 여러 기업과 개발자가 의견을 모아 표준을 만들기 때문에 한 정부나 기업이 독자적으로 결정하는 방식보다 시간이 오래 걸릴 수 있다. 그는 "여러 기업이 합의해 표준을 만들면 의사결정에 시간이 걸릴 수 있다"면서도 "고객들은 특정 공급업체가 통제하지 않고 어느 플랫폼에서나 사용할 수 있는 글로벌 표준을 원한다"고 말했다. 클라 디렉터는 미국과 중국이 서로 다른 AI 데이터 표준을 구축하면 향후 한국과 일본 등 주변국 기업 부담이 커질 수 있다는 점에 동의했다. 두 시장에서 사업하려면 양쪽 표준을 모두 지원해야 하고, 한쪽 표준만 채택하면 다른 시장에서 사업 기회를 놓칠 수 있어서다. 클라 디렉터는 "표준이 진정한 글로벌 기준으로 받아들여지지 않으면 다른 국가와 기업은 복수 표준을 적용해야 할 수 있다"며 "특정 국가 기준이라는 인식이 강해지면 글로벌 AI 생태계가 여러 진영으로 분리될 수 있다"고 지적했다. 그는 앞으로 한국 기업도 완성된 표준 규격을 받아들이는 데만 그쳐선 안 된다고 봤다. 지금부터라도 표준 설계 과정에 직접 참여할 필요가 있다는 설명이다. 그동안 아파치 오시 프로젝트에 한국 기업은 포함되지 않았다. 프로젝트 초기 협력 대상이 북미에 기반을 둔 데이터·BI 공급업체로만 구성돼서다. 클라 디렉터는 아파치 오시 적용 범위가 소프트웨어(SW) 공급업체에서 금융과 제조, 소매 등으로 확대되면 한국 기업 참여 필요성도 커질 것으로 내다봤다. 산업과 시장마다 사용하는 지표와 비즈니스 데이터 구조가 다르기 때문이다. 그는 "한국 산업을 잘 아는 기업이 오시에 참여해 국내 소매기업 매출과 고객 지표를 어떤 방식으로 정의할지, 제조기업 데이터 관계를 오시 명세에 어떻게 표현할지를 제대로 결정할 수 있다"며 "초기 단계부터 의견을 내야 국내 산업 데이터 구조와 비즈니스 용어를 글로벌 표준에 반영할 수 있다"고 주장했다. 그러면서 "완성된 표준을 도입하는 것과 표준을 만드는 과정에 참여하는 것은 엄연히 다르다"며 "한국 기업이 지금 참여하지 않으면 다른 국가와 기업이 만든 데이터 정의를 나중에 그대로 수용해야 할 수도 있을 것"이라고 전망했다. "데이터 정의·실행 연결 강화…오시 생태계 확장 목표" 아파치 오시의 다음 목표는 기업이 한 번 정의한 데이터 의미를 여러 플랫폼에서 자유롭게 옮기고 실행할 수 있는 개방형 시맨틱 데이터 생태계를 완성하는 것이다. 이를 위해 오시는 우선 명세가 표현할 수 있는 데이터 범위를 넓힐 방침이다. 공급업체마다 시맨틱 모델에서 사용하는 개념과 기능이 다른 만큼 이를 폭 넓게 수용할 수 있도록 명세를 더욱 포괄적으로 발전시킬 계획이다. 오시 형식을 지원하는 데이터·BI 플랫폼과 변환기도 확대한다. 더 많은 공급업체가 오시 형식을 읽고 쓸 수 있어야 기업이 동일한 데이터 정의를 여러 시스템에서 활용하고 특정 플랫폼에 대한 종속도 줄일 수 있기 때문이다. 클라 디렉터는 오시로 정의한 데이터 의미를 실제 분석에 사용할 수 있도록 공개 오픈소스 시맨틱 쿼리 언어를 개발하는 것도 주요 목표로 제시했다. 현재는 오시의 의미 체계를 실행하려면 이를 스노우플레이크와 데이터브릭스, dbt 등의 플랫폼에 배포해야 한다. 그는 "아파치 폴라리스와 아파치 아이스버그 등 다른 아파치 프로젝트와의 통합도 추진할 것"이라며 "개방형 데이터 카탈로그부터 데이터의 의미를 정의하는 시맨틱 형식까지 하나의 오픈 데이터 스택으로 연결할 것"이라고 밝혔다.
