검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'데이터 카탈로그'통합검색 결과 입니다. (4건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"여기는 데이터가 살아있는 '여기어때 D&A센터' 입니다"

“데이터가 라벨링된 데이터 카탈로그를 연구개발성으로 실험해 보는 조직은 많지만, 실제 업무에 적용하는 곳은 그렇게 많지 않습니다. 생각한 것이 바로 회사 업무에 적용되는 경험을 해볼 수 있는 '즉시성'이 여기어때 D&A센터만의 강점입니다.” 인공지능(AI) 돌풍이 불며 대다수 회사에서 근간이 되는 데이터와 AI를 다루는 조직을 우후죽순 만들고 있다. 하지만 만들어진 기능이 실제로 고객 서비스나 회사 서버에 적용되는 사례는 드물다. 온라인여행(OTA) 업계도 예외는 아니다. 이 가운데 개발자가 구상한 기능을 데이터와 AI를 활용해 회사 프로그램 내에 적용시켜 볼 수 있는 회사가 있다. 여기어때는 데이터에 친숙하고, AI에 열린 회사 분위기를 통해 개발자 이상을 사내에서 현실화시킬 수 있도록 하고 있다. 이같은 기능을 구현하려면 데이터와 이를 다루는 조직이 매우 중요하다. 조민석 여기어때 D&A센터장을 만나 센터가 하는 일, 강점, 앞으로 그리고 있는 목표 등에 대한 이야기를 들어봤다. 데이터사이언스실→D&A센터로 탈바꿈…데이터 정리 '주력' 여기어때 D&A센터는 이름 그대로 데이터와 AI를 다루는 곳으로, 기존 데이터사이언스실을 개편한 조직이다. 데이터와 AI 기술을 활용해 서비스·업무 혁신에 집중하기 위해 만들어졌다. 비즈니스, 서비스 효율화 및 개선에 적합한 AI 모델을 연구하고 적용하는 역할을 전문적으로 수행할 뿐만 아니라, 현업에 영향을 줄 수 있는 데이터를 생성하고 AI 기능을 만드는 업무도 담당한다. 조직이 개편되면서 영업 혹은 프로덕트 등 조직별로 파편화돼 있던 데이터 업무를 합친 것이 특징이다. 조 센터장은 “원래는 (센터에) AI가 없었다”며 “각 부서별로 데이터 조직이 흩어져있었다. 조직별로 각각 데이터를 다루는 인력이 따로 있었는데, 체계를 갖추고 보다 시너지를 내기 위해 통합 조직으로 새롭게 재탄생한 것”이라고 설명했다. 현업에 영향을 줄 수 있는 자료를 만드는 만큼 데이터 체계를 정리하고, 뼈대를 세우는 일도 주된 업무 중 하나다. 업무 부서별로 산재된 데이터를 한 번에 볼 수 있도록 관리해야 더 큰 성과를 창출할 수 있기에 데이터를 통합하고, 체계적으로 분류해 각 업무에 더 잘 활용될 수 있는 기획에 전념하고 있다. D&A센터가 없을 때는 원하는 정보를 얻으려면 해당 데이터를 잘 아는 회사 사람들을 수소문해야 했지만, 이제는 그럴 필요가 없어진 것이다. 예를 들어 국내외 호텔을 모두 취급하는 여기어때 앱에서 이를 잘 분류해 보여주고, 데이터를 기반으로 필요한 콘텐츠를 만들거나 리뷰 데이터를 요약해서 알기 쉽게 시각화하는 일을 수행한다. 고객들이 가장 쉽게 마주하는 푸시 메시지나 행사 페이지를 만들 때도 사용된다. 자연어 기반으로 “7월에 애완동물을 키우는 고객이 갈 만한 여행지를 추천해줘”와 같은 질문을 하면 회사 내부 데이터를 기반으로 데이터를 산출해 마케팅 포인트를 잡아주는 방식이다. 정리된 데이터는 데이터 카탈로그서 '두각'…여기어때만의 강점은? 데이터별로 잘 정리(라벨링)된 자료는 '데이터 카탈로그'에서 활용되는데, 사용자 중심으로 구성된 데이터 카탈로그도 여기어때 D&A센터만의 차별점이다. 데이터 카탈로그는 조직이 수집, 처리하는 모든 데이터의 보관함을 뜻한다. 조 센터장은 “기존 회사들은 어떤 데이터가 어디에 있는지 관리자들이 알아보기 쉽게 분류돼 있고 정리된 '관리' 중심이었다면, 여기어때는 사용자가 쉽게 알 수 있는 '사용자' 중심”이라고 강조했다. 이어 “데이터 조직이 통합된 지 얼마 안 됐기 때문에 데이터를 정리하는 세대를 뛰어넘고 원하는 정보부터 접근할 수 있는 체계를 만든 것”이라고 부연했다. 원하는 정보에 빠르게 접근할 수 있게 되면서 업무 효율성도 한층 높아지는 결과를 가져올 것으로 기대된다. 조 센터장은 “보통 일반적인 업무 프로세스에 데이터 탐색이 80%, 분석이 20% 정도 쓰인다는 일반적인 통계가 있다”며 “여기어때의 데이터 카탈로그를 활용하면 탐색에 걸리는 시간을 절반으로 줄일 수 있지 않을까 싶다”고 예상했다. 그 중에서도 조 센터장은 개발자들이 원하는 기능을 회사 서버에서 빠르게 구현해 볼 수 있다는 점을 D&A센터만의 독보적인 강점으로 꼽았다. 그는 “빅데이터나 AI가 유행하면 회사에서는 '해봐'라고 말하지만 연구하는 것에서 끝나는 경우가 많고, 경영진들은 실제 프로젝트에 이를 안 받아들이는 경우가 굉장히 많다”고 언급했다. 그러면서 “하지만 여기어때는 대표부터 데이터에 친화적이고 기술에 대한 이해도가 높다. 또 데이터를 활용한 기술이 적용되도록 하는 환경이 조성돼 있다”면서 “자신이 직접 만든 것이 대고객 혹은 회사 내부 서버에 적용되는 경험을 해볼 수 있는 것이 의미가 크다고 생각한다”고 덧붙였다. 데이터 카탈로그, 칭찬 '일색'…“고객 혜택까지 이어지는 것이 꿈” 데이터와 AI를 중심으로 조직을 통합하고 관련 기능을 정비한 이후 긴 시간이 흐르지는 않았지만, 회사 내부에서는 만족도가 높다. 조 센터장은 쑥스러워하면서도 “데이터를 다루는 구성원들은 거의 다 데이터 카탈로그를 신청해서 사용하고 있다. 다들 만족하는 게 가장 크다”고 자신했다. 여기어때는 긍정적인 반응을 이끌어낸 데이터 카탈로그의 사용성을 조직 전체로 확대하고, 이를 고객 혜택으로까지 이어지게 하는 것을 최종 목표로 삼았다. 조 센터장은 “프로덕트 오너(PO), 경영진들까지 이 시스템(데이터 카탈로그)을 통해 커뮤니케이션할 수 있게 하는 게 센터장으로서의 목표”라며 “정합성이 좋은 데이터를 담은 데이터 카탈로그를 활용해 서비스를 만들어 회사도 성장하고 고객에게도 혜택을 주는 것까지 이어지도록 하는 것이 큰 그림”이라고 밝혔다.

2025.10.23 08:30박서린

"따라올 경쟁자가 없다"…클라우데라가 꺼낸 新무기 뭐길래?

[싱가포르=장유미 기자] 전 세계에서 유일하게 하이브리드 데이터 플랫폼을 선보이고 있는 클라우데라가 강력한 신무기를 앞세워 시장 주도권을 더욱 굳건하게 다진다. 최근 생성형 인공지능(AI)을 기반으로 엔터프라이즈 시장 공략에 나선 경쟁사들이 점차 늘어나는 분위기지만 강력한 메타데이터 관리 능력을 앞세워 격차를 더욱 벌리는 모양새다. 클라우데라는 7일 싱가포르 마리나 베이 샌즈에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에서 메타데이터 관리 솔루션과 관련해 두 가지 주요 업데이트를 공개하며 시연했다. 이번에 공개된 것은 클라우데라의 새로운 아이스버그 '레스트(REST) 카탈로그 통합'과 'SDX(Shared Data Experience)'다. 지난 6일부터 이틀간 진행된 클라우데라 '이볼브24 에이팩' 행사는 업계 최고의 데이터 및 AI 컨퍼런스 중 하나다. 이번 행사에는 찰스 샌즈버리 최고경영자(CEO)를 비롯해 프랭크 오도드 최고매출책임자(CRO), 아바스 리키 최고전략책임자(CSO) 등 클라우데라 최고 경영진이 대거 참석했다. 클라우데라는 이번 업데이트를 통해 개방형 데이터 레이크하우스 내에서 개방형 상호운용성을 강화하게 됐다. 또 전체 데이터 라이프사이클에 걸쳐 증가하는 보안과 거버넌스에 대한 수요도 해결할 수 있게 됐다. 클라우데라가 이처럼 나선 것은 점점 더 많은 기업이 생성형 AI 애플리케이션에 투자하고 있지만, 데이터 품질과 규정 준수를 위해 탄탄하고 유연한 메타데이터 관리가 중요하다는 점을 크게 인식하지 못하고 있어서다. 그러나 기업이 성공적으로 보다 정확하고 확장 가능한 결과를 도출하려면 데이터 관리의 혁신적인 힘을 발휘할 수 있는 통합되고 안전한 플랫폼은 반드시 필요하다. 클라우데라 관계자는 "그간 모든 주요 산업 분야 기업들의 대규모 데이터, 분석, AI를 위한 플랫폼 공급업체로 주목을 받아 왔다"며 "모든 환경에서 통합하고 상호운용할 수 있는 개방형 표준을 갖춘 종단 개방형 데이터 레이크하우스를 제공한다는 점이 우리의 강점"이라고 말했다. 그러면서 "이번 업데이트를 통해서도 최신 데이터 아키텍처에 대한 기업의 노력을 지원할 예정"이라고 강조했다. 이를 위해 클라우데라는 이번에 새로운 아이스버그 레스트 카탈로그 통합에 나섰다. 사용자는 타사 엔진을 사용함으로써 아파치 아이스버그 테이블에 원활하게 접근할 수 있고 통합 보안과 거버넌스를 보장하면서 다양한 도구를 활용할 수 있다. 또 데이터 액세스를 간소화하고 플랫폼 전반에서 데이터 권한과 계보를 유지해 별도의 보안 계층 수를 최소화함으로써 비용과 데이터 침해 위험을 줄일 수 있다. 클라우드 네이티브의 컨테이너 기반 'SDX'를 이번에 기술 프리뷰 버전으로 출시한 것도 눈여겨 볼 요소다. 클라우데라 SDX는 더욱 향상된 탄력성, 확장성, 성능으로 종단 통합 데이터 보안, 거버넌스, 메타데이터 관리를 제공한다. 또 여러 도구에서 셀프 서비스 데이터 접근을 제공하고 보안 기능을 통합해 침해 위험을 최소화하며 클라우드 및 온프레미스 데이터 전반에 걸친 단일 통합 모니터링 관리를 지원한다. 클라우데라의 최신 업데이트는 데이터 라이프사이클 동안 보안과 계보를 통해 데이터를 보호할 뿐만 아니라 메타데이터 관리를 최적화해 총소유비용(TCO)을 절감하면서 성능, 확장성, 복원력을 향상시킬 수 있도록 지원한다는 점도 강점이다. 또 이번 확장으로 복사본을 만들지 않고도 메타데이터를 공유할 수 있어 공급업체에 종속되지 않고 타사 도구로도 혁신을 이룰 수 있다. 이번 업데이트에 대한 시장의 평가도 긍정적이다. 특히 데이터에 대한 일관된 정책을 적용해 안전하게 관리하기 위해선 기업들이 클라우데라의 움직임에 주목할 필요가 있다고 강조했다. 산지브 모한 산업 애널리스트는 "기업 데이터를 철저히 관리하기 위해 ▲모든 위치의 정형 혹은 비정형 ▲모든 속도의 온프레미스와 멀티 클라우드 ▲일괄 혹은 실시간 데이터 등 모든 데이터 자산에 접근하고 관리할 수 있는 통합된 방법이 필요하다는 점을 인식해야 한다"며 "데이터 리더 역시 누가 되든 일관성이 있어야 만큼, 이를 가능케 하는 클라우데라 아이스버그 레스트 API와 같은 향상된 데이터 카탈로그를 이용할 필요가 있다"고 조언했다. 딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 "통합 데이터와 상호운용성은 하이브리드 클라우드 전반에 걸친 자사 개방형 데이터 레이크하우스 아키텍처의 핵심이었고 앞으로도 그럴 것"이라며 "자사 플랫폼은 벤더 종속이나 데이터 사일로 없이 확장하는 메타데이터를 관리할 수 있는 우수한 확장성, 성능, 복원력, 비용 효율성을 제공한다"고 설명했다. 이어 "개방형 표준을 준수함으로써 모든 생태계에서 원활한 통합과 상호 운용성을 보장할 것"이라며 "향후에도 기업이 AI 투자를 최대한 활용할 수 있도록 지원할 것"이라고 덧붙였다.

2024.08.07 10:00장유미

데이터브릭스, '유니티 카탈로그' 오픈소스화

데이터브릭스는 클라우드, 데이터 형식 및 데이터 플랫폼 전반의 데이터 및 AI 거버넌스를 위한 업계 유일의 통합 솔루션인 유니티 카탈로그(Unity Catalog)를 오픈소스로 제공한다고 19일 발표했다. 데이터브릭스는 아마존웹서비스(AWS), 구글 클라우드, 마이크로소프트, 엔비디아, 세일즈포스 등 글로벌 지원을 받아 데이터 및 AI를 위한 개방형 카탈로그 표준에 투자하고 있다. 데이터브릭스 유니티 카탈로그 OSS는 모든 데이터 형식과 컴퓨팅 엔진을 지원하는 범용 인터페이스를 제공한다. 여기에는 델타 레이크, 아파치 아이스버그 및 아파치 후디 클라이언트를 통해 델타 레이크 유니폼(UniForm)으로 테이블을 읽을 수 있는 기능이 포함된다. 아이스버그 REST 카탈로그 및 하이브 메타스토어(HMS) 인터페이스 표준도 지원된다. 유니티 카탈로그 OSS는 테이블 데이터, 비 테이블 데이터, 그리고 머신러닝(ML) 모델 및 생성형 AI 도구와 같은 AI 자산에 대한 통합 거버넌스를 제공해 조직이 대규모로 관리를 간소화할 수 있도록 한다. 유니티 카탈로그 OSS는 테이블 형식 데이터, 비 테이블 형식 데이터, 그리고 ML 모델 및 생성형 AI 도구와 같은 AI 자산에 걸친 통합 거버넌스를 제공해 조직이 대규모로 관리, 검색, 및 개발을 간소화할 수 있도록 돕는다. 유니티 카탈로그 OSS는 오픈 API와 아파치 2.0 라이선스의 오픈소스 서버를 통해 다양한 엔진, 도구 및 플랫폼 전반에 걸친 광범위한 상호운용성을 지원한다. 이로써 유연성과 선택의 폭을 극대화한다. 조직은 데이터 및 AI 워크로드 처리를 위해 상호 운용 가능한 카탈로그를 필요로 한다. 데이터브릭스는 이러한 고객 수요를 충족하기 위해 2021년 유니티 카탈로그를 출시했다. 기존 조직은 단일 목적을 가진 여러 개의 솔루션에 의존했다. 이에 따라 플랫폼 간, 그리고 데이터 및 AI 자산 간 사일로가 발생했으며, 다중 테이블 형식의 테이블 데이터, 비정형 데이터, ML 모델, 벡터 인덱스 및 AI 도구를 결합하는 현대적인 데이터 및 AI 애플리케이션을 구축하는 데 한계가 있었다. 고객은 메타데이터 사일로를 관리하기 위해 복잡한 웹을 만들고, 다양한 엔진에 접근하기 위해 데이터를 여러 장소나 형식으로 복사하거나, 카탈로그 간의 메타데이터를 동기화하기 위해 자체 솔루션을 유지해야 했다. 결과적으로 비용과 복잡성이 증가하고, 거버넌스가 약화됐으며, 접근 제어가 파편화됐다. 유니티 카탈로그는 오늘날 1만개 이상의 조직에서 사용되고 있다. 이번 발표로 데이터브릭스는 상호 운용 가능한 도구, 데이터 및 AI 자산에 대한 범용 지원, 그리고 내장된 보안으로 구성된 생태계를 촉진하고 데이터 및 AI 거버넌스를 계속해서 선도해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “전 세계 데이터브릭스 고객이 유니티 카탈로그를 애용하고 있다”며 “유니티 카탈로그를 사용하면 여러 개의 단일 목적 솔루션을 조합할 필요 없이, 데이터브릭스 데이터 인텔리전스 플랫폼 내에서 테이블형 데이터, 비정형 데이터, AI 및 ML 자산 등 모든 데이터 개체를 신뢰할 수 있는 단일 솔루션으로 관리할 수 있다”고 설명했다. 그는 “메타데이터와 거버넌스를 오픈소스로 공개함에 따라, 오늘날의 데이터 및 AI 환경에서 기업이 필요로 하는 거버넌스 솔루션을 제공할 수 있게 됐다”며 “유니티 카탈로그를 오픈소스로 제공하고 코드를 공개하게 돼 기쁘게 생각하며, 파트너와 긴밀한 협업을 통해 개방형 표준을 지속적으로 발전시켜 나갈 예정이다”라고 강조했다.

2024.06.19 09:12김우용

데이터브릭스, 한국 시장서 연간 100% 성장

데이터브릭스는 23일 서울 인터컨티넨탈코엑스에서 개최한 '데이터 인텔리전스 데이' 컨퍼런스' 관련 기자간담회에서 지난 회계연도에 한국에서 연간 100% 이상의 성장을 달성했다고 발표했다. 국내 기업의 데이터 및 AI 수요 급증에 따른 결과라고 회사측은 설명했다. 데이터브릭스는 급속한 제품 혁신에 힘입어 지난 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러 (약 2조2천억원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다. 데이터브릭스는 지난 3월 출시 당시 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 선보였다. 데이터 선도 기업들은 이미 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 다양한 워크로드에서 비용 효율성과 고성능을 보장하는 동시에 비즈니스 운영을 최적화하고, 예측 분석 및 AI 애플리케이션 등을 통해 혁신을 이끌며, 고급 데이터 거버넌스 및 분석 기능을 통해 의사 결정을 개선해나가고 있다. 데이비드 마이어 데이터브릭스 제품 담당 수석부사장은 기조연설에서 “기업의 데이터 프로젝트를 AI와 결합하고자 할 때 실패로 귀결되기 쉬운데, 이는 워낙 다양한 사일로 시스템이 존재하기 때문”이라며 “데이터와 AI 시스템의 사일로는 내재적으로 복잡하며 거버넌스와 보안도 이 때문에 더 어려워지고, 여러 개발언어와 시스템을 이해해 쉽게 만들 수 있는 고도화된 기술인력도 확보하기 어렵다”고 말했다. 그는 “데이터브릭스의 레이크하우스 '델타레이크'는 비정형과 정형 데이터 모두를 레이크로 가져와서 정교화한 다음 데이터 복제와 이동없이 레이크 자체에서 활용하게 하므로 근본적으로 단순하다”며 “데이터레이크하우스만으로 충분하지 않고, 그 위에 거버넌스 레이어 '유니티 카탈로그'를 얹어 SQL, 스칼라, 자바, R 같은 각기 다른 엔트리 진입지점을 관리하고 데이터모델이나 노트북까지 모두 관리할 수 있다”고 강조했다. 데이터브릭스의 유니티 카탈로그는 전체 데이터 플랫폼의 거버넌스를 관리하는 계층이다. 모든 데이터 쿼리는 유니티 카탈로그를 거치게 되고, 사용자별로 데이터 접근권한을 관리할 수 있다. 유니티 카탈로그는 데이터브릭스 솔루션 외에 다양한 외부 거버넌스 시스템과도 통합가능하다. 데이터브릭스는 모자이크ML을 인수하고 최근 DBRX란 개방형 언어모델을 출시하는 등 생성형 AI 분야에 공격적인 투자를 하고 있다. 생성형 AI를 자사 플랫폼에 접목해 자연어로 데이터를 활용하게 하는 데이터 민주화를 추구한다. 데이비드 마이어 부사장은 “생성형 AI 자체를 레이크하우스에 녹여 근본적으로 새로운 것을 가능하게 했다”며 “데이터 인텔리전스 엔진을 델타레이크와 유니티 카탈로그 위에 얹어서 생성형 AI로 데이터 의미를 이해한다”고 말했다. 그는 “플랫폼에서 파티셔닝, 인덱싱, 레이어링, 리퀘스트 등의 기능을 자동화했으며, AI가 데이터 트래픽 패턴을 학습해 데이터를 재작성하고 사용자의 사용 행태에 따라 더 적은 비용으로 쿼리를 수행하도록 진화한다”며 “최고의 데이터웨어하우스는 훨씬 더 간결한 레이크하우스”라고 강조했다. 그는 “1년전 인수한 모자이크ML은 고객의 모델 학습과 미세조정을 더 저렴한 비용으로 할 수 있게 하며, 최대 10배의 비용을 절감시켜준다”며 “DBRX는 미세조정이나 자체 모델을 완벽히 제어할 수 있다”고 덧붙였다. 이날 기조연설에서 염화음 크래프톤 딥러닝실 데이터실장과 문효준 엘지전자 데이터플랫폼실 팀장이 무대에 올라 자사의 데이터브릭스 플랫폼 활용 사례를 공유했다. 에드 렌타 데이터브릭스 아태지역 총괄 부사장은 “데이터브릭스 클라우드의 한국 리전 범위를 확대하고 서버리스 SQL을 5월 출시할 예정”이라며 “한국어 기술 지원을 시작하고, 제품 교육 및 인증 프로그램의 한국어 지원도 5월 중 이뤄질 것이며, 생성형 AI 기능의 한국 리전 확대와 모델 서빙, 벡터 서치 등도 한국에서 쓸 수 있을 것”이라고 밝혔다. 에드 렌타 데이 부사장은 “한국은 아태지역에서 가장 빠르게 성장하는 시장 중 하나”라며 “한국이 기업의 AI 도입에 대한 야심찬 목표를 가지고 있는 시장인 만큼, 데이터브릭스는 보다 많은 한국 고객들이 자체적인 프라이빗 데이터를 사용해 안전하게 AI를 활용할 수 있도록 지속적으로 지원해나갈 계획”이라고 말했다. 데이터브릭스의 데이터 인텔리전스 데이는 데이터브릭스 고객, 업계 리더, 기술 전문가, 파트너가 주도하는 심층 세션을 통해 자연어로 데이터 인사이트를 확보하는 방법부터 데이터 프라이버시 보호 및 제어를 유지하면서 생성형AI 애플리케이션을 개발하는 혁신적인 방법까지 자세히 살펴볼 수 있다. LG전자, 크래프톤, 여기어때컴퍼니, 정육각, 하이퍼커넥트, 신세계I&C, 스캐터랩, 아임웹 등이 연사로 나서 데이터 및 AI 여정을 공유했다.

2024.04.23 16:05김우용