검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'카탈로그'통합검색 결과 입니다. (4건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"따라올 경쟁자가 없다"…클라우데라가 꺼낸 新무기 뭐길래?

[싱가포르=장유미 기자] 전 세계에서 유일하게 하이브리드 데이터 플랫폼을 선보이고 있는 클라우데라가 강력한 신무기를 앞세워 시장 주도권을 더욱 굳건하게 다진다. 최근 생성형 인공지능(AI)을 기반으로 엔터프라이즈 시장 공략에 나선 경쟁사들이 점차 늘어나는 분위기지만 강력한 메타데이터 관리 능력을 앞세워 격차를 더욱 벌리는 모양새다. 클라우데라는 7일 싱가포르 마리나 베이 샌즈에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에서 메타데이터 관리 솔루션과 관련해 두 가지 주요 업데이트를 공개하며 시연했다. 이번에 공개된 것은 클라우데라의 새로운 아이스버그 '레스트(REST) 카탈로그 통합'과 'SDX(Shared Data Experience)'다. 지난 6일부터 이틀간 진행된 클라우데라 '이볼브24 에이팩' 행사는 업계 최고의 데이터 및 AI 컨퍼런스 중 하나다. 이번 행사에는 찰스 샌즈버리 최고경영자(CEO)를 비롯해 프랭크 오도드 최고매출책임자(CRO), 아바스 리키 최고전략책임자(CSO) 등 클라우데라 최고 경영진이 대거 참석했다. 클라우데라는 이번 업데이트를 통해 개방형 데이터 레이크하우스 내에서 개방형 상호운용성을 강화하게 됐다. 또 전체 데이터 라이프사이클에 걸쳐 증가하는 보안과 거버넌스에 대한 수요도 해결할 수 있게 됐다. 클라우데라가 이처럼 나선 것은 점점 더 많은 기업이 생성형 AI 애플리케이션에 투자하고 있지만, 데이터 품질과 규정 준수를 위해 탄탄하고 유연한 메타데이터 관리가 중요하다는 점을 크게 인식하지 못하고 있어서다. 그러나 기업이 성공적으로 보다 정확하고 확장 가능한 결과를 도출하려면 데이터 관리의 혁신적인 힘을 발휘할 수 있는 통합되고 안전한 플랫폼은 반드시 필요하다. 클라우데라 관계자는 "그간 모든 주요 산업 분야 기업들의 대규모 데이터, 분석, AI를 위한 플랫폼 공급업체로 주목을 받아 왔다"며 "모든 환경에서 통합하고 상호운용할 수 있는 개방형 표준을 갖춘 종단 개방형 데이터 레이크하우스를 제공한다는 점이 우리의 강점"이라고 말했다. 그러면서 "이번 업데이트를 통해서도 최신 데이터 아키텍처에 대한 기업의 노력을 지원할 예정"이라고 강조했다. 이를 위해 클라우데라는 이번에 새로운 아이스버그 레스트 카탈로그 통합에 나섰다. 사용자는 타사 엔진을 사용함으로써 아파치 아이스버그 테이블에 원활하게 접근할 수 있고 통합 보안과 거버넌스를 보장하면서 다양한 도구를 활용할 수 있다. 또 데이터 액세스를 간소화하고 플랫폼 전반에서 데이터 권한과 계보를 유지해 별도의 보안 계층 수를 최소화함으로써 비용과 데이터 침해 위험을 줄일 수 있다. 클라우드 네이티브의 컨테이너 기반 'SDX'를 이번에 기술 프리뷰 버전으로 출시한 것도 눈여겨 볼 요소다. 클라우데라 SDX는 더욱 향상된 탄력성, 확장성, 성능으로 종단 통합 데이터 보안, 거버넌스, 메타데이터 관리를 제공한다. 또 여러 도구에서 셀프 서비스 데이터 접근을 제공하고 보안 기능을 통합해 침해 위험을 최소화하며 클라우드 및 온프레미스 데이터 전반에 걸친 단일 통합 모니터링 관리를 지원한다. 클라우데라의 최신 업데이트는 데이터 라이프사이클 동안 보안과 계보를 통해 데이터를 보호할 뿐만 아니라 메타데이터 관리를 최적화해 총소유비용(TCO)을 절감하면서 성능, 확장성, 복원력을 향상시킬 수 있도록 지원한다는 점도 강점이다. 또 이번 확장으로 복사본을 만들지 않고도 메타데이터를 공유할 수 있어 공급업체에 종속되지 않고 타사 도구로도 혁신을 이룰 수 있다. 이번 업데이트에 대한 시장의 평가도 긍정적이다. 특히 데이터에 대한 일관된 정책을 적용해 안전하게 관리하기 위해선 기업들이 클라우데라의 움직임에 주목할 필요가 있다고 강조했다. 산지브 모한 산업 애널리스트는 "기업 데이터를 철저히 관리하기 위해 ▲모든 위치의 정형 혹은 비정형 ▲모든 속도의 온프레미스와 멀티 클라우드 ▲일괄 혹은 실시간 데이터 등 모든 데이터 자산에 접근하고 관리할 수 있는 통합된 방법이 필요하다는 점을 인식해야 한다"며 "데이터 리더 역시 누가 되든 일관성이 있어야 만큼, 이를 가능케 하는 클라우데라 아이스버그 레스트 API와 같은 향상된 데이터 카탈로그를 이용할 필요가 있다"고 조언했다. 딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 "통합 데이터와 상호운용성은 하이브리드 클라우드 전반에 걸친 자사 개방형 데이터 레이크하우스 아키텍처의 핵심이었고 앞으로도 그럴 것"이라며 "자사 플랫폼은 벤더 종속이나 데이터 사일로 없이 확장하는 메타데이터를 관리할 수 있는 우수한 확장성, 성능, 복원력, 비용 효율성을 제공한다"고 설명했다. 이어 "개방형 표준을 준수함으로써 모든 생태계에서 원활한 통합과 상호 운용성을 보장할 것"이라며 "향후에도 기업이 AI 투자를 최대한 활용할 수 있도록 지원할 것"이라고 덧붙였다.

2024.08.07 10:00장유미

데이터브릭스, '유니티 카탈로그' 오픈소스화

데이터브릭스는 클라우드, 데이터 형식 및 데이터 플랫폼 전반의 데이터 및 AI 거버넌스를 위한 업계 유일의 통합 솔루션인 유니티 카탈로그(Unity Catalog)를 오픈소스로 제공한다고 19일 발표했다. 데이터브릭스는 아마존웹서비스(AWS), 구글 클라우드, 마이크로소프트, 엔비디아, 세일즈포스 등 글로벌 지원을 받아 데이터 및 AI를 위한 개방형 카탈로그 표준에 투자하고 있다. 데이터브릭스 유니티 카탈로그 OSS는 모든 데이터 형식과 컴퓨팅 엔진을 지원하는 범용 인터페이스를 제공한다. 여기에는 델타 레이크, 아파치 아이스버그 및 아파치 후디 클라이언트를 통해 델타 레이크 유니폼(UniForm)으로 테이블을 읽을 수 있는 기능이 포함된다. 아이스버그 REST 카탈로그 및 하이브 메타스토어(HMS) 인터페이스 표준도 지원된다. 유니티 카탈로그 OSS는 테이블 데이터, 비 테이블 데이터, 그리고 머신러닝(ML) 모델 및 생성형 AI 도구와 같은 AI 자산에 대한 통합 거버넌스를 제공해 조직이 대규모로 관리를 간소화할 수 있도록 한다. 유니티 카탈로그 OSS는 테이블 형식 데이터, 비 테이블 형식 데이터, 그리고 ML 모델 및 생성형 AI 도구와 같은 AI 자산에 걸친 통합 거버넌스를 제공해 조직이 대규모로 관리, 검색, 및 개발을 간소화할 수 있도록 돕는다. 유니티 카탈로그 OSS는 오픈 API와 아파치 2.0 라이선스의 오픈소스 서버를 통해 다양한 엔진, 도구 및 플랫폼 전반에 걸친 광범위한 상호운용성을 지원한다. 이로써 유연성과 선택의 폭을 극대화한다. 조직은 데이터 및 AI 워크로드 처리를 위해 상호 운용 가능한 카탈로그를 필요로 한다. 데이터브릭스는 이러한 고객 수요를 충족하기 위해 2021년 유니티 카탈로그를 출시했다. 기존 조직은 단일 목적을 가진 여러 개의 솔루션에 의존했다. 이에 따라 플랫폼 간, 그리고 데이터 및 AI 자산 간 사일로가 발생했으며, 다중 테이블 형식의 테이블 데이터, 비정형 데이터, ML 모델, 벡터 인덱스 및 AI 도구를 결합하는 현대적인 데이터 및 AI 애플리케이션을 구축하는 데 한계가 있었다. 고객은 메타데이터 사일로를 관리하기 위해 복잡한 웹을 만들고, 다양한 엔진에 접근하기 위해 데이터를 여러 장소나 형식으로 복사하거나, 카탈로그 간의 메타데이터를 동기화하기 위해 자체 솔루션을 유지해야 했다. 결과적으로 비용과 복잡성이 증가하고, 거버넌스가 약화됐으며, 접근 제어가 파편화됐다. 유니티 카탈로그는 오늘날 1만개 이상의 조직에서 사용되고 있다. 이번 발표로 데이터브릭스는 상호 운용 가능한 도구, 데이터 및 AI 자산에 대한 범용 지원, 그리고 내장된 보안으로 구성된 생태계를 촉진하고 데이터 및 AI 거버넌스를 계속해서 선도해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “전 세계 데이터브릭스 고객이 유니티 카탈로그를 애용하고 있다”며 “유니티 카탈로그를 사용하면 여러 개의 단일 목적 솔루션을 조합할 필요 없이, 데이터브릭스 데이터 인텔리전스 플랫폼 내에서 테이블형 데이터, 비정형 데이터, AI 및 ML 자산 등 모든 데이터 개체를 신뢰할 수 있는 단일 솔루션으로 관리할 수 있다”고 설명했다. 그는 “메타데이터와 거버넌스를 오픈소스로 공개함에 따라, 오늘날의 데이터 및 AI 환경에서 기업이 필요로 하는 거버넌스 솔루션을 제공할 수 있게 됐다”며 “유니티 카탈로그를 오픈소스로 제공하고 코드를 공개하게 돼 기쁘게 생각하며, 파트너와 긴밀한 협업을 통해 개방형 표준을 지속적으로 발전시켜 나갈 예정이다”라고 강조했다.

2024.06.19 09:12김우용

스노우플레이크, 아이스버그용 오픈소스 카탈로그 공개

[샌프란시스코(미국)=김우용 기자] 스노우플레이크가 아파치 아이스버그 호출 API를 표준화할 수 있는 데이터 카탈로그를 공개했다. 스노우플레이크는 3일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크 서밋 2024'에서 '폴라리스 카탈로그(Polaris Catalog)'를 발표했다. 폴라리스 카탈로그는 개방형 데이터 카탈로그 서비스로, 데이터 레이크하우스, 데이터 레이크 및 기타 모던 아키텍처를 구현하는 데 주로 사용되는 오픈소스 데이터 테이블 포맷인 아파치 아이스버그를 지원한다. 아마존웹서비스(AWS), 컨플루언트, 드레미오, 구글 클라우드, 마이크로소프트 애저, 세일즈포스 같은 주요 클라우드 서비스 플랫폼과 상호 호환된다. 론 올트로프 스노우플레이크 데이터레이크&아이스버그 제품 매니저는 “폴라리스 카탈로그는 아파치 아이스버그 API의 참조 구현”이라고 요약했다. 그는 “아파치 아이스버그는 개방형 테이블 형식으로 운영 또는 메타데이터 카탈로그 서비스를 사용한다”며 “스노우플레이크 테이블을 만들 때 ACID를 준수하는 메타데이터 스냅샷을 통해 일관된 데이터를 쿼리할 수 있는데, 이러한 메타데이터 스냅샷은 아이스버그 카탈로그에 대한 API 호출을 통해 얻을 수 있다”고 설명했다. 그는 “아파치 아이스버그 오픈소스 사양에 REST API가 있지만, 해당 사양의 오픈소스 참조 구현은 없다”며 “이 때문에 고객은 API가 호출에 응답할 수 있도록 엔드포인트와 인프라, API 작동 코드 등을 자체적으로 구축해야 하는데, 이제 스파크, 트리노, 스노우플레이크 등과 상호 운용 가능한 컴퓨팅 엔진에서 아파치 아이스버그를 활용하려는 모든 사람은 폴라리스에서 동일한 API를 사용할 수 있다”고 밝혔다. 폴라리스 카탈로그를 이용하면 아파치 아이스버그 테이블을 쿼리하기 위한 API 호출 코드를 구글 클라우드 내부에서, 마이크로소프트 패브릭 내부에서 동일하게 사용할 수 있다. 사용자는 아이스버그의 오픈소스 REST 프로토콜을 기반으로 하는 폴라리스 카탈로그를 통해 중앙화된 서비스에서 보안과 개방된 상호 운용성을 보장 받으며, 아파치 플링크, 아파치 스파크, 드레미오, 파이썬, 트리노 등 아이스버그 REST API를 지원하는 모든 엔진의 데이터를 액세스하고 검색할 수 있다. 기업들은 스노우플레이크의 AI 데이터 클라우드 내에서 폴라리스 카탈로그를 빠르게 실행할 수 있으며, 도커나 쿠버네티스 같은 컨테이너를 사용해 자체 인프라에서 직접 호스팅 할 수도 있다. 백엔드 구현을 오픈소스로 제공하는 폴라리스 카탈로그를 통해 보안은 유지하면서 자유롭게 호스팅 인프라를 교체하고 특정 공급자에 종속되는 것을 방지할 수 있다. 슈리다 라마스워미 스노우플레이크 CEO는 스노우플레이크서밋 2024 기조연설에서 “AI 데이터 클라우드의 범위와 기능 확장에 따라 많은 고객, 특히 대기업이 보안과 데이터 액세스를 중앙 집중화할 수 있는 더 나은 방법을 요청해 왔다”며 “올바른 엔진 또는 올바른 작업을 적용하고 새로운 사용 사례에 스노우플레이크를 테스트할 수 있는 간단하고 효율적인 방법을 원한다”고 말했다. 그는 “폴라리스 카탈로그는 개방형 카탈로그 인터페이스로 AWS, 구글, 마이크로소프트 애저, 기타 여러 리더 등과 호환성을 제공하게 한다”며 완벽한 제어와 유연성을 제공하며, 향후 90일 이내에 카탈로그 인터페이스를 오픈소스화할 것”이라고 밝혔다. 폴라리스 카탈로그 서비스는 특정 공급자가 제품을 임의로 통제할 수 없는 벤더 중립으로 향후 90일 이내에 오픈소스로 공개될 예정이다. 이를 통해 다양한 기업과 아이스버그 커뮤니티에서 새로운 기능과 유연성, 철저한 기업 보안을 유지하며 데이터를 활용할 수 있을 것으로 전망된다. 아파치 아이스버그는 2020년 5월 인큐베이션 단계를 마치고 아파치 소프트웨어 재단의 최상위 프로젝트로 등록됐다. 이후 개발자들의 높은 관심을 받으며 대표적인 오픈소스 데이터 테이블 포맷으로 자리 잡았다. 아파치 아이스버그는 커뮤니티 구성원들이 활발하게 도입하고 상업적 서비스로 활용하면서 빠른 속도로 발전하고 있다. 스노우플레이크는 폴라리스 카탈로그가 커뮤니티를 확장하고 점차 높아지는 사용자 기대치를 충족하기 위해 아이스버그 생태계와 협력해 나가고 있다. 스노우플레이크의 적극적인 커뮤니티 지원은 최근 마이크로소프트와 확장한 파트너십과도 연결된다. 양사는 업계를 주도하는 오픈 스토리지 포맷 표준인 아파치 아이스버그와 아파치 파케이를 지원하고, 이에 따라 스노우플레이크와 패브릭 간 상호 운용성 또한 원활해졌다. 이제 양사는 폴라리스 카탈로그를 통해 데이터의 저장 위치에 상관없이 모든 사용자가 엔터프라이즈 데이터를 활용해 AI 기반 애플리케이션을 대규모로 생성하도록 협업해 나갈 예정이다. 스노우플레이크는 전 세계 수천 개 고객의 크로스 클라우드 데이터 및 AI 워크로드를 지원하는 데이터 기반으로서의 전문성과, 빠르게 성장하는 아이스버그 커뮤니티의 혁신 및 오픈소스 기술을 바탕으로 서로 다른 엔진 간 데이터 상호 운용성을 간소화할 계획이다. 폴라리스 카탈로그는 아이스버그 테이블에 대한 투자와 마찬가지로 오픈소스의 발전을 향한 스노우플레이크의 의지이기도 하다. 이를 통해 스노우플레이크 고객은 아파치 아이스버그 포맷으로 각자의 스토리지에서 데이터 작업을 수행할 수 있으며, 스노우플레이크의 사용 편의성, 성능 및 통합 거버넌스의 혜택도 누릴 수 있다. 최근 스노우플레이크는 개방형 엔터프라이즈급 LLM 스노우플레이크 아크틱을 발표했다. 오픈소스 생태계를 지원하기 위해 아크틱은 아파치 2.0 라이선스 기반 오픈소스로 공개됐으며 매뉴얼 개념인 쿡북을 통해 자세한 내용을 소개하고 있다. 스노우플레이크는 현재 매월 27만 5천명 이상의 현역 개발자와 매월 600만 건 이상의 애플리케이션 조회수를 보유한 스트림릿 오픈소스 커뮤니티를 지원한다. 스트림릿은 2022년 3월 스노우플레이크에 인수된 후 지난 2년 동안 500% 이상 성장해 왔다. 스노우플레이크와 스트림릿은 개발자를 위한 최첨단 오픈소스 발전에 아낌없는 투자를 이어가고 있다.

2024.06.04 20:06김우용

데이터브릭스, 한국 시장서 연간 100% 성장

데이터브릭스는 23일 서울 인터컨티넨탈코엑스에서 개최한 '데이터 인텔리전스 데이' 컨퍼런스' 관련 기자간담회에서 지난 회계연도에 한국에서 연간 100% 이상의 성장을 달성했다고 발표했다. 국내 기업의 데이터 및 AI 수요 급증에 따른 결과라고 회사측은 설명했다. 데이터브릭스는 급속한 제품 혁신에 힘입어 지난 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러 (약 2조2천억원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다. 데이터브릭스는 지난 3월 출시 당시 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 선보였다. 데이터 선도 기업들은 이미 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 다양한 워크로드에서 비용 효율성과 고성능을 보장하는 동시에 비즈니스 운영을 최적화하고, 예측 분석 및 AI 애플리케이션 등을 통해 혁신을 이끌며, 고급 데이터 거버넌스 및 분석 기능을 통해 의사 결정을 개선해나가고 있다. 데이비드 마이어 데이터브릭스 제품 담당 수석부사장은 기조연설에서 “기업의 데이터 프로젝트를 AI와 결합하고자 할 때 실패로 귀결되기 쉬운데, 이는 워낙 다양한 사일로 시스템이 존재하기 때문”이라며 “데이터와 AI 시스템의 사일로는 내재적으로 복잡하며 거버넌스와 보안도 이 때문에 더 어려워지고, 여러 개발언어와 시스템을 이해해 쉽게 만들 수 있는 고도화된 기술인력도 확보하기 어렵다”고 말했다. 그는 “데이터브릭스의 레이크하우스 '델타레이크'는 비정형과 정형 데이터 모두를 레이크로 가져와서 정교화한 다음 데이터 복제와 이동없이 레이크 자체에서 활용하게 하므로 근본적으로 단순하다”며 “데이터레이크하우스만으로 충분하지 않고, 그 위에 거버넌스 레이어 '유니티 카탈로그'를 얹어 SQL, 스칼라, 자바, R 같은 각기 다른 엔트리 진입지점을 관리하고 데이터모델이나 노트북까지 모두 관리할 수 있다”고 강조했다. 데이터브릭스의 유니티 카탈로그는 전체 데이터 플랫폼의 거버넌스를 관리하는 계층이다. 모든 데이터 쿼리는 유니티 카탈로그를 거치게 되고, 사용자별로 데이터 접근권한을 관리할 수 있다. 유니티 카탈로그는 데이터브릭스 솔루션 외에 다양한 외부 거버넌스 시스템과도 통합가능하다. 데이터브릭스는 모자이크ML을 인수하고 최근 DBRX란 개방형 언어모델을 출시하는 등 생성형 AI 분야에 공격적인 투자를 하고 있다. 생성형 AI를 자사 플랫폼에 접목해 자연어로 데이터를 활용하게 하는 데이터 민주화를 추구한다. 데이비드 마이어 부사장은 “생성형 AI 자체를 레이크하우스에 녹여 근본적으로 새로운 것을 가능하게 했다”며 “데이터 인텔리전스 엔진을 델타레이크와 유니티 카탈로그 위에 얹어서 생성형 AI로 데이터 의미를 이해한다”고 말했다. 그는 “플랫폼에서 파티셔닝, 인덱싱, 레이어링, 리퀘스트 등의 기능을 자동화했으며, AI가 데이터 트래픽 패턴을 학습해 데이터를 재작성하고 사용자의 사용 행태에 따라 더 적은 비용으로 쿼리를 수행하도록 진화한다”며 “최고의 데이터웨어하우스는 훨씬 더 간결한 레이크하우스”라고 강조했다. 그는 “1년전 인수한 모자이크ML은 고객의 모델 학습과 미세조정을 더 저렴한 비용으로 할 수 있게 하며, 최대 10배의 비용을 절감시켜준다”며 “DBRX는 미세조정이나 자체 모델을 완벽히 제어할 수 있다”고 덧붙였다. 이날 기조연설에서 염화음 크래프톤 딥러닝실 데이터실장과 문효준 엘지전자 데이터플랫폼실 팀장이 무대에 올라 자사의 데이터브릭스 플랫폼 활용 사례를 공유했다. 에드 렌타 데이터브릭스 아태지역 총괄 부사장은 “데이터브릭스 클라우드의 한국 리전 범위를 확대하고 서버리스 SQL을 5월 출시할 예정”이라며 “한국어 기술 지원을 시작하고, 제품 교육 및 인증 프로그램의 한국어 지원도 5월 중 이뤄질 것이며, 생성형 AI 기능의 한국 리전 확대와 모델 서빙, 벡터 서치 등도 한국에서 쓸 수 있을 것”이라고 밝혔다. 에드 렌타 데이 부사장은 “한국은 아태지역에서 가장 빠르게 성장하는 시장 중 하나”라며 “한국이 기업의 AI 도입에 대한 야심찬 목표를 가지고 있는 시장인 만큼, 데이터브릭스는 보다 많은 한국 고객들이 자체적인 프라이빗 데이터를 사용해 안전하게 AI를 활용할 수 있도록 지속적으로 지원해나갈 계획”이라고 말했다. 데이터브릭스의 데이터 인텔리전스 데이는 데이터브릭스 고객, 업계 리더, 기술 전문가, 파트너가 주도하는 심층 세션을 통해 자연어로 데이터 인사이트를 확보하는 방법부터 데이터 프라이버시 보호 및 제어를 유지하면서 생성형AI 애플리케이션을 개발하는 혁신적인 방법까지 자세히 살펴볼 수 있다. LG전자, 크래프톤, 여기어때컴퍼니, 정육각, 하이퍼커넥트, 신세계I&C, 스캐터랩, 아임웹 등이 연사로 나서 데이터 및 AI 여정을 공유했다.

2024.04.23 16:05김우용