검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'아이스버그'통합검색 결과 입니다. (7건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

코오롱베니트, 클라우데라 아-태 지역 핵심 파트너로 인정 받아

코오롱베니트가 아시아-태평양 지역에서 클라우데라의 핵심 파트너로 인정 받으며 사업 경쟁력을 입증했다. 코오롱베니트는 클라우데라로부터 '2024 아시아-태평양 지역 올해의 파트너상(APAC Partner of the Year)'을 수상했다고 8일 밝혔다. 클라우데라는 데이터, 분석, 인공지능(AI) 위한 하이브리드 플랫폼 기업이다. 이번 수상은 코오롱베니트가 클라우데라의 국내 사업 전략 파트너로서 아시아-태평양 지역 파트너사 가운데 가장 높은 성장률과 우수한 비즈니스 성과를 기록한 결과다. 작년 한 해 코오롱베니트는 주요 금융·제조 기업을 대상으로 클라우데라 기반의 데이터·AI 인프라 구축, 컨설팅, 개발 서비스를 제공했다. 또 선도적인 플랫폼 구축 및 운영 기술 역량을 입증하며 데이터 사업 부문에서 높은 성장률을 기록했다. 이처럼 코오롱베니트는 기술 전문성과 고객 신뢰를 동시에 확보하며 클라우데라와 체결한 전략적 파트너십 효과를 가시화했다. 코오롱베니트는 주요 금융권 기업에 클라우데라 아이스버그(Iceberg) 기반의 데이터 플랫폼으로 대규모 데이터를 효율적으로 처리하고 AI 분석까지 가능한 통합형 인프라를 구현했다. 이는 기존 데이터웨어하우스(DW)를 대체하거나 확장하려는 금융권의 수요에 선제적으로 대응한 사례로, 향후 다양한 산업군으로의 확산 가능성도 기대된다. 이 성공 사례를 바탕으로 코오롱베니트와 클라우데라는 현재 데이터 수집부터 저장, 분석, AI 활용까지 아우르는 통합형 데이터 패키지 사업을 공동으로 추진 중이다. 해당 패키지에는 데이터 수집·적재 솔루션 '알큐덱스(R-QDEX)', 기업 내 데이터 자산을 통합 관리하는 '데이터웍스(DATAWORX)' 등이 포함될 예정이다. 양사는 이를 통해 고객사의 데이터 활용 역량을 극대화하는 통합 서비스 환경을 조성해 나간다는 계획이다. 최승철 클라우데라 코리아 지사장은 "코오롱베니트는 금융권과 같은 업무 요구 수준이 높은 산업군에서 고객에 최적화된 데이터 아키텍처를 설계해 안정적으로 운영해오며 클라우데라 코리아 사업에 큰 전환점을 만들고 있다"고 강조했다. 정상섭 코오롱베니트 상무는 "이번 수상은 클라우데라 사업의 국내 성장성을 글로벌 시장에서 인정 받은 성과"라며 "앞으로 고객 맞춤형 데이터 전략과 강화된 AI 활용 기반 서비스를 기반으로 한국 대표 데이터 전문 기업으로 자리잡을 것"이라고 말했다.

2025.04.08 11:08장유미

스노우플레이크 "AI 에이전트 핵심은 개방적 데이터 관리"

"인공지능(AI) 에이전트 핵심은 데이터입니다. 다양한 형태의 데이터와 AI를 통합 처리할 수 있는 플랫폼이 받쳐줘야 합니다. 이를 통해 기업은 AI 에이전트로 정확한 답변을 받을 수 있고, 내부 정보 보안·활용까지 높일 수 있습니다." 베누아 다쥬빌 스노우플레이크 공동창립자 겸 제품 부문 사장은 25일 서울 광화문 포시즌스 호텔에서 기자간담회를 열고 스노우플레이크 AI 사업 전략을 이같이 밝혔다. 이날 티에리 크루아네스 스노우플레이크 공동창립자 겸 전 최고기술책임자(CTO)와 최기영 스노우플레이크코리아 지사장도 자리했다. 다쥬빌 사장과 크루아네스 전 CTO는 오라클에서 근무하다 퇴사 후 2012년 스노우플레이크 아키텍처를 구상하기 시작했다. 이후 2013년 기업을 공식 출범해 현재까지 운영하고 있다. 이들은 이번 기자간담회에서 AI 시대 스노우플레이크 사업 전략과 비즈니스 모델에 대해 논의했다. 다쥬빌 사장은 이전부터 AI 기술과 데이터를 한 플랫폼에 통합 제공하는 것을 목표로 뒀다고 밝혔다. 이를 통해 누구나 데이터를 한 플랫폼에서 간단하고 편리하게 활용할 수 있도록 지원하기 위해서다. 이런 전략으로 출시했던 초기 제품은 '코텍스'와 '도큐먼트AI'다. 코텍스는 문서 기반 정보 추출, 검색, 자연어 인터페이스를 통합 제공한다. 도큐먼트AI는 비정형 문서에서 사용자가 지정한 데이터만 추출하거나, 특정 업무 목적에 맞춰 문서를 학습시키는 데 특화된 솔루션이다. 그는 AI 에이전트 시대에도 AI와 데이터 연결관계를 더 강화하겠다고 밝혔다. 이를 위해 지난해 '코텍스 서치'를 출시했다. 스노우플레이크가 인수한 니바 기술로 작동하는 데이터 검색 엔진이다. 코텍스 서치는 구글 서치, 마이크로소프트 코파일럿과 유사한 검색 방식으로 작동한다. 사용자가 자연어로 질문하면, 코텍스 서치는 벡터 기반으로 연관된 문서를 찾거나 요약할 수 있다. 다쥬빌 사장은 "이 제품은 비정형 데이터에서 기업 인사이트를 찾는 데 특화됐다"고 강조했다. 그는 '코텍스 인텔리전스'와 '코텍스 에이전트'도 이같은 전략의 일환이라고 설명했다. 두 서비스는 사용자 질의를 분석해 쿼리를 자동 변환하거나, 관련 데이터를 찾아 제시할 수 있다. 사용자들은 데이터 언어를 몰라도 플랫폼과 대화하듯 데이터에 접근할 수 있다. 현재 스노우플레이크는 오픈AI를 비롯한 앤트로픽, 메타, 미스트랄AI 등 LLM을 플랫폼에 탑재했다. 고객은 자신 업무에 맞는 LLM을 선택할 수 있다. 스노우플레이크 자체 모델 '아틱'도 제공되고 있다. 아틱은 특정 비정형 데이터 추출 등 업무 목적에 맞춰 사전 훈련된 모델이다. 다쥬빌 사장은 제품 보안성에 대해서도 언급했다. 그는 "모든 솔루션은 고객 데이터가 있는 플랫폼 내부에서 LLM을 직접 실행한다"며 "보안성과 통합 효율을 동시에 확보하는 구조"라고 강조했다. "AI 에이전트 중심에 '아이스버그' 있어야"…사용량 기반 모델 채택 스노우플레이크는 AI 에이전트 시대에도 개방적인 데이터 저장·관리하는 방식을 채택할 것이라고 밝혔다. 고객이 데이터를 특정 플랫폼에 묶어두지 않고 자유롭게 활용하도록 돕기 위함이다. 이에 '아이스버그'를 통해 데이터 락인을 피하고 상호운용성을 극대화하는 전략을 추진 중이다. 아이스버그는 대용량 데이터 분석 환경에 최적화된 오픈 테이블 포맷이다. 분석 도구나 플랫폼 간 호환성을 높일 수 있는 구조다. 고객은 아이스버그에서 자신에게 맞는 워크로드 환경과 도구를 선택할 수 있다. 다쥬빌 사장은 "테이블 포맷이 분산되면 데이터 관리 복잡성과 성능 저하가 발생할 수 있다"며 "이를 방지하고자 아이스버그에 집중 투자했다"고 밝혔다. 다쥬빌 사장은 이같은 데이터 관리 전략이 생성형 AI 전략과도 맞닿았다고 설명했다. 비정형 데이터를 처리하는 도큐먼트AI나 코텍스 서치, 코텍스 에이전트가 제대로 작동하려면 이 기반이 되는 데이터 포맷부터 유연하고 표준화돼 있어야 한다는 이유에서다. 그는 "AI가 업무에 맞는 데이터를 찾아오게 하려면, 그 데이터가 묶여 있지 않아야 한다"며 "아이스버그는 AI 전략 출발점이자 고객 중심 플랫폼 핵심"이라고 말했다. 스노우플레이크는 구독형 모델대신 사용량 기반 모델을 채택했다. 사용량 기반 모델은 실제 사용한 만큼만 비용을 지불하는 방식이다. 구독형 모델은 고정 요금을 정기적으로 지불하며 서비스를 이용하는 방식이다. 크루아네스 전 CTO는 "고객이 플랫폼을 실제로 사용하지 않으면 자체 수익을 낼 수 없는 구조"라며 "사용자 만족과 신뢰, 성능 개선이 기업 철학"이라고 밝혔다.

2025.03.25 15:02김미정

"따라올 경쟁자가 없다"…클라우데라가 꺼낸 新무기 뭐길래?

[싱가포르=장유미 기자] 전 세계에서 유일하게 하이브리드 데이터 플랫폼을 선보이고 있는 클라우데라가 강력한 신무기를 앞세워 시장 주도권을 더욱 굳건하게 다진다. 최근 생성형 인공지능(AI)을 기반으로 엔터프라이즈 시장 공략에 나선 경쟁사들이 점차 늘어나는 분위기지만 강력한 메타데이터 관리 능력을 앞세워 격차를 더욱 벌리는 모양새다. 클라우데라는 7일 싱가포르 마리나 베이 샌즈에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에서 메타데이터 관리 솔루션과 관련해 두 가지 주요 업데이트를 공개하며 시연했다. 이번에 공개된 것은 클라우데라의 새로운 아이스버그 '레스트(REST) 카탈로그 통합'과 'SDX(Shared Data Experience)'다. 지난 6일부터 이틀간 진행된 클라우데라 '이볼브24 에이팩' 행사는 업계 최고의 데이터 및 AI 컨퍼런스 중 하나다. 이번 행사에는 찰스 샌즈버리 최고경영자(CEO)를 비롯해 프랭크 오도드 최고매출책임자(CRO), 아바스 리키 최고전략책임자(CSO) 등 클라우데라 최고 경영진이 대거 참석했다. 클라우데라는 이번 업데이트를 통해 개방형 데이터 레이크하우스 내에서 개방형 상호운용성을 강화하게 됐다. 또 전체 데이터 라이프사이클에 걸쳐 증가하는 보안과 거버넌스에 대한 수요도 해결할 수 있게 됐다. 클라우데라가 이처럼 나선 것은 점점 더 많은 기업이 생성형 AI 애플리케이션에 투자하고 있지만, 데이터 품질과 규정 준수를 위해 탄탄하고 유연한 메타데이터 관리가 중요하다는 점을 크게 인식하지 못하고 있어서다. 그러나 기업이 성공적으로 보다 정확하고 확장 가능한 결과를 도출하려면 데이터 관리의 혁신적인 힘을 발휘할 수 있는 통합되고 안전한 플랫폼은 반드시 필요하다. 클라우데라 관계자는 "그간 모든 주요 산업 분야 기업들의 대규모 데이터, 분석, AI를 위한 플랫폼 공급업체로 주목을 받아 왔다"며 "모든 환경에서 통합하고 상호운용할 수 있는 개방형 표준을 갖춘 종단 개방형 데이터 레이크하우스를 제공한다는 점이 우리의 강점"이라고 말했다. 그러면서 "이번 업데이트를 통해서도 최신 데이터 아키텍처에 대한 기업의 노력을 지원할 예정"이라고 강조했다. 이를 위해 클라우데라는 이번에 새로운 아이스버그 레스트 카탈로그 통합에 나섰다. 사용자는 타사 엔진을 사용함으로써 아파치 아이스버그 테이블에 원활하게 접근할 수 있고 통합 보안과 거버넌스를 보장하면서 다양한 도구를 활용할 수 있다. 또 데이터 액세스를 간소화하고 플랫폼 전반에서 데이터 권한과 계보를 유지해 별도의 보안 계층 수를 최소화함으로써 비용과 데이터 침해 위험을 줄일 수 있다. 클라우드 네이티브의 컨테이너 기반 'SDX'를 이번에 기술 프리뷰 버전으로 출시한 것도 눈여겨 볼 요소다. 클라우데라 SDX는 더욱 향상된 탄력성, 확장성, 성능으로 종단 통합 데이터 보안, 거버넌스, 메타데이터 관리를 제공한다. 또 여러 도구에서 셀프 서비스 데이터 접근을 제공하고 보안 기능을 통합해 침해 위험을 최소화하며 클라우드 및 온프레미스 데이터 전반에 걸친 단일 통합 모니터링 관리를 지원한다. 클라우데라의 최신 업데이트는 데이터 라이프사이클 동안 보안과 계보를 통해 데이터를 보호할 뿐만 아니라 메타데이터 관리를 최적화해 총소유비용(TCO)을 절감하면서 성능, 확장성, 복원력을 향상시킬 수 있도록 지원한다는 점도 강점이다. 또 이번 확장으로 복사본을 만들지 않고도 메타데이터를 공유할 수 있어 공급업체에 종속되지 않고 타사 도구로도 혁신을 이룰 수 있다. 이번 업데이트에 대한 시장의 평가도 긍정적이다. 특히 데이터에 대한 일관된 정책을 적용해 안전하게 관리하기 위해선 기업들이 클라우데라의 움직임에 주목할 필요가 있다고 강조했다. 산지브 모한 산업 애널리스트는 "기업 데이터를 철저히 관리하기 위해 ▲모든 위치의 정형 혹은 비정형 ▲모든 속도의 온프레미스와 멀티 클라우드 ▲일괄 혹은 실시간 데이터 등 모든 데이터 자산에 접근하고 관리할 수 있는 통합된 방법이 필요하다는 점을 인식해야 한다"며 "데이터 리더 역시 누가 되든 일관성이 있어야 만큼, 이를 가능케 하는 클라우데라 아이스버그 레스트 API와 같은 향상된 데이터 카탈로그를 이용할 필요가 있다"고 조언했다. 딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 "통합 데이터와 상호운용성은 하이브리드 클라우드 전반에 걸친 자사 개방형 데이터 레이크하우스 아키텍처의 핵심이었고 앞으로도 그럴 것"이라며 "자사 플랫폼은 벤더 종속이나 데이터 사일로 없이 확장하는 메타데이터를 관리할 수 있는 우수한 확장성, 성능, 복원력, 비용 효율성을 제공한다"고 설명했다. 이어 "개방형 표준을 준수함으로써 모든 생태계에서 원활한 통합과 상호 운용성을 보장할 것"이라며 "향후에도 기업이 AI 투자를 최대한 활용할 수 있도록 지원할 것"이라고 덧붙였다.

2024.08.07 10:00장유미

데이터브릭스, 아이스버그 창시자가 설립한 '타뷸러' 인수

데이터브릭스가 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 10일 발표했다. 타뷸러는 개방형 테이블 포맷 '아파치 아이스버그'의 창시자인 라이언 블루, 다니엘 윅스, 제이슨 리드 등에 의해 설립된 회사다. 이번 인수로 데이터브릭스는 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 데이터브릭스는 레이크하우스에 형식 호환성을 제공하기 위해 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다. 이러한 협력은 단기적으로는 델타 레이크 유니폼 내에서 이루어지며, 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전하게 된다. 데이터브릭스는 2020년 레이크하우스 아키텍처를 개척하고, 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합할 수 있게 했다. 이를 위해서는 다양한 워크로드, 애플리케이션, 엔진이 동일한 데이터에 액세스할 수 있도록 모든 데이터가 개방형 형식이어야 한다. 레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화하는데, 이는 독점 데이터 웨어하우스와는 대조적이다. 독점 데이터 웨어하우스에서는 독점 SQL 엔진만이 데이터를 읽거나 쓰거나 공유할 수 있으며, 다른 애플리케이션에서 데이터를 사용하기 위해서는 데이터를 복사하고 내보내야 해 특정 공급업체에 종속될 가능성이 높기 때문이다. 4년이 지난 현재, 전 세계 기업의 약 74%가 레이크하우스 아키텍처를 구축했다. 레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크, 트리노 및 프레스토 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다. 데이터브릭스는 이를 지원하기 위해 리눅스 재단과 협력해 델타 레이크 프로젝트를 출범했다. 지금까지 다양한 조직의 500명 이상의 코드 기여자가 이 프로젝트에 참여했으며, 전 세계 10,000개 이상의 기업이 델타 레이크를 사용해 매일 평균 4엑사바이트 이상의 데이터를 처리하고 있다. 델타 레이크가 만들어질 무렵, 라이언 블루와 다니엘 윅스는 넷플릭스에서 아이스버그 프로젝트를 개발해 아파치 소프트웨어 재단에 기부했다. 이후 델타 레이크와 아이스버그는 레이크하우스 형식의 두 가지 주요 오픈소스 표준으로 부상했다. 이 두 포맷은 모두 아파치 파케이를 기반으로 하며 비슷한 목표와 설계를 갖추고 있지만, 독립적으로 개발되어 호환되지는 않게 됐다. 시간이 지나면서 다른 여러 오픈소스 및 독점 엔진이 이들 형식을 채택했으나 두 표준 중 하나만, 그것도 일부만 채택하는 경우가 많았다. 이로써 기업 데이터가 파편화되고 사일로화되어 레이크하우스 아키텍처의 가치가 훼손되는 문제가 발생했다. 기업들은 레이크하우스의 이점을 실현하기 위해 데이터 상호운용성이 필요로 하며, 데이터브릭스는 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력해 시간이 지남에 따라 형식에 상호운용성을 제공할 계획이다. 이는 결코 짧지 않은 여정으로, 해당 커뮤니티에서 달성하는 데 몇 년이 걸릴 수도 있다. 이것이 바로 작년에 데이터브릭스가 델타 레이크 유니폼을 발표한 이유다. 유니폼 테이블은 델타 레이크, 아이스버그, 후디 간에 상호 운용성을 제공하며, 기업이 모든 데이터에서 이미 익숙한 분석 엔진과 도구를 사용할 수 있도록 아이스버그의 안정적인 카탈로그 인터페이스를 지원한다. 기업은 현재 즉시 사용 가능한 유니폼을 통해 호환성을 확보할 수 있다. 아이스버그 팀의 합류로 데이터브릭스는 델타 레이크 유니폼을 한층 더 확장할 수 있게 되었다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 "오늘날 레이크하우스 패러다임은 가장 널리 사용되는 두 가지 형식인 델타 레이크와 아이스버그로 나뉘어져 있다”며 “데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력하여 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획”이라고 밝혔다. 그는 “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다”며 “유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 되어 매우 기쁘다”고 강조했다. 데이터브릭스와 타뷸러는 오픈소스 형식을 옹호한다는 공통점을 공유해왔다. 두 기업 모두 창립자가 개발한 오픈소스 기술을 상용화하기 위해 설립됐으며, 현재 데이터브릭스는 매출 기준으로 가장 규모가 크고 성공적인 독립 오픈소스 회사로서 오픈소스 프로젝트에 1천200만 줄의 코드를 기부하기도 했다. 이번 인수는 클라우드에서 개방형 포맷과 오픈소스 데이터에 대한 데이터브릭스의 지속적인 노력을 보여주며, 기업이 데이터를 제어하고 독점 공급업체 소유의 형식으로 인한 종속성에서 벗어날 수 있도록 지원한다. 라이언 블루 타뷸러 공동창업자 겸 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다"며 “개방형 레이크하우스가 업계 표준으로 자리 잡으면서 아이스버그와 델타 레이크의 인기는 크게 상승했다”고 밝혔다. 그는 “타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획으로, 이를 통해 '올바른' 형식을 선택하기 위한, 그리고 독점 데이터 포맷에 종속되지 않기 위한 기업의 우려를 해결하는 데 힘쓰고자 한다”고 강조했다.

2024.06.10 14:15김우용

스노우플레이크, '아이스버그 테이블' 정식 출시

[샌프란시스코(미국)=김우용 기자] 스노우플레이크가 자사 플랫폼에 아파치 아이스버그를 통합할 수 있는 '아이스버그 테이블'을 정식 출시했다. 이와 함께 기업의 데이터 거버넌스와 규제준수를 세밀하게 관리할 수 있는 '호라이즌'도 대폭으로 업그레이드했다. 스노우플레이크는 4일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크서밋2024' 둘째날 행사에서 외부에 저장된 아이스버그 데이터를 자사 플랫폼에서 쉽게 사용하고 거버넌스를 준수하며 협업할 수 있게 하는 '아이스버그 테이블'을 정식 출시(GA)한다고 발표했다. 오픈소스 테이블 포맷인 아파치 아이스버그(Apache Iceberg)는 조직이 데이터로부터 가치를 추출하고 접근할 수 있도록 한다. 스노우플레이크는 고객이 '아이스버그 테이블'을 통해 데이터 상호 운용성을 확보하고, 데이터 위치에 상관없이 빠른 속도의 분석 성능을 누릴 수 있다고 강조한다. 부킹닷컴, 캐피털원, 인디드, 코모도헬스 등의 기업은 스노우플레이크 고객으로서 아이스버그 테이블로 데이터 레이크하우스, 데이터 레이크 및 데이터 메시 등 개방적이고 유연한 아키텍처 패턴을 구현해 파이프라인, 모델을 더욱 단순화해 개발해 사용하고 있다. 조직은 아이스버그 테이블을 사용해 자체적으로 데이터를 처리하고 조직 운영의 유연성을 확보, 기업 가치를 높일 수 있다. 론 올트로프 스노우플레이크 데이터레이크&아이스버그 제품 매니저는 “아이스버그 테이블은 정식 출시와 더불어 많은 성능 향상을 이뤘다”며 “고객은 스노우플레이크 저장소와 성능면에서 동일한 내부의 아이스버그 테이블을 볼 수 있게 됐다”고 설명했다. 그는 “아이스버그의 쿼리 성능은 작은 파일을 수백만개로 나눠 작성하는 경우 저하되곤 했다”며 “이제 동일한 양의 데이터를 가져와 압축을 실행함으로써 더 적은 양의 파일을 만들어 성능이 좋아졌고, 결과적으로 파일 최적화를 통해 처음 아이스버그 테이블을 만들었을 때보다 2배 빨라졌다”고 덧붙였다. 전날 발표된 '폴라리스 카탈로그(Polaris Catalog)'와 함께 아이스버그 테이블 정식 출시는 아파치 아이스버그를 위한 벤더 중립적이고 완전히 개방적인 카탈로그 구현을 의미한다. 폴라리스 카탈로그는 다양한 엔진 간의 상호운용성이 가능해 기업들에 새로운 수준의 데이터 선택권, 유연성 및 제어권을 더욱 높인다. 조직은 스노우플레이크의 AI 데이터 클라우드에서 호스팅되는 폴라리스 카탈로그(스노우플레이크 호스팅 기반 퍼블릭 프리뷰 예정)로 시작하거나, 컨테이너를 사용해 자체 인프라에서 직접 호스팅할 수 있다. AI 기술 발전으로 기업 데이터의 가치는 향상되고, 다양한 사업 부서 및 팀에서 데이터, LLM, 애플리케이션이 늘어나고 있다. 기업이 자사의 데이터를 보호하고, 고객이 이를 최대한 활용할 수 있도록 하기 위해 스노우플레이크는 통합된 컴플라이언스, 보안, 개인 정보 보호, 상호운용성 및 액세스 권한을 제공하는 플랫폼에 내장된 거버넌스 및 디스커버리 솔루션인 스노우플레이크 호라이즌을 발전시키고 있다. 이는 조직 내부의 콘텐츠뿐만 아니라 써드파티 업체의 콘텐츠에도 적용할 수 있다. 스노우플레이크 호라이즌의 새로운 기능 중 하나인 인터널 마켓플레이스(프라이빗 프리뷰)를 통해 사용자는 조직 내에서 특정 팀이 찾아 사용할 수 있도록 데이터, 모델 및 애플리케이션을 큐레이션 및 발행할 수 있도록 지원한다. 동시에 외부 당사자에게는 실수로 공유될 수 없도록 보안을 강화했다. 팀은 조직 내에서 콘텐츠 열람 권한을 제한할 수도 있다. 스노우플레이크는 AI 모델(프라이빗 프리뷰 예정), 아이스버그 테이블 및 다이나믹 테이블(Dynamic Tables) 등 협업 기능을 계속해서 확장하고 있다. 스노우플레이크는 모든 사용자가 다양한 활용사례를 쉽게 찾아낼 수 있도록 AI 기능도 강화했다. '유니버설 서치'를 통해 고객은 스노우플레이크 스토리지, 외부 아이스버그 스토리지 및 써드파티 업체 데이터까지 AI 데이터 클라우드에서 검색할 수 있다. 스노우플레이크가 지난해 5월에 인수한 니바의 최첨단 검색 엔진 기술을 기반으로 구축된 이 기능을 통해 사용자는 자연어로 데이터를 찾아내 신속하게 조치할 수 있다. 더불어 데이터 발견 및 큐레이션을 위해 스노우플레이크는 새로운 AI 기반 오브젝트 설명(프라이빗 프리뷰 예정)을 추가했다. 이 기능은 테이블과 뷰에 대한 관련 컨텍스트와 코멘트를 자동으로 생성한다. 스노우플레이크는 고객들의 요구에 대한 플랫폼 성능과 효율성을 지속적으로 향상시키기 위해 노력하고 있다. 스노우플레이크의 성능을 측정하는 스노우플레이크 성능 지수(SPI)에 따르면, 2022년 8월 대비 지난 4월 30일 기준으로 고객 환경에서 통일 워크로드에서의 쿼리 실행 시간이 27% 개선됐으며, 4월 기준 1년 전과 비교해 12% 개선됐다. 데이터 로딩도 더 빨라져 비용을 절감했다. 2022년 8월 대비 지난 4월 30일 기준으로 고객들은 직접 조치를 하지 않아도 JSON 포맷 파일 로딩에 대해 최대 25% 성능을 높였고, 파케이 파일 로딩에 대해서도 성능을 최대 50% 높였다. 현재 스노우플레이크는 40개 이상의 클라우드 리전을 지원하며 전세계적으로 AI 데이터 클라우드의 영향력을 높이고 있다. 데이터 관리에 대해 엄격하게 규제된 지역 및 국가도 포함된다. 유럽 고객의 데이터 서비스 등에 강력하게 적용되는 EU 전용 데이터 경계도 포함되며 미국 국방부(DoD)에 맞춘 별도의 환경 또한 제공할 예정이다. 이 환경은 바운더리 클라우드 엑세스 포인트(BCAP)와의 네트워킹 통합을 포함해 임팩트 레벨 4(IL4) 보안 컨트롤 요건을 충족한다.

2024.06.05 10:00김우용

스노우플레이크, 아이스버그용 오픈소스 카탈로그 공개

[샌프란시스코(미국)=김우용 기자] 스노우플레이크가 아파치 아이스버그 호출 API를 표준화할 수 있는 데이터 카탈로그를 공개했다. 스노우플레이크는 3일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크 서밋 2024'에서 '폴라리스 카탈로그(Polaris Catalog)'를 발표했다. 폴라리스 카탈로그는 개방형 데이터 카탈로그 서비스로, 데이터 레이크하우스, 데이터 레이크 및 기타 모던 아키텍처를 구현하는 데 주로 사용되는 오픈소스 데이터 테이블 포맷인 아파치 아이스버그를 지원한다. 아마존웹서비스(AWS), 컨플루언트, 드레미오, 구글 클라우드, 마이크로소프트 애저, 세일즈포스 같은 주요 클라우드 서비스 플랫폼과 상호 호환된다. 론 올트로프 스노우플레이크 데이터레이크&아이스버그 제품 매니저는 “폴라리스 카탈로그는 아파치 아이스버그 API의 참조 구현”이라고 요약했다. 그는 “아파치 아이스버그는 개방형 테이블 형식으로 운영 또는 메타데이터 카탈로그 서비스를 사용한다”며 “스노우플레이크 테이블을 만들 때 ACID를 준수하는 메타데이터 스냅샷을 통해 일관된 데이터를 쿼리할 수 있는데, 이러한 메타데이터 스냅샷은 아이스버그 카탈로그에 대한 API 호출을 통해 얻을 수 있다”고 설명했다. 그는 “아파치 아이스버그 오픈소스 사양에 REST API가 있지만, 해당 사양의 오픈소스 참조 구현은 없다”며 “이 때문에 고객은 API가 호출에 응답할 수 있도록 엔드포인트와 인프라, API 작동 코드 등을 자체적으로 구축해야 하는데, 이제 스파크, 트리노, 스노우플레이크 등과 상호 운용 가능한 컴퓨팅 엔진에서 아파치 아이스버그를 활용하려는 모든 사람은 폴라리스에서 동일한 API를 사용할 수 있다”고 밝혔다. 폴라리스 카탈로그를 이용하면 아파치 아이스버그 테이블을 쿼리하기 위한 API 호출 코드를 구글 클라우드 내부에서, 마이크로소프트 패브릭 내부에서 동일하게 사용할 수 있다. 사용자는 아이스버그의 오픈소스 REST 프로토콜을 기반으로 하는 폴라리스 카탈로그를 통해 중앙화된 서비스에서 보안과 개방된 상호 운용성을 보장 받으며, 아파치 플링크, 아파치 스파크, 드레미오, 파이썬, 트리노 등 아이스버그 REST API를 지원하는 모든 엔진의 데이터를 액세스하고 검색할 수 있다. 기업들은 스노우플레이크의 AI 데이터 클라우드 내에서 폴라리스 카탈로그를 빠르게 실행할 수 있으며, 도커나 쿠버네티스 같은 컨테이너를 사용해 자체 인프라에서 직접 호스팅 할 수도 있다. 백엔드 구현을 오픈소스로 제공하는 폴라리스 카탈로그를 통해 보안은 유지하면서 자유롭게 호스팅 인프라를 교체하고 특정 공급자에 종속되는 것을 방지할 수 있다. 슈리다 라마스워미 스노우플레이크 CEO는 스노우플레이크서밋 2024 기조연설에서 “AI 데이터 클라우드의 범위와 기능 확장에 따라 많은 고객, 특히 대기업이 보안과 데이터 액세스를 중앙 집중화할 수 있는 더 나은 방법을 요청해 왔다”며 “올바른 엔진 또는 올바른 작업을 적용하고 새로운 사용 사례에 스노우플레이크를 테스트할 수 있는 간단하고 효율적인 방법을 원한다”고 말했다. 그는 “폴라리스 카탈로그는 개방형 카탈로그 인터페이스로 AWS, 구글, 마이크로소프트 애저, 기타 여러 리더 등과 호환성을 제공하게 한다”며 완벽한 제어와 유연성을 제공하며, 향후 90일 이내에 카탈로그 인터페이스를 오픈소스화할 것”이라고 밝혔다. 폴라리스 카탈로그 서비스는 특정 공급자가 제품을 임의로 통제할 수 없는 벤더 중립으로 향후 90일 이내에 오픈소스로 공개될 예정이다. 이를 통해 다양한 기업과 아이스버그 커뮤니티에서 새로운 기능과 유연성, 철저한 기업 보안을 유지하며 데이터를 활용할 수 있을 것으로 전망된다. 아파치 아이스버그는 2020년 5월 인큐베이션 단계를 마치고 아파치 소프트웨어 재단의 최상위 프로젝트로 등록됐다. 이후 개발자들의 높은 관심을 받으며 대표적인 오픈소스 데이터 테이블 포맷으로 자리 잡았다. 아파치 아이스버그는 커뮤니티 구성원들이 활발하게 도입하고 상업적 서비스로 활용하면서 빠른 속도로 발전하고 있다. 스노우플레이크는 폴라리스 카탈로그가 커뮤니티를 확장하고 점차 높아지는 사용자 기대치를 충족하기 위해 아이스버그 생태계와 협력해 나가고 있다. 스노우플레이크의 적극적인 커뮤니티 지원은 최근 마이크로소프트와 확장한 파트너십과도 연결된다. 양사는 업계를 주도하는 오픈 스토리지 포맷 표준인 아파치 아이스버그와 아파치 파케이를 지원하고, 이에 따라 스노우플레이크와 패브릭 간 상호 운용성 또한 원활해졌다. 이제 양사는 폴라리스 카탈로그를 통해 데이터의 저장 위치에 상관없이 모든 사용자가 엔터프라이즈 데이터를 활용해 AI 기반 애플리케이션을 대규모로 생성하도록 협업해 나갈 예정이다. 스노우플레이크는 전 세계 수천 개 고객의 크로스 클라우드 데이터 및 AI 워크로드를 지원하는 데이터 기반으로서의 전문성과, 빠르게 성장하는 아이스버그 커뮤니티의 혁신 및 오픈소스 기술을 바탕으로 서로 다른 엔진 간 데이터 상호 운용성을 간소화할 계획이다. 폴라리스 카탈로그는 아이스버그 테이블에 대한 투자와 마찬가지로 오픈소스의 발전을 향한 스노우플레이크의 의지이기도 하다. 이를 통해 스노우플레이크 고객은 아파치 아이스버그 포맷으로 각자의 스토리지에서 데이터 작업을 수행할 수 있으며, 스노우플레이크의 사용 편의성, 성능 및 통합 거버넌스의 혜택도 누릴 수 있다. 최근 스노우플레이크는 개방형 엔터프라이즈급 LLM 스노우플레이크 아크틱을 발표했다. 오픈소스 생태계를 지원하기 위해 아크틱은 아파치 2.0 라이선스 기반 오픈소스로 공개됐으며 매뉴얼 개념인 쿡북을 통해 자세한 내용을 소개하고 있다. 스노우플레이크는 현재 매월 27만 5천명 이상의 현역 개발자와 매월 600만 건 이상의 애플리케이션 조회수를 보유한 스트림릿 오픈소스 커뮤니티를 지원한다. 스트림릿은 2022년 3월 스노우플레이크에 인수된 후 지난 2년 동안 500% 이상 성장해 왔다. 스노우플레이크와 스트림릿은 개발자를 위한 최첨단 오픈소스 발전에 아낌없는 투자를 이어가고 있다.

2024.06.04 20:06김우용

클라우데라, 차세대 개방형 데이터 레이크하우스 발표

클라우데라는 기업의 데이터 경험을 혁신하는 차세대 개방형 데이터 레이크하우스를 6일 공개했다. 클라우데라는 프라이빗 클라우드용 아파치 아이스버그와 개방형 데이터 레이크하우스 공급업체로, 신뢰할 수 있는 분석과 대규모 AI를 지원한다. 클라우데라의 조사에 따르면 현재 미국 기업 53%가 생성형 AI 기술을 사용하며, 3분의 1 이상(36%)이 2024년 잠재적 구축을 위해 AI를 학습하는 것으로 나타났다. 호주의 경우 63%의 기업이 프로젝트 관리의 어려움을 극복하기 위한 핵심 솔루션으로 AI를 꼽았다. 하지만 많은 기업들이 분산된 데이터 인프라, 거버넌스 위험, 보안 문제 등으로 인해 데이터에 접근하거나 데이터로부터 비즈니스 가치를 창출하는 데 어려움을 겪으면서 AI 구축이 지연되고 있다. 클라우데라는 프라이빗 클라우드용 아파치 아이스버그를 제공, 기업이 안고 있는 문제를 해결하고 기업용 AI 배포를 빠르게 확장해 더 큰 데이터 가치를 창출할 수 있도록 지원한다. 아파치 아이스버그는 방대한 데이터 분석 테이블을 위한 오픈소스다. 이 컴포넌트를 프라이빗 클라우드에 적용하면 기업은 클라우드와 온프레미스 모두에 존재하는 방대한 양의 필수적인 데이터에 AI를 적용, 궁극적으로 새로운 사용 사례를 창출할 수 있다. 클라우데라는 이제 완전히 분리된 대규모 언어 모델(LLM) 구축을 진행할 수 있는 기능을 제공하고, 고객에게 향상된 보안과 데이터 프라이버시는 물론 더 나은 성능과 운영 비용 절감을 제공한다. 클라우데라는 비즈니스 연속성 향상과 끊김 최소화를 위한 제로 다운타임 업그레이드(ZDU)와 전송 레이어 보안(TLS) 1.2와 같은 보안을 강화했다. 쿼터, 스냅샷, 재해 복구 개선 사항과 같은 새로운 아파치 오존 기능으로 최신 워크로드의 막대한 데이터 소비 요구를 충족하기 위해 더 낮은 비용으로 훨씬 더 큰 확장성을 제공한다. 호환성과 유연성 향상을 위해 파이썬 3.10, RHEL 9.1, RHEL 8.98 FIPS, SLES 15 SP4, 오라클 8.8, JDK 17 등 통합 지원을 확대했다. 딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 “클라우데라의 사명은 고객이 어디서나 복잡한 데이터를 AI를 통해 그 어느 때보다 빠르고 쉽게 실행할 수 있는 인사이트로 전환할 수 있도록 지원하는 것”이라며 “분석과 AI를 위한 신뢰할 수 있는 데이터 기반을 제공함으로써 차세대 클라우드 네이티브 솔루션은 필수적인 데이터를 변환하고 혁신적인 AI 애플리케이션을 구축할 수 있는 무한한 가능성을 열어준다”고 밝혔다.

2024.03.06 11:03김우용