검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'데이터브릭스'통합검색 결과 입니다. (35건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

메가존클라우드, 데이터브릭스 마이그레이션 파트너상 수상

메가존클라우드(대표 이주완)가 데이터브릭스로부터 데이터 마이그레이션에 대한 전문성과 역량을 인정받았다. 메가존클라우드는 데이터브릭스 아시아태평양 및 일본(APJ) 지역 파트너 어워드 2024에서 APJ 마이그레이션 파트너상을 수상했다고 9일 밝혔다. 데이터브릭스는 전세계 2천개 이상 파트너사를 보유한 클라우드 레이크하우스 플랫폼 제공업체다. 9천여개 고객에게 데이터 분석과 AI 작업을 통합적으로 수행할 수 있는 오픈 플랫폼을 공급하고 있다. 이번 파트너 어워드는 데이터브릭스 기술과 솔루션을 바탕으로 다양한 고객 성공사례를 창출하는 등 우수한 협력관계를 이어온 아시아태평양 및 일본 지역 파트너사를 선정하는 행사다. 메가존클라우드는 2021년 데이터브릭스와 파트너십을 체결한 이래 클라우드 전환 과정에서 어려움을 겪는 많은 기업고객들을 위해 데이터브릭스 솔루션을 기반으로 기술검증, 고객사 대상 핸즈온 세션 지원, 데이터 전환 구축 사업 등을 진행하고 있다. 100여명 규모의 AI 및 데이터 분석 전문 조직인 AI&데이터 분석 센터(ADC)를 통해 데브시스터즈, 무신사 등 기업 고객에 최적화된 데이터브릭스 솔루션 구축과 함께 기술 지원을 제공해왔다. 이와 함께 데이터 엔지니어링 업무가이드, 마이그레이션 서비스, 데이터브릭스 유니티 카탈로그 등 고객사가 데이터와 AI의 통합 거버넌스를 위해 데이터브릭스 활용을 극대화할 수 있도록 지원하는 데이터브릭스 프로페셔널 서비스를 제공하고 있다. 지난 3월에는 데이터브릭스의 생태계 역량 강화 프로그램인 딜리버리 프로바이더 프로그램 파트너십 계약을 체결했으며, 5월에는 데이터브릭스의 최고 등급 파트너인 엘리트(Elite) 파트너로 선정된 바 있다. 메가존클라우드 공성배 ADC 센터장은 “올해 상반기 파트너십을 강화한데 이어 이번 수상으로 고객의 데이터 기반 혁신을 위한 기술력을 인정받게 됐다”며 “앞으로도 데이터브릭스와의 긴밀한 협력으로 고객에게 최상의 데이터 인텔리전스 솔루션을 제공하고 더 큰 비즈니스 가치를 창출할 수 있도록 지원을 아끼지 않을 것”이라고 말했다. 데이터브릭스 그렉 테일러 아시아태평양 지역 파트너 총괄 부사장은 “메가존클라우드는 국내 고객을 위해 데이터 및 AI 혁신을 선도하고 있으며 복잡한 데이터 마이그레이션 프로젝트와 데이터브릭스 데이터 인텔리전스 플랫폼을 통해 고객 데이터 인프라를 현대화를 성공적으로 수행했다”며 “고객의 확장성 향상과 운영 효율성 개선을 이루어낸 메가존클라우드를 데이터브릭스 아시아태평양 및 일본 지역 마이그레이션 파트너로 선정했다”고 말했다.

2024.09.09 14:56남혁우

[인터뷰] "2년 내 韓서 급성장 할 것"…자신감 내비친 클라우데라 CRO, 이유는?

"앞으로 2년 안에 한국에서 급격한 성장을 이룰 것으로 보고 있습니다. 한국에서 많은 기회를 가질 수 있을 것으로 보고 인력 충원 등 투자도 최근 대폭 확대하고 있습니다." 프랭크 오도드 클라우데라 최고매출책임자(CRO)는 지난 7일 싱가포르 마리나 베이 샌즈에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에 참석한 후 기자와 만나 한국 시장을 '기회의 땅'으로 보고 있다고 강조하며 이처럼 밝혔다. 최근 생성형 AI 트렌드 확대에 힘입어 아시아-태평양 지역 중에서도 한국 기업들의 데이터 활용 수요가 급증하고 있다고 판단해서다. 21일 한국데이터산업진흥원 분석에 따르면 국내 데이터 산업 시장 규모는 최근 3년간 연평균 11.9%씩 성장해 약 25조원 수준으로 커졌다. 오는 2027년에는 50조원 규모에 이를 것으로 전망된다. 이에 클라우데라는 최근 들어 은행, 통신사, 정부 기관뿐 아니라 제조업에 속한 기업들을 주요 고객으로 두고 한국 시장 공략에 적극 나서고 있다. 이날 인터뷰에 함께 참여한 리무스 림 클라우데라 아시아 태평양 및 일본 지역 수석 부사장은 "주요 타겟은 복잡한 데이터 문제를 가진 고객들로, 여러 곳에 데이터가 흩어져 있고 방대한 데이터 레거시를 가진 기업들"이라며 "한국에서는 많은 기업들이 오픈 소스를 원하는 곳들이 많다는 점에서 우리에게는 좋은 기회가 되고 있다"고 설명했다. 이어 "많은 기업들은 소프트웨어를 관리하는 대신 비즈니스에 집중하고 싶어한다"며 "우리가 소프트웨어를 관리하며 기업의 혁신을 돕는 역할을 담당하길 원하고, 하이브리드 솔루션을 완전하게 제공하는 유일한 회사라는 점에서 분명 차별점이 있다고 믿는다"고 덧붙였다. 또 그는 "우리가 정의하는 하이브리드는 클라우드와 온프레미스를 넘나들며 양방향으로 데이터를 전송할 수 있는 것을 의미한다"며 "고객이 자사 제품을 활용할 시 데이터를 어디에 배치하든 코드를 다시 작성할 필요가 없다는 점에서 좀 더 비즈니스 목표에 맞게 유연하게 대처하길 원하는 곳들이 우리를 찾고 있다"고 밝혔다. 현재 데이터 산업에는 데이터 처리 및 관리 솔루션 개발, 데이터 구축 및 컨설팅 서비스업, 데이터 판매 및 제공 서비스업 시장 등이 존재한다. 특히 데이터를 처리하고 관리하는 분야에서 클라우데라뿐 아니라 스노우플레이크, 데이터 브릭스 등이 치열한 경쟁이 펼쳐지고 있다. 클라우데라는 전 세계에서 유일하게 전체 데이터 라이프사이클을 관리할 수 있는 곳이란 점에서 시장 내 독보적 위치를 구축하고 있다. 특히 2018년 발표한 데이터 관리 솔루션 'CDP'는 클라우데라를 데이터 플랫폼 회사로 거듭나게 한 대표 서비스로 우뚝 올라섰다. 지난해 하반기 기준 클라우데라가 전 세계에서 관리하는 데이터 양은 25EB(엑사바이트)에 달했다. 테라바이트(TB)로 환산하면 2천500만 TB에 이른다. 그간의 노하우를 바탕으로 모든 유형의 데이터를 신뢰할 수 있는 값진 인사이트로 전환할 수 있도록 지원해준다는 점에서 금융, 통신, 제조 부문 기업들은 앞 다퉈 클라우데라의 고객사로 합류했다. 실제 전 세계 톱 글로벌 보험사 10곳 중 9곳이, 세계적인 은행 10곳 중 8곳이 클라우데라를 택했다. 190개 이상 각국 정부 기관들도 마찬가지다. 덕분에 매출도 빠르게 늘었다. 클라우데라는 지난 2014년 연매출액이 1억 달러(약 1천400억원)를 돌파했으나, 약 10여년 만인 지난해 10억 달러(약 1조4천억원)를 넘어서며 쾌속 성장한 모습을 보였다. 또 클라우데라는 테크 기업의 성장성과 수익성을 동시에 평가 할 수 있는 '룰 오브 40(Rule of 40)' 기준도 충족하며 건실한 기업임을 입증하고 있다. 이는 매출액 성장률에 상각 전 영업이익(EBITA)를 더한 값이 40% 이상을 뜻하는 것으로, 수익성을 잃지 않으면서도 높은 성장을 유지하는 테크 기업임을 평가하는 지표다. 클라우데라의 경쟁사들 중 일부는 아직 흑자를 내지 못하고 있다는 점에서 대조적인 성과다. 이는 오도드 CRO의 역할도 컸다. 그는 오라클, 가이드와이어 등 25년 이상 업계에서 쌓은 경험을 바탕으로 고객 혁신에 중점을 두고 클라우데라의 영업팀을 이끌어 좋은 성과를 냈다는 평가를 받고 있다. 최근에는 아-태지역에 대한 투자 확대를 통해 새로운 매출 확대 기회를 엿보고 있다. 오도드 CRO는 "지금까지 그랬듯이 앞으로도 계속해서 두 자릿수 성장을 목표로 하고 있고, 특히 퍼블릭 클라우드 제품과 관련해선 세 자릿수 성장률을 계속 이어갈 것으로 보인다"며 "최근 퍼블릭 클라우드와 프라이빗 클라우드 모두에서 사용할 수 있는 신제품을 선보인 만큼 올해는 연매출 11억 달러 달성도 무난할 것으로 기대하고 있다"고 밝혔다. 이어 "특히 아-태 지역은 다른 곳과 달리 매우 역동적인 시장을 구축하고 있어 (매출 확대 기회가 많을 것으로 보여) 큰 기대감을 갖고 있다"며 "앞으로 이 지역에 대한 투자를 더 확대해 나갈 계획"이라고 덧붙였다. 특히 클라우데라는 한국이 혁신적인 시장이긴 하지만 금융권을 중심으로 데이터 분석 및 관리에 대한 경쟁력이 다소 약하다는 점에서 향후 사업 기회가 더 많을 것으로 예상했다. 림 부사장은 "카카오페이, 삼성전자 등 몇몇 한국 기업들은 AI뿐 아니라 다양한 산업 변화에 맞춰 혁신하기 위해 많은 투자를 하고 있다는 점에서 흥미로운 시장"이라며 "특히 모바일 결제 시스템을 운영하면서 혁신을 꾀하는 일부 기업의 경우 자사 제품을 활용해 좋은 성과를 내고 있다는 점이 고무적"이라고 평가했다. 그러면서 "한국 통신사나 미디어, 커뮤니케이션 관련 기업들은 대량의 데이터를 관리하며 상당히 높은 수준으로 데이터 산업 변화에 맞춰 잘 대응하고 발전하고 있다"며 "다만 은행 등 금융권은 상대적으로 덜 발전해 있는 편이라고 본다"고 덧붙였다. 또 그는 "현재 한국 시장에서 매출을 키워나가기 위해 시스템 통합(SI) 업체들과 협력 중"이라며 "올해 AI 등과 관련한 기술 연구개발에 더 많은 투자를 계획 중으로, 한국에선 앞으로 SI 업체들과 생태계를 구축해 나가며 사업 영역을 확장해 나갈 것"이라고 강조했다.

2024.08.21 09:47장유미

데이터브릭스, 강형준 신임 한국지사장 선임

데이터브릭스는 강형준 신임 한국 지사장과 엄경순 한국지사 기술총괄 부사장을 선임한다고 15일 발표했다. 데이터브릭스는 이번 신규 임원 영입을 통해 한국 시장 내 입지를 강화하고, 국내 고객의 비즈니스 성장 지원 및 성공을 촉진한다는 계획이다. 강형준 데이터브릭스 코리아 대표 겸 지사장은 데이터 소프트웨어 업계에서 20년 이상의 경력과 풍부한 리더십 경험을 갖춘 전문가다. 이같은 경험을 바탕으로 향후 데이터브릭스 한국 사업을 이끌며 다양한 산업 분야에서 데이터브릭스 데이터 인텔리전스 플랫폼의 도입 촉진에 앞장설 예정이다. 강 지사장의 선임은 데이터브릭스가 지난 회계연도 한국에서 전년 대비 100%의 성장률을 기록한 데 따른 결과다. 데이터브릭스에 합류하기 전에는 구글 클라우드 코리아의 지사장을 역임했으며, 이전에는 스노우플레이크 한국 지사장을 지냈다. 또한 클라우데라, 호튼웍스, 테라데이터에서 주요 요직을 두루 거치며 비즈니스 성장을 주도한 바 있다. 에드 렌타 데이터브릭스 아태지역 총괄 수석 부사장은 "강형준 지사장이 데이터 소프트웨어 기업의 확장에 대한 전문성을 갖춘 강 지사장이 한국 시장에서 비즈니스를 새로운 차원으로 끌어올리고, 보다 많은 고객이 데이터 및 AI 혁신 여정에서 성공을 거둘 수 있도록 지원할 것이라고 확신한다”고 설명했다 강형준 데이터브릭스코리아 지사장은 "국내 기업들이 데이터브릭스의 데이터 인텔리전스 플랫폼을 도입하여 데이터 문제를 해결하고, 생성형 AI의 이점을 활용할 수 있도록 지원하는 데에는 방대한 기회가 있다고 생각한다”며 “데이터브릭스에 합류해 고객과 긴밀히 협력하고 데이터와 AI의 잠재력을 최대한 활용할 수 있도록 지원하게 되어 매우 기쁘다"고 밝혔다. 데이터브릭스는 엄경순 데이터브릭스 코리아 기술 총괄 부사장을 새롭게 영입했다. 엄경순 부사장은 30년 이상의 기술 솔루션 구현 및 디지털 전환 여정 지원 경험을 보유하고 있다. 데이터브릭스에 합류하기 전에는 구글 클라우드 코리아에서 기술 총괄로 재직했으며, IBM에서 30년 이상 근무하며 아태지역에서 다양한 임원 요직을 수행해 왔다. 닉 에어스 데이터브릭스 아태지역 필드 엔지니어링 담당 부사장은 "엄경순 부사장이 데이터브릭스 코리아의 기술 및 필드 엔지니어링 팀을 이끌게 되어 기쁘게 생각한다”며 “엄 부사장의 심도 있는 기술 전문성과 널리 검증된 기술 문제 해결력을 바탕으로, 국내 고객이 데이터브릭스 데이터 인텔리전스 플랫폼에서 데이터 및 AI 전략을 해결하고 구현하는 데 핵심적인 역할을 할 것이라고 확신한다”고 밝혔다. 엄경순 데이터브릭스 코리아 기술 총괄 부사장은 “데이터브릭스는 데이터 및 AI 분야의 선두주자다. 보다 많은 고객과 경영진이 통합 플랫폼의 가치를 이해하고 활용함으로써 데이터 및 AI 우선순위를 원활하게 실행하고 비즈니스 가치를 창출할 수 있도록 지원할 수 있게 되어 매우 기쁘다”고 강조했다.

2024.07.15 10:01김우용

데이터브릭스, '유니티 카탈로그' 오픈소스화

데이터브릭스는 클라우드, 데이터 형식 및 데이터 플랫폼 전반의 데이터 및 AI 거버넌스를 위한 업계 유일의 통합 솔루션인 유니티 카탈로그(Unity Catalog)를 오픈소스로 제공한다고 19일 발표했다. 데이터브릭스는 아마존웹서비스(AWS), 구글 클라우드, 마이크로소프트, 엔비디아, 세일즈포스 등 글로벌 지원을 받아 데이터 및 AI를 위한 개방형 카탈로그 표준에 투자하고 있다. 데이터브릭스 유니티 카탈로그 OSS는 모든 데이터 형식과 컴퓨팅 엔진을 지원하는 범용 인터페이스를 제공한다. 여기에는 델타 레이크, 아파치 아이스버그 및 아파치 후디 클라이언트를 통해 델타 레이크 유니폼(UniForm)으로 테이블을 읽을 수 있는 기능이 포함된다. 아이스버그 REST 카탈로그 및 하이브 메타스토어(HMS) 인터페이스 표준도 지원된다. 유니티 카탈로그 OSS는 테이블 데이터, 비 테이블 데이터, 그리고 머신러닝(ML) 모델 및 생성형 AI 도구와 같은 AI 자산에 대한 통합 거버넌스를 제공해 조직이 대규모로 관리를 간소화할 수 있도록 한다. 유니티 카탈로그 OSS는 테이블 형식 데이터, 비 테이블 형식 데이터, 그리고 ML 모델 및 생성형 AI 도구와 같은 AI 자산에 걸친 통합 거버넌스를 제공해 조직이 대규모로 관리, 검색, 및 개발을 간소화할 수 있도록 돕는다. 유니티 카탈로그 OSS는 오픈 API와 아파치 2.0 라이선스의 오픈소스 서버를 통해 다양한 엔진, 도구 및 플랫폼 전반에 걸친 광범위한 상호운용성을 지원한다. 이로써 유연성과 선택의 폭을 극대화한다. 조직은 데이터 및 AI 워크로드 처리를 위해 상호 운용 가능한 카탈로그를 필요로 한다. 데이터브릭스는 이러한 고객 수요를 충족하기 위해 2021년 유니티 카탈로그를 출시했다. 기존 조직은 단일 목적을 가진 여러 개의 솔루션에 의존했다. 이에 따라 플랫폼 간, 그리고 데이터 및 AI 자산 간 사일로가 발생했으며, 다중 테이블 형식의 테이블 데이터, 비정형 데이터, ML 모델, 벡터 인덱스 및 AI 도구를 결합하는 현대적인 데이터 및 AI 애플리케이션을 구축하는 데 한계가 있었다. 고객은 메타데이터 사일로를 관리하기 위해 복잡한 웹을 만들고, 다양한 엔진에 접근하기 위해 데이터를 여러 장소나 형식으로 복사하거나, 카탈로그 간의 메타데이터를 동기화하기 위해 자체 솔루션을 유지해야 했다. 결과적으로 비용과 복잡성이 증가하고, 거버넌스가 약화됐으며, 접근 제어가 파편화됐다. 유니티 카탈로그는 오늘날 1만개 이상의 조직에서 사용되고 있다. 이번 발표로 데이터브릭스는 상호 운용 가능한 도구, 데이터 및 AI 자산에 대한 범용 지원, 그리고 내장된 보안으로 구성된 생태계를 촉진하고 데이터 및 AI 거버넌스를 계속해서 선도해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “전 세계 데이터브릭스 고객이 유니티 카탈로그를 애용하고 있다”며 “유니티 카탈로그를 사용하면 여러 개의 단일 목적 솔루션을 조합할 필요 없이, 데이터브릭스 데이터 인텔리전스 플랫폼 내에서 테이블형 데이터, 비정형 데이터, AI 및 ML 자산 등 모든 데이터 개체를 신뢰할 수 있는 단일 솔루션으로 관리할 수 있다”고 설명했다. 그는 “메타데이터와 거버넌스를 오픈소스로 공개함에 따라, 오늘날의 데이터 및 AI 환경에서 기업이 필요로 하는 거버넌스 솔루션을 제공할 수 있게 됐다”며 “유니티 카탈로그를 오픈소스로 제공하고 코드를 공개하게 돼 기쁘게 생각하며, 파트너와 긴밀한 협업을 통해 개방형 표준을 지속적으로 발전시켜 나갈 예정이다”라고 강조했다.

2024.06.19 09:12김우용

데이터브릭스, 엔비디아와 협력 강화

데이터브릭스는 엔비디아와 협력을 확대하고, 데이터 및 AI 워크로드를 최적화하기 위해 자사 데이터 인텔리전스 플랫폼에 엔비디아 쿠다 가속 컴퓨팅을 도입한다고 17일 발표했다. 이 내용은 데이터브릭스가 미국 샌프란시스코에서 10일부터 13일까지 개최한 데이터 + AI 서밋에서 공유됐다. 기업 데이터를 생성 AI 애플리케이션에 사용하기 위해서는 데이터 준비, 큐레이션 및 처리 워크로드가 필수적으로 요구되는데, 이에 양사는 최신 AI 팩토리를 위한 AI 개발 파이프라인의 효율성, 정확성 및 성능을 향상하기 위해 협력한다는 계획이다. 데이터브릭스는 자사 데이터 인텔리전스 플랫폼에 엔비디아 GPU 가속을 위한 기본 지원을 추가할 예정이다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본 지원을 개발할 계획이다. 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 향상한다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터브릭스와 엔비디아는 이번 협업으로 가격 대비 성능의 수준을 한 단계 끌어 올린다는 계획이다. 엔비디아는 이달 초 개최된 컴퓨텍스에서 데이터브릭스의 오픈소스 모델인 DBRX가 엔비디아의 NIM 마이크로서비스로 제공된다고 발표했다. 엔비디아 NIM 추론 마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가할 수 있는 간단하고 표준화된 방식을 제공한다. 이로써 모델을 완전히 최적화되고, 사전 구축되었으며, 어디서나 배포할 수 있는 컨테이너로 제공해 엔터프라이즈 개발자의 생산성을 획기적으로 높인다. 올해 3월 출시된 DBRX는 데이터브릭스 고객 및 파트너가 사용할 수 있는 모든 도구와 기술을 활용해 완벽하게 데이터브릭스를 기반으로 구축되었으며, 개발자를 위한 확장 가능한 엔드 투 엔드 AI 플랫폼인 엔비디아 DGX 클라우드로 학습됐다. 조직은 기업 데이터로 DBRX를 커스터마이징해 특정 조직을 위한 고품질 모델을 생성하거나, DBRX와 비슷한 맞춤형 전문가 혼합(MoE) 모델을 처음부터 구축하기 위해 DBRX를 참조 아키텍처로서 사용할 수 있다. 데이터브릭스의 데이터 인텔리전스 플랫폼은 엔드투엔드 생성형 AI 애플리케이션의 개발, 평가, 배포, 보안 및 모니터링을 위한 가장 포괄적인 플랫폼을 제공한다. 고객은 데이터브릭스 모자이크 AI의 데이터 중심 접근 방식을 통해 유연한 개방형 플랫폼의 이점을 누리고, 또 안전하고 정확하며 관리 가능한 고유 데이터를 기반으로 생성형 AI 애플리케이션을 손쉽게 확장할 수 있다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “엔비디와의 파트너십을 지속적으로 확장하고 분석 사용 사례와 AI에 걸쳐 고객을 위한 데이터 인텔리전스의 약속을 이행하게 돼 기쁘다”며 “엔비디아와 함께 모든 조직이 자체 데이터를 기반으로 자체 AI 팩토리를 구축하도록 지원할 수 있기를 기대한다”고 밝혔다. 젠슨 황 엔비디아 창립자 겸 CEO는 “데이터는 AI 산업 혁명의 원동력이며, 가속 컴퓨팅으로 데이터 처리 에너지 수요를 절감하는 것은 지속 가능한 AI 플랫폼을 구현하기 위한 핵심 요건”이라며 “데이터브릭스의 핵심 컴퓨팅 스택에 엔비디아 쿠다 가속을 도입함으로써 전 세계 고객이 데이터를 사용해 기업용 생성형 AI를 구동할 수 있는 기반을 마련할 예정”이라고 강조했다. 데이터브릭스는 최근 라이언 블루, 다니엘 윅스, 제이슨 리드 등이 설립한 데이터 관리 스타트업인 타뷸러의 전략적 인수를 발표했다. 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 또한, 최근 데이터브릭스는 고객이 효율적으로 데이터 사일로를 허물고 AI 혁신을 실현할 수 있도록 개방형 델타 쉐어링 생태계를 강화하기 위해 새로운 제품 혁신과 전략적 파트너십을 발표했다.

2024.06.17 10:08김우용

데이터브릭스, 신규 모자이크 AI 기능 출시

데이터브릭스는 프로덕션 품질의 생성형 AI 구축을 지원하기 위해 모자이크 AI에 새로운 기능을 출시한다고 13일 발표했다. 데이터브릭스는 모자이크 AI에서 복합 AI 시스템 구축 지원, 모델 품질 개선 기능 및 새로운 AI 거버넌스 도구 세 가지 핵심 영역에 투자한다. 이로써 고객이 프로덕션 품질의 애플리케이션을 구축 및 측정하고, 자사 비즈니스에서 생성형 AI의 가치를 실현하도록 지원한다는 계획이다. 기업은 개인정보 보호, 품질 및 비용 문제로 인해 생성형 AI 프로젝트를 시범 단계에서 본격적인 프로덕션 단계로 전환하는 데 어려움을 겪고 있다. 파운데이션 모델은 기존보다 크게 개선됐지만 고품질의 결과를 생성하는 데에는 여전히 한계가 있으며, 최고 성능 모델이어도 부정확하거나 안전하지 않은 응답을 제공하거나 기밀 데이터를 노출할 위험이 있다. 오늘날 조직은 이러한 문제를 해결하기 위해 하나의 초대형 모델보다는 복합 AI 시스템을 배포하는 데 집중하고 있다. 이러한 접근 방식은 다양한 모델, 검색기, 벡터 데이터베이스, 평가, 모니터링, 보안 및 거버넌스를 위한 도구 등 여러 구성 요소를 사용한다. 결과적으로 복합 AI 시스템은 훨씬 우수한 생산 품질을 보장함으로써 조직이 보다 정확하고 안전하며 관리 가능한 AI 애플리케이션을 효율적으로 제공할 수 있도록 지원한다. 데이터브릭스가 고객의 프로덕션 품질 생성형 AI 애플리케이션 구축을 지원하기 위해 새롭게 출시한 기능으로는 모자이크 AI 에이전트 프레임워크, 모자이크 AI 에이전트 이밸류에이션, 모자이크 AI 툴 카탈로그, 모자이크 AI 모델 트레이닝, 모자이크 AI 게이트웨이 등이 있다. 데이터브릭스는 새로운 기능을 통해 고객이 엔터프라이즈급 복합 AI 시스템을 구축하도록 돕는다. 검색 증강 생성(RAG)은 일종의 복합 AI 시스템으로, 벡터 데이터베이스와 같은 여러 구성 요소와 모니터링, 평가, 보안 및 거버넌스 도구를 사용해 LLM의 정확도를 향상한다. 지난 5월, 데이터브릭스는 데이터 인텔리전스 플랫폼에 원활하게 통합된 서버리스 벡터 데이터베이스인 모자이크 AI 벡터 검색을 정식 출시했다. 이번에는 개발자가 파운데이션 모델과 엔터프라이즈 데이터를 사용해 고품질 RAG 애플리케이션을 신속하고 안전하게 구축할 수 있는 모자이크 AI 에이전트 프레임워크를 발표했다. 개발자는 모자이크 AI 에이전트 이밸류에이션을 통해 RAG 애플리케이션의 품질을 평가하고, 신속하게 반복 작업하며, 애플리케이션을 쉽게 재배포할 수 있다. 모자이크 AI 에이전트 이밸류에이션은 결과물의 품질이 우수한지 자동으로 판단하고 직관적인 UI를 제공해 이해관계자의 피드백을 받도록 하는 AI 지원 평가 도구다. 이 모든 기능은 조직이 프로덕션 품질의 생성형 AI 솔루션을 배포할 수 있도록 돕는다. 복합 AI 시스템은 흔히 도구를 활용해 지능적인 코드 생성 및 실행, 웹 검색, API 호출 등 외부와 상호 작용할 수 있는 새로운 기능을 시스템에 탑재한다. 모자이크 AI 툴 카탈로그는 조직이 데이터브릭스 유니티 카탈로그를 사용해 도구를 관리, 공유 및 등록할 수 있도록 지원한다. 도구를 지원하는 모델은 안전하고 관리 가능한 방식으로 도구를 사용할 수 있을 뿐만 아니라, 조직 전체에서도 이들 도구를 검색할 수 있게 된다. 모자이크 AI 모델 트레이닝은 조직의 비공개 데이터로 오픈 소스 기반 모델을 미세 조정해 해당 도메인이나 업무에 특화된 새로운 지식을 제공한다. 고객은 미세 조정된 모델을 완전히 소유 및 제어하게 되는데, 해당 모델은 특정 업무를 위해 조직의 비공개 데이터로 학습되었기 때문에 특정 사용 사례에서 더 높은 품질의 결과를 생성한다. 모델 트레이닝으로 미세 조정된 소규모 모델은 특정 도메인에 더 높은 정확성을 제공할 뿐만 아니라, 매개변수가 적고 컴퓨팅 성능을 덜 필요로 하므로 대규모 독점 모델에 비해 보다 빠르고 저렴하다. 모자이크 AI 게이트웨이는 모든 오픈 소스 또는 독점 모델을 쿼리, 관리 및 배포할 수 있는 통합 인터페이스를 제공해 고객이 애플리케이션 코드를 복잡하게 변경할 필요 없이 애플리케이션을 구동하는 대규모 언어 모델(LLM)을 쉽게 전환할 수 있도록 지원한다. 또 모자이크 AI 게이트웨이는 사용량 추적 및 가드레일을 지원해 조직으로 하여금 누가 모델을 호출하는지 추적하고, 요금 한도를 설정해 기업 사용자의 지출을 제어하며, 사용 중인 모델에 관계없이 안전 및 개인 식별 정보(PII)를 필터링할 수 있도록 돕는다. 마지막으로, 해당 기능은 내장된 거버넌스와 모니터링을 통해 지속적으로 높은 품질을 보장한다. 모자이크 AI 에이전트 프레임워크, 모자이크 AI 에이전트 이밸류에이션, 모자이크 AI 모델 트레이닝 및 모자이크 AI 게이트웨이는 현재 공개 프리뷰로 제공되며, 모자이크 AI 도구 카탈로그는 현재 비공개 프리뷰로 제공된다. 마테이 자하리아 데이터브릭스 공동창업자 겸 CTO는 “복합 AI 시스템은 향후 AI 애플리케이션의 품질, 신뢰성 및 평가를 극대화할 가장 좋은 수단으로서, 2024년 가장 중요한 AI 트렌드 중 하나가 될 것이라 기대한다”며 “데이터브릭스는 품질 개선에 투자해 이러한 트렌드를 선도하고 있을 뿐만 아니라, 실시간 데이터, 에이전트 및 도구로 모델을 보강해 잘 알려지지 않은 새로운 기능을 제공할 수 있는 독보적인 입지 또한 갖추고 있다”고 설명했다.

2024.06.13 10:37김우용

데이터브릭스, 아이스버그 창시자가 설립한 '타뷸러' 인수

데이터브릭스가 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 10일 발표했다. 타뷸러는 개방형 테이블 포맷 '아파치 아이스버그'의 창시자인 라이언 블루, 다니엘 윅스, 제이슨 리드 등에 의해 설립된 회사다. 이번 인수로 데이터브릭스는 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 데이터브릭스는 레이크하우스에 형식 호환성을 제공하기 위해 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다. 이러한 협력은 단기적으로는 델타 레이크 유니폼 내에서 이루어지며, 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전하게 된다. 데이터브릭스는 2020년 레이크하우스 아키텍처를 개척하고, 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합할 수 있게 했다. 이를 위해서는 다양한 워크로드, 애플리케이션, 엔진이 동일한 데이터에 액세스할 수 있도록 모든 데이터가 개방형 형식이어야 한다. 레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화하는데, 이는 독점 데이터 웨어하우스와는 대조적이다. 독점 데이터 웨어하우스에서는 독점 SQL 엔진만이 데이터를 읽거나 쓰거나 공유할 수 있으며, 다른 애플리케이션에서 데이터를 사용하기 위해서는 데이터를 복사하고 내보내야 해 특정 공급업체에 종속될 가능성이 높기 때문이다. 4년이 지난 현재, 전 세계 기업의 약 74%가 레이크하우스 아키텍처를 구축했다. 레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크, 트리노 및 프레스토 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다. 데이터브릭스는 이를 지원하기 위해 리눅스 재단과 협력해 델타 레이크 프로젝트를 출범했다. 지금까지 다양한 조직의 500명 이상의 코드 기여자가 이 프로젝트에 참여했으며, 전 세계 10,000개 이상의 기업이 델타 레이크를 사용해 매일 평균 4엑사바이트 이상의 데이터를 처리하고 있다. 델타 레이크가 만들어질 무렵, 라이언 블루와 다니엘 윅스는 넷플릭스에서 아이스버그 프로젝트를 개발해 아파치 소프트웨어 재단에 기부했다. 이후 델타 레이크와 아이스버그는 레이크하우스 형식의 두 가지 주요 오픈소스 표준으로 부상했다. 이 두 포맷은 모두 아파치 파케이를 기반으로 하며 비슷한 목표와 설계를 갖추고 있지만, 독립적으로 개발되어 호환되지는 않게 됐다. 시간이 지나면서 다른 여러 오픈소스 및 독점 엔진이 이들 형식을 채택했으나 두 표준 중 하나만, 그것도 일부만 채택하는 경우가 많았다. 이로써 기업 데이터가 파편화되고 사일로화되어 레이크하우스 아키텍처의 가치가 훼손되는 문제가 발생했다. 기업들은 레이크하우스의 이점을 실현하기 위해 데이터 상호운용성이 필요로 하며, 데이터브릭스는 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력해 시간이 지남에 따라 형식에 상호운용성을 제공할 계획이다. 이는 결코 짧지 않은 여정으로, 해당 커뮤니티에서 달성하는 데 몇 년이 걸릴 수도 있다. 이것이 바로 작년에 데이터브릭스가 델타 레이크 유니폼을 발표한 이유다. 유니폼 테이블은 델타 레이크, 아이스버그, 후디 간에 상호 운용성을 제공하며, 기업이 모든 데이터에서 이미 익숙한 분석 엔진과 도구를 사용할 수 있도록 아이스버그의 안정적인 카탈로그 인터페이스를 지원한다. 기업은 현재 즉시 사용 가능한 유니폼을 통해 호환성을 확보할 수 있다. 아이스버그 팀의 합류로 데이터브릭스는 델타 레이크 유니폼을 한층 더 확장할 수 있게 되었다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 "오늘날 레이크하우스 패러다임은 가장 널리 사용되는 두 가지 형식인 델타 레이크와 아이스버그로 나뉘어져 있다”며 “데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력하여 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획”이라고 밝혔다. 그는 “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다”며 “유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 되어 매우 기쁘다”고 강조했다. 데이터브릭스와 타뷸러는 오픈소스 형식을 옹호한다는 공통점을 공유해왔다. 두 기업 모두 창립자가 개발한 오픈소스 기술을 상용화하기 위해 설립됐으며, 현재 데이터브릭스는 매출 기준으로 가장 규모가 크고 성공적인 독립 오픈소스 회사로서 오픈소스 프로젝트에 1천200만 줄의 코드를 기부하기도 했다. 이번 인수는 클라우드에서 개방형 포맷과 오픈소스 데이터에 대한 데이터브릭스의 지속적인 노력을 보여주며, 기업이 데이터를 제어하고 독점 공급업체 소유의 형식으로 인한 종속성에서 벗어날 수 있도록 지원한다. 라이언 블루 타뷸러 공동창업자 겸 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다"며 “개방형 레이크하우스가 업계 표준으로 자리 잡으면서 아이스버그와 델타 레이크의 인기는 크게 상승했다”고 밝혔다. 그는 “타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획으로, 이를 통해 '올바른' 형식을 선택하기 위한, 그리고 독점 데이터 포맷에 종속되지 않기 위한 기업의 우려를 해결하는 데 힘쓰고자 한다”고 강조했다.

2024.06.10 14:15김우용

"역시 남다르네"…'MSP 대어' 메가존클라우드, 데이터브릭스 '최고' 등급 받았다

올해 기업공개(IPO) 추진에 본격 나선 메가존클라우드가 글로벌 경쟁력을 인정 받아 세계적인 데이터·인공지능(AI) 기업이자 레이크하우스 선구자인 데이터브릭스의 선택을 받았다. 메가존클라우드는 데이터브릭스의 최고 등급인 엘리트(Elite) 파트너로 선정됐다고 8일 밝혔다. 엘리트 등급은 데이터브릭스 솔루션에 대한 높은 기술 전문성을 바탕으로 고객의 성공적인 디지털 전환을 이끈 파트너에 부여된다. 파트너 등급은 레지스터(Registered), 셀렉트(Select), 엘리트로 구성된다. 메가존클라우드는 데이터·AI 프로젝트 수행 경험과 전문 역량을 인정받아 엘리트 파트너로 선정됐다. 메가존클라우드 및 메가존 관계사는 2천700여 명의 클라우드 전문 인력을 바탕으로 국내 클라우드 MSP업계 최초의 유니콘 기업에 등극했다. 지난해에는 1조5천106억원의 매출을 달성했다. 국내와 더불어 미국, 일본, 캐나다, 호주, 중국 상해·북경, 베트남, 홍콩, 싱가포르 등 해외 8개국에서 현지 법인도 운영하고 있다. 메가존클라우드는 2021년 데이터브릭스와 파트너십을 체결한 이래 데이터브릭스 솔루션을 기반으로 기술검증, 고객사 대상 핸즈온 세션 지원, 데이터 전환 사업 구축 등을 진행하고 있다. 특히 100여 명 규모의 AI & 데이터 분석 전문 조직인 ADC(AI & 데이터분석센터)를 통해 데브시스터즈, 무신사 등 기업 고객에 최적화된 데이터브릭스 솔루션과 함께 기술 지원 서비스를 제공해왔다. 지난 3월에는 데이터브릭스의 생태계 역량 강화 프로그램인 딜리버리 프로바이더 프로그램 파트너십 계약을 체결, 기술 협력을 통해 다양한 프로젝트를 진행하고 있다. 메가존클라우드 AI & 데이터분석센터 공성배 센터장은 "고객의 데이터 기반 비즈니스를 지원하기 위해 고객사에 최적화된 데이터 서비스 오퍼링 서비스를 제공해왔다"며 "최고 파트너 등급인 '엘리트' 선정을 바탕으로 데이터와 AI의 활용을 가속화할 수 있도록 지원을 아끼지 않겠다"고 말했다. 데이터브릭스 아시아태평양 지역 파트너 총괄 그렉 테일러 부사장은 "메가존클라우드는 한국 내 데이터브릭스의 핵심 파트너이자 선도적인 디지털 혁신 조력자로, 클라우드 기반 플랫폼 기술로 기업이 데이터와 AI를 통해 비즈니스를 혁신하도록 지원하고 있다"며 “더 많은 한국 기업들이 데이터브릭스 데이터 인텔리전스 플랫폼을 활용할 수 있도록 양사간 파트너십을 더욱 강화할 것"이라고 말했다.

2024.05.08 10:40장유미

데이터브릭스, 한국 시장서 연간 100% 성장

데이터브릭스는 23일 서울 인터컨티넨탈코엑스에서 개최한 '데이터 인텔리전스 데이' 컨퍼런스' 관련 기자간담회에서 지난 회계연도에 한국에서 연간 100% 이상의 성장을 달성했다고 발표했다. 국내 기업의 데이터 및 AI 수요 급증에 따른 결과라고 회사측은 설명했다. 데이터브릭스는 급속한 제품 혁신에 힘입어 지난 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러 (약 2조2천억원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다. 데이터브릭스는 지난 3월 출시 당시 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 선보였다. 데이터 선도 기업들은 이미 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 다양한 워크로드에서 비용 효율성과 고성능을 보장하는 동시에 비즈니스 운영을 최적화하고, 예측 분석 및 AI 애플리케이션 등을 통해 혁신을 이끌며, 고급 데이터 거버넌스 및 분석 기능을 통해 의사 결정을 개선해나가고 있다. 데이비드 마이어 데이터브릭스 제품 담당 수석부사장은 기조연설에서 “기업의 데이터 프로젝트를 AI와 결합하고자 할 때 실패로 귀결되기 쉬운데, 이는 워낙 다양한 사일로 시스템이 존재하기 때문”이라며 “데이터와 AI 시스템의 사일로는 내재적으로 복잡하며 거버넌스와 보안도 이 때문에 더 어려워지고, 여러 개발언어와 시스템을 이해해 쉽게 만들 수 있는 고도화된 기술인력도 확보하기 어렵다”고 말했다. 그는 “데이터브릭스의 레이크하우스 '델타레이크'는 비정형과 정형 데이터 모두를 레이크로 가져와서 정교화한 다음 데이터 복제와 이동없이 레이크 자체에서 활용하게 하므로 근본적으로 단순하다”며 “데이터레이크하우스만으로 충분하지 않고, 그 위에 거버넌스 레이어 '유니티 카탈로그'를 얹어 SQL, 스칼라, 자바, R 같은 각기 다른 엔트리 진입지점을 관리하고 데이터모델이나 노트북까지 모두 관리할 수 있다”고 강조했다. 데이터브릭스의 유니티 카탈로그는 전체 데이터 플랫폼의 거버넌스를 관리하는 계층이다. 모든 데이터 쿼리는 유니티 카탈로그를 거치게 되고, 사용자별로 데이터 접근권한을 관리할 수 있다. 유니티 카탈로그는 데이터브릭스 솔루션 외에 다양한 외부 거버넌스 시스템과도 통합가능하다. 데이터브릭스는 모자이크ML을 인수하고 최근 DBRX란 개방형 언어모델을 출시하는 등 생성형 AI 분야에 공격적인 투자를 하고 있다. 생성형 AI를 자사 플랫폼에 접목해 자연어로 데이터를 활용하게 하는 데이터 민주화를 추구한다. 데이비드 마이어 부사장은 “생성형 AI 자체를 레이크하우스에 녹여 근본적으로 새로운 것을 가능하게 했다”며 “데이터 인텔리전스 엔진을 델타레이크와 유니티 카탈로그 위에 얹어서 생성형 AI로 데이터 의미를 이해한다”고 말했다. 그는 “플랫폼에서 파티셔닝, 인덱싱, 레이어링, 리퀘스트 등의 기능을 자동화했으며, AI가 데이터 트래픽 패턴을 학습해 데이터를 재작성하고 사용자의 사용 행태에 따라 더 적은 비용으로 쿼리를 수행하도록 진화한다”며 “최고의 데이터웨어하우스는 훨씬 더 간결한 레이크하우스”라고 강조했다. 그는 “1년전 인수한 모자이크ML은 고객의 모델 학습과 미세조정을 더 저렴한 비용으로 할 수 있게 하며, 최대 10배의 비용을 절감시켜준다”며 “DBRX는 미세조정이나 자체 모델을 완벽히 제어할 수 있다”고 덧붙였다. 이날 기조연설에서 염화음 크래프톤 딥러닝실 데이터실장과 문효준 엘지전자 데이터플랫폼실 팀장이 무대에 올라 자사의 데이터브릭스 플랫폼 활용 사례를 공유했다. 에드 렌타 데이터브릭스 아태지역 총괄 부사장은 “데이터브릭스 클라우드의 한국 리전 범위를 확대하고 서버리스 SQL을 5월 출시할 예정”이라며 “한국어 기술 지원을 시작하고, 제품 교육 및 인증 프로그램의 한국어 지원도 5월 중 이뤄질 것이며, 생성형 AI 기능의 한국 리전 확대와 모델 서빙, 벡터 서치 등도 한국에서 쓸 수 있을 것”이라고 밝혔다. 에드 렌타 데이 부사장은 “한국은 아태지역에서 가장 빠르게 성장하는 시장 중 하나”라며 “한국이 기업의 AI 도입에 대한 야심찬 목표를 가지고 있는 시장인 만큼, 데이터브릭스는 보다 많은 한국 고객들이 자체적인 프라이빗 데이터를 사용해 안전하게 AI를 활용할 수 있도록 지속적으로 지원해나갈 계획”이라고 말했다. 데이터브릭스의 데이터 인텔리전스 데이는 데이터브릭스 고객, 업계 리더, 기술 전문가, 파트너가 주도하는 심층 세션을 통해 자연어로 데이터 인사이트를 확보하는 방법부터 데이터 프라이버시 보호 및 제어를 유지하면서 생성형AI 애플리케이션을 개발하는 혁신적인 방법까지 자세히 살펴볼 수 있다. LG전자, 크래프톤, 여기어때컴퍼니, 정육각, 하이퍼커넥트, 신세계I&C, 스캐터랩, 아임웹 등이 연사로 나서 데이터 및 AI 여정을 공유했다.

2024.04.23 16:05김우용

"생성형 AI의 보안은 '안전'과' 정확성'을 함께 원한다"

“기업은 AI를 활용할 때 관리 가능하고 안전할 뿐만 아니라, 매우 정확하고 관련성 높은 결과물을 요구한다. 이미 챗봇이 '환각' 현상으로 인해 고객에게 부정확한 답변을 제공하고, 이로 인해 기업이 어려움을 겪은 사례도 많이 존재한다. 좋은 AI 전략을 세우려면 강력한 데이터 전략이 필요하다. 기업은 사내에서 자체 AI 모델을 구축하고, 기업 내부 데이터로 해당 모델을 학습시켜 부정확한 답변을 생성하지 않도록 하며, 궁극적으로 지적재산(IP)에 대한 소유권을 갖기를 원하고 있다.” 페르민 세르나 데이터브릭스 최고보안책임자(CSO)는 본지와 서면인터뷰에서 최근 생성형 인공지능(AI) 트렌드 속에서 나타나는 데이터 보안 분야의 체크포인트를 이같이 요약했다. 그는 “AI는 자동화로 생산성을 향상시키고, 데이터에 기반한 의사 결정을 통한 효율성 증대와 성공적인 비즈니스 등 다양한 이점을 제공한다”며 “미국을 비롯한 전 세계 조직이 이러한 이점을 인지함에 따라 AI를 도입하는 사례가 늘고 있지만 동시에 보안과 개인정보 보호에 관한 우려로 인해 AI 프로젝트를 실제 업무에 적용할 때 신중을 기하는 추세”라고 설명했다. 기업의 데이터 보안 전략은 생성형 AI 환경에서 새롭게 업그레이드돼야 하는 상황이다. 데이터 통제 및 관리, 규제 준수 같은 안전을 보장하는 생성형 AI를 만들면서도, 맥락에 적합한 정확한 답변과 성능을 구현해야 한다. IT 보안이 생성형 AI를 맞아 전보다 더 넓은 범위를 고려해야 하는 것이다. 이에 대해 페르민 세르나 CSO는 중요한 조언을 몇가지 제시했다. 그는 단일한 데이터 플랫폼을 구축해 통합적인 보안과 거버넌스 체계를 갖춰야 한다고 강조했다. 데이터 및 AI에 대한 통합 가시성, 데이터 및 AI에 대한 단일 권한 모델, AI 기반 모니터링 및 통합 가시성 등의 접근 방안을 소개하기도 했다. Q. 기업용 생성형 AI에 대해 내부 데이터를 접근할 때 권한 및 보안등급 관리, 규제 준수 등 거버넌스와 컴플라이언스 이슈가 있다. 이에 대한 조언을 한다면? 지난해 JP 모건 체이스, 버라이즌, 삼성전자 등이 고객 정보 및 소스 코드에 대한 통제권을 잃을 수 있는 잠재적 위험을 줄이기 위해 챗GPT 사용을 금지한다고 발표한 바 있다. 이는 거버넌스 도구를 '데이터의 세계'에서 '데이터와 AI의 세계'로 확장해야 하는 이유를 보여주는 대표적인 예다. 서로 다른 여러 플랫폼, 시스템 및 공급업체에 걸쳐 데이터와 AI를 관리하는 일은 매우 복잡하다. 모든 조직이 직면하고 있는 가장 큰 과제 중 하나는, 데이터 사일로와 데이터 개인정보 보호 및 제어에 관한 문제다. 조직에서 사용하는 시스템이나 플랫폼마다 데이터가 중복되거나 시스템 간에 이동될 수 있으며, 또 플랫폼마다 보안 및 거버넌스에 대한 접근 방식이 다를 수 있다. 레이크하우스 아키텍처에 구축된 데이터브릭스 데이터 인텔리전스 플랫폼과 같은 단일 통합 플랫폼을 선택하면 통합 보안 및 거버넌스를 통해 하나의 데이터 사본을 AI에서 비즈니스 인텔리전스(BI)에 이르는 다양한 사용 사례에 저장하고 사용할 수 있어, 이러한 보안 위험을 완화할 수 있다. Q. 데이터브릭스는 생성 AI 시대의 데이터 거버넌스와 컴플라이언스에 어떤 해법을 제시할 수 있나? 데이터브릭스는 2020년에 데이터 웨어하우스와 데이터 레이크의 장점을 결합하고 통합하기 위해 레이크하우스를 분야를 개척했다. 레이크하우스는 (1) 조직 내 모든 데이터 소스(정형, 반정형, 비정형 데이터)를 함께 쿼리하고 (2) 데이터를 사용하는 모든 워크로드(BI, AI 등)를 통합된 방식으로 관리할 수 있는 통합 시스템을 제공한다. 레이크하우스는 독자적인 데이터 플랫폼 범주로 자리 잡았으며, 현재 기업에서 널리 채택되어 대부분의 벤더 스택에 통합되어 있다. MIT 테크놀로지 리뷰 인사이트 보고서에 따르면, 전 세계 CIO의 74%가 자사의 레이크하우스를 보유하고 있다고 답했다. 레이크하우스 도입은 이미 시장에서 대세로 자리 잡았지만, 데이터브릭스는 레이크하우스와 생성형 AI를 결합해 데이터 인텔리전스 플랫폼이라는 새로운 범주의 데이터 플랫폼을 만들었다. 데이터 인텔리전스 플랫폼을 통해 기업은 자연어를 사용하여 한 곳에서 데이터를 통합, 관리 및 활용할 수 있다. 데이터 인텔리전스 플랫폼은 생성형 AI 모델을 사용하여 기업 데이터의 의미를 파악하고 플랫폼의 모든 부분에서 이렇게 이해한 내용들을 활용한다. 데이터브릭스의 통합 거버넌스 솔루션인 유니티 카탈로그를 통해 조직은 모든 클라우드 및 플랫폼에서 정형 및 비정형 데이터, 머신러닝 모델, 노트북, 대시보드 및 파일을 원활하게 관리할 수 있다. Q. 회사 내부 보안조직의 대응법이 있으면 소개해달라. 데이터브릭스의 데이터 및 AI 거버넌스 접근 방식은 아래와 같다 1. 데이터 및 AI에 대한 통합 가시성: 조직은 생성형 AI를 통해 자연어를 사용하여 데이터와 AI를 안전하게 검색하고, 이해하고, 인사이트를 추출하여 생산성을 높일 수 있다. 2. 데이터 및 AI에 대한 단일 권한 모델: 통합 인터페이스로 액세스 관리를 간소화해 데이터 및 AI 자산에 대한 액세스 정책을 정의하고 모든 클라우드 또는 데이터 플랫폼에서 이러한 정책을 일관되게 적용 및 감사할 수 있다. 또한, 조직은 행과 열을 세밀하게 제어하여 보안을 강화하는 동시에 원활하게 확장되는 로우코드 속성 기반 액세스 정책을 통해 액세스를 효율적으로 관리할 수 있다. 3. AI 기반 모니터링 및 통합 가시성: AI를 사용하면 모니터링을 자동화하고 오류를 진단하며 데이터 및 ML 모델 품질을 유지할 수 있다. 조직은 개인 식별 정보(PII) 데이터를 자동으로 감지하고, 모델 드리프트를 추적하며, 데이터 및 AI 파이프라인 내의 문제를 효과적으로 해결하여 정확성과 무결성(integrity)을 유지하는 사전 예방적 알림의 이점을 누릴 수 있다. Q. 방어자 입장에서 AI를 어떻게 받아들여야 바람직할까? AI는 조직이 방대한 양의 데이터를 선별해 패턴을 모니터링하고 분석하는 데 도움을 준다. AI는 이렇게 학습된 패턴을 기준선으로 삼아 비정상적인 행동을 감지하고 시스템에 대한 무단 액세스를 제한할 수 있다. 또한, AI는 위험의 우선순위를 정하고 멀웨어와 침입의 가능성을 즉시 감지하여 분석가의 1차 작업을 보강하는 데 도움을 줄 수 있다. 데이터 인텔리전스 플랫폼과 생성형 AI를 사용하면 조직 내 사이버 보안 팀들은 자연어를 사용하여 사고의 영향과 보안 속성에 대해 질문을 할 수도 있다. Q. 세계 각국에서 AI 안전에 대한 규제가 나오기 시작했다. 조직에서 AI 안전을 담당하는 주체는 누가 돼야 하고, 어떻게 무수한 규제에 대응하고 정책변경에 빠르게 적응할 수 있을까? 새롭게 생겨나는 AI 규제는 다양하고 복잡한 요구 사항을 가지고 있지만, 한편으로는 반복되는 주제를 담고 있다. 일반적으로 5가지 주요 영역에서 의무가 발생한다: 1. AI 개발 및 배포 주기의 모든 단계에서 필요한 데이터 및 모델 보안과 개인 정보 보호 2. 출시 전 위험 평가, 계획 및 완화 - 데이터 학습과 가드레일 구현에 중점을 두고 편향성, 부정확성 및 기타 잠재적 피해를 해결 3. 출시 시 필요한 문서 - 개발 과정에서 수행한 단계와 AI 모델 또는 시스템의 특성(기능, 제한 사항, 학습 데이터 설명, 위험, 완화 조치 등)에 관한 내용 포함 4. 출시 후 모니터링 및 지속적인 위험 완화 - 부정확하거나 기타 유해한 결과물 생성 방지, 보호 대상 그룹에 대한 차별 방지, 사용자가 AI를 다루고 있음을 인지하도록 하는 데 중점을 둠 5. 대규모 모델을 학습하고 실행하는 데 사용되는 에너지가 환경에 미치는 영향 최소화 이러한 목표를 달성하려면 모든 조직이 데이터와 AI 모델에 대한 완전한 소유권과 통제권을 확보하고 AI 개발 및 배포의 모든 단계에서 포괄적인 모니터링, 개인정보 보호 제어, 거버넌스를 이용할 수 있어야 한다. 조직은 데이터 품질을 제공하고, 더 안전한 애플리케이션을 제공하며, 규제 표준을 준수하는 데 도움이 되는 책임 있는 AI 목표를 달성하기 위한 통합된 접근 방식을 필요로 한다.

2024.04.16 10:07김우용

데이터브릭스, 범용 대형언어모델 'DBRX' 출시

데이터브릭스가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 출시했다. 데이터브릭스는 기업의 자체 밤줌형 LLM을 구축, 학습시킬 수 있는 LLM 'DBRX'를 오픈소스로 28일 공개했다. DBRX는 모든 기업을 위해 맞춤형 고성능 LLM의 학습과 튜닝을 보편화한다. 조직은 DBRX를 통해 더 이상 소수의 폐쇄형 모델에 의존하지 않아도 된다. DBRX는 오늘부터 바로 사용 가능하며, 전 세계 조직은 비용 효율적으로 자체 맞춤형 LLM을 구축, 교육 및 서비스할 수 있다. DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 라마2 70B 및 믹스트랄 8x7B와 같은 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다. DBRX는 여러 벤치마크에서 GPT-3.5의 성능을 능가한다. 모델 평가와 성능 벤치마크에 대한 보다 자세한 정보, 그리고 DBRX가 SQL과 같은 내부 사용 사례에서 GPT-4 품질 대비 어떤 경쟁력을 제공하는지에 대한 자세한 정보는 모자이크 리서치 블로그에서 확인할 수 있다. 데이터브릭스는 효율성을 위해 메가블록스의 오픈소스 프로젝트에 기반한 전문가 혼합(MoE) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM대비 최대 2배 높은 컴퓨팅 효율 등 최고의 성능을 갖추고 있다. 또한 DBRX는 주어진 시간에 360억 개의 매개변수만 사용한다. 하지만 모델 자체는 1천320억 개 파라미터이므로 속도(토큰/초) 대 성능(품질) 측면에서 두 마리 토끼를 모두 잡을 수 있다. DBRX는 모든 기업이 커스터마이징할 수 있는 투명한 생성형 AI로 오픈소스 모델의 새로운 기준을 제시한다. 최근 미국 VC 기업 안드레센 호로위츠가 발표한 조사 결과에 따르면 AI 리더의 약 60% 가 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 모델의 성능과 거의 일치할 경우, 오픈소스로 전환하는데 관심을 보이는 것으로 나타났다. 2024년 이후에는 상당수의 기업이 폐쇄형에서 오픈소스로 전환할 것으로 예상되며, 데이터브릭스는 DBRX가 이러한 추세를 더욱 가속화할 수 있을 것이라고 확신한다. DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합돼, 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다. DBRX는 깃허브와 허깅페이스에서 연구 및 상업적 용도로 무료로 사용 가능하다. 기업은 데이터브릭스 플랫폼에서 DBRX와 상호 작용하고, 검색 증강 생성(RAG) 시스템에서 긴 문장(context) 기능을 활용하며, 자체 고유 데이터에서 맞춤형 DBRX 모델을 구축할 수 있다. AWS와 구글 클라우드,, 마이크로소프트 애저 등에서도 직접 사용할 수 있다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “데이터브릭스는 데이터와 AI를 보편화하겠다는 사명 아래 모든 기업에 데이터 인텔리전스를 제공하여 그들이 보유 중인 데이터를 이해하고 이를 활용하여 자체적인 AI 시스템을 구축할 수 있도록 지원하고 있다”며 “DBRX 출시는 이러한 노력의 결과물”이라고 밝혔다. 그는 “DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가하고, 대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로, 우리는 독점 모델을 오픈소스 모델로 대체하는 추세가 고객 기반 전반에 걸쳐 가속화될 것으로 기대된다”며 “DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이므로, DBRX는 오픈소스 LLM의 새로운 기준을 제시하며, 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공해 준다”고 덧붙였다. 데이터브릭스는 오는 4월 26일 한국시간으로 오전 12시 DBRX 웨비나를 개최할 예정이다.

2024.03.28 11:24김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용

메가존클라우드, 데이터·AI로 기업 의사결정 지원

메가존클라우드(대표 이주완)가 데이터 기반 통합 거버넌스 의사결정 지원 서비스를 지원한다. 메가존클라우드는 데이터브릭스와 딜리버리 프로바이더 프로그램(DPP)에 따른 파트너십 계약을 체결했다고 20일 밝혔다. DPP는데이터브릭스의 생태계 역량 강화 프로그램으로, 높은 기술 역량과 다양한 고객 사례를 보유하고 있는 파트너 업체에게만 파트너십 체결 자격이 부여된다. 평가 기준은 데이터 엔지니어링 전문가 자격증 유무, 데이터브릭스 솔루션에 대한 실무 지식, 프로젝트 수행 경험 등이다. 메가존클라우드는 ▲국내 시장에 대한 이해 ▲주요 클라우드 서비스 제공업체 관련 업무 경험 ▲클라우드, 빅데이터, 데브옵스 관련 컨설팅 제공역량 ▲데이터브릭스 솔루션 수행경험 부문에서 높은 평가를 받으며 심사를 통과해 데이터브릭스와 파트너십 계약을 체결했다. 메가존클라우드는 DPP 파트너십을 바탕으로 데이터엔지니어링 업무가이드, 마이그레이션 서비스, 데이터브릭스 유니티 카탈로그 등 고객사가 데이터와 AI의 통합 거버넌스를 위해 데이터브릭스 활용을 극대화할 수 있도록 지원하는 데이터브릭스 프로페셔널 서비스를 제공한다. 또한, 데이터브릭스와 기술 협력을 통해 다양한 프로젝트를 진행함으로써 최신 기술을 기반으로 고객에게 향상된 서비스를 제공할 계획이다. 메가존클라우드는 데이터브릭스 솔루션을 기반으로 기술검증, 고객사 대상 핸즈온 세션 지원, 데이터 전환 사업 구축 등을 진행하고 있다. 100여명 규모의 전문 조직을 통해 기업 고객에 최적화된 데이터브릭스 제품을 제공해 데이터 기반 인사이트 제공 및 데이터 비즈니스에 대한 전문성 강화를 지원해왔다. 지난해 7월에는 데이터브릭스가 인증하는 데이터 및 AI 전문가인 데이터브릭스 챔피언을 배출한 바 있다. 메가존클라우드 AI & 데이터분석센터 공성배 센터장은 “데이터브릭스와의 파트너십 확대로 긴밀한 협업 관계를 구축하고 더욱 전문적인 서비스를 제공할 수 있게 돼 기쁘다”며 "우리의 운영 및 관리 경험과 혁신적인 데이터브릭스의 솔루션을 통해 다양한 고객에게 데이터 기반의 신속한 의사결정을 지원하겠다"고 밝혔다. 데이터브릭스 그레그 테일러 아태지역 파트너 부문 부사장은 "데이터 인텔리전스 플랫폼을 통해 많은 한국 기업들이 독점 데이터를 기반으로 안전하게 생성형 AI를 구축할 수 있을 것이라고 확신한다"고 말했다.

2024.03.20 11:18남혁우

데이터브릭스, 미스트랄AI에 투자…플랫폼에 모델 통합

데이터브릭스는 유럽의 생성형 AI 솔루션 기업인 미스트랄 AI와 파트너십을 체결하고 시리즈 A 투자에 참여한다고 18일 밝혔다. 양사는 이 파트너십을 통해 데이터브릭스의 데이터 인텔리전스 플랫폼에 기본적으로 통합된 미스트랄 AI의 개방형 모델을 제공한다는 방침이다. 데이터브릭스 고객은 오픈 마켓플레이스인 데이터브릭스 마켓플레이스에서 미스트랄 AI의 모델에 접근하고, 데이터브릭스 콘솔에서 사용 가능한 모자이크 AI 플레이그라운드(에서 모델과 상호 작용할 수 있다. AI 구축, 관리 및 쿼리 통합 서비스인 모자이크 AI 모델 서빙을 통해 미스트랄 AI의 모델을 최적화된 모델 엔드포인트로 사용하고, 고객의 자체 데이터에 맞게 커스터마이징할 수 있다. 고객은 데이터 인텔리전스 플랫폼에 통합된 미스트랄 AI 모델을 즉시 사용할 수 있으며, 기업이 데이터브릭스 플랫폼의 핵심인 보안, 데이터 프라이버시 및 거버넌스를 저해하지 않으면서도, 자체적인 생성형 AI 애플리케이션을 위해 미스트랄 AI의 모델을 신속하게 사용할 수 있도록 지원한다. 믹스트랄 7B 및 믹스트랄 8x7B을 포함한 미스트랄 AI의 개방형 모델은 데이터브릭스 플랫폼에 완전히 통합된다. 아서 멘쉬 미스트랄 AI 설립자 겸 CEO는 “데이터브릭스와 전략적 제휴로 모두를 위한 생성형 AI의 이동성, 개방성 및 접근성을 향상하겠다는 양사의 의지를 재확인하게 돼 기쁘다”며 “미스트랄 AI의 모델을 데이터브릭스의 데이터 인텔리전스 플랫폼에 원활하게 통합함으로써 AI 보편화라는 공동의 목표에 한걸음 더 가까워 졌다”고 밝혔다. 그는 “이번 통합은 미스트랄 AI의 혁신적인 솔루션을 데이터브릭스의 방대한 고객 기반으로 확장시키는 중요한 이정표로, AI의 혁신과 발전을 촉진할 것으로 기대한다”며 “전 세계 사용자에게 접근성이 높고 획기적인 AI 솔루션을 제공하기 위해 지속적으로 노력하겠다"고 강조했다. 프렘 프라카시 데이터브릭스 AI 및 머신러닝(ML) 제품 마케팅 총괄은 "데이터브릭스는 고객이 잘 알려진 오픈소스 모델을 비롯해 업무에 적합한 모델을 선택할 수 있는 유연성과 도구를 제공하는 데 집중하고 있다”며 “올해 초에만 1,000개 이상의 기업이 데이터브릭스에서 미스트랄 모델을 활용해 수백만 건의 모델 추론을 수행했으며, 이번 파트너십 또한 이러한 고객에 대한 지원을 확대하기 위해서”라고 밝혔다. 그는 “고객이 생성형 AI 애플리케이션을 위해 미스트랄 AI 모델을 기본적으로 더욱 쉽게 접근, 커스터마이징, 배포 및 관리할 수 있는 간소화된 환경을 제공할 것"이라고 덧붙였다.

2024.03.18 10:41김우용

데이터브릭스, AI 기반 데이터 플랫폼 '아인블릭' 인수

데이터브릭스는 AI 기반 데이터 플랫폼인 아인블릭(Einblick)을 인수한다고 5일 밝혔다. 데이터브릭스는 이번 인수를 통해 조직이 데이터 인텔리전스를 보편화하고, 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원한다는 방침이다. 아인블릭은 쉽게 인사이트를 도출할 수 있도록 자연어 질문을 코드, 차트 및 모델로 변환하는 최첨단 기술 분야를 선도하고 있다. 이 과정에서 데이터 팀에 민첩한 워크플로우를 제공해 데이터를 신속하게 탐색하고, 예측 모델을 구축하고 데이터 앱을 배포하며, 사용자가 자연어를 사용하여 데이터문제를 해결할 수 있도록 지원한다. 아인블릭은 매사추세츠 공과대학교(MIT)와 브라운 대학교의 연구원들이 설립했으며, 기계 학습, 인간과 컴퓨터간의 상호작용, 자연어 처리의 경계를 탐구하는 기업이다. 지난 4년간 아인블릭 팀은 사용자가 단 한 문장으로 데이터 문제를 해결할 수 있도록 돕는 AI 네이티브 협업 플랫폼을 개발해 왔다. 이번 인수를 통해 데이터브릭스는 아인블릭의 개발 기술을 기본 데이터 카탈로그와 긴밀하게 통합하고, 더욱 강력하게 확장해 나간다는 계획이다. 알리 고드시 데이터브릭스 CEO는 “임마누엘, 필립을 비롯해 유능한 인재를 갖춘 아인블릭 팀이 데이터브릭스에 합류하게 된 것을 매우 기쁘다”며 “데이터브릭스와 아인블릭 팀은 오늘날 조직이 성공하는데 데이터와 AI를 깊이 활용해야 한다는 공통의 가치관을 갖고 있다”고 밝혔다. 그는 “앞으로 아인블릭의 혁신적인 AI 네이티브 접근방식을 데이터브릭스의 플랫폼과 통합해, 조직이 데이터 인텔리전스를 보편화하고, 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있기를 기대한다”고 덧붙였다. 임마누엘 즈그라겐 아인블릭 공동창립자 겸 CEO는 “아인블릭을 처음 설립했을 때 우리의 목표는 가장 쉽고 협업이 가능한 데이터 플랫폼을 만들어 기업이 데이터로 더 많은 일을 할 수 있도록 지원하는 것이었다”며 “이 인수는 우리가 데이터브릭스와 힘을 합쳐 아인블릭의 사명을 더욱 발전시키는 중요한 이정표가 될 것”이라고 강조했다. 한편, 이번 인수는 지난 한 해 동안 데이터브릭스가 여러 차례 진행한 기업 인수의 연장선이다. 작년 10월 데이터브릭스는 실시간 데이터 복제 기술을 제공하는 선도적인 업체인 아르시온(Arcion)을 인수했다. 그전인 6월 말 유명 생성형 AI 플랫폼인 모자이크ML을 13억 달러에 인수했으며 그에 앞서 6월 초, AI용 스토리지 시스템을 구축하는 스타트업 루비콘을 인수했다. 5월에는 AI에 특화된 데이터 거버넌스 플랫폼인 오케라를 인수했다. 이같은 전략적 확장은 모든 규모의 기업이 보다 쉽게 대규모 모델 학습을 시행하고, 이러한 학습 데이터를 이해하는 AI 애플리케이션을 개발할 수 있도록 지원한다는 데이터브릭스의 사명과도 부합한다.

2024.02.05 09:12김우용

Prev 1 2 Next