검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'스노우플레이크'통합검색 결과 입니다. (61건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

클라우드로 환자 데이터 공유…스노우플레이크의 목표는 '현재 진행형'

의료·헬스케어 영역에서도 데이터 쉐어링 등 클라우드의 역할이 중요해질 전망이다. 코로나19 팬데믹 등 전세계를 강타한 전염병 창궐, 수술 및 제약 업계의 정보 공유 등이 중요해졌기 때문이다. 스노우플레이크 원동한 영업부장은 4일 AWS 퍼블릭 섹터 데이 서울 2024 행사의 '헬스케어 및 라이프 사이언스를 위한 AI 데이터 클라우드' 세션에서 글로벌 헬스 케어 기업들이 AI 및 데이터 플랫폼 기반을 통해 어떻게 발전해왔는지 발표했다. 스노우플레이크가 강조한 분야는 '데이터 쉐어링'이다. 의료 영역은 환자 사생활 이슈, 의료 윤리 문제, 각 국가마다 다른 의료 규제 등의 문제들이 첨예하게 대립하고 있어 쉽게 데이터를 공유하기 어렵다. 그럼에도 스노우플레이크는 원격의료, AI의료 등 소프트웨어와 의료가 엮이고 있고 의료 데이터 공유에 있어 비용 절감을 목표로 뛰어들었다고 밝혔다. 원동한 부장은 "임상실험 예측, 행동 분석 등 데이터 사이언스가 중요해지며 데이터 쉐어링의 중요도는 높아지고 있다"고 강조했다. 이어 원 부장은 "스노우플레이크의 헬스케어 클라우드는 기존 클라우드 대비 10배에서 100배 좋은 성능을 내면서도 비용 절감 효과를 거뒀다"고 말했다. 파이프라인 현대화, 웨어하우스 크기 자율화 등 우수한 클라우드 기능을 저렴하게 이용 가능하게 되자 고객사는 자연스럽게 늘어났다. 화이자, 아이큐비아 등 대형 의료 고객사들이 스노우플레이크를 택한 이유다. 스노우플레이크는 2020년부터 2024년까지 데이터 클라우드 고객사가 대폭 증가 추세를 보였다며 이에 만족하지 않고 도큐먼트AI, 스노우플레이크 코파일럿 등 기능 추가에 집중하겠다고 했다. 아쉬운 점도 있다. 여전히 강력한 각국의 의료 규제다. 스노우플레이크 측은 강연 후 기자와의 질의응답에서 "기술이 부족한 단계라기보단 각 국가가 요구하는 규제나 윤리 문제 등의 대립이 더 큰 문제다"라고 답했다. 이어 "한국을 포함해 의료 데이터 공유 규제가 강력한 나라들이 많아 유전체 분석에 활용하거나 제약 회사 정도에게 의료 데이터를 마켓 플레이스를 통해 공유 하는 게 현실"이라고 했다. 스노우플레이크 측은 앞으로의 비전에 대해 "아직까진 희귀병 환자 데이터를 미국 등 의료 선진국과 나누고 이를 수술이나 진료에 이용하는 건 우리도 이뤄질까라고 생각하는 유토피아의 수준이다"라면서도 "그럼에도 우리로 인해 누군가가 살고 의료 기술이 발전한다면 기꺼이 노력할 의사는 충분하다"라고 다짐했다.

2024.07.04 17:54양정민

스노우플레이크 창업자가 밝히는 성공 비결

2012년 오라클에서 일하던 데이터베이스 전문가 2명이 퇴사 후 네덜란드의 또 다른 데이터 전문가와 함께 한 회사를 설립했다. 이 회사의 창업자들은 빅데이터와 클라우드 기술의 발전을 보고 새로운 데이터 아키텍처를 고민했다. 데이터 분석을 서비스형 소프트웨어(SaaS)로 선보인 이 회사는 6년 뒤 유니콘에 등극했고, 역사상 최대 규모의 소프트웨어 기업 상장이란 기록을 세웠다. 데이터의 힘을 기업 전체에 흐르게 하는 스노우플레이크 얘기다. 지난 3일 미국 샌프란시스코에서 개막한 '스노우플레이크서밋 2024' 행사에서 이 회사의 공동 창업자 중 한명인 브누아 다주빌레 제품부문 사장과 만났다. 그는 짧게 할애된 인터뷰 시간동안 회사의 창업 이유와 추구했던 목표, 현재 AI와 데이터 업계의 흐름에 대해 확고한 의견을 들려줬다. Q. 스노우플레이크란 회사를 창업하게 된 원동력은 무었이었나요? 저와 티어리 크루앙스는 오라클에서 핵심 데이터베이스 기술 부서에서 일하고 있었습니다. 당시는 데이터 세계에서 두 가지의 혁명이 일어나고 있던 시기였습니다. 첫번째는 빅데이터를 분석하는 속임수였죠. 빅데이터는 페타바이트 규모였는데, 저는 반정형 데이터라고 불렀습니다. 두번째는 클라우드였습니다. 클라우드 컴퓨팅이 데이터 분석에 혁명을 가져오리라 생각했죠. 특히 데이터 분석은 지속적인 작업이 아니기 때문에, 문서를 분석하고, 데이터를 추출하고, 그러고 나면 끝납니다. 클라우드와 탄력성은 매우 중요한 측면이었고, 우리는 이를 활용할 방법을 안다면, 뭔가 대단한 일을 할 수 있다고 생각했어요. 우리는 빅데이터와 구조화된 데이터웨어하우스(DW)를 처리할 수 있는 단 하나의 시스템을 원했고, 클라우드가 그 시스템을 수행할 수 있는 놀라운 장소를 제공할 것이라고 생각했습니다. 오라클을 떠난 2012년 티어리와 엘카미노의 내 작은 아파트에서 매일 모였고, 저는 큰 화이트보드를 샀습니다. 우리는 클라우드의 혁명은 무엇일지, 그리고 그것이 최고의 탄력성과 '아하'의 순간을 깨닫는 게 무엇일지 상상했습니다. 클라우드에선 서버를 몇 분 안에 가져올 수 있다는 게 아하 순간이었어요. 0에서 1로 가는데 2배 더 빠르게 갈 수 있습니다, 우리는 데이터 접근을 마비시키는 방법을 알고 있기 때문에 두배 더 빨리 갈 수 있게 됐어요. 그럼 비용은 얼마일까요? 하나의 서버로 더 오랜 시간 분석하는 것과, 여러 서버로 한번에 확 분석하는 건 정확히 동일한 비용입니다. 클라우드에서 빠르게 움직이면서 동일한 대가를 지불하면 좋겠는데, 가능한 아키텍처가 없었습니다. 그래서 데이터 저장과 컴퓨팅을 분리해야 했습니다. 메타데이터 관리 등 많은 것을 변경해야 했지만 이것이 스노우플레이크의 기본 아이디어였습니다. Q. 회사의 이름을 스노우플레이크라 정한 이유는 뭐였나요? 엔지니어를 고용하기 시작하는 스타트업일 때 돈을 확보하고, 벤처 투자자를 찾아야 했어요. 스노우플레이크의 첫 투자자였던 마이크 스파이서와 이야기를 나누다가, 마이크 스파이서가 데이터 외에 무엇을 좋아하느냐고 물었고, 나는 스키를 타는 것을 좋아한다고 답했죠. 그는 이것이 놀랍다고 말했어요. 우리가 눈을 사랑하니 회사를 스노우플레이크라 부르자고 했죠. 그리고 눈은 구름에서 오니까요. 스노우플레이크는 데이터 조직이기도 합니다. 눈송이는 모든 눈송이가 고유합니다. 따라서 모든 데이터도 고유합니다. 눈이 비보다 낫잖아요? 또 제게 가장 중요한 것은 내가 말하거나 전화를 걸 때 아무도 내 회사 이름을 이해하지 못한다는 것이었어요. 사람들은 내게 철자를 묻거나 '클'이냐고 물었고 다시 알려주고 나서야 잘 안다고 말해요. 스노우플레이크라고 내가 말하면 사람들은 바로 이해합니다. '스노우플레이크'는 내 프랑스 억양 상 더 쉬워서 좋아요.(브누아 다주빌레는 지금도 강한 프랑스어 억양으로 말한다.) Q. 스노우플레이크가 설립될 즈음 AWS 레드시프트가 시장에서 멋진 솔루션으로 불렸습니다. 당시에레드시프트의 존재를 인지하고 있었나요? 네, 그렇습니다. 우리가 막 시작했을 땐 레드시프트가 없었지만, 아마 6개월 후에 나왔을 거에요. 나는 VC의 마이크 스파이서가 우리에게 '이건 다 됐는데, 어떻게 아마존과 경쟁할거야'라고 말할 것이라고 생각했습니다. 우린 이렇게 말했어요. '이것은 훌륭합니다. 좋은 소식이에요' 라고요. 아마존은 클라우드에 데이터를 보관하는 것이 실행 가능한 솔루션이라는 것을 고객에게 쉽게 납득시킬 수 있지요. 아마존은 거대 기업에게 클라우드로 이동할 수 있고, 클라우드로 데이터를 이동할 수 있다고 설득하려 노력했고, 실현됐죠. 고객은 레드시프트를 사용하기 시작할 것이죠. 레드시프트는 아주 오래된 기술이었습니다. 고객들은 레드시프트에 그다지 만족하지 않아요. 그럼 우리는 레드시프트보다 훨씬 더 나은 클라우드 기술을 가지고 있다고 말할 것이고, 그들은 스노우플레이크를 사용해 볼 것이고 좋아할 것입니다. 우리는 아마존이 우리를 위해 모든 작업을 수행했기 때문에 클라우드의 훌륭함을 고객에게 설득할 필요가 없었습니다. Q. 스노우플레이크 성공의 열쇠는 무엇이라고 생각하나요? 그것이 몇 가지입니다. 하나는 빠른 것이 무료라는 이 아키텍처입니다. 컴퓨팅에서 데이터 스토리지를 분리하고 정확히 동일한 데이터에 액세스하기 위해 가능한 한 많은 독립적인 컴퓨팅 리소스 풀을 만들 수 있습니다. 기존 컴퓨팅 리소스 집합에서 이 새로운 사용 사례를 실행하는 대신에요. 이 새로운 사용 사례에 대한 전용 컴퓨팅 리소스를 생성해 각 사용 사례가 서로 영향을 미치지 않도록 합니다. 그들은 컴퓨팅 리소스를 놓고 경쟁하지 않습니다. 그리고 이러한 컴퓨팅 리소스의 크기를 조정해 워크로드에 대한 가격 대비 성능을 최대한 높일 수 있습니다. 무제한 확장성도 제공합니다. 레드시프트가 많이 실패하는 이유는 레드시프트 클러스터에서 모든 것을 실행할 수 없기 때문입니다. 하나의 컴퓨터 클러스터일 뿐이며 모든 것이 해당 클러스터에서 실행됩니다. 이는 모든 전투에 영향을 미칩니다. 새로운 것을 시작할 때마다 기존 작업에 영향을 미치고 속도가 느려집니다. 그래서 아주 빨리 워크로드의 테트리스를 해야 합니다. 아무도 그걸 사용하지 않는 밤에 당신이 실행할 수 있습니다. 이것은 끔찍합니다. 스노우플레이크는 각 워크로드에 대해 독립적인 컴퓨팅 리소스 집합이 있는 건 아닙니다. 그들은 서로를 공격하지 않습니다. 크기가 조정됩니다. 이러한 컴퓨팅 리소스를 사용하지 않는 경우 이 워크로드를 실행하지 않기 때문에 종료할 수 있습니다. 그래서 당신은 매우 이해하기 쉬운 방법으로 사용한 만큼 지불하면 됩니다. 두번째는 완전히 셀프 관리란 것입니다. 이게 매우 중요하죠. 인프라를 몰라도 됩니다. 패치를 할 필요도 없고, 모든 리소스를 돌볼 필요도 없습니다. 스노우플레이크는 지메일처럼 쓰는 서비스이며, 데이터를 스노우플레이크로 가리키면 쿼리를 실행할 수 있으며, 우리는 사용자의 모든 것을 비밀리에 처리하고 복잡성을 대신 수행합니다. 그래서 저는 항상 단순하다고 말합니다. 우리는 단순함에 대해 많이 이야기합니다. 단순함은 바로 외부에서 사용할 때 간단하다는 것을 뜻합니다. 대신 내부는 복잡한 시스템이잖아요? 복잡성은 내부로 이동하며 고객에게 노출되지 않습니다. AI, 애플리케이션 등 새로운 워크로드에 대해 우리는 간단하게 만들려고 노력합니다. Q. 현재 데이터 분석 시장은 스노우플레이크 같은 전문업체와, 대규모 클라우드 서비스 기업이 혼란스럽게 경쟁하고 있습니다. 스노우플레이크는 매우 독특하게도 클라우드 업체와 경쟁하면서 동시에 긴밀한 협력 관계도 구축하고 있습니다. 그 이유는 무엇입니까? 우리는 친구이자 경쟁자이며, 실제로 그들의 고객입니다. 분명 우리는 어딘가에서 AWS, 마이크로소프트, 구글클라우드와 경쟁합니다. 스노우플레이크는 인프라를 구축하지 않습니다. 그래요. 우린 뻐꾸기, 뻐꾸기 클라우드에요. 알을 낳기 위해 남의 둥지를 자주 사용합니다. 우리는 모든 클라우드 공급자의 인프라를 활용한다는 의미에서 뻐꾸기이며, 세 클라우드 공급자 모두에 우리의 클라우드 리전이 있습니다. AWS, 애저, GCP 리전은 있지만 인프라를 구축하지는 않습니다. 우리는 AWS, 애저, GCP의 고객이죠. 아마도 우리가 AWS의 1위 고객일 거라 생각합니다. 우리는 AWS의 거대한 파트너이며 AWS의 점유율을 높여주고 있어서 그들은 우리를 사랑합니다. 애저도 마찬가지고요. 스노우플레이크는 모든 클라우드 위에 스노우플레이크 클라우드 계층을 구축합니다. 여러분은 서로 다른 클라우드 간의 차이점을 생각하지 않아도 됩니다. AWS든 애저든 동일합니다. 우린 어딘가에서 경쟁하고 있죠. 클라우드가 여러 서비스를 제공한다는 것을 알고 있습니다. AWS는 한 1천개의 서비스를 가졌지요. 애저, 구글도 그렇고요. 하지만, 스노우플레이크의 경우 하나의 서비스만 있습니다. 스노우플레이크의 서비스는 스노우플레이크뿐입니다. 우리는 데이터가 중심에 있다고 믿으며, 데이터에 그들과 매우 다른 관점을 갖고 있습니다. 우리는 데이터가 클라우드의 중심에 있기를 원하지만, 다른 클라우드 제공업체의 경우는 아니에요. 클라우드 업체에서 애플리케이션이 AI를 사용할 것이라고 하면, 데이터를 사용할 것이고, 트랜잭션 데이터를 사용할 것이며, 파이프라인을 사용할 것이며, 클라우드의 모든 서비스를 알아야 합니다. 우린 각 애플리케이션이 많은 서비스를 결합하도록 하는 대신 스노우플레이크 클라우드를 선택하면 됩니다. 이것이 바로 제가 클라우드에서 애플리케이션을 구축하는 것이 훨씬 쉽다고 믿는 이유입니다. Q. 올해 스노우플레이크서밋의 포괄적인 주제는 무엇입니까? 여러 발표가 있었는데, 전달하고자 했던 핵심 메시지는 무엇입니까? AI옵스는 진정한 혁명이라고 생각합니다. 스노우플레이크가 아이폰이 되고 있습니다. 당신은 애플리케이션을 만들 수 있습니다, 당신의 앱을 스노우플레이스 마켓플레이스에 올릴 수 있지요. 고객이 당신의 앱을 사용하는 걸 알 수 있습니다. 앱을 매우 빠르게 작성하고 사용할 수 있습니다, AI와 코텍스의 조합은 AI 애플리케이션이 데이터에 접근하게 할 것입니다, 데이터에 대한 접근을 민주화하는 것이 하고 싶은 일입니다. 우리가 무기를 다시 설정했기 때문에 사용하기가 매우 쉬울 것입니다. 너무 쉬워서 모든 사람이 셀프 서비스를 올바르게 사용할 수 있습니다. 관리자는 필요없습니다. 셀프 서비스를 사용하기 너무 쉽다는 것은 옳았습니다. 회사의 데이터 팀만 비즈니스 사용자가 아닙니다. 모든 사람이 스노우플레이크를 직접 사용할 수 있는 것은 아니죠. 우리에게 앱과 AI가 있습니다. 이제 이러한 비즈니스 사용자가 이 기술을 사용할 수 있게 됐어요, 나는 이 기술을 '라스트마일'이라고 봅니다. 비즈니스 사용자와 데이터를 연결하는 방법, 이것이 바로 우리가 라스트마일에 도달했다고 생각하는 이유입니다. Q. 스노우플레이크 유니스토어는 현재 얼마나 활용되고 있나요? OLTP에선 자주 언급되지 않는데요. 당신 말이 맞습니다. 유니스토어는 OLTP를 위해 만든 게 아닙니다. OLTP는 그 자체로 시장이에요. 애플리케이션은 데이터에 대한 외부 접근이 필요하고, 포인트 조회가 필요하며, 지연시간이 매우 짧은 포인트 조회 와 권한이 필요하기 때문에 우리가 원하는 애플리케이션을 위해 유니스토어를 만든 것입니다. 클라우드의 블롭 스토리지를 사용하는 것은 완전히 다른 기술이며, 세분화된 트랜잭션을 처리하려면 다른 스토리지가 필요합니다. 오라클 OLTP와 경쟁하는 게 우리의 목표가 아닙니다. 그렇게 하려고 시도하지도 않습니다. 목표는 유니스토어로 애플리케이션을 작성하게 하는 것입니다. 네이티브 앱이요. 우리의 목표는 트랜잭션을 의사 결정 지원과 더 통합할 수 있는 곳었습니다. 데이터를 정리하고, 포인트를 조회하는 그 밑에 핵심 가치 저장소가 있습니다. 이 데이터에 대한 모든 분석 작업을 오프로드하기 위해 블롭 스토리지를 활용합니다. 두 가지 방식으로 저장되고 투명하지만, 이 데이터에 대한 복잡한 분석 워크로드를 OLTP와 동시에 실행할 수 있습니다. 그리고 그것 때문에 타협이 있습니다. Q. 최근 스노우플레이크 리더십에 변화가 있었습니다. 이번 행사의 기조 연설에서 스노우플레이크가 단순함과 고객 지향이란 두 성격을 절대 버리지 않을 것이라고 강조했습니다. 그렇다면 앞으로 어떤게 변화할 것 같습니까? 리더십의 변화는 몇 가지 결실을 맺지 못한 것입니다. 전임자인 프랭크 슬루트만과 정말로 아주 좋은 시간을 보냈습니다. 프랭크는 여전히 스노우플레이크 이사회의 일부입니다. 슈리다는 제품 측면에서 훨씬 더 기술적이고 훨씬 더 주도적이며, AI 성공에 매우 중요한 기능을 스노우플레이크에 구축할 것입니다. 프랭크는 2년 전에 65세쯤에 은퇴할 것이라고 말했습니다. 그래서 그는 차기 CEO를 찾을 수 있는 충분한 시간을 가지라고 미리 알려줬습니다. 그래서 몇 달 동안 새로운 CEO는 아디더라도 잠재적인 후보자를 많이 찾았습니다. 그리고 니바(Neeva)라는 회사를 인수했는데, 이 회사는 슈리다가 CEO로 있던 곳이고, 그는 AI를 스노우플레이크에 도입했고, 자신이 놀라운 후보라는 것을 증명했습니다. 내부에서 누군가를 영입하는 것이 외부의 모르는 누군가를 영입하는 것보다 훨씬 더 좋기 때문에, 우리 모두 슈리다를 이사회에 제안했습니다. 지금 내게 프랭크와 슈리다 중 CEO를 고르라면 저는 슈리다를 고를 것입니다. 슈리다는 위대한 CEO이고, 우리는 정말 운이 좋았습니다. 성공의 큰 부분은 운입니다. 운이 좋아야 하고 올바른 선택을 해야 하는데 CEO는 어려운 선택입니다.

2024.06.10 10:08김우용

스노우플레이크, '아이스버그 테이블' 정식 출시

[샌프란시스코(미국)=김우용 기자] 스노우플레이크가 자사 플랫폼에 아파치 아이스버그를 통합할 수 있는 '아이스버그 테이블'을 정식 출시했다. 이와 함께 기업의 데이터 거버넌스와 규제준수를 세밀하게 관리할 수 있는 '호라이즌'도 대폭으로 업그레이드했다. 스노우플레이크는 4일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크서밋2024' 둘째날 행사에서 외부에 저장된 아이스버그 데이터를 자사 플랫폼에서 쉽게 사용하고 거버넌스를 준수하며 협업할 수 있게 하는 '아이스버그 테이블'을 정식 출시(GA)한다고 발표했다. 오픈소스 테이블 포맷인 아파치 아이스버그(Apache Iceberg)는 조직이 데이터로부터 가치를 추출하고 접근할 수 있도록 한다. 스노우플레이크는 고객이 '아이스버그 테이블'을 통해 데이터 상호 운용성을 확보하고, 데이터 위치에 상관없이 빠른 속도의 분석 성능을 누릴 수 있다고 강조한다. 부킹닷컴, 캐피털원, 인디드, 코모도헬스 등의 기업은 스노우플레이크 고객으로서 아이스버그 테이블로 데이터 레이크하우스, 데이터 레이크 및 데이터 메시 등 개방적이고 유연한 아키텍처 패턴을 구현해 파이프라인, 모델을 더욱 단순화해 개발해 사용하고 있다. 조직은 아이스버그 테이블을 사용해 자체적으로 데이터를 처리하고 조직 운영의 유연성을 확보, 기업 가치를 높일 수 있다. 론 올트로프 스노우플레이크 데이터레이크&아이스버그 제품 매니저는 “아이스버그 테이블은 정식 출시와 더불어 많은 성능 향상을 이뤘다”며 “고객은 스노우플레이크 저장소와 성능면에서 동일한 내부의 아이스버그 테이블을 볼 수 있게 됐다”고 설명했다. 그는 “아이스버그의 쿼리 성능은 작은 파일을 수백만개로 나눠 작성하는 경우 저하되곤 했다”며 “이제 동일한 양의 데이터를 가져와 압축을 실행함으로써 더 적은 양의 파일을 만들어 성능이 좋아졌고, 결과적으로 파일 최적화를 통해 처음 아이스버그 테이블을 만들었을 때보다 2배 빨라졌다”고 덧붙였다. 전날 발표된 '폴라리스 카탈로그(Polaris Catalog)'와 함께 아이스버그 테이블 정식 출시는 아파치 아이스버그를 위한 벤더 중립적이고 완전히 개방적인 카탈로그 구현을 의미한다. 폴라리스 카탈로그는 다양한 엔진 간의 상호운용성이 가능해 기업들에 새로운 수준의 데이터 선택권, 유연성 및 제어권을 더욱 높인다. 조직은 스노우플레이크의 AI 데이터 클라우드에서 호스팅되는 폴라리스 카탈로그(스노우플레이크 호스팅 기반 퍼블릭 프리뷰 예정)로 시작하거나, 컨테이너를 사용해 자체 인프라에서 직접 호스팅할 수 있다. AI 기술 발전으로 기업 데이터의 가치는 향상되고, 다양한 사업 부서 및 팀에서 데이터, LLM, 애플리케이션이 늘어나고 있다. 기업이 자사의 데이터를 보호하고, 고객이 이를 최대한 활용할 수 있도록 하기 위해 스노우플레이크는 통합된 컴플라이언스, 보안, 개인 정보 보호, 상호운용성 및 액세스 권한을 제공하는 플랫폼에 내장된 거버넌스 및 디스커버리 솔루션인 스노우플레이크 호라이즌을 발전시키고 있다. 이는 조직 내부의 콘텐츠뿐만 아니라 써드파티 업체의 콘텐츠에도 적용할 수 있다. 스노우플레이크 호라이즌의 새로운 기능 중 하나인 인터널 마켓플레이스(프라이빗 프리뷰)를 통해 사용자는 조직 내에서 특정 팀이 찾아 사용할 수 있도록 데이터, 모델 및 애플리케이션을 큐레이션 및 발행할 수 있도록 지원한다. 동시에 외부 당사자에게는 실수로 공유될 수 없도록 보안을 강화했다. 팀은 조직 내에서 콘텐츠 열람 권한을 제한할 수도 있다. 스노우플레이크는 AI 모델(프라이빗 프리뷰 예정), 아이스버그 테이블 및 다이나믹 테이블(Dynamic Tables) 등 협업 기능을 계속해서 확장하고 있다. 스노우플레이크는 모든 사용자가 다양한 활용사례를 쉽게 찾아낼 수 있도록 AI 기능도 강화했다. '유니버설 서치'를 통해 고객은 스노우플레이크 스토리지, 외부 아이스버그 스토리지 및 써드파티 업체 데이터까지 AI 데이터 클라우드에서 검색할 수 있다. 스노우플레이크가 지난해 5월에 인수한 니바의 최첨단 검색 엔진 기술을 기반으로 구축된 이 기능을 통해 사용자는 자연어로 데이터를 찾아내 신속하게 조치할 수 있다. 더불어 데이터 발견 및 큐레이션을 위해 스노우플레이크는 새로운 AI 기반 오브젝트 설명(프라이빗 프리뷰 예정)을 추가했다. 이 기능은 테이블과 뷰에 대한 관련 컨텍스트와 코멘트를 자동으로 생성한다. 스노우플레이크는 고객들의 요구에 대한 플랫폼 성능과 효율성을 지속적으로 향상시키기 위해 노력하고 있다. 스노우플레이크의 성능을 측정하는 스노우플레이크 성능 지수(SPI)에 따르면, 2022년 8월 대비 지난 4월 30일 기준으로 고객 환경에서 통일 워크로드에서의 쿼리 실행 시간이 27% 개선됐으며, 4월 기준 1년 전과 비교해 12% 개선됐다. 데이터 로딩도 더 빨라져 비용을 절감했다. 2022년 8월 대비 지난 4월 30일 기준으로 고객들은 직접 조치를 하지 않아도 JSON 포맷 파일 로딩에 대해 최대 25% 성능을 높였고, 파케이 파일 로딩에 대해서도 성능을 최대 50% 높였다. 현재 스노우플레이크는 40개 이상의 클라우드 리전을 지원하며 전세계적으로 AI 데이터 클라우드의 영향력을 높이고 있다. 데이터 관리에 대해 엄격하게 규제된 지역 및 국가도 포함된다. 유럽 고객의 데이터 서비스 등에 강력하게 적용되는 EU 전용 데이터 경계도 포함되며 미국 국방부(DoD)에 맞춘 별도의 환경 또한 제공할 예정이다. 이 환경은 바운더리 클라우드 엑세스 포인트(BCAP)와의 네트워킹 통합을 포함해 임팩트 레벨 4(IL4) 보안 컨트롤 요건을 충족한다.

2024.06.05 10:00김우용

스노우플레이크, 노코드로 LLM 챗봇 구축 기능 공개

[샌프란시스코(미국)=김우용 기자] 스노우플레이크는 4일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크 서밋 2024' 둘째날 행사에서 '스노우플레이크 코텍스 AI'의 새로운 기능을 발표했다. 스노우플레이크 코텍스 AI는 AI 기반 애플리케이션을 쉽고 효율적으로 생성하는 도구로, 최신 업데이트를 통해 기업이 수 분 내에 챗봇을 만들고 채팅 환경에서 자사 데이터를 활용한 답변을 얻어낼 수 있도록 한다. 스노우플레이크의 새로운 노코드 인터랙티브 인터페이스와 대규모언어모델(LLM)에 대한 접근 및 서버리스 파인튜닝은 비전문가도 특정 산업 사용 사례에 맞춰 AI를 쉽게 활용하는 '데이터 민주화'를 견인한다. 스노우플레이크 ML을 통해 머신러닝을 위한 통합 환경을 갖추고 모델을 운영할 수 있는 경로를 빠르게 개발할 수 있다. 스노우플레이크의 생성형 AI 및 ML 통합 플랫폼은 비즈니스 전반에 걸쳐 데이터로부터 더 많은 가치를 창출하고 완전한 보안과 거버넌스, 제어 기능으로 신뢰할 수 있는 AI를 대규모로 제공한다.. LLM 기반 챗봇의 강점은 비전문가도 자연어로 질문해 내부 기업 데이터를 활용할 수 있다는 것이다. 기업은 이를 활용해 중요한 의사 결정을 하는데 필요한 인사이트를 빠르게 얻을 수 있다. 스노우플레이크는 '스노우플레이크 코텍스 애널리스트(퍼블릭 프리뷰 예정)'와 '스노우플레이크 코텍스 서치(퍼블릭 프리뷰 예정)' 등 두 가지 새로운 채팅 기능을 공개했다. 사용자는 복잡한 절차 없이 보유한 정형 및 비정형 데이터를 바탕으로 수 분만에 챗봇을 개발할 수 있다. 메타의 라마3, 미스트랄 라지 모델로 구축한 코텍스 애널리스트를 통해 기업은 생성형 AI 기반의 애플리케이션을 안전하고 쉽게 구축할 수 있다. 코텍스 서치는 2023년 5월 스노우플레이크가 인수한 니바의 최첨단 검색 및 랭킹 지정 기술과 스노우플레이크 아크틱 임베드를 함께 활용해 벡터 및 텍스트가 결합된 엔터프라이즈급 하이브리드 검색 기능을 제공한다. 이를 통해 문서 및 기타 텍스트 기반 데이터세트에 대한 애플리케이션을 구축할 수 있도록 한다. 비전문가도 매우 간단한 단계를 거쳐 빠르게 AI 기반 채팅 서비스를 구성할 수 있다. 스노우플레이크는 기업 데이터 및 자산 전반에 걸쳐 폭력, 혐오, 자해 또는 범죄 행위 등의 유해 콘텐츠를 필터링하는 LLM 기반 입출력 보호 기능인 메타의 라마 가드를 활용한 스노우플레이크 코텍스 가드를 출시한다. 스노우플레이크는 코텍스 가드를 통해 기업을 위한 AI 안전성을 높였다. 스노우플레이크는 맞춤형 채팅 개발 뿐 아니라 사전 구축된 AI 기반 경험을 제공한다. 사용자는 도큐먼트AI를 통해 스노우플레이크의 멀티모달 LLM '스노우플레이크 아크틱 TILT'로 인보이스의 액수 또는 계약 조건 등의 콘텐츠를 간편하게 추출할 수 있다. 이 모델의 성능은 GPT-4를 능가하며 시각적 문서 질문 응답의 표준인 DocVQA 벤치마크 테스트에서 최고 점수를 기록했다. 노던 트러스트 등의 기업은 도큐먼트 AI를 활용해 문서를 대량으로 처리함으로써 운영비용은 줄이고 효율성을 높이고 있다. 스노우플레이크는 미스트랄 라지의 강점과 스노우플레이크의 독자적 SQL 생성 모델을 조합해 모든 SQL 사용자의 생산성을 더욱 높여주는 텍스트-투-SQL 어시스턴트 스노우플레이크 코파일럿도 출시할 예정이다. 스노우플레이크 코텍스 AI는 스노우플레이크의 정상급 오픈소스 LLM인 스노우플레이크 아크틱 외에도 구글, 메타, 미스트랄 AI, 레카 등 유수 업체의 최첨단 모델 세트를 고객에게 제공해 AI 개발을 가속화한다. 스노우플레이크는 AI 개발 착수와 더 빠른 AI 애플리케이션 제품화를 지원하는 노코드 인터랙티브 인터페이스인 새로운 스노우플레이크 AI & ML 스튜디오(프라이빗 프리뷰)를 통해 누구나 각자의 기업 데이터에 쉽게 적용하도록 하며 데이터 활용을 대중화하고 있다. 사용자는 간편한 테스트·평가 과정을 거쳐 특정 분야에 가장 적합한 모델을 선정하고, 궁극적으로 운영비를 최적화하며 생산 단계에 이르는 기간을 단축할 수 있다. 스노우플레이크는 기업이 LLM 성능을 더욱 향상하고 보다 개인화된 경험을 제공할 수 있도록 코텍스 파인튜닝(퍼블릭 프리뷰)을 출시했다. 이 서버리스 맞춤화는 메타 및 미스트랄 AI 모델의 일부로 제공되며 AI & ML 스튜디오 또는 간단한 SQL 기능으로 이용할 수 있다. 파인 튜닝을 거친 모델은 코텍스 AI 기능을 통해 쉽게 사용할 수 있으며, 스노우플레이크 역할 기반 접근제어를 통해 액세스를 관리한다. 대부분의 기업은 ML 및 LLM 모델 개발 이후 변화하는 데이터 세트에서 이를 계속해서 운영하는 데 어려움을 겪는다. 스노우플레이크 ML은 AI 데이터 클라우드에 ML옵스 기능을 제공한다. 조직은 데이터 전처리부터 모델 관리까지, ML 생애 주기 전반에 걸쳐 기능, 모델, 메타데이터를 원활하게 발견하고 관리 및 통제할 수 있다. 이러한 중앙 집중식 ML옵스 기능은 스노우플레이크 노트북과 스노우파크 ML을 비롯한 스노우플레이크 플랫폼과도 통합돼 간편한 엔드투엔드 경험을 제공한다. 스노우플레이크의 ML옵스 기능은 스노우플레이크 모델 레지스트리를 포함한다. 스노우플레이크 모델 레지스트리는 모든 유형의 AI 모델의 액세스 및 사용을 통제함으로써 신뢰성과 효율을 보장하고 더욱 개인화된 경험과 비용 절감 자동화를 제공한다. 스노우플레이크는 데이터 사이언티스트와 머신러닝 엔지니어들이 일관된 ML 기능을 생성, 저장, 관리 및 제공할 수 있는 통합 솔루션인 스노우플레이크 피처 스토어(퍼블릭 프리뷰)와 ML 리니지(프라이빗 프리뷰)를 발표했다. 이 서비스를 통해 기업은 ML 생애주기 전반에 걸쳐 기능과 데이터 세트, 모델의 사용을 추적할 수 있다. 크리스티안 클라이너만 스노우플레이크 제품 총괄부사장(EVP)은 “스노우플레이크의 AI 서비스는 엔터프라이즈의 모두에게 데이터에 접근할 수 있는 힘을 주고, 막대한 기회를 준다”며 “코텍스 AI는 여러 복잡한 단계로 이뤄지는 AI 개발 워크플로우를 쉽게 구축하게 하기에 여러 혁신을 일으키고 있다”고 밝혔다. 그는 “데이터와 AI의 힘으로 더 많은 것을 할 수 있다”며 “여러분의 조직이 엔터프라이즈 AI 시대를 선도하며 더 많은 가치와 인사이트를 찾을 수 있도록 도울 것이며, 끊임없이 혁신을 이어가자고 약속하겠다”고 강조했다.

2024.06.05 06:39김우용

스노우플레이크, 개발자 플랫폼 대거 업데이트

[샌프란시스코(미국)=김우용 기자] 스노우플레이크는 4일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크서밋 2024' 둘째날 행사에서 데이터를 활용한 엔터프라이즈급 파이프라인, 모델, 애플리케이션 등의 엔드투엔드 개발을 가속하는 새로운 기능을 대거 발표했다. 새로운 개발자 도구와 네이티브 통합으로 고객 편의성과 개발 속도를 높이고, AI 데이터 클라우드에서 효율적인 제품 개발을 지원할 전망이다. 애플리케이션 프로토타입에서 배포까지 걸리는 기간을 단축하기 위해 노력하는 가운데, 스노우플레이크는 개발자가 높은 성능의 데이터 제품을 생산할 수 있는 플랫폼으로 자리 잡고 있다. 개발자는 스노우플레이크의 '동적 테이블(Dynamic Tables)'과 '스노우파이프 스트리밍'을 함께 사용해 낮은 레이턴시 기반의 데이터 파이프라인을 활성화하고 AI 및 머신러닝 모델을 생성할 수 있다. 현재 2천900여 고객사가 평균 20만개 이상의 동적 테이블을 실행해 운영 데이터 파이프라인을 구축, 관리하고 있다. 올해 행사에서 스노우플레이크는 동적 테이블을 정식 출시(GA)한다고 발표했다. 스노우플레이크는 개발자가 AI 데이터 클라우드 환경에서 보유하고 있는 데이터로 AI 개발 시간을 줄일 수 있는 다양한 방법을 제공한다. 그 중 하나로 데이터 엔지니어링 전과정의 작업을 할 수 있는 '스노우플레이크 노트북'을 새롭게 공개했다. 스노우플레이크 노트북(퍼블릭 프리뷰)은 스노우파크 ML, 스트림릿, 스노우플레이크 코텍스 AI 등 모든 스노우플레이크 플랫폼과 네이티브 통합됐으며, 단일 개발 인터페이스 제공으로 파이썬, SQL, 마크다운 개발이 간편해진다. 개발자는 스노우플레이크 노트북으로 ML 파이프라인을 실험 및 반복 적용하고, AI 기반 편집 기능을 활용해 데이터 엔지니어링 워크플로우를 단순화하는 등 생산성과 협업 개발에서 효율을 높일 수 있다. 스노우파크 판다스 API(퍼블릭 프리뷰)도 추가됐다. 파이썬 개발자가 선호하는 판다스 구문을 사용해 보다 수준 높은 AI와 파이프라인 개발을 지원하고 스노우플레이크의 성능과 확장성 및 실행을 위한 거버넌스를 활용할 수 있도록 한다. 스노우플레이크는 데브옵스에 데이터 중심적인 접근으로 단일 플랫폼 내에서 개발·운영·데이터 관리를 원활하게 통합하고 개발 과정을 간소화한다. 스노우플레이크는 복잡한 워크플로우를 한 줄씩 스크립팅하는 것 대신, 코드형 인프라스트럭처 규칙으로 데이터 파이프라인의 원하는 상태를 정의함으로써 새로운 데이터베이스 변경 관리(퍼블릭 프리뷰) 기능에서 선언적(declarative) 개발 방식을 우선으로 채택한다. 데이터 엔지니어와 개발자는 스노우플레이크의 새로운 깃통합(퍼블릭 프리뷰)으로 팀 간 협업을 강화하고 다양한 환경에 배포하는 시간을 단축할 수 있다. 곧 정식 출시될 스노우플레이크의 파이썬 API는 리소스를 효율적으로 관리하고, 오픈소스 스노우플레이크 CLI는 단일 인터페이스로 사용해 CI/CD 파이프라인을 관리할 수 있다. 스노우플레이크 트레일도 공개됐다. 통합적인 가시성을 제공해 개발자가 워크플로우를 쉽게 모니터링하고 문제 해결 및 최적화할 수 있도록 한다. 데이터 품질, 파이프라인 및 애플리케이션에 대한 가시성도 향상된다. 스노우플레이크는 스노우파크 및 스노우파크 컨테이너 서비스를 위해 내장된 텔레메트리 신호를 제공한다. 사용자는 에이전트를 수동으로 설정하거나 데이터를 전송할 필요 없이 매트릭스, 로그, 분산 추적을 활용해 오류를 쉽게 진단하고 디버깅할 수 있다. 오픈 텔레메트리 표준으로 구축되어 개발자는 스노우사이트에서 자체적으로 작업하는 것은 물론 그라파나, 메타플레인, 페이저듀티, 슬랙 등의 플랫폼과 통합할 수 있다. 몬테카를로나 옵저브 같은 관측 기능 플랫폼과도 협력해 고객에게 엔드 투 엔드 통합 관측 기능을 제공한다. 스노우플레이크는 기업들이 정교한 애플리케이션을 더욱 원활하게 구축 및 출시할 수 있도록 스노우파크 컨테이너 서비스(AWS 기반, 퍼블릭 프리뷰)와 스노우플레이크 네이티브 앱 프레임워크의 통합을 발표했다. 이번 통합으로 기업은 다양한 분야에 맞춰 구성 가능한 GPU 및 CPU 인스턴스로 컴퓨터 비전 자동화, 지리 공간 데이터 분석, 기업용 ML 애플리케이션 등 AI 데이터 클라우드에 구축할 수 있는 애플리케이션의 범위와 종류를 확장할 수 있다. 애플리케이션 개발자는 AI 기반 스노우플레이크 네이티브 앱을 구축하고, 스노우플레이크 마켓플레이스를 통해 다양한 클라우드 환경과 전 세계 수천 명의 스노우플레이크 고객에게 앱을 배포할 수 있다. 현재 스노우플레이크 마켓플레이스에서 지난 4월 30일 기준 총 160개 이상의 스노우플레이크 네이티브 앱을 확인할 수 있다. 기업들은 새로운 수익원인 스노우플레이크 네이티브 앱을 배포하며, 앱의 수익화와 조달을 가속하기 위해 스노우플레이크 마켓플레이스를 유통 플랫폼으로 활용하고 있다. 수백 개의 스타트업이 스노우플레이크를 기반으로 전체 비즈니스를 구축하고 있으며, 막사(Maxa), 마이 데이터 아울렛(My Data Outlet), 릴레이셔널AI(RelationalAI) 등의 제공 업체는 스노우플레이크 마켓플레이스에서 수백만 달러의 수익을 창출하고 있다. 스노우플레이크 제프 홀란 애플리케이션 및 개발자 플랫폼 부문장은 "새롭게 선보인 기능은 개발자가 기존의 엔터프라이즈 데이터로 익숙하면서도 더 많은 경험을 하도록 지원하며 AI 데이터 클라우드에서 개발자의 한계를 계속해서 넘어서고 있다”며 “개발자는 스노우플레이크의 뛰어난 확장성과 성능, 거버넌스를 바탕으로 유용한 LLM 기반 애플리케이션을 손쉽게 개발하고 궁극적으로 더 많은 사용자들이 AI를 사용할 수 있게 된다”고 말했다.

2024.06.05 04:49김우용

스노우플레이크, 아이스버그용 오픈소스 카탈로그 공개

[샌프란시스코(미국)=김우용 기자] 스노우플레이크가 아파치 아이스버그 호출 API를 표준화할 수 있는 데이터 카탈로그를 공개했다. 스노우플레이크는 3일(현지시간) 미국 샌프란시스코에서 개최한 '스노우플레이크 서밋 2024'에서 '폴라리스 카탈로그(Polaris Catalog)'를 발표했다. 폴라리스 카탈로그는 개방형 데이터 카탈로그 서비스로, 데이터 레이크하우스, 데이터 레이크 및 기타 모던 아키텍처를 구현하는 데 주로 사용되는 오픈소스 데이터 테이블 포맷인 아파치 아이스버그를 지원한다. 아마존웹서비스(AWS), 컨플루언트, 드레미오, 구글 클라우드, 마이크로소프트 애저, 세일즈포스 같은 주요 클라우드 서비스 플랫폼과 상호 호환된다. 론 올트로프 스노우플레이크 데이터레이크&아이스버그 제품 매니저는 “폴라리스 카탈로그는 아파치 아이스버그 API의 참조 구현”이라고 요약했다. 그는 “아파치 아이스버그는 개방형 테이블 형식으로 운영 또는 메타데이터 카탈로그 서비스를 사용한다”며 “스노우플레이크 테이블을 만들 때 ACID를 준수하는 메타데이터 스냅샷을 통해 일관된 데이터를 쿼리할 수 있는데, 이러한 메타데이터 스냅샷은 아이스버그 카탈로그에 대한 API 호출을 통해 얻을 수 있다”고 설명했다. 그는 “아파치 아이스버그 오픈소스 사양에 REST API가 있지만, 해당 사양의 오픈소스 참조 구현은 없다”며 “이 때문에 고객은 API가 호출에 응답할 수 있도록 엔드포인트와 인프라, API 작동 코드 등을 자체적으로 구축해야 하는데, 이제 스파크, 트리노, 스노우플레이크 등과 상호 운용 가능한 컴퓨팅 엔진에서 아파치 아이스버그를 활용하려는 모든 사람은 폴라리스에서 동일한 API를 사용할 수 있다”고 밝혔다. 폴라리스 카탈로그를 이용하면 아파치 아이스버그 테이블을 쿼리하기 위한 API 호출 코드를 구글 클라우드 내부에서, 마이크로소프트 패브릭 내부에서 동일하게 사용할 수 있다. 사용자는 아이스버그의 오픈소스 REST 프로토콜을 기반으로 하는 폴라리스 카탈로그를 통해 중앙화된 서비스에서 보안과 개방된 상호 운용성을 보장 받으며, 아파치 플링크, 아파치 스파크, 드레미오, 파이썬, 트리노 등 아이스버그 REST API를 지원하는 모든 엔진의 데이터를 액세스하고 검색할 수 있다. 기업들은 스노우플레이크의 AI 데이터 클라우드 내에서 폴라리스 카탈로그를 빠르게 실행할 수 있으며, 도커나 쿠버네티스 같은 컨테이너를 사용해 자체 인프라에서 직접 호스팅 할 수도 있다. 백엔드 구현을 오픈소스로 제공하는 폴라리스 카탈로그를 통해 보안은 유지하면서 자유롭게 호스팅 인프라를 교체하고 특정 공급자에 종속되는 것을 방지할 수 있다. 슈리다 라마스워미 스노우플레이크 CEO는 스노우플레이크서밋 2024 기조연설에서 “AI 데이터 클라우드의 범위와 기능 확장에 따라 많은 고객, 특히 대기업이 보안과 데이터 액세스를 중앙 집중화할 수 있는 더 나은 방법을 요청해 왔다”며 “올바른 엔진 또는 올바른 작업을 적용하고 새로운 사용 사례에 스노우플레이크를 테스트할 수 있는 간단하고 효율적인 방법을 원한다”고 말했다. 그는 “폴라리스 카탈로그는 개방형 카탈로그 인터페이스로 AWS, 구글, 마이크로소프트 애저, 기타 여러 리더 등과 호환성을 제공하게 한다”며 완벽한 제어와 유연성을 제공하며, 향후 90일 이내에 카탈로그 인터페이스를 오픈소스화할 것”이라고 밝혔다. 폴라리스 카탈로그 서비스는 특정 공급자가 제품을 임의로 통제할 수 없는 벤더 중립으로 향후 90일 이내에 오픈소스로 공개될 예정이다. 이를 통해 다양한 기업과 아이스버그 커뮤니티에서 새로운 기능과 유연성, 철저한 기업 보안을 유지하며 데이터를 활용할 수 있을 것으로 전망된다. 아파치 아이스버그는 2020년 5월 인큐베이션 단계를 마치고 아파치 소프트웨어 재단의 최상위 프로젝트로 등록됐다. 이후 개발자들의 높은 관심을 받으며 대표적인 오픈소스 데이터 테이블 포맷으로 자리 잡았다. 아파치 아이스버그는 커뮤니티 구성원들이 활발하게 도입하고 상업적 서비스로 활용하면서 빠른 속도로 발전하고 있다. 스노우플레이크는 폴라리스 카탈로그가 커뮤니티를 확장하고 점차 높아지는 사용자 기대치를 충족하기 위해 아이스버그 생태계와 협력해 나가고 있다. 스노우플레이크의 적극적인 커뮤니티 지원은 최근 마이크로소프트와 확장한 파트너십과도 연결된다. 양사는 업계를 주도하는 오픈 스토리지 포맷 표준인 아파치 아이스버그와 아파치 파케이를 지원하고, 이에 따라 스노우플레이크와 패브릭 간 상호 운용성 또한 원활해졌다. 이제 양사는 폴라리스 카탈로그를 통해 데이터의 저장 위치에 상관없이 모든 사용자가 엔터프라이즈 데이터를 활용해 AI 기반 애플리케이션을 대규모로 생성하도록 협업해 나갈 예정이다. 스노우플레이크는 전 세계 수천 개 고객의 크로스 클라우드 데이터 및 AI 워크로드를 지원하는 데이터 기반으로서의 전문성과, 빠르게 성장하는 아이스버그 커뮤니티의 혁신 및 오픈소스 기술을 바탕으로 서로 다른 엔진 간 데이터 상호 운용성을 간소화할 계획이다. 폴라리스 카탈로그는 아이스버그 테이블에 대한 투자와 마찬가지로 오픈소스의 발전을 향한 스노우플레이크의 의지이기도 하다. 이를 통해 스노우플레이크 고객은 아파치 아이스버그 포맷으로 각자의 스토리지에서 데이터 작업을 수행할 수 있으며, 스노우플레이크의 사용 편의성, 성능 및 통합 거버넌스의 혜택도 누릴 수 있다. 최근 스노우플레이크는 개방형 엔터프라이즈급 LLM 스노우플레이크 아크틱을 발표했다. 오픈소스 생태계를 지원하기 위해 아크틱은 아파치 2.0 라이선스 기반 오픈소스로 공개됐으며 매뉴얼 개념인 쿡북을 통해 자세한 내용을 소개하고 있다. 스노우플레이크는 현재 매월 27만 5천명 이상의 현역 개발자와 매월 600만 건 이상의 애플리케이션 조회수를 보유한 스트림릿 오픈소스 커뮤니티를 지원한다. 스트림릿은 2022년 3월 스노우플레이크에 인수된 후 지난 2년 동안 500% 이상 성장해 왔다. 스노우플레이크와 스트림릿은 개발자를 위한 최첨단 오픈소스 발전에 아낌없는 투자를 이어가고 있다.

2024.06.04 20:06김우용

"엔터프라이즈 AI의 시대가 왔다"

[샌프란시스코(미국)=김우용 기자] “엔터프라이즈 AI의 시대가 도래했습니다.” 슈리다 라마스워미 스노우플레이크 최고경영자(CEO)는 3일(현지시간) 미국 샌프란시스코에서 개최한 연례 컨퍼런스 '스노우플레이크 서밋 2024' 기조연설에서 이같이 밝혔다. 슈리다 라마스워미 CEO는 “우리의 통합 플랫폼은 그 어느 때보다 우수하고 강력하게 복잡한 것을 간단하고 정교하며 비용 효율적으로 만든다”며 “아이디어를 뒷받침하는 통합 데이터 플랫폼에 내장된 쉽고 효율적이며 신뢰할 수 있는 AI를 여러분 모두에게 제공하기 위해 엄청난 속도로 작동하고 있다”고 강조했다. 스노우플레이크는 기업이 자사 플랫폼에서 엔비디아AI를 기반으로 맞춤형 AI 데이터 애플리케이션을 구축할 수 있도록 엔비디아와의 협력을 강화한다고 발표했다. 양사 협력을 통해 스노우플레이크는 엔비디아 AI 엔터프라이즈 소프트웨어를 적용, 네모 리트리버 마이크로서비스를 완전 관리형 LLM 및 벡터 검색 서비스인 스노우플레이크 코텍스 AI에 통합했다. 고객은 맞춤형 모델을 다양한 비즈니스 데이터에 원활히 연결하고 정확한 응답을 제공할 수 있게 된다. 엔터프라이즈급 LLM 스노우플레이크 아크틱은 엔비디아 텐서RT-LLM 소프트웨어를 지원해 고도로 최적화된 성능을 제공한다. 또, 엔비디아 NIM(추론 마이크로서비스)로도 사용할 수 있게 돼 더 많은 개발자가 아크틱에서 인사이트를 얻을 수 있다. 기업은 AI를 적용할 수 있는 다양한 방법들을 모색하고 있고, 맞춤화된 모델을 생성하기 위해 데이터 활용은 더욱 중요해졌다. 스노우플레이크와 엔비디아의 협력으로 기업들은 맞춤형 사례별 AI 솔루션을 빠른 속도로 구축할 수 있고, 이를 통해 기업들은 엔터프라이즈 AI의 잠재력을 실현하고 있다. 슈리다 라마스워미 CEO는 “엔비디아의 풀스택 가속 컴퓨팅 및 소프트웨어와 스노우플레이크의 최신 AI 기능을 코텍스 AI에 통합시키는 것은 시장 판도를 바꿀 것”이라며 “양사는 모든 산업과 모든 기술 수준의 고객이 쉽고 효율적이며 안전하게 맞춤형 AI 애플리케이션을 기업 데이터에 구축할 수 있는 AI 의 새로운 시대를 열고자 노력하고 있다”고 강조했다. 젠슨 황 엔비디아 CEO는 타이완 타이베이에서 온라인 생중계로 기조연설에 참석했다. 그는 “AI는 매우 큰 규모의 컴퓨팅을 필요로 하며, 인프라 임대 기간이 짧을수록 비용을 줄이고 모델을 더 많이 반복 학습할 수 있으며 시장에 더 빨리 출시할 수 있다”며 “AI 모델이 토큰을 생성하는 생성형 AI의 시대에 모두가 비용을 낮출 수 있도록 빠르게 생성하기를 원하는 가운데 토큰 생성을 위한 혁신적인 런타임인 텐서 RT LM 통합에 스노우플레이크 팀과 협력하게 돼 기쁘다”고 밝혔다. 라마스워미 CEO는 엔비디아 H100 텐서코어 GPU를 활용해 스노우플레이크 아크틱을 3개월만에 구축할 수 있었다고 밝혔다. 지난 4월 출시된 최신 LLM 스노우플레이크 아크틱은 엔비디아 H100 텐서 코어 GPU를 통해 학습됐다. 엔비디아 NIM에 통합돼 사용할 수 있어 몇 초 만에 시작할 수 있다. 엔비디아가 호스팅하는 아크틱 NIM은 엔비디아 AI 카탈로그를 통해 실시간으로 제공돼 개발자가 무료 크레딧을 사용해 선호하는 인프라를 선택해 개방성이 가장 높은 기업용 LLM을 배포할 수 있도록 지원한다. 젠슨 황 CEO는 “네모 리트리버는 의미 체계 쿼리 라이브러리로서 데이터를 포함하며 가장 중요한 데이터는 기업 독점 데이터이고, 스노우플레이크에 있다”며 “이제 더 나은 인덱스 가이드, 더 나은 순위를 검색하고 몰입감 있는 방식으로 매우 크고 독점적인 데이터를 채팅 기능에 직접 연결할 수 있도록 도울 수 있게 됐다”고 말했다. 이어 “기업이 스노우플레이크에 보유한 데이터의 양이 너무 커서 처리를 위해 다른 곳으로 옮길 수 없게 됐으므로, 컴퓨팅을 데이터쪽으로 옮기는 것이 훨씬 더 쉬운 방법”이라며 “엔비디아 가속 컴퓨팅과 생성형 AI 컴퓨팅이 스노우플레이크 코텍스 AI에서 바로 처리를 수행할 수 있는 동일한 위치에 있게 돼 완전히 혁신적”이라고 강조했다. 스노우플레이크와 엔비디아는 네모 리트리버와 같은 엔비디아의 AI 엔터프라이즈 소프트웨어 제품군의 핵심 기술을 코텍스 AI에 통합하기 위해 협력하고 있다. 이를 통해 기업은 AI 투자를 극대화하는 맞춤형 AI 기반 애플리케이션을 효율적으로 구축하고 활용할 수 있게 된다. 엔비디아 네모 리트리버는 코텍스 AI 내에서 검색 증강 생성(RAG) 기반의 AI 애플리케이션을 구축하는 기업이 보다 정확하고 효율적인 결과를 도출할 수 있는 정보 검색 기능을 제공한다. 엔비디아 트리톤 인퍼런스 서버는 모든 플랫폼의 모든 애플리케이션에 대해 AI 추론을 배포, 실행 및 확장할 수 있는 기능을 제공한다. 양사 협력을 통해 고객들은 엔비디아 AI 소프트웨어 기반의 AI 솔루션 NIM을 스노우파크 컨테이너 서비스에 네이티브 앱의 형태로 배포해 사용할 수 있다. 이를 통해 기업은 스노우플레이크 내 일련의 파운데이션 모델을 쉽게 배포할 수 있게 된다. 젠슨 황 엔비디아 CEO는 “생성형 AI의 속도는 무어의 법칙을 따르지 않고 6개월마다 두배 빨라지고 있다”며 “여기서 정말 중요한 것은 이 기차에 최대한 빨리 뛰어들어야 한다는 것이고, 이 비행을 바라보는 것은 좋은 전략이 아니다”라고 조언했다. 슈리다 라마스워미 CEO는 “스노우플레이크의 AI 데이터 클라우드에서 매일 50억개의 쿼리가 발생하고 있는데 이는 구글의 일일 검색수와 같은 규모”라며 “스노우플레이크는 고객의 성공에 계속 집착할 것이고, 복잡한 작업을 단순하고 비용효율적으로 만드는 단일 통합 플랫폼을 구축한다는 약속은 변하지 않는다”고 강조했다. 슈리다 라마스워미 CEO는 “모든 스노우플레이크 사용자에게 생성형 AI를 제공하는 완전 관리형 서비스인 코텍스 AI를 출시함으로써 기존 SaaS 모델에서 불가능했던 애플리케이션을 구축하고 실행하게 했다”며 “AI 데이터 클라우드에서 1천 개 이상의 앱이 실행중이고 그중 160개는 스노우플레이크 마켓플레이스에서 사용가능하다”고 덧붙였다.

2024.06.04 19:24김우용

넥슨, 스노우플레이크 서밋24서 데이터 통합 플랫폼 '모노레이크' 소개

넥슨(공동 대표 강대현·김정욱)은 미국 샌프란시스코에서 열리는 글로벌 데이터 클라우드 기업 스노우플레이크의 연례 사용자 콘퍼런스 '스노우플레이크 데이터 클라우드 서밋 24(Snowflake Data Cloud Summit 24)'에 연사로 참여했다고 4일 밝혔다. 오는 6일(현지시간)까지 진행되는 이번 행사에는 이재면 넥슨 데이터 엔지니어가 연사로 나서 스노우플레이크의 기술을 도입한 자사의 데이터 통합 플랫폼 '모노레이크(Monolake)'를 소개했다. 모노레이크는 하나라는 뜻의 '모놀리식(Monolithic)'과 원시 데이터 저장소 '데이터 레이크(Data Lake)'의 합성어로, 게임 서비스 및 신작 개발 과정에서 생성되는 방대한 데이터가 분산되어 있어 관리 및 상호 공유가 어려운 문제를 해결하기 위해 지난해 12월 구축됐다. 모노레이크는 하루 평균 100TB(테라바이트) 이상 생성되는 데이터와 8천여 개의 이벤트 등을 표준화해 동일한 방법으로 처리하여 데이터 적재 효율성과 쿼리 성능을 크게 높였다. 넥슨은 모노레이크 도입 후 이를 기반으로 한 다양한 데이터 업무 서비스를 만들고, 누구나 데이터에 접근하여 이를 활용할 수 있도록 했다. 실제로 모노레이크 기반 서비스는 넥슨 내 100여 개의 조직에서 ▲비전문가도 가능한 손쉬운 쿼리 작성 ▲유저CS 유입 및 이상 상황 발생시 즉각적인 알림 ▲AI 연구조직 인텔리전스랩스의 데이터 연구 ▲오픈 API 서비스 ▲콘텐츠 소비 동향 분석 등에 활발히 사용되고 있다. 넥슨 이재면 데이터엔지니어링팀장은 “업계 최대 규모에 이르는 데이터를 보유한 넥슨은 꾸준히 데이터 활용 연구를 진행 중이며, 데이터 메시 아키텍처를 통해 처리 과정 자체보다 데이터를 기반으로 한 서비스 개발에 집중할 수 있었다”고 말했다. 이어 “축적된 데이터를 토대로 다양한 아이디어를 개발해 유저 경험을 강화할 수 있도록 넥슨만의 체계적인 데이터 거버넌스도 확립해 나가겠다” 고 전했다.

2024.06.04 11:11강한결

스노우플레이크 "AI 개발자 일 평균 90개 앱 개발”

스노우플레이크는 대규모언어모델(LLM) 앱 중 챗봇 비중이 지난해 5월 대비 46%까지 증가했다고 16일 밝혔다. 스노우플레이크는 9천 개 이상 고객을 대상으로 데이터 및 AI 도입의 패턴과 트렌드를 조사해 '데이터 동향 2024 보고서'를 발간했다. 글로벌 엔터프라이즈 기업들이 AI 기술과 데이터를 비즈니스에 어떻게 활용하고 있는지를 다룬 이 보고서는 텍스트 입력 방식의 LLM 앱의 비중은 줄고(2023년 82%, 2024년 54%) 대화형 챗봇이 늘어나고 있다고 분석했다. 또한 스트림릿 개발자 커뮤니티를 대상으로 실시한 설문 조사에서 응답자의 약 65%가 업무용으로 LLM 프로젝트를 진행하고 있다고 답했다. 실제로 엔터프라이즈 고객들은 생성형 AI 기반 기술을 업무의 생산성, 효율성, 분석력을 높이는데 다양하게 사용하고 있다. 스노우플레이크 스트림릿 커뮤니티에 속한 전세계 약 2만 명 이상의 개발자들은 지난 9개월 동안 3만 3143개 이상의 LLM 앱을 구축했다. 이들이 가장 선호하는 프로그래밍 언어는 파이썬이었다. 스노우플레이크의 앱 구축 플랫폼인 스노우파크에서 지난해 파이썬 사용량은 5.71배 증가했다. 이는 3.87배, 1.31배 늘어난 스칼라, 자바에 비해 높은 수치다. 파이썬은 프로토타입 및 테스트 속도를 높여 전체 작업 속도는 물론 최첨단 AI 프로젝트의 초기 단계에서 전반적인 학습 속도를 높인다. 최근에는 LLM 앱을 개발할 때 데이터 관리 플랫폼 위에서 프로그래밍하는 사례도 늘고 있다. 스노우플레이크 플랫폼에서 직접 앱을 개발할 수 있는 활용도는 지난해 7월부터 올해 1월, 7개월 사이 3배 이상 증가했다. 단일 데이터 플랫폼에서 개발한 애플리케이션은 외부 업체로 데이터 복사본을 내보낼 필요가 없어 앱 개발과 배포가 빨라지고 운영 및 유지보수 비용을 줄일 수 있다. AI 도입과 함께 조직 내 비정형 데이터에 대한 분석과 처리도 늘었다. 이 과정에서 활용되지 않은 새로운 데이터 소스를 발견할 수 있고, 민감한 개인 데이터를 보호하기 위한 데이터 거버넌스도 중요해졌다. 스노우플레이크 보고서에 따르면 기업들이 지난 한 해 동안 처리한 비정형 데이터의 양은 1.23배 증가했다. 글로벌 시장분석 기관 IDC는 전 세계 데이터의 최대 90%를 비정형 동영상과 이미지 및 문서로 추산하고 있다. 이미 언어모델 훈련이 일반화된 정형 데이터와는 달리 비정형 데이터의 가공은 기업의 비즈니스 경쟁력을 높일 수 있는 새로운 기회가 될 것이다. 제니퍼 벨리센트 스노우플레이크 데이터 전략 수석은 “데이터 거버넌스는 데이터를 통제하는 것이 아니라 궁극적으로 데이터의 가치를 활용하는 것”이라고 강조하며 “스노우플레이크는 거버넌스를 ▲데이터 수집 ▲데이터 보안 ▲데이터 활용, 3가지 축으로 분류하고 고객들은 기업에 적합한 액세스와 사용 정책을 적용하기 위해 데이터를 태그하고 분류할 수 있도록 했다”고 설명했다. 그 결과, 스노우플레이크 고객의 데이터 거버넌스 기능을 도입한 기업은 70%에서 100%로 늘었고, 거버넌스 내 운영되는 쿼리 수도 142% 증가했다. 더불어 벨리센트 수석은 “각각의 데이터들은 기업들이 당면한 문제에 대해 어떻게 대응하는지를 보여준다. 이 개별적인 데이터 포인트들을 전체로 보면, 최신 AI 기술 기회를 활용한 조직의 통합적인 전략을 세울 수 있다”며 “생성형 AI 시대의 핵심 전략은 데이터를 바꾸는 근본적인 변화가 아니라 그 전략을 바로 실행하도록 하는 것이다. 이를 위해서 기업들은 광범위한 데이터 생태계에 펼쳐진 데이터소스를 오픈하고 공유해 데이터 사일로를 허무는 것이 중요하다”고 전했다. 제니퍼 벨리센트 스노우플레이크 데이터 전략 수석은 "대화형 앱은 사람들이 실제 상호작용하는 방식으로 프로그래밍돼 이제 사람과 대화하듯 LLM과 쉽게 상호작용할 수 있다”며 “특히 LLM 앱의 기초가 되는 데이터의 거버넌스와 보안이 보장된다면 대화형 앱은 기업과 사용자 모두의 기대치를 충족하며 활용도가 확대될 것”이라고 밝혔다.

2024.05.16 16:19김우용

[기고] 스노우플레이크가 제안하는 기업 환경을 위한 생성형 AI

생성형 AI는 생산성을 개선하며 데이터에서 더 많은 가치를 창출하는 새로운 방법을 제시한다. 하지만 기업은 생성형 AI를 도입하기에 앞서 '데이터는 과연 신뢰할 수 있는 것인가?', '새로운 기술 채택을 위해 컴퓨팅 환경을 새롭게 구축해야 하는가?', '생성형 AI 기능을 제공하는 애플리케이션을 구축하고 운영해야 하는가?'와 같은 다양한 고민이 생긴다. 그런데 흥미로운 것은 이 모든 고민들의 출발은 '데이터'라는 분명한 사실이다. 기업은 올바른 데이터 전략 없이 올바른 AI 전략을 수립할 수 없다. 본 글에서는 스노우플레이크 단일 플랫폼에서 제공하는 생성형 AI와 관련 기능에 관해 설명하고자 한다. 기업 환경에서 안전한 생성형 AI 활용을 위해 데이터, 대규모언어모델(LLM), 심지어 생성형 AI 애플리케이션까지 일관되게 적용할 수 있는 광범위한 데이터 보안 및 거버넌스 체계를 구축해야 한다. 또한 데이터와 이 데이터로 학습된 모델을 포함해, 전체 생성형 AI 스택들이 안전하게 보호되어야 한다. 데이터 플랫폼과 LLM 환경을 통합하여 기업 데이터가 외부로 유출되는 것을 방지하고 새로운 기술을 위한 투자 비용을 최소화하는 것도 중요하다. 아래 그림은 스노우플레이크 데이터 클라우드 플랫폼에서 제공하는 생성형 AI 기능이다. 이 모든 기능은 데이터를 기반으로 한다. 기업 전반에 분산된 데이터는 데이터의 유형, 형식, 구조와 관계없이 단일 플랫폼에 통합돼 안전하게 보호 및 관리된다. ■ 데이터에 LLM 가져오기 생성형 AI를 위한 데이터가 준비되면 사용자는 LLM 관련 기능을 안전하고 자유롭게 사용할 수 있어야 하고, AI 애플리케이션도 빠르게 구축, 활용할 수 있어야 한다. 또한 생성형 AI가 제공하는 잠재력을 최대한 활용하기 위해서는 전문가뿐만 아니라 AI 전문 지식이 없는 사용자 누구라도 서비스를 쉽고 안전하게 접할 수 있어야 한다. 이를 위해 스노우플레이크는 데이터가 있는 환경에 LLM 관련 기능을 제공하고자 스노우플레이크 코텍스(Cortex)를 개발했다. 스노우플레이크 플랫폼에서는 미스트랄, 메타, 구글에서 제공하는 LLM 모델뿐만 아니라 자체 개발한 LLM이 내장된 상태로 제공된다. 다양한 LLM은 스노우파크 컨테이너 서비스(SPCS)를 통해 데이터 플랫폼 내에서 실행, 파인튜닝 된다. 코텍스에서 제공하는 다양한 기능으로 개발 생산성과 사용자 경험을 개선하고 새로운 분석 인사이트 또한 제공할 수 있다. 이러한 LLM 관련 기능들은 서버리스 기반의 완전 관리형 서비스로 제공되기 때문에, 사용자는 생성형 AI를 위해 높은 비용을 들여 GPU 인프라를 구축하거나 관리할 필요가 없다. 필요한 시점에 코텍스에서 제공하는 서비스를 사용할 수 있으며, 사용한 만큼의 비용만 과금되기 때문에 효율적인 비용으로 생성형 AI 기반의 새로운 사용자 경험을 누릴 수 있다. 스노우플레이크 플랫폼에 내장되지 않은 다른 LLM이나 AI21 랩스, 레카(Reka), 엔비디아 네모(NeMO) 등 상용 LLM들도 스노우플레이크 마켓플레이스를 통해 사용자 환경에 간편하게 설치하고 실행할 수 있다. ■ 스노우플레이크 코텍스 스노우플레이크 코텍스는 스노우플레이크 데이터 클라우드 플랫폼의 핵심 생성형 AI 기능이다. 코텍스는 사용자가 프롬프트를 정의할 필요 없이 번역, 감정 분석, 요약과 같은 작업을 빠르고 비용 효율적으로 실행할 수 있는 기능을 제공한다. 코텍스는 LLM에 관련된 다양한 기능들을 다음과 같은 관리형 함수로 제공한다. -EXTRACT_ANSWER(미리보기): 질문과 구조화되지 않은 데이터가 입력되면 질문에 대한 답변을 제공한다. -SENTIMENT(미리보기): 요청 받은 텍스트에서 감지된 긍정 또는 부정적 감정을 제공한다.(긍정:1, 부정:-1) -SUMMARISE(미리보기): 요청 받은 텍스트의 요약을 제공한다. -TRANSLATE(미리보기): 요청 받은 텍스트를 다른 언어로 번역한다. 코텍스의 첫 번째 장점은 사용 편의성이다. 생성형 AI 기능 구현을 위해 별도의 인프라 구축이나 관리가 필요 없다. 두 번째는 구현 편의성이다. 소개한 생성형 AI 기능들은 복잡한 구현 없이 단순하게 코텍스에서 제공하는 함수를 SQL이나 파이썬 코드에서 호출하면 된다. 이외에도 코텍스는 COMPLETE 함수와 TEXT2SQL 함수를 추가로 제공한다. -Complete(미리보기): 프롬프트의 입력값을 대상으로 LLM을 사용해 응답 텍스트 결과를 제공한다. -Text2SQL(미리보기): 프롬프트에 입력된 자연어를 기반으로 스노우플레이크에서 실행 가능한 SQL문을 제공한다. 이 함수들은 다양한 LLM을 서버리스 기반의 SQL 또는 파이썬 함수 형식으로 제공하는 것이 특징이다. 사용자는 미스트랄, 라마 및 구글의 LLM을 요구사항에 맞게 선택해 사용할 수 있다. COMPLETE와 TEXT2SQL 함수는 스노우플레이크 환경에서 운영되는 앱 개발에도 쓰일 수 있다. 스트림릿에서 개발한 단 몇 줄의 파이썬 코드로 특정 업무 목적에 맞는 챗봇을 개발하거나 커스터마이징한 코파일럿을 개발해 활용할 수 있다. ■ 도큐먼트 AI(미리보기 기능) 도큐먼트 AI는 스노우플레이크의 자체 멀티 모달 LLM을 활용해 비정형 파일(예: PDF, WORD, TXT 등)을 새로운 데이터 소스로 처리하는 기능이다. 비정형 데이터를 정형화할 수 있는 파이프라인 기능이 포함돼 있으며, 직관적인 UI로 데이터를 사전 학습하고 비정형 데이터에서 필요한 정보를 자연어 기반으로 쉽게 추출할 수 있다. ■ 유니버설 서치(미리보기 기능) 유니버설 서치는 스노우플레이크 플랫폼 내의 데이터와 앱을 간편하게 검색하고 사용할 수 있게 하는 LLM 기반 검색 기능이다. 데이터베이스, 테이블, 칼럼과 같은 메타 정보를 탐색하는 데이터 거버넌스 기능으로 활용할 수도 있다. 마켓플레이스의 데이터나 앱을 쉽게 검색하거나, 스노우플레이크와 관련된 기술 사항을 자연어 기반으로 질의하고 원하는 답변을 얻음으로써 사용자 경험을 개선하는 용도로 활용된다. ■ 스노우플레이크 코파일럿(미리보기 기능) 코파일럿은 자연어로 SQL을 생성하고 구체화하는 LLM 기반의 개발 도우미다. SQL을 모르는 사용자도 쿼리를 생성하고 구체화함으로써 데이터 분석에 대한 어려움을 낮추고 진정한 '데이터 민주화'를 경험할 수 있다. 이 텍스트 코드 변환 기능은 앞서 설명한 코텍스의 Text2SQL 함수를 사용해 함수 또는 사용자 애플리케이션에서 활용할 수 있다. ■ 스노우플레이크 아크틱 스노우플레이크는 올해 4월 아파치 2.0 라이선스로 업계 최고 수준의 개방성과 성능을 제공하는 기업용 LLM인 '스노우플레이크 아크틱'을 출시했다. 이 파운데이션 모델은 스노우플레이크만의 독창적인 전문가 혼합(MoE) 아키텍처로 설계돼 동급 최고의 성능과 생산성을 보인다. 스노우플레이크 아크틱은 다음과 같이 다섯 개의 서로 다른 용량을 가진 모델을 제공한다. 아크틱은 스노우플레이크 AI 연구소에서 실제 검색 워크로드에 중점을 두고 개발한 LLM이다. MTEB에 따르면 3억 3천400만 개의 매개 변수를 가진 아크틱(Snowflake Arctic-Embed-L) 모델은 오픈AI에 비해 추정 매개변수가 4분의 1 수준밖에 되지 않는다. 데이터의 차원은 3분의 1 수준이지만, 검색 성능은 더 높다. 이는 10억 개 이상의 매개변수를 가진 모델들도 달성하기 어려운 성능이다. 아크틱의 주요 특징은 다음과 같다. -아크틱 임베드 모델은 5가지 크기(X-Small부터 Large)로 제공된다. 모델의 크기는 2천300만~3억 3천400만 개의 매개변수로 구성돼 있으며, 사용자는 요구사항에 따라 적합한 모델을 선택하여 사용할 수 있다. -아크틱은 아파치 2.0 라이선스를 통해 제공되며, 가중치, 코드, 데이터 레시피 및 연구 과정에서 얻은 다양한 인사이트를 제공한다. -아크틱은 Dense + MoE 아키텍처를 혼용해 설계됐다. 이에 학습 효율성은 높아졌고 더 낮은 비용으로 더 나은 성능을 제공한다. 아크틱 모델의 크기는 유사한 품질의 임베딩 모델과 비교해 더 작기 때문에 대기 시간을 줄이고 TCO를 절감하는 데 도움이 된다. -검색 증강 생성(RAG) 또는 시맨틱 검색 서비스에서 아크틱을 사용할 경우, 높은 검색 성능에 기반한 고품질의 서비스를 제공할 수 있다. -스노우플레이크 아크틱은 현재 허깅페이스에서 직접 다운로드 받아 사용할 수 있으며, 곧 스노우플레이크 코텍스에 통합될 예정이다. 또한, 아마존웹서비스(AWS), 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 레플리케이트 및 투게더 AI의 카탈로그를 통해서도 제공될 예정이다. -일반적인 메트릭스를 위한 모델 훈련과 달리 아크틱은 SQL 생성, 코딩 지원 및 명령 이행과 같이 기업 환경에서 뛰어난 성능을 제공하기 위한 특화된 데이터 커리큘럼을 채택했다. 그동안 AI 모델 학습 알고리즘은 심층 신경망(DNN), 순환신경망(RNN), 장단기 기억(LSTM) 등을 거쳐 트랜스포머까지 꾸준히 발전해 왔지만, AI 모델 분야에서 트랜스포머 이후로 획기적인 발전을 이뤄내지는 못했다. 오픈AI가 매개변수를 늘려 LLM을 선보인 이후부터는 알고리즘 개선보다는 아키텍처 개선에 집중하기 시작했다. 현재 AI 아키텍처는 환각 현상, 경량화, 그리고 혼합이라는 세 가지 관점에 주력하고 있다. 아크틱의 가장 큰 장점은 앞서 설명한 세 가지 주력 사항을 모두 개선하는 독점적인 MoE 아키텍처를 기반으로 설계되었기 때문에, 작은 모델을 유지하면서도 효율적으로 실행한다. 다음 그림과 같이 아크틱은 유사한 다른 모델과 비교해 뛰어난 학습과 추론 성능을 보인다. 아크틱 모델 학습의 경우, 서로 다른 데이터 세트로 구성된 세 단계로 나눠 진행한다. 첫 단계에서는 1T 토큰을 사용해 일반적인 기술을 학습하고, 이후 두 단계에서는 1.5T 및 1T 토큰을 사용해 기업 중심의 기술을 집중적으로 학습한다. 이러한 점진적인 학습 과정은 더욱 복잡한 매트릭스를 효과적으로 학습할 수 있는 기반을 제공한다. 아크틱 모델 추론 효율성도 학습과 마찬가지로 좋은 성능을 제공한다. 아크틱 모델은 특정 작업을 수행할 때 필요한 매개변수만을 활성화 상태로 유지하기 때문에 전체적인 연산 비용을 절감하고, 빠르고 효율적인 추론을 가능하게 한다. 빠른 추론 성능은 기업 환경에서 LLM을 사용하는 경우 매우 중요한 평가 지표로 여겨진다. 일반적으로 LLM은 매개변수 수가 많은 모델을 의미한다. 이러한 파운데이션 모델의 가장 큰 문제점은 높은 비용이다. 초창기 LLM 분야에서는 고밀도 트랜스포머 아키텍처를 주로 선택했다. 모델 품질 개선을 위해 모델 크기를 쉽게 확장할 수 있었기 때문이다. 하지만 임계값 이상으로 모델 크기를 확장하기 위해서는 높아지는 연산 복잡도만큼 많은 컴퓨팅 비용이 소요된다. 오늘날 GPU는 매우 비싼 리소스이기 때문에 기존 고밀도 트랜스포머 모델을 학습하는 것은 시간과 비용 측면에서 큰 투자가 아닐 수 없다. 이러한 문제점을 해결하기 위해 사용된 방법이 MoE 아키텍처이다. MoE 아키텍처는 모델 레이어를 전문가 하위 네트워크가 원래 레이어와 동일한 크기의 MoE 레이어로 대체한다. 이로써 모델 학습과 추론에 필요한 컴퓨팅 비용을 증가하지 않으면서도 모델 품질을 향상한다는 장점이 있다. 스노우플레이크 AI 연구팀은 MoE 모델 내의 전문가 수와 전체 매개변수의 크기, 그리고 이 전문가를 조합하는 방법에 따라 모델 품질을 향상할 수 있다는 것을 입증했다. 480억 매개변수로 설계된 아크틱의 경우 세분된 128개의 전문가를 가지고 있으며, 이들 중 상위 2개의 전문가만 선택해 동작하도록 설계됐다. 이 과정에서는 17억개 규모의 매개변수만이 활성화되기 때문에 다른 MoE 아키텍처 기반의 LLM과 비교했을 때 탁월한 자원 효율성과 성능을 보인다. 또한, 스노우플레이크 아크틱은 학습 비용을 크게 절감했다. 이 모델은 아마존 EC2 P5 인스턴스를 통해 유사한 다른 모델들의 약 8분의 1 정도의 학습 비용만 사용하며 비용 효율성을 실현했다. 이러한 경제적인 이점은 기업 환경에서 비용 부담 없이 대규모 데이터와 복잡한 워크로드를 처리하는 데 도움을 줄 것이다. 앞으로 더 많은 기업이 스노우플레이크 데이터 플랫폼에 결합한 고성능 언어 모델을 접하고 그 무한한 가능성을 경험할 수 있기를 기대한다.

2024.05.07 11:30조성현

스노우플레이크, 엔터프라이즈급 오픈소스 LLM '아크틱' 출시

스노우플레이크는 개방성과 성능을 갖춘 엔터프라이즈급 대규모언어모델(LLM) '스노우플레이크 아크틱(Arctic)'을 25일 출시했다. 스노우플레이크 고유의 전문가혼합(MoE) 방식으로 설계된 아크틱은 높은 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화돼 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다. 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 아크틱 LLM은 스노우플레이크 아크틱 모델군의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다. 포레스터의 최근 보고서에 따르면 글로벌 기업의 AI 의사 결정권자 중 약 46%가 'AI 전략의 일환으로 자신이 속한 기업에 생성형 AI를 도입하기 위해 기존의 오픈소스 LLM을 활용한다'고 답했다. 스노우플레이크 데이터 클라우드 플랫폼은 현재 전 세계 9천400여 기업 및 기관의 데이터 기반으로 활용되고 있다. 아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 엔비디아 텐서RT-LLM, vLLM, 허깅페이스 등의 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스에서 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 투게더 AI 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다. 스노우플레이크 AI 연구팀은 업계 최고의 연구원과 시스템 엔지니어들로 구성돼 있다. 아크틱 구축에는 3개월 미만이 소요됐다. 모델 학습에 아마존 EC2 P5 인스턴스가 활용됐으며, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다. 스노우플레이크는 최첨단 개방형 엔터프라이즈급 모델의 학습 속도에 새로운 기준을 제시하며, 궁극적으로는 사용자가 비용 효율적이고 맞춤화된 모델을 최적의 규모로 생성할 수 있도록 지원한다. 아크틱의 차별화된 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 4천800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 뛰어난 토큰 효율과 업계 최고의 품질을 구현하며 최상의 결과를 제공한다. 아크틱은 획기적인 효율 개선을 위해 추론이나 학습 중 DBRX보다 약 50%, 라마3 70B보다 약 75% 적은 매개변수를 활성화한다. 코딩(Humaneval+, MBPP+)과 SQL 생성(Spider) 면에서도 DBRX, 믹스트랄 8x7B 등 대표적인 기존 오픈소스 모델의 성능을 능가하고 일반 언어 이해(MMLU)에서 최상급 성능을 보인다. 스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것은 더욱 쉬워진다. 아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 최상의 검색 성능을 발휘하도록 최적화돼, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다. 최근 스노우플레이크는 레카와 미스트랄 AI의 모델도 추가하는 등 고객이 데이터 클라우드에서 가장 높은 성능의 최신 LLM을 접할 수 있도록 지원하고 있다. 또, 최근 엔비디아와의 확장된 파트너십을 발표하며 AI 혁신을 지속해 나가고 있다. 스노우플레이크의 데이터 클라우드는 풀스택 엔비디아 가속 플랫폼과 결합해 산업 전반에 걸쳐 AI의 생산성을 적극 활용하는 안전하고 강력한 인프라 및 컴퓨팅 역량을 제공하고 있다. 스노우플레이크 벤처스는 고객이 각자의 기업 데이터에서 LLM과 AI를 통한 가치 창출을 지원하기 위해 최근 랜딩 AI, 미스트랄 AI, 레카 등에도 투자했다. 슈리다 라마스워미 스노우플레이크 CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”며 “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다”고 밝혔다. 그는 “고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 강조했다.

2024.04.25 09:28김우용

[기고] 기업 경쟁력 좌우하는 생성형 AI, 어떻게 시작할 것인가

2023년 우리 모두는 챗GPT가 제공한 새로운 서비스를 경험했다. 생성형 AI와 대규모 언어 모델(LLM)은 개인과 직업의 환경을 혁신적으로 변화시키고 있다. 기업들도 불과 1년 만에 대다수가 생성형 AI에서 제공하는 서비스를 통해 비즈니스 역량을 강화하려는 시도를 하고 있다. 본 글에서는 생성형 AI와 대규모 언어 모델(이하 LLM)이 무엇이며 기업들은 이 서비스를 어떤 분야에 활용할 수 있는지 살펴보고자 한다. 생성형 AI는 신경망과 딥러닝 알고리즘을 사용하여 기존 머신러닝 모델과는 근본적으로 다른 복잡한 콘텐츠, 이미지, 동영상, 오디오 또는 코드를 생성하는 AI의 한 종류이다. 생성형 AI는 전통적인 머신러닝, 딥 러닝 모델보다 훨씬 많은 양의 데이터가 필요하다. 이렇게 훈련된 범용 모델을 파운데이션 모델이라고 한다. 파운데이션 모델을 개발하려면 방대한 양의 데이터와 고성능 컴퓨팅 리소스가 필요하기 때문에 일부 빅테크 회사만이 LLM 개발 및 개선 작업에 적극적으로 참여해왔다. 하지만 최근에는 오픈 소스 파운데이션 모델이 널리 공유돼 파운데이션 모델을 직접 개발하지 않아도 활용할 수 있게 되었다. 덕분에 일반 기업들도 '파인 튜닝'을 통해 LLM을 특정 도메인에 맞게 훈련시키고 자체 비즈니스 요건에 맞게 애플리케이션을 개발하여 사용할 수 있게 됐다. 파인 튜닝은 특정 비즈니스 요건이나 업무 도메인에 맞게 사전 훈련된 LLM에 특정 데이터셋을 사용해 추가적인 학습을 수행하는 작업을 말한다. 챗GPT의 성공 후, 이 시장에 뛰어든 후발 주자 빅테크 기업들은 경쟁력을 확보하기 위한 수단으로 자체 개발하는 LLM의 매개변수를 기하급수적으로 늘려 빠르게 성능을 올리는 전략을 채택했다. 매개변수는 사람의 뇌에서 정보를 처리하고 통합하는 시냅스와 같은 역할을 한다. 매개변수가 많을수록 LLM은 더 많은 정보를 저장하고 더 다양한 패턴을 학습함으로써 세밀한 언어 이해와 콘텐츠 생성을 할 수 있다. 하지만 더 많은 컴퓨팅 자원과 저장 공간이 필요하고 이 모델을 학습하는 데 더 많은 시간이 걸릴 수밖에 없다는 한계가 있다. 이에 반해 매개변수가 적은 LLM은 학습할 때 컴퓨팅 리소스가 덜 필요하기 때문에 파인 튜닝이나 배포가 상대적으로 용이하다. 최근에 공개되고 있는 대다수 LLM의 성능은 상향 평준화되고 있다. 특히 메타의 오픈소스 LLM인 '라마'가 다른 모델에 비해 상대적으로 적은 매개변수를 사용하면서 일정 수준의 성능을 보장한다. 이렇듯 모델 경량화와 최적화는 오늘날 LLM을 선택하는 데 중요한 기준으로 자리 잡았다. ■ LLM에 대한 이해 범용 LLM은 자연어와 컴퓨터 프로그램 언어를 이해할 수 있으며 광범위한 작업을 처리할 수 있다. 인터넷상에 존재하는 방대한 양의 데이터로 사전학습 되어 있으며, 모델 목적과 관련된 특정한 데이터 소스를 활용해 추가 학습할 수도 있다. 이러한 특성 때문에 LLM은 거의 모든 주제에 대한 문맥과 관련된 정보를 생성할 수 있다. 앞서 언급한 파운데이션 모델은 특정 도메인에 국한되지 않고 사용할 수 있는 생성형 AI 모델의 하나이다. 특정 작업이나 도메인 업무에 유용성을 높이기 위해 파운데이션 모델은 사용 목적에 맞게 전문화, 파인 튜닝 또는 수정이 가능하다. 일반적인 파운데이션 모델은 다음과 같이 구분할 수 있다. 작업에 특화된 LLM: 메타의 코드 라마와 같이 특정 업무 영역별 LLM은 프로그래밍 코드 작성과 같은 전문화된 작업에 특화됐다. 도메인에 특화된 LLM: 특정 주제나 산업에 생성형 AI 기술을 적용할 수 있다. 예를 들어, 의료 산업에 대해 학습한 엔비디아의 BioBERT는 제약 업계의 신약 개발과 관련한 논문을 이해하고 의료 문서에서 정보를 검색 및 추출할 수 있다. 앞서 살펴본 LLM은 법률, 미디어, 사이버 보안과 같은 다양한 분야의 도메인에 맞는 데이터를 통해 파인 튜닝될 수 있다. 이는 텍스트에만 국한되지 않으며, 오디오, 이미지, 동영상과 같은 다양한 멀티모달 콘텐츠 역시 생성할 수 있기 때문에 활용 분야는 굉장히 다양해질 수 있다. LLM이 문장뿐만 아니라 문맥을 이해할 수 있는 것은 데이터 세트를 다차원 공간에서 벡터 형식으로 변환한 단어를 활용하기 때문이다. 벡터 임베딩 기술은 자연어의 정량적 표현을 처리하고 저장하는 가장 효율적인 방법이다. 두 단어를 표현하는 벡터 간의 거리와 유사한 메트릭을 기반으로 데이터를 식별하고 처리함으로써 모델 내부에서 정보를 쉽게 비교·분석할 수 있고 정보 처리 시간 또한 크게 단축할 수 있다. 아래 그림과 같이 단어를 공간상의 벡터로 표현하고, 연관된 단어들을 인접한 곳에 배치함으로써 단어의 문맥적 언어를 이해하고 판단하는 것이다. 때문에 LLM 내부에서 벡터 데이터베이스를 사용하면 생성 및 추론 과정에서 AI 시스템이 관련 데이터를 빠르게 검색할 수 있으며, 검색, 추천, 텍스트 생성과 같은 다양한 용도로 활용할 수 있다. 또한, 검색증강생성(RAG), 벡터 유사성 검색(VSS)과 같이 문장을 맥락화하는 데 유용한 기술들이 백터 검색 기능으로 구동된다. 여기서 주목해야 하는 기술은 바로 RAG다. RAG는 맞춤형 데이터를 통해 LLM의 검색 정확도를 개선할 수 있는 프레임워크다. 파운데이션 모델은 광범위한 인터넷 정보를 기반으로 학습되었기 때문에 하나의 모델로 다양한 유형의 질문에 응답할 수 있지만, 학습되지 않은 데이터에 대한 질문을 받는 경우 오답을 할 확률이 높아진다. 기업 환경에서 사용하려는 LLM은 범용 데이터가 아닌 특정 도메인을 이해해야 하며, 이 도메인 정보를 기반으로 답변을 제공할 필요가 있다. 하지만 파운데이션 모델이 특정 도메인에 맞게 재학습하는 데는 비용이 너무 많이 들고 학습하는 시간도 오래 걸린다. 이 같은 문제를 해결하기 위해 RAG는 LLM이 사전에 학습한 데이터에만 의존하는 것이 아니라 질문받은 시점에 동적으로 관련된 데이터를 검색하고 증강된 문맥 속에서 답변을 생성한다. 이 과정을 거치면 답변 정확도가 크게 개선된다. 기업들은 RAG를 통해 LLM을 파인 튜닝하거나 사전 학습에 필요한 비용과 시간을 절약하고, 소량의 데이터만으로도 모델 정확도를 높일 수 있다. 다음 그림은 RAG로 파운데이션 모델의 정확도를 얼마나 효율적으로 개선할 수 있는가에 대한 연구 결과이다. ■ 기업 환경에서 활용할 수 있는 생성형 AI LLM은 콘텐츠 생성, 논리 추론, 언어 번역, 텍스트 검색, 프로그램 코드 생성, 콘텐츠 요약 및 검색 등을 주요 기능으로 삼는 수많은 고급 애플리케이션의 기반을 마련했다. 1. 콘텐츠 생성 간소화 생성형 AI는 텍스트, 사운드, 이미지 등 다양한 유형의 미디어를 생성하여 콘텐츠 제작을 간소화할 수 있다. 기업의 마케팅 부서에서는 캠페인 업무를 위한 맞춤형 이미지 제작을 포함해, 블로그, 기사, 소셜미디어 콘텐츠, 그리고 제품 설명 초안을 생성하는 데 활용할 수 있다. 다른 부서에서도 현업 사용자를 위한 챗봇 애플리케이션을 개발하거나 판매, CRM과 같은 고객 데이터를 활용해 고객 개인화 서비스 개선 또는 맞춤형 캠페인을 위한 콘텐츠 생성에 활용할 수 있다. 2. 논리적 추론 엔진으로 활용 AI 분야에서 자연어 이해는 인간의 복잡한 의사소통의 의미를 이해하는 데 사용된다. LLM은 제품 리뷰, 소셜미디어의 게시글, 고객 설문조사 결과와 같은 텍스트의 의미를 이해하고 콘텐츠 속 감정을 분석하거나 기타 복잡한 추론 작업에 활용될 수 있다. 3. 언어 번역 정확도 개선 다중 언어 간 번역 정확도를 높여 언어 장벽이 있는 사람들의 소통을 더 쉽게 도와준다. 4. 검색 및 요약 LLM은 방대한 양의 데이터를 사전 학습해 언어의 맥락을 파악하고 텍스트의 의미를 이해할 수 있다. 때문에 대규모 데이터베이스나 인터넷의 데이터를 검색하여 사용자 질문에 맞춤형 답변을 찾을 수 있다. 또한, 원래 데이터의 정보를 기반으로 간결한 요약본을 생성할 수 있다. 앞서 살펴본 생성형 AI와 LLM은 거의 모든 분야와 주제에 대해 사용할 수 있기 때문에, 개인 삶뿐만 아니라 업무 방식 역시 혁신적으로 변화시킬 수 있다. 이에 기업들은 생산성 향상, 프로세스와 수익성 개선 등을 위해 생성형 AI가 가진 엄청난 잠재력을 활용해 다양한 분야에서 적용 및 도입을 고려하고 있다. 하지만, 생성형 AI를 기업 환경에서 활용하기 위해서는 고려해야 할 사항이 많다. 지식재산권, 데이터 개인 정보 보호, 콘텐츠 오용 가능성 문제 등 지금껏 일반적으로 알려진 사항뿐만 아니라 '생성형 AI를 기업환경에 구축하기 위해 뒷받침되어야 할 것은 무엇인가', '어떤 업무에 적용할 것인가', '어떤 모델을 사용할 것인가', '투자 비용은 얼마가 적정한가'와 같이 다양한 현실적인 고민거리가 있을 수밖에 없다. 다음 글에서 기업에 AI, LLM 환경 구축을 지원하는 스노우플레이크의 신규 생성형 AI 기능을 소개하고자 한다. 생성형 AI의 잠재력을 극대화하기 위한 스노우플레이크의 비전을 통해 다양한 기업들의 고민을 해결할 수 있는 방안을 찾을 수 있을 것이다.

2024.04.22 09:48조성현

스노우플레이크 "성공적 AI 개발, '데이터 파운데이션'서 출발"

"인공지능(AI)는 그냥 만들어지는 것이 아닙니다. 훌륭한 데이터 전략이 필수입니다. 스노우플레이크는 '데이터 파운데이션' 전략을 솔루션에 탑재했는데, AI 개발자가 (이를 이용하면) 한 플랫폼에서 데이터 수집, 분석, 활용까지 효과적으로 실행할 수 있을 것입니다." 스노우플레이크 정영훈 파트너세일즈 엔지니어는 지디넷코리아가 17일 서울 인터컨티넨탈 코엑스에서 개최한 '어드밴스드 컴퓨팅 컨퍼런스 플러스(ACC+) 2024'에서 데이터 파운데이션 중요성을 재차 강조했다. 정영훈 파트너세일즈 엔지니어는 최근 AI 제품 개발에 드는 시간이 획기적으로 줄었다고 주장했다. 정영훈 엔지니어는 "기존 데이터 수집부터 AI 모델 배포까지 약 7개월 걸렸다"며 "현재 하루 만에 모든 과정이 끝난다"고 말했다. 하지만 모든 AI 제품이 그냥 만들어지는 것은 아니라고 강조했다. 기업에 맞는 데이터 전략을 세워야 고품질 AI 솔루션을 만들 수 있다고 주장했다. 이날 강연에서 정영훈 엔지니어는 스노우플레이크의 데이터 전략인 '데이터 파운데이션'도 소개했다. 이 전략은 '스노우플레이크 데이터 클라우드'에 적용됐다. 데이터 파운데이션은 데이터 사일로 현상을 줄였다는 점에서 업계의 관심을 받고 있다. 그는 "모든 데이터와 워크로드를 안전하게 통합할 수 있다"며 "AI 제품 제작비용을 줄일 수 있다"고 설명했다. 정 엔지니어는 데이터를 클라우드에 안전하게 보호할 수도 있다고도 강조했다. 그는 "데이터 안전성을 통해 앱 개발부터 배포, 제품화 과정을 줄일 수 있는데, 데이터 기반 의사 결정까지 돕는다"며 "많은 사용자가 데이터 파운데이션을 통해 업무 선택권을 폭넓게 갖췄다"고 설명했다. 스노우플레이크는 생성형 AI 제품 현황도 소개했다. 지금껏 쌓아온 데이터 관리 노하우에 AI를 접목한 솔루션으로, 현재 구동 중인 것은 '다큐먼트AI'와 '유니버셜 서치', '스노우플레이크 코파일럿' 등이다. 다큐먼트AI는 문서에서 정형·비정형 데이터를 추출하는 솔루션이다. 정 엔지니어는 "AI 전문지식 없어도 비정형 문서에서 새로운 분석 가치를 추출할 수 있다"며 "프로그램 코드 개발 없이 자연어로 질의하고 답변 받을 수 있다"고 설명했다. 유니버셜 서치는 기업 데이터 위치와 내용을 찾아주는 검색 서비스다. 정 엔지니어는 "사용자들은 데이터에 대한 모든 정보를 알 수 없다"며 "이 서비스에 자연어로 질의하면 여러 형태로 데이터 위치와 내용을 지원한다"고 강조했다. 스노우플레이크 코파일럿은 데이터 추출과 분석을 지원하는 제품이다. 프로그래밍 언어를 알지 못해도 된다. 사용자가 자연어 기반으로 명령하면 해당 코파일럿이 자연어를 SQL 언어로 변환해 코파일럿에 전달하는 식이다. AI가 해당 데이터를 SQL 형태로 찾으면 코파일럿은 이를 다시 자연어로 바꿔서 제공한다. 정 엔지니어는 "이 코파일럿은 SQL과 사람 사이에서 통역사 역할을 하는 셈"이라고 부연했다. 또 그는 "해당 제품들은 스노우플레이크 데이터 관리 기술에 생성형 AI를 접목한 형태"라며 "훌륭한 데이터 전략이 훌륭한 AI 모델과 제품을 낳을 수 있는 사례"라고 강조했다.

2024.04.17 16:24김미정

스노우플레이크, '데이터 클린룸' 정식 출시

스노우플레이크는 데이터 클라우드 상에서 개인정보를 보호하면서 기업 간 데이터 공유와 협업을 제공하는 '스노우플레이크 데이터 클린룸'을 정식 출시한다고 2일 밝혔다. 이 서비스는 아마존웹서비스와 일부 마이크로소프트 애저 사용 고객을 대상으로 먼저 제공된다. 고객은 기업 규모에 관계없이 데이터 클라우드 상에서 개인 정보를 보호하면서 데이터를 안전하게 공유하여 긴밀하게 협업할 수 있다. 데이터 클린룸 기술은 관련 기술 기업인 '사무하'를 인수하고 발표된 것으로, '사무하'는 패스트컴퍼니에서 선정한 '2024년 가장 혁신적인 데이터 사이언스 기업'에 이름을 올렸다. 현재 스노우플레이크의 데이터 클라우드 시스템에 완전히 통합돼 내장형 거버넌스 모델인 스노우플레이크 호라이즌의 규정, 보안, 개인 정보 보호, 상호 운용성과 액세스 기능 등으로 그 성능이 한층 강화됐다. 데이터 클린룸은 민감한 데이터를 외부업체 및 기관과 안전하게 공유하면서 개인 정보 등 민감한 데이터는 비공개 처리할 수 있어 획기적인 솔루션이다. 지금까지 데이터 클린룸 기술은 대규모 집단, 기관 내에서도 소수의 데이터 보안 전문가들에 의해서만 활용되어 왔다. 이번에 서비스를 일반에 공개하면서 더 많은 사용자가 철저한 보안 환경에서 산업군에 제한 없이 데이터를 분석하거나 공동으로 운용할 수 있게 됐다. 모든 협업 과정에서 개인 식별 정보와 같이 민감한 데이터는 비공개로 유지된다. 스노우플레이크는 데이터 클린룸을 스노우플레이크 네이티브 앱 형태로 제공한다. 기업 고객은 스노우플레이크의 거버넌스·보안·개인정보 보호 규정을 준수하며 클라우드 환경과 비즈니스 생태계 전반의 데이터로부터 새로운 비즈니스 가치를 창출할 수 있다. 고객은 데이터 클린룸을 통해 안전한 환경에서 민감한 데이터를 활용하는 협업이 수월해진다. 조직은 추가 라이선스 비용 없이 쉽고 빠르게 새로운 데이터 클린룸을 생성할 수 있다. 이곳에서 비즈니스 또는 기술 분야의 사용자 누구나 공통 타깃, 도달과 빈도, 타깃 속성 등 업계별 워크플로우와 템플릿을 통해 데이터로부터 필요한 정보만 빠르게 추출해 낼 수 있다. 스노우플레이크의 개방적이고 상호 운용 가능한 생태계에 접근할 수 있다. 데이터 클린룸 생태계에 연결하면 써드파티를 통합하고 공용 클라우드 제공업체를 통한 다양한 솔루션을 제공받을 수 있다. 고객은 스노우플레이크 계정 보유 여부와 상관없이 모든 비즈니스 파트너와 원활하게 협업할 수 있다. 스노우플레이크의 내장된 개인정보 보호 및 거버넌스 기능을 활용할 수 있다. 데이터 클린룸은 스노우플레이크 네이티브 앱 프레임워크를 기반으로 구축되어, 스노우플레이크의 철저한 거버넌스·보안·개인정보 보호 규정에 의거한 데이터 액세스만을 지원한다. 고객과 비즈니스 파트너는 개인정보를 유지하면서 보다 심층적인 분석을 진행할 수 있다. 카마크쉬 시바라마크리쉬난 스노우플레이크 데이터 클린룸 제품 관리 이사 겸 '사무하' 공동 창립자는 “브라우저에서 써드파티 쿠키를 사용할 수 없게 되면서 데이터 클린룸은 산업 전반에 걸쳐 필수 요소가 됐다”며 “이러한 상황에서 스노우플레이크 데이터 클린룸은 마케터뿐만 아니라 다양한 직군에서 안전하고 클라우드 중립적인 데이터 협업을 실현할 수 있도록 돕는다”고 설명했다. 데이터 클린룸은 변화하는 기술과 개인정보 보호 규정에 발맞춰 고객 맞춤형 서비스를 제공하기 위해 미디어·엔터테인먼트 업계에 먼저 도입됐다. 개인정보를 취급하는 취업·채용정보 제공 업계에서도 활용되고 있으며, 금융, 의료와 같이 규제가 까다로운 분야에서도 민감한 데이터에 대한 안전한 협업을 위한 기술로 주목받고 있다.

2024.04.02 09:46김우용

스노우플레이크, 엔비디아와 풀스택 AI 플랫폼 제공

스노우플레이크는 엔비디아와 파트너십을 강화해 풀스택 AI 플랫폼을 제공한다고 21일 발표했다. 인공지능(AI)을 활용해 기업 고객의 생산성을 높일 수 있도록 지원하는 것으로, 스노우플레이크의 데이터 기반과 안정성 높은 데이터 클라우드의 AI 기술을 풀스택 엔비디아 가속 플랫폼에 결합할 수 있게 된다. 양사는 AI의 생산성과 비즈니스 속도를 높이고 여러 산업군에 걸쳐 새로운 비즈니스 기회를 확대하도록 설계된 인프라와 컴퓨팅 기술을 결합해 안전하고 강력한 기능을 제공한다. 지난해 6월 스노우플레이크와 엔비디아가 엔비디아 네모 통합 기능을 확대한다고 발표했다.. 강화된 파트너십에서 스노우플레이크는 자사 플랫폼에서 데이터 보안, 개인정보보호 및 거버넌스를 원활하게 유지하면서 직접 엔비디아의 네모 리트리버를 활용할 수 있게 된다. 네모 리트리버는 기업이 맞춤형 LLM을 기업 데이터에 연결할 수 있는 생성형 AI 마이크로 서비스다. 이를 기반으로 챗봇 애플리케이션의 성능과 확장성을 개선하고 스노우플레이크 코텍스(프리뷰 공개)로 AI 애플리케이션을 구축한 400개 이상의 기업이 보다 빠르게 비즈니스 가치를 실현할 수 있도록 지원한다. 또한 딥 러닝 추론 애플리케이션에 짧은 지연 시간과 높은 처리량을 제공하는 엔비디아 텐서RT를 활용할 수 있어 기업 고객의 LLM 기반 검색 기능이 향상될 것으로 기대된다. SQL 사용자는 스노우플레이크 코텍스 LLM 기능을 통해 소규모 LLM을 활용해 감정 분석, 번역 및 요약 등의 특정 작업을 몇 초 만에 비용 효율적으로 처리할 수 있다. 미스트랄AI, 메타 등의 고성능 모델을 활용한 AI 애플리케이션의 개발에도 적용할 수 있다. 스노우플레이크의 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 사용자들이 대화 형식으로 질문하면 관련 테이블을 활용해 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다. 도큐먼트 AI는 기업들이 LLM을 사용해 문서에서 청구 금액 또는 계약 약관 등의 내용을 쉽게 추출하고 시각화 인터페이스와 자연어를 사용해 결과를 섬세하게 조정할 수 있도록 지원한다. 고객사는 도큐먼트 AI를 사용해 수작업으로 인한 오류를 줄이고 자동 문서 처리를 통해 효율성을 강화한다. 슈리다 라마스워미 스노우플레이크 CEO는 “데이터는 AI의 원동력으로, 효과적인 AI 전략 수립에 매우 중요하다”며 “스노우플레이크는 엔비디아와 협력으로 신뢰할 수 있는 기업 데이터를 위한 안전하고 확장 가능하며 사용이 용이한 플랫폼을 제공하게 됐다”고 밝혔다. 그는 “특히 기술 전문성에 상관없이 모든 사용자가 AI를 사용할 수 있게 해 누구나 AI 기술 혜택을 얻도록 지원한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “기업 데이터는 비즈니스 인텔리전스를 확보할 수 있는 커스터마이징 AI 애플리케이션의 근간”이라며 “엔비디아 가속 컴퓨팅 및 소프트웨어를 스노우플레이크의 데이터 플랫폼에 적용함으로써 고객이 기업 전용의 생성형 AI 애플리케이션을 구축, 배포 및 관리할 수 있게 된다”고 강조했다.

2024.03.21 09:39김우용

스노우플레이크 CFO "데이터 클라우드로 AI 기술 생산성 높일 것”

스노우플레이크는 마이크 스카펠리 최고재무책임자(CFO) 마이크 스카펠리가 지난 13일 한국을 방문했다고 20일 밝혔다. 스노우플레이크는 13일 소피텔 엠베서더에서 국내 주요 기업 임원들을 초청해 '이그젝큐티브 라운드테이블 고객 세미나'를 진행했다. 이날 행사에서 마이크 스카펠리 CFO와 존 로버슨 APJ 세일즈 총괄, 크리스 차일드 스노우플레이크 제품 시니어 디렉터가 데이터 및 AI 전략과 전망을 공유했다. 스노우플레이크 코리아 최기영 사장과 김우성 한국 딜로이트 그룹 전무를 비롯해 CJ프레시웨이, BC카드, LG유플러스 등의 고객사도 연사로 참여해 데이터 및 생성형 AI 등에 대한 인사이트와 경험을 전했다. 마이크 스카펠리 스노우플레이크 CFO는 “AI 시대에 발맞춰 고객이 애플리케이션 전략을 구축하고 실행하는 과정에 스노우플레이크 데이터 클라우드 플랫폼에서 AI 및 LLM 기술로 생산성을 높일 수 있도록 지속적으로 지원할 것”이라고 강조했다. 마이크 스카펠리 CFO는 AI 검색 엔진 니바 인수, AI 솔루션 제공업체 미스트랄 AI 파트너십 등 AI 지원을 가속화하기 위한 스노우플레이크의 노력을 설명했다. 그는 “전략적인 인수합병과 시의적절한 투자를 통해 고객에게 민주화된 AI 경험을 제공할 수 있게 됐다”며 “고객이 보안과 거버넌스가 보장된 스노우플레이크 플랫폼에서 AI 및 LLM을 활용해 쉽고 비용 효율적으로 애플리케이션을 구축하고, 이를 기반으로 혁신적인 AI 성공 사례를 만들어 나가기를 바란다”고 말했다. 크리스 차일드 시니어 디렉터는 2023년 인수한 데이터 앱 개발 플랫폼 스트림릿에 대해 “스트림릿은 고객이 데이터 분석을 통해 유의미한 인사이트를 빠르게 확보하고 대화형 애플리케이션 구축 기능을 활용해 쉽게 풀스택 AI 앱을 개발할 수 있도록 한다”며 “이처럼 스노우플레이크는 통합된 데이터를 보다 효과적으로 활용하고 새로운 비즈니스 모델을 창출할 수 있도록 지원한다”고 설명했다. 김우성 한국 딜로이트 그룹 전무는 'AI시대의 엔터프라이즈 데이터 관리 방안'을 주제로 발표를 진행했다. “정제되지 않은 데이터로 생성형 AI를 더 잘 활용할 수 있도록 ▲통합 ▲분석 ▲관리 및 표준화 ▲거버넌스 수립이 가능한 시스템 요건을 갖춘 유연한 데이터 플랫폼을 선택해야 한다”며 “스노우플레이크는 4가지 요건을 모두 충족하는 데이터 플랫폼 기업”이라고 강조했다. 패널 토크에서 CJ프레시웨이 김종호 디지털 혁신 담당과 BC카드 데이터 사업본부 오성수 본부장, LG유플러스 데이터 전략 및 관리 총괄 조연호 책임이 각사에서 데이터 클라우드 플랫폼을 활용하는 사례와 효과에 대해 설명했다. CJ프레시웨이 김종호 디지털 혁신 담당은 “데이터를 활용해 새로운 비즈니스 기회를 창출하면서 동시에 기업의 생산성을 높이기 위해 클라우드 전환을 고려하게 됐다”며 “클라우드 전환으로 데이터를 IT부서에서 받아 활용하는 것이 아니라 현업 직원들이 직접 공유하고 분석할 수 있게 됐다”고 전했다. LG유플러스 마이데이터 서비스를 총괄하는 조연호 책임은 스노우플레이크 도입 이유에 대해 “마이데이터 서비스는 고객의 신용정보와 같이 민감한 개인정보를 다루는 만큼 안전한 데이터 관리를 위한 보안 환경 구축이 필수”라며 “스노우플레이크는 금융보안원의 클라우드 서비스 공급자(CSP) 안정성 평가를 완료했을 뿐 아니라 강력한 보안성과 일관된 거버넌스를 제공해 개인화된 데이터 시대에 가장 적합하다”고 밝혔다. 스노우플레이크의 데이터 거래 플랫폼 마켓플레이스에서 데이터 세트를 제공하고 있는 BC카드 데이터 사업본부 오성수 본부장은 데이터 기반 솔루션 제공업체로서 데이터를 통한 수익화 모델을 성공적으로 구축한 경험을 소개했다. 그는 “스노우플레이크 마켓플레이스는 자사가 보유한 유의미한 데이터를 더 많은 잠재 고객에게 도달해 공유할 수 있는 기회를 제공했다”며 “마켓플레이스는 기업이 민감한 정보는 철저히 보호하면서도 데이터 비즈니스를 확장하고 경쟁력을 향상하는 최적의 플랫폼”이라고 말했다.

2024.03.20 10:50김우용

스노우플레이크, 미스트랄AI와 협력…'미스트랄 라지' 모델 제공

스노우플레이크는 최근 프랑스 AI 솔루션 제공업체 미스트랄AI와 파트너십을 체결했다고 11일 일 발표했다. 이 파트너십은 스노우플레이크 산하 벤처 캐피탈인 스노우플레이크 벤처스의 미스트랄AI의 시리즈 A 투자를 포함한다. 양사의 협력으로 스노우플레이크 고객은 미스트랄AI가 가장 최근에 선보인 플래그십 대규모 언어 모델(LLM)인 '미스트랄 라지'를 스노우플레이크 데이터 클라우드 플랫폼에서 적용할 수 있다. 미스트랄AI의 기본 모델인 '미스트랄 7B'와 오픈 소스 모델 '믹스트랄8x7B'에도 액세스할 수 있다. '미스트랄 라지'는 고유한 추론 능력을 갖춘 LLM 모델로 코딩과 수학에 능숙하고 한번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있다. 프랑스어, 영어, 독일어, 스페인어, 이탈리아어, 5개 언어 처리가 가능하다. 기존 생성형 AI 모델과 '대규모 다중 작업 언어 이해 측정(MMLU)' 비교함에서 뛰어난 성능을 입증하며 챗GPT-4에 이어 API를 통해 사용 가능한 모델 중 2위를 차지하기도 했다. '미스트랄 7B'는 낮은 지연 시간과 메모리 요구사항에 비해 높은 처리량을 갖춘 것이 특징이다. '믹스트랄 8x7B'는 대부분의 성능 비교에서 챗GPT3.5보다 빠르고 품질이 우수한 것으로 나타났다. 미스트랄AI의 모델들은 '스노우플레이크 코텍스'에서 프리뷰 공개 형태로 고객에게 제공된다. 스노우플레이크 코텍스는 스노우플레이크 플랫폼에서 생성형 AI를 활용할 수 있는 완전 관리형 LLM 및 벡터 검색 서비스이다. AI/ML 기술 없이도 쉽고 강화된 보안 환경에서 생성형 AI를 활용할 수 있는 서비스로, 기업 고객은 데이터에 대한 보안, 개인 정보 보호 및 거버넌스는 유지하면서 데이터를 빠른 속도로 분석하고 AI 앱을 구축할 수 있다. 스노우플레이크 지난해 감정 분석, 번역, 요약과 같은 특수 작업을 위한 LLM을 지원하는 코텍스를 처음 공개했다. 또한, 메타 '라마2' 모델을 시작으로 검색증강생성(RAG)을 포함한 기본 LLM 지원을 늘리고 있다. 스노우플레이크는 미스트랄AI와의 파트너십을 통해 생성형 AI에 대한 투자를 이어가면서, 기본형 LLM을 스노우플레이크 코텍스에서 제공해 기업이 다방면 비즈니스에 최첨단 생성형 AI를 도입할 수 있도록 지원하고 있다. 복잡한 GPU 관리 대신 사용자의 AI 활용도를 넓히기 위해 엔비디아와 적극적으로 협력하고 있다. 스노우플레이크 코텍스는 엔비디아 트라이튼 추론 서버를 활용해 풀스택 가속 컴퓨팅 플랫폼을 제공하고 있다. 스노우플레이크 코텍스 LLM 기능이 공개 프리뷰되며 스노우플레이크 기업 고객은 기업 고유의 데이터를 바탕으로 다양하게 AI를 활용할 수 있게 됐다. SQL 기술을 갖춘 사용자라면 누구나 수 초 내에 감정 분석, 번역, 요약과 같은 특수 작업을 비용 효율적으로 진행할 수 있다. 파이썬 개발자라면 스노우플레이크 코텍스에서 제공하는 미스트랄AI의 LLM은 물론, 곧 공개될 스노우플레이크 스트림릿의 대화형 기능을 통해 수 분 내에 챗봇과 같은 풀스택 AI 앱을 개발할 수 있게 된다. 간편해진 경험과 높은 수준의 보안은 역시 곧 공개될 스노우플레이크의 통합 벡터 기능과 벡터 데이터 유형을 통해 RAG에도 동일하게 적용될 예정이다. 슈리다 라마스워미 스노우플레이크 신임 CEO는 “스노우플레이크는 미스트랄AI와의 파트너십을 통해 최정상급 성능의 LLM을 고객에게 직접 제공하고, 사용자는 간편하면서도 혁신적인 AI 앱을 구축할 수 있게 됐다”며 “스노우플레이크 코텍스를 통해 더 많은 기업이 데이터 클라우드의 보안과 개인 정보 보호는 강화하고 새롭고 경제적인 AI 사용 사례를 만들어 내기를 바란다”고 밝혔다. 아르튀르 멘슈 미스트랄AI 공동창립자 겸 CEO 는 “스노우플레이크의 보안, 개인 정보 보호 및 거버넌스에 대한 원칙은 누구나 어디에서든 혁신적인 AI를 활용할 수 있도록 하겠다는 미스트랄AI의 포부와 맞아떨어진다”며 “미스트랄AI는 전세계적으로 기업이 생성형 AI 활용에 더 가까워지도록 고성능, 고효율에 신뢰할 수 있는 AI 모델을 개발하겠다는 스노우플레이크의 목표에 공감한다”고 강조했다. 그는 “스노우플레이크 데이터 클라우드에서 미스트랄AI의 모델을 활용함으로써, 고객이 민주화된 AI를 경험하고 더 큰 가치를 창출하는 고도화된 AI 앱을 생성할 수 있기를 기대한다”고 덧붙였다. 스노우플레이크는 고객, 데이터 클라우드 생태계는 물론, 기술 커뮤니티 전체에 대한 AI 혁신을 위해 노력하고 있다. 이에 스노우플레이크는 최근 개발자, 연구원 및 조직이 개방적이고 안전하며 책임감 있는 AI를 개발하기 위한 국제 커뮤니티인 'AI 얼라이언스'에 가입했다. AI 얼라이언스를 통해 스노우플레이크는 생성형 AI가 가져올 도전과제와 기회에 대해 전방위적이고 개방적으로 대응하며 누구나 AI 기술을 활용하고 혜택을 얻을 수 있도록 지속적으로 노력할 계획이다.

2024.03.11 10:52김우용

스노우플레이크코리아, 14일 '데이터포브렉퍼스트' 개최

스노우플레이크는 국내 기업의 데이터 기반 성장을 지원하기 위한 연례 컨퍼런스 '데이터 포 브렉퍼스트'를 오는 14일 소피텔 앰배서더 서울 그랜드볼룸 방돔에서 개최한다고 5일 밝혔다. '데이터포브렉퍼스트'는 서울을 포함한 전 세계 주요 도시 100여 곳에서 열리는 연례 행사로, 한국은 올해 3회차를 맞는다. 올해 행사에 마이크 스카펠리 스노우플레이크 최고재무책임자(CFO), 크리스 차일드 스노우플레이크 제품 부문 시니어 디렉터 등 본사 임원진과 최기영 스노우플레이크 코리아 지사장이 기조 연설자로 나선다. 행사는 스노우플레이크 도입을 고려하는 잠재 고객과 아직 데이터 클라우드 경험이 많지 않은 고객 및 파트너사를 대상으로 조직의 데이터 전략에 대한 인사이트를 공유한다. 기조연설과 더불어 스노우플레이크의 고객사인 BC카드는 데이터 거래 플랫폼인 '마켓플레이스'를 통해 단순 데이터 제공 기업을 넘어 데이터 기반 솔루션 제공사로써 비즈니스를 활성화해 나가고 있는 경험을 공유할 예정이다. 최근 국내 최초로 선정된 스노우플레이크가 인증한 데이터 전문가 '데이터 슈퍼히어로' 3인과의 패널토크도 진행된다. 이수현 스노우플레이크 에반젤리스트는 데이터 슈퍼히어로 3인 ▲넥슨코리아 이재면 데이터 엔지니어 ▲더핑크퐁컴퍼니 한예성 소프트웨어 엔지니어 ▲메가존클라우드 Cloud SA 데이터팀 최경진 팀장과 함께 AI 시대에 발맞춰 한국 기업들이 갖춰야 할 데이터 전략과 실제로 현업에서 데이터 기반의 비즈니스를 운영하고 있는 경험을 생생하게 공유한다. 파트너사가 운영하는 부스에서는 스노우플레이크 생태계에서 이어온 데이터 기반 협업 솔루션과 활용 사례를 소개한다. 최기영 스노우플레이크 지사장은 “데이터는 혁신적인 기술로 주목받은 생성형 AI, 대규모 언어 모델(LLM)의 시작과 발전을 이끈 핵심 요소다”라며 “스노우플레이크는 유연하고 혁신적인 데이터 플랫폼으로써 고객의 데이터 전략을 강화하고 모든 데이터 워크로드를 지원해 가파르게 성장하는 생성형 AI 시대에 빠르고 효율적으로 대비할 수 있도록 도울 것”이라고 강조했다.

2024.03.05 08:44김우용

스노우플레이크, 슈리다 라마스워미 신임 CEO 임명

스노우플레이크는 슈리다 라마스워미를 신임 최고경영자(CEO)로 임명했다고 4일 밝혔다. 슈리다 라마스워미 CEO는 스노우플레이크 AI 부문 수석 부사장을 역임해 왔으며, 신임 CEO로 임명됨과 동시에 회사 이사회에도 합류한다. 라마스워미 CEO는 2019년 공동 설립한 세계 최초 AI 기반 검색 엔진 니바가 작년 5월 스노우플레이크에 인수되며 동시에 AI 부문 수석 부사장으로 합류했다. 이후 모든 사용자가 비즈니스 가치를 빠르게 창출할 수 있도록 AI 사용을 간소화하고 보안을 강화하도록 설계된 완전 관리형 서비스 스노우플레이크 코텍스를 출시하는 등 스노우플레이크 AI 전략에 중요한 역할을 담당해왔다. 스노우플레이크 합류 전 라마스워미 CEO는 구글 광고 제품 총괄을 역임하며 검색, 디스플레이/비디오 광고, 분석, 쇼핑, 결제 및 여행을 포함한 전체 광고 사업을 성공적으로 수행한 이력이 있는 업계 베테랑으로, 15억 달러 규모의 애드워즈 및 구글 광고 사업을 1,000억 달러 이상으로 성장시키는 데 기여한 핵심 인물이다. 또한, 벨연구소(Bell Labs), 루센트 테크놀러지 및 벨코어에서 연구 직책을 맡아왔고, 2018년 10월부터 최근까지 그레이록 파트너스에서 벤처 파트너로 역임했다. 그는 브라운 대학의 이사회 임원으로 활동중이다. 프랭크 슬루트만 전 스노우플레이크 CEO는 이사회 의장직을 유지한다. 프랭크 슬루트만 전 CEO는 “스노우플레이크는 선도적인 클라우드 데이터 플랫폼으로서 AI 혁명의 진원지에 있다”며 “AI 및 머신러닝 분야에서 스노우플레이크를 다음 단계로 이끌어가고 앞으로 나아갈 기회를 제공하는 데 있어 슈리다 라마스워미 신임 CEO는 적격인 인물”이라고 평했다. 그는 “성공적인 사업 운영 및 영역 확장 경험이 있는 믿을 수 있는 기술자로 앞으로 그와 함께 성취를 이루어 낼 것”이라고 덧붙였다. 슈리다 라마스워미 CEO는 “지난 12년 간 스노우플레이크는 기업들에게 미래를 위해 필요한 안전하고 확장 가능하며 비용 효율적인 데이터 기반과 최첨단 AI 빌딩 블록을 제공하는 선도적인 데이터 클라우드 플랫폼으로 성장해왔다”며 “스노우플레이크의 다음 성장의 장을 이끌어 나갈 수 있게 되어 영광이다. 모든 고객과 파트너가 AI를 통해 혁신을 주도해 새로운 비즈니스 기회를 창출해낼 수 있도록 지원하고 관련 역량을 가속화하는 데 전념할 것”이라고 밝혔다.

2024.03.04 13:47김우용

스노우플레이크, 국내 첫 '데이터 슈퍼히어로' 3명 선정

스노우플레이크는 한국인 최초의 '스노우플레이크 데이터 슈퍼히어로'를 선정했다고 14일 밝혔다. 넥슨코리아 이재면 데이터 엔지니어, 더핑크퐁컴퍼니 한예성 소프트웨어 엔지니어, 메가존클라우드 클라우드 솔루션아키텍트 데이터팀 최경진 팀장이 스노우플레이크 데이터 슈퍼히어로 선정됐다. 스노우플레이크는 데이터 전문가를 양성하기 위해 '데이터 슈퍼히어로'를 선정해 지원하고 있다. 현재 전세계 21개국 80명이 활동하는 글로벌 개발자 지원 프로그램으로, 이들은 전세계 데이터 전문가들과 소통하면서 개인 역량을 높이고 스노우플레이크 서비스 개발에도 참여한다. 스노우플레이크의 로드맵 회의, 월별 활성화 세션 등에 참여해 개선점을 제안하고 제품 로드맵에 직간접적으로 의견을 개진하고 있다. 고급 인증 프로그램을 통해서는 데이터 활용 트레이닝도 받을 수 있다. 이외에도 스노우플레이크의 주요 행사에 초청받아 다양한 국적의 전문가들과 소통할 수 있다. 선정된 한국인 데이터 슈퍼히어로들은 스노우플레이크의 '데이터 클라우드 플랫폼'과 관련해 활발하게 콘텐츠를 확산하고 멘토링에 적극적으로 참여하면서 본사로부터 그 공로를 인정받았다. 넥슨 이재면 데이터 엔지니어는 실시간으로 수집되는 페타-바이트급 사용자 데이터를 단일 플랫폼으로 통합해 고품질 데이터 파이프라인을 개발 및 운영하고 있고, 더핑크퐁컴퍼니 한예성 소프트웨어 엔지니어는 데이터 클라우드 플랫폼에서 사일로된 데이터 환경을 통합해 다양한 고품질 콘텐츠 및 애플리케이션이 개발될 수 있도록 기획 및 분석에 최적화된 시스템을 구축하는 백엔드 업무를 맡고 있다. 국내 파트너사 최초로 스노우프로 어드밴스드 자격증을 취득한 메가존클라우드 Cloud SA 데이터팀의 최경진 팀장은 게임, 금융, 리테일 등 다양한 산업 분야의 고객사에 데이터 클라우드 플랫폼을 공급할 수 있는 기반을 마련하기 위해 고객 친화적인 데이터 아키텍처를 설계 및 구축하는데 힘쓰고 있다. 데이터 슈퍼히어로 선정 기준은 ▲콘텐츠 제작 ▲논의 주도 ▲스노우플레이크 전문성 ▲지원 등 네가지다. 데이터 클라우드 플랫폼 관련 콘텐츠를 블로그, 팟캐스트, 유튜브 등 자신의 채널에 정기적으로 업데이트하고 있는지, 포럼, 유저 그룹 및 커뮤니티 행사에의 논의 주도 방식이 주요 평가 요소다. 더불어 국내에서 페이스북에서 운영 중인 '스노우플레이크 한국 커뮤니티'에서의 참여도도 '전문성'과 '지원' 측면에서 평가되었다. 이들은 커뮤니티를 통해 클라우드 관련 최신 트렌드를 공유하고 스노우플레이크 서비스에 대한 피드백 및 추천, 질의응답 등으로 커뮤니티 회원들을 지원했다. 스노우플레이크는 국내 데이터 전문가를 육성하기 위해 '스노우플레이크 한국 커뮤니티'를 운영하며 자사 사용자 및 개발자 생태계 확장에 힘쓰고 있다. 페이스북에서 운영되는 커뮤니티 규모는 오픈 1년 6개월 만에 800명을 넘기며 빠른 속도로 확대되고 있다. 스노우플레이크 커뮤니티에 가입한 개발자 및 데이터 전문가들은 자유롭게 네트워킹 모임을 만들어 스터디하거나 데이터 클라우드 전반에 걸친 실무 역량을 쌓아 자사 전문가 과정을 이수할 수 있다. 모든 스노우플레이크 커뮤니티 회원은 '데이터 히어로'로 분류되며, 이 중 커뮤니티에서 사용자의 질문 및 도움요청에 적극적으로 답변하고 활동하는 회원은 심사를 거쳐 '데이터 슈퍼히어로'로 선정된다. 넥슨코리아 이재면 데이터 엔지니어는 “엔터테인먼트뿐 아니라 많은 산업에서 데이터 분석 및 활용의 중요성이 높아지고 있는 만큼 데이터 슈퍼히어로로서 더 많은 엔드 유저가 스노우플레이크를 활용할 수 있도록 활발한 활동을 이어갈 것”이라고 말했다. 이수현 스노우플레이크 에반젤리스트는 “스노우플레이크 데이터 클라우드 플랫폼의 역량을 소개할 수 있는 데이터 슈퍼히어로들이 국내에도 선정되면서 스노우플레이크 코리아 개발자 지원 활동은 더욱 활발해질 것”이라며 “앞으로도 스노우플레이크는 데이터 클라우드 플랫폼 생태계 확장을 위해 개발자와 데이터 전문가가 지속적으로 교류하고 전문성을 높일 수 있도록 커뮤니티를 통해 지원할 것”이라고 밝혔다.

2024.02.14 09:41김우용

Prev 1 2 3 4 Next