검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'데이터 레이크'통합검색 결과 입니다. (16건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

디노도 "방대한 기업 데이터, 한데 모으지 말고 연결하세요"

"현재 기업 데이터 관리는 가장 큰 이슈입니다. 기업은 물리적으로 데이터를 수집 통합하는 데 집중하기보다는 논리적으로 데이터를 연결해 활용하는 방식으로 전환해야 합니다. 이에 가상화 데이터 중요성이 높아질 전망입니다." 남궁명선 디노도코리아 지사장은 12일 파크하얏트 서울에서 'C-Suite & Leaders Forum: 논리적으로 풀어보는 엔터프라이즈 데이터 관리' 조찬 포럼을 열고 데이터 가상화를 통한 데이터 관리법을 이같이 소개했다. 남궁 지사장은 기업은 방대해진 데이터를 체계적으로 관리, 복제, 활용하기 위한 새로운 방법의 필요성을 재차 강조했다. 기업이 쌓아두는 데이터양은 하루가 다르게 늘어가지만 이를 체계적으로 감당할 수 있는 수단이 부족하다는 이유에서다. 최근 데이터 종류, 저장소, 관리 방식, 정부 규제까지 뒤섞여 데이터 복잡성이 더 증가했다는 평가도 이어지고 있다. 그는 "이런 상황에서 모든 데이터를 수집하거나 검색하기 어려운 상황"이라며 "이를 재가공·관리할 수 있는 방법도 물리적 환경에서는 벅차다"고 지적했다. 일각에선 데이터 레이크하우스를 통한 데이터 관리 방안이 제시되는 추세다. 다만 이 방식은 데이터 수집에만 초점 맞췄다. 사용자는 어떤 데이터가 들어있는지 명확히 확인할 수 없다. 시간이 지나면 데이터 내용조차 제대로 파악하지 못해 활용도가 낮을 수 있다는 평가다. 이에 디노도는 데이터를 물리적으로 수집하는 대신 가상으로 연결해 활용할 수 있는 데이터 가상화 전략을 제시했다. 데이터 가상화는 데이터를 물리적으로 이동하지 않고 논리적으로 연결해 실시간으로 데이터를 분석·활용하는 기술이다. 데이터를 물리적으로 모으지 않아도 되고, 사일로 된 데이터를 가상으로 연결해 활용할 수 있다. 남궁 지사장은 "기존 물리적 데이터 아키텍처는 데이터 통합 과정에서 복잡성과 비용을 올렸다"며 "디노도의 데이터 가상화 기술은 물리적 데이터 이동 없이도 데이터를 연결하고 활용할 수 있는 유연한 환경을 제공한다"고 주장했다. 이어 "데이터를 논리적으로 연결하면 데이터 웨어하우스나 추출·변환·적재(ETL) 작업 비효율성을 줄일 수 있다"고 덧붙였다. 현재 디노도는 데이터 가상화 기반으로 로지컬 데이터 웨어하우스와 데이터 패브릭 구현을 돕고 있다. 특히 데이터 패브릭은 데이터 가상화를 핵심 기술 요소로 삼는다. 물리적 데이터 간소화뿐 아니라 복잡한 데이터 처리 작업을 효율적으로 수행하도록 돕는다. 남궁 지사장은 "디노도 플랫폼은 다양한 데이터 소스 위에 가상화 레이어를 구축했다"며 "데이터 위치·형태 관계없이 통합적으로 데이터를 연결하고 분석할 수 있는 환경을 제공해 효율성 높다"고 강조했다. 디노도 플랫폼에 'AI 데이터 전문가' 달았다 디노도는 최근 출시한 '디노도 플랫폼 9.1'에 접목한 생성형 인공지능(AI) 기능을 소개했다. 디노도코리아 김세준 기술총괄 상무는 디노도 플랫폼 9.1이 AI 기반 어시스턴트를 통해 데이터 분석가와 비즈니스 사용자에게 맞춤형 인사이트와 데이터 추천 서비스를 제공한다고 밝혔다. 디노도 어시스턴트는 쿼리 마법사 추천부터 쿼리 자동 완성, 데이터 준비 마법사, 데이터 뷰·테이블 칼럼 설명 생성, 텍스트 기반 비정형 데이터 정제 기능을 갖춘 AI 기능이다. 데이터 비전문가도 이 기능을 통해 자연어로 쿼리를 작성할 수 있다. 데이터 팀 도움 없이도 데이터 프로덕트를 이용 목적에 맞게 만든다. 데이터 뷰와 테이블 컬럼에 대해 비즈니스적으로 의미가 통하는 설명을 자동으로 생성할 수 있다. 텍스트 자동 요약·분류, 데이터 개체 식별·추출, 감정 분석, 민감한 데이터 식별·삭제, 거대언어모델(LLM)을 사용한 텍스트 번역 등을 단일 함수 호출로 수행 가능하다. 디노도 플랫폼 9.1에는 검색증강생성(RAG)과 AI 애플리케이션·에이전트 개발을 가속하는 오픈 소스 툴킷인 디노도 AI SDK도 포함됐다. 디노도 AI SDK는 정형·비정형 데이터를 생성형 AI 모델에 통합하는 작업을 간소화해 답변 정확도를 높이고 성능을 올릴 수 있다. 이 SDK에 들어 있는 API와 재사용 가능한 컴포넌트는 데이터 소스로부터 실시간 데이터를 LLM에 제공하는 프로세스를 간소화한다. 특히 레스트풀(RESTful) 데이터 API는 RAG 기반 AI 에이전트 개발을 위해 설계됐는데, 낮은 수준의 데이터 API와 오케스트레이션 로직을 추상화함으로써 임베디드 애플리케이션 API·벡터 데이터베이스와의 통합을 돕는다. 김세준 상무는 "디노도 AI SDK는 RAG 기반 AI 에이전트가 데이터 프라이버시와 보안 요구 조건 충족을 지원한다"며 "디노도 플랫폼은 높은 데이터 관리 수준과 보안으로 개발과 배포 속도와 효율을 높인다"고 강조했다.

2024.12.12 14:23김미정

한국은행, HS효성인포메이션시스템 덕에 디지털 역량 강화됐다…왜?

HS효성인포메이션시스템이 한국은행 '데이터 레이크 구축사업'의 필수요소인 고성능 인프라를 성공적으로 구축하며 AI∙데이터 인프라 솔루션 전문기업으로서의 경쟁력을 입증했다. 11일 HS효성인포메이션시스템에 따르면 한국은행 디지털혁신실이 추진한 데이터 레이크 구축사업은 실시간, 고빈도, 비정형 데이터 처리에 최적화된 고성능 하드웨어와 이에 친화적인 솔루션을 도입해 데이터 업무 역량을 강화하는 시스템을 구축하는데 중점을 두고 진행됐다. HS효성인포메이션시스템은 이번 구축사업에서 설계부터 구축까지 전 과정을 전담했다. 대용량 데이터 적재, 신속한 조회・응답, 가상화 기반 무중단 운영관리 등 기술적 완성도 뿐만 아니라 다양한 데이터 업무환경에 유연한 대응이 가능하도록 운영 효율성까지 고려해 구축했다. 특히 데이터 또는 사용자 증가 등 외부 변화에도 시스템이 데이터 처리 성능에 대해 항상성을 유지할 수 있도록 수평 확장 기능을 내장한 초고성능 병렬 파일 시스템 'HCSF(Hitachi Content Software for File)'를 전체 시스템의 근간으로 구축했다. 이를 통해 정형∙비정형∙반정형 데이터 제공 및 활용이 가능하도록 체계적이고 범용성 높은 시스템을 구현했다. HS효성인포메이션시스템의 HCSF는 저장 공간의 유연한 할당 및 회수, 메타 데이터의 분산 저장을 통한 수록 데이터의 고속 접근, 온라인 수평 확장(scale-out)을 활용한 운영 효율성을 제공한다. 이 외에도 문서 데이터와 같은 대량의 소형 데이터 집합에도 우수한 성능을 갖추고 있어 AI 시대에 최적화된 고성능 인프라 환경을 제공한다. 또 실시간∙대용량∙고빈도 데이터의 고속 조회∙적재를 지원하는 동시에 AI기반의 지속적인 확장 가능 체계를 만들기 위해 싱글스토어DB를 연계해 벡터(vector) 데이터 저장 기능을 도입하는 등 새로운 유형의 데이터에도 신속한 적응이 가능한 최적의 환경을 완성했다. 한국은행 디지털혁신실장은 "데이터 레이크 도입으로 비정형∙실시간∙벡터 등 데이터 처리 역량을 강화할 수 있게 됐다"며 "향후 AI와의 연계를 통해 디지털 역량과 중앙은행 그룹 내 선도적 위상을 확보할 것으로 기대된다"고 말했다. 양정규 HS효성인포메이션시스템 대표는 "자사 전문 인력들이 데이터 레이크 구축을 위한 컨설팅부터 아키텍처 수립, 구축까지 전반적으로 고객 맞춤형 서비스를 제공한다"며 "고객들이 원하는 AI 시대에 맞는 데이터 레이크 혁신을 위한 최상의 전략을 제시하겠다"고 밝혔다.

2024.12.11 11:28장유미

'경쟁사' 스노우플레이크도 손잡았다…클라우데라, 기업용 AI 생태계 확산 속도

클라우데라가 스노우플레이크와 손잡고 기업용 인공지능(AI) 생태계를 조성하기 위한 움직임에 속도를 낸다. 그간 데이터 분석 시장에서 경쟁을 벌였던 두 기업은 이번에 힘을 합쳐 시스템을 상호 운용함으로써 기업용 AI 시장에서 영향력을 더 확대해나간다는 전략이다. 클라우데라는 스노우플레이크와 협력을 맺고 아파치 아이스버그 기반의 개방형 통합 하이브리드 데이터 레이크하우스를 제공한다고 14일 밝혔다. 이번 협력으로 기업들은 데이터 수집, 처리, 소비를 위해 클라우데라와 스노우플레이크의 시스템을 모두 활용해 데이터, 분석, AI 워크로드 전반에 걸쳐 통합 결과물을 도출할 수 있다. 아이스버그(Iceberg)는 데이터를 쿼리할 수 있도록 해주는 포맷으로, 대규모 데이터 레이크에서 데이터 관리와 효율적인 쿼리를 지원한다. 클라우데라는 전 세계에서 유일하게 전체 데이터 라이프사이클을 관리할 수 있는 곳이란 점에서 시장 내 독보적 위치를 구축하고 있다. 특히 2018년 발표한 데이터 관리 솔루션 'CDP'는 클라우데라를 데이터 플랫폼 회사로 거듭나게 한 대표 서비스로 우뚝 올라섰다. 지난해 하반기 기준 클라우데라가 전 세계에서 관리하는 데이터 양은 25EB(엑사바이트)에 달했다. 테라바이트(TB)로 환산하면 2천500만 TB에 이른다. 그간의 노하우를 바탕으로 모든 유형의 데이터를 신뢰할 수 있는 값진 인사이트로 전환할 수 있도록 지원해준다는 점에서 금융, 통신, 제조 부문 기업들은 앞 다퉈 클라우데라의 고객사로 합류했다. 실제 전 세계 톱 글로벌 보험사 10곳 중 9곳이, 세계적인 은행 10곳 중 8곳이 클라우데라를 택했다. 190개 이상 각국 정부 기관들도 마찬가지다. 덕분에 매출도 빠르게 늘었다. 클라우데라는 지난 2014년 연매출액이 1억 달러(약 1천400억원)를 돌파했으나, 약 10여년 만인 지난해 10억 달러(약 1조4천억원)를 넘어서며 쾌속 성장한 모습을 보였다. 덕분에 클라우데라와 협업에 나서는 기업들도 점차 늘어나고 있다. 스노우플레이크 외에도 현재 AWS, 파인콘, 엔비디아, 허깅 페이스, 레이 등도 클라우데라와 손잡고 클라우드 인프라부터 애플리케이션까지 기업의 전체 AI 생태계를 지원하기 위해 적극 나서고 있다. 지난 2012년 설립된 스노우플레이크는 대표적인 데이터 플랫폼 기업으로, 빅데이터 시대에서 2020년에 상장할 때까지 빠른 성장세를 보였다. 또 2023년 생성형 AI가 폭발하면서 지난해부터 본격적으로 AI 기업으로 변화하기 시작했는데, 다만 올해 2분기 실적은 기대 이하였다. 실제 스노우플레이크의 지난 2분기 매출은 전년 동기 대비 29% 증가한 8억6천880만 달러로, 시장 예상치인 8억5천170만 달러를 상회했으나 30% 미만의 성장률을 기록한 것은 스노우플레이크가 상장한 이래 처음이다. 이 탓에 스노우플레이크 주가는 2분기 실적 발표 후 시간 외 거래에서 7% 가까이 급락했다. 이 회사 주가는 지난해 8월부터 1년간 11% 하락했다. 같은 기간 나스닥 지수가 33% 치솟은 것과 비교하면 대조적이다. 이는 AI 시장에 대한 스노우플레이크의 입지가 탄탄하지 않은 데다 올해 3월 CEO 교체, 최근 벌어진 고객 보안 침해 사고 등에 따른 것으로 풀이된다. 이 같은 분위기 속에 스노우플레이크는 클라우데라와 협업에 나서게 되면서 AI 시장에서 존재감을 더 높일 수 있을 것으로 보인다. 클라우데라는 오픈 데이터 레이크하우스 상호운용성을 스노우플레이크까지 확장해 양사 고객이 아파치 아이스버그 REST 카탈로그를 통해 클라우데라 데이터 레이크하우스에 원활하게 접근할 수 있도록 했다. 고객은 아파치 아이스버그 기반의 최적화된 데이터 플랫폼을 활용해 데이터를 수집, 준비, 처리할 수 있다. 스노우플레이크 사용자는 온프레미스 AWS S3 호환 객체 스토리지 솔루션인 클라우데라 오존(Ozone)에 저장된 데이터를 스노우플레이크에서 직접 쿼리할 수 있다. 이를 통해 고객은 온프레미스, 서비스형 플랫폼(PaaS), 서비스형 소프트웨어(SaaS)에서 하나의 통합된 협업을 통해 모든 주요 폼 팩터에 접근할 수 있다. 클라우데라 관계자는 "자사 고객은 이번 일로 스노우플레이크 비즈니스 인텔리전스 엔진의 편리성을 경험할 수 있게 됐다"며 "스노우플레이크 엔진은 데이터 복제나 전송 없이도 클라우데라 오픈 데이터 레이크하우스의 데이터에 접근할 수 있어 복잡성을 줄이고 운영을 간소화하며 데이터 무결성을 유지할 수 있다"고 설명했다. 그러면서 "이번 협력은 기업 고객들의 총소유비용(TCO) 절감에도 기여할 것으로 보인다"며 "고객들은 클라우드든, 온프레미스든 모든 데이터에 대한 단일 데이터 소스를 제공하는 강력한 데이터 관리 통합 플랫폼에 접근할 수 있게 됐다"고 덧붙였다. 이 외에도 클라우데라는 아이스버그 도입 확산을 의지를 다시 강조하며 클라우데라 레이크하우스 옵티마이저 프리뷰도 발표했다. 이 새로운 서비스는 아이스버그 테이블을 자율적으로 최적화해 비용을 더욱 절감하고 성능을 크게 향상시키는 것이 특징이다. 최승철 클라우데라코리아 지사장은 "이번 통합은 TCO를 줄이고 양사 장점을 극대화하고자 하는 기업들에게 중요한 이정표가 될 것"이라며 "오픈 데이터 레이크하우스 상호운용성을 스노우플레이크까지 확장함으로써 국내 기업들이 최적화된 데이터 플랫폼을 구축하고 데이터 관리를 통해 더 큰 혁신을 이룰 수 있도록 지원하게 됐다"고 밝혔다.

2024.10.14 17:14장유미

데스크톱 PC용 고성능 DDR5 메모리, 'CUDIMM' 통해 한계 돌파

데스크톱 PC용 프로세서의 성능 향상 폭이 더뎌지면서 이를 보완하기 위한 고성능 메모리 관련 기술이 상용화를 앞두고 있다. 올 4분기부터 DDR5 메모리의 작동 속도와 안정성을 동시에 높이는 CUDIMM 규격 기반 고성능 메모리가 시장에 등장한다. CUDIMM은 작동 클록을 제어하는 집적회로인 '클록 드라이버'(CKD)를 메모리 모듈에 직접 내장해 외부 전기적 간섭(노이즈) 없이 상대적으로 정확한 신호를 전달한다. 작동 클록을 끌어올리면서 안정성도 높일 수 있다. AMD X870/X870E 메인보드와 함께 곧 시장에 공급될 인텔 코어 울트라 200S(애로우레이크) 프로세서와 Z890 메인보드가 CUDIMM을 지원한다. 대만 에이데이터도 최근 CUDIMM 기반 제품을 시장에 투입하겠다고 밝혔다. ■ 프로세서 오버클록, 소모전력·발열에 영향 데스크톱 PC용 프로세서의 처리 속도를 끌어올리는 방법은 크게 두 가지가 있다. 첫 번째는 CPU 코어의 작동 속도 자체를 끌어올리는 것이다. 인텔 코어 울트라9 285K 등 K시리즈 프로세서, AMD 라이젠 9 9950X 프로세서 등 X시리즈 프로세서는 이를 위한 오버클록을 지원한다. 단 프로세서를 구성하는 실리콘 특성에 따라 이용자가 인위적으로(혹은 자동으로) 끌어올릴 수 있는 클록도 제약을 받는다. 전력 소모도 이에 비례해 높아지며 발열을 억제하고 안정적인 작동을 위해 일체형 수랭식 냉각 장치까지 동원해야 한다. ■ 프로세서·메인보드 특성에 영향받는 고성능 메모리 또다른 방법은 프로세서와 연결된 외부 메모리 작동 클록을 끌어올리는 것이다. 외부 메모리는 프로세서에 내장된 레지스터(Register)나 캐시 메모리 대비 데이터를 읽고 쓰는 속도가 느리다. 이를 끌어 올리면 자연히 시간 당 처리 가능한 데이터와 대역폭이 늘어나는 구조다. 에이데이터, 지스킬, 에센코어 등 외부 메모리 제조사는 삼성전자와 SK하이닉스, 마이크론 등 DDR5 메모리 제조사의 제품 중 높은 작동 클록에 잘 버티는 칩을 따로 모아 고성능 메모리를 제조한다. 그러나 메모리 작동 클록이 프로세서에서 직접 공급되기 때문에 이를 전달하는 메인보드 특성이나 프로세서에 내장된 메모리 컨트롤러 성능에 큰 영향을 받는다. ■ JEDEC, 올 초 새 메모리 표준 'CUDIMM' 확정 국제반도체표준협의기구(JEDEC)는 올 초 고성능 메모리 작동을 위한 새로운 메모리 규격인 CUDIMM(클록드 언버퍼드 DIMM) 표준을 완성했다(JESD323). CUDIMM은 기존 데스크톱PC용 메모리와 큰 차이가 없지만 작동 클록을 제어하는 집적회로인 '클록 드라이버'(CKD)를 메모리 모듈에 직접 내장했다. 외부에서 발생하는 전기적 잡음(노이즈)에 영향을 받지 않는 정확한 신호를 공급할 수 있다는 것이 가장 큰 장점이다. CUDIMM을 지원하지 않는 기존 메인보드와 하위 호환성도 확보했다. ■ 최신 프로세서·메인보드, DDR5 CUDIMM 지원 대만 메모리 제조사 에이데이터는 지난 10일 고성능 게이밍 PC용 메모리 브랜드 'XPG' 라인업에 DDR5 CUDIMM 제품군을 추가한다고 밝혔다. 에이데이터는 "DDR5 CUDIMM 신제품 작동 속도는 DDR5-6400MHz부터 시작하며 Z890 칩셋 메인보드와 조합해 최대 9000MHz(9000MT/s)까지 성능을 끌어올릴 수 있다"고 설명했다. AMD가 라이젠 9000 시리즈 등 소켓 AM5 기반 고성능 프로세서용으로 시장에 공급중인 X870/X870E 메인보드는 CUDIMM을 지원한다. 인텔은 25일부터 공급될 코어 울트라 200S(애로우레이크) 프로세서와 Z890 칩셋 메인보드에서 CUDIMM을 지원할 예정이다. ■ "고성능 메모리, 향후 CUDIMM으로 전환 전망" 외국계 PC용 메모리 모듈 제조사 관계자는 "고성능 메모리가 반드시 CUDIMM일 필요는 없지만 작동 클록을 6000MHz 이상을 끌어올릴 경우 프로세서 자체 메모리 컨트롤러에만 의존할 수 없는 상황"이라고 설명했다. 이 관계자는 이어 "인텔 코어 울트라 200S 기본 작동 클록이 DDR5-6400으로 향상된데다 AMD 라이젠 프로세서 역시 차기 제품에서 작동 클록을 향상시킬 전망이 크다. 이에 따라 고성능 메모리 중 대부분은 CUDIMM으로 전환될 것"이라고 전망했다.

2024.10.14 16:33권봉석

생성AI 잘 쓰는 기업의 공통점은…"방향성·데이터 민주화"

생성 인공지능(AI)을 비즈니스에 접목해 의미 있는 성과를 내고 있는 기업은 먼저 전략에 맞는 데이터를 수집하고, 이를 구성원들이 손쉽게 적극 활용할 수 있는 '데이터 민주화' 체제를 구축해 운영하고 있다는 분석이 나왔다. 강형준 데이터브릭스코리아 지사장은 10일 과학기술정보통신부 주최, 한국소프트웨어산업협회(KOSA) 주관, 지디넷코리아 후원으로 개최된 '디지털 혁신 페스타 2024' 부대 행사로 진행된 'SaaS 서밋'에서 이같이 밝혔다. 데이터브릭스는 '데이터 레이크하우스'라는 개념을 주창한 데이터 관리 전문 기업이다. 데이터 레이크하우스는 종류를 막론한 데이터를 수집하면서도 이에 대한 분석, 인텔리전스를 지원하는 데이터 관리 아키텍처로, 데이터 품질에 따라 성능이 좌우되는 AI 기반 데이터 인프라로 활용되고 있다. 회사는 글로벌 주요 기업들을 고객사로 두고 있고 국내에서도 LG전자, 크래프톤, 지마켓, 하이퍼커넥트, 한화 등 대기업 다수와 협력 중이다. 강형준 지사장은 “작년 말 이후로 기업들의 데이터와 AI 활용 방향성에 많은 변화가 나타났다”며 “우리만의 대규모 언어 모델을 만들어야 한다는 입장에서, 사업 및 방향성에 부합하는 다양한 언어 모델들을 빠르게 접목하고, 필요한 데이터를 통합해 맞는 답을 얻어내고자 전략적 투자를 하고 있다”고 진단했다. 데이터브릭스 고객사 중 이런 방법론에 따라 AI를 성공적으로 활용 중인 사례들도 소개했다. 미국 여행사 제트블루는 불편사항 등 고객 서비스에서 얻어지는 모든 데이터를 활용한 자연어 검색 기반 고객 서비스를 구축해 높은 만족도를 기록하고 있다. 금융 소프트웨어 기업 인투이트의 경우 효율적인 대출 서비스를 위해 고객사별 평가, 개인화 서비스를 구축하는 데 AI를 활용, 대출 지원 속도를 높였다. 미국 통신사 AT&T도 무선 가입자 2억명, 1천500만 가구 가입자 데이터를 화용해 보이스 피싱 등 다양한 사기 피해를 최소화하는 데 AI를 활용했다. 강 지사장은 “가입자 정보 같은 건 외부 플랫폼에 제공할 수 없는 데이터인데, 대규모언어모델(LLM)을 우리 인텔리전스 플랫폼 안으로 유입했다”며 “여기서 도출되는 효과적이고 제대로 된 지표를 토대로 예지보전 관련 데이터를 현업 부서와 콜센터에 제공했다”고 설명했다. 강 지사장은 최근 기업간거래(B2B), 기업대소비자(B2C) 등 사업 종류를 막론하고 기업들은 이처럼 효과적인 생성AI 접목 방안을 탐색하고 있다고 언급했다. 그러나 기업이 이 과정에서 적절한 데이터를 모으지 못하거나, 데이터를 모으더라도 이를 적절하게 활용할 만한 여건이 갖춰지지 않아 시행착오를 겪고 있다는 분석이다. 강 지사장은 “한국 기업들은 특히 '내 것'을 꺼내놓길 좋아하질 않는데, 데이터로 유효한 분석을 하기 위해선 상당하고 다양한 데이터를 모아야 한다”며 “기술도 중요하지만, 무엇보다 사람과 프로세스를 바꾸기 위한 리더십이 중요하다”고 조언했다. 가령 머신러닝 프로젝트를 추진하더라도 부서별로 업무가 진행돼 필요한 협업이 이뤄지지 않거나, 기술적 문제점 또는 정치적 역학관계로 데이터 통합이 이뤄지지 않는 사례들이 나타났다는 것이다. 강 지사장은 “각 모델로 존재하는 데이터셋을 통합하는 거버넌스와 이를 관리하는 기술이 중요하고, 여기에 데이터 프라이버시를 준수할 수 있는 접근 제어 관리가 중요하다”고 했다. 데이터 민주화의 중요성도 역설했다. 강 지사장은 “생성AI뿐 아니라 모든 데이터 업무에선 특정 기술셋을 보유한 인력에 대한 의존도가 높아 데이터 민주화를 확보하는 데 큰 고충을 겪고 한다”며 “이렇게 되면 구성원들이 이런 인력들에 필요한 사항을 요청해야 하고, 선순환 과정이 길어질 수밖에 없기 때문에 모두가 접근할 수 있는 플랫폼을 구축하는 것이 보다 효율적인 방식”이라고 지적했다. 특정 언어에 기반한 플랫폼에 국한되는 것이 아닌, 비IT 인력도 목적에 따른 데이터 분석 및 AI 활용이 가능하는 데 있어 자연어 검색 기능이 필수적이라고도 강조했다. 강 지사장은 “과거에는 프로젝트 수행에 6개월 이상의 긴 시간이 소요됐지만, 요즘에는 소규모 PoC는 2~3일 내로도 가능하게 될 정도로 기술이 발달했다”며 “얼마나 효율적으로 최신 기술을 시스템에 녹여낼 수 있는지가 기업 경쟁력이 되는 현재, 특정 LLM에 종속되기보다 다양한 것을 체험하고, 생성AI를 정확히 활용해야 진정한 엔터프라이즈 AI의 시작점이 될 것”이라고 말했다.

2024.10.10 14:43김윤희

오라클, 지능형 데이터 레이크로 데이터 인텔리전스 플랫폼 확장

오라클에서 정형·비정형이 섞인 복잡한 데이터풀을 보다 효율적으로 관리할 수 있도록 지원할 방침이다. 오라클은 오라클 데이터 인텔리전스 플랫폼의 기본 구성으로 지능형 데이터 레이크를 제공할 계획이라고 12일 밝혔다. 지능형 데이터 레이크 지원으로 오라클 데이터 인텔리전스 플랫폼의 기능과 범위를 확장해 오라클 분석 클라우드, 인공지능(AI) 서비스 및 타사 서비스와 긴밀하게 통합해 기업에서 필요한 모든 데이터 요구 사항을 충족할 수 있도록 돕는다. 오라클 데이터 인텔리전스 플랫폼은 기업이 다양한 소스에서 얻은 데이터를 원활히 통합·분석하도록 지원하는 시스템이다. 생성형 AI 기반 기능으로 기업의 업무 흐름을 간소화하고 코드 생성을 단순화해 대화형 분석을 제공한다. 또 데이터 사일로를 방지하고 데이터를 데이터 레이크에 중앙화 할 수 있다. 데이터 사일로란 서로 분리돼 기업의 다른 부서에서 액세스 할 수 없는 데이터 스토리지 및 관리 시스템을 의미한다. 지능형 데이터 레이크 제공으로 기업들은 정형·비정형 데이터를 결합해 운영 및 보안 관련 까다로운 관리 업무를 줄일 수 있게 됐다. 오라클 포트폴리오 및 오픈소스 표준과의 네이티브 방식 통합을 통한 사용자 지원도 가능하다. 또 오케스트레이션, 데이터 웨어하우스, 분석 및 AI 기능을 모두 오라클 데이터 인텔리전스 플랫폼에 통합해 다양한 데이터를 더욱 쉽게 사용할 수 있게 됐다. 지능형 데이터 레이크는 아파치 스파크·주피터 노트북 등 오픈 데이터 레이크를 포함하도록 설계됐다. 이를 통해 기업은 실시간 데이터를 분석 앱에 연결·확장하며 데이터를 변환해 앤드투앤드 데이터 오케스트레이션을 생성할 수 있다. 오라클 지능형 데이터 레이크는 내년 제한적으로 제공될 예정이다. 데이터 레이크란 정형·비정형·반정형 데이터 등 다양한 환경에서 수집한 데이터를 가공되지 않은 원래 형태로 저장해 공유하는 공통 데이터 저장소를 뜻한다. T.K. 아난드 오라클 애널리틱스 총괄 부사장은 "데이터 인텔리전스 플랫폼에 지능형 데이터 레이크를 추가해 기업이 정형 및 비정형 데이터를 통합 및 분석할 수 있는 올인원 솔루션을 제공하게 됐다"며 "기업이 데이터 관리를 간소화하고 다중 포인트 솔루션을 제거해 최신 AI 혁신과 고급 분석 기능을 활용할 수 있도록 할 것"이라고 말했다.

2024.09.12 15:44양정민

"기업 AI 도입 너무 어렵다"…글로벌 IT 리더 600명이 꼽은 '걸림돌' 1위는?

"중소기업은 인공지능(AI)을 어떻게 도입해야 할 지 막막합니다. 무엇부터 해야 할까요?" 최근 국내외 기업들이 업무 효율성을 높이고자 AI를 도입하기 위해 앞다퉈 나서고 있지만 상당한 어려움을 겪고 있는 것으로 나타났다. AI를 제대로 이용하기 위해 필요한 데이터 인프라와 직원 역량이 뒷받침되지 않고 있어서다. 10일 클라우데라가 미국, 유럽, 중동, 아프리카, 아시아-태평양 지역 600명의 IT 리더를 대상으로 '기업용 AI 및 최신 데이터 아키텍처 현황'을 조사한 결과, 10명 중 8명이 업무 처리를 위해 AI를 도입했지만 시스템을 유지하기 힘겨워하는 것으로 조사됐다. 또 응답 기업 74%는 AI로 인한 보안과 규정 준수 위험에 대한 우려가 상당히 높다고 밝혔다. AI 도구를 관리할 적절한 교육이나 인재 부족(38%), AI 도구의 높은 가격(26%) 등의 문제로 AI 도입을 어렵게 느끼는 기업들도 있었다. 클라우데라 관계자는 "AI는 지난 몇 년간 비즈니스 운영을 강화하고 정보에 기반한 의사결정을 내리는 등 혁신을 가속하고 직원과 고객 모두의 경험을 향상시킨다는 이점으로 전 세계적으로 주목 받고 있다"면서도 "하지만 모든 기업이 이러한 이점을 경험하진 않는다"고 지적했다. 그러면서 "AI가 빠르게 도입되고 있음에도 불구하고 탄력적인 AI 전략의 많은 요소가 무시되거나 고려되지 않고 있다"고 덧붙였다. 특히 국내 중소기업들이 AI 도입 시 느끼는 어려움은 더 한 것으로 나타났다. 통계청이 올 초 발간한 'KOSTAT 통계플러스' 보고서에 따르면 국내 대기업과 중소기업의 AI, 블록체인 등 신기술 도입 비율은 상당한 격차를 보였다. 빅데이터 도입율에선 2021년 기준 대기업이 12.7%, 중소기업이 3.7%로 나타났고, AI는 9.2% 대 2.9%로 조사됐다. 클라우드는 12.1%대 3.7%, 사물인터넷(IoT)는 6.9%대 3.1%였다. 하지만 많은 기업들은 AI 도입은 거스를 수 없는 흐름이라고 보고 있다. AI 기술의 잠재적 이점이 위험보다 많다고 인식하는 이들이 점차 많아지고 있는데다 활용하는 곳도 많아지고 있어서다. 마이크로소프트가 지난 5월 발표한 '업무동향 지표 2024'에선 글로벌 고객사 리더 10명 중 8명(79%)이 AI 도입이 필수라고 응답한 바 있다. 이 같은 분위기 속에 각 기업들이 AI를 업무에 효율적으로 활용하기 위해선 신뢰할 수 있는 데이터가 반드시 기반이 돼야 한다는 분석도 나왔다. 설계·오작동 발생으로 인한 피해, 악의적 의도에 따른 피해 등 AI 활용으로 인한 문제를 최소화하기 위해서다. 하지만 글로벌 IT 리더들은 자체 데이터를 적절하게 활용하지 못하고 있는 것으로 파악됐다. 클라우데라의 조사에서 응답자 94%는 데이터를 신뢰한다고 응답했지만, 55%는 회사의 데이터에 접근하고 싶지 않다고 답했다. 이는 ▲모순된 데이터 세트(49%) ▲여러 플랫폼으로 흩어진 데이터 관리 불가(36%) ▲너무 많은 데이터(35%) 등 여러 문제들 때문으로 풀이된다. 클라우데라 관계자는 "데이터가 어디에 있든 기업 전체가 신뢰할 수 있는 데이터에 안전하게 접근할 수 있도록 지원하는 최신 데이터 아키텍처에 대한 수요가 더 많아졌다"며 "AI는 IT 프로세스 자동화 및 간소화부터 고객의 요구를 빠르고 효과적으로 지원할 수 있는 챗봇 구축, 더 나은 의사결정을 위한 분석 활용에 이르기까지 다양하게 쓰인다는 점에서 주목할 필요가 있다"고 밝혔다. 또 클라우데라 조사에서는 ▲고객 경험 개선(60%) ▲운영 효율성 증대(57%) ▲분석 신속화(51%)가 가장 많이 쓰이는 AI의 주요 활용 사례로 나타났다. 우선 고객 경험 개선은 기업들이 고객에게 더 안전하고 간편하며 직관적인 경험을 제공하는 것이다. 이를 위해 각 기업들은 ▲보안 및 사기 탐지 강화(59%) ▲고객 지원 자동화(58%) ▲예측 고객 서비스 활용(57%) ▲챗봇 강화(55%)를 목표로 AI 기술을 적용하고 있다. 운영 효율성 향상을 위해서도 AI는 비즈니스의 거의 모든 측면에 활용되고 있다. 클라우데라 조사에 따르면 응답자의 52%는 더 나은 정보를 제공하는 챗봇과 같은 고객 서비스에, 45%는 콜센터 데이터를 분석해 고객에게 보다 맞춤형 혜택을 제공하는 등 마케팅에 AI를 활용하고 있다고 답했다. 또 응답자 약 80%는 기업이 더 현명한 비즈니스 의사 결정을 내리기 위해 모든 데이터를 전부 혹은 대다수 활용하고 있다고 답했다. 클라우데라 관계자는 "이러한 데이터는 의사 결정에 중요한 정보를 제공하는 만큼 기업 내 모든 데이터에 접근할 수 있어야 한다"며 "데이터를 더 빠르고 쉽고 안전하게 분석할 수 있다면 더 많은 정보에 기반한 의사결정을 가능하게 할 것"이라고 설명했다. 그러면서 "이 때문에 AI를 활용하는 기업은 명확한 경쟁 우위를 점할 수 있다"고 덧붙였다. 이에 최근 글로벌 기업들은 신뢰할 수 있는 데이터를 기반으로 AI를 업무에 제대로 활용하고자 클라우데라에 도움을 요청하고 있다. 클라우데라는 비즈니스 데이터에 분석과 AI를 더하는 업계 유일 하이브리드 개방형 데이터 레이크하우스를 제공한다는 점에서 경쟁력을 인정 받고 있다. 특히 2018년 발표한 데이터 관리 솔루션 'CDP(클라우데라 데이터 플랫폼)'는 클라우데라를 데이터 플랫폼 회사로 거듭나게 한 대표 서비스로 우뚝 올라섰다. 지난해 하반기 기준 클라우데라가 전 세계에서 관리하는 데이터 양은 25EB(엑사바이트)에 달했다. 테라바이트(TB)로 환산하면 2천500만 TB에 이른다. 기업들이 CDP를 적용할 경우 비용을 상당히 절감할 수 있다는 점도 매력 요소다. 클라우데라가 제공하는 개방형 데이터 레이크하우스를 활용하게 되면 경쟁사로 평가되는 스노우플레이크 서비스 대비 총소유비용(TCO)이 약 80% 절감되는 효과를 얻을 수 있는 것으로 나타났다. 아바스 리키 클라우데라 CSO는 "이번 설문조사를 통해 많은 기업이 낮은 데이터 품질과 분산된 데이터로 인해 비효율적으로 데이터를 운용하고 있다는 점을 확인했다"며 "AI 도입에 가장 중요한 것은 데이터 위치와 관계없이 데이터를 관리하는 것과 비용 효율성을 높여 모델을 실행하는 것"이라고 말했다. 이어 "기업들은 데이터를 모델에 가져오는 대신 데이터에 AI 모델을 가져오는 것이 더 효율적이라는 것을 깨닫기 시작했다는 것도 이번에 알 수 있었다"며 "우리는 ▲프라이빗→퍼블릭 전환 ▲퍼블릭→프라이빗 전환 ▲멀티 클라우드 환경 등 모든 사례를 구현할 수 있다는 점에서 기업들이 원하는 작업을 수행할 시 평균 40% 정도 저렴한 비용으로 작업할 수 있다는 것이 강점"이라고 덧붙였다.

2024.08.10 06:00장유미

델테크놀로지스, 레이크하우스에 성능 '워프 스피드' 기능 추가

한국델테크놀로지스(대표 김경진)는 AI에 최적화된 개방형의 풀스택 데이터 플랫폼 '델 데이터 레이크하우스'에 쿼리 성능 가속화를 위한 '워프 스피드(Warp Speed)' 기능을 탑재해 제공한다고 26일 밝혔다. 델은 올해 3월 데이터 소스에 관계없이 분산된 데이터에 대규모의 동시접속이 가능한 고성능의 턴키 솔루션인 '델 데이터 레이크하우스'를 공개했다. 강력한 '스타버스트' 쿼리 엔진을 채용한 이 플랫폼은 델 S3 호환 스토리지를 기반으로 설계되어 아이스버그 같은 개방형 형식의 데이터를 저장하고 쿼리할 수 있는 고성능, 고가용성 스토리지 계층을 제공한다. 빠르게 변화하는 오늘날 많은 조직들이 제한적인 예산 내에서 분석 및 AI를 위한 가속화를 실시해야 하는 과제에 직면해 있다. 데이터 레이크하우스 기술은 적은 비용으로 성능 이점을 제공하지만, 데이터 엔지니어링 및 IT 팀에서는 어떤 데이터를 최적화하고 캐싱해야 할지, 혹은 어떤 데이터를 데이터 레이크 내에 두어야 할지 결정하는데 어려움을 겪을 수 있다. 델 테크놀로지스는 이번에 '델 데이터 레이크하우스'에 '워프 스피드'를 추가했다. '워프 스피드'를 이용하면 쿼리 패턴을 자율적으로 학습하고 자주 액세스하는 데이터를 식별하여 최적의 인덱스와 캐시를 생성하는 동시에, 빈번하게 액세스하지 않는 데이터는 제자리에 유지시킬 수 있다. '워프 스피드'는 쿼리 성능 가속화와 비용 절감이라는 상충된 두가지 요구를 모두 만족시킨다. 사용자는 쿼리를 변경할 필요 없이 동일한 클러스터에서 데이터 레이크 쿼리를 3배에서 5배가량 더 빠르게 실행하는 한편 클러스터 크기를 최대 40%까지 줄일 수 있다. 즉 대규모 클러스터에서 더 많은 쿼리를 실행하거나, 더 작은 클러스터에서 동일한 양의 쿼리를 실행하는 것이 가능하다. 워프 스피드는 데이터 레이크 가속화: 데이터 엔지니어링 없이도 데이터 레이크를 자율적으로 색인하고 온디맨드 방식으로 탐색 데이터 세트를 가속화할 수 있다. 사용자 환경을 변경하지 않고도 테라바이트(TB) 부터 페타바이트(PB) 단위까지 데이터를 더 빠르게 드릴다운 할 수 있다. 자율 인덱싱을 통해 각 데이터 블록에 맞는 적절한 인덱스 유형(비트맵, 딕셔너리, 트리)을 생성하고, 조인, 필터, 검색과 같은 작업을 가속화한다. 빠른 액세스를 위해 컴퓨팅 노드의 SSD에 인덱스가 저장된다. 스마트 캐싱은 데이터 사용 빈도에 따라 성능을 최적화하는 독점적인 SSD 컬럼형 블록 캐싱을 제공한다. 불필요한 테이블 스캔을 없애고 쿼리 간 데이터를 더 많이 재사용하여 컴퓨팅 비용을 절감한다. 예를 들어 애널리틱스 담당자가 날짜별, 고객별로 데이터의 카피를 생성하고 재파티션을 요청했을 때 데이터 엔지니어는 '워프 스피드'를 통해 시간과 비용을 낭비하지 않고 빠른 응답 시간을 보장할 수 있다. 또는 데이터 규모의 성장 속도가 예산 범위를 넘어설 때 클러스터 확장을 위해 계속해서 투자하는 대신 쿼리 속도를 높여 응답 시간에 대한 SLA를 충족시킬 수 있다. 델 데이터 레이크하우스 사용 고객은 현재 새로운 워프 스피드 기능을 사용할 수 있으며, '파워스케일' 및 '델 ECS'와 같이 S3와 호환되는 델 스토리지를 데이터 레이크로 사용하는 고객들에게도 지원된다. 소프트웨어 라이선스 변경 없이 내장형으로 제공되며, 델에서 테스트와 벤치마크를 마친 SSD를 포함해 컴퓨팅 노드 구성을 수정함으로써 워프 스피드 인덱스 및 캐시를 지원한다. 이 외에도 델 데이터 레이크하우스는 아이스버그, 델타 레이크, 하이브 등과 DB2, 네티자, 레드시프트, SAP HANA, 스노우플레이크, SQL 서버, 애저 시냅스, 테라데이타 등에 대한 커넥터를 업그레이드했다. 커넥터는 조인 푸시 다운 및 데이터 유형 처리와 같은 작업을 빠르고 완벽하게 수행할 수 있게끔 지원한다. 델의 지원 팀에서 자동화된 상태 점검을 사용하여 설치 또는 업그레이드 전과 후에 클러스터의 상태를 손쉽게 평가할 수 있다. 상태 점검은 지속적인 클러스터 모니터링 및 경고와 더불어 다운타임 제로화를 보장하는 데 중요한 역할을 한다. 기존의 1년 또는 3년 구독 옵션에 더해 델 데이터 레이크하우스에 대한 5년 소프트웨어 구독 옵션이 새롭게 추가됐다. 김경진 한국델테크놀로지스 총괄사장은 “델은 AI 시대에 알맞은 데이터 레이크 분석의 새로운 기준을 제시하고 있다”며 “새로운 워프 스피드를 통해 지금껏 가능하지 않았던 효율성과 속도로 데이터에 담긴 잠재력을 이끌어냄으로써 합리적인 예산으로도 얼마든지 혁신을 도모할 수 있게끔 지원한다”고 강조했다.

2024.07.26 11:35김우용

데이터브릭스, 아이스버그 창시자가 설립한 '타뷸러' 인수

데이터브릭스가 데이터 관리 기업인 타뷸러(Tabular) 인수에 합의했다고 10일 발표했다. 타뷸러는 개방형 테이블 포맷 '아파치 아이스버그'의 창시자인 라이언 블루, 다니엘 윅스, 제이슨 리드 등에 의해 설립된 회사다. 이번 인수로 데이터브릭스는 두 가지 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 데이터브릭스는 레이크하우스에 형식 호환성을 제공하기 위해 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력할 계획이다. 이러한 협력은 단기적으로는 델타 레이크 유니폼 내에서 이루어지며, 장기적으로는 개방적이고 공통적인 단일 상호운용성 표준으로 발전하게 된다. 데이터브릭스는 2020년 레이크하우스 아키텍처를 개척하고, 기존의 데이터 웨어하우징 워크로드와 AI 워크로드를 관리가 가능한 단일 데이터 사본에 통합할 수 있게 했다. 이를 위해서는 다양한 워크로드, 애플리케이션, 엔진이 동일한 데이터에 액세스할 수 있도록 모든 데이터가 개방형 형식이어야 한다. 레이크하우스 아키텍처는 데이터에 대한 접근을 보편화함으로써 기업의 생산성을 극대화하는데, 이는 독점 데이터 웨어하우스와는 대조적이다. 독점 데이터 웨어하우스에서는 독점 SQL 엔진만이 데이터를 읽거나 쓰거나 공유할 수 있으며, 다른 애플리케이션에서 데이터를 사용하기 위해서는 데이터를 복사하고 내보내야 해 특정 공급업체에 종속될 가능성이 높기 때문이다. 4년이 지난 현재, 전 세계 기업의 약 74%가 레이크하우스 아키텍처를 구축했다. 레이크하우스의 기반은 오브젝트 스토리지에 저장된 데이터의 ACID 트랜잭션을 지원하는 오픈소스 데이터 형식이다. 이러한 형식은 아파치 스파크, 트리노 및 프레스토 같은 오픈소스 엔진을 위해 특별히 설계됐으며, 데이터 레이크에서 데이터 작업의 안정성 및 성능을 획기적으로 개선한다. 데이터브릭스는 이를 지원하기 위해 리눅스 재단과 협력해 델타 레이크 프로젝트를 출범했다. 지금까지 다양한 조직의 500명 이상의 코드 기여자가 이 프로젝트에 참여했으며, 전 세계 10,000개 이상의 기업이 델타 레이크를 사용해 매일 평균 4엑사바이트 이상의 데이터를 처리하고 있다. 델타 레이크가 만들어질 무렵, 라이언 블루와 다니엘 윅스는 넷플릭스에서 아이스버그 프로젝트를 개발해 아파치 소프트웨어 재단에 기부했다. 이후 델타 레이크와 아이스버그는 레이크하우스 형식의 두 가지 주요 오픈소스 표준으로 부상했다. 이 두 포맷은 모두 아파치 파케이를 기반으로 하며 비슷한 목표와 설계를 갖추고 있지만, 독립적으로 개발되어 호환되지는 않게 됐다. 시간이 지나면서 다른 여러 오픈소스 및 독점 엔진이 이들 형식을 채택했으나 두 표준 중 하나만, 그것도 일부만 채택하는 경우가 많았다. 이로써 기업 데이터가 파편화되고 사일로화되어 레이크하우스 아키텍처의 가치가 훼손되는 문제가 발생했다. 기업들은 레이크하우스의 이점을 실현하기 위해 데이터 상호운용성이 필요로 하며, 데이터브릭스는 델타 레이크 및 아이스버그 커뮤니티와 긴밀히 협력해 시간이 지남에 따라 형식에 상호운용성을 제공할 계획이다. 이는 결코 짧지 않은 여정으로, 해당 커뮤니티에서 달성하는 데 몇 년이 걸릴 수도 있다. 이것이 바로 작년에 데이터브릭스가 델타 레이크 유니폼을 발표한 이유다. 유니폼 테이블은 델타 레이크, 아이스버그, 후디 간에 상호 운용성을 제공하며, 기업이 모든 데이터에서 이미 익숙한 분석 엔진과 도구를 사용할 수 있도록 아이스버그의 안정적인 카탈로그 인터페이스를 지원한다. 기업은 현재 즉시 사용 가능한 유니폼을 통해 호환성을 확보할 수 있다. 아이스버그 팀의 합류로 데이터브릭스는 델타 레이크 유니폼을 한층 더 확장할 수 있게 되었다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 "오늘날 레이크하우스 패러다임은 가장 널리 사용되는 두 가지 형식인 델타 레이크와 아이스버그로 나뉘어져 있다”며 “데이터브릭스와 타뷸러는 오픈소스 커뮤니티와 협력하여 시간이 지남에 따라 두 형식을 더 가깝게 만들어 개방성을 높이며 고객의 사일로와 마찰을 줄여나갈 계획”이라고 밝혔다. 그는 “작년에 우리는 이 두 형식 간의 상호 운용성을 제공하기 위해 델타 레이크 유니폼을 발표했다”며 “유니폼을 통해 모든 워크로드에 대한 데이터를 통합하는 최고의 방법을 제공하기 위해 오픈 데이터 레이크하우스 형식의 선두 주자들을 한자리에 모으게 되어 매우 기쁘다”고 강조했다. 데이터브릭스와 타뷸러는 오픈소스 형식을 옹호한다는 공통점을 공유해왔다. 두 기업 모두 창립자가 개발한 오픈소스 기술을 상용화하기 위해 설립됐으며, 현재 데이터브릭스는 매출 기준으로 가장 규모가 크고 성공적인 독립 오픈소스 회사로서 오픈소스 프로젝트에 1천200만 줄의 코드를 기부하기도 했다. 이번 인수는 클라우드에서 개방형 포맷과 오픈소스 데이터에 대한 데이터브릭스의 지속적인 노력을 보여주며, 기업이 데이터를 제어하고 독점 공급업체 소유의 형식으로 인한 종속성에서 벗어날 수 있도록 지원한다. 라이언 블루 타뷸러 공동창업자 겸 CEO는 "우리는 정확성, 성능 및 확장성과 관련된 중요한 데이터 문제를 해결하기 위해 아파치 아이스버그를 개발했다"며 “개방형 레이크하우스가 업계 표준으로 자리 잡으면서 아이스버그와 델타 레이크의 인기는 크게 상승했다”고 밝혔다. 그는 “타뷸러는 데이터브릭스에 합류해 개방형 레이크하우스 형식을 기반으로 최고의 데이터 관리 플랫폼을 구축할 계획으로, 이를 통해 '올바른' 형식을 선택하기 위한, 그리고 독점 데이터 포맷에 종속되지 않기 위한 기업의 우려를 해결하는 데 힘쓰고자 한다”고 강조했다.

2024.06.10 14:15김우용

에티버스 "클라우드 데이터레이크 구축 노하우 대방출"

에티버스가 클라우드 데이터레이크 구축 기술과 노하우를 소개하는 자리를 마련했다. 에티버스는 아마존웹서비스(AWS)가 16일부터 17일까지 서울 코엑스 컨벤션센터에서 개최하는 'AWS 서밋 서울 2024'에 참가한다고 16일 밝혔다. 에티버스는 국내 및 글로벌 IT 기업과 함께 스폰서 자격으로 이번 행사에 참가한다. 코엑스 컨벤션센터 홀 C 입구 바로 앞 중앙에 대형 부스를 설치했다. '에티버스와 함께 떠나는 클라우드 비즈니스 여정'의 공항 콘셉트로 부스 테마를 꾸몄다. 뽑기 이벤트로 행사 기간 현장에 많은 고객 방문을 유도할 계획이다. 회사 측은 AWS와 전략적 협력 계약을 맺은 후 관련 사업을 5배 넘게 성장시키는 등 큰 성과를 거뒀다는 입장이다. 이번 행사에서 에티버스 클라우드DX부 서호석 상무가 데이터 저장의 핵심 구성 요소인 데이터 레이크 구축 기술, 금융 분야에서 AWS 서비스를 효율적으로 활용할 방안을 소개한다. 자사 기술 서비스로 클라우드 고객들이 높은 성과를 내도록 지원할 의지를 알렸다. 이를 통해 영업, 마케팅, 교육, 자체 개발 솔루션 등 다양한 지원책을 제공한다. AWS와 전략적 협력 계약(SCA)을 맺은 에티버스는 17일 열리는 컨퍼런스 세션을 통해 클라우드 데이터레이크를 구축하는 자체 기술과 노하우도 알릴 예정이다. 에티버스 김준성 전무는 "AWS 클라우드 DX 엑셀러레이터로 도약한 에티버스는 비즈니스 상황에 꼭 맞는 서비스를 제안해 파트너 중소 IT 기업의 성장을 가속화하는 컨설팅을 제안한다"며 "클라우드 구축이 산업계 IT인프라 구축과 비즈니스 효율화의 기본으로 여겨지는 만큼 관련 비즈니스 확대에 박차를 가할 것"이라고 했다.

2024.05.16 15:34김미정

효성인포·태영소프트·카파정보기술, 헬스케어 사업 업무 협약 체결

효성인포메이션시스템(대표 양정규)은 차세대 의료영상저장전송시스템(PACS) 솔루션 전문기업 태영소프트(대표 나승호), IT 서비스 전문기업 카파정보기술(대표 이정필)과 병원·바이오·헬스케어 시장 데이터 레이크 및 랜섬웨어 대응 위한 업무 협약을 체결했다고 22일 밝혔다. 3사는 이번 협약을 통해 태영소프트의 PACS 솔루션 'ZeTTA'와 효성인포메이션시스템의 오브젝트 스토리지 'HCP'를 연계, 폭증하는 의료 데이터의 효과적인 저장·관리를 위한 데이터 레이크 사업 및 랜섬웨어 대응에 대한 기술력과 노하우를 공유한다. 또한 각 사가 보유한 기술력, 고객 레퍼런스, 사업 역량을 기반으로 공동 영업 및 마케팅 활동을 펼쳐 시장을 확대하고 시너지를 높일 계획이다. 병원·바이오·헬스케어 분야에서는 폭증하는 의료 데이터의 효율적 활용과 다양한 신기술 접목을 위한 의료시스템 고도화가 중요하다. PACS는 MRI, CT 등 영상 진단장치를 통해 진단한 영상을 디지털 형태로 저장하고, 판독과 진료기록을 전송·검색하는데 필요한 기능을 통합 처리하는 디지털 의료 영상 저장 전송 시스템이다. 상급종합병원을 중심으로 의료영상 기반 빅데이터 활용을 위한 차세대 연구용 PACS의 활용이 높아지고 있으며, 다양한 AI 기술과 연계한 플랫폼으로 진화를 거듭하고 있다. 태영소프트는 ZeTTA PACS 솔루션의 대용량 데이터 관리, 빠른 의료영상 로딩, 검색 속도, 시스템 안정성, 직관적 사용자 환경 등 기술적 강점과 함께 의료진 요구사항을 즉각 반영하는 만족도 높은 기술 지원을 제공한다. 이를 통해 상급종합병원 PACS 신규 및 교체 프로젝트를 성공적으로 연이어 구축하며 시장 점유율을 높이고 있다. 효성인포메이션시스템의 HCP는 비정형 데이터를 비롯한 대용량 데이터의 효율적인 저장 및 관리를 지원하는 오브젝트 스토리지다. 대용량 및 고성능 데이터 레이크 환경을 제공하고, 메타 데이터 관리를 통한 빅데이터 분석 기반을 지원한다. 파일 위변조·수정 방지, 버저닝 등 다양한 접근제어 기능을 이용해 랜섬웨어 등 보안 공격으로부터 안전하게 데이터를 보호할 수 있다. 양사는 이번 업무 협약을 통해 제품간 연동을 위한 API를 개발하고 노하우와 솔루션을 공유하며 최상의 PACS 솔루션 기술과 인프라 환경을 제공할 계획이다. 여기에 카파정보기술의 풍부한 사업 경험과 PACS 솔루션 전담 영업 인력, 엔지니어들의 기술 역량을 더해 시장 확대에 박차를 가할 전략이다. 효성인포메이션시스템 양정규 대표는 “3사간 협업으로 경쟁력 있는 PACS 솔루션과 대용량 데이터를 안전하게 처리할 수 있는 인프라 환경을 지원함으로써 병원·바이오·헬스케어 분야에서 IT 혁신을 위한 최상의 전략을 제시할 것”이라고 밝혔다.

2024.04.22 09:27김우용

"생성형 AI의 보안은 '안전'과' 정확성'을 함께 원한다"

“기업은 AI를 활용할 때 관리 가능하고 안전할 뿐만 아니라, 매우 정확하고 관련성 높은 결과물을 요구한다. 이미 챗봇이 '환각' 현상으로 인해 고객에게 부정확한 답변을 제공하고, 이로 인해 기업이 어려움을 겪은 사례도 많이 존재한다. 좋은 AI 전략을 세우려면 강력한 데이터 전략이 필요하다. 기업은 사내에서 자체 AI 모델을 구축하고, 기업 내부 데이터로 해당 모델을 학습시켜 부정확한 답변을 생성하지 않도록 하며, 궁극적으로 지적재산(IP)에 대한 소유권을 갖기를 원하고 있다.” 페르민 세르나 데이터브릭스 최고보안책임자(CSO)는 본지와 서면인터뷰에서 최근 생성형 인공지능(AI) 트렌드 속에서 나타나는 데이터 보안 분야의 체크포인트를 이같이 요약했다. 그는 “AI는 자동화로 생산성을 향상시키고, 데이터에 기반한 의사 결정을 통한 효율성 증대와 성공적인 비즈니스 등 다양한 이점을 제공한다”며 “미국을 비롯한 전 세계 조직이 이러한 이점을 인지함에 따라 AI를 도입하는 사례가 늘고 있지만 동시에 보안과 개인정보 보호에 관한 우려로 인해 AI 프로젝트를 실제 업무에 적용할 때 신중을 기하는 추세”라고 설명했다. 기업의 데이터 보안 전략은 생성형 AI 환경에서 새롭게 업그레이드돼야 하는 상황이다. 데이터 통제 및 관리, 규제 준수 같은 안전을 보장하는 생성형 AI를 만들면서도, 맥락에 적합한 정확한 답변과 성능을 구현해야 한다. IT 보안이 생성형 AI를 맞아 전보다 더 넓은 범위를 고려해야 하는 것이다. 이에 대해 페르민 세르나 CSO는 중요한 조언을 몇가지 제시했다. 그는 단일한 데이터 플랫폼을 구축해 통합적인 보안과 거버넌스 체계를 갖춰야 한다고 강조했다. 데이터 및 AI에 대한 통합 가시성, 데이터 및 AI에 대한 단일 권한 모델, AI 기반 모니터링 및 통합 가시성 등의 접근 방안을 소개하기도 했다. Q. 기업용 생성형 AI에 대해 내부 데이터를 접근할 때 권한 및 보안등급 관리, 규제 준수 등 거버넌스와 컴플라이언스 이슈가 있다. 이에 대한 조언을 한다면? 지난해 JP 모건 체이스, 버라이즌, 삼성전자 등이 고객 정보 및 소스 코드에 대한 통제권을 잃을 수 있는 잠재적 위험을 줄이기 위해 챗GPT 사용을 금지한다고 발표한 바 있다. 이는 거버넌스 도구를 '데이터의 세계'에서 '데이터와 AI의 세계'로 확장해야 하는 이유를 보여주는 대표적인 예다. 서로 다른 여러 플랫폼, 시스템 및 공급업체에 걸쳐 데이터와 AI를 관리하는 일은 매우 복잡하다. 모든 조직이 직면하고 있는 가장 큰 과제 중 하나는, 데이터 사일로와 데이터 개인정보 보호 및 제어에 관한 문제다. 조직에서 사용하는 시스템이나 플랫폼마다 데이터가 중복되거나 시스템 간에 이동될 수 있으며, 또 플랫폼마다 보안 및 거버넌스에 대한 접근 방식이 다를 수 있다. 레이크하우스 아키텍처에 구축된 데이터브릭스 데이터 인텔리전스 플랫폼과 같은 단일 통합 플랫폼을 선택하면 통합 보안 및 거버넌스를 통해 하나의 데이터 사본을 AI에서 비즈니스 인텔리전스(BI)에 이르는 다양한 사용 사례에 저장하고 사용할 수 있어, 이러한 보안 위험을 완화할 수 있다. Q. 데이터브릭스는 생성 AI 시대의 데이터 거버넌스와 컴플라이언스에 어떤 해법을 제시할 수 있나? 데이터브릭스는 2020년에 데이터 웨어하우스와 데이터 레이크의 장점을 결합하고 통합하기 위해 레이크하우스를 분야를 개척했다. 레이크하우스는 (1) 조직 내 모든 데이터 소스(정형, 반정형, 비정형 데이터)를 함께 쿼리하고 (2) 데이터를 사용하는 모든 워크로드(BI, AI 등)를 통합된 방식으로 관리할 수 있는 통합 시스템을 제공한다. 레이크하우스는 독자적인 데이터 플랫폼 범주로 자리 잡았으며, 현재 기업에서 널리 채택되어 대부분의 벤더 스택에 통합되어 있다. MIT 테크놀로지 리뷰 인사이트 보고서에 따르면, 전 세계 CIO의 74%가 자사의 레이크하우스를 보유하고 있다고 답했다. 레이크하우스 도입은 이미 시장에서 대세로 자리 잡았지만, 데이터브릭스는 레이크하우스와 생성형 AI를 결합해 데이터 인텔리전스 플랫폼이라는 새로운 범주의 데이터 플랫폼을 만들었다. 데이터 인텔리전스 플랫폼을 통해 기업은 자연어를 사용하여 한 곳에서 데이터를 통합, 관리 및 활용할 수 있다. 데이터 인텔리전스 플랫폼은 생성형 AI 모델을 사용하여 기업 데이터의 의미를 파악하고 플랫폼의 모든 부분에서 이렇게 이해한 내용들을 활용한다. 데이터브릭스의 통합 거버넌스 솔루션인 유니티 카탈로그를 통해 조직은 모든 클라우드 및 플랫폼에서 정형 및 비정형 데이터, 머신러닝 모델, 노트북, 대시보드 및 파일을 원활하게 관리할 수 있다. Q. 회사 내부 보안조직의 대응법이 있으면 소개해달라. 데이터브릭스의 데이터 및 AI 거버넌스 접근 방식은 아래와 같다 1. 데이터 및 AI에 대한 통합 가시성: 조직은 생성형 AI를 통해 자연어를 사용하여 데이터와 AI를 안전하게 검색하고, 이해하고, 인사이트를 추출하여 생산성을 높일 수 있다. 2. 데이터 및 AI에 대한 단일 권한 모델: 통합 인터페이스로 액세스 관리를 간소화해 데이터 및 AI 자산에 대한 액세스 정책을 정의하고 모든 클라우드 또는 데이터 플랫폼에서 이러한 정책을 일관되게 적용 및 감사할 수 있다. 또한, 조직은 행과 열을 세밀하게 제어하여 보안을 강화하는 동시에 원활하게 확장되는 로우코드 속성 기반 액세스 정책을 통해 액세스를 효율적으로 관리할 수 있다. 3. AI 기반 모니터링 및 통합 가시성: AI를 사용하면 모니터링을 자동화하고 오류를 진단하며 데이터 및 ML 모델 품질을 유지할 수 있다. 조직은 개인 식별 정보(PII) 데이터를 자동으로 감지하고, 모델 드리프트를 추적하며, 데이터 및 AI 파이프라인 내의 문제를 효과적으로 해결하여 정확성과 무결성(integrity)을 유지하는 사전 예방적 알림의 이점을 누릴 수 있다. Q. 방어자 입장에서 AI를 어떻게 받아들여야 바람직할까? AI는 조직이 방대한 양의 데이터를 선별해 패턴을 모니터링하고 분석하는 데 도움을 준다. AI는 이렇게 학습된 패턴을 기준선으로 삼아 비정상적인 행동을 감지하고 시스템에 대한 무단 액세스를 제한할 수 있다. 또한, AI는 위험의 우선순위를 정하고 멀웨어와 침입의 가능성을 즉시 감지하여 분석가의 1차 작업을 보강하는 데 도움을 줄 수 있다. 데이터 인텔리전스 플랫폼과 생성형 AI를 사용하면 조직 내 사이버 보안 팀들은 자연어를 사용하여 사고의 영향과 보안 속성에 대해 질문을 할 수도 있다. Q. 세계 각국에서 AI 안전에 대한 규제가 나오기 시작했다. 조직에서 AI 안전을 담당하는 주체는 누가 돼야 하고, 어떻게 무수한 규제에 대응하고 정책변경에 빠르게 적응할 수 있을까? 새롭게 생겨나는 AI 규제는 다양하고 복잡한 요구 사항을 가지고 있지만, 한편으로는 반복되는 주제를 담고 있다. 일반적으로 5가지 주요 영역에서 의무가 발생한다: 1. AI 개발 및 배포 주기의 모든 단계에서 필요한 데이터 및 모델 보안과 개인 정보 보호 2. 출시 전 위험 평가, 계획 및 완화 - 데이터 학습과 가드레일 구현에 중점을 두고 편향성, 부정확성 및 기타 잠재적 피해를 해결 3. 출시 시 필요한 문서 - 개발 과정에서 수행한 단계와 AI 모델 또는 시스템의 특성(기능, 제한 사항, 학습 데이터 설명, 위험, 완화 조치 등)에 관한 내용 포함 4. 출시 후 모니터링 및 지속적인 위험 완화 - 부정확하거나 기타 유해한 결과물 생성 방지, 보호 대상 그룹에 대한 차별 방지, 사용자가 AI를 다루고 있음을 인지하도록 하는 데 중점을 둠 5. 대규모 모델을 학습하고 실행하는 데 사용되는 에너지가 환경에 미치는 영향 최소화 이러한 목표를 달성하려면 모든 조직이 데이터와 AI 모델에 대한 완전한 소유권과 통제권을 확보하고 AI 개발 및 배포의 모든 단계에서 포괄적인 모니터링, 개인정보 보호 제어, 거버넌스를 이용할 수 있어야 한다. 조직은 데이터 품질을 제공하고, 더 안전한 애플리케이션을 제공하며, 규제 표준을 준수하는 데 도움이 되는 책임 있는 AI 목표를 달성하기 위한 통합된 접근 방식을 필요로 한다.

2024.04.16 10:07김우용

델 파워스케일, 엔비디아 DGX 이더넷 스토리지 인증 획득

델테크놀로지스는 AI 시대에 기업과 기관들이 데이터의 가치를 극대화할 수 있도록 엔비디아 스타버스트 등 글로벌 리더 기업과 협력해 스토리지 포트폴리오를 강화한다고 22일 밝혔다. 먼저 델은 엔비디아와의 긴밀한 협력 하에 자사의 '델 파워스케일' 스토리지를 '엔비디아 DGX 슈퍼POD'을 위한 이더넷 스토리지로서 인증받았다. 데이터 애널리틱스 플랫폼 기업인 '스타버스트'와 협력해 스타버스트 소프트웨어와 델 하드웨어를 풀스택으로 구성한 '델 데이터 레이크하우스'를 공식 출시했다. 델 파워스케일 솔루션을 통해 델과 엔비디아는 강력한 성능과 효율성의 AI 스토리지를 찾는 조직들의 생성형 AI 이니셔티브 지원에 나선다. 엔비디아의 AI 레퍼런스 아키텍처인 DGX 슈퍼POD에 '델 파워스케일'을 통합한 DGX 시스템을 도입하면 사전 검증 및 테스트가 완료된 턴키 시스템을 기반으로 생성형 AI를 위한 인프라를 쉽고 빠르게 구축할 수 있다. 엔비디아 매그넘 IO, GPU다이렉트 스토리지, NFS 오버 RDMA 등의 기술이 엔비디아 ConnectX-6 NIC에 내장돼 고속의 데이터 접근이 가능하며, AI 훈련, 체크포인팅, 추론에 소요되는 시간을 최소화할 수 있다. 델 파워스케일이 제공하는 새로운 멀티패스 클라이언트 드라이버를 활용해 GPU 활용률과 성능을 극대화할 수 있다. 엔비디아 DGX 슈퍼POD에는 풀스택 AI 슈퍼컴퓨팅 솔루션을 위한 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼이 포함되며, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼 이더넷 네트워킹 구성을 제공해 좀 더 빠르고 안전하게 생성형 AI 프로젝트를 추진할 수 있도록 지원한다. 델 데이터 레이크하우스는 개방형의 모던 데이터 플랫폼으로 데이터가 저장된 위치와 상관없이 안전하고 간편한 싱글 포인트 접근을 지원한다.'델 데이터 레이크하우스는 스타버스트 기반의 '델 데이터 애널리틱스 엔진'과 쿠버네티스 기반의 '델 레이크하우스 시스템 소프트웨어', 델 파워엣지 서버로 구성된 컴퓨팅 노드, '델 ECS' 또는 '델 오브젝트스케일'로 구성된 스케일아웃 스토리지 노드로 구성된다. 델은 AI에 최적화된 하드웨어와 강력한 쿼리 엔진을 포함한 풀스택 소프트웨어를 아우르는 통합형 데이터 플랫폼을 제공함으로써 고객들이 AI 시대에 걸맞게 데이터로부터 실행가능한 비즈니스 통찰력을 빠르게 얻을 수 있도록 지원한다는 전략이다. 델 데이터 레이크하우스는 스타버스트 기반의 페더레이션 완료된 안전한 쿼리로 데이터 탐색을 강화해, 인사이트 도출 시간을 최대 90%까지 단축하고, 사용 패턴을 파악해 데이터 레이크하우스로 더욱 스마트하게 데이터를 중앙 집중화할 수 있다. 컴퓨팅과 스토리지를 분리하는 맞춤형 인프라에서 실행되는 분산형 대규모 병렬화 엔진을 통해 필요에 따라 확장가능한 성능을 확보할 수 있다 100% 오픈 포맷을 기반으로 하며 파케이, 아브로, ORC 등의 파일 형식 및 아이스버그, 델타레이크 같은 테이블 형식 등 최신 산업 표준을 통해 미래에 대비할 수 있고, 내장된 데이터 거버넌스를 통해 데이터에 대한 통제권을 유지한다. 데이터 팀에 셀프 서비스 액세스 권한을 부여해 고품질의 데이터를 생성하고, 전사적으로 협업과 데이터 탐색이 용이한 조직 문화를 조성한다. 서버, 소프트웨어 및 스토리지 구성 요소를 포괄하는 턴키 솔루션으로서 구축, 라이프사이클 관리, 지원 서비스를 간소화하도록 설계됐으며, 비용 효율적이고 예측 가능한 지출이 가능하다. 델 데이터 애널리틱스 엔진은 동급 타 기술 대비 절반의 비용으로 3배 빠른 통찰력 확보 시간을 제공한다델 ECS 스토리지는 퍼블릭 클라우드 오퍼링 대비 총 소유 비용을 최대 76% 절감할 수 있다. 김경진 한국델테크놀로지스의 총괄 사장은 “스토리지 혁신을 이끌어온 델이 AI 시대에 스토리지의 새로운 기준을 제시하기 위해 업계를 선도하는 글로벌 리더들과 협력에 박차를 가하고 있다”며 “누구나 손쉽게 실행가능한 인사이트를 얻고, 이전에는 가능하지 않았던 속도를 통해 AI의 잠재력을 실현시킬 수 있도록 돕고자 한다”고 밝혔다.

2024.03.22 18:14김우용

효성인포-에이플랫폼, 레이크하우스·AI 사업 파트너 계약 확대

효성인포메이션시스템(대표 양정규)은 실시간 빅데이터 솔루션 전문기업 에이플랫폼(대표 한정희)과 데이터 레이크하우스·AI 사업 확대를 위한 파트너 계약 체결식을 진행하고 국내 영업 및 마케팅 활동 협력을 강화한다고 20일 밝혔다. 에이플랫폼은 급격히 증가하는 대규모 데이터를 실시간 처리, 분석, 가시화 등이 가능하도록 온프레미스와 클라우드 환경에 최적의 솔루션과 컨설팅 서비스를 제공하는 전문 기업이다. 하나의 플랫폼에서 모든 데이터에 대한 실시간 통찰력을 확보할 있는 클라우드 네이티브 데이터베이스인 '싱글스토어DB'의 국내 독점 총판으로, AI/ML을 비롯 생성형 AI를 도입하고자 하는 기업들을 대상으로 맞춤 솔루션, 컨설팅, 서비스를 제공하며 성장세를 보이고 있다. 효성인포메이션시스템과 에이플랫폼은 초고성능 병렬 파일 시스템 'HCSF'와 싱글스토어DB를 연계해 실시간 데이터 처리와 대용량 DB의 안정적인 저장을 지원, 생성형AI 워크로드를 위한 고성능 데이터 처리와 최적의 데이터 레이크하우스 전략을 제시하며 시너지를 높일 계획이다. 싱글스토어DB를 활용하면 단일 데이터 플랫폼에서 표준 SQL 기반으로 다양한 워크로드를 실시간 처리할 수 있다. NVMe 기반 초고성능 병렬 파일 시스템과 오브젝트 스토리지가 결합된 HCSF를 통해 다양한 유형의 데이터 저장, 실시간 데이터 수집 및 고속 처리 등 유연한 데이터 활용도 가능하다. 싱글스토어DB는 2017년부터 벡터(VECTOR) 기능을 제공해 왔으며, 최근 챗GPT로 부각된 생성형AI 또는 LLM 서비스를 구축∙도입하고자 하는 다양한 기업의 벡터DB로 도입 검토가 확대되고 있다. 양사는 최근 수주한 국내 주요 금융기관의 데이터 레이크 구축 사업을 통해, 고객 제안 단계부터 수행까지 완벽한 시너지 효과를 입증했다. 앞으로도 데이터 레이크하우스를 필요로 하는 고객을 대상으로 공동으로 사업 기회 발굴을 위해 영업력을 강화할 계획이며, 솔루션 기술지원 및 교육, 마케팅 부분에서도 협력을 강화하며 데이터 레이크하우스∙AI 사업 확대를 위해 노력할 계획이다. 에이플랫폼 한정희 대표는 “글로벌에서 인정받고 있는 싱글스토어DB의 기술력을 기반으로 효성인포메이션시스템과 함께 국내 영업 및 마케팅 활동을 적극적으로 펼치며 고객들의 데이터 혁신을 위해 힘쓰겠다”고 밝혔다. 효성인포메이션시스템 양정규 대표는 “AI 비즈니스 혁신이 필요한 고객들에게 에이플랫폼과 함께 초기 사업 발굴 단계부터 협력을 강화하며, 실시간 데이터 분석부터 고성능 데이터 처리까지 최상의 데이터 레이크하우스 전략을 제시할 것”이라고 강조했다.

2024.03.20 11:07김우용

클라우데라, 차세대 개방형 데이터 레이크하우스 발표

클라우데라는 기업의 데이터 경험을 혁신하는 차세대 개방형 데이터 레이크하우스를 6일 공개했다. 클라우데라는 프라이빗 클라우드용 아파치 아이스버그와 개방형 데이터 레이크하우스 공급업체로, 신뢰할 수 있는 분석과 대규모 AI를 지원한다. 클라우데라의 조사에 따르면 현재 미국 기업 53%가 생성형 AI 기술을 사용하며, 3분의 1 이상(36%)이 2024년 잠재적 구축을 위해 AI를 학습하는 것으로 나타났다. 호주의 경우 63%의 기업이 프로젝트 관리의 어려움을 극복하기 위한 핵심 솔루션으로 AI를 꼽았다. 하지만 많은 기업들이 분산된 데이터 인프라, 거버넌스 위험, 보안 문제 등으로 인해 데이터에 접근하거나 데이터로부터 비즈니스 가치를 창출하는 데 어려움을 겪으면서 AI 구축이 지연되고 있다. 클라우데라는 프라이빗 클라우드용 아파치 아이스버그를 제공, 기업이 안고 있는 문제를 해결하고 기업용 AI 배포를 빠르게 확장해 더 큰 데이터 가치를 창출할 수 있도록 지원한다. 아파치 아이스버그는 방대한 데이터 분석 테이블을 위한 오픈소스다. 이 컴포넌트를 프라이빗 클라우드에 적용하면 기업은 클라우드와 온프레미스 모두에 존재하는 방대한 양의 필수적인 데이터에 AI를 적용, 궁극적으로 새로운 사용 사례를 창출할 수 있다. 클라우데라는 이제 완전히 분리된 대규모 언어 모델(LLM) 구축을 진행할 수 있는 기능을 제공하고, 고객에게 향상된 보안과 데이터 프라이버시는 물론 더 나은 성능과 운영 비용 절감을 제공한다. 클라우데라는 비즈니스 연속성 향상과 끊김 최소화를 위한 제로 다운타임 업그레이드(ZDU)와 전송 레이어 보안(TLS) 1.2와 같은 보안을 강화했다. 쿼터, 스냅샷, 재해 복구 개선 사항과 같은 새로운 아파치 오존 기능으로 최신 워크로드의 막대한 데이터 소비 요구를 충족하기 위해 더 낮은 비용으로 훨씬 더 큰 확장성을 제공한다. 호환성과 유연성 향상을 위해 파이썬 3.10, RHEL 9.1, RHEL 8.98 FIPS, SLES 15 SP4, 오라클 8.8, JDK 17 등 통합 지원을 확대했다. 딥토 차크라바티 클라우데라 최고제품책임자(CPO)는 “클라우데라의 사명은 고객이 어디서나 복잡한 데이터를 AI를 통해 그 어느 때보다 빠르고 쉽게 실행할 수 있는 인사이트로 전환할 수 있도록 지원하는 것”이라며 “분석과 AI를 위한 신뢰할 수 있는 데이터 기반을 제공함으로써 차세대 클라우드 네이티브 솔루션은 필수적인 데이터를 변환하고 혁신적인 AI 애플리케이션을 구축할 수 있는 무한한 가능성을 열어준다”고 밝혔다.

2024.03.06 11:03김우용

효성인포-에이플랫폼, 생성 AI 워크로드 혁신 협력 강화

효성인포메이션시스템(대표 양정규)은 실시간 빅데이터 솔루션 전문기업 에이플랫폼(대표 한정희)과 데이터 레이크하우스 구현 및 생성형AI 워크로드 혁신을 위한 협력을 강화한다고 15일 밝혔다. 효성인포메이션시스템은 15일 싱글스토어와 에이플랫폼이 주관하는 'Real Time, Right Now'에 메인 스폰서로 참여, 권동수 전문위원이 '생성형AI 환경을 위한 데이터 레이크하우스 전략' 주제 발표를 진행한다. 이 행사에서는 벡터 DB로서의 혁신적 기능을 출시한 '싱글스토어 Pro Max' 소개를 비롯, 싱글스토어DB의 탁월한 보안 기능과 국제 인증, 포스코DX 고객 사례 등 싱글스토어DB만의 특별한 혁신 전략이 공유된다. 에이플랫폼은 싱글스토어DB의 국내 독점 총판이다. 싱글스토어DB는 ANSI SQL 기반 인메모리와 디스크를 활용한 실시간 분산 병렬 처리 데이터 플랫폼이며, 다양한 미션 크리티컬한 워크로드의 빠른 처리와 분석을 지원하는 클라우드 네이티브 데이터베이스이다. 싱글스토어DB는 2017년부터 벡터 기능을 제공해 왔으며, 최근 챗GPT로 부각된 생성형AI 또는 LLM서비스를 구축∙도입하고자 하는 다양한 기업들의 벡터DB로 도입 검토가 확대되고 있다. 효성인포메이션시스템은 초고성능 병렬 파일 시스템 'HCSF'와 싱글스토어DB를 연계해 실시간 데이터 처리와 대용량 DB의 안정적인 저장을 지원, 생성형AI 워크로드를 위한 고성능 데이터 처리와 최적의 데이터 레이크하우스 전략을 제시한다. 싱글스토어DB를 활용하면 단일 데이터 플랫폼에서 표준 SQL 기반으로 다양한 워크로드를 실시간 처리할 수 있다. NVMe 기반 초고성능 병렬 파일 시스템과 오브젝트 스토리지가 결합된 HCSF를 통해 다양한 유형의 데이터 저장, 실시간 데이터 수집 및 고속 처리 등 유연한 데이터 활용도 가능하다. 양사는 최근 국내 주요 금융기관의 데이터 레이크 구축 사업을 수주하며 시너지 효과를 입증했다. 앞으로도 금융, 제조 등 실시간 데이터 분석 환경과 대용량 DB의 안정적이고 비용효율적인 저장을 필요로 하는 AI 워크로드를 중심으로, 고객들의 AI 혁신을 위해 영업 활동을 적극적으로 펼칠 계획이다. 에이플랫폼 한정희 대표는 “급변하는 AI 및 실시간 분석 환경에서 데이터 플랫폼은 혁신의 기반이 되고 있다”며 “효성인포메이션시스템과 함께 AI 워크로드를 위한 최고의 성능과 인프라 환경을 제공하기 위해 협업을 강화할 계획”이라고 밝혔다. 효성인포메이션시스템 양정규 대표는 “생성형AI가 확산될수록 실시간 데이터 분석과 고성능 데이터 처리의 중요성은 높아진다”며 “효성인포메이션시스템은 AI 시대에 맞는 데이터 레이크하우스 전략을 위해 협력사들과 시너지를 높여갈 것”이라고 강조했다.

2024.02.15 09:28김우용

Prev 1 Next