엑셈 "대기업·공공기관서 외산 빅데이터 플랫폼 윈백"
"시험테스트(PoC) 반응이 매우 좋습니다. 외산 솔루션을 사용하던 대기업 두 곳이 비용과 기술지원 문제로 외산 대신 우리 제품을 사용하는 등 올해 대기업 등에서 윈백 사례를 만들었습니다." IT 성능관리 전문기업 엑셈(대표 고평석)에서 빅데이터기술연구 팀장을 맡고 있는 박용우 부장과 최기용 과장은 10일 지디넷코리아와 인터뷰에서 자사의 빅데이터 저장 관리 플랫폼 'EBIGS(이빅스)'의 성과에 대해 이 같이 밝혔다. 엑셈이 지난해 4월 개발해 내놓은 '이빅스'는 하둡 에코시스템 설치와 모니터링, 운영 관리를 지원하는 빅데이터 저장 관리 플랫폼이다. 엑셈은 이 분야 글로벌 1위 빅데이터 기업과 국내 시장에서 선점 경쟁을 벌이고 있다. 올해 엑셈은 '이빅스'로 여러 성과를 거뒀다. 특히 반도체 소재 제조 대기업과 대형 통신사, 지역 공공기관을 신규 고객으로 확보했다. 이미 NICE지니데이타, 경북도청, 한전, 한국에너지공단이 '이빅스'를 사용하고 있다. 박용우 부장은 "올해 PoC를 진행한 대기업 두 곳 모두 오랫동안 외산 제품을 사용하다 '이빅스(EBIGs)'로 빅데이터 플랫폼 교체를 결정해 우리가 성공적으로 윈백했다"고 반색했다. 엑셈은 PoC 수행과정에서 적절한 SW 아키텍처 구성, 데이터 수집 성능과 모니터링, 안정적인 기술지원으로 '이빅스'의 성능과 기술력을 검증, 대기업 고객사의 마음을 사로잡았다. 박 부장은 "최근 시장에서 우리가 선보인 '이빅스'가 외산 솔루션 대비 운영과 비용 측면에서 강점을 보이며 국산 기술이 외산보다 뒤지지 않음을 인정받고 있다"면서 "데이터 파이프라인 고도화 사업과 이빅스 추가 증설 사업도 예정돼 있다"고 말했다. 엑셈은 올해 EBIGS 신규 고객 확보에 이어 내년에도 수주가 잇달아 발생할 것으로 기대하고 있다. 이미 대기업 몇 곳과는 내년 초 계약을 완료할 예정이다. 이외에 여러 중견제조기업과 공공기관, 지자체에서도 호의적인 반응을 보이고 있다. 국내 클라우드 시장에서 점차 입지를 넓혀가고 있는 '이빅스'는 여러 특장점을 자랑한다. 외국 경쟁제품 대비 기능은 뒤지지 않으면서 가격과 기술지원(커스터마이징)은 더 우수한데 특히 일부 기능은 외산보다 더 낫다고 회사는 강조했다. 이 부장은 "외산을 포함한 경쟁 제품 대비 뛰어난 데이터 관리(수집 처리 속도, 저장 등) 성능과 상대적으로 저렴한 가격, 실시간 원격 기술 지원과 방문 기술 지원, 교육, 커스터마이징을 제공한다. 특히 타사 빅데이터 플랫폼에서 제공하지 않는 HDFS 브라우저 기능, HIVE 에디터 기능, 파일시스템 오딧(Audit) 기능을 제공한다"면서 "엑셈은 수준 높은 빅데이터 전문가들이 기술과 노하우를 접목해 안정성, 호환성을 검증한 오픈소스로 고객 환경에 적절하면서 안정적인 하둡 에코시스템 설치와 구성을 제공한다"고 밝혔다. 자체 하둡 에코시스템을 구축하기 위해서는 데이터 수집, 저장, 처리, 시각화, 워크플로우 관리 등 여러 오픈소스 프레임워크간 조합이 필요하다. 또 이의 버전과 종류가 매우 다양해 수 개월간 안정성, 호환성 테스트를 거쳐 구축해야한다. 하둡 에코 시스템을 구성하는 프레임워크들은 초기 구축, 연동, 운영관리, 모니터링에 있어 상당한 전문성이 요구되는 것이다. 박 부장은 "하둡을 정확히 이해하지 못하면 쉽지 않은 작업"이라며 "이 부분에서 우리가 국내 유사 솔루션 제공 경쟁사들보다 경쟁력이 더 우수하다"고 짚었다. 엑셈의 '이빅스'는 사용자 편의성도 극대화했다. 하둡 에코시스템 실시간 모니터링 기능은 물론 시스템 운영에 필수적인 서버 상태 관리, 서비스 관리, 설정 관리 등의 운영 관리 기능을 제공한다. 특히 각 서버별 CPU, 메모리(Memory), 디스크(Disk)의 과도한 사용량과 용량 문제 등의 이상징후를 실시간 감지해 알림을 제공한다. 또 여러 지표나 데이터 파이프라인을 하나의 화면으로 볼 수 있는 통합 대시보드와 3D 대시보드 등 서버 리소스 현황과 소프트웨어의 상태 정보 등을 직관적으로 쉽게 확인할수 있는 UI와 UX도 구현했다. 여기에 클라우드 기반의 VM서버에도 설치 가능하며 구축 규모에 상관없이 손쉬운 유지보수 및 관리가 가능하다. 박 부장은 "올 6월 고객 요청에 따라 카프카(Kafka) 모니터링, 트리노(Trino) 모니터링, 호스트 추가, 서비스 추가 기능 개발을 완료했다"면서 "Kafka 모니터링 기능을 통해 별도의 SW를 설치하지 않고도 클러스터 상태, 데이터 입출력(IO) 현황, 메시지 모니터링이 가능하다"고 설명했다. Trino 모니터링과 관련해서는 "과거에는 고객들이 크고 많은 데이터가 처리되기 원했다. 하지만 지금은 크고 많은 데이터를 처리하기보다 결과를 빠르게 얻으려 한다. 이러한 고객 니즈를 해결하기 위해 트리노를 채택했다"면서 "트리노는 빠른 분산처리를 위한 오픈소스 기반의 분산SQL 쿼리 엔진이다. 불필요한 입출력(IO)을 피하기위해 모든 처리는 메모리상에서 이뤄지기 때문에 상용 데이터 웨어하우스 속도만큼 빠르게 결과를 얻을 수 있다. 이러한 성능은 실제 PoC 결과에서도 확인했다"고 들려줬다. 엑셈은 '이빅스'에 대해 내년에 GS인증을 획득할 계획이다. GS인증은 우수 국산SW에 주는 인증으로 공공시장에 들어가려면 꼭 받아야 한다. 앞서 이빅스에 내재한 빅데이터 성능관리 솔루션 '플라밍고'는 2017년에 GS인증을 받았다. 박 부장은 "물리적 서버외에 클라우드 환경(클라우드 기반의 VM서버)에도 설치가 가능하므로 고객사 환경별(온프레미스, 프라이빗과 하이브리드 클라우드, AWS EMR+S3) 장단점을 고려한 구성을 통해 GS인증에 대응할 예정"이라면서 "이미 프라이빗 클라우드 환경에 설치해 구축한 경험이 있다. 오브젝트 스토리지인 아파치 오존(Apache ozone)이나 AWS S3를 활용해 하둡을 구축하는 방안도 검증을 완료했다"고 밝혔다. 엑셈은 메타데이터 솔루션(별도 솔루션)도 개발할 예정이다. 메타데이터는 DB를 설명하는 자료다. 박 부장은 "메타데이터 지원 수요가 꽤 많다"면서 "메타데이터 관리에서 나아가 데이터를 더 효과적으로 활용할 수 있게 데이터 자산 정보를 제공하는 데이터 카탈로그 솔루션 개발도 기획하고 있다"고 말했다. 엑셈은 ETL(Extract-추출, Transform-변환, Load-적재) 자체 솔루션도 개발하고 있다. '이빅스'와 함께 데이터 파이프라인 구축을 편리하게 할 수 있는 ETL 툴에 대한 니즈가 꾸준히 발생하고 있기 때문이다. 이미 데이터를 쉽고 편하게 수집, 가공할 수 있는 툴 개발을 시작했고, 더불어 다양한 형식으로 정의돼 있는 데이터를 하나로 연계해 활용할 수 있게 메타데이터를 통합 장소에서 표준화해 저장하고, 관리할 수 있는 메타데이터 관리 솔루션도 개발중이다. 두 제품 모두 내년 출시를 목표로 하고 있다. 빅데이터는 왜 하둡에 저장해야 하냐는 질문에 박 부장은 빅데이터를 도입한다는 것은 조직의 내, 외부에 존재하는 다양한 형태의 데이터를 수집, 처리, 분석해 의미있는 가치를 추출해 비즈니스에 적용하는 행위라면서 "관건은 방대한 양과 다양한 종류의 데이터를 저장하고 효율적으로 빠르게 읽고 분석하는 거다. 정형화된 데이터들은 오라클 등의 관계형 DB를 통해 저장할 수 있지만 그 양이 방대해지고 이미지, 텍스트, CSV파일 등 비정형 데이터가 늘면 대용량 데이터를 읽는 데 걸리는 시간이 오래 걸린다. 이런 문제를 해결한 기술이 하둡(Hadoop)"이라고 설명했다. 실제 하둡은 정형, 비정형에 제약없이 대용량 데이터를 분산 환경에서 처리할 수 있는 오픈 소스 프레임워크다. 대용량의 데이터를 한 컴퓨터의 디스크에 저장하는 것이 아니라 분할해 클러스터화된 여러 컴퓨터의 여러개 디스크에 나누거나 복제해 저장한다. 데이터를 읽을 때는 각 디스크에 흩어져있는 데이터를 동시에 읽어 효율적으로 처리하는 분산 처리 방식이다. 박 부장은 "하둡 에코 시스템은 빅데이터를 활용하는 대부분의 기업에서 필수적으로 사용하고 있다"면서 "이를 사용하는 글로벌 대표 기업이 유튜브와 넷플릭스인데 국내에서도 400~500여 개 엔터프라이즈 및 공공기관이 하둡을 사용하고 있다"고 밝혔다.
