검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'오픈소스 클라우드'통합검색 결과 입니다. (26건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

레드햇, 생성형 AI 플랫폼 'RHEL AI' 출시

레드햇은 7일(현지시간) 개최한 '레드햇서밋2024'에서 사용자의 생성형 AI 모델 개발·테스트·배포를 지원하는 파운데이션 모델 플랫폼 '레드햇 엔터프라이즈 리눅스 AI(RHEL AI)'를 출시했다고 발표했다. RHEL AI는 IBM리서치의 오픈소스 라이선스 그래니트 LLM제품군과 챗봇을 위한 대규모 정렬(LAB) 방법론에 기반한 인스트럭트랩 모델 정렬 도구, 인스트럭트랩 프로젝트를 통한 커뮤니티 중심의 모델 개발 접근 방식을 결합한 솔루션이다. 전체 솔루션은 하이브리드 클라우드의 개별 서버 배포를 위해 최적화된 RHEL 이미지로 패키징돼 있으며, 분산 클러스터 환경에서 모델과 인스트럭트랩을 대규모로 실행하기 위해 레드햇의 하이브리드ML옵스 플랫폼인 오픈시프트 AI에 포함됐다. 챗GPT 가 생성형 AI에 대한 폭발적인 관심을 불러일으킨 이래 혁신의 속도는 더욱 빨라지고 있다. 기업은 생성형 AI 서비스에 대한 초기 평가 단계에서 AI 기반 애플리케이션 구축 단계로 전환하기 시작했다. 빠르게 성장하는 개방형 모델 옵션 생태계는 AI 혁신에 박차를 가하고 있으며, '모든 것을 지배하는 하나의 모델'은 존재하지 않을 것임을 시사한다. 고객은 다양한 선택지 중에서 특정 요구 사항 해결을 위한 모델을 선택할 수 있으며, 이러한 혁신은 개방형 접근 방식을 통해 더욱 가속화될 것이다. AI 전략 구현을 위해서는 단순히 모델을 선택하는 것만으로는 부족하며, 특정 사용 사례에 맞게 주어진 모델을 조정하고 AI 구현에 드는 막대한 비용을 처리할 수 있는 전문 지식을 필요로 한다. 데이터 과학 기술의 부족은 ▲AI 인프라 조달 또는 AI 서비스 사용 ▲비즈니스 요구 사항에 맞도록 AI 모델을 조정하는 복잡한 프로세스 ▲엔터프라이즈 애플리케이션에 AI 통합 ▲애플리케이션과 모델 라이프사이클의 관리 등 여러 분야에 비용을 요구해 더욱 어려움을 겪을 수 있다. AI 혁신의 진입 장벽을 확실히 낮추려면 AI 이니셔티브 참여자의 범위를 넓히는 동시에 이러한 비용을 통제할 수 있어야 한다. 레드햇은 인스트럭트랩 정렬 도구, 그래니트 모델, RHEL AI를 통해 접근과 재사용이 자유롭고 완전히 투명하며 기여에 개방적인 진정한 오픈소스 프로젝트의 장점을 생성형 AI에 적용함으로써 이러한 장애물을 제거할 계획이다. IBM리서치는 분류법(taxonomy) 기반 합성 데이터 생성과 새로운 다단계 튜닝 프레임워크를 사용하는 모델 정렬 방식인 LAB 기술을 개발했다. 이 접근 방식은 비용이 많이 드는 사람의 주석이나 독점 모델에 대한 의존도를 줄임으로써 모든 사용자가 보다 개방적이고 접근하기 쉬운 AI 모델 개발을 가능하게 한다. LAB 방식을 사용하면 분류법에 수반되는 기술과 지식을 특정하고, 해당 정보로부터 대규모로 합성 데이터를 생성해 모델에 영향을 주고, 생성된 데이터를 모델 학습에 사용함으로써 모델을 개선할 수 있다. LAB 방식이 모델 성능을 크게 향상시키는 데 도움이 될 수 있다는 것을 확인한 IBM과 레드햇은 LAB 방식과 IBM의 오픈소스 그래니트 모델을 중심으로 구축된 오픈소스 커뮤니티인 인스트럭트랩을 출범하기로 결정했다. 인스트럭트랩 프로젝트는 타 오픈소스 프로젝트에 기여하는 것만큼 간단하게 LLM을 구축하고 기여할 수 있도록 함으로써 개발자들의 LLM 개발을 돕는 것이 목표다. IBM은 인스트럭트랩 출시의 일환으로 그래니트 영어 모델 및 코드 모델 제품군도 공개했다. 아파치 라이선스에 따라 출시된 이 모델들은 모델 학습에 사용된 데이터 세트에 대한 완전한 투명성을 갖췄다. 그래니트 7B(Granite 7B) 영어 모델은 인스트럭트랩 커뮤니티에 통합됐으며, 최종 사용자는 다른 오픈소스 프로젝트에 기여할 때와 마찬가지로 이 모델의 공동 개선을 위해 기술과 지식을 기여할 수 있다. 인스트럭트랩 내 그래니트 코드 모델에 대해서도 유사한 지원이 곧 제공될 예정이다. RHEL AI는 AI 혁신에 대한 이러한 개방형 접근 방식을 기반으로 구축됐다. 하이브리드 인프라 환경 전반에서 배포를 간소화하기 위해 세계 선도적인 엔터프라이즈 리눅스 플랫폼과 결합된 인스트럭트랩 프로젝트 및 그래니트 언어 및 코드 모델의 엔터프라이즈 지원 버전을 통합한다. 이를 통해 오픈소스 라이선스 생성형 AI 모델을 엔터프라이즈에 도입할 수 있는 파운데이션 모델 플랫폼이 만들어진다. RHEL AI는 레드햇에 의해 전적으로 지원되고 면책되는 오픈소스 라이선스 그래니트 언어 모델 및 코드 모델이다. LLM 기능을 향상하고 더 많은 사용자가 지식과 기술을 활용할 수 있도록 확장 가능하고 비용 효율적인 솔루션을 제공하는 인스트럭트랩의 라이프싸이클을 지원한다. RHEL 이미지 모드를 통해 부팅 가능한 RHEL 이미지로 제공하며 엔비디아, 인텔, AMD에 필요한 런타임 라이브러리 및 하드웨어 가속기와 파이토치(Pytorch)를 포함한다. 신뢰할 수 있는 엔터프라이즈 제품 배포, 연중무휴 생산 지원, 모델 라이프사이클 연장 지원, 모델 지적 재산권 면책 등 레드햇의 완전한 엔터프라이즈 지원 및 라이프사이클 서비스를 제공한다. 사용자는 RHEL AI에서 새로운 AI 모델을 실험하고 조정할 때, RHEL AI가 포함된 레드햇 오픈시프트 AI를 통해 이러한 워크플로우를 확장할 수 있는 준비된 진입로를 확보할 수 있다., 여기서 AI 모델의 대규모 학습을 위한 오픈시프트의 쿠버네티스 엔진과 모델 라이프사이클 관리를 위한 오픈시프트 AI의 통합 ML옵스 기능을 활용할 수 있다. 또한 오픈시프트 AI와 RHEL AI는 엔터프라이즈 AI 개발과 데이터 관리, 모델 거버넌스를 위한 추가 기능을 제공하는 IBM 왓슨X와 통합될 예정이다. 오픈소스 기술은 지난 30년 이상 IT 비용을 크게 절감하고 혁신의 장벽을 낮춰 빠른 혁신에 기여해 왔다. 마찬가지로 레드햇은 2000년대 초 RHEL을 통해 개방형 엔터프라이즈 리눅스 플랫폼을 제공한 이래 레드햇 오픈시프트를 통해 컨테이너와 쿠버네티스를 오픈 하이브리드 클라우드 및 클라우드 네이티브 컴퓨팅의 기반으로 자리잡게 하는 등 이러한 변화를 선도해 왔다. 이러한 추진력은 레드햇이 오픈 하이브리드 클라우드 전반에 걸쳐 AI/ML 전략을 강화하는 것으로 계속되어, 데이터센터나 여러 퍼블릭 클라우드, 엣지 등 데이터가 있는 모든 곳에서 AI 워크로드를 실행할 수 있도록 지원한다. 워크로드뿐만 아니라, 레드햇의 AI 비전은 모델 학습 및 조정을 동일한 방법으로 제공함으로써 데이터 주권와 규정 준수, 운영 무결성과 관련된 한계를 더 잘 해결할 수 있게 한다. 이와 같은 환경 전반에서 레드햇 플랫폼이 제공하는 일관성은 실행되는 위치와 무관하게 AI 혁신의 흐름을 유지하는 데 매우 중요하다. RHEL AI와 인스트럭트랩 커뮤니티는 이러한 비전의 실현을 한층 더 고도화하여 AI 모델 실험 및 구축의 많은 장벽을 허물고 차세대 지능형 워크로드에 필요한 도구, 데이터 및 개념을 제공한다. RHEL AI는 현재 개발자 프리뷰 버전으로 제공된다. 이제 IBM 클라우드는 그래니트 모델을 학습하고 인스트럭트랩을 지원하는 IBM 클라우드의 GPU 인프라를 기반으로 하여 RHEL AI 및 오픈시프트 AI에 대한 지원을 추가할 예정이다. 이러한 통합으로 기업은 미션 크리티컬 애플리케이션에 생성형 AI를 보다 쉽게 배포할 수 있다. 아셰시 바다니 레드햇 최고 제품 책임자 겸 수석 부사장은 "생성형 AI는 기업에게 혁신적인 도약을 제시하지만, 이는 기술 조직이 그들의 비즈니스 요구 사항에 맞는 방식으로 AI 모델을 실제로 배포하고 사용할 수 있을 때만 실현 가능하다”며 “RHEL AI와 인스트럭트랩 프로젝트는 레드햇 오픈시프트 AI와 큰 규모로 결합돼 제한된 데이터 과학 기술부터 필요한 리소스에 이르기까지 하이브리드 클라우드 전반에서 생성형 AI가 직면한 많은 허들을 낮추고 기업 배포와 업스트림 커뮤니티 모두에서 혁신을 촉진하도록 설계됐다"고 밝혔다.

2024.05.08 09:38김우용

[기고] AI 기반 혁신의 진입 장벽을 낮춰라

그 어떤 형태로 인공지능(AI)을 활용하든지 간에 AI가 모든 산업에 걸쳐 인터넷의 등장 이후로 가장 커다란 영향을 미칠 것이라는 점에는 의문의 여지가 없다. AI는 연구개발부터 생산 및 판매 후 서비스까지 모든 비즈니스 과정에서 실질적으로 널리 사용되는 도구가 될 것이며, 최근 국제통화기금(IMF)의 제안대로 '글로벌 경제도 변혁할' 것으로 예상된다. 실제로 생성형 AI는 이미 이런 변화를 일으키고 있다. IDC에 따르면, 올해 기업이 생성형 AI에 지출할 비용은 두 배로 증가할 것이며, 2027년까지 그 규모가 약 1천510억 달러에 달할 것이라고 한다. 이런 예측이 놀랍지 않은 것은 대규모언어모델(LLM)은 이미 여러 조직들의 상상력을 사로잡으며, 기업 내부 및 제3자 애플리케이션의 생성형 AI 활용에 대한 관심을 끌어올려 전략적 사고를 이끌고 있다. 모든 조직이 자사 데이터를 유의미하게 연결하거나 인프라를 확장할 수 있는 것은 아니며, 이런 한계는 적극적인 생성형 AI 활용에 영향을 미친다. IT 자원의 현대화를 위해서는 유연하고 저렴한 데이터 연결이 필수지만, 비용 역시 하나의 커다란 제약사항으로 작용한다. 많은 기업들은 새로운 AI 서비스 관련 지출 증가에 대해 여전히 조심스러운 입장이다. 한국에서도 AI관련 비용 문제는 자주 언급된다. 국내에서는 천문학적인 비용을 들여 LLM을 직접 구축하기보다는 생성형 AI의 체크포인트를 활용해 서비스를 개발하는 것이 더 비용 효율적이라는 이야기도 나오는 상황이다. ■ 장기적인 AI 성장을 위한 비용 효율적인 클라우드 AI 발전을 논할 때 클라우드는 빼놓을 수 없는 기술이다. 하지만 클라우드 사용 비용 또한 AI의 진입장벽을 높이고 있다. 클라우드 서비스 수요의 꾸준한 증가에도 불가하고 예산 제약이나 복잡한 시스템 관리 및 업데이트 등으로 인해 많은 조직이 클라우드의 잠재력을 충분히 활용하지 못하고 있으므로 모든 클라우드 인프라가 동등한 수준의 기술력을 발휘하지는 못하고 있다. 따라서 모든 기업 또는 기타 조직들이 미래의 중요 기술에 동등하게 접근하도록 기반을 마련해야 한다는 필요도 제기된다. 맥킨지의 '클라우드 가치를 찾아서: 생성형 AI가 클라우드 ROI를 변화시킬 수 있을까?'란 제목의 보고서는 “퍼블릭 클라우드에서 가치를 얻는 것은 복잡한 일”이라며 “기업들은 지난 수십 년 동안 온프레미스 환경에서 기업 기술 조직, 프로세스 및 아키텍처를 운영해 왔지만 이 중 많은 부분이 새롭게 변화해야 한다”라고 밝혔다. 이는 한 조직이 생성형 AI의 이점을 극대화하기 위해서는 비용뿐만 아니라 유연성과 접근성 측면에서도 진입 장벽을 낮추어 더 개방적이고 지속가능한 클라우드 환경을 조성해야 하기 때문이다. 알리바바 클라우드는 이미 오픈 클라우드 인프라를 통해 고객들에게 자체 LLM을 제공하고 있는데, 세계 최고 컨슈머 헬스케어 기업이자 AI 영양사이기도 한 헬리온과 같은 기업이 신뢰를 강화하고 영양 데이터베이스의 정확성과 고객에 대한 추천 정확도를 개선하도록 돕고 있다. 또한, 이런 오픈 클라우드 인프라는 일본어 처리가 능숙한 사전 훈련된 기초 모델 개발을 전문으로 하는 일본 스타트업 '린나'가 새로운 제품과 서비스를 혁신할 수 클라우드에서 저렴하게 생성형 AI를 활용하도록 돕고 있다. 이런 AI의 적극 활용을 지원하겠다는 알리바바 클라우드의 의지는 최신 가격 정책에도 반영되었으며, 알리바바 클라우드는 AI 응용 프로그램을 개발하는데 안정적인 기반을 제공하기 위해 장기 구독자에게 할인 혜택을 제공하기로 발표한 바 있다. ■ 생성형 AI 붐을 위한 민주화 AI 컴퓨팅으로의 전환은 향후 몇 년간 더욱 가속화될 것이다. AI 컴퓨팅은 생성형 AI 역량을 내장하는 생성형 AI를 위한 인프란 설계를 의미하는데, 혁신과 실행을 촉진하고 명확인 비용 구조와 확장 가능성도 갖출 것으로 기대가 되고 있다. 이에 대비해 알리바바 클라우드는 모델 및 관련 도구와 서비스를 위한 선도적인 오픈 소스 AI 모델 커뮤니티인 모델스코프(ModelScope)를 구축했다. 해당 커뮤니티는 최근 출시된 메타의 라마2와 알리바바 클라우드의 자체 오픈 소스 모델, 18억, 70억, 140억에서 720억에 이르는 파라미터를 갖춘 치엔(Qwen) LLM, 오디오 및 시각적 이해 기능을 갖춘 멀티 모달 모델(LLM)을 포함한 3,000개 이상의 인공지능 모델을 호스팅했으며, 개발자들의 사랑을 받고 있다. 앞으로 클로즈드 소스 및 오픈소스 LLM이 공존할 것이지만, AI의 민주화는 오픈소스 솔루션으로 인해 가속화될 것이다. 특히 오픈소스 LLM은 AI 모델 커뮤니티의 발전을 촉진하고, AI 해석 가능성을 향상하기 위한 협력을 우선시해, 모든 조직이 생성형 AI의 도움으로 제품과 서비스 향상을 할 수 있도록 돕는다. SeaLLM이 동남아시아 지역의 현지 언어에 대한 지원을 강화해 포용성을 넓히는데 중요한 역할을 한 것처럼 오픈소스 자원의 성장은 AI모델 커뮤니티의 발전을 이끌어줄 것이다. 인공지능의 민주화와 생성형 AI에 준비된 클라우드 서비스를 제공하는 것은 기업들의 데이터가 LLM에 통합되고 사용되도록 조직 데이터에 더 많은 자원을 투입할 수 있게 돕는다. 생성형 AI는 데이터를 요약하고 통합하는 면에서는 탁월하지만 구조화되지 않은 데이터로부터 통찰력을 얻을 때는 그리 효과적이지 않으므로 이를 활용하고자 하는 조직은 타협 없는 기본 인프라를 갖추고, 걱정 없이 데이터 문제를 해결할 수 있어야 한다. 즉 한 조직이 진정한 혁신을 이루기 위해서는 클라우드 인프라가 사실상 표준이 되어야 하며, 이는 LLM을 운영하고 실험 및 혁신하고, 발전시키기 위한 기준이 되어야 한다는 것이다. 이런 기준은 AI 컴퓨팅 인프라 구축의 중요성이 더욱 대두될수록 보다 분명해질 것이다. IT 자원에 대한 수요는 꾸준히 증가할 것이므로 에너지 집약적인 모델 훈련을 지원할 수 있는 인프라를 활성화하고, 동시에 운영 효율, 비용 효율 보장은 물론 인프라가 환경에 미치는 영향도 최소화해야 한다. 이헌 변화는 생성형 AI의 민주화뿐만 아니라 더 많은 협업을 장려하기 위해 클라우드 산업이 극복해야 하는 과제이며, 오픈 클라우드 인프라만이 이를 주도할 수 있을 것이다.

2024.04.30 10:05셀리나 위안

IBM, 하시코프 64억달러에 인수…오픈소스 양날개 확보

IBM이 오픈소스 기반 클라우드 관리 자동화 솔루션업체 하시코프를 64억달러에 인수했다. 레드햇과 더불어 오픈소스 기반 비즈니스에 또 하나의 날개를 달았다. 지난 25일 IBM은 하시코프를 64억달러에 인수한다고 발표했다. 하시코프는 테라폼이란 인프라 자동화 플랫폼으로 주가를 높인 회사다. 테라폼은 소프트웨어 코드 형식로 인프라 프로비저닝를 프로비저닝할 수 있는 오픈소스 도구다. 하시코프는 테라폼의 엔터프라이즈 버전을 판매했으며, '코드형 인프라'란 개념을 개척했다. 애플리케이션 딜리버리 워크플로우 자동화 플랫폼 '웨이포인트', 서비스 디스커버리 플랫폼 '노마드', 마이크로서비스 아키텍처의 네트워킹 모니터링 플랫폼 '컨설', 보안 인증 플랫폼 '볼트' 등도 대표 상품이다. IBM은 하시코프의 제품 포트폴리오와 레드햇 포트폴리오를 결합해 IT 인프라 관리를 위한 광범위한 자동화 솔루션을 제공한다는 방침이다. 아빈드 크리슈나 IBM 최고경영자(CEO)는 "기업은 멀티 클라우드, 온프레미스 환경 및 애플리케이션에 걸쳐 퍼져있는 복잡한 기술 자산과 씨름하는데 어려움을 겪고 있다"며 "IBM의 포트폴리오 및 전문 지식과 하시코프의 역량 및 재능을 결합하면 AI 시대에 맞게 설계된 포괄적인 하이브리드 클라우드 플랫폼이 만들어질 것"이라고 강조했다. IBM은 하시코프를 주당 35달러 현금에 인수하기로 했다. 하시코프는 레드햇에 포함되지 않고, IBM의 소프트웨어 사업부에 속하게 된다. 앞으로 고객은 레드햇 앤서블 오토메이션 플랫폼과 테라폼 자동화를 함께 이용할 수 있게 된다. 아몬 대드가 하시코프 공동창업자 겸 최고기술책임자(CTO)는 "이는 하시코프의 사명을 더욱 발전시키고 IBM의 지원을 통해 훨씬 더 폭넓은 고객층으로 확장할 수 있는 기회라고 믿는다"며 "계속해서 제품과 서비스를 구축할 것이며 IBM에 합류하면 하시코프 제품을 훨씬 더 많은 사람들이 사용할 수 있게 돼 더 많은 사용자와 고객에게 서비스를 제공할 수 있다"고 밝혔다.

2024.04.26 11:54김우용

스노우플레이크, 엔터프라이즈급 오픈소스 LLM '아크틱' 출시

스노우플레이크는 개방성과 성능을 갖춘 엔터프라이즈급 대규모언어모델(LLM) '스노우플레이크 아크틱(Arctic)'을 25일 출시했다. 스노우플레이크 고유의 전문가혼합(MoE) 방식으로 설계된 아크틱은 높은 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화돼 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다. 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 아크틱 LLM은 스노우플레이크 아크틱 모델군의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다. 포레스터의 최근 보고서에 따르면 글로벌 기업의 AI 의사 결정권자 중 약 46%가 'AI 전략의 일환으로 자신이 속한 기업에 생성형 AI를 도입하기 위해 기존의 오픈소스 LLM을 활용한다'고 답했다. 스노우플레이크 데이터 클라우드 플랫폼은 현재 전 세계 9천400여 기업 및 기관의 데이터 기반으로 활용되고 있다. 아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 엔비디아 텐서RT-LLM, vLLM, 허깅페이스 등의 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스에서 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 투게더 AI 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다. 스노우플레이크 AI 연구팀은 업계 최고의 연구원과 시스템 엔지니어들로 구성돼 있다. 아크틱 구축에는 3개월 미만이 소요됐다. 모델 학습에 아마존 EC2 P5 인스턴스가 활용됐으며, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다. 스노우플레이크는 최첨단 개방형 엔터프라이즈급 모델의 학습 속도에 새로운 기준을 제시하며, 궁극적으로는 사용자가 비용 효율적이고 맞춤화된 모델을 최적의 규모로 생성할 수 있도록 지원한다. 아크틱의 차별화된 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 4천800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 뛰어난 토큰 효율과 업계 최고의 품질을 구현하며 최상의 결과를 제공한다. 아크틱은 획기적인 효율 개선을 위해 추론이나 학습 중 DBRX보다 약 50%, 라마3 70B보다 약 75% 적은 매개변수를 활성화한다. 코딩(Humaneval+, MBPP+)과 SQL 생성(Spider) 면에서도 DBRX, 믹스트랄 8x7B 등 대표적인 기존 오픈소스 모델의 성능을 능가하고 일반 언어 이해(MMLU)에서 최상급 성능을 보인다. 스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것은 더욱 쉬워진다. 아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 최상의 검색 성능을 발휘하도록 최적화돼, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다. 최근 스노우플레이크는 레카와 미스트랄 AI의 모델도 추가하는 등 고객이 데이터 클라우드에서 가장 높은 성능의 최신 LLM을 접할 수 있도록 지원하고 있다. 또, 최근 엔비디아와의 확장된 파트너십을 발표하며 AI 혁신을 지속해 나가고 있다. 스노우플레이크의 데이터 클라우드는 풀스택 엔비디아 가속 플랫폼과 결합해 산업 전반에 걸쳐 AI의 생산성을 적극 활용하는 안전하고 강력한 인프라 및 컴퓨팅 역량을 제공하고 있다. 스노우플레이크 벤처스는 고객이 각자의 기업 데이터에서 LLM과 AI를 통한 가치 창출을 지원하기 위해 최근 랜딩 AI, 미스트랄 AI, 레카 등에도 투자했다. 슈리다 라마스워미 스노우플레이크 CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”며 “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다”고 밝혔다. 그는 “고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 강조했다.

2024.04.25 09:28김우용

[기고] AI 안전 계획에 오픈소스는 필수

최근 한국의 과기정통부도 AI를 통해 경제 성장과 더불어 일자리를 창출할 수 있는 신사업·서비스를 발굴하고, 교육‧의료‧법률 등 5대 AI 일상화 프로젝트로 국민생활 속 AI 활용 확산하겠다고 발표할 정도로 AI 기술이 우리의 일상과 경제에 미치는 영향은 더욱 커지고 있다. 하지만 이런 시스템이 의도대로 안전하게 작동하도록 보장하는 것 역시 중요해지고 있어서 최근에는 한국에서도 AI의 안전성 연구와 평가를 담당하는 'AI 안전 연구소' 설립이 추진되고 있다. 지난해 11월 영국 블레츨리 파크에서 개최된 제1회 AI 안전 정상회의에서 한국을 포함해 함께 모인 28개국이 AI가 초래할지도 모르는 피해를 막기 위해 협력을 다짐했지만 사실 이번 회의는 AI 안전에 대한 답보다는 앞으로 나아갈 방향에 대한 질문을 더 많이 남겼다. AI 개발의 평등과 안전에 대한 질문은 물론, '빅테크들이 지배하는 산업에서 다른 조직과 국가들이 AI의 미래에 대한 발언권과 가질 수 있는가?'라는 질문처럼 말이다. 회의에서 나왔던 내용 중 AI에도 오픈소스가 필요하다는 주장은 특히 흥미롭다. 이에 대한 비판적인 시각도 존재하지만 오픈소스가 협업과 성장을 위한 기반을 마련한다는 점은 부인할 수 없는 사실이다. 그래서인지 AI 안전 정상회의에서 장 노엘 바로 프랑스 디지털 이슈 담당 차관은 "오픈소스가 다른 기술 분야에서 '경쟁적 평등'을 보장하고 '혁신에 해로운 독점의 발전'을 막는 면에서 그 가치를 발현해 왔다"며 "그 누구도 선입견 때문에 오픈소스를 배제해서는 안 된다”고 강조했다. 모질라는 “오픈소스부터 오픈 사이언스에 이르기까지 다양한 접근 방식에 대한 투자를 촉구한다"며 "이런 투자가 독립적인 연구, 협업 및 지식 공유를 통해 AI의 역량, 위험 및 가져올 피해에 대한 이해를 돕는 기반이 돼야 한다”고 밝혔다. 또한 “공공의 주의와 책임 강화의 필요성 강조와 함께 오픈소스가 책임감 있는 AI를 만들려는 새로운 참여자들의 진입장벽을 낮출 수 있을 것”이라고 설명했다. 알리바바 클라우드 역시 오랫동안 오픈소스를 지원하고, AI를 투명하게 다루는 방향을 지지해 왔다. 알리바바 클라우드는 2022년 자체적인 클라우드 기반 오픈소스 AI 모델 커뮤니티인 모델스코프를 개설했는데, 이 플랫폼은 지난 1년간 280만 명의 개발자에게 2,300개 이상의 AI 모델에 접근할 수 있는 기회를 제공해왔다. 또 작년 12월을 기준으로 알리바바 클라우드는 18억, 70억, 140억에서 720억에 이르는 파라미터를 갖춘 자체 대규모 언어 모델(LLM)뿐 아니라 오디오 및 비디오 판독 기능을 탑재한 멀티모달 LLM을 오픈 소스로 공개했다. 기술 플랫폼의 역량 강화를 지원하는 클라우드 공급업체들은 고객이 최신 기술과 툴에 대해 배우고 이를 사용할 수 있도록 최선을 다해야 하는데 특히 생성형 AI는 현재 가장 주목받는 기술이므로 자사 LLM에 대한 관심도 눈에 띄게 증가하고 있다. 그럼에도 불구하고 역랑강화, 성장 및 안전 간에 균형을 잡아야 하는데 이는 이 모든 부면이 서로 연계되어 있기 때문이다. 따라서 오픈소스는 앞으로도 지속될 AI 방법론에 대한 논의에서 유효한 제안으로 고려돼야 한다. ■ 원칙에 근거한 접근 사실 오픈 소스가 없었다면 생성형 AI의 혁신적인 발전 또한 없었을 것이다. 물론 생성형 AI 분야는 빠르게 성장하고 있으며, 조만산 그것의 상업적인 활용에 대한 아이디어도 증가하고 기업 사유(proprietary) 시스템도 등장할 것이다. 하지만 IT 산업에서 늘 그래왔듯이 혁신가와 기업가들은 AI 산업에서도 아이디어 및 소프트웨어의 시장과 틈새를 확보하려 할 것이다. 그리고 우리 클라우드 공급업체들은 이를 가능하게 지원하는 한편 이런 아이디어와 제품들은 오픈소스 커뮤니티를 통해 더욱 강화되고 빠르게 성장할 것이라고 믿고 도와야 한다. 이 과정에서 공공기관과 기업들은 규제 가이드라인과 관련된 협업을 계속해야 하지만, 그러는 중에도 AI 산업은 빠른 속도록 발전해 나길 것이다. 이에 알리바바 클라우드는 기술을 '사용 가능하고, 내구성이 좋으며, 신뢰성이 높고 제어 가능하도록' 발전시키기 위해 자체적인 AI 개발 가이드라인을 마련했다. 이어 더해 알고리즘의 투명성과 공정성 향상, 사용자 개인정보 보호 및 데이터 보안 강화를 위해 프라이버시 보존형(privacy-preserving) 컴퓨팅 및 설명 가능한 AI(explainable AI)와 같은 기술에도 투자를 했다. 올해 초, 알리바바 클라우드는 모두가 AI를 쉽고 저렴하게 개발하고 사용할 수 있도록 AI 시대에 가장 오픈한 회사가 되겠다는 목표를 발표했다. 생성형 AI는 이미 다양한 기업에서 사용되고 있으며, 대규모 럭셔리 브랜드부터 온라인 쇼핑, 디지털 인텔리전스 및 AI에 이르기까지 여러 공급망의 민첩성과 회복력을 향상하고 있다. 따라서 알리바바 클라우드는 게임, 음악 및 유통 분야에서 차세대 경험을 구축하기 위해 많은 업계 리더 및 스타트업과 협력을 확대해나고 있다. 이런 파트너 또는 비즈니스 생태계는 기업들이 AI를 활용해 전통적인 비즈니스 방식을 넘어서는 혁신을 주도하도록 지원하며. 그 과정에서 오픈소스는 기업 사유 시스템으로 인한 종속을 방지하고 혁신가와 스타트업의 진입 장벽을 낮춰주는 장점을 갖는다. 또한 오픈소스는 더 낮은 비용으로 견고한 커뮤니티 내의 실험과 협업을 장려해 위험부담이 적은 기회를 만들어 주기도 한다. 뿐만 아니라 오픈소스는 유연성과 회복력에 대한 비즈니스 대화가 끊임없이 이루어지는 가운데 실경비만으로 확장가능한 플랫폼을 제공할 수 있다는 장점도 지닌다. 이런 여러 가지 이유로 오픈소스는 AI의 미래와 관련된 대화에서 반드시 포함되어야 하는 핵심 요소가 돼야 한다고 생각한다. 일부 업계 관계자들은 상황을 더 지켜보자는 입장이지만 챗GPT가 12개월 전에 보여주었듯 커다란 기술 변화의 순간들은 분명 존재하며, AI 분야에서 이런 변화가 더욱 가속화될 전망이다. 올해 5월 한국에서 온라인으로 개최될 제2회 AI 안전 정상회의에서 기업이나 국가가 AI를 어떻게 활용하고, 그 역량을 강화하며 관리할지에 대한 고민과 함께 오픈소스에 대한 논의도 더욱 확대되기를 기대한다.

2024.03.12 14:13케니 송

EDB "올해 상용 DB에서 오픈소스로 이동 가속”

오픈소스 포스트그레SQL의 최대 지원 기업인 EDB는 2024년 DB 분야 주요 기술 트렌드를 17일 발표했다. EDB는 ▲레거시·상용 데이터베이스에서 오픈소스로의 이동 가속 ▲인공지능(AI)과 머신러닝(ML) 기술의 도입 확대 ▲클라우드 데이터베이스의 부상 ▲DB 보안 강화에 대한 관심 증대 ▲오픈소스 DBMS 활용으로 기술 인재 격차 해소 등을 2024년 DB 분야 주요 기술 트렌드가 될 것으로 예상했다. 1. 레거시·상용 데이터베이스에서 오픈소스로의 이동 가속화 오픈 소스 데이터베이스 라이선스는 2021년부터 상용 데이터베이스 라이선스를 앞지르기 시작했으며, 이러한 추세는 둔화될 기미가 보이지 않고 있다. 레드햇의 최근 설문조사에 따르면, IT 관리자의 98%가 현재 또는 향후 엔터프라이즈 오픈소스 사용의 비즈니스 이점을 인식하고 있으며, 현재 오픈소스를 사용하는 응답자의 80%가 오픈소스 사용을 늘릴 계획이라고 답했다. 오픈소스로의 전환이 가속화되는 이유에 대해 '제4차 연례 기업 기술 현황' 백서에서 오픈소스 기술로의 전환이 비용 절감(응답자의 63%)과 혁신(60%), 약관 개선(59%) 같은 요인에 의해 주도되고 있는 있는 것으로 나타났다. 이 조사에 따르면 가격만이 전부는 아니며, 디지털 트랜스포메이션을 추진하기 위한 혁신이 현재 기술과 유연하게 통합해 사용될 수 있도록 조정하는 것이 필요한 것으로 나타났다. 설문조사 응답자의 거의 절반이 엔터프라이즈 오픈 소스 사용의 가장 큰 이점은 AI, 컨테이너, 엣지 컴퓨팅과 같은 새로운 기술을 활용할 수 있다는 점이라고 답했다. 오픈소스 DBMS인 EDB 포스트그레스와 같은 오픈 소스 데이터베이스 관리 솔루션은 기업이 데이터의 힘을 활용하는 방식에 있어 최고의 유연성과 엔터프라이즈급 성능에 필요한 강력한 기능을 제공하는 디지털 혁신을 위한 이상적인 인프라다. 대표적인 포스트그레스 기여자인 EDB는 오라클, SQL서버, IBM DB2와 같은 단일 공급업체의 레거시 데이터베이스에서 워크로드를 전환하고 구축하는 데 필요한 아키텍처 선택부터 고가용성 유지에 이르기까지 모든 단계에서 고객이 정확하고 유용한 정보에 입각한 결정을 내릴 수 있도록 지원하는 독보적인 전문성을 보유하고 있다. 최신 수준의 보안, 모니터링, 성능, 복원력을 모두 최적의 가격으로 제공하는 완벽한 도구 세트를 제공하여 데이터베이스 워크로드를 위한 새로운 표준이다. 2. 인공지능(AI)과 머신러닝(ML) 기술의 도입 확대 모든 기업들이 AI 도입을 전략적 이니셔티브로 삼고 있다. 레드햇의 2023 글로벌 기술 전망 보고서에서 설문조사에 참여한 IT 리더의 43%는 빅데이터 및 분석이 향후 12개월 동안 회사의 최우선 투자 우선순위라고 답했다. 스태티스타에 따르면 2025년까지 181제타바이트에 달할 것으로 예상된다. 이와 같은 여러 가지 요인이 AI의 빠른 성장에 기여하고 있다. 사전 학습된 머신 러닝(ML) 모델의 대중화도 또 다른 요인이다. ML 모델, 특히 대규모 언어 모델(LLM)은 과거에는 개발에 투자할 시간, 비용, 전문 지식이 없는 조직이 접근하기 어려웠지만, 이제 사전 학습된 모델을 쉽게 사용할 수 있게 되면서 모든 것이 바뀌었다. 이러한 사전 학습된 모델을 실행하는 데 필요한 컴퓨팅 성능에 대한 액세스도 중요한데, 클라우드를 통해 컴퓨팅 및 ML 모델 실행이 더 쉽고 저렴해졌다. 포스트그레스 전문가이자 EDB의 레티티아 아브로트 CTO는 "AI의 시너지 효과와 포스트그레SQL의 결합은 무한한 기회를 창출할 것”이라며 "특히 더 많은 도메인과 사용 사례에 적합하도록 포스트그레SQL의 확장성과 유연성을 향상시키는 데 있어서는 더욱 그렇다”고 설명했다. 그는 “반응형 AI에서 제한적 AI에 이르는 AI의 진화는 데이터 분석 기능을 향상시키고 있으며, 포스트그레스는 이러한 미래를 현실로 만드는 데 이상적인 도구"라고 밝혔다. 3. 클라우드 데이터베이스의 부상 기업들은 클라우드 컴퓨팅 환경에서 호스팅되는 데이터베이스 관리 시스템이 유연성, 확장성, 성능, 비용 효율성의 수준을 높인다는 사실을 인식하고 있다. 이에 실제로 가트너는 2026년까지 조직의 75%가 클라우드를 기본 기반 플랫폼으로 하는 디지털 트랜스포메이션 모델을 채택할 것으로 예측하고 있다. 가트너는 퍼블릭 클라우드 서비스에 대한 전 세계 최종 사용자의 지출이 2023년 5천636억 달러에서 2024년 6천790억 달러로 20.4% 증가할 것으로 예측하고 있다. 또한 제4차 연례 기업 기술 현황 2023 보고서에 따르면 클라우드 수용에 대한 분명한 신호는 설문 조사 참가자들이 '향후 모든 프로젝트에 대해 '클라우드 우선' 접근 방식을 취하고 있는가?'라는 질문에 78%가 '그렇다'고 답했다. 또한 "클라우드 도입이 기대했던 것에 부응했는지 여부"에 대한 질문에서 60% 이상이 강력하게 동의했다. 클라우드는 AI 애플리케이션의 개발과 배포를 위한 이상적인 기반이기 때문에 클라우드와 AI 사용이 함께 증가할 것이다. 생성형 AI 서비스를 사용하는 조직은 필요한 인프라의 규모를 고려할 때 퍼블릭 클라우드를 고려하게 될 것이다. EDB는 2024년에 모든 단계의 여정을 위한 도구와 지원을 통해 조직이 포스트그레SQL 데이터베이스를 클라우드로 이전할 수 있도록 지원한다. 4. DB 보안 강화에 대한 관심 증대 레드햇의 글로벌 기술 전망 보고서에 따르면 2023년 IT 자금 조달의 최우선 순위는 보안이었으며, 44%의 응답자가 보안을 3대 자금 조달 우선 순위라고 답했다. 2024년에도 보안이 자금 조달의 최우선 순위가 될 것으로 예상되며, 많은 조직이 오픈 소스 자산을 보호하는 데 중점을 둔 전담 팀에 투자하고 물리적 및 네트워크 보안, 데이터베이스 액세스 관리 등을 다루는 계층화된 데이터베이스 보안 모델을 채택할 것으로 예상된다. 오픈 소스 소프트웨어의 사용이 증가함에 따라 규제 기관은 보안을 보장하기 위한 가이드라인과 표준의 필요성을 인식하고 있다. 미국 의회는 오픈소스의 긍정적인 영향과 잠재적인 보안 문제에 주목하여 오픈소스 보안을 강화하기 위한 오픈소스 소프트웨어 보안 법안을 검토하고 있다. 이 법안은 연방 정부와 중요 인프라를 운영하는 기업에 초점을 맞추고 있지만, 향후 업계와 정부가 주도하는 오픈소스 보안 이니셔티브의 토대가 될 수 있다. 보안 문제를 해결하기 위해서는 업계의 협력이 필수적이며, 2024년 이후에는 보안팀이 오픈소스 커뮤니티와 더욱 긴밀하게 협력할 것으로 예상된다. 5. 오픈소스 DBMS 활용으로 기술 인재 격차 해소 스킬셋 또는 인재 격차는 2024년 기업이 직면하게 될 가장 큰 디지털 트랜스포메이션 장벽이 될것이다. 가트너의 2023년 CEO 및 고위 비즈니스 임원 설문조사에서 인터뷰에 응한 CEO의 26%는 인재 부족을 조직에 가장 큰 피해를 입히는 리스크로 꼽았다. 외부 채용 노력이 이러한 인재 부족 문제를 해결하는 데 도움이 될 수 있지만, 리눅스 재단의 2023 기술 인재 현황 보고서는 조직이 경쟁력을 유지하기 위해서는 클라우드/컨테이너, 사이버 보안, AI/ML과 같은 신흥 기술 분야에서 인력을 육성시키는 것이 중요하다고 강조한다. 이 보고서에 따르면 오픈소스 프로젝트에 참여할 수 있는 기회를 제공하는 것도 최고의 인재를 효과적으로 유치하고 유지하는 방법이 될 수 있다. 숙련도 향상과 아웃소싱의 조합은 DBA 팀의 역량을 강화하고 오픈 소스 포스트그레스 솔루션을 지원하는 가장 효과적인 방법 중 하나일 수 있다. EDB에서는 무료 주문형 Postgres 교육을 제공해 팀이 최신 포스트그레스 자격증을 빠르게 취득할 수 있도록 지원한다. 또한 다른 곳에서는 얻을 수 없는 심층적인 전문 지식과 연중무휴 사전 예방적 관리를 제공하는 원격 DBA 서비스도 제공한다. 적절한 아웃소싱 IT 활용과 내부 인력의 숙련도를 향상시킴으로써, 조직의 IT팀을 적절하게 균형을 유지해야 한다. 원하는 가격대와 조건으로 원하는 DBA 팀을 구성하여 디지털 트랜스포메이션을 추진할 수 있다.

2024.01.17 09:58김우용