검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'RAG'통합검색 결과 입니다. (46건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

올거나이즈 "생성형 AI '거짓말 탐지기' 성능 비교하세요"

앞으로 기업들이 생성형 인공지능(AI) 환각현상 방지에 활용되는 검색증강생성(RAG) 성능을 비교하고 자사 제품에 가장 적합한 RAG를 고를 수 있게 됐다. 올거나이즈(대표 이창수)는 국내에서 처음 RAG 리더보드 '알리 RAG 리더보드'를 공개한다고 29일 밝혔다. RAG는 생성형 AI의 환각현상을 최소화할 수 있는 대안으로 주목받는 기술이다. 생성형 AI의 '거짓말 탐지기'라고도 알려졌다. RAG는 사전 학습한 데이터만을 활용하는 게 아니라 기업 내부 데이터 등 이미 존재하는 데이터에서 답을 찾아낸다. 이들 답변 중 질문 및 검색어의 맥락을 고려한 후 가장 적절한 대답을 제공하는 식이다. 올거나이즈의 RAG 리더보드는 RAG 기술의 성능을 측정해 순위를 매긴다. 이를 통해 기업 AI 실무자들이 가장 적절한 솔루션을 비교 도입할 수 있도록 돕는다. 알리 RAG 리더보드는 금융, 공공, 의료, 법률, 커머스의 5개 분야에 대한 한국어 RAG 성능을 평가한다. 올거나이즈 측은 답변 유사도 및 정확도를 판단하는 5개의 평가 툴로 RAG 성능을 평가해 신뢰도를 높이고 오차를 줄였다는 입장이다. 우선 각 분야별로 2~300페이지의 문서를 업로드한 후 분야마다 사용자가 할 법한 질문 60개를 생성했다. 질문별로 RAG가 답변을 생성하면 5개의 평가 툴 중 3개 이상에서 오류가 없을 경우 '이상 없음'으로 판명한다. 해외 RAG 리더보드의 경우 일반적으로 1~2개의 평가 툴만을 활용하고 있다. 특히 현재 공개된 RAG 리더보드 중 유일하게 RAG의 3개 구성요소를 모두 평가한다. RAG는 문서에서 글자·그림·표 등을 추출하고 읽기 쉬운 포맷으로 변경해주는 파서, 기업이 보유한 방대한 데이터 중 사용자가 원하는 대답을 즉시 찾아주는 리트리버, 새로운 지식과 학습 데이터를 토대로 LLM이 응답을 생성해내는 답변생성의 3개 요소로 구성돼 있다. 기업들이 RAG을 도입하고자 할 때 어떤 RAG가 적합한지 성능평가를 제대로 하기 어렵다는 점을 고려해 테스트 데이터셋을 모두 공개했다. 실제 업무 문서에 표, 이미지 등이 복잡하게 얽혀 있다는 점을 감안해서 표 및 이미지 데이터도 테스트 데이터셋에 포함했다. 리더보드는 허깅페이스를 통해 확인할 수 있으며 리더보드에 들어간 RAG 솔루션들도 링크로 공개돼 있어 누구나 손쉽게 체험해 볼 수 있다. 이창수 올거나이즈 대표는 "AI 생태계에 기여하기 위해 테스트 데이터셋을 모두 공개했고 이를 활용해 한국어로 된 다양한 RAG 솔루션의 성능이 향상됐으면 하는 바람"이라며 "대학 및 개인 연구자들은 AI 연구에 도움을 받을 수 있을 것이고, 기업들 역시 성능 좋은 RAG를 도입함으로써 업무 생산성 증대를 경험할 수 있을 것"이라고 밝혔다.

2024.05.29 10:07김미정

[기고] 기업 경쟁력 좌우하는 생성형 AI, 어떻게 시작할 것인가

2023년 우리 모두는 챗GPT가 제공한 새로운 서비스를 경험했다. 생성형 AI와 대규모 언어 모델(LLM)은 개인과 직업의 환경을 혁신적으로 변화시키고 있다. 기업들도 불과 1년 만에 대다수가 생성형 AI에서 제공하는 서비스를 통해 비즈니스 역량을 강화하려는 시도를 하고 있다. 본 글에서는 생성형 AI와 대규모 언어 모델(이하 LLM)이 무엇이며 기업들은 이 서비스를 어떤 분야에 활용할 수 있는지 살펴보고자 한다. 생성형 AI는 신경망과 딥러닝 알고리즘을 사용하여 기존 머신러닝 모델과는 근본적으로 다른 복잡한 콘텐츠, 이미지, 동영상, 오디오 또는 코드를 생성하는 AI의 한 종류이다. 생성형 AI는 전통적인 머신러닝, 딥 러닝 모델보다 훨씬 많은 양의 데이터가 필요하다. 이렇게 훈련된 범용 모델을 파운데이션 모델이라고 한다. 파운데이션 모델을 개발하려면 방대한 양의 데이터와 고성능 컴퓨팅 리소스가 필요하기 때문에 일부 빅테크 회사만이 LLM 개발 및 개선 작업에 적극적으로 참여해왔다. 하지만 최근에는 오픈 소스 파운데이션 모델이 널리 공유돼 파운데이션 모델을 직접 개발하지 않아도 활용할 수 있게 되었다. 덕분에 일반 기업들도 '파인 튜닝'을 통해 LLM을 특정 도메인에 맞게 훈련시키고 자체 비즈니스 요건에 맞게 애플리케이션을 개발하여 사용할 수 있게 됐다. 파인 튜닝은 특정 비즈니스 요건이나 업무 도메인에 맞게 사전 훈련된 LLM에 특정 데이터셋을 사용해 추가적인 학습을 수행하는 작업을 말한다. 챗GPT의 성공 후, 이 시장에 뛰어든 후발 주자 빅테크 기업들은 경쟁력을 확보하기 위한 수단으로 자체 개발하는 LLM의 매개변수를 기하급수적으로 늘려 빠르게 성능을 올리는 전략을 채택했다. 매개변수는 사람의 뇌에서 정보를 처리하고 통합하는 시냅스와 같은 역할을 한다. 매개변수가 많을수록 LLM은 더 많은 정보를 저장하고 더 다양한 패턴을 학습함으로써 세밀한 언어 이해와 콘텐츠 생성을 할 수 있다. 하지만 더 많은 컴퓨팅 자원과 저장 공간이 필요하고 이 모델을 학습하는 데 더 많은 시간이 걸릴 수밖에 없다는 한계가 있다. 이에 반해 매개변수가 적은 LLM은 학습할 때 컴퓨팅 리소스가 덜 필요하기 때문에 파인 튜닝이나 배포가 상대적으로 용이하다. 최근에 공개되고 있는 대다수 LLM의 성능은 상향 평준화되고 있다. 특히 메타의 오픈소스 LLM인 '라마'가 다른 모델에 비해 상대적으로 적은 매개변수를 사용하면서 일정 수준의 성능을 보장한다. 이렇듯 모델 경량화와 최적화는 오늘날 LLM을 선택하는 데 중요한 기준으로 자리 잡았다. ■ LLM에 대한 이해 범용 LLM은 자연어와 컴퓨터 프로그램 언어를 이해할 수 있으며 광범위한 작업을 처리할 수 있다. 인터넷상에 존재하는 방대한 양의 데이터로 사전학습 되어 있으며, 모델 목적과 관련된 특정한 데이터 소스를 활용해 추가 학습할 수도 있다. 이러한 특성 때문에 LLM은 거의 모든 주제에 대한 문맥과 관련된 정보를 생성할 수 있다. 앞서 언급한 파운데이션 모델은 특정 도메인에 국한되지 않고 사용할 수 있는 생성형 AI 모델의 하나이다. 특정 작업이나 도메인 업무에 유용성을 높이기 위해 파운데이션 모델은 사용 목적에 맞게 전문화, 파인 튜닝 또는 수정이 가능하다. 일반적인 파운데이션 모델은 다음과 같이 구분할 수 있다. 작업에 특화된 LLM: 메타의 코드 라마와 같이 특정 업무 영역별 LLM은 프로그래밍 코드 작성과 같은 전문화된 작업에 특화됐다. 도메인에 특화된 LLM: 특정 주제나 산업에 생성형 AI 기술을 적용할 수 있다. 예를 들어, 의료 산업에 대해 학습한 엔비디아의 BioBERT는 제약 업계의 신약 개발과 관련한 논문을 이해하고 의료 문서에서 정보를 검색 및 추출할 수 있다. 앞서 살펴본 LLM은 법률, 미디어, 사이버 보안과 같은 다양한 분야의 도메인에 맞는 데이터를 통해 파인 튜닝될 수 있다. 이는 텍스트에만 국한되지 않으며, 오디오, 이미지, 동영상과 같은 다양한 멀티모달 콘텐츠 역시 생성할 수 있기 때문에 활용 분야는 굉장히 다양해질 수 있다. LLM이 문장뿐만 아니라 문맥을 이해할 수 있는 것은 데이터 세트를 다차원 공간에서 벡터 형식으로 변환한 단어를 활용하기 때문이다. 벡터 임베딩 기술은 자연어의 정량적 표현을 처리하고 저장하는 가장 효율적인 방법이다. 두 단어를 표현하는 벡터 간의 거리와 유사한 메트릭을 기반으로 데이터를 식별하고 처리함으로써 모델 내부에서 정보를 쉽게 비교·분석할 수 있고 정보 처리 시간 또한 크게 단축할 수 있다. 아래 그림과 같이 단어를 공간상의 벡터로 표현하고, 연관된 단어들을 인접한 곳에 배치함으로써 단어의 문맥적 언어를 이해하고 판단하는 것이다. 때문에 LLM 내부에서 벡터 데이터베이스를 사용하면 생성 및 추론 과정에서 AI 시스템이 관련 데이터를 빠르게 검색할 수 있으며, 검색, 추천, 텍스트 생성과 같은 다양한 용도로 활용할 수 있다. 또한, 검색증강생성(RAG), 벡터 유사성 검색(VSS)과 같이 문장을 맥락화하는 데 유용한 기술들이 백터 검색 기능으로 구동된다. 여기서 주목해야 하는 기술은 바로 RAG다. RAG는 맞춤형 데이터를 통해 LLM의 검색 정확도를 개선할 수 있는 프레임워크다. 파운데이션 모델은 광범위한 인터넷 정보를 기반으로 학습되었기 때문에 하나의 모델로 다양한 유형의 질문에 응답할 수 있지만, 학습되지 않은 데이터에 대한 질문을 받는 경우 오답을 할 확률이 높아진다. 기업 환경에서 사용하려는 LLM은 범용 데이터가 아닌 특정 도메인을 이해해야 하며, 이 도메인 정보를 기반으로 답변을 제공할 필요가 있다. 하지만 파운데이션 모델이 특정 도메인에 맞게 재학습하는 데는 비용이 너무 많이 들고 학습하는 시간도 오래 걸린다. 이 같은 문제를 해결하기 위해 RAG는 LLM이 사전에 학습한 데이터에만 의존하는 것이 아니라 질문받은 시점에 동적으로 관련된 데이터를 검색하고 증강된 문맥 속에서 답변을 생성한다. 이 과정을 거치면 답변 정확도가 크게 개선된다. 기업들은 RAG를 통해 LLM을 파인 튜닝하거나 사전 학습에 필요한 비용과 시간을 절약하고, 소량의 데이터만으로도 모델 정확도를 높일 수 있다. 다음 그림은 RAG로 파운데이션 모델의 정확도를 얼마나 효율적으로 개선할 수 있는가에 대한 연구 결과이다. ■ 기업 환경에서 활용할 수 있는 생성형 AI LLM은 콘텐츠 생성, 논리 추론, 언어 번역, 텍스트 검색, 프로그램 코드 생성, 콘텐츠 요약 및 검색 등을 주요 기능으로 삼는 수많은 고급 애플리케이션의 기반을 마련했다. 1. 콘텐츠 생성 간소화 생성형 AI는 텍스트, 사운드, 이미지 등 다양한 유형의 미디어를 생성하여 콘텐츠 제작을 간소화할 수 있다. 기업의 마케팅 부서에서는 캠페인 업무를 위한 맞춤형 이미지 제작을 포함해, 블로그, 기사, 소셜미디어 콘텐츠, 그리고 제품 설명 초안을 생성하는 데 활용할 수 있다. 다른 부서에서도 현업 사용자를 위한 챗봇 애플리케이션을 개발하거나 판매, CRM과 같은 고객 데이터를 활용해 고객 개인화 서비스 개선 또는 맞춤형 캠페인을 위한 콘텐츠 생성에 활용할 수 있다. 2. 논리적 추론 엔진으로 활용 AI 분야에서 자연어 이해는 인간의 복잡한 의사소통의 의미를 이해하는 데 사용된다. LLM은 제품 리뷰, 소셜미디어의 게시글, 고객 설문조사 결과와 같은 텍스트의 의미를 이해하고 콘텐츠 속 감정을 분석하거나 기타 복잡한 추론 작업에 활용될 수 있다. 3. 언어 번역 정확도 개선 다중 언어 간 번역 정확도를 높여 언어 장벽이 있는 사람들의 소통을 더 쉽게 도와준다. 4. 검색 및 요약 LLM은 방대한 양의 데이터를 사전 학습해 언어의 맥락을 파악하고 텍스트의 의미를 이해할 수 있다. 때문에 대규모 데이터베이스나 인터넷의 데이터를 검색하여 사용자 질문에 맞춤형 답변을 찾을 수 있다. 또한, 원래 데이터의 정보를 기반으로 간결한 요약본을 생성할 수 있다. 앞서 살펴본 생성형 AI와 LLM은 거의 모든 분야와 주제에 대해 사용할 수 있기 때문에, 개인 삶뿐만 아니라 업무 방식 역시 혁신적으로 변화시킬 수 있다. 이에 기업들은 생산성 향상, 프로세스와 수익성 개선 등을 위해 생성형 AI가 가진 엄청난 잠재력을 활용해 다양한 분야에서 적용 및 도입을 고려하고 있다. 하지만, 생성형 AI를 기업 환경에서 활용하기 위해서는 고려해야 할 사항이 많다. 지식재산권, 데이터 개인 정보 보호, 콘텐츠 오용 가능성 문제 등 지금껏 일반적으로 알려진 사항뿐만 아니라 '생성형 AI를 기업환경에 구축하기 위해 뒷받침되어야 할 것은 무엇인가', '어떤 업무에 적용할 것인가', '어떤 모델을 사용할 것인가', '투자 비용은 얼마가 적정한가'와 같이 다양한 현실적인 고민거리가 있을 수밖에 없다. 다음 글에서 기업에 AI, LLM 환경 구축을 지원하는 스노우플레이크의 신규 생성형 AI 기능을 소개하고자 한다. 생성형 AI의 잠재력을 극대화하기 위한 스노우플레이크의 비전을 통해 다양한 기업들의 고민을 해결할 수 있는 방안을 찾을 수 있을 것이다.

2024.04.22 09:48조성현

"기업의 실질적 생성형 AI 활용은 통합에 달렸다"

“오라클의 AI 솔루션은 생성형 AI와 기업 데이터 플랫폼을 유기적으로 연계하는데 초점을 맞추고 있다. 오라클은 '통합'에 주목한다. 기업이 그동안 투자해온 데이터 플랫폼, 다양한 도구, 프로그래밍 언어 등을 그대로 활용하면서 동시에 생성형 AI란 최신 기술을 개방형으로 구축, 활용하게 지원한다.” 나정옥 한국오라클 클라우드엔지니어링 부사장은 21일 '최신 AI 트렌드와 오라클의 AI 전략'을 주제로 기자 간담회에서 이같이 밝혔다. 나정옥 부사장은 “현재 비즈니스의 핵심이 '데이터'에서 AI 기반 '분석'으로 변화하고 있는 가운데, 오라클은 기술 스택 전반의 모든 레이어마다 AI 솔루션을 제공하는 '풀 스택' 전략을 통해 기업 AI 여정을 촉진한다”고 말했다. 나 부사장은 “오라클은 생성형 AI 모델의 학습과 운영에 필요한 비용효과적인 클라우드 인프라, AI 앱 개발을 위한 완전관리형 서비스, 신뢰성 있는 관리형 AI 모델 등을 갖췄고, 오라클의 모든 애플리케이션에 AI를 내장시켰다”며 “AI 시대를 맞아 데이터 수집, 전처리, 저장, 분석, 활용에 이르는 전단계를 지원한다”고 강조했다. 오라클은 완전하고 통합된 데이터 및 AI 포트폴리오의 일부로서 ▲AI 인프라 ▲애플리케이션 ▲AI 서비스 ▲데이터 플랫폼과 유기적으로 작동하는 오라클 클라우드 인프라스트럭처(OCI) 생성형 AI 서비스 등을 제공한다. 오라클의 최신 생성형 AI 기술 및 서비스를 살펴보면, 애플리케이션은 생성형 AI를 내재화한 퓨전 애플리케이션을, AI 서비스는 라마 2와 코히어 등의 LLM 미세조정 및 추론 서비스 및 데이터 플랫폼과 결합 가능한 검색 증강 생성(RAG) 서비스를 제공한다. 데이터 플랫폼은 AI를 내장한 자율운영 데이터베이스와 마이SQL 히트웨이브 및 오라클 데이터베이스 23c의 벡터 검색 지원 기능 등을 제공한다. OCI 생성형 AI 서비스는 OCI 슈퍼클러스터와 통합을 기반으로 하며, 기업이 자체 데이터를 활용해 가장 안전하면서도 비용효율적인 방식으로 생성형 AI 서비스를 개발 및 운영하도록 지원한다. 데이터 플랫폼에서 모든 애플리케이션 및 개발 환경에 데이터를 제공하고, 데이터 수집, 처리, 분석, 예측 등에 AI를 활용하도록 한다. 이날 간담회에서 김태완 한국오라클 수석 솔루션엔지니어 상무는 오라클의 생성형 AI 솔루션의 주요 기능을 직접 시연했다. 데모 시연을 통해 OCI 생성형 AI 서비스에서 임베딩, 프롬프트 작업 및 자동 코드 생성 등을 통해 애플리케이션 개발을 효과적으로 지원하는 기능, 미세조정을 통한 모델 맞춤화 및 모델 성능 관리 기능을 설명했다. 김태완 상무는 “OCI 생성형 AI 서비스는 상용 모델과 오픈소스 모델을 제공하며, 프롬프트 엔지니어링, 텍스트 임베딩, 코드 생성, 요약 등의 기능을 이용할 수 있다”며 “여러 모델을 운영, 테스트할 수 있고, 자바나 파이썬 코드를 생성하고, 텍스트를 벡터로 변환해 데이터 간 연관성과 유사도를 시각적으로 확인할 수 있는데, 모든 과정을 UI로 할 수 있다”고 설명했다. 김 상무는 “파인튜닝과 커스터마이징을 위해 전용 인스턴스를 생성, 파인튜닝하고, 성능 검증해 변경된 모델을 프롬프트로 테스트하고 코드화할 수 있다”며 관리콘솔로 대시보드와 모니터링 환경을 제공함으로써 기업의 LLM 모델 활용에 대한 기술 진입장벽을 낮춘다”고 덧붙였다. 오라클 OCI 생성형 AI 서비스는 제공 모델에 미스트랄 AI의 믹스트랄을 곧 추가할 예정이다. 김 상무는 기업에서 신뢰성 높은 생성형 AI 앱을 만들 수 있도록 검색증강생성(RAG)를 쉽게 활용하게 하는 서비스를 소개했다. RAG는 기업 내부 데이터와 LLM을 연결하고, 벡터화된 내부 데이터의 의미 검색을 통해 사용자 프롬프트의 맥락에 가장 알맞는 답변을 생성하도록 하는 기법이다. 그는 “맥락에 맞는 데이터 저장소에서 정보를 찾아서 LLM에 보내고, 캐싱을 처리하고, 양질 프롬프트를 새로 만들고, 입력 프롬프트를 임베딩해서 적정 데이터를 찾게 하는 등의 전처리 과정이 RAG에서 매우 복잡하다”며 “오라클은 에이전트란 서비스를 통해 LLM과 RAG를 자동화할 수 있는 부분을 혼합하고 추상화시켜서 고객의 부담을 최소화하며 AI 앱을 쉽게 개발하게 한다”고 설명했다. 그는 “에이전트는 오픈서치 기반으로 LLM과 통합하는 데이터 저장소를 만들며, 오라클 데이터베이스23c나 마이SQL 히트웨이브의 벡터 서치를 저장소로 연동할 수 있다”며 “레디스 캐시로 프롬프트 히스토리를 관리할 수 있는 등 대상 LLM과 저장소를 연결해 RAG 앱을 만드는 모든 부분을 자동화한다”고 덧붙였다.

2024.03.21 16:38김우용

퓨어스토리지, 엔비디아와 RAG 파이프라인 개발

퓨어스토리지는 엔비디아 OVX 지원 검증 레퍼런스 아키텍처를 비롯해, 생성형 AI 사용사례를 운용하기 위한 새로운 검증 레퍼런스 아키텍처를 20일 발표했다. 퓨어스토리지는 엔비디아와 협력해 전 세계 고객들의 성공적인 AI 구축을 위해 고성능 데이터 및 컴퓨팅 요구사항을 관리할 수 있는 검증된 프레임워크를 제공한다. 오늘날 대부분의 AI 구축은 클라우드부터 레거시 스토리지 솔루션에 이르기까지 파편화된 데이터 환경에 분산되어 있다. 그러나 이러한 파편화된 환경은 AI 데이터 파이프라인을 지원하고 기업 데이터의 잠재력을 발휘하는 데 필요한 성능과 네트워킹 요구사항을 지원할 수 없다. 기업이 혁신을 주도하고, 운영을 간소화하며, 경쟁 우위를 확보하기 위해 AI를 더욱 적극적으로 도입함에 따라, 강력하고 고성능이며 효율적인 AI 인프라에 대한 수요가 그 어느 때보다 높다. 특히, 급속도로 성장하는 포춘 500대 기업 고객군을 중심으로 기업용 AI 구축을 선도하고 있는 퓨어스토리지는 기업이 AI의 잠재력을 충분히 활용하는 동시에 관련 리스크, 비용, 에너지 소비를 줄일 수 있도록 간편하고 안정적이며 효율적인 스토리지 플랫폼을 제공한다. 퓨어스토리지는 AI 추론을 위한 검색 증강 생성(RAG) 파이프라인을 제공한다. 퓨어스토리지는 대규모 언어 모델(LLM)을 위한 추론 기능의 정확성, 통화 및 관련성을 향상시키기 위해, 기업용 올플래시 스토리지용 엔비디아 네모 리트리버 마이크로서비스 및 엔비디아 GPU, 그리고 퓨어스토리지를 활용하는 RAG 파이프라인을 개발했다. 이로써 퓨어스토리지는 AI 학습을 위해 자체 내부 데이터를 사용하는 기업들이 더 빠른 인사이트를 얻을 수 있도록 가속화하며, 최신 데이터 사용을 보장하고 LLM의 지속적인 재훈련 필요성을 없앴다. 엔비디아 OVX 서버 스토리지 레퍼런스 아키텍처 인증을 획득했다. 퓨어스토리지는 기업 고객과 채널 파트너에게 비용 및 성능에 최적화된 AI 하드웨어 및 소프트웨어 솔루션을 위한 강력한 인프라 기반을 제공하기 위해, 주요 벤치마크에 대해 검증된 유연한 스토리지 레퍼런스 아키텍처를 제공하는 OVX 서버 스토리지 검증을 획득했다. 해당 검증은 AI 고객들에게 추가적인 선택권을 제공하며, 지난해 발표된 퓨어스토리지의 엔비디아 DGX BasePOD에 대한 인증을 보완한다. 버티컬 산업 부문별 성공적인 AI 도입을 가속화하기 위해 퓨어스토리지는 엔비디아와 협력해 산업별 RAG를 개발하고 있다. 퓨어스토리지는 상용 LLM보다 더 높은 정확도로 방대한 데이터세트를 요약하고 쿼리할 수 있는 금융 서비스 RAG 솔루션을 개발했다. 이를 통해 금융 서비스 기관들은 이제 AI를 사용해 다양한 재무 문서 및 기타 소스에서 즉각적인 요약 및 분석을 생성하여 인사이트를 더욱 빠르게 확보할 수 있게 됐다. 헬스케어 및 공공 부문을 위한 추가적인 RAG도 출시될 예정이다. 퓨어스토리지는 엔비디아와 함께 AI 파트너 생태계에 대한 투자를 더욱 확대하며, 런:AI 및 웨이트 앤 바이어스와 같은 ISV와 새로운 파트너십을 체결하고 있다. 런:AI는 고급 오케스트레이션 및 스케줄링을 통해 GPU 활용을 최적화하며, 웨이트 앤 바이어스 AI 개발 플랫폼은 머신러닝 팀이 모델 개발 라이프사이클을 구축, 평가 및 관리할 수 있도록 지원한다. 퓨어스토리지는 이플러스, 인사이트, WWT 등을 포함한 AI 전문 리셀러 및 서비스 파트너와 긴밀히 협력하여 공동 고객의 AI 구축 업무를 더욱 효율화하고 있다. 퓨어스토리지 롭 리 최고기술책임자(CTO)는 “퓨어스토리지는 초기부터 AI 수요 증가를 예측하고, 최첨단 AI 구축을 위한 효율적이고 안정적인 고성능 플랫폼을 제공해왔다”며 “엔비디아와의 오랜 협업으로 개발한 최신 AI 레퍼런스 아키텍처와 생성형 AI 개념 증명은 글로벌 기업들이 AI의 복잡성을 극복하는 데 결정적인 역할을 하고 있다”고 밝혔다. 엔비디아 밥 피트 엔터프라이즈 플랫폼 부문 부사장은 “엔비디아의 AI 플랫폼 레퍼런스 아키텍처는 퓨어스토리지의 단순하고 효율적이며 신뢰성이 탁월한 데이터 인프라로 한층 강화돼 복잡한 AI, 데이터 분석 및 고도화된 컴퓨팅을 해결하려는 기업에 포괄적인 솔루션을 제공한다”며 “퓨어스토리지의 검증된 최신 레퍼런스 아키텍처와 개념 증명은 기업이 새로운 가능성을 열고 혁신적인 결과를 도출하는 데 필요한 툴을 제공함으로써 AI 혁신을 주도하고 있다.”라고 강조했다.

2024.03.20 10:38김우용

[기고] 생성형 AI 도입, 기업이 반드시 유념해야 할 두 가지 전략

생성형 AI 모델에 대한 뜨거운 관심은 이제 다방면으로 확산되고 있다. 지난 해 까지만 해도 변호사 자격시험 통과나 다양한 주제의 학술 논문 작성은 물론, 정보 검색 지원 등 놀라운 신기능이 화제의 중심이었다. 이제 우리는 생성형 AI가 텍스트 생성과 SQL 쿼리 생성, 코드 작성, 심지어는 예술작품 제작은 물론, 기업의 제품 지원에 이르기까지 거의 모든 분야의 작업을 수행하는 것을 목격하고 있다. 생산성과 수익을 향상시킬 수 있는 방법을 늘 고민중인 기업 경영진의 마음을 생성형AI가 사로잡고 있다고 해도 과언이 아니다. 실제 우리 기업들은 이제 향후 어떤 업무에 생성형 AI의 어떤 기능을 더 추가적으로 도입할 지 심각하게 고민하고 있는 상황이다. 기업은 생성형 AI 기능을 원하는 업무에 도입해 비즈니스 결과를 개선하려면 우선적으로 중요한 원칙을 되새겨야 한다. 즉 해당 AI기능이 자사의 비즈니스 적용업무에 통합되어 그에 적합하고 정확한 결과를 제공하는 대상 모델은 무엇인지 정의하는 것과, 그에 맞게 해당 인프라를 설정하고, 모델을 선택, 맞춤화하고 배포를 어떻게 할 것인지 대한 기획이다. 이와 같은 원칙과 전제하에 기업이 생성형 AI를 도입해 자사의 비즈니스를 향상시키는 방안은 두 가지로 구분할 수 있다. 애플리케이션에서 AI 서비스 및 데이터와 인프라 전반을 아우르는 '풀스택 AI'의 활용 전략과 '특정 비즈니스 업무에 적합한 맞춤형 서비스 활용'이 그것이다. 풀스택 AI 활용과 그 경험을 구현하는 방법은 무엇인가? 이는 생성형 AI에 대한 시스템 차원의 '총체적인 접근방식'으로, 기업이 AI 구현을 위해 필요로 하는 기술 전반을 통합한 환경을 의미한다. 이와 관련해 기업은 자사의 온프레미스(구축형)와 퍼블릭 클라우드로 운영되는 IT시스템 환경의 전반에서 애플리케이션과 서비스, 데이터 및 인프라를 아우르는 단일한 AI 솔루션 적용을 통해 AI의 ROI(투자대비효과)를 거둘 수 있다. 보통 기업에서는 AI 프로젝트를 진행할 경우 여러 곳에 편재한 단편적인 부분과 툴을 결합하는 방식으로 AI를 구현한다. 이와 달리 풀스택 접근방식은 기업 핵심 애플리케이션의 사용 경험에 생성형 AI 기술을 접목할 수 있는 기술력을 갖추고 있다는 장점이 있다. 덕분에 기업은 자사 애플리케이션에 필요한 생성형 AI 기술을 획기적으로 간단히 통합할 수 있다. 필자가 속한 오라클 역시 기업이 생성형 AI를 성공적으로 구현하기 위해 정말 필요한 것이 무엇인지에 대해 고민하면서 생성형 AI에 대해 이러한 총체적인 접근 방식을 취하고 있다. 또한 데이터베이스에 탑재된 AI 기반 운영 자동화 및 벡터 검색 기능은 기업이 추가적인 개발의 노력을 들이지 않아도 데이터베이스 관리 업무와 앱 개발 과정을 대폭 간소화하고 정확도 높은 모델을 지원할 수 있어 비용 절감을 돕는다. 오라클은 자사의 서비스형 소프트웨어(SaaS)에서 시작해 이러한 AI 기술이 접목된 풀스택 서비스와 함께 광범위한 미세 조정 모델 및 즉시 사용 가능한 검색 증강 생성(RAG)을 통해 기업의 차별화된 AI 전략을 지원하고 있다. 두 번째로, 생성형 AI가 기업 내의 다양한 활용을 지원하기 위해 미세 조정 또는 RAG 기술을 통해 대형 언어 모델을 현업 요구 사항에 적합하도록 맞춤화해 제공하는 방안이다. 이 중 '미세 조정'은 대형 언어 모델에 기업의 내부 정보, 지식 문서 등을 학습하는 것으로, 여기에는 많은 시간과 비용이 든다. RAG 기술은 이러한 미세조정을 돕기 위한 기술이다. 데이터 사용자와 자연어 기반의 대화 맥락 속에서 질의를 SQL 쿼리로 자동 변환하고 기업 보유의 벡터 데이터베이스와 연동을 통해 의도에 맞는 답변을 제공한다는 점에서 비용 효과성을 더 높은 수준으로 향상시켜준다. 한 예로 기업의 한 사용자가 RAG 기술을 탑재한 에이전트에 병가에 대한 인사(HR) 정책을 요약해서 알려 달라고 요청할 경우, 모델은 RAG를 통해 기업 HR 정책과 관련된 내부 문서에서 연관 있는 문단을 추출해 내어 자연어 대응 답변을 출처 문서에 대한 하이퍼링크와 함께 맞춤형으로 제공할 수 있다. 향후에는 사용자의 요청에 따라 기존 문서 편집과 같은 후속 조치까지도 지원할 것으로 기대된다. 이처럼 기업 업무의 특수한 맥락에 정교한 성능을 제공하는 생성형 AI 기술은 고객 서비스 자동화를 비롯해 개인화된 마케팅이나 가상 세일즈맨 역할, 계약서 작성, 경쟁사 및 고객 모니터링 등 비즈니스의 많은 영역에 적용해 가치를 창출할 수 있을 것으로 기대되고 있다. 성공적인 생성형 AI 구현은 인프라에 대한 총체적인 접근방식과 더불어, 생성형 AI 모델의 실제 비즈니스 적합성에 달려 있다. 이 두 가지 전략을 함께 고려하고 운용할 수 있을 때 비로소 기업은 생성형 AI 와 관련된 여정을 단계별로 차근차근 밟아 나가며 혁신을 가속화하고 고도화 할 수 있을 것이다.

2024.03.14 15:27나정옥

AWS·메가존 "기업 고객, 더 안전한 환경서 생성형 AI 개발 누릴 것"

"기업들이 본격적으로 생성형 인공지능(AI)의 보안과 정확도에 더 신경 쓰기 시작했다. 기업 고객은 아마존베드록과 젠AI360 등으로 보안성·정확도 높은 환경에서 생성형 AI 모델과 제품 개발을 할 수 있을 것이다." 아마존웹서비스(AWS)코리아 최효근 시니어 솔루션아키텍트는 12일 인터컨티넨탈 호텔 서울에서 메가존클라우드와 공동 개최한 '비즈니스 리더를 위한 성공적인 생성형 AI 도입 로드맵'에서 베드록의 최신 기능을 소개했다. 메가존클라우드 김한수 AI&데이터분석센터 그룹장도 젠AI360 서비스를 선보였다. 두 기업 모두 생성형 AI 모델 개발시 보안과 정확도를 올릴 수 있는 기능을 설명했다. 최효근 아키텍트는 실제 기업이 생성형 AI를 도입해 내놓은 제품이 많지 않다고 했다. 생성형 AI의 가장 큰 걸림돌인 환각 현상과 보안 문제를 주요 이유로 꼽았다. 이에 AWS는 베드록에 환각 현상과 데이터 유출을 방지하기 위한 새로운 기능을 추가했다고 설명했다. 최 아키텍트는 베드록에 새로 업그레이드된 파인튜닝 시스템을 설명했다. 일반적으로 사용자가 특정 도메인이나 특정 지식을 추가하고 싶을 때 파인튜닝 기법을 활용한다. 그러나 파인튜닝을 한다고 해서 답변 정확도가 무조건 오르는 것은 아니다. 그는 "베드록은 정확도 향상을 위해 소수의 레이블 된 데이터를 이용한다"며 "질문과 가장 연관성 높은 데이터만 활용함으로써 답변 정확도를 높일 수 있다"고 했다. 최효근 아키텍트는 "도메인에 대한 모델 정확도 유지를 위해 많은 수의 레이블 없는 데이터까지 추가로 이용한다"고 덧붙였다. 현재 사용자는 파인튜닝을 진행할 때 코히어, 메타, 아마존의 거대언어모델(LLM)을 통해 진행했다. 올해 앤트로픽의 LLM도 추가될 방침이다. 최 아키텍트는 베드록이 검색 증강 생성(RAG)을 강화했다고 했다. 그는 "베드록은 완전 관리형 RAG를 지원하고 있다"며 "다른 플랫폼처럼 RAG 실행을 위한 추가적인 프로그래밍이 불필요하다"고 했다. 베드록 RAG의 가장 큰 특징은 RAG 내부 시스템이 단계별로 진행된다는 점이다. 예를 들어, 사용자가 AI 모델에 복잡한 요청을 했을 때, 베드록의 RAG 에이전트가 이를 여러개의 작은 작업으로 나눠 적절한 API를 호출하거나 데이터베이스(DB)를 스스로 찾아 답하는 식이다. 이를 통해 답변 정확도를 높일 수 있다. 그는 "이는 기존 RAG보다 품질 높은 답변을 준다"고 강조했다. 최효근 아키텍트는 AWS가 '책임감 있는 AI'구현도 힘쓴다고 강조했다. 그는 "모델이 응답할 때 내부적으로 필터링해야 한다"며 "베드록은 이를 위한 가드레일을 제공한다"고 설명했다. 사용자가 유해 콘텐츠 차단 등 AI 정책을 모델 내 세팅할 경우, 베드록은 이를 위한 필터링을 만들거나 개인 식별 번호 등을 설정한다. 외부로 유출되면 안 되는 정보까지 필터링한다. 이날 AWS 루크 앤더슨 아시아 태평양 및 일본 AI·ML 매니징 디렉터도 자리했다. 그는 LG AI연구원을 비롯한 KT, 업스테이지, 이스트소프트 등과 협력해 다양한 생성형 AI 모델과 서비스를 구축했다고 알렸다. 앤더슨 디렉터는 “모든 고객이 쉽게 빠르게 생성형 AI를 사용할 수 있도록 서비스를 연구하고 있다”며 “IT 전문가가 아니어도 몇 분 안에 AI를 구축할 수 있게 만들 것”이라고 강조했다. 메가존클라우드 김한수 그룹장도 지난해 출시된 젠AI360 오퍼링 서비스를 소개했다. 젠AI360은 생성형 AI를 도입하고자 하는 기업들을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드 투 엔드 서비스다. 김한수 그룹장은 "최근 기업들이 RAG와 파인튜닝에 집중하는 추세"라며 "이러한 시대에 발맞춰 메가존도 AWS와 협력해 안전한 개발 환경을 위한 기능을 젠AI360에 꾸준히 넣을 것"이라고 강조했다.

2024.03.12 17:32김미정