검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (331건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

SKT, 6월에 통신사 특화 AI 모델 내놓는다

SK텔레콤이 5G 요금제와 공시지원금, 인공지능(AI) 윤리가치 등을 학습한 통신사 특화 AI 모델인 '텔코LLM'을 상반기 내에 선보인다. 에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당은 30일 서울 을지로 T타워에서 열린 간담회에서 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다”며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 멀티LLM 전략”이라고 말했다. GPT와 같은 범용 LLM보다 통신업종에 특화된 LLM이 필요하다는 뜻이다. 이를 위해 SK텔레콤은 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등의 데이터를 수집하고 선별해 GPT와 클로드에 학습시키고 있다. SK텔레콤이 직접 개발한 에이닷엑스 외에도 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델 기반으로 튜닝 작업에 나서면서 멀티 LLM 전략을 내세웠다. AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용 용도에 따라 최적화된 LLM을 갖추겠다는 뜻이다. 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있다. SK텔레콤은 현재 고객센터에서 상담전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 전망했다. 기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다. 또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다. 네트워크 인프라 운용에도 텔코LLM이 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다. SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다. 정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅과 유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다. 한편, SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 기업용 AI 개발 운용 패키지다.

2024.04.30 13:26박수형

[기고] AI 기반 혁신의 진입 장벽을 낮춰라

그 어떤 형태로 인공지능(AI)을 활용하든지 간에 AI가 모든 산업에 걸쳐 인터넷의 등장 이후로 가장 커다란 영향을 미칠 것이라는 점에는 의문의 여지가 없다. AI는 연구개발부터 생산 및 판매 후 서비스까지 모든 비즈니스 과정에서 실질적으로 널리 사용되는 도구가 될 것이며, 최근 국제통화기금(IMF)의 제안대로 '글로벌 경제도 변혁할' 것으로 예상된다. 실제로 생성형 AI는 이미 이런 변화를 일으키고 있다. IDC에 따르면, 올해 기업이 생성형 AI에 지출할 비용은 두 배로 증가할 것이며, 2027년까지 그 규모가 약 1천510억 달러에 달할 것이라고 한다. 이런 예측이 놀랍지 않은 것은 대규모언어모델(LLM)은 이미 여러 조직들의 상상력을 사로잡으며, 기업 내부 및 제3자 애플리케이션의 생성형 AI 활용에 대한 관심을 끌어올려 전략적 사고를 이끌고 있다. 모든 조직이 자사 데이터를 유의미하게 연결하거나 인프라를 확장할 수 있는 것은 아니며, 이런 한계는 적극적인 생성형 AI 활용에 영향을 미친다. IT 자원의 현대화를 위해서는 유연하고 저렴한 데이터 연결이 필수지만, 비용 역시 하나의 커다란 제약사항으로 작용한다. 많은 기업들은 새로운 AI 서비스 관련 지출 증가에 대해 여전히 조심스러운 입장이다. 한국에서도 AI관련 비용 문제는 자주 언급된다. 국내에서는 천문학적인 비용을 들여 LLM을 직접 구축하기보다는 생성형 AI의 체크포인트를 활용해 서비스를 개발하는 것이 더 비용 효율적이라는 이야기도 나오는 상황이다. ■ 장기적인 AI 성장을 위한 비용 효율적인 클라우드 AI 발전을 논할 때 클라우드는 빼놓을 수 없는 기술이다. 하지만 클라우드 사용 비용 또한 AI의 진입장벽을 높이고 있다. 클라우드 서비스 수요의 꾸준한 증가에도 불가하고 예산 제약이나 복잡한 시스템 관리 및 업데이트 등으로 인해 많은 조직이 클라우드의 잠재력을 충분히 활용하지 못하고 있으므로 모든 클라우드 인프라가 동등한 수준의 기술력을 발휘하지는 못하고 있다. 따라서 모든 기업 또는 기타 조직들이 미래의 중요 기술에 동등하게 접근하도록 기반을 마련해야 한다는 필요도 제기된다. 맥킨지의 '클라우드 가치를 찾아서: 생성형 AI가 클라우드 ROI를 변화시킬 수 있을까?'란 제목의 보고서는 “퍼블릭 클라우드에서 가치를 얻는 것은 복잡한 일”이라며 “기업들은 지난 수십 년 동안 온프레미스 환경에서 기업 기술 조직, 프로세스 및 아키텍처를 운영해 왔지만 이 중 많은 부분이 새롭게 변화해야 한다”라고 밝혔다. 이는 한 조직이 생성형 AI의 이점을 극대화하기 위해서는 비용뿐만 아니라 유연성과 접근성 측면에서도 진입 장벽을 낮추어 더 개방적이고 지속가능한 클라우드 환경을 조성해야 하기 때문이다. 알리바바 클라우드는 이미 오픈 클라우드 인프라를 통해 고객들에게 자체 LLM을 제공하고 있는데, 세계 최고 컨슈머 헬스케어 기업이자 AI 영양사이기도 한 헬리온과 같은 기업이 신뢰를 강화하고 영양 데이터베이스의 정확성과 고객에 대한 추천 정확도를 개선하도록 돕고 있다. 또한, 이런 오픈 클라우드 인프라는 일본어 처리가 능숙한 사전 훈련된 기초 모델 개발을 전문으로 하는 일본 스타트업 '린나'가 새로운 제품과 서비스를 혁신할 수 클라우드에서 저렴하게 생성형 AI를 활용하도록 돕고 있다. 이런 AI의 적극 활용을 지원하겠다는 알리바바 클라우드의 의지는 최신 가격 정책에도 반영되었으며, 알리바바 클라우드는 AI 응용 프로그램을 개발하는데 안정적인 기반을 제공하기 위해 장기 구독자에게 할인 혜택을 제공하기로 발표한 바 있다. ■ 생성형 AI 붐을 위한 민주화 AI 컴퓨팅으로의 전환은 향후 몇 년간 더욱 가속화될 것이다. AI 컴퓨팅은 생성형 AI 역량을 내장하는 생성형 AI를 위한 인프란 설계를 의미하는데, 혁신과 실행을 촉진하고 명확인 비용 구조와 확장 가능성도 갖출 것으로 기대가 되고 있다. 이에 대비해 알리바바 클라우드는 모델 및 관련 도구와 서비스를 위한 선도적인 오픈 소스 AI 모델 커뮤니티인 모델스코프(ModelScope)를 구축했다. 해당 커뮤니티는 최근 출시된 메타의 라마2와 알리바바 클라우드의 자체 오픈 소스 모델, 18억, 70억, 140억에서 720억에 이르는 파라미터를 갖춘 치엔(Qwen) LLM, 오디오 및 시각적 이해 기능을 갖춘 멀티 모달 모델(LLM)을 포함한 3,000개 이상의 인공지능 모델을 호스팅했으며, 개발자들의 사랑을 받고 있다. 앞으로 클로즈드 소스 및 오픈소스 LLM이 공존할 것이지만, AI의 민주화는 오픈소스 솔루션으로 인해 가속화될 것이다. 특히 오픈소스 LLM은 AI 모델 커뮤니티의 발전을 촉진하고, AI 해석 가능성을 향상하기 위한 협력을 우선시해, 모든 조직이 생성형 AI의 도움으로 제품과 서비스 향상을 할 수 있도록 돕는다. SeaLLM이 동남아시아 지역의 현지 언어에 대한 지원을 강화해 포용성을 넓히는데 중요한 역할을 한 것처럼 오픈소스 자원의 성장은 AI모델 커뮤니티의 발전을 이끌어줄 것이다. 인공지능의 민주화와 생성형 AI에 준비된 클라우드 서비스를 제공하는 것은 기업들의 데이터가 LLM에 통합되고 사용되도록 조직 데이터에 더 많은 자원을 투입할 수 있게 돕는다. 생성형 AI는 데이터를 요약하고 통합하는 면에서는 탁월하지만 구조화되지 않은 데이터로부터 통찰력을 얻을 때는 그리 효과적이지 않으므로 이를 활용하고자 하는 조직은 타협 없는 기본 인프라를 갖추고, 걱정 없이 데이터 문제를 해결할 수 있어야 한다. 즉 한 조직이 진정한 혁신을 이루기 위해서는 클라우드 인프라가 사실상 표준이 되어야 하며, 이는 LLM을 운영하고 실험 및 혁신하고, 발전시키기 위한 기준이 되어야 한다는 것이다. 이런 기준은 AI 컴퓨팅 인프라 구축의 중요성이 더욱 대두될수록 보다 분명해질 것이다. IT 자원에 대한 수요는 꾸준히 증가할 것이므로 에너지 집약적인 모델 훈련을 지원할 수 있는 인프라를 활성화하고, 동시에 운영 효율, 비용 효율 보장은 물론 인프라가 환경에 미치는 영향도 최소화해야 한다. 이헌 변화는 생성형 AI의 민주화뿐만 아니라 더 많은 협업을 장려하기 위해 클라우드 산업이 극복해야 하는 과제이며, 오픈 클라우드 인프라만이 이를 주도할 수 있을 것이다.

2024.04.30 10:05셀리나 위안

스노우플레이크, 엔터프라이즈급 오픈소스 LLM '아크틱' 출시

스노우플레이크는 개방성과 성능을 갖춘 엔터프라이즈급 대규모언어모델(LLM) '스노우플레이크 아크틱(Arctic)'을 25일 출시했다. 스노우플레이크 고유의 전문가혼합(MoE) 방식으로 설계된 아크틱은 높은 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화돼 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다. 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 아크틱 LLM은 스노우플레이크 아크틱 모델군의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다. 포레스터의 최근 보고서에 따르면 글로벌 기업의 AI 의사 결정권자 중 약 46%가 'AI 전략의 일환으로 자신이 속한 기업에 생성형 AI를 도입하기 위해 기존의 오픈소스 LLM을 활용한다'고 답했다. 스노우플레이크 데이터 클라우드 플랫폼은 현재 전 세계 9천400여 기업 및 기관의 데이터 기반으로 활용되고 있다. 아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 엔비디아 텐서RT-LLM, vLLM, 허깅페이스 등의 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스에서 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 투게더 AI 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다. 스노우플레이크 AI 연구팀은 업계 최고의 연구원과 시스템 엔지니어들로 구성돼 있다. 아크틱 구축에는 3개월 미만이 소요됐다. 모델 학습에 아마존 EC2 P5 인스턴스가 활용됐으며, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다. 스노우플레이크는 최첨단 개방형 엔터프라이즈급 모델의 학습 속도에 새로운 기준을 제시하며, 궁극적으로는 사용자가 비용 효율적이고 맞춤화된 모델을 최적의 규모로 생성할 수 있도록 지원한다. 아크틱의 차별화된 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 4천800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 뛰어난 토큰 효율과 업계 최고의 품질을 구현하며 최상의 결과를 제공한다. 아크틱은 획기적인 효율 개선을 위해 추론이나 학습 중 DBRX보다 약 50%, 라마3 70B보다 약 75% 적은 매개변수를 활성화한다. 코딩(Humaneval+, MBPP+)과 SQL 생성(Spider) 면에서도 DBRX, 믹스트랄 8x7B 등 대표적인 기존 오픈소스 모델의 성능을 능가하고 일반 언어 이해(MMLU)에서 최상급 성능을 보인다. 스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것은 더욱 쉬워진다. 아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 최상의 검색 성능을 발휘하도록 최적화돼, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다. 최근 스노우플레이크는 레카와 미스트랄 AI의 모델도 추가하는 등 고객이 데이터 클라우드에서 가장 높은 성능의 최신 LLM을 접할 수 있도록 지원하고 있다. 또, 최근 엔비디아와의 확장된 파트너십을 발표하며 AI 혁신을 지속해 나가고 있다. 스노우플레이크의 데이터 클라우드는 풀스택 엔비디아 가속 플랫폼과 결합해 산업 전반에 걸쳐 AI의 생산성을 적극 활용하는 안전하고 강력한 인프라 및 컴퓨팅 역량을 제공하고 있다. 스노우플레이크 벤처스는 고객이 각자의 기업 데이터에서 LLM과 AI를 통한 가치 창출을 지원하기 위해 최근 랜딩 AI, 미스트랄 AI, 레카 등에도 투자했다. 슈리다 라마스워미 스노우플레이크 CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”며 “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다”고 밝혔다. 그는 “고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 강조했다.

2024.04.25 09:28김우용

"네트워크 기업에서 AI 전문회사로"...통신사 생존 지도 바뀐다

인공지능(AI)이 세상을 삼키고 있다. 일상생활뿐 아니라 첨단 비즈니스 영역까지 뒤흔들고 있다. 특히 챗GPT를 비롯한 생성형 AI는 다양한 산업 분야의 기본 문법을 바꿔놓으면서 새로운 혁신의 밑거름이 되고 있다. 반면, 기업에서는 AI 도입이 경쟁력 강화를 위한 기회라는 점을 알면서도 불확실성을 포함한 위험 요인 때문에 도입을 주저하고 있는 것도 현실이다. 지디넷코리아는 창간 24주년을 맞아 법무법인 세종의 AI센터와 함께 이런 변화를 진단하는 'GenAI 시대' 특별 기획을 마련했다. 이번 기획에서는 기업이 AI 규제에 효과적으로 대응하면서 도입 가능한 AI 거버넌스에 대해 살펴본다. 아울러, 소프트웨어, 통신, 인터넷, 헬스바이오, 유통, 전자, 재계, 자동차, 게임, 블록체인, 금융 등 11개 분야별로 AI가 어떤 변화를 일으키고 있는 지 심층 분석한다. 또 AI 기술 발전과 함께 논의되어야 할 윤리적, 사회적 문제들에 대한 다각적인 논점을 제시해 건강한 AI 생태계 조성에 기여하고자 한다. [편집자주] "글로벌 AI 컴퍼니, AICT 기업." 국내 통신사들이 최근 강조하는 선언적 구호다. 네트워크 구축을 통한 연결 서비스가 본업인 이들이 인공지능(AI)을 전면에 내세운다. 통신사 최고경영자(CEO)들은 단순히 AI를 강조하는 수준을 넘어 AI 회사로 바꾸겠다고 입을 모은다. 모든 산업이 AI를 바라보고 있지만 국내 통신업계가 AI를 도입하고 사업을 전환하는 속도는 차원이 다르다. 단순히 네트워크 자동화 관리 솔루션을 갖추는 데 그치지 않고, 글로벌 빅테크의 행보에 궤를 맞춰 직접 거대언어모델(LLM)까지 만들었다. 대부분의 업종에서 기업들이 AI를 중시하고 도입하겠다고 하지만, 언어모델을 직접 구축하겠다고 나서지는 않는다. 또 과거 CES에서 아마존 알렉사 광풍이 불었을 당시 국내 기업 중 통신사들이 가장 먼저 AI 스피커 출시 대열에 뛰어들었다. 보통 기업들이 디지털 트랜스포메이션을 중시하며 관련 조직을 신설하고 C-레벨급 임원을 발탁할 때 통신사들은 AI 전담 임원과 조직을 뒀다. 5G와 LTE로 이어지는 무선 네트워크의 진화가 지금의 디지털 경제를 가능케 한 사회적 인프라가 됐다는 평가를 받는다. 다만 세계 각국의 통신사들은 네트워크 구축 노력에도 과실은 일부 빅테크 회사가 독식했다고 여긴다. 이런 탓에 통신사들이 플랫폼 사업에 뒤늦게 뛰어들기도 했다. 하지만 AI를 대하는 태도는 다르다. 기술 주도권을 갖는다거나 AI를 통한 수익 사업화를 넘어 자체적으로 AI를 활용하지 않으면 디지털 사회에서만이 아니라 본업인 통신에서도 도태될 수 있다는 우려를 안고 있다. 무조건 AI에 뛰어들 수밖에 없다고 자각하는 상황이다. 글로벌 통신사들은 왜 AI에 빠졌나 통신산업은 AI와 뗄레야 뗄 수 없는 관계다. AI의 밑바탕 재료인 데이터가 계속 생성되는 지점에서 사업을 전개하기 때문이다. 세계 최다 가입자를 거느린 중국 차이나모바일을 예로 들어보자. 지난해 3분기 기준 5G 가입자 수만 7억3천만 회선으로 추정되는 회사다. 중국은 신용카드 도입이 늦어지면서 모바일페이가 가장 발전한 나라로 꼽힌다. 즉, 차이나모바일은 7억명 이상의 데이터 이용량과 이동 경로를 비롯해 결제와 소비 양상까지 살필 수 있는 셈이다. AI 모델을 구축하기 위해 학습 데이터를 찾아다니는 회사들이 보기에 차이나모바일은 빅데이터 창고를 여럿 거느린 곳이다. 세계이동통신사업자연합회(GSMA)는 '이동통신 산업과 AI(The Mobile Industry and AI)' 보고서에서 “5G와 사물인터넷(IoT) 출시로 실시간으로 더 많은 실제 데이터를 수집할 수 있게 됐고, AI 시스템은 이 데이터를 활용해 보다 정교해지고 능력이 향상될 수 있다”고 내다봤다. 그러면서 “통신산업에서 AI는 모바일 사업자가 연결성과 고객 경험을 모두 개선할 수 있도록 해준다”며 “AI를 사용해 네트워크를 최적화하고 자동화해 네트워크 운영자는 더 나은 서비스를 제공하고 더 많은 사람들이 연결되도록 할 수 있다”고 분석했다. AI로 사업의 이점을 살릴 수 있는데 마다할 이유가 없다는 뜻이다. 이에 각국의 통신사들은 다양한 방면에서 AI를 활용하고 있다. 예컨대 노르웨이에 본사를 두고 있는 유럽 지역의 통신사인 텔레노어(Telenor)는 수년 전부터 데이터 분석을 통해 무선 네트워크의 전력 소비와 이산화탄소 배출을 감소시키는 데 공을 들이고 있다. 미국의 AT&T는 AI와 통계 알고리즘을 사용하는 예측 모델을 사용해 네트워크 서비스 중단을 예측하며 방지한다. 일본의 KDDI는 IoT 디바이스와 센서, 무선 네트워크의 정보를 AI 기반 시스템으로 통합해 자연재해에 대한 정부의 대응을 최적화하는 데 도움을 주고 있다. 통신 사업을 전개하는 지역적인 환경이나 현지 공공 서비스의 수요에 부합하는 AI 모델을 일찍이 만든 것이다. 범용 LLM 넘어 특화모델 넘보는 韓 통신사 국내 통신 3사도 글로벌 통신사들이 선보인 AI 기반 사업 모델을 대부분 선보였다. AI컨택센터(AICC)와 같은 B2B 솔루션 사업은 기존 콜센터의 디지털 전환을 돕는 데 그치지 않고 3사의 수익을 창출하는 신사업 자리까지 올랐다. 특히 자체 개발 LLM까지 보유하고 있다. SK텔레콤의 에이닷엑스, KT의 믿음 등의 파라미터 값은 글로벌 회사들의 LLM과 견줘 뒤지지 않는다. LG유플러스도 그룹사 차원에서 개발한 엑사원을 바탕으로 AI 경쟁력을 갖추고 있다. GPT 기반의 AI 서비스가 열풍을 불러오며 국내 통신사들도 LLM 개발에 나섰지만, 이제는 기존 LLM 기반의 특화모델을 확보하는 단계로 접어들었다. 이를테면 SK텔레콤은 도이치텔레콤, 이앤(e&)그룹, 싱텔그룹, 소프트뱅크 등 주요 글로벌 통신사들과 '글로벌 텔코 AI 얼라이언스(GTAA)'를 구축하고 합작법인을 내세워 통신에 특화된 버티컬 LLM을 만든다는 계획이다. SK텔레콤은 파트너 관계를 맺고 있는 오픈AI, 앤트로픽과도 텔코LLM 개발에 힘을 모으고 있다. LLM 개발 경쟁 시기에 주요하게 따진 파라미터 크기가 아니라 LLM 기반으로 어떻게 활용할 수 있는지, 수익화가 가능한 사업모델을 찾는데 주력하겠다는 뜻이다. 정석근 SK텔레콤 글로벌AI테크사업부장(CAGO)은 “GTAA는 통신사향 LLM 기술 개발을 목표로 이를 통해 업무 효율 향상과 고객 서비스 가치를 높이고 네트워크 최적화, 마케팅 솔루션 등 다양한 효율화 사례로 협력을 늘릴 것”이라며 “GTAA 멤버사들은 13억 명의 가입자를 보유한 글로벌 통신사로 텔코 LLM 개발 등에서 규모의 경제를 바탕으로 협력을 이어갈 예정”이라고 밝혔다. KT는 자체 개발 LLM 믿음과 오픈AI의 GPT, 메타의 라마 등을 함께 활용하는 멀티 LLM 전략 기반의 내부업무 혁신 플랫폼 젠아이두(Gen.AIDU)를 개발하고 전사에 적용키로 했다. 젠아이두는 생성형 AI를 이용해 API를 직접 개발해서 사용할 수 있도록 하는 플랫폼이다. 특히 산업별로 특화된 SLM 수요가 커졌다는 점에 따라 LLM 개발 경험을 내세운 SLM을 만들어 기업고객 수요에 맞추겠다는 전략이다. 2천100억 파라미터 값의 모델을 만드는 과정에서 얻은 경험으로 각기 다름 AI 수요에 맞는 경량화 버티컬 모델을 내놓기로 한 것이다. 오승필 KT 기술혁신부문장(CTO)은 “LLM이 여러 가지를 할 수 있고 좋지만 수요기업 입장에서는 가격 경쟁력이 있어야 한다”며 “수요에 맞도록 파라미터 튜닝을 거쳐 고객에 제공하고, 이를 다 포함해 멀티 LLM 전략을 가져갈 것”이라고 말했다. LG유플러스는 LG AI연구원이 구축한 엑사원을 활용, 통신에 특화된 생성형 AI 모델인 익시젠(ixi-GEN)을 상반기 내에 공개한다는 방침이다. 익시젠을 기반으로 개인형 모바일 에이전트, 미디어 에이전트, 워크 에이전트를 구현키로 했다. 최근 GPT 기반의 챗 에이전트 서비스 4종을 내놨는데 이 역시 익시젠 기반으로 전환할 예정이다. LG유플러스는 이를 두고 AI 응용 서비스라 칭하며 이 부문에선 반드시 앞서간다는 계획이다. AI 자체 개발 단계를 넘어 앞으로는 응용 기술이 중요하다는 판단을 내린 것이다. 고도화된 LLM과 상황에 맞는 자연어이해도 활용한다. 성준현 LG유플러스 AI데이터프로덕트담당은 “LLM 기반의 대화형 상담은 최신 LLM과 기존 자연어이해(NLU)를 하이브리드로 사용해 효율성을 높였다”며 “챗 에이전트는 중복 개발 없이 빠르게 신규 챗 기능을 제공하고 간단한 업무는 자연어처리를, 복잡한 질문은 LLM 처리를 가능하도록 했다”고 설명했다.

2024.04.24 15:28박수형

올거나이즈 "알리LLM앱, 보안 기능 업그레이드"

올거나이즈(대표 이창수)가 자사 앱 마켓 '알리LLM앱' 보안 기능을 한층 강화했다. 올거나이즈는 알리LLM앱에 옥타 인증을 적용하고, 관리자가 대시보드에 접속할 때도 이메일 2단계 인증을 거치도록 했다고 23일 밝혔다. 기업 직원은 알리 플랫폼에 접속할 때 아이덴티티 보안 기업 옥타의 인증을 통해 로그인 해야한다. IT 관리자가 옥타 인증을 활성화하면 바로 적용 가능하다. 옥타 인증 도입으로 알리LLM앱 마켓에서 앱을 다운 받아 활용할 때도 인증·인가 프로토콜 표준을 지켜야 한다. 옥타 아이디·패스워드만으로 연관 서비스에 로그인할 수 있다. 기업 고객 내 알리 플랫폼을 관리하는 IT 담당자가 대시보드에 로그인할 때도 2단계 인증을 받아야 한다. 대시보드 내 설정 메뉴에서 2단계 인증 기능을 활성화하면 기존 아이디·비밀번호 외에도 이메일로 받은 일회용 인증 코드를 추가 입력해야 한다. 민감한 고객정보를 포함한 대시보드에 접속할 때 관리자 인증을 강화해 보안 우려를 해소하기 위해서다. 올거나이즈 측은 이번 로그인 인증 업데이트를 통해 주요 고객사인 금융 기업 등 보안에 민감한 기업들이 걱정 없이 LLM 솔루션을 이용할 수 있도록 지원하겠단 입장이다. 현재 KB증권, 일본의 미쓰이스미토모은행 금융그룹, 현대캐피털, 미국 트래블러스 등 국내외 주요 금융·보험업 고객사 포함해 한·미·일 200개넘는 기업 고객이 올거나이즈 솔루션을 이용 중이다. 실제 국내 금융사들의 경우 전자금융감독규정에 따라 사용자 인증에 대한 보안 규제를 적용 받고 있다. 공개용 웹서버에 접근할 수 있는 사용자 계정은 업무관련자만 접속할 수 있도록 제한했다. 아이디·비밀번호 외에 추가 인증 수단을 적용해야 한다는 내용이다. 미국 정부 역시 제로 트러스트 모델 채택을 의무화하면서 다중요소인증 도입을 적극 논의 중인 것으로 알려졌다. 이창수 올거나이즈 대표는 "일본 내 히타치 등 다수의 고객사들이 보안 규제에 맞춰 로그인 강화를 요청하는 추세"라며 "앞으로도 보안에 대한 고객 요구사항을 적극 반영하고, 엄격한 규제를 통해 고객 데이터를 안전하게 관리할 것"이라고 말했다.

2024.04.23 16:11김미정

[기고] 기업 경쟁력 좌우하는 생성형 AI, 어떻게 시작할 것인가

2023년 우리 모두는 챗GPT가 제공한 새로운 서비스를 경험했다. 생성형 AI와 대규모 언어 모델(LLM)은 개인과 직업의 환경을 혁신적으로 변화시키고 있다. 기업들도 불과 1년 만에 대다수가 생성형 AI에서 제공하는 서비스를 통해 비즈니스 역량을 강화하려는 시도를 하고 있다. 본 글에서는 생성형 AI와 대규모 언어 모델(이하 LLM)이 무엇이며 기업들은 이 서비스를 어떤 분야에 활용할 수 있는지 살펴보고자 한다. 생성형 AI는 신경망과 딥러닝 알고리즘을 사용하여 기존 머신러닝 모델과는 근본적으로 다른 복잡한 콘텐츠, 이미지, 동영상, 오디오 또는 코드를 생성하는 AI의 한 종류이다. 생성형 AI는 전통적인 머신러닝, 딥 러닝 모델보다 훨씬 많은 양의 데이터가 필요하다. 이렇게 훈련된 범용 모델을 파운데이션 모델이라고 한다. 파운데이션 모델을 개발하려면 방대한 양의 데이터와 고성능 컴퓨팅 리소스가 필요하기 때문에 일부 빅테크 회사만이 LLM 개발 및 개선 작업에 적극적으로 참여해왔다. 하지만 최근에는 오픈 소스 파운데이션 모델이 널리 공유돼 파운데이션 모델을 직접 개발하지 않아도 활용할 수 있게 되었다. 덕분에 일반 기업들도 '파인 튜닝'을 통해 LLM을 특정 도메인에 맞게 훈련시키고 자체 비즈니스 요건에 맞게 애플리케이션을 개발하여 사용할 수 있게 됐다. 파인 튜닝은 특정 비즈니스 요건이나 업무 도메인에 맞게 사전 훈련된 LLM에 특정 데이터셋을 사용해 추가적인 학습을 수행하는 작업을 말한다. 챗GPT의 성공 후, 이 시장에 뛰어든 후발 주자 빅테크 기업들은 경쟁력을 확보하기 위한 수단으로 자체 개발하는 LLM의 매개변수를 기하급수적으로 늘려 빠르게 성능을 올리는 전략을 채택했다. 매개변수는 사람의 뇌에서 정보를 처리하고 통합하는 시냅스와 같은 역할을 한다. 매개변수가 많을수록 LLM은 더 많은 정보를 저장하고 더 다양한 패턴을 학습함으로써 세밀한 언어 이해와 콘텐츠 생성을 할 수 있다. 하지만 더 많은 컴퓨팅 자원과 저장 공간이 필요하고 이 모델을 학습하는 데 더 많은 시간이 걸릴 수밖에 없다는 한계가 있다. 이에 반해 매개변수가 적은 LLM은 학습할 때 컴퓨팅 리소스가 덜 필요하기 때문에 파인 튜닝이나 배포가 상대적으로 용이하다. 최근에 공개되고 있는 대다수 LLM의 성능은 상향 평준화되고 있다. 특히 메타의 오픈소스 LLM인 '라마'가 다른 모델에 비해 상대적으로 적은 매개변수를 사용하면서 일정 수준의 성능을 보장한다. 이렇듯 모델 경량화와 최적화는 오늘날 LLM을 선택하는 데 중요한 기준으로 자리 잡았다. ■ LLM에 대한 이해 범용 LLM은 자연어와 컴퓨터 프로그램 언어를 이해할 수 있으며 광범위한 작업을 처리할 수 있다. 인터넷상에 존재하는 방대한 양의 데이터로 사전학습 되어 있으며, 모델 목적과 관련된 특정한 데이터 소스를 활용해 추가 학습할 수도 있다. 이러한 특성 때문에 LLM은 거의 모든 주제에 대한 문맥과 관련된 정보를 생성할 수 있다. 앞서 언급한 파운데이션 모델은 특정 도메인에 국한되지 않고 사용할 수 있는 생성형 AI 모델의 하나이다. 특정 작업이나 도메인 업무에 유용성을 높이기 위해 파운데이션 모델은 사용 목적에 맞게 전문화, 파인 튜닝 또는 수정이 가능하다. 일반적인 파운데이션 모델은 다음과 같이 구분할 수 있다. 작업에 특화된 LLM: 메타의 코드 라마와 같이 특정 업무 영역별 LLM은 프로그래밍 코드 작성과 같은 전문화된 작업에 특화됐다. 도메인에 특화된 LLM: 특정 주제나 산업에 생성형 AI 기술을 적용할 수 있다. 예를 들어, 의료 산업에 대해 학습한 엔비디아의 BioBERT는 제약 업계의 신약 개발과 관련한 논문을 이해하고 의료 문서에서 정보를 검색 및 추출할 수 있다. 앞서 살펴본 LLM은 법률, 미디어, 사이버 보안과 같은 다양한 분야의 도메인에 맞는 데이터를 통해 파인 튜닝될 수 있다. 이는 텍스트에만 국한되지 않으며, 오디오, 이미지, 동영상과 같은 다양한 멀티모달 콘텐츠 역시 생성할 수 있기 때문에 활용 분야는 굉장히 다양해질 수 있다. LLM이 문장뿐만 아니라 문맥을 이해할 수 있는 것은 데이터 세트를 다차원 공간에서 벡터 형식으로 변환한 단어를 활용하기 때문이다. 벡터 임베딩 기술은 자연어의 정량적 표현을 처리하고 저장하는 가장 효율적인 방법이다. 두 단어를 표현하는 벡터 간의 거리와 유사한 메트릭을 기반으로 데이터를 식별하고 처리함으로써 모델 내부에서 정보를 쉽게 비교·분석할 수 있고 정보 처리 시간 또한 크게 단축할 수 있다. 아래 그림과 같이 단어를 공간상의 벡터로 표현하고, 연관된 단어들을 인접한 곳에 배치함으로써 단어의 문맥적 언어를 이해하고 판단하는 것이다. 때문에 LLM 내부에서 벡터 데이터베이스를 사용하면 생성 및 추론 과정에서 AI 시스템이 관련 데이터를 빠르게 검색할 수 있으며, 검색, 추천, 텍스트 생성과 같은 다양한 용도로 활용할 수 있다. 또한, 검색증강생성(RAG), 벡터 유사성 검색(VSS)과 같이 문장을 맥락화하는 데 유용한 기술들이 백터 검색 기능으로 구동된다. 여기서 주목해야 하는 기술은 바로 RAG다. RAG는 맞춤형 데이터를 통해 LLM의 검색 정확도를 개선할 수 있는 프레임워크다. 파운데이션 모델은 광범위한 인터넷 정보를 기반으로 학습되었기 때문에 하나의 모델로 다양한 유형의 질문에 응답할 수 있지만, 학습되지 않은 데이터에 대한 질문을 받는 경우 오답을 할 확률이 높아진다. 기업 환경에서 사용하려는 LLM은 범용 데이터가 아닌 특정 도메인을 이해해야 하며, 이 도메인 정보를 기반으로 답변을 제공할 필요가 있다. 하지만 파운데이션 모델이 특정 도메인에 맞게 재학습하는 데는 비용이 너무 많이 들고 학습하는 시간도 오래 걸린다. 이 같은 문제를 해결하기 위해 RAG는 LLM이 사전에 학습한 데이터에만 의존하는 것이 아니라 질문받은 시점에 동적으로 관련된 데이터를 검색하고 증강된 문맥 속에서 답변을 생성한다. 이 과정을 거치면 답변 정확도가 크게 개선된다. 기업들은 RAG를 통해 LLM을 파인 튜닝하거나 사전 학습에 필요한 비용과 시간을 절약하고, 소량의 데이터만으로도 모델 정확도를 높일 수 있다. 다음 그림은 RAG로 파운데이션 모델의 정확도를 얼마나 효율적으로 개선할 수 있는가에 대한 연구 결과이다. ■ 기업 환경에서 활용할 수 있는 생성형 AI LLM은 콘텐츠 생성, 논리 추론, 언어 번역, 텍스트 검색, 프로그램 코드 생성, 콘텐츠 요약 및 검색 등을 주요 기능으로 삼는 수많은 고급 애플리케이션의 기반을 마련했다. 1. 콘텐츠 생성 간소화 생성형 AI는 텍스트, 사운드, 이미지 등 다양한 유형의 미디어를 생성하여 콘텐츠 제작을 간소화할 수 있다. 기업의 마케팅 부서에서는 캠페인 업무를 위한 맞춤형 이미지 제작을 포함해, 블로그, 기사, 소셜미디어 콘텐츠, 그리고 제품 설명 초안을 생성하는 데 활용할 수 있다. 다른 부서에서도 현업 사용자를 위한 챗봇 애플리케이션을 개발하거나 판매, CRM과 같은 고객 데이터를 활용해 고객 개인화 서비스 개선 또는 맞춤형 캠페인을 위한 콘텐츠 생성에 활용할 수 있다. 2. 논리적 추론 엔진으로 활용 AI 분야에서 자연어 이해는 인간의 복잡한 의사소통의 의미를 이해하는 데 사용된다. LLM은 제품 리뷰, 소셜미디어의 게시글, 고객 설문조사 결과와 같은 텍스트의 의미를 이해하고 콘텐츠 속 감정을 분석하거나 기타 복잡한 추론 작업에 활용될 수 있다. 3. 언어 번역 정확도 개선 다중 언어 간 번역 정확도를 높여 언어 장벽이 있는 사람들의 소통을 더 쉽게 도와준다. 4. 검색 및 요약 LLM은 방대한 양의 데이터를 사전 학습해 언어의 맥락을 파악하고 텍스트의 의미를 이해할 수 있다. 때문에 대규모 데이터베이스나 인터넷의 데이터를 검색하여 사용자 질문에 맞춤형 답변을 찾을 수 있다. 또한, 원래 데이터의 정보를 기반으로 간결한 요약본을 생성할 수 있다. 앞서 살펴본 생성형 AI와 LLM은 거의 모든 분야와 주제에 대해 사용할 수 있기 때문에, 개인 삶뿐만 아니라 업무 방식 역시 혁신적으로 변화시킬 수 있다. 이에 기업들은 생산성 향상, 프로세스와 수익성 개선 등을 위해 생성형 AI가 가진 엄청난 잠재력을 활용해 다양한 분야에서 적용 및 도입을 고려하고 있다. 하지만, 생성형 AI를 기업 환경에서 활용하기 위해서는 고려해야 할 사항이 많다. 지식재산권, 데이터 개인 정보 보호, 콘텐츠 오용 가능성 문제 등 지금껏 일반적으로 알려진 사항뿐만 아니라 '생성형 AI를 기업환경에 구축하기 위해 뒷받침되어야 할 것은 무엇인가', '어떤 업무에 적용할 것인가', '어떤 모델을 사용할 것인가', '투자 비용은 얼마가 적정한가'와 같이 다양한 현실적인 고민거리가 있을 수밖에 없다. 다음 글에서 기업에 AI, LLM 환경 구축을 지원하는 스노우플레이크의 신규 생성형 AI 기능을 소개하고자 한다. 생성형 AI의 잠재력을 극대화하기 위한 스노우플레이크의 비전을 통해 다양한 기업들의 고민을 해결할 수 있는 방안을 찾을 수 있을 것이다.

2024.04.22 09:48조성현

잡코리아, LLM 기반 자체 생성형 AI 솔루션 '루프' 출시

잡코리아는 LLM(거대언어모델) 기반 자체 생성형 AI 솔루션 '루프'(LOOP)를 출시했다고 22일 밝혔다. 자체 생성형 AI를 통해 더욱 정교한 매칭 기술로 인재와 기업을 연결시키겠다는 취지다. 루프 출시와 함께 새로운 로고도 공개했다. 잡코리아 브랜드 컬러와 같은 '블루'를 시그니처 컬러로 사용해 기존 브랜드 가치에 일관성을 더했다. '무수한 데이터와 정보의 바다 속을 유영한다'는 의미로 파동형태의 그래픽을 시각화한 것이 특징이다. 잡코리아는 다년간 쌓아온 업력과 지속적인 기술혁신으로 지난해부터 AI를 활용한 인재 매칭 서비스 '원픽', 자사 데이터 기반 커리어설계 서비스 '커리어첵첵' 등 다수의 서비스를 개발·운영하고 있다. 이 과정에서 쌓은 관련 노하우를 이번 잡코리아 루프에 적용했다. 특히 루프는 한국어 구인구직 LLM을 상용화해 이력서, 구인공고 등 HR 데이터를 활용함에 있어 더욱 정확하고 빠른 결과 산출이 가능하다는 강점을 보유하고 있다. 또 HR 도메인에 특화된 기능 위주로 개발돼 고객 서비스 활용에 최적화된 결과를 제공한다. 이번 루프는 기존 인재 추천 및 검색 서비스와 연계한 생성형 AI 서비스에 우선 적용될 예정이다. 이 외에도 자체 솔루션 운영을 통해 보안 위협으로부터 고객 개인정보보호와 데이터의 보안도 더욱 강화될 전망이다. ▲보안 ▲규정 준수 ▲ID ▲디바이스 관리 ▲개인정보 보호에 걸친 모든 환경을 보호한다. 또 기존 퍼블릭 LLM 운영 대비 인력 리소스를 줄이고, 전 기술분야에 업무 효율화와 비용 절감을 지원한다. 임지홍 잡코리아 데이터AI본부 상무는 "LOOP는 잡코리아의 AI 기술 노하우가 집약된 HR업계 최초 LLM AI 솔루션으로 오랜 시간 개발해 출시한 만큼, 완성도 높은 서비스를 선보이기 위해 노력하겠다"며 "향후에는 SaaS AI 솔루션과 결합해 다양한 사용자의 요구사항을 충족하는 차별화된 서비스와 매출 상승에 기여할 수 있는 새로운 비즈니스 모델을 구축할 예정"이라고 말했다. 잡코리아는 구직자의 니즈에 맞는 이력서 작성 및 관리, 데이터 분석 등 자체 AI 솔루션 기반 신규 서비스도 추진 중이다. 또 내부 구성원의 데이터 리터러시(Literacy, 문해력) 역량 강화를 위한 챗봇 서비스도 계획하고 있다. 지디넷코리아는 5월22일 강남구 봉은사로에 위치한 슈피겐홀에서 HR 담당자 대상의 'HR테크 커넥팅 데이즈' 세미나 행사를 연다. 이번 행사에는 리멤버(드라마앤컴퍼니)·잡플래닛(브레인커머스)·스펙터·블라인드·클랩(디웨일)·무하유(프리즘·몬스터)·잡코리아(나인하이어) 등 HR테크 분야 대표 기업들이 참여해 인적자원 관리(HRM)에 관한 최신 트렌드를 짚어보고, 데이터에 기반한 인사이트를 제시할 예정이다. 또 팀스파르타·데이원컴퍼니(패스트캠퍼스) 등 성인 교육 기업들도 참여해 인적자원 개발(HRD)에 필수인 '업스킬'과 '리스킬'에 대한 노하우도 풀어낼 계획이다. 이 밖에 HR 직무 현직자·노무 관련 전문 변호사 강연, 네트워킹 오찬 등이 마련될 예정이다. HR테크 커넥팅 데이즈 현장 참여를 원하는 HR 리더 및 임원은 [☞이곳]을 통해 사전 등록하면 된다. 사전 등록자 중 선정된 지원자들에게 4~5월 중 정식 초청장이 발송될 예정이다.

2024.04.22 08:47백봉삼

퀄컴 "메타 라마3 PC·스마트폰·차량서 구동 지원"

퀄컴은 19일 메타가 공개한 LLM(거대언어모델)인 라마3(Llama 3)를 스마트폰과 PC, VR/AR 헤드셋과 차량 등에서 직접 구동할 수 있도록 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 퀄컴은 지난 해 7월 라마2 최적화 지원에 이어 라마3 역시 스냅드래곤 기반 기기에 최적화 예정이다. 스냅드래곤 내장 퀄컴 AI 엔진을 활용한 직접 구동으로 응답 속도 향상, 프라이버시 보호, 개인화 경험을 기대할 수 있다. 두르가 말라디 퀄컴 기술, 기획 및 엣지 솔루션 부문 본부장은 "라마3를 이용해 개발자를 지원하고 AI 혁신을 촉진하는 메타의 개방형 접근에 뜻을 같이 한다"고 밝혔다. 이어 "퀄컴은 엣지에 위치하는 다양한 기기 접근성과 함께 온디바이스 AI 분야 리더십을 통해 라마 생태계를 넓히고, 고객과 협력사와 개발자가 혁신적인 AI 경험을 얻도록 할 것"이라고 덧붙였다. 퀄컴은 현재 100개 이상의 최적화 AI 모델을 지원하는 퀄컴 AI 허브를 통해 스냅드래곤 플랫폼에서 라마3를 구동하는 데 필요한 개발툴과 자원 등을 제공할 예정이다.

2024.04.19 09:51권봉석

"애플, iOS18부터 아이폰에 AI 기능 넣는다"

애플이 올 가을 출시할 예정인 차세대 아이폰 운영체제 'iOS 18'에 생성형 인공지능(AI) 기능을 탑재할 것으로 전망되는 가운데, 애플도 기기 자체에서 AI를 구동하는 '온디바이스 AI'를 적용할 것이라는 관측이 나왔다. 최근 블룸버그 통신은 애플이 iOS 18 업데이트를 통해 새로운 AI 기능을 기기 내에서 처리할 수 있도록 할 예정이라고 밝혔다. 미국 IT매체 애플인사이더는 소식통을 인용해 해당 보도가 정확하다는 정보를 받았다고 15일(현지시간) 보도했다. 보도에 따르면, iOS18에서 구동하는 기본 텍스트 분석 및 응답 생성 등의 기본적인 AI 기능은 인터넷 연결 없이도 작동하며, 클라우드 기반의 처리 없이 기기 자체에서 구동할 것으로 보인다. 애플은 작년 초부터 내부적으로 '에이젝스'(Ajax)로 알려진 대규모 언어모델(LLM)을 테스트해 온 것으로 알려졌다. 물론, 고급 AI 기능을 사용하려면 인터넷 연결이 필요하다. 애플은 자체 LLM 개발과 별개로 iOS 18에 생성형 AI 기능을 내장하기 위해 구글, 오픈AI과 협의한 것으로 알려졌다. 최근 AI 기능이 큰 주목을 받고 있는 가운데 AI 도구에 대한 일반 소비자들의 접근성이 높아지면서 법률 및 교육 분야에서 문제가 발생하고 있다. 하지만, 온디바이스 AI 프로세스는 클라우드를 통해 실행되는 AI 도구에서 발견되는 환각 현상 등 특정 논란들을 없애는 데 도움이 될 수 있다고 애플인사이더는 전했다. 또, 애플이 '에이젝스' LLM을 통해 클라우드 기반 AI 처리의 필요성을 없애고 텍스트 생성 품질을 개선함으로써 경쟁사 AI 서비스에 비해 이점을 얻을 수도 있다고 덧붙였다. 애플은 오는 6월 10일 개최되는 WWDC24 행사에서 iOS 18를 비롯한 향후 애플의 AI 전략을 공개할 예정이다.

2024.04.16 10:34이정현

"실제 체감 만족도 평가"…텍스트넷, 新서비스로 LLM 신뢰 높일까

인공지능 학습 데이터 구축 서비스 텍스트넷(TEXTNET, 법인명 스피링크)이 LLM의 신뢰를 높일 수 있는 서비스를 선보인다. 텍스트넷은 사용자 측면에서 언어모델을 평가하는 'LLM 사용성 평가 서비스'를 출시한다고 15일 밝혔다. LLM 사용성 평가는 벤치마크를 통해 측정하는 성능 평가와 달리 AI와 사용자가 나누는 대화 전반을 바탕으로 실제 사용자가 체감하는 만족도를 평가한다. 유창성, 정확성, 신뢰성 등의 지표를 바탕으로 생성형 AI 시스템의 결과물이 적절한지를 검토하는 것이 특징이다. 평가 지표는 3개의 대분류, 4개의 중분류, 12개의 소분류로 구성돼 LLM의 서비스 형태와 목적에 맞게 다양한 측면에서 평가가 가능하다. 또 LLM의 성능이나 사용자 만족도는 물론 평가 결과에 대한 면밀한 분석을 통해 당장 적용이 가능한 개선 방안부터 데이터 차원의 근본적인 개선 방안까지 제공받을 수 있다. 프로젝트 초반 서비스 형태와 목적, 주요 기능과 사용자 특성 등을 살펴 기본 평가 지표를 커스터마이징해 적용하기 때문에 높은 평가 신뢰도를 기대할 수 있다. 국내 유일 텍스트 데이터 설계 및 구축 전문 서비스인 텍스트넷은 실무 인력의 80% 이상이 언어 전문가로 구성돼 있다. 특히 AI와의 상호작용 강화를 목적으로 지속적인 R&D를 진행, 사용자가 선호하는 AI 에이전트 발화 특성을 비롯해 목적 달성을 위한 AI 대화 전략 등을 연구해 왔다. 텍스트넷은 이러한 역량을 바탕으로 지난 1월 유력 통신사와의 AI 서비스 사용성 평가 프로젝트를 성공적으로 완료한 바 있다. 이 외에도 국내 대기업 대고객 챗봇을 사용자 중심으로 개선하는 컨설팅 프로젝트를 3년 연속 수주했다. 고경민 텍스트넷 대표는 "일상 속에 AI가 자리하게 되면서 사람들은 좀 더 자연스러운, 계속 대화하고 싶은 AI를 찾게 될 것"이라며 "AI 기반 서비스를 운영하는 기업에게는 고객 커뮤니케이션과 충성도의 바로미터인 AI 사용성이 벤치마크 성능 만큼이나 중요한 지표"라고 말했다.

2024.04.15 16:14장유미

"우리 조직에 맞는 LLM 찾아줍니다"···다음달 22일 전문가 세미나

AI열풍 속에 기업과 교육, 공공 시장 등에 최적화한 거대언어모델(LLM, Large Language Model)인 이른바 '엔터프라이즈 LLM' 시장도 달아오르고 있다. 엔터프라이즈라 불리는 이들 수요처의 관심이 높아지고 있는 가운데 벤더(솔루션 공급사)들도 잇달아 제품을 내놓고 있다. 하지만 엔터프라이즈 LLM을 도입하려는 수요처는 관심은 크지만 어디서부터 어떻게 해야 할 지 모르는 실정이다. 여기에 데이터 프라이버시와 보안, 정확성, 신뢰성, 통합 등 여러 문제도 고민해야 한다. 기업의 이런 고민을 해결 해 줄 '엔터프라이즈 LLM 세미나'가 다음달 22일 열린다. 투이컨설팅(대표 김인현)과 트러스트커텍터(대표 윤석빈)는 오는 5월 22일 오전 10시~오후 6시 서울 강남 뱅뱅사거리 인근 드림플러스 이벤트홀(지하 1층)에서 '우리 조직에 맞는 엔터프라이즈 LLM'을 주제로 유료 세미나를 개최한다고 11일 밝혔다. 본격적인 생성AI 시대를 맞이해 기업도 자체 AI서비스를 제공하기 위해 소형언어모델(sLLM)을 구축하려는 움직임이 늘고 있다. 하지만 데이터 유출 등 보안 문제와 비싼 API 사용료, 복잡한 인프라 구축, 내부 시스템 연계 어려움 등 여러 이슈로 도입이 지연되거나 시험테스트(PoC) 형태로만 진행되고 있는 것이 현실이다. ■ 엔비디아 본사서 H100개발 경험 한국 개발자 스테펀 조가 영상으로 인사이트 제공 이번 세미나는 챗GPT의 환각(hallucination) 문제를 해결하고 회사 내부 데이터를 sLLM에 연결하는 효과적인 방법과 sLLM 도입 시 발생하는 각종 이슈를 어떻게 해결할 수 있는 지에 대한 현실적인 방안을 모색하기 위해 마련했다. 국내 정상급 AI 전문가들이 한자리에 모여 세션 발표와 패널 토의를 한다. 특히 엔비디아 본사에서 H100 GPU 개발에 참여한 한국 개발자인 스테펀 조(Stephen Cho)가 영상을 통해 인사말과 함께 최근 주목받는 AI 반도체와 생성 AI에 대한 통찰(인사이트)을 제시한다. 행사 첫 번째 발표는 한국마이크로소프트(한국MS) 이건복 상무가 '생성AI 동향과 엔터프라이즈 LLM 구현'을 주제로 발표, 최근 생성AI 시장에 대한 주요 현안을 설명하고 기업 대상 엔터프라이즈 LLM 구축과 활용 사례를 제시한다. 이어 래블업 신정규 대표가 '우리 조직에 맞는 엔터프라이즈 LLM 구축 방안'을 주제로 발표하고 셀렉트스타 황민영 부대표는 '엔터프라이즈 LLM 도입 전략:빅테크 vs. 오픈소스'를 주제로 빅테크와 오픈소스 LLM 도입 시 장단점 분석과 우리 기업에 맞는 효과적인 도입 전략을 소개한다. 또 BI매트릭스 배영근 대표가 '엔터프라이즈 LLM:LCNC 적용 사례와 활용 전략'을 주제로 담당자가 AI와 대화를 하듯이 기업 데이터베이스에서 데이터를 조회하고, 이를 바탕으로 노코드 로코드로 AI 서비스를 개발한 실제 적용 사례를 설명한다. ■ KAIST 장동인 교수 등 참여 전문가 패널 토의서 심도있는 대안 제시 오후 세션에서는 트러스트커넥터 대표 겸 서강대 특임 교수인 윤석빈 대표 사회로 펑션투웰브 박승호 대표, KAIST 장동인 교수, T3Q 박병훈 대표 등이 참여해 '엔터프라이즈 LLM 도입시 발생 이슈와 해결 방안'을 주제로 50분 동안 패널 토의를 벌인다. 패널 토의에서는 엔터프라이즈 LLM 도입 필요성과 기존 시스템과의 연계 방안, 인프라, 비용 등에 대한 내용이 심도있게 다뤄질 예정이다. 패널 토의 이후에는 유엔진 솔루션즈 장진영 대표가 '엔터프라이즈 LLM 활용한 비지니스 프로세스 관리 혁신 상세 방안'을 또 포티투마루 김동환 대표가 '언어 인공지능 상용화 사례 및 RAG, LLM 도입 전략'을, 법무법인 디엘지 조원희 대표 변호사가 'EU AI 법이 국내에 미치는 영향'을 주제로 각각 발표한다. 세미나를 주최한 투이컨설팅 김인현 대표는 "기업용 sLLM의 중요성이 강조되는 최근 추세와는 달리 국내 기업이 이를 어떻게 도입하고 활성화할 방법은 아직 미미하다"면서 "세미나 이후에도 학계 및 업계 전문가들과 함께 생성AI 시대에 부합하는 LLM 도입 및 활성화 방안을 고민하고 투이컨설팅 유튜브 채널인 '투이톡(youtube.com/@2eTalk)'을 통해 내용을 공유하겠다”고 밝혔다. 세미나 참가 신청은 트러스트커넥터 홈페이지(www.trustconnector.site)에서 하면 된다. 1차 등록 마감은 이번달 30일까지다. 한편 투이컨설팅(대표 김인현)은 1996년 3월 설립이래 대한민국의 대표 기업들에게 차세대 시스템 구축, 데이터 통합, 정보전략계획, 프로세스 혁신, 소프트웨어 아키텍처, 프로젝트 관리, IT거버넌스, 엔터프라이즈 아키텍처, 비즈니스 프로세스 관리 등의 선진 서비스를 제공해왔다. 김 대표는 "어제보다 더 나은 미래를 제시하고 고객 성공을 위해 실질적인 대안을 제시하며 고객과 함께 성과를 만들어가는 지식 전문가 집단"이라면서 "해외의 베스트 프랙티스를 국내 기업에 단순 적용하는 차원을 넘어 국내 기업의 비즈니스 환경과 업무 프로세스에 대한 깊은 이해와 통찰 그리고 선진 기업의 프로젝트 경험에서 우러나온 콘텐츠 능력을 바탕으로 고객 문제를 가장 적절하게 해결하는 IT 컨설팅 서비스를 제공하고 있다"고 말했다. 공동 주관사인 트러스트커넥터(대표 윤석빈)는 자체 보유한 AI 알고리즘 및 B2B 컨설팅 역량을 활용해 수요처와 공급처 간 서비스를 매칭하는 '생성형 AI Business Matching' 서비스를 제공하고 있다. 윤 대표는 "고객이 서비스 요청 사항을 등록하면, AI 기술 회사는 해당 고객의 요구 사항에 맞는 공급처를 제공한다"면서 "이 서비스 역할을 AI 기술회사가 수행함으로써 고객 요청에 따른 새로운 해결책을 제안해 준다"고 밝혔다.

2024.04.11 11:13방은주

디노도, 구글클라우드와 생성형 AI 통합 발표

디노도테크놀로지(이하 디노도)는 구글클라우드와 파트너십의 일환으로 데이터 통합, 관리 플랫폼인 디노도 플랫폼과 구글 클라우드의 버텍스 AI를 새롭게 통합한다고 11일 밝혔다. 디노도는 데이터 가상화 기술을 기반으로 구글 클라우드와 협력해 논리적 데이터 관리 기능을 생성형 AI 서비스와 결합하고 최신 대규모언어모델(LLM)을 활용할 수 있도록 지원할 계획이다. 오늘날 기업은 금융 서비스, 의료, 제조, 소매, 통신, 고등 교육 등 산업 전분야에 걸쳐 생성형 AI를 활용한 비즈니스 혁신 방안을 적극적으로 찾고 있다. 이번 양사의 플랫폼 통합으로 기업은 제미나이 모델을 이용해 혁신적인 신규 서비스와 애플리케이션을 개발할 수 있게 돼 실질적인 변화를 추진할 수 있게 된다. 구글클라우드는 인프라 플랫폼, 산업 솔루션 및 전문성을 결합해 기업 비즈니스의 디지털 혁신 역량을 강화한다. 기업은 구글 클라우드의 생성형 AI 및 LLM 기술과 결합한 디노도 플랫폼을 활용해 자사의 데이터를 안전하고 효율적으로 버텍스 AI 애플리케이션에 제공함으로써 편향성 완화, 개인정보 보호 및 인적 오류 등 윤리적 고려사항을 책임감 있게 지킬 수 있다. 리티카 수리 구글클라우드 기술파트너십부문 이사는 “생성형 AI는 비즈니스 운영 방식을 현저하게 개선하고 사실상 모든 산업에 이익을 제공할 수 있다”며 “디노도는 구글 클라우드의 선도적인 생성형 AI 기능을 활용함으로써 고객이 데이터 운영을 개선하고 생산성을 향상하는 데 도움이 되는 새로운 인사이트를 확보할 수 있도록 지원할 수 있게 됐다”라고 밝혔다 . 나라얀 순다르 디노도 전략적 제휴 담당 선임 이사는 “다양한 산업 분야의 기업들이 디노도의 논리적 접근방식을 통해 데이터를 통합 및 관리하고, 사전에 훈련된 LLM 과 외부 데이터 소스를 결합한 RAG 기술을 적용할 수 있다”며 “양사의 이번 플랫폼 통합은 데이터와 생성형 AI의 강력한 힘을 기반으로 새로운 차원의 비즈니스 가치를 실현함으로써 기업이 혁신의 한계를 재정의할 수 있는 계기를 제공한다”고 강조했다. 그는 “구글클라우드의 오랜 파트너인 디노도는 신뢰할 수 있고 연관성 있는 데이터를 쿼리하고, 비즈니스 인사이트를 제공하는 섬세한 응답을 생성할 수 있도록 함으로써 LLM의 기능을 개선한다” 고 덧붙였다.

2024.04.11 10:17김우용

네이버, 인텔과 AI 동맹…한국에 공동연구소 만든다

네이버와 인텔이 생성 인공지능(AI) 생태계 확대를 위한 공동 연구소 설립한다. 또한 두 회사는 인텔 AI칩인 가우디2 성능 평가, LLM(거대언어모델) 인스턴스 제공을 위해 협력하기로 했다. 엔비디아가 장악하고 있는 AI 반도체 시장에서 경쟁력을 확보하기 위해 두 회사가 손을 잡은 것이다. 9일(현지시간) 미국 애리조나 피닉스에서 열린 '인텔비전 2024' 기조연설에서 팻 겔싱어 인텔 최고경영자(CEO)는 네이버와의 협력 소식을 알렸다. 겔싱어 CEO는 관중들에게 "네이버를 아느냐"고 물으며 "몇 년 전까지는 네이버에 대해 몰랐지만, 아시아에서 엄청난 규모의 AI모델을 구축한 대단한 회사”라고 설명했다. 이어 최수연 네이버 CEO가 영상을 통해 회사를 소개하며 "네이버는 세계에서 3번째로 자체 하이퍼스케일 생성형 AI 모델을 공개했다”며 "인텔과 AI 칩 생태계를 만들어 나가는 것이 기대된다"고 말했다. 곧바로 하정우 네이버 퓨처AI센터장이 등장해 네이버 AI 비전을 추진하기 위해 인텔의 '가우디2'를 활용해 LLM을 개발하겠다고 밝혔다. 하 센터장은 “인텔의 가우디는 LLM 훈련과 추론에 있어 가장 유망하고 경쟁력 있는 선택지”라며 "가우디 생태계를 확장하기 위해 네이버에 연구소를 만들었다"고 발표했다. 그러면서 "기업이나 공공 등 고객을 위한 LLM 훈련용 상용 클라우드 서비스에 가우디 2 기반 인프라를 활용할 계획"이라고 덧붙였다.

2024.04.10 23:10안희정

GPT-3.5, 스트리트파이터3로 GPT-4 꺾었다

오픈AI의 GPT-3.5 터보가 GPT-4 등 상위 인공지능(AI) 모델을 꺾고 스트리트파이터3 챔피언에 올랐다. 14개 대규모언어모델(LLM)들이 각축을 벌인 스트리트파이터3 게임 대회에서 'GPT-3.5'가 우승을 차지했다고 PC게이머 등 외신들이 최근 보도했다. 보도에 따르면 미국 샌프란시스코에서 개최한 미스트랄 AI SF 해커톤에서 LLM간 이벤트 매치가 열렸다. 비디오게임 스트리트파이터3를 학습해 치러진 이번 대회는 LLM이 실제 업무에서 어떤 성과를 낼 수 있는지 시각적으로 확인할 수 있도록 마련됐다. 단기간에 치러진 대회인 만큼 학습시간을 줄이기 위해 캐릭터는 켄으로 제한됐다. 승부에 참여한 LLM은 화면을 인식할 수 있도록 텍스트 설명이 제공되며 캐릭터와 상대의 동작 그리고 양쪽의 체력바를 학습해 대회가 치러졌다. 오픈AI의 GPT-3.5 및 GPT-4과 다양한 버전의 미스트랄 LLM 등 총 14종의 LLM이 경합을 벌인 결과 GPT-3.5 터보버전이 최종 우승을 차지했다. 이어서 미스트랄 스몰 파이널버전이 뒤를 이었다. 기본 성능이 더 높은 GPT-4와 미스트랄 AI 상위 모델이 오히려 하위권을 기록해 눈길을 끌기도 했다. 이에 대해 미스트랄 AI의 운영진은 각 AI가 갖는 특성이 게임에 영향을 미쳤다고 설명했다. 모델의 크기가 작으면 대기 시간과 속도에 이점을 가질 수 있는 만큼 게임에서 유리해질 가능성이 크다는 설명이다.

2024.04.08 14:11남혁우

김우승 크라우드웍스 대표 취임..."신뢰할 수 있는 AI 구축"

김우승 크라우드웍스 신임 대표가 정식 취임했다. 크라우드웍스는 정기주주총회에서 김우승 대표 선임 안건을 승인했다고 3일 밝혔다. 김우승 대표는 취임 후 가진 첫 타운홀미팅에서 임직원들과 회사 비전을 공유했다. 김 대표는 "챗GPT 등장 이후 AI 모델 기술력이 상향 평준화되면서 AI 발전은 결국 데이터가 결정하게 될 것"이라며 "크라우드웍스는 국내 최고 수준의 AI 데이터 지식을 갖춘 기업으로, 데이터 전문가가 개발한 엔터프라이즈 AI 비즈니스로 새로운 성장 스토리를 만들어갈 것"이라고 말했다. 크라우드웍스는 신임 대표 취임과 함께 회사 사업 방향을 담은 신규 캐치프레이즈 'Trustworthy AI built on your data'도 공개했다. 기업의 핵심 자산인 '데이터'를 바탕으로 '신뢰할 수 있는 AI'를 구축하는 최고의 AI 테크 기업으로 확고히 자리매김한다는 목표를 담았다. 크라우드웍스는 데이터 전문역량과 경쟁력을 기반으로 거대언어모델(LLM) 사업 확장에 박차를 가할 계획이다. 지난해 하반기부터 파운데이션 모델을 활용한 기업 맞춤형 LLM 개발 레퍼런스를 빠르게 확보하며 생성형AI 시장 선점에 나섰다. 기업들의 성공적인 LLM 도입을 위한 전략 컨설팅부터 데이터 구축 및 자산화, RAG와 파인튜닝 등을 통한 LLM 모델 구축, 레드팀 서비스까지 'LLM Service' 사업 부문 포트폴리오를 강화하며 사업 성장에 시너지를 만들고 있다. 크라우드웍스는 상반기 신임 대표 취임과 함께 데이터 솔루션 고도화, LLM 상품 출시 등을 추진하며 올해 지속 성장을 가속화할 방침이다. 김우승 크라우드웍스 대표는 삼성전자, SK텔레콤, SK플래닛 등을 거친 ICT 전문가로 줌인터넷에 CTO로 합류해 대표까지 역임하며 2019년 코스닥 상장을 이끌었다. 2021년부터는 대교에 CDO로 영입돼 디지털 전환에 중추적 역할을 맡았고, 동시에 대교와 메가존클라우드 합작사 디피니션 대표를 겸직했다.

2024.04.03 09:04백봉삼

HPE 아루바, 생성형 AI 기능으로 AI옵스 기능 강화

HPE는 클라우드 네이티브 네트워크 관리 솔루션인 'HPE 아루바 네트워킹 센트럴'에 다양한 생성형 AI 대규모 언어 모델(LLM)을 통합해 AI옵스 네트워크 관리 기능을 확장했다고 28일 밝혔다. HPE는 미국 네트워크 전문기업 버라이존 비즈니스가 자사 고객에게 보안 중심의 인공지능(AI) 기반 네트워킹을 제공할 수 있도록 HPE 아루바 네트워킹 센트럴을 자사 관리형 서비스 포트폴리오에 추가하며 서비스를 확대한다고 발표했다. 다른 생성형 AI 네트워킹의 접근 방식은 단순히 퍼블릭 LLM에 API 호출을 보내는 방식인 반면, HPE 아루바 네트워킹 센트럴의 새로운 독립형 LLM 모델 세트는 혁신적인 사전 처리 및 가드레일을 통해 검색 응답 시간, 정확성 및 데이터 프라이버시에 중점을 두고 사용자 경험과 운영 효율성을 개선하도록 설계됐다. 대규모 데이터레이크를 보유한 HPE 아루바 네트워킹은 약 400만 개의 네트워크 관리형 디바이스와 10억 개 이상의 고유 고객 엔드포인트에서 텔레메트리를 수집하며, HPE 아루바 네트워킹 센트럴의 예측형 애널리틱스 및 제안용 머신러닝 모델은 이를 기반으로 구동된다. 이러한 새로운 생성형 AI LLM 기능은 HPE 아루바 네트워킹 센트럴의 AI 검색 기능에 통합되어 포트폴리오 전반에서 기존 머신러닝(ML) 기반 AI를 보완함으로써 더 깊은 인사이트를 도출하고 더욱 향상된 애널리틱스 기능 및 선제적인 대응 역량을 제공한다. HPE 아루바 네트워킹은 개인 및 고객 식별 정보(PII/CII) 보안을 최우선으로 하는 접근방식을 바탕으로 AI를 안전하게 활용하기 위한 노력을 지속하고 있으며, LLM은 HPE 그린레이크 클라우드 플랫폼에서 실행되는 HPE 아루바 네트워킹 센트럴 내에서 샌드박스화 됐다. HPE 아루바 네트워킹 센트럴은 네트워크 운영 관련 질문에 1초 내로 신속하게 응답하며, PII/CII 데이터를 제거하고 검색 정확도를 개선하는 목적 기반 LLM을 활용해 고객 데이터 보안을 보장한다. 이에 더해, 생성형 AI 모델용 HPE 아루바 네트워킹 훈련 세트는 다른 클라우드 기반 플랫폼보다 최대 10배 더 크고, 공개 도메인에서 가져온 HPE 아루바 네트워킹의 소스 문서들과 지난 다년간의 운영과정에서 수집한 300만개 이상의 고객 문의사항을 포함하고 있다. 미국 네트워크 전문기업 버라이존 비즈니스와 HPE는 기업 고객들이 네트워크 및 애플리케이션 성능을 개선해 사내 IT 리소스에 부담을 주지 않으면서 보다 민첩하고 예측 가능한 결과를 얻을 수 있도록 협력해왔다. 전 세계 150여 개국에서 30년 이상 축척한 4,500개 이상의 고객 네트워크 관리 경험을 바탕으로한 버라이존 관리형 서비스에는 이제 HPE 아루바 네트워킹 센트럴이 포함되어 제공된다. 생성형 AI LLM 기능이 추가됨에 따라 버라이존 고객들은 새로운 기능을 활용할 수 있게 되었다. 스콧 로렌스 버라이존 비즈니스 글로벌 솔루션 수석 부사장은 “네트워크 관리 솔루션을 평가할 때 우리는 플랫폼이 확장성, 보안성 및 전반적인 운영 경험을 갖추었는지 살펴본다”며 “HPE 아루바 네트워킹 센트럴의 생성형AI LLM 기능을 도입했다는 것은 버라이존의 혁신에 대한 지속적인 관심과 고객에게 이러한 기능들을 관리형 서비스로 제공하겠다는 우리의 확고한 결심을 나타낸다”고 강조했다. 2014년 출시된 이래로 HPE 아루바 네트워킹 센트럴은 유무선 LAN, WAN, IoT 전반에 걸쳐 네트워크의 구성, 관리, 모니터링, 문제 해결을 위한 강력한 기능을 제공하는 동시에 네트워크 운영의 수명 주기 전반에 걸쳐 이러한 기능을 통합해왔다. HPE 아루바 네트워킹 센트럴은 파운데이션 유형 및 고급 유형으로 구성된 2단계 라이선싱 모델을 연간 구독 방식으로 이용할 수 있는 SaaS 제품이다. 새로운 생성형 AI LLM 기반 검색 엔진은 HPE의 회계연도 기준 2024년 2분기에 제공될 예정이며 모든 라이선스 유형에 포함돼 제공된다. HPE 아루바 네트워킹 센트럴은 독립형 SaaS 제품으로도 제공되지만, 네트워킹용 HPE 그린레이크 구독 모델을 활용해 NaaS 방식으로 HPE 그린레이크 플랫폼을 통해 이용할 수 있다. 데이빗 휴즈 HPE 아루바 네트워킹 최고 제품 책임자는 “현대 네트워킹 고객은 중요 인프라에 대한 보안 중심의 AI 기반 인사이트를 필요로 하고, HPE는 바로 이러한 서비스를 제공하는 기업”이라며 “HPE는 대담한 노력과 함께 HPE 아루바 네트워킹 센트럴의 새로운 접근방식을 통해 다양한 LLM 모델을 배포함으로써 AI 혁신을 이어 나가고 있다”고 밝혔다.

2024.03.28 12:57김우용

데이터브릭스, 범용 대형언어모델 'DBRX' 출시

데이터브릭스가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 출시했다. 데이터브릭스는 기업의 자체 밤줌형 LLM을 구축, 학습시킬 수 있는 LLM 'DBRX'를 오픈소스로 28일 공개했다. DBRX는 모든 기업을 위해 맞춤형 고성능 LLM의 학습과 튜닝을 보편화한다. 조직은 DBRX를 통해 더 이상 소수의 폐쇄형 모델에 의존하지 않아도 된다. DBRX는 오늘부터 바로 사용 가능하며, 전 세계 조직은 비용 효율적으로 자체 맞춤형 LLM을 구축, 교육 및 서비스할 수 있다. DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 라마2 70B 및 믹스트랄 8x7B와 같은 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다. DBRX는 여러 벤치마크에서 GPT-3.5의 성능을 능가한다. 모델 평가와 성능 벤치마크에 대한 보다 자세한 정보, 그리고 DBRX가 SQL과 같은 내부 사용 사례에서 GPT-4 품질 대비 어떤 경쟁력을 제공하는지에 대한 자세한 정보는 모자이크 리서치 블로그에서 확인할 수 있다. 데이터브릭스는 효율성을 위해 메가블록스의 오픈소스 프로젝트에 기반한 전문가 혼합(MoE) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM대비 최대 2배 높은 컴퓨팅 효율 등 최고의 성능을 갖추고 있다. 또한 DBRX는 주어진 시간에 360억 개의 매개변수만 사용한다. 하지만 모델 자체는 1천320억 개 파라미터이므로 속도(토큰/초) 대 성능(품질) 측면에서 두 마리 토끼를 모두 잡을 수 있다. DBRX는 모든 기업이 커스터마이징할 수 있는 투명한 생성형 AI로 오픈소스 모델의 새로운 기준을 제시한다. 최근 미국 VC 기업 안드레센 호로위츠가 발표한 조사 결과에 따르면 AI 리더의 약 60% 가 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 모델의 성능과 거의 일치할 경우, 오픈소스로 전환하는데 관심을 보이는 것으로 나타났다. 2024년 이후에는 상당수의 기업이 폐쇄형에서 오픈소스로 전환할 것으로 예상되며, 데이터브릭스는 DBRX가 이러한 추세를 더욱 가속화할 수 있을 것이라고 확신한다. DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합돼, 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다. DBRX는 깃허브와 허깅페이스에서 연구 및 상업적 용도로 무료로 사용 가능하다. 기업은 데이터브릭스 플랫폼에서 DBRX와 상호 작용하고, 검색 증강 생성(RAG) 시스템에서 긴 문장(context) 기능을 활용하며, 자체 고유 데이터에서 맞춤형 DBRX 모델을 구축할 수 있다. AWS와 구글 클라우드,, 마이크로소프트 애저 등에서도 직접 사용할 수 있다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “데이터브릭스는 데이터와 AI를 보편화하겠다는 사명 아래 모든 기업에 데이터 인텔리전스를 제공하여 그들이 보유 중인 데이터를 이해하고 이를 활용하여 자체적인 AI 시스템을 구축할 수 있도록 지원하고 있다”며 “DBRX 출시는 이러한 노력의 결과물”이라고 밝혔다. 그는 “DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가하고, 대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로, 우리는 독점 모델을 오픈소스 모델로 대체하는 추세가 고객 기반 전반에 걸쳐 가속화될 것으로 기대된다”며 “DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이므로, DBRX는 오픈소스 LLM의 새로운 기준을 제시하며, 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공해 준다”고 덧붙였다. 데이터브릭스는 오는 4월 26일 한국시간으로 오전 12시 DBRX 웨비나를 개최할 예정이다.

2024.03.28 11:24김우용

"AI 모델 순위 매기는 '리더보드'는 과장됐다"

인공지능(AI) 언어모델의 성능을 측정해 순위를 매기는 리더보드 점수가 과장됐다는 지적이 이어지고 있다. 기업들이 임의로 데이터를 조정해 모델 점수를 높여 이를 홍보나 투자 유치를 위한 수단으로 활용한다는 이유에서다. 최근 기업들은 자사 거대언어모델(LLM)이나 소형언어모델(SLM) 성능이 오픈AI의GPT-4를 뛰어넘었다는 소식을 전하고 있다. 기준은 깃허브나 허깅페이스, 오픈 Ko-LLM 리더보드 순위다. 오픈 Ko-LLM 리더보드는 한국지능정보사회진흥원(NIA)과 업스테이지가 지난해 구축한 한국어 전용 리더보드다. 개발사가 리더보드에서 모델 등수를 받으려면 몇 가지 과정을 거쳐야 한다. 우선 모델은 벤치마크 테스트를 받는다. 벤치마크는 특정 작업에서 모델 성능을 비교하는 테스트다. 이를 통해 모델은 점수를 받는다. 점수에는 답변 정확성, 속도, 견고성 등으로 이뤄졌다. 모델은 이를 기반으로 리더보드에서 순위가 매겨진다. "답안지 보고 문제 푸는 셈...기업 홍보·투자 유치 수단" 국내 전문가들도 기업들이 평가 과정 틈새를 이용해 모델 벤치마킹 점수와 리더보드 순위를 조작하고 있다고 입을 모았다. 익명을 요청한 국내 AI 기업 대표는 "개발사가 모델에 학습데이터가 아니라 이미 테스트를 거친 공개 평가데이터를 입력해 점수와 등수를 올린다"고 지적했다. 그는 "마치 모델이 시험 답안지를 한번 훑고 문제를 푸는 것과 같은 것"이라며 "당연히 벤치마크 점수와 리더보드 순위가 급상승할 수밖에 없다"고 덧붙였다. 한 국내 대학 연구원은 "보통 벤치마크에서 동일한 질문을 여러 모델에 물어봐야 성능 평가가 가능하다"며 "같은 질문을 했을 때 나오는 답변 수준에 따라 리더보드 순위가 매겨지기 때문"이라고 설명했다. 연구원은 "AI 개발사들은 타사 모델이 답했던 데이터를 단순 참고용으로만 활용해야 하는데, 이를 아예 자사 모델에 집어넣는 행태를 취하고 있다"고 악용 사례를 지적했다. 그는 "현재 벤치마크 종목도 공개된 상태"라며 "개발사는 평가 데이터를 모델에 넣지 않아도, 벤치마크 종목과 유사한 데이터를 생성할 수는 있다"고 설명했다. 모델이 벤치마크 종목 데이터를 집중 학습함으로써 점수를 올릴 수 있는 셈이다. 이런 상황은 해외서도 발생했다. 앞서 마이크로소프트는 SLM '파이-1'이 리더보드에서 오픈AI의 GPT-3.5를 능가했다고 발표한 바 있다. 당시 미국 개발자들은 해당 모델을 직접 테스트한 후 점수가 과장됐다고 지적했다. 이를 증명하는 논문까지 발표된 바 있다. 개발사들이 자사 모델에 '리더보드 1위' 이름표를 붙이려는 이유는 따로 있다. 모델 홍보 효과와 투자 유치에 유용한 수단이기 때문이다. 업계 관계자는 "기업이 자사 LLM을 리더보드 상위권에 올리면 해당 기업 주가도 덩달아 오른다"며 "추후 투자자들에게도 이를 적극 어필한다"고 설명했다. 그는 "투자가 급하거나 주식 상승 효과를 보고 싶은 기업이 리더보드를 통해 자사 모델 홍보를 하는 추세"라며 "돈 있는 기업이거나 AI 전문가들은 리더보드에 관심 없다"고 했다. 업스테이지 "해당 현상 알고 있어…조치 논의 중" 지난해부터 NIA와 오픈 Ko-LLM 리더보드를 운영하는 업스테이지도 해당 현상을 인지하고 있다고 밝혔다. 업스테이지 관계자는 "벤치마크 항목은 공개 정보"라며 "개발자는 유사 데이터를 생성할 수 있어 악용 사례가 나올 수밖에 없는 구조"라고 설명했다. 기업이 모델 학습 범위를 평가데이터로만 한정해 점수만 올리려는 '오버피팅'이 가능한 셈이다. 다만 "자사 리더보드는 프라이빗 데이터셋으로 운영된다"며 "개발사가 평가 데이터를 직접 넣을 순 없다"고 덧붙였다. 관계자는 "최근 기업들이 오버피팅으로 모델 점수와 순위를 높이는 상황을 알고 있다"며 "이는 리더보드 생태계 취지와 부합하지 않는다"고 했다. 그는 "업스테이지는 내부적으로 오버피팅을 비롯한 유사 데이터 생성 방지를 막기 위해 징벌 조치를 논의하고 있다"며 "NIA와 상의를 통해 리더보드 평가 과목, 방식을 전면 교체함으로써 악용 사례를 막을 계획"이라고 말했다.

2024.03.26 14:50김미정

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

"기업의 실질적 생성형 AI 활용은 통합에 달렸다"

“오라클의 AI 솔루션은 생성형 AI와 기업 데이터 플랫폼을 유기적으로 연계하는데 초점을 맞추고 있다. 오라클은 '통합'에 주목한다. 기업이 그동안 투자해온 데이터 플랫폼, 다양한 도구, 프로그래밍 언어 등을 그대로 활용하면서 동시에 생성형 AI란 최신 기술을 개방형으로 구축, 활용하게 지원한다.” 나정옥 한국오라클 클라우드엔지니어링 부사장은 21일 '최신 AI 트렌드와 오라클의 AI 전략'을 주제로 기자 간담회에서 이같이 밝혔다. 나정옥 부사장은 “현재 비즈니스의 핵심이 '데이터'에서 AI 기반 '분석'으로 변화하고 있는 가운데, 오라클은 기술 스택 전반의 모든 레이어마다 AI 솔루션을 제공하는 '풀 스택' 전략을 통해 기업 AI 여정을 촉진한다”고 말했다. 나 부사장은 “오라클은 생성형 AI 모델의 학습과 운영에 필요한 비용효과적인 클라우드 인프라, AI 앱 개발을 위한 완전관리형 서비스, 신뢰성 있는 관리형 AI 모델 등을 갖췄고, 오라클의 모든 애플리케이션에 AI를 내장시켰다”며 “AI 시대를 맞아 데이터 수집, 전처리, 저장, 분석, 활용에 이르는 전단계를 지원한다”고 강조했다. 오라클은 완전하고 통합된 데이터 및 AI 포트폴리오의 일부로서 ▲AI 인프라 ▲애플리케이션 ▲AI 서비스 ▲데이터 플랫폼과 유기적으로 작동하는 오라클 클라우드 인프라스트럭처(OCI) 생성형 AI 서비스 등을 제공한다. 오라클의 최신 생성형 AI 기술 및 서비스를 살펴보면, 애플리케이션은 생성형 AI를 내재화한 퓨전 애플리케이션을, AI 서비스는 라마 2와 코히어 등의 LLM 미세조정 및 추론 서비스 및 데이터 플랫폼과 결합 가능한 검색 증강 생성(RAG) 서비스를 제공한다. 데이터 플랫폼은 AI를 내장한 자율운영 데이터베이스와 마이SQL 히트웨이브 및 오라클 데이터베이스 23c의 벡터 검색 지원 기능 등을 제공한다. OCI 생성형 AI 서비스는 OCI 슈퍼클러스터와 통합을 기반으로 하며, 기업이 자체 데이터를 활용해 가장 안전하면서도 비용효율적인 방식으로 생성형 AI 서비스를 개발 및 운영하도록 지원한다. 데이터 플랫폼에서 모든 애플리케이션 및 개발 환경에 데이터를 제공하고, 데이터 수집, 처리, 분석, 예측 등에 AI를 활용하도록 한다. 이날 간담회에서 김태완 한국오라클 수석 솔루션엔지니어 상무는 오라클의 생성형 AI 솔루션의 주요 기능을 직접 시연했다. 데모 시연을 통해 OCI 생성형 AI 서비스에서 임베딩, 프롬프트 작업 및 자동 코드 생성 등을 통해 애플리케이션 개발을 효과적으로 지원하는 기능, 미세조정을 통한 모델 맞춤화 및 모델 성능 관리 기능을 설명했다. 김태완 상무는 “OCI 생성형 AI 서비스는 상용 모델과 오픈소스 모델을 제공하며, 프롬프트 엔지니어링, 텍스트 임베딩, 코드 생성, 요약 등의 기능을 이용할 수 있다”며 “여러 모델을 운영, 테스트할 수 있고, 자바나 파이썬 코드를 생성하고, 텍스트를 벡터로 변환해 데이터 간 연관성과 유사도를 시각적으로 확인할 수 있는데, 모든 과정을 UI로 할 수 있다”고 설명했다. 김 상무는 “파인튜닝과 커스터마이징을 위해 전용 인스턴스를 생성, 파인튜닝하고, 성능 검증해 변경된 모델을 프롬프트로 테스트하고 코드화할 수 있다”며 관리콘솔로 대시보드와 모니터링 환경을 제공함으로써 기업의 LLM 모델 활용에 대한 기술 진입장벽을 낮춘다”고 덧붙였다. 오라클 OCI 생성형 AI 서비스는 제공 모델에 미스트랄 AI의 믹스트랄을 곧 추가할 예정이다. 김 상무는 기업에서 신뢰성 높은 생성형 AI 앱을 만들 수 있도록 검색증강생성(RAG)를 쉽게 활용하게 하는 서비스를 소개했다. RAG는 기업 내부 데이터와 LLM을 연결하고, 벡터화된 내부 데이터의 의미 검색을 통해 사용자 프롬프트의 맥락에 가장 알맞는 답변을 생성하도록 하는 기법이다. 그는 “맥락에 맞는 데이터 저장소에서 정보를 찾아서 LLM에 보내고, 캐싱을 처리하고, 양질 프롬프트를 새로 만들고, 입력 프롬프트를 임베딩해서 적정 데이터를 찾게 하는 등의 전처리 과정이 RAG에서 매우 복잡하다”며 “오라클은 에이전트란 서비스를 통해 LLM과 RAG를 자동화할 수 있는 부분을 혼합하고 추상화시켜서 고객의 부담을 최소화하며 AI 앱을 쉽게 개발하게 한다”고 설명했다. 그는 “에이전트는 오픈서치 기반으로 LLM과 통합하는 데이터 저장소를 만들며, 오라클 데이터베이스23c나 마이SQL 히트웨이브의 벡터 서치를 저장소로 연동할 수 있다”며 “레디스 캐시로 프롬프트 히스토리를 관리할 수 있는 등 대상 LLM과 저장소를 연결해 RAG 앱을 만드는 모든 부분을 자동화한다”고 덧붙였다.

2024.03.21 16:38김우용

Prev 11 12 13 14 15 16 17 Next