검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'엔터프라이즈 LLM'통합검색 결과 입니다. (3건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"기업경쟁력, LLM 도입보다 데이터 활용이 더 중요"

"오는 22일 강연에서는 생성AI(Generative AI)를 이용해 기업이 어떤 방식으로 직원 창의성과 생산성을 높이거나 도울 수 있는 지 말하려 합니다." 이건복 한국마이크로소프트(한국MS) 개발(디벨로퍼) 리드는 16일 지디넷코리아와 인터뷰에서 이 같이 밝혔다. 이 리드는 오는 22일 오전 10시~오후 6시 서울 강남 뱅뱅사거리 인근 드림플러스 이벤트홀(지하 1층)에서 열리는 '우리 조직에 맞는 엔터프라이즈 LLM' 세미나에서 발표한다. 이 행사는 투이컨설팅(대표 김인현)과 트러스트커텍터(대표 윤석빈)가 개최하고 지디넷코리아가 후원한다. 데이터 유출같은 보안 문제와 비싼 API 사용료, 복잡한 인프라 구축, 내부 시스템 연계 어려움 등으로 LLM 도입을 주저하거나 LLM을 도입하려는 기업에 도움을 주기 위해 마련했다. 이 리드는 "생성AI는 기존 데이터에서 새로운 정보나 콘텐츠를 생성하는 AI 기술이다. 텍스트, 이미지, 음악, 비디오 등 다양한 형태 콘텐츠를 자동으로 만들거나 수정할 수 있다. 이런 기술은 직원의 작업 부담을 줄이고, 새로운 아이디어를 제공하며, 품질을 향상시킬 수 있다"면서 "22일 발표에서는 사례를 통해 글로벌 기업들이 어떤 방식으로 AI를 적용했는지 소개할 것"이라고 말했다. 이 리드는 한국MS 솔루션 사업부에서 'Digital & App Innovation'팀을 맡고 있다. 기업 혁신과 AI를 이용한 앱(App)개발에 도움을 주고 있다. 마이크로소프트(MS) 미국 본사는 시애틀 인근 레드몬드에 있으며 AI기반 플랫폼과 도구를 개발, 고객의 변화하는 요구에 부응하는 혁신적인 솔루션을 제공하고 있다. "마이크로소프트(MS)는 AI를 널리 보급하고 책임감 있게 사용하기 위해 노력하고 있다"면서 "지구상의 모든 사람과 조직이 더 많은 성취를 이룰 수 있게 돕는 걸 사명으로 삼고 있다"고 설명했다. 이 리드는 국내 엔터프라이즈 LLM(Large Language Model) 시장이 "아직 초기 단계"라고 짚었다. 이어 "엔터프라이즈 LLM이 일반 LLM과 차이가 크다고 보기 어렵지만 보안이나 환각(할루시네이션) 현상 부분은 더 민감한 영역이므로 이에 대한 안정성 측면에서 고려할 사항이 많고 산업에 특화한 모델 필요성이 있다"면서 "많은 기업이 관심을 갖고 있지만 상대적으로 이런 모델을 개발하거나 활용하는 기업이나 기관이 많지 않다"고 해석했다. 이의 주요 이유로 데이터 부족, 개인정보 보호, 모델 안정성, 윤리 문제든 그는 "이번 강연에서 글로벌 기업의 LLM 활용방법과 기술 수준을 소개하고, 생성형 AI을 활용해 생산성을 향상시킬 수 있는 방법과 사례도 공유하려 한다"고 밝혔다. 해외 엔터프라이즈 LLM 시장은 모델을 공급하는 기업 뿐 아니라 인프라스트럭처(인프라), 플랫폼, 응용프로그램(애플리케이션), 서비스를 제공하는 계층으로 나눠져 있다. "기업입장에서는 LLM을 직접 만들기 보다 이미 나온 LLM을 잘 활용하는 측면이 강하다"면서 "자연어를 이용한 새로운 정보 검색과 자동화 솔루션과 접목해 고객대응 시스템에 생성형 AI를 적용한 사례는 이미 널리 사용되고 있다. 초기에 AI에 투자를 한 기업들이 의미 있는 성과를 보이고 있는 점도 시사하는 바가 크다"고 말했다. 이 리드는 엔터프라이즈(기업, 공공, 교육 등) 시장이 LLM을 도입하고 활용해야 하는 이유에 대해 "이미 AI는 모든 산업을 변화시키고 있다. B2B영역에서는 생산성의 비약적인 증가를 꼽을 수 있다. 또 높아진 생산성을 통해 직원 업무 만족도를 향상시킬 수 있을 뿐 아니라 업무 효율성도 증가시킬 수 있다. 이것은 바로 매출 및 고객증가와 연결돼 있다"면서 "B2C영역에서는 생성AI의 초개인화(Hyper-Personalization) 기능을 통해 고객에게 맞춤형 서비스를 제공할 수 있다. 이 점 역시 생성AI를 기업이 도입해야 하는 이유"라고 진단했다. 엔터프라이즈LLM가 지금보다 확산하려면 보안과 여러 기술 및 기업문화 이슈를 해결해야 하는데 이 리드는 "이미 안전한 AI를 사용하기 위한 제반 기술 요건은 LLM을 공급하는 업체들이 갖고 있다"면서 "마이크로소프트(MS)의 경우 애저(Azure) 클라우드 환경을 통해 보안을 강화한 시스템 위에 LLM 서비스를 운영할 수 있게 제공하고 있다. 또 책임있는 AI(Responsible AI) 서비스 일환으로 AI응답을 모니터링 하기위한 '콘텐츠 안전(Contents Safety)' 기능도 제공하고 있다"고 밝혔다. 이어 "(MS는) 고객 데이터를 이용해 LLM 개선 학습을 진행하지 않고 프롬프트 데이터 역시 철저한 보안 정책을 통해 안전하게 사용할 수 있게 하고 있다"면서 "무작정 금지하기 보다 강화한 보안정책에 잘 적용할 수 있는 LLM을 활용하는 방안을 찾는 문화가 먼저 정착해야 한다"고 제안했다. 특히 이 리드는 거대 테크기업간 자본 싸움이 된 세계 AI시장에서 국내외 스타트업이 생존하기 위한 '비법'도 제시했다. "특정 LLM 종속성과 데이터 국외 유출에 대한 과도한 우려로 LLM도입을 늦추기 보다 잘 활용할 수 있는 방안을 먼저 고민해야 한다. 한국에 특화한 LLM을 개발하는 것은 장기 관점에서 반드시 필요한 일"이라면서 "하지만 모든 기업이 자체 LLM을 개발하는 것보다 우선 LLM을 잘 활용할 수 있는 방안을 고민하는 것이 먼저"라고 지적했다. 이어 "LLM은 좋은 도구다. 하지만 LLM이 모든 기업의 목적이 돼서는 안 된다"면서 "LLM자체 보다 활용에 먼저 집중을 하면 기업 규모에 관계없이 소비자가 원하는 서비스와 가치를 만들어 낼 수 있을 것"이라고 밝혔다. 이어 아무리 좋은 레시피(조리법)가 있어도 재료가 좋지 않거나 없다면 맛있는 음식을 만들 수 없는 것처럼 LLM을 사용할 때 양질 데이터가 없다면 결코 좋은 AI서비스를 만들 수 없다면서 "AI를 잘 사용하기 위해서는 좋은 데이터와 다량의 데이터는 필수다. 근본적인 경쟁력은 LLM도입 그 자체가 아니라 얼마나 데이터를 잘 활용하느냐가 경쟁력을 확보하는데 더 중요한 요소"라고 강조했다.

2024.05.16 23:00방은주

"LLM 구축, '프로세스 GPT'가 해법"

"이번 강연에서는 LLM(거대언어AI)을 이용한 정보시스템 구축 방향으로 '프로세스 GPT(Process GPT)'라는 시스템을 제시하려고 합니다." 장진영 유엔진솔루션즈 대표는 9일 지디넷코리아와 인터뷰에서 이 같이 밝혔다. 장 대표는 오는 22일 오전 10시~오후 6시 서울 강남 뱅뱅사거리 인근 드림플러스 이벤트홀(지하 1층)에서 열리는 '우리 조직에 맞는 엔터프라이즈 LLM 세미나'에서 연사로 나선다. 이 행사는 투이컨설팅(대표 김인현)과 트러스트커텍터(대표 윤석빈)가 개최하고 지디넷코리아가 후원한다. 데이터 유출같은 보안 문제와 비싼 API 사용료, 복잡한 인프라 구축, 내부 시스템 연계 어려움 등으로 LLM 도입을 주저하거나 LLM을 도입하려는 기업에 도움을 주기 위해 마련했다. 장 대표가 2007년 설립한 유엔진솔루션즈는 자체 오픈소스 BPM(Business Process Management) 제품인 '유엔진(uEngine)'을 주력으로 하고 있으며 금융, 공공, 제조, 통신 등 국내외에 100여개의 적용 레퍼런스를 보유하고 있다. 마이크로서비스아키텍처(MSA) 설계 컨설팅과 교육으로 8000명 이상 교육생을 배출하기도 했다. 지난 3월에는 5년간 개발한 'MSA Easy'를 오픈소스로 공개했다. 'MSA Easy'는 사용자만의 프로그램을 만들거나 기존 프로그램을 개선하는 걸 돕는다. 자체 제품화나 사내 시스템 구축에 도움이 된다. 특히 클라우드 기반 애플리케이션 개발을 간소화해준다. 오는 22일 강연에 대해 장 대표는 "기존 정보시스템들은 사용 관점과 관리 관점으로 나뉘어 많은 비용이 존재한다. 사용자 관점에서는 주로 사용자가 정해진 시스템의 특징과 사용방법을 잘 숙지하고 사용해야 했다"면서 "LLM은 자연어를 기반해 사용자 의도와 상황을 추측해 시스템의 어떤 기능과 화면을 이용해 입력해야 하는지를 자동화할 수 있다. 적절한 업무 처리를 위한 초안은 LLM 에이젼트 기술이 직접 수행해 초안을 제공할 수 있다. 예를 들어 제안서를 써야한다면, 해당 주제와 관련한 기존 사내 지식을 RAG(Retrieval-Augmented Generation, 검색증강생성: 응답 생성전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스)를 통해 수집하고 외부 인터넷 검색 결과를 참고해 기본 제안서를 작성하는데 LLM 도움을 받을 수 있다"고 설명했다. 이어 그는 시스템관리 관점에서는 기존 프로그래밍에 의존해 데이터베이스 설계, 화면 구현, 로직 구현 등 많은 전문성이 요구된다면서 "이러한 과도한 정보시스템 구축비용을 낮추기 위한 로우코드와 노코드, RPA(Robotic Process Automation, 로봇프로세스자동화)등 많은 시도와 최근의 LLM을 이용한 코드 생성 등이 새로운 가능성으로 부상하고 있다"면서 "하지만 여전히 그 결과는 어떠한 코드 형태로, 특히 이를 관리하기 위해서는 어떤 형식이든 소스코드를 이해해야 하는 비용이 존재한다"고 짚었다. LLM을 이용한 정보시스템 구축 방향으로 'Process GPT'를 강조한 장 대표는 이의 장점으로 "사용자 관점에서는 내 업무 상황을 인지해 프로세스와 업무처리 기능을 자동으로 제시할 뿐 아니라 복잡한 정보시스템 화면 숙지로 입력이 아닌 자연어로 업무 결과를 입력하며, 또 내가 처리할 업무의 초안도 제시해준다"고 말했다. 이어 "시스템을 관리할때는 소스코드 없이도 일반 업무 전문가가 업무 프로세스와 비즈니스 규칙, 그리고 업무화면 등을 업무 수행중 발생한 대화 이력에서 자연스럽게 추출하고 그 프로세스를 비즈니스 유저 수준에서 이해하기 쉬운 BPMN과 같은 비쥬얼한 언어로 시각화해 LLM 실행엔진에서 해당 규칙을 관리할 수 있게 하는 하는 새로운 개념의 정보시스템 구축 방법"이라면서 "이 방법은 기존 BPM(Business Process Management)에서 나온 개념으로 LLM 파워와 함께 정보시스템 구축을 위한 데이터베이스 설계, 프로세스 설계 실행, UI 개발 등 상당 부분을 추상적으로 처리하면서도 업무 모니터링, 분석, 지속 개선 사이클을 가져갈 수 있는 많은 부가적인 장점을 갖고 있다"고 강조했다. 국내외 엔터프라이즈 LLM 시장 동향에 대해서는 "해외 엔터프라이즈 솔루션들은 정보시스템 구현과 관리를 위한 로우코드, RPA, BPM 제품이 우리 회사와 같은 코그너티브(Cognitive) RPA/BPM 형식으로 출시돼 향후 많은 시장을 형성할 것으로 보인다"면서 "관전포인트는 얼마나 사용자 위주 쉬운 인터페이스와 관리비용을 낮출 수 있고 또 핵심적인 비즈니스 경쟁력을 위한 LLM의 적절한 적용 솔루션을 제시하는냐"고 진단했다. 기존 정보시스템은 사용과 관리에 있어 너무 과중한 학습시간과 전문적 비용이 소요된다고 짚은 그는 "LLM은 시스템 사용에 대한 추상화레이어를 제공해 "이제 우리가 배워야 할 가장 강력한 언어는 자연어”라고도 한다"면서 "LLM을 본질적인 의사결정에 적용할수는 없지만 기업의 불필요한 업무를 최소화하고, 또 초안 작성과 프로세스를 자동으로 개선하는 등의 비생산적인 영역에 도입함으로써 고객과 국민 만족도를 향상하는데 도움을 받을 수 있다"고 짚었다. 보안 이슈 등 엔터프라이즈 LLM 확산에 여러 기술 및 기업문화 이슈가 있는데 이에 대해서는 "대내 보안은 RAG 등으로 검색한 다양한 참조 정보 출처에 대한 메타데이터에 따른 인가처리가 중요하다"면서 "대외 보안은 폐쇄형 LLM을 적절히 적용해 외부로의 유출을 막아야 한다. BPM 기반 정보시스템은 기본적으로 대내외 프로세스에 대한 역할 기반 인증체계와 보안 프로세스를 엄격히 관리하고 전달하는 접근 권한에 대한 룰 기반 제어가 엄격해 보안을 관리할 수 있는 좋은 수단이 될 수 있다"고 밝혔다. LLM과 생성 AI를 활용한 기업의 수익화 방안에 대해서는 "내부 생산성 향상을 넘어 LLM 자체로수익화를 내는 건 더욱 큰 숙제"라며 "AI기술 전반에 있어 기계가 모든 것을 다 수행하는 듯한 화려한 기능의 제공 보다는 인간이 의사결정을 쉽게 할 수 있는 조력 역할로 시스템의 UI/UX와 함께 적은 에너지로 높은 성과를 낼 수 있게 가치를 제공하는 것이 중요하며 그 가치가 높다면 수익화는 자연스레 따라올 것"이라고 예상했다. AI 강국에 대해 한마디 해달라고 하자 장 대표는 "어려운 질문"이라고 전제하며 "AI는 일종의 인프라가 되고 있다. 전기처럼 아무나 쓸 수 있는 기반이 된 거다. 이제 기반 고속도로를 제공하는 자본기반 비즈니스 모델과 그 기반위에 차별화한 버티컬 영역이나 탁월한 사용성 등으로 경쟁하는 비즈니스 모델로 양극화 될 것 같다. 우선 내가 가진 콘텐츠 장점을 잘 이해하고 그것이 AI를 통해 더 큰 강점이 될 수 있는 전략을 잘 세워야 할 것 같다"고 말했다.

2024.05.10 06:44방은주

"우리 조직에 맞는 LLM 찾아줍니다"···다음달 22일 전문가 세미나

AI열풍 속에 기업과 교육, 공공 시장 등에 최적화한 거대언어모델(LLM, Large Language Model)인 이른바 '엔터프라이즈 LLM' 시장도 달아오르고 있다. 엔터프라이즈라 불리는 이들 수요처의 관심이 높아지고 있는 가운데 벤더(솔루션 공급사)들도 잇달아 제품을 내놓고 있다. 하지만 엔터프라이즈 LLM을 도입하려는 수요처는 관심은 크지만 어디서부터 어떻게 해야 할 지 모르는 실정이다. 여기에 데이터 프라이버시와 보안, 정확성, 신뢰성, 통합 등 여러 문제도 고민해야 한다. 기업의 이런 고민을 해결 해 줄 '엔터프라이즈 LLM 세미나'가 다음달 22일 열린다. 투이컨설팅(대표 김인현)과 트러스트커텍터(대표 윤석빈)는 오는 5월 22일 오전 10시~오후 6시 서울 강남 뱅뱅사거리 인근 드림플러스 이벤트홀(지하 1층)에서 '우리 조직에 맞는 엔터프라이즈 LLM'을 주제로 유료 세미나를 개최한다고 11일 밝혔다. 본격적인 생성AI 시대를 맞이해 기업도 자체 AI서비스를 제공하기 위해 소형언어모델(sLLM)을 구축하려는 움직임이 늘고 있다. 하지만 데이터 유출 등 보안 문제와 비싼 API 사용료, 복잡한 인프라 구축, 내부 시스템 연계 어려움 등 여러 이슈로 도입이 지연되거나 시험테스트(PoC) 형태로만 진행되고 있는 것이 현실이다. ■ 엔비디아 본사서 H100개발 경험 한국 개발자 스테펀 조가 영상으로 인사이트 제공 이번 세미나는 챗GPT의 환각(hallucination) 문제를 해결하고 회사 내부 데이터를 sLLM에 연결하는 효과적인 방법과 sLLM 도입 시 발생하는 각종 이슈를 어떻게 해결할 수 있는 지에 대한 현실적인 방안을 모색하기 위해 마련했다. 국내 정상급 AI 전문가들이 한자리에 모여 세션 발표와 패널 토의를 한다. 특히 엔비디아 본사에서 H100 GPU 개발에 참여한 한국 개발자인 스테펀 조(Stephen Cho)가 영상을 통해 인사말과 함께 최근 주목받는 AI 반도체와 생성 AI에 대한 통찰(인사이트)을 제시한다. 행사 첫 번째 발표는 한국마이크로소프트(한국MS) 이건복 상무가 '생성AI 동향과 엔터프라이즈 LLM 구현'을 주제로 발표, 최근 생성AI 시장에 대한 주요 현안을 설명하고 기업 대상 엔터프라이즈 LLM 구축과 활용 사례를 제시한다. 이어 래블업 신정규 대표가 '우리 조직에 맞는 엔터프라이즈 LLM 구축 방안'을 주제로 발표하고 셀렉트스타 황민영 부대표는 '엔터프라이즈 LLM 도입 전략:빅테크 vs. 오픈소스'를 주제로 빅테크와 오픈소스 LLM 도입 시 장단점 분석과 우리 기업에 맞는 효과적인 도입 전략을 소개한다. 또 BI매트릭스 배영근 대표가 '엔터프라이즈 LLM:LCNC 적용 사례와 활용 전략'을 주제로 담당자가 AI와 대화를 하듯이 기업 데이터베이스에서 데이터를 조회하고, 이를 바탕으로 노코드 로코드로 AI 서비스를 개발한 실제 적용 사례를 설명한다. ■ KAIST 장동인 교수 등 참여 전문가 패널 토의서 심도있는 대안 제시 오후 세션에서는 트러스트커넥터 대표 겸 서강대 특임 교수인 윤석빈 대표 사회로 펑션투웰브 박승호 대표, KAIST 장동인 교수, T3Q 박병훈 대표 등이 참여해 '엔터프라이즈 LLM 도입시 발생 이슈와 해결 방안'을 주제로 50분 동안 패널 토의를 벌인다. 패널 토의에서는 엔터프라이즈 LLM 도입 필요성과 기존 시스템과의 연계 방안, 인프라, 비용 등에 대한 내용이 심도있게 다뤄질 예정이다. 패널 토의 이후에는 유엔진 솔루션즈 장진영 대표가 '엔터프라이즈 LLM 활용한 비지니스 프로세스 관리 혁신 상세 방안'을 또 포티투마루 김동환 대표가 '언어 인공지능 상용화 사례 및 RAG, LLM 도입 전략'을, 법무법인 디엘지 조원희 대표 변호사가 'EU AI 법이 국내에 미치는 영향'을 주제로 각각 발표한다. 세미나를 주최한 투이컨설팅 김인현 대표는 "기업용 sLLM의 중요성이 강조되는 최근 추세와는 달리 국내 기업이 이를 어떻게 도입하고 활성화할 방법은 아직 미미하다"면서 "세미나 이후에도 학계 및 업계 전문가들과 함께 생성AI 시대에 부합하는 LLM 도입 및 활성화 방안을 고민하고 투이컨설팅 유튜브 채널인 '투이톡(youtube.com/@2eTalk)'을 통해 내용을 공유하겠다”고 밝혔다. 세미나 참가 신청은 트러스트커넥터 홈페이지(www.trustconnector.site)에서 하면 된다. 1차 등록 마감은 이번달 30일까지다. 한편 투이컨설팅(대표 김인현)은 1996년 3월 설립이래 대한민국의 대표 기업들에게 차세대 시스템 구축, 데이터 통합, 정보전략계획, 프로세스 혁신, 소프트웨어 아키텍처, 프로젝트 관리, IT거버넌스, 엔터프라이즈 아키텍처, 비즈니스 프로세스 관리 등의 선진 서비스를 제공해왔다. 김 대표는 "어제보다 더 나은 미래를 제시하고 고객 성공을 위해 실질적인 대안을 제시하며 고객과 함께 성과를 만들어가는 지식 전문가 집단"이라면서 "해외의 베스트 프랙티스를 국내 기업에 단순 적용하는 차원을 넘어 국내 기업의 비즈니스 환경과 업무 프로세스에 대한 깊은 이해와 통찰 그리고 선진 기업의 프로젝트 경험에서 우러나온 콘텐츠 능력을 바탕으로 고객 문제를 가장 적절하게 해결하는 IT 컨설팅 서비스를 제공하고 있다"고 말했다. 공동 주관사인 트러스트커넥터(대표 윤석빈)는 자체 보유한 AI 알고리즘 및 B2B 컨설팅 역량을 활용해 수요처와 공급처 간 서비스를 매칭하는 '생성형 AI Business Matching' 서비스를 제공하고 있다. 윤 대표는 "고객이 서비스 요청 사항을 등록하면, AI 기술 회사는 해당 고객의 요구 사항에 맞는 공급처를 제공한다"면서 "이 서비스 역할을 AI 기술회사가 수행함으로써 고객 요청에 따른 새로운 해결책을 제안해 준다"고 밝혔다.

2024.04.11 11:13방은주