검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'텔코LLM'통합검색 결과 입니다. (3건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

SKT "클로드로 만든 텔코 LLM, 고객상담 효율성 높였다"

“앤트로픽 클로드를 파인튜닝한 텔코 LLM 도입으로 고객 상담 시 상담원이 더욱 효율적으로 상담에 필요한 정보를 찾을 수 있게 됐다.” 에릭 데이비스 SK텔레콤 AI테크콜라보레이션 본부장은 지난 19일 서울에서 열린 '앤트로픽 코리아 빌더 서밋'에서 클로드 활용 사례로 텔코 LLM 도입 건을 이같이 설명했다. 앤트로픽 코리아 빌더 서밋은 앤트로픽이 AI 제품 분석 플랫폼 운영사 콕스웨이브와 함께 개최한 개발자 행사로, 앤트로픽이 한국에서 처음으로 개최한 공식 행사다. 데이비스 본부장은 이날 패널 토의를 통해 SK텔레콤이 고객센터에 도입한 텔코 LLM의 사례를 소개하며 “고객센터에 적용한 텔코 LLM은 내부 상담원들이 사용하지만 결국 고객들에게 영향을 미치는 서비스”라고 소개했다. 이어, “SK텔레콤은 텔코 LLM을 사용하는 것이 실제로 고객을 만족시킬 수 있는 것인지에 대해 고민했고, 고객 만족도를 높이기 위한 형태로 엔지니어링을 계속 하고 있다”고 설명했다. SK텔레콤은 지난해 자체 개발 AI 모델 에이닷엑스(A.X)와 클로드 등을 포함, 멀티 LLM을 기반으로 텔코 LLM을 개발해 다양한 사내 운영 업무와 비즈니스에 활용하고 있고 이 가운데 고객센터에는 클로드를 적용한 텔코 LLM이 활용되고 있다. 서밋에 앞서 SK텔레콤은 앤트로픽 블로그를 통해 클로드를 베이스 모델로 파인튜닝된 텔코 LLM의 성과를 알리기도 했다. SK텔레콤은 고객센터에 텔코 LLM을 적용한 후 고객센터에 적용된 LLM의 저품질 응답 비율이 68% 감소했고, 통화 후처리에서 AI의 응답 품질이 인간 상담원의 약 89% 수준으로 올라왔으며, 고객센터 상담원이 상담에 활용한 후 평가한 점수도 기존 서비스에 비해 34% 높아졌다. SK텔레콤은 텔코 LLM 고객센터 도입이 상담원들을 지원하고 보조하기 위한 것임을 강조했다. 데이비스 본부장은 “우리의 목표는 사용자의 업무 능력을 보강해 고객센터 상담원들의 스트레스를 줄이고 일하는 즐거움을 찾아주는 것”이라며 “이러한 행위는 궁극적으로 SK텔레콤 가입자의 상담 경험 개선으로 이어져 상담원와 고객 모두에게 도움이 될 것”이라고 밝혔다. 그러면서 “과거에는 고객센터 직원들에게 고객들의 불만 제기에 어떻게 대응하면 좋을지를 교육했다면, 지금은 AI를 활용해 고객이 원하는 것에 대한 정보를 탐색하고 대응하는 데 도움을 주고있다”며 “우리의 AI는 인간을 대체하는 것이 아니고 사람들의 삶의 질을 개선하는 것”이라고 밝혔다. 한편 AI의 발전으로 인한 환경 변화에 대한 질문에 “SK텔레콤은 다양한 기업들과의 협업을 통해 각각의 상황에 따라 알맞은 모델을 활용할 수 있도록 멀티 LLM 전략을 진행하고 더욱 빠르고 더욱 효과적으로 일을 해결할 수 있도록 하고 있다”고 답했다.

2025.03.21 10:15박수형

SKT, AI 고객센터 오픈...자체 개발 AI모델 적용

SK텔레콤이 자체 개발한 텔코LLM과 LMM을 활용한 고객센터 AI 상담 업무 지원 시스템을 국내 메이저 고객센터 중 최초로 10월 중순부터 단계적으로 오픈했으며, 한 달여간 베타 서비스를 성공적으로 운영했다고 18일 밝혔다. SK텔레콤은 앤트로픽 등 해외 주요 LLM 업체들과 협력을 바탕으로 다양한 통신 전문 지식을 학습한 텔코LLM을 개발해 왔다. 지난 1년여 간 지식정보시스템을 AI 활용에 최적의 구조로 개편하고 다양한 통신 관련 데이터를 활용한 모델 튜닝을 진행했다. 또 고객센터 상담 전문가 수십명이 참여해 텔코LLM 성능 향상을 위한 다양한 학습 데이터를 구축했으며, 연중 테스트와 피드백을 통한 강화 학습을 반복해 통신 서비스 전용 LLM, LMM 모델을 만들어 왔다. 이와 더불어 LLM이 질문에 가장 정확하고 구체적인 답을 생성할 수 있도록 답변 생성에 필요한 정확한 정보만을 검색, LLM에게 제공하고 답변 품질을 증강시키는 RAG도 개발 적용해 LLM의 답변 신뢰도를 대폭 개선했다. 아울러 텍스트를 넘어 다양한 이미지를 이해할 수 있는 LMM도 활용해 통신 관련 다양한 서류 등 이미지를 학습시켜 통신업에 특화된 전용 LMM을 개발했다. 그동안 SK텔레콤은 상담 대기 없이 콜봇을 통한 빠른 상담, 번거로운 절차 없이 고객 목소리만으로 본인 여부를 확인하는 성문 인증 등 다양한 AI 기술을 활용해 고객들에게 보다 빠르고 편리한 서비스를 제공하기 위해 노력해 왔다. 자체 개발한 텔코LLM, LMM을 실제 상담 업무에 활용할 수 있는 AI 상담 업무 지원 시스템을 구축하고 이를 통해 고객에게 한층 더 빠르면서도 고품질의 상담을 제공할 수 있게 될 예정이다. 먼저 텔코LLM 기반의 AI 지식 검색 도우미 서비스를 통해 상담사들이 필요한 정보를 빠르게 찾아 고객에게 안내할 수 있도록 지원한다. 이 서비스는 상담사들이 필요한 정보를 지식정보시스템에서 하나하나 찾을 필요 없이 퍼플렉시티나 챗GPT처럼 상담사가 자연어로 질문을 입력하면 AI가 상담사 대신 정보를 검색해 정리해 준다. 이를 통해 상담사들의 정보 탐색 시간을 단축시키고, 상담사 개인의 역량 경력과 무관하게 고품질 상담 서비스를 제공할 수 있게 됐다. 지난 10월21일부터 베타 서비스를 통해 실제 상담사들이 상담 현장에서 직접 사용해보며 안정화 시키고 있으며, 내년부터는 모든 고객 상담 업무에 전면 적용할 예정이다. 아울러 A.X LMM을 활용하여 AI 서류 자동 처리 시스템도 구축한다. 고객센터는 고객들이 문자, 이메일, 팩스 등 다양한 채널로 송부한 사진, 스캔 문서 등 다양한 형태의 수십종의 구비 서류들을 처리하고 있다. 이러한 다양한 형태의 각종 서류를 AI가 자동으로 분류하고 처리해 줌으로써, 증빙서류 확인에 소요되는 시간을 크게 단축시킬 수 있을 것으로 기대된다. 먼저 10월23일부터 서류를 자동으로 분류하는 시스템을 도입했고, 향후에는 서류 내용까지 자동으로 판독하여 처리할 수 있게 될 것이다. 12월에는 고객 상담 결과를 텔코LLM을 활용해 자동으로 분류 요약 정리하는 상담 후속 업무 자동화 시스템도 오픈할 예정이다. 상담이 종료된 후 상담 결과를 정리하는데 평균 30초 정도 소요됐지만 AI가 자동으로 처리를 해주게 되면 상담사는 상담 종료 이후 후속 업무 처리 없이 보다 빠르게 대기중인 고객들에게 상담을 제공할 수 있다. 뿐만 아니라, 고객들의 이전 상담 내용에 대해 빠르고 정확하게 파악할 수 있어 개개인에게 가장 적합한 맞춤형 상담도 가능하다. 실제로 한 달여간 AI 상담 업무 지원 시스템을 운영한 결과 상담사들은 텔코LLM의 성능이 기대 이상으로, 고객 상담에 필요한 정확한 정보를 손쉽게 찾을 수 있었고 답했다. 특히 다양한 상품 서비스의 정보 확인에 어려움을 겪는 경력이 짧은 상담사들이 고객 응대에 부담을 크게 덜 수 있겠다는 반응을 보였다. 아울러 AI가 서류를 자동으로 분류해 주므로, 고객이 서류를 보냈는지 수시로 하나하나 확인해야 하는 수고로움과 확인 시간을 덜게 되어 고객 상담에 보다 집중할 수 있게 됐다고 말했다. 홍승태 SK텔레콤 고객가치혁신 담당은 “SK텔레콤 AI고객센터로 진화함에 있어 업무 효율화에만 치중하지 않고, 고객 개개인에 최적화된 상담을 제공하는 것을 목표로 하고 있다”며 “SK텔레콤은 텔코LLM 기반 상담 업무 지원 시스템을 발판으로, 앞으로도 다양한 AI 기술을 고객 상담 업무에 활용해 국내 최고 수준의 고객센터 상담 서비스를 한단계 더 도약 시키겠다”고 밝혔다.

2024.11.18 08:49박수형

SKT, 6월에 통신사 특화 AI 모델 내놓는다

SK텔레콤이 5G 요금제와 공시지원금, 인공지능(AI) 윤리가치 등을 학습한 통신사 특화 AI 모델인 '텔코LLM'을 상반기 내에 선보인다. 에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당은 30일 서울 을지로 T타워에서 열린 간담회에서 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다”며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 멀티LLM 전략”이라고 말했다. GPT와 같은 범용 LLM보다 통신업종에 특화된 LLM이 필요하다는 뜻이다. 이를 위해 SK텔레콤은 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등의 데이터를 수집하고 선별해 GPT와 클로드에 학습시키고 있다. SK텔레콤이 직접 개발한 에이닷엑스 외에도 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델 기반으로 튜닝 작업에 나서면서 멀티 LLM 전략을 내세웠다. AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용 용도에 따라 최적화된 LLM을 갖추겠다는 뜻이다. 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있다. SK텔레콤은 현재 고객센터에서 상담전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요되는데 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 전망했다. 기존의 고객센터에서 상담사가 고객 문의 내용을 정리하고 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면, 텔코 LLM이 이 과정을 줄여주는 셈이다. 또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다. 네트워크 인프라 운용에도 텔코LLM이 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다. SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다. 정민영 SK텔레콤 AI플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅과 유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다. 한편, SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 기업용 AI 개발 운용 패키지다.

2024.04.30 13:26박수형