"4천자 보고서 AI로 한번에 작성하세요"

코난테크놀로지는 자체 개발한 한국어 거대언어모델(LLM)로 '문서 작성 인공지능(AI)' 서비스를 만들어 시장 공략할 방침이다. 코난테크놀로지는 25일부터 27일까지 서울 코엑스 A홀에서 열린 '2023 대한민국 디지털미래혁신대전'에서 문서 작성 AI 플랫폼을 소개하며 이같이 밝혔다. 해당 문서 작성 AI 플랫폼은 기업과 공공기관 보고서 초안을 작성하는 서비스다. 코난테크놀로지가 자체 개발한 코난 LLM으로 작동한다. 이 기업은 보안과 비용 효율성을 무기로 AI 서비스 시장을 공략할 방침이다. "기업·공공기관 겨냥…보안↑·환각현상↓" 코난테크놀로지는 코난LLM으로 보고서 초안을 작성하는 서비스를 이달 25일 내놨다. 기업간거래(B2B)와 기업정부간거래(B2G)를 주요 고객으로 겨냥했다. 현재 고객사에 테스트 버전으로 배포하고 있다. 해당 서비스는 ▲문서 초안 생성 ▲문서 요약 ▲질의응답을 지원한다. 한번에 4천자 분량 문서를 작성할 수 있다. 문서 생성 중 추가 질의, 첨삭 및 참고자료를 제공할 수도 있다. 부스를 지키던 코난테크놀로지 이희제 빅데이터컨버전스 영업팀 과장은 "기업이나 공공기관은 코난LLM 플랫폼으로 문서 작성에 드는 시간과 비용을 줄이고, 작업 생산성을 대폭 올릴 수 있다"고 강조했다. 기업과 공공기관을 겨냥한 만큼 보안도 강화했다. 현재 코난LLM은 온프레미스상에서만 작동한다. 기업 전용 LLM을 온프레미스로 제공해 기업 내부 데이터 유출을 막겠단 전략이다. 온프레미스형 LLM은 회사 기밀이 밖으로 나가거나 LLM 학습에 회사 데이터가 사용되는 것을 원천적으로 방지할 수 있다는 이유에서다. 이희제 과장은 "그렇다고 서비스형 소프트웨어(SaaS)를 아예 제외한 건 아니다"며 "향후 SaaS형도 고려해 볼 것"이라고 말했다. 또 코난의 문서 생성 AI 서비스는 잘못된 정보를 내놓는 환각현상을 줄인다. 백터 검색기반의 '코난서치'가 탑재돼 답변과 함께 명확한 근거와 출처가 참고문서 형태로 제시된다. 이 과장은 "코난은 자체 개발한 디스크 기반 벡터 검색 기술을 상용화한 유일한 기업이기도 하다"고 전했다. 코난LLM, 비용효율성 주요 무기 문서 작성 AI는 코난LLM으로 이뤄졌다. 올해 8월 출시된 한국어 LLM이다. 코난테크놀로지는 LLM 비용 절감을 위해 매개변수를 줄이는 대신 성능 향상을 위해 토큰 수를 늘렸기 때문이다. 코난LLM 매개변수는 131억개 모델과 410억개 모델로 이뤄졌다. 오픈AI나 네이버의 언어모델보다 작다. 일반적으로 매개변수가 많을 경우, GPU 등 서버가 대량으로 필요하다. 이는 기업의 모델 운영 비용을 높이고 환경 측면에서도 부정적 영향을 미친다. 코난 측은 "최근 비용효율성을 위해 매개변수를 줄이는 추세"라며 "고객은 원하는 용도나 예산에 맞는 매개변수 사양을 선택함으로써 비용을 절약할 수 있다"고 밝혔다. 대신 학습 토큰 규모를 늘렸다. 모델이 학습 토큰을 많이 갖고 있을수록 뛰어난 성능을 보인다. 코난LLM은 전체 토큰 4천920억개, 한국어 토큰 2천840억개로 이뤄졌다. 해당 토큰 규모는 국내 한국어 LLM 중 가장 크다. 기업 관계자는 올해 11월 전체 토큰 7천억개, 한국어 토큰 3천220억개로 늘릴 계획을 알렸다. 토큰의 원천인 문서 자체 품질도 중요하다. 이 기업은 2007년부터 국내외 데이터를 실시간 수집 및 분석한 서비스 '펄스케이'를 통해 약 200억개 문서를 확보했다. 이중 트위터나 뉴스 댓글 등 단문을 제외한 20억 건을 모델에 넣었다.