키움·토스證 AI 투자정보 확대 경쟁…정확도 지수 신뢰할만할까
인공지능(AI)이 투자자 말에 따라 주식을 주문하고, 시장 움직임까지 해석하는 시대다. 편의성은 높아졌지만 AI의 판단과 실행에 따른 책임을 어디까지 구분하고 검증할 것인지는 새로운 과제로 떠올랐다. 금융안정위원회(FSB)이 내놓은 모범관행에 비춰 금융회사의 책임과 국내 감독체계의 과제를 짚어본다. [편집자주] 증권사들이 인공지능(AI)으로 시장 흐름과 주가 변동의 배경을 설명하는 서비스를 경쟁적으로 확대하고 있다. 그렇자면 AI가 제시하는 투자 정보가 가장 옳은 것인가에 대한 의문이 남는다. 투자 정보의 신뢰성을 무엇으로 검증할 것인지가 업권 공통 과제로 떠오른 것이다. AI가 주가 등락까지 해석…증권사 경쟁 확대 토스증권은 최근 '시장' 탭 신설과 기존 '실시간 이슈' 서비스의 AI 기능 확대를 발표했다. AI 시장 요약은 증시 움직임과 배경을 매시간 정리하고, AI 위키·이슈 타임라인은 금융 용어와 주요 사건의 흐름을 설명한다. AI 채팅은 관련 기사 등을 근거로 고객의 질문에 답한다. 기존 AI 시그널도 종목별 주가 변동 배경을 분석하며, 어닝콜 서비스는 기업 실적발표를 번역·요약한다. 단순한 시세 조회를 넘어 여러 자료를 선별해 시장의 움직임을 설명하는 구조다. 키움증권 고객용 AI투자챗봇도 시장·종목·금융상품에 관한 자연어 질문에 답변한다. 8월 12일 국내 언론을 통해 공개된 씽크풀 발표에 따르면 시황·기업분석·수급 등 분야별 AI 에이전트와 약 1000만건의 금융 지식자산, 지식그래프를 활용한다. 답변 생성 전 종목·기준일·수치·출처를 확인하도록 설계했다는 설명이다. 토스증권 정확도 0.756, 특정 근거 판별 성능일뿐 이제 증권사는 경쟁의 초점을 정보 제공의 편의성에서 정보의 선택과 검증, 해석의 적절성으로 확대하는 양상이다. 토스증권은 지난 8월 13일 기술자료 'AI에게 투자정보를 말하게 하기까지'를 통해 원천 자료 검색부터 관련성·방향성 판단, 중복 제거, 근거 정렬, 설명 생성까지 단계별 검증구조를 공개했다. 관련도와 이벤트 유형, 실패 사유 등을 분류하고 운영 과정에서 발견한 오류를 평가 셋과 프롬프트 예제에 반영하는 방식이다. 회사는 과거의 성공·실패 사례를 함께 활용해 적절하지 않은 자료가 설명의 근거로 채택되는 잘못된 탐색을 줄이려 했다고 부연했다. 토스증권은 정확도 개선을 위해 근거 연관성의 평가 방식을 바꿨다. 고정된 예시(Fixed Few-shot)를 사용하기보다 유사한 과거 사례 검색해 적용(Few-shot Retrieving)하는 방식을 택했다. 정확도는 0.430에서 0.756으로, 정밀도는 0.329에서 0.548로 개선됐다. 정밀도와 재현율을 종합한 F1 점수도 0.484에서 0.687로 높아졌으며 재현율은 0.920을 유지했다. 중요한 것은 높아진 정확도가 뭘 의미하는지 투자자가 오인없이 받아들이는가이다. 정확도 0.756은 특정 근거 판별 작업의 성능이지, AI가 고객에게 제공한 투자정보 전체의 정확도가 75.6%라는 의미는 아니다. 관련 자료를 찾는 일과 해당 자료를 주가 변동의 근거로 판단하는 일, 최종 설명이 사실과 추정을 적절히 구분하는 일은 각각 다른 검증 대상이다. 토스증권은 방향성과 근거의 적절성까지 평가하는 체계를 설명하고 있다. 다만 공개된 특정 작업의 개선 수치만으로 고객이 실제로 받는 최종 분석의 정확성과 오류 발생 수준을 판단할 수는 없다. 특히 8월 기술자료의 평가 결과를 이후 확대된 AI 시장 요약과 AI 채팅 전체의 성능으로 동일시할 근거도 확인되지 않았다. 서비스별 평가 범위와 실제 출력 품질을 연결하는 검증이 필요한 이유다. 키움증권, TTA 비교시험 제시…실제 서비스 성능과는 차이 키움증권 AI투자챗봇의 기술 공급업체인 씽크풀도 금융데이터 검증과 성능평가를 강조한다. 씽크풀 발표를 전한 국내 보도에 따르면 기반 기술인 'AI PB 프로 챗봇'은 한국정보통신기술협회(TTA)가 수행한 비교시험에서 질문 적합성 4.284점, 기준 데이터 일치 4.033점, 환각 없음 4.026점을 기록했다. 회사는 5점 만점 기준 세 항목 모두 비교 대상 7개 시스템 가운데 가장 높은 점수를 받았다고 설명했다. 시험은 금융투자 질문 15개에 대한 답변을 평가자 45명이 비교하는 방식으로 진행됐다. 다만 이는 씽크풀이 발표한 기반기술의 시험 결과로, 키움증권 고객용 AI투자챗봇 전체의 운영 정확도를 나타내는 수치는 아니다. 토스증권의 근거 판별 정확도 0.756과도 평가 대상·방식이 다르다. 두 사례가 보여주는 것은 성능의 우열보다 평가 범위의 차이다. 기업들이 서로 다른 기술과 지표로 AI 투자정보의 품질을 설명하는 만큼, 해당 평가가 실제 고객에게 제공되는 분석 결과와 어떻게 연결되는지 확인할 필요가 있다. 주가 원인에 정답 없어도 설명 근거는 검증 가능 AI가 시장 움직임을 해석하는 과정은 사실 조회보다 복잡하다. 기업이 실적을 발표했다는 사실은 공시로 확인할 수 있지만, 해당 실적발표가 당일 주가 상승의 원인인지는 별개다. 시장 예상치와 차이, 수급, 업종·거시경제 변수에 따라 동일한 주가 움직임도 다르게 해석될 수 있다. 주가 등락의 단일 원인을 확정하기 어렵더라도 자료의 작성 시점, 사실과 추정의 구분, 근거와 최종 설명의 일치 여부는 검증할 수 있다. 토스증권도 기술자료에서 방향성과 근거의 적절성, 오류 유형별 평가를 설명한다. 그러나 어떤 자료를 사용했는지 추적하는 능력과 그 자료를 특정 주가 움직임의 근거로 선택한 판단을 설명하는 능력은 구별된다. 원문 출처가 있다는 사실만으로 시장 해석의 타당성까지 입증되지는 않는다. FSB, 설명가능성·지속 평가 강조…감독도 출력 품질로 금융안정위원회(FSB)는 지난 15일 확정한 최종 모범관행 보고서(Sound practices for responsible adoption of artificial intelligence)에서 AI 설명가능성과 투명성을 8번, 성능평가와 지속적인 모니터링을 9번 원칙으로 제시했다. 보고서에 따르면 AI 입력과 결과를 기록·재현하는 능력과 그 결과가 어떻게 도출됐는지 설명하는 능력을 구별한다. 금융회사는 AI의 위험 수준에 맞춰 성능을 평가하고, 설명의 한계는 추가 시험과 인간 감독 등의 통제로 보완할 수 있다는 접근이다. 유럽증권시장감독청(ESMA)은 AI의 데이터 품질과 불투명한 판단, 과도한 의존을 투자자 보호 위험으로 지목했다. 미국 증권업 자율규제기구 FINRA도 생성형 AI를 활용하더라도 기존 감독·고객 커뮤니케이션 규정이 적용된다고 밝혔다. 금융위원회 역시 지난 6월 금융분야 AI 가이드라인을 개정하고 신뢰할 수 있는 데이터·모델 활용과 금융소비자 이익 보호를 강조했다. 이제 감독의 초점은 검증체계의 구축 여부를 넘어 무엇을 평가하고, 그 결과가 실제 투자정보의 품질과 오류 정정으로 얼마나 연결되는지에 맞춰질 필요가 있다.
