[황승진의 AI칼럼] 블룸버그GPT와 스탠포드 MUSK
블룸버그는 금융 및 비즈니스 정보, 뉴스 및 리서치를 제공하는 회사다. 금융정보 세계의 독보 위치를 활용해 블룸버그GPT라는 별도의 LLM 기초+응용 모델을 만들었다. 대부분의 지식을 기초 모델에 넣었다. 이 새로운 LLM은 금융 산업 내 정보를 자연어 처리(NLP) 할 수 있다. 이를 '분야별 LLM' 혹은 '수직형(버티컬) LLM'이라 부른다. 이는 챗GPT 같은 일반 '수평형 LLM'(혹은범용 LLM)과 구분된다. 사실, 블룸버그는 이 둘을 합쳤다. 금융 데이터와 일반 데이터 세트를 결합해 내부 직원과 외부 금융업 종사자가 금융 시장을 탐색, 분석 및 예측하도록 지원한다. 또 인수합병(M&A)과 기업공개(IPO, 상장)와 같은 금융 거래 준비에도 도움을 줄 수 있다. 이러한 성과를 달성하기 위해, 블룸버그 데이터 분석가들은 40년 동안 생성, 수집 및 정리한 그 분야 역대 최대 규모의 데이터 세트를 구축했다. 규모가 총 3630억 토큰(AI모델의 정보처리 단위)에 달했고, 500억개 파라미터(AI의 성능을 측정하는 주요 지표)를 훈련하는데 62만 GPU 시간이 걸렸다. 그 결과, 블룸버그GPT는 금융 지식에서는 탁월하고, 일반 지식도 수준 급이 되었다. 블룸버그GPT 사용자는 여러 종류의 질문을 할 수 있다. “내년 시장 분위기를 알아봐줘” 혹은 "지난 5년간 기업 인수 거래를 보고, 다음 일어날 인수 거래를 예측해 줘"라고 질문할 수 있다. 블룸버그는 막대한 지적, 재정적 이점을 이용해 새 시대에 맞춰 발빠르게 재정비했다. 다른 산업, 특히 의료 분야는, 분야(도메인)별 LLM을 보유하고 있다. 2025년 스탠포드 의대팀은 MUSK라는 암을 예측, 반응 및 치료하기 위한 임상용 기초모델을 개발했다. 일론 머스크하고는 전혀 관계없는 이름이다. 과거의 '진단' 위주 AI가 아니라 '예측'의 도구가 된다. “이 환자에게 이 치료는 어떤 결과가 나올까”를 예측하고, 그 중에 가장 효과적인 치료법을 찾는데 쓸 수 있다. 이에는 두 종류의 과거 경험 데이터가 필요하다. 환자가 암과의 투쟁할 때의 X레이, MRI, CT스캔 같은 이미지 데이터, 그리고 주치의의 코멘트, 진료 기록, 전문의와의 대화 같은 텍스트 데이터다. MUSK는 많은 환자 케이스의 텍스트-이미지 멀티모달 데이터로 사전 훈련된 트랜스포머 기초 모델을 만들었다. 들어간 데이터양이 거대하다. 5천만개의 의료 이미지와 10억개의 병리학 텍스트를 동원했다. 이 데이터를 '마스킹'방식으로 학습했다. 단어나 이미지를 가리고 이를 맞춰보라고 묻고 답을 가르쳐주며 배우게 한다. 그리고 이미지와 텍스트를 같은 임베딩 체제에 넣어, 먼저 각자에서 연결(self-attention)한 후, 다음 서로 연결해 교차 어텐션(cross attention)을 수행했다. 즉, 텍스트와 이미지의 연결 관계를 임베딩에 반영했다. 어느 쿼리에 답할 때, 텍스트와 관련된 이미지가 같이 불려 나온다. 이를 '텍스트-이미지 모델' 혹은 '올인원'이라 부르며, 최근 LLM (오픈AI CLIP, Flamingo, 제미나이)은 이렇게 훈련되어 답에 텍스트와 이미지가 같이 나온다. 게다가, 이 기초모델을 파인튜닝해 사용자 병원이 자기 나름대로의 새로운 응용을 개발할 수도 있다. MUSK의 목표는 의사로 하여금 과거 세상 모든 의료 경험을 내 실력과 합쳐, 현재 내 환자의 성공 확률을 최대화하는 것이다. 아이작 뉴턴 경의 표현대로 “과거 거인들의 어깨 위에 지은” 지식의 탑이다. 바이오텍 분야도 연구 및 개발용으로 분야별 LLM이 존재한다. BioBERT, PubMedBio와 BioGPT가 그 예다. 이 분야에 3천만 편의 연구 논문이 있다니, 교육생과 연구자에게 매우 유익할 것이다. 이들은 인터넷이나 서적 등 데이터로 자가학습을 시켜 기초모델을 만든 후 용도에 맞게 파인튜닝을 했다. 논문 제목이나 저자 이름으로 서치하는 게 아니라, 내용으로 한다. 예컨대, “누가 처음 DNA를 X레이 촬영했지?”와 같이 묻는 식이다. 블룸버그GPT는 기초 모델부터 시작해 끝까지 자신이 만든 거대한 작품이지만, 비슷한 기능의 FinGPT는 오픈소스 기초모델을 가져와 금융 정보로 파인튜닝을 했다. 이렇게 '기초모델+파인튜닝'은 흔히 사용되는 분야별 LLM 개발 방식이지만, 다른 가능성은 LLM 위에 분야에 특화된 소형 언어 모델(SLM)을 구축하는 것이다. 이러한 2층 구조의 기초 모델은 두 모델의 장점을 모두 얻을 수 있다. LLM은 일반 지식과 기능을 제공하고, SLM은 분야(도메인) 지식을 제공한다. 실리콘 밸리의 한 시스템 개발업체는 자신의 몇 제조분야 고객 기업과의 경험을 외부 정보와 융합해 SLM을 만든 후 일반 LLM과 함께 2층 구조를 만들었다. 흥미롭게도, 그 회사에 따르면, 자기네는 LLM을 주로 '기능'으로 사용하고, '지식'은 SLM에서 나오니 환각현상을 피할 수 있다고 한다. '분야별 LLM' 외에도 국가 수준에서 '국가별' 모델도 있다. 예를 들어 중국, 미국, EU는 모두 '주권 AI'를 구축하기 시작했다. 언어, 문화, 산업과 안보를 고려해 외국의 힘에 의존하지 않겠다는 의도다. 덕분에 국민 여럿이 많이 배우고 그들이 새로운 사업을 시작하는 낙수효과도 기대할 만하다. 미국 오라클 회장인 래리 엘리슨(Larry Ellison)은 모든 국가가 '주권 AI 클라우드'를 구축하길 원할 것이라고 전망했다. 수직형 LLM, 즉 분야별 LLM과 주권 LLM이 오늘날 대세다.
