"급증하는 LLM 데이터 처리량, '벡터 DB'로 해결"

디노티시아는 LLM의 전력 및 비용 효율성을 획기적으로 높일 수 있는 '벡터 데이터베이스(DB)'를 개발하고 있습니다. 기존 소프트웨어만을 다루는 기업들과 달리, 전용 반도체를 개발해 기술력을 크게 높인 것이 차별점이죠. 이달 주요 학회에서 '업계 최초'로 반도체 기반의 벡터 데이터베이스 데모 버전을 공개합니다. 정무경 디노티시아 대표는 최근 서울 강남 소재의 본사에서 기자와 만나 회사의 핵심 기술 및 향후 사업 전략에 대해 이같이 밝혔다. 지난해 설립된 디노티시아는 AI 기반 데이터 솔루션 전문기업이다. 삼성전자, SK텔레콤, 사피온 등에서 시스템반도체와 스토리지 시스템, 데이터베이스 등을 두루 개발한 정무경 대표가 창업했다. LLM서 급증하는 데이터 처리량…'벡터 DB'로 해결 정 대표는 기존 LLM(거대언어모델)의 발전 방향이 갈수록 한계에 직면할 것이라고 내다봤다. LLM 구동에 필요한 데이터 처리량이 매우 빠르게 늘어나고 있는 반면, 반도체의 성능 향상 속도는 기술적 한계로 이를 따라가지 못하고 있기 때문이다. 정 대표는 "현재 LLM은 1조개에 달하는 파라미터(매개변수)를 메모리에 저장하고, 필요할 때마다 이를 전부 읽어서 계산해야 하기 때문에 데이터 처리량이 매우 방대하다"며 "메모리의 대역폭을 넓힌 HBM(고대역폭메모리)가 비싼 가격과 어려운 수율 확보에도 불구하고 엔비디아 등에서 적극 채용한 이유도 여기에 있다"고 설명했다. 이 같은 LLM의 비효율성을 해결하기 위한 기술 중 하나가 RAG(검색증강생성)다. RAG는 데이터로부터 AI가 필요로하는 특정 정보를 정확하게 검색해내는 기술로, 이를 활용하면 답변의 정확도 및 효율성을 높일 수 있다. 디노티시아는 이 RAG의 핵심 기술인 벡터 데이터베이스를 '씨홀스(Seahorse)라는 이름으로 개발하고 있다. 벡터 데이터베이스란 문서·이미지·오디오 등 다양한 유형의 데이터를 고차원 벡터로 변환해, 유사한 내용을 손쉽게 검색할 수 있도록 설계된 데이터베이스 시스템을 뜻한다. 정 대표는 "벡터 데이터베이스를 활용하면, 수 많은 데이터를 일일이 직접 들여다보지 않더라도 질문과 관련된 정보들이 자동적으로 추출될 수 있게 인덱스(색인)할 수 있다"며 "디노티시아는 전 세계 모든 고객사의 데이터를 벡터 데이터베이스해 효율적인 시맨틱 서치(사용자의 의도 및 문맥을 파악해 원하는 결과를 도출하는 검색)를 가능케 하는 게 목표"라고 밝혔다. 업계 최초 벡터 DB '전용 칩'으로 차별화…내년 매출 실현 목표 이미 업계에서는 벡터 데이터베이스를 개발하는 경쟁사들이 많이 있으나, 이들 기업은 소프트웨어 알고리즘만을 활용한다. 반면 디노티시아는 벡터 데이터베이스를 위한 '전용 칩'을 세계 최초로 개발해, 차별화된 경쟁력을 확보했다. 정 대표는 "소프트웨어만으로는 점점 더 커지는 데이터 처리량을 감당할 수 없는 시대가 곧 올 것"이라며 "때문에 디노티시아는 벡터 데이터베이스를 위한 가속기를 만들어, 소프트웨어와 하드웨어 모두 제공할 수 있도록 할 것"이라고 말했다. 이를 위해 디노티시아는 TSMC의 12나노 공정을 활용한 VDPU(벡터 데이터 프로세싱 유닛)를 개발하고 있다. 최근 FPGA(필드 프로그래머블 게이트 어레이) 형태의 데모 칩 개발이 완료돼, 이달 열리는 세계 최대 규모의 슈퍼컴퓨팅 기술 전시회 '슈퍼컴퓨팅(Super Computing) 2024'에서 처음 공개할 계획이다. 정 대표는 "디노티시아의 하드웨어 및 소프트웨어 기반의 벡터 데이터베이스를 활용하면 데이터센터의 전력 효율성은 10배 높아지고, TCO(총소유비용)은 80% 이상 절감할 수 있다"며 "향후 LLM급 성능을 갖춘 온-디바이스 AI가 구현된다면, 여기에도 적용될 수 있을 것"이라고 강조했다. 이후 디노티시아는 내년 FPGA 기반의 솔루션을 상용화하고, 내후년에는 ASIC(주문형반도체) 기반의 솔루션을 상용화할 계획이다. 회사 설립 2년만에 매출을 실현하겠다는 공격적인 목표지만, 정 대표는 이 같은 계획을 현실화할 수 있다는 자신감을 가지고 있다. 배경에는 뛰어난 기술력과 양질의 인력이 있다. 현재 디노티시아는 약 78명의 임직원을 보유하고 있으며, 이들 중 상당수가 반도체 및 소프트웨어 분야에서 상당한 경력을 쌓은 베테랑들이다. 정 대표는 "시맨틱 서치에는 AI와 데이터베이스 기술이 중요한데, 디노티시아는 우리나라 데이터베이스 분야에서 최고의 인력들을 많이 보유하고 있다"며 "AI 분야 역시 경력이 상당한 개발자들을 확보했다"고 밝혔다.