검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (367건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

업스테이지 "산업 특화 AI로 시장 공략…매출 급증했다"

"생성형 인공지능(AI)을 통해 돈 버는 기업으로 자리매김 했습니다. 올해 1분기 매출 100억원을 기록했습니다. 단순히 AI 모델 개발에만 그치지 않고 국내 금융·법률·의료·커머스 기업들에 맞춤형 거대언어모델(LLM)을 제공했기 때문입니다. 이런 사업 방향으로 국내뿐 아니라 미국 등 해외 시장에서도 본격 활약하겠습니다." 김자현 업스테이지 LLM 사업개발 리드는 최근 기자와 만나 자사 LLM '솔라'를 통한 비즈니스 성과와 향후 계획을 이같이 밝혔다. 김 리드는 업스테이지가 '솔라'를 통해 각 산업 도메인 업무에 특화된 솔루션을 제공해 왔다고 설명했다. 현재 업스테이지는 신한투자증권, 케이뱅크 등 금융회사에 파이낸스 LLM을 공급하고 있으며 법률상담 플랫폼 로톡을 운영하는 로앤컴퍼니에 법률 특화 솔루션을 제공하고 있다. 김 리드는 "고객이 요구하는 문제를 해결하기 위해 맞춤형 솔루션을 제공한 점이 주효했다"며 "이를 통해 고객사에 실질적인 가치를 제공하고 성공에 일조할 수 있었다"고 강조했다. 업스테이지는 금융과 법률뿐만 아니라 의료와 커머스 분야에서도 활약하고 있다. 의료 분야에서는 카카오 헬스케어와 손잡고 대학병원 3곳을 대상으로 AI 솔루션 제공용 메디컬 특화 모델을 제공한다. 커머스 분야에서는 커넥트웨이브와 협력해 AI 기반 맞춤형 상품 검색 및 추천 서비스를 구축했다. 현재 업스테이지는 생성형 AI 비즈니스로 올해 1분기 100억원 넘는 매출을 기록했다. 이는 지난해 회사 전체 매출보다 높은 수치다. 김 리드는 "업스테이지가 창업 원년부터 매출 창출을 목표로 사업을 진행했다"며 "최근 이례적인 성과를 얻은 셈"이라고 말했다. 이어 "생성형 AI 기업이 실제 매출을 올린 사례가 적다"며 "이런 상황에서 업스테이지 성과가 더 주목받고 있다"고 덧붙였다. 매출 성과 비결을 자체 개발한 LLM '솔라'와 파인튜닝 기술로 꼽았다. 파인튜닝은 LLM을 특정 작업이나 도메인에 맞게 학습 시키는 기술로, 업스테이지는 '솔라'를 특정 도메인에 맞게 파인튜닝해 고객사에 제공했다. 김 리드는 '솔라'가 번역·수학 풀이 등 특정 작업에서 오픈AI 'GPT-4' 같은 타사 LLM보다 뛰어난 성능을 보인다고 주장했다. 김 리드는 "파인튜닝 전문사인 프레디베이스(Predibase)와 협력해 '솔라' 성능 테스트를 500번 이상 실시했다"며 "'솔라'가 특정 도메인에선 빅테크 모델보다 우수하단 점을 정량적으로 입증했다"고 강조했다. 美·日 등 해외 진출 가속…"시장 수요에 맞는 전략 채택" 업스테이지는 글로벌 시장 진출도 빠르게 추진하고 있다. 현재 미국과 일본, 동남아시아 등 아시아태평양 지역으로 사업을 확장하며 국가 특성에 맞는 전략을 구사하고 있다. 김 리드는 "미국 시장에서는 온프레미스(On-premise) 수요를 주로 공략하고 있다"며 "생성형 AI 보안이나 비용 효율성 측면에서 온프레미스를 선호하는 기업 수요가 늘어났기 때문"이라고 밝혔다. 또 아태지역에서는 각국 언어와 도메인에 맞는 모델을 개발 중이다. 최근 '솔라' 일본어 버전을 개발 개발해 일본 시장 문을 두드리고 있다. 특히 '솔라' 일본어 버전은 니케이 아시아가 발표한 일본어 모델 벤치마크 테스트에서 상위 20위권에 포함된 것으로 알려졌다. 이중 유일한 한국산 모델이다. 김 리드는 "아태지역에서는 대규모 LLM을 자체 구축하기 어려운 경우가 많다"며 "한국서 입증된 경쟁력 있는 AI 솔루션을 통해 향후 베트남, 인도네시아, 아랍에미리트 등 다양한 국가에 언어 특화 모델을 제공할 계획"이라고 밝혔다. 김 리드는 업스테이지가 '솔라' 영어 모델을 공개해 AI 생태계 강화에 기여하고 있다는 점도 설명했다. 이를 통해 피드백과 사용 사례를 추가 확보하기 위함이다. 김 리드는 "오픈소스를 통해 개발자와 기업들이 업스테이지 모델을 활용하면 더 많은 애플리케이션과 솔루션이 나올 것"이라며 "이는 AI 공동 발전을 도모하고 AI 경쟁력을 알리는 좋은 기회"라고 강조했다. 같은 목적으로 업스테이지는 한국어 모델 성능을 평가하는 자체 리더보드를 운영 중이다. 리더보드 시즌 1에서는 LLM 기본 능력인 자연어 이해나 상식 등의 지표를 주로 사용했다. 최근에는 평가를 시즌 2로 업데이트 해 한국어 모델 성능뿐만 아니라 문화와 규범을 이해하는 능력까지 포함시켰다. 김 리드는 "평가 세트를 공개하지 않음으로써 모델들이 평가 세트를 학습하는 문제를 방지했다"며 "이로써 공정하고 정확한 성능 평가가 가능해졌다"고 밝혔다. 그러면서 "오픈소스와 리더보드 등을 통해 국내 AI 생태계가 함께 상생하고 발전하길 바란다"며 "이는 업스테이지도 한층 더 성장할 수 있는 기회일 것"이라고 강조했다.

2024.09.08 09:32조이환

유아이패스 "LLM 결합한 RPA로 쉽고 빠른 기업혁신 지원”

유아이패스가 대규모 언어모델(LLM)을 로봇프로세스자동화(RPA)에 적용해 보다 쉽고 빠르게 기업의 혁신을 돕는다. 유아이패스 세바스찬 슈뢰텔 제품 총괄 부사장 6일 서울 페이몬트 앰배서더 호텔에서 개최한 'AI 서밋 2024'에서 LLM 기반 RPA서비스를 대거 선보였다. 세바스찬 부사장은 " LLM 기반 제품군을 포함한 유아이패스의 혁신은 조직들이 AI의 잠재력을 최대한 활용할 수 있도록 설계됐다“며 ”각 분야에 맞춰 최적화된 A| 및 자동화 기능을 내장함으로써 국내 기업들이 정확성, 일관성, 예측 가능성을 높일 수 있도록 지원한다"고 설명했다. 먼저 공개한 닥패스와 컴패스는 6월 국내 서비스를 시작한 자동화 서비스로 대규모 언어모델(LLM)을 적용한 것이 특징이다. 닥패스는 세금 계산, 인보이스, 구매 주문서, 재무제표 등 다양한 유형의 문서를 처리 작업에 특화됐다. 업무 자동화 과정에서 문서 처리의 신뢰성과 속도를 향상할 수 있도록 지원한다. 컴패스는 이메일, 메시지 등 비즈니스 커뮤케이션 과정에서 정확하고 효율적인 정보 처리에 특화된 서비스다. 기업 내 다양한 커뮤니케이션 채널에서 발생하는 대량의 데이터를 분석하고, 핵심적인 내용을 도출하거나 이상을 감지해 운영 효율성을 개선하고, 기업의 의사 결정 과정을 돕는다. AI의 성능을 높이기 위한 기능도 다양하게 추가됐다. 현재 비공개 프리뷰 버전으로 제공 중인 오토파일럿 어드민은 AI 도구인 오토파일럿을 보다 효율적으로 활용하기 위한 관리 도구다. 이를 통해 사용자는 오토파일럿의 장애를 사전에 방지해 중단 없이 업무를 수행하거나 보다 업무 효율성을 높이는 것이 가능하다. 컨택스트 그라운딩은 기업 내 데이터나 내부 정책 및 절차와 같은 데이터 소스를 AI에 학습시킬 뿐 아니라 색인화하고 검색할 수 있도록 정제해 AI를 비롯해 다양한 환경에서 데이터 환경에서 활용할 수 있도록 제공한다. 또한 생성형 AI 액티비티는 유아이패스 AI 트러스트 레이어를 활용하며, 자동화 워크플로우에서 고품질의 A| 예측에 쉽게 액세스하고 이를 개발하여 활용함으로써 가치 창출 시간을 단축할 수 있다. 조의웅 유아이패스 코리아 지사장은 국내 기업들은 이제 디지털 혁신(DX)을 넘어 AI 혁신(AX)을 중요한 우선 순위로 삼고 있다"며 "유아이패스는 새로 출시된 혁신적인 기능을 포함한 강력한 자동화 도구를 제공함으로써 이러한 변화를 지원하기 위해 최선을 다하고 있다. 유아이패스의 현지화 노력은 다양한 산업 분야에서 문서 처리 정확도를 크게 개선하고 운영 효율성을 향상시킬 것이며, 앞으로도 AI를 활용해 새로운 성장 기회를 창출할 수 있도록 지원할 것"이라고 강조했다.

2024.09.06 13:07남혁우

SBVA, AI 기반 검색 엔진 '유닷컴' 투자

SBVA(에스비브이에이, 대표 이준표)가 인공지능(AI) 기반 검색 플랫폼인 유닷컴의 미화 4천600만 달러(약 617억원) 규모 시리즈 B투자에 참여했다고 5일 밝혔다. 이번 라운드 투자에는 캐나다 벤처캐피털 조지안이 주도하고, SBVA와 엔비디아, 세일즈포스 벤처스 등이 참여했다. 총 누적 투자 금액은 미화 9천500만 달러(약 1천274억원)이다. 유닷컴은 2021년 AI 연구자인 리차드 소커와 브라이언 맥켄이 공동 창업한 미국의 스타트업이다. 거대 언어 모델(LLM)을 검색 경험에 적용했다. 회사는 설립 이후 약 10억 건의 쿼리를 처리했으며, 수백만 명의 활성 사용자를 보유하고 있다. 특히 수십 개의 소스를 동시에 분석해 정확한 보고서를 제공하는 '리서치 어시스턴트', 방정식과 공식 입력 없이 대화형 프롬프트만으로 문제와 계산을 해결하는 '지니어스 어시스턴트' 등의 기능을 통해 정교하고 개인화된 검색 경험을 제공한다. 유닷컴은 이번 투자를 통해 B2C(기업·소비자 간 거래)뿐만 아니라 B2B(기업 간 거래) 시장 공략도 적극 이어가며 구독 모델을 다각화할 계획이다. 이준표 SBVA 대표는 "유닷컴은 일반 소비자용 LLM 서비스의 선구자로서 강력한 기술 전문성을 바탕으로 사용자의 질문에 최고 수준의 답변을 제공하는 플랫폼"이라며 "정보의 신뢰성과 투명성을 보장하며 AI 검색 엔진의 새로운 사용자 경험을 제시해 나갈 것을 기대한다"고 밝혔다. 리차드 소커 유닷컴 대표는 "생성형 AI가 일상을 급격히 파고든 가운데 부정확성은 여전히 주요 과제로 남아있다"면서 "이번 투자를 기반으로 유닷컴은 단순한 검색 엔진만으로는 해결할 수 없는 복잡한 질문에 사용자들이 신뢰할 수 있는 유용한 답을 제공하는 플랫폼으로 자리잡겠다"고 말했다.

2024.09.05 10:17백봉삼

퍼플렉시티 손잡은 SKT...'AI 검색' 도전장 던졌다

SK텔레콤과 미국 '검색 유니콘' 퍼플렉시티가 인공지능(AI) 검색 시장에 도전장을 던졌다. 기존 키워드 중심 검색엔진 시장을 대화형 답변엔진으로 공략, 패러다임 변화를 이끈다는 포부다. 퍼플렉시티와 연내 미국서 베타버전을 시작으로 글로벌 시장 저변 확대에 나선다. 유영상 SK텔레콤 사장은 4일 을지로 SK T타워에서 열린 기자간담회에서 "퍼플렉시티와의 협력으로 전에 없던 새로운 가치를 창출할 것"이라며 "국내뿐 아니라 글로벌 고객들에게 AI를 통해 혁신적인 고객 경험을 제공할 수 있도록 노력할 것"이라고 밝혔다. 앞서 SK텔레콤은 지난 2월 스페인 바르셀로나에서 열린 MWC24에서 퍼플렉시티와 전략적 파트너십을 체결했다. 퍼플렉시티는 생성형 AI 기반의 대화형 검색엔진 서비스를 제공하는 미국 스타트업으로, 사용자가 정보를 검색하면 원하는 답변과 출처를 제공한다. 지난 5월 월스트리트저널에서 발표한 챗봇 사용성 평가 종합 1위를 차지하며 구글 대항마로 주목받았다. 아라빈드 스리니바스 퍼플렉시티 CEO는 SK텔레콤과의 협업을 배경에 대해 한국에서 퍼플렉시티 사용률이 높았기 때문이라고 밝혔다. 그는 "(한국의 이용자들은) 시간을 아끼려는 니즈가 있고, 새로운 기술을 빠르게 받아들이는 특징을 가지고 있다"며 "SK텔레콤은 전세계 통신사 중에서 AI 도입에 적극적인 개척자로, 가장 잘 이해한 기업"이라고 설명했다. 이어 그는 SK텔레콤 이용자들을 위해 퍼플렉시티 프로를 1년간 무료로 이용할 수 있는 프로모션을 제공했다. SK텔레콤은 퍼플렉시티와의 협력의 일환으로 자사 AI 비서 서비스인 '에이닷'을 고도화하고 있다. 기존 챗GPT, 클로드, 에이닷엑스 등 멀티 거대언어모델(LLM)과 함께 퍼플렉시티의 생성형 AI 기반의 대화형 검색엔진 서비스도 활용이 가능하도록 한 것. 에이닷은 지난달 말 기준으로 가입자 500만명을 돌파했다. 김용훈 SK텔레콤 AI서비스사업부장은 "에이닷 출시 당시 자연어 대화, 생성·요약 수준이었다면, 개편된 에이닷은 AI에이전트(PAA) 진화 로드맵 중 업무보조와 정보탐색 수준으로 성장했다"며 "사업·기술 파트너들과 협력을 통한 동반 성장을 추진해 나갈 것"이라고 강조했다. SK텔레콤은 퍼플렉시티와 함께 한국에 최적화된 AI 검색 엔진을 공동 개발한다. SK텔레콤은 한국어 데이터, 문화 콘텐츠 등을 제공하고 퍼플렉시티는 검색엔진의 파인튜닝 등을 맡는다. 또 AI 검색 서비스 고도화에 나선다. 양사는 글로벌 진출도 꾀한다. 지난 6월 SK텔레콤이 퍼플렉시티에 1천만달러를 투자했다. 퍼플렉시티도 실리콘밸리에 위치한 SK텔레콤 자회사 '글로벌 AI 플랫폼 코퍼레이션(이하 GAP)'에 투자할 예정이다. GAP는 글로벌 AI 시장을 무대로 '개인용 AI 비서 서비스(이하 PAA)' 개발 사업을 추진하고 있다. PPA는 이용자를 이해하고 의도에 따라 가장 적합한 서비스를 연결해주는 개인비서 서비스다. SK텔레콤과 GAP는 연내 베타 버전을 미국 시장에 선보이는 것을 목표로 하고 있다. 정석근 SK텔레콤 글로벌AI테크사업부장은 "연말 내로 미국에 서비스를 출시할 준비를 하고 있다. 현지 통신사와도 논의 중"이라며 "통신망과 연동된 고객들에게 무엇을 할 수 있을지의 관점에서 미국과의 협력을 논의하고 있다. 동시에 누구나 쓸 수 있는 접근성을 보장하려고 한다"고 밝혔다. SK텔레콤은 에이닷 뿐만 아니라 앞으로 선보일 PPA에도 자사의 거대언어모델(LLM)과 타사의 LLM을 모두 아울러, 적재적소에 사용하는 멀티LLM 전략을 활용한다는 방침이다. 글로벌에 선보일 PPA는 각 국가에 맞는 현지화를 거쳐 출시될 예정이다. 유영상 사장은 "저희가 만든 LLM과 글로벌 기업의 LLM을 같이 제공할 계획이다. 저희는 물론 고객들에게도 '가치'를 제공할 수 있다"며 "또 저희 LLM이 대체하는 경우 비용 측면에서 유리한 부분 있다"고 말했다. 이어 "해외 빅테크 기업들도 AI를 선택의 문제가 아닌 생존 문제로 바라보고 있다"며 "당장 다가올 미래이기 때문에 생존 차원에서 AI 투자를 바라보고 있다. 과소투자 보단 과잉투자가 낫다는 생각을 하고 있다"고 강조했다.

2024.09.04 16:18최지연

리벨리온·코난테크놀로지, '생성형AI' 시장 공략 위해 맞손

AI 반도체 스타트업 리벨리온과 인공지능 소프트웨어 전문기업 코난테크놀로지는 서초동 코난테크놀로지 본사에서 '인공지능 사업 협력을 위한 업무협약(MOU)'을 체결했다고 28일 밝혔다. 이번 협약으로 양사는 코난테크놀로지가 보유한 대규모 언어모델(LLM) 기술과 리벨리온의 국산 AI반도체 인프라를 바탕으로 국내 기술 기반의 LLM 시장을 이끌어간다는 계획이다. ▲양사 기술의 적용 사례 확대 및 사업 확장 ▲인공지능 시장 내 공동사업 모델 개발 및 사업화 ▲인공지능 분야 공동 개발 및 과제 발굴 등에서도 힘을 합친다. 양사는 지난 3월부터 협력을 이어오고 있으며, 국산 AI반도체기반 SaaS 공모사업('2024년 유망 SaaS 개발육성지원사업(K-클라우드)')에 참여해 리벨리온의 생성형AI향 NPU인 '아톰(ATOM)' 인프라 환경 상에서 코난테크놀로지의 디지털트윈 기반 AI 예지 정비 솔루션을 개발하고 있다. 이번 협약 체결을 계기로 양사는 기존 협력 모델 확산과 추가 사업 가능성을 모색하고, AI 디지털 교과서, 국방 분야 등 생성형AI의 중요성이 대두되는 영역으로 사업을 확대해 나간다는 계획이다. 2020년 설립된 리벨리온은 창립 3년 여만에 2개의 칩을 출시하고, 사우디 아람코와 KT 등 국내외 투자자로부터 누적 3천억 원 규모의 투자를 유치하는 등 성과를 거뒀다. 리벨리온은 AI반도체 '아톰'의 양산에 이어 올해 말 대규모 언어모델을 지원하는 차세대 AI반도체 '리벨(REBEL)'을 선보일 예정이다. 코난테크놀로지는 1999년 설립 이후 자체 AI 원천 기술을 기반으로 텍스트, 음성, 비디오 분야는 물론 자연어 심층 처리 분야에서 입지를 다져온 기업이다. 지난해 8월 자체개발한 대규모 언어모델 '코난 LLM'을 출시했으며, 올해는 SK텔레콤과 AI사업과 기술 방면에서 협력에도 박차를 가하는 등 사업 범위를 넓혀가고 있다. 박성현 리벨리온 대표는 “이번 협약은 대한민국의 AI 플레이어들이 가진 가능성과 경쟁력을 증명할 수 있는 좋은 기회”라며 “리벨리온의 AI반도체 인프라와 코난테크놀로지가 오랜 기간 쌓아온 AI 기술력을 결합해 다양한 산업영역에서 사업기회를 발굴하고 성공사례를 만들어 갈 것”이라고 말했다. 김영섬 코난테크놀로지 대표는 “리벨리온과의 협력을 통해 코난테크놀로지의 AI 기술을 새로운 차원으로 확대하는 동시에, 소버린 AI가 화두인 현재 양사의 기술 결합이 나아가 우리나라 인공지능 산업 생태계 발전에 기여할 수 있는 발판이 되기를 바란다”고 말했다.

2024.08.29 09:33장경윤

獨 알레프알파, 외국어·공학 전문 LLM '파리아' 출시

독일 인공지능(AI) 기업 알레프알파가 다국어와 특정 도메인에 최적화된 생성형 AI 모델을 오픈소스 형태로 공개했다. 알레프알파 거대언어모델(LLM) '파리아-1-LLM'을 출시했다고 27일 밝혔다. 매개변수 70억개로 이뤄졌다. '파리아-1-LLM'은 독일어·프랑스어·스페인어 등 다양한 언어에서 최적화된 기능을 제공하며 자동차와 공학 분야에 특화된 것으로 알려졌다. 현재 비상업적 연구 및 교육 용도로만 활용될 수 있다. 이 모델은 유럽연합(EU) 및 각 회원국의 저작권과 데이터 프라이버시 법규를 준수하며 제작 됐다. 알레프알파는 "엄선된 데이터를 사용해 모델을 훈련했다"고 설명했다. 알레프알파는 이번 모델 투명성과 안전성을 특히 신경썼다고 강조했다. 부적절한 답변을 걸러내는 데이터셋을 활용해 학습시키는 등 추가 안전장치를 도입했다. 또 답변이 지나치게 장황하거나 불필요한 정보를 포함하지 않도록 하는 기법도 적용했다. '파리아-1-LLM'은 두 가지 버전으로 제공된다. 하나는 사용자 지시에 특화된 '통제(control)' 모델이고 다른 하나는 안전성을 보다 강화한 '통제-정렬(control-aligned)' 모델이다. 독일의 머신러닝 엔지니어인 사마이 카파디아는 "'파리아'는 저작권과 개인정보 보호법 등 EU 규제를 완전히 준수해 훈련됐다"며 "이런 모델의 출시 자체만으로도 상당히 인상적인 성과"라고 평가했다.

2024.08.27 10:19조이환

[현장] "튼튼한 국방력은 엣지 AI서 나올 것"

최첨단 인공지능(AI) '엣지 AI'가 국방에도 필수적이라는 주장이 제기 됐다. 온디바이스·거대언어모델(LLM)은 사회에서만큼이나 군사 분야에도 유용하기 때문이다. 한국국방연구원(KIDA)과 과실연 인공지능(AI) 미래포럼은 22일 모두의연구소 강남캠퍼스에서 '제 7차 국방데이터 혁신 네트워크-토크'를 진행했다. 행사는 한국IT서비스학회, 모두의연구소, 지디넷코리아, 한국경제가 후원했다. 이 날 발제는 최첨단 AI를 칭하는 엣지 AI 주제로 진행됐다. 먼저 김홍석 리벨리온 소프트웨어 아키텍트 총괄이 '온디바이스: 꼭 가야할, 하지만 만만치 않은 여정'을 주제로 발제를 진행했다. 김 총괄은 국방 분야에서의 온디바이스 AI에 대해 강조했다. 온디바이스 AI는 전투상황에서 군인이 상황을 파악하고 대응하는데 있어 중요하다. 클라우드나 서버에 데이터를 보내서 분석할 시간이 없기 때문이다. 이에 김 총괄은 "온디바이스는 센서나 AI를 기기에 결합해 데이터를 바로 처리한다"며 "작전 성공 가능성을 높이고 군인들의 안전을 지킬 수 있는 중요한 수단"이라고 강조했다. 동시에 그는 온디바이스 기술 실현의 어려움에 대해 강조했다. 데이터센터에서 병렬컴퓨팅이 이뤄지는 클라우드 기반 AI와 달리 컴퓨터 하나를 통해 데이터를 처리하기 때문이다. 김 총괄은 "기기에 들어가는 칩이나 소프트웨어를 정밀하게 설계하고 센서를 잘 사용해야 한다"며 "전장 환경과 유사한 데이터셋을 구하기 어려운 점도 꼭 해결돼야 할 과제"라고 밝혔다. 이어 김주영 하이퍼엑셀 대표가 '국방 AI를 위한 LLM 특화 반도체 개발'을 주제로 발제했다. 그는 LLM이 국방 분야에 어떻게 접목될 수 있을지에 대한 조사 결과를 공유했다. 현재 미국 국방부는 생성형 AI 모델을 국방에 도입해 정보 수집, 전략 분석, 통신 보안에 활용하고 있다. 김 대표는 "국군도 LLM을 활용한 특화모델을 개발하고 있다"며 "공군과 육군이 특히 이러한 기술을 도입하기 위해 노력하고 있다"고 지적했다. 또 김 대표는 국방 LLM을 도입하기 위해 맞춤형 반도체가 필요하다고 설명했다. 그 이유는 LLM이 기존 딥러닝 모델에 비해 약 1천배에서 1만배 크기 때문이다. 이에 하이퍼엑셀이 현재 개발하는 언어처리장치(LPU) 칩이 기존 그래픽 인터페이스 장치(GPU)보다 효율적으로 기능할 수 있다고 소개했다. LPU는 GPU보다 90% 더 높은 메모리 대역폭을 활용할 수 있다. 김 대표는 "국방용 AI 반도체 시장이 급성장할 것"이라며 "LLM 추론에 최적화된 반도체 개발에 성공해 이 분야의 혁신을 지원하겠다"고 강조했다. 발제에 이어 '국방분야 AI 반도체, 온디바이스 AI 발전방안'을 주제로 산학연군 패널토의도 열렸다. 패널토의에는 조준현 방위사업청 전략기획담당관, 심병섭 한국항공우주산업 미래SW기술팀장, 박원근 네이버클라우드 이사, 최민석 한국전자통신연구원 박사, 김상희 국방과학연구소 박사가 참석했다.

2024.08.22 18:29조이환

HPE·바이브컴퍼니·동국시스템즈…한국어 LLM 공동 개발 나서

인공지능(AI)·IT솔루션·데이터 처리 전문 기업들이 한국 기업들의 원활한 AI 도입을 위해 머리를 맞댄다. 한국HPE는 바이브컴퍼니·동국시스템즈와 협력해 한국어 대규모언어모델(LLM)을 개발했다고 22일 밝혔다. 3사의 협력으로 개발되는 이번 LLM 솔루션은 기업 고객이 쉽게 IT 환경과 비즈니스 목적에 맞는 프라이빗 LLM 구축을 돕는다. 한국어 LLM 모델 개발로 한국 기업들의 부문별 필요에도 최적화할 수 있단 점이 장점이다. 이번 협력으로 한국HPE는 엔비디아 그래픽 처리 장치(GPU)를 탑재한 'HPE 크레이 XD670'과 'HPE 프로라이언트 DL380a 젠11 서버'를 지원한다. HPE 크레이 XD670은 대규모 AI 모델의 학습과 조정에 맞게 설계되고 최적화됐으며 HPE 프로라이언트 DL380a 젠11 서버는 AI 추론 작업을 지원할 예정이다. 바이브컴퍼니는 생성형 AI 기반 모델인 '바이브젬', 자동 질의응답 시스템인 '바이브 서치GPT', 일상 대화가 가능한 '바이브 스마트챗' 등을 이용해 기업의 필요에 따라 설계할 수 있는 LLM 솔루션을 개발한다. 동국시스템즈는 고객사 장비 설치·서비스 제공 등에서 기업들을 도울 예정이다. 김영채 한국HPE 대표는 "자사는 다양한 IT 환경에서의 모델 학습부터 엣지에서의 추론까지 엔터프라이즈 AI 워크로드를 위한 포괄적인 포트폴리오를 보유했다"며 "LLM 개발 기술을 갖고 있는 바이브컴퍼니와 네트워크를 보유한 동국시스템즈과 협업해 AI 기술을 활용한 국내 기업들의 경쟁력 강화에 기여하길 기대한다"고 강조했다. 김성언 바이브컴퍼니 대표는 20년 이상 업계를 이끌어 온 AI 기술력으로 HPE·동국시스템즈와 국내 기업·기관들의 AI 전환 솔루션을 개발하기 위해 노력하겠다고 언급했다. 김오련 동국시스템즈 대표는 "HPE와는 오랜 기간 파트너십을 맺어온 관계"라며 "더 많은 기업에 AI를 원활히 도입하도록 추진하겠다"고 말했다.

2024.08.22 15:50양정민

네이버 클로바X, 이미지·표·그래프까지 이해하고 분석한다

네이버는 대화형 AI 에이전트 클로바X의 27일 서비스 업데이트를 통해 시각 정보 처리 능력을 새롭게 추가한다고 밝혔다.이에 앞서 네이버는 지난 20일 '클로바' 공식 사이트의 기술 블로그를 통해서 생성형 AI 기반의 음성 합성 기술도 공개했다. 네이버는 기반 모델인 하이퍼클로바X를 텍스트뿐 아니라 이미지, 음성도 동시에 처리할 수 있는 '멀티모달' AI로 고도화하며 생성형 AI 기술 경쟁력을 갖춰간다는 방침이다. 클로바X의 이미지 이해 기능 업데이트로, 사용자들은 클로바X 대화창에 업로드한 이미지에서 추출된 정보와 입력한 질의를 바탕으로 AI와 대화할 수 있다. 클로바X는 사진 속 현상을 묘사하거나 상황을 추론하는 등 다양한 지시를 수행할 수 있다. 예를 들어 이미지나 그림 형식으로 돼 있는 표, 그래프를 클로바X가 이해하고 분석하는 것이 가능하다. 기존의 클로바X가 논리적 글쓰기, 코드 작성, 번역 등의 작업에 활발히 사용된 것에서 더 나아가, 이미지 이해 능력을 기반으로 개인의 생산성 향상 도구로서 활용 범위가 한층 넓어질 것으로 기대된다. 특히 네이버의 우수한 AI 기반 문서 처리 및 문자 인식 기술 노하우와, 다양한 분야 지식을 갖춘 거대 언어 모델(LLM)인 하이퍼클로바X가 결합해 더 정확하고 신뢰성 있는 서비스를 제공할 수 있다. 실제 대한민국 초·중·고등학교 검정고시 총 1천480개 문항을 AI 모델에 이미지 형태로 입력하고 문제를 풀게 한 결과, 클로바X는 약 84%의 정답률을 기록하며 오픈AI GPT-4o의 78%보다 높은 정답률을 보였다. 또 네이버는 클로바 공식 사이트의 기술 블로그를 통해 하이퍼클로바X 기반 음성 AI 기술을 공개했다. 기존의 음성 인식, 음성 합성 기술보다 한층 발전한 모델로, LLM의 특징인 뛰어난 문맥 이해 및 지시문 해석 능력을 활용해 언어 구조 및 발음 정확도 개선은 물론 감정 표현까지 더한 자연스러운 대화가 가능하다. AI 음성 기록 '클로바노트', AI 안부전화 '클로바 케어콜', AI 음성 합성 '클로바더빙' 등 다양한 음성 AI 서비스로 기술 경쟁력을 증명한 바 있는 네이버는 음성 멀티모달 LLM 기술로 더 편리한 서비스를 제공한다는 계획이다. 실제 네이버는 기술 블로그에서 실시간 음성 번역, 언어 학습, 상담 등 음성 멀티모달 LLM의 다양한 서비스 접목 가능성을 제시했다. 성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "거대 언어 모델로 출발한 하이퍼클로바X는 이미지 이해 능력을 더한 거대 시각 언어 모델, 나아가 음성 멀티모달 언어 모델로 발전하고 있다"며 "하이퍼클로바X의 발전된 능력은 대화형 AI 에이전트 클로바X를 비롯한 여러 네이버 서비스에 도입해 새로운 사용자 가치를 창출하고, 기업용 AI 솔루션으로도 제공하며 하이퍼클로바X 생태계를 더욱 확장해나갈 것"이라고 말했다. 네이버는 하이퍼클로바X를 멀티모달 LLM으로 고도화하고 서비스에 적용하는 과정에서도 'AI 안전성'을 적극적으로 실천할 예정이다. 지난 6월 공개한 네이버의 AI 안전성 실천 체계 '네이버 ASF(AI Safety FRAMEwork)'로 AI 시스템의 잠재적 위험을 평가하고, 특히 음성 AI 기술은 보다 안전한 서비스 제공을 위해 다각도로 검토를 이어갈 계획이다.

2024.08.22 08:38백봉삼

"AI 운영비용 최대 90% 감소"…앤트로픽, 프롬프트 캐싱 도입

앤트로픽이 생성형 인공지능(AI) 클로드의 운영비용을 최대 90% 줄이고 반응속도를 개선하는 새로운 기능을 공개했다. 16일 실리콘앵글 등 외신에 따르면 앤트로픽은 프롬프트 캐싱을 공식 홈페이지를 통해 발표했다. 이 기능은 앤트로픽의 멀티모달 대규모언어모델(LLM) 클로드3.5 소네트와 고속 AI모델인 클로드3 하이쿠에서 베타모드로 먼저 도입된다. 프롬프트 캐싱은 AI챗봇의 응답 처리 과정에서 발생하는 비용을 줄이고 반응속도를 높이기 위한 기술이다. 일반적인 AI모델은 프롬프트를 입력할 때마다 해당 데이터를 새로 입력해야 하는 만큼 많은 비용과 시간을 소모한다. 반면, 프롬프트 캐싱은 반복적으로 사용할 긴 문서나 복잡한 프롬프트를 캐시에 저장해 반복 사용하는 방식이다. 앤트로픽에 따르면 프롬프트를 캐시에 저장할 때는 백만 토큰당 3.75달러의 비용이 든다. 하지만 캐시에 저장된 데이터를 불러와 사용할 경우에는 백만 토큰당 0.3달러로 줄어든다. 이를 통해 반복적인 작업에서 기존 대비 최대 90%의 비용 감소효과를 일으킬 수 있다는 설명이다. 더불어 매번 데이터를 새로 불러올 필요가 없는 만큼 응답 시간 역시 2배 이상 높일 수 있다. 앤트로픽에 따르면 10만 토큰 규모의 특정 문서 기반 대화의 경우 캐싱 전 지연 시간은 11.5초수준이었다. 프롬프트 캐싱 적용 후 지연 시간은 2.4초로 79% 줄어드는 성과를 기록했다. 앤트로픽은 프롬프트 캐싱의 실무 사례로 노션을 소개했다. 노션은 해당 기능을 통해 AI 운영 비용을 최대 90%까지 절감했으며, 10초가 걸리던 응답 시간도 약 2.5초로 단축했다고 밝혔다. 더불어 AI응답속도가 증가하고 비용을 절감하게 되면서 더 많은 사용자에게 보다 빠른 AI서비스를 제공할 수 있어 사용자 경험 향상에 큰 영향을 미쳤다고 답했다. 노션의 공동창업자인 사이먼라스트는 "프롬프트 캐싱을 사용해 노션AI를 더 빠르고 저렴할 뿐 아니라 높은 품질을 유지할 수 있게 됐다"며 해당 서비스를 평가했다.

2024.08.16 09:52남혁우

[현장] 오픈AI 제이슨 권 "AI 극초기 단계…낙관론 유지해야"

"사람들이 인공지능(AI)을 '스마트하다'고 느끼기 시작했음에도 이 기술은 아직 초기 단계에 있습니다. 기술의 유용성을 극대화하기 위해서는 AI를 '과대광고'라고 생각하지 말고 합리적 낙관론을 유지해야 합니다." 제이슨 권 오픈AI 최고전략임원(CSO)은 12일 서울 페럼홀에서 열린 '서울 AI 정책 컨퍼런스(Seoul AI Policy Conference) 2024'에서 임용 서울대 교수와 대담하며 AI 기술의 현황과 잠재력에 대한 자신의 견해를 밝혔다. 권 이사는 지난 2022년 11월 '챗GPT-3.5'가 출시된 후 생성 AI에 대한 대중의 인식이 급격히 변화했다고 언급했다. 거대언어모델(LLM)을 통해 AI가 사람의 말을 이해하게 되면서 20년 전에는 상상할 수 없었던 기술들이 실현됐기 때문이다. 그는 직접 오픈AI 'GPT-4o' 최신 음성 모드를 시연하며 기술의 급격한 발전을 증명했다. 한국인 교수와의 대화를 통역해 달라는 권 이사의 영어로 된 요청에 'GPT-4o'는 그의 말을 한국어로 실시간 변환하며 성공적인 통역을 수행했다. 권 이사는 "불과 1년 반 전만 해도 텍스트를 키보드로 입력해야 했던 모델이 이제는 음성으로 실시간 통역을 제공할 수 있게 됐다"며 "기술은 매우 빠르게 발전하고 있다"고 강조했다. AI 능력의 급격한 발전에도 여전히 할루시네이션(환각)이나 음성 인식 오류와 같은 문제가 존재한다. 그럼에도 불구하고 AI는 여전히 추론 능력을 개선하고 있으며 엔지니어들은 최신 기술인 '트랜스포머' 이후의 새로운 패러다임을 모색하고 있다. 이러한 발전 과정에 대해 권 이사는 "우리는 기술을 점진적으로 발전시키고 AI가 일상 업무를 대신하도록 하는 것이 목표"라며 "단 한번의 도약이 아닌 점진적인 진화 과정을 통해 종국에는 일반인공지능(AGI)에 도달할 것이라고 믿는다"고 밝혔다. AI의 급격한 발전이 안전성 문제를 초래할 수 있지 않냐는 질문에 그는 AI 시스템 발전이 오히려 '정렬(Alignment)' 문제를 해결하는 데 도움될 수 있다는 점을 강조했다. 실제로 'GPT-2' 시절의 AI는 일반화 능력이 부족해 비윤리적인 명령을 실행했던 바 있으나 현재의 강력한 모델들은 스스로를 윤리적인 방향으로 제어할 수 있게 됐다. 또 권 이사는 AI 기업의 구조·거버넌스는 필요에 따라 변할 수 있지만 중요한 것은 조직을 운영하고 결정을 내리는 사람이라는 점을 강조했다. 오픈AI 역시 비영리로 시작했지만 컴퓨팅 자원과 투자 유치로 인해 복잡한 구조를 가지게 됐기 때문이다. 권 이사는 "AGI라는 핵심 목표를 위해 우리는 세상과 상호작용하며 유연하게 진화해 왔다"며 "이는 회사 구성원들이 원했던 목적을 이루기 위해 변화한 결과"라고 주장했다. 오픈AI의 향후 계획에 대해 권 이사는 "앞으로 사람들이 AI를 지금보다 많은 방향으로 활용하며 잠재력을 실현할 것"이라며 "AI의 추론 능력을 더욱 발전시켜 사람들의 업무에 실질적인 도움을 주고 동시에 안전성을 확보하는 것이 회사의 목표"라고 밝혔다.

2024.08.12 14:52조이환

오픈AI 中 서비스 중단…알리바바 '큐원2'가 대안될까

오픈AI가 중국 내 서비스를 전면 차단한 가운데 알리바바가 대규모 언어 모델(LLM) '큐원2-수학(Qwen2-Math)'을 출시해 관심이 쏠린다. 현존하는 LLM 중 최상위권 수학 AI로 평가돼 현지 연구자와 개발자들의 대안으로도 각광 받고 있다. 9일 미국의 기술 매체 벤처비트에 따르면 알리바바의 '큐원2-수학'은 LLM용 수학 벤치마크 '매스(MATH)' 테스트에서 84%의 정확도를 기록했다. 벤치마크 성능 1위인 오픈AI의 'GPT-4 코드 인터프리터(GPT-4 Code Interpreter)'가 기록한 87.92%에 근접한 성과로, 알리바바의 기술력을 입증했다는 평가다. '큐원2'는 초등학교 수준의 수학을 테스트하는 'GSM8K'에서 96.7%, 대학 수준의 수학 테스트에서는 47.8%의 점수를 기록하며 눈에 띄는 성과를 거뒀다. 이는 오픈AI 'GPT-4o', 앤트로픽 '클로드 3.5 소네트', 구글 '수학-제미나이 스페셜라이즈드 1.5 프로(Math-Gemini Specialized 1.5 Pro)'와 같은 주요 경쟁 모델들을 능가하는 결과다. 이번 성과는 중국 유저들에게 의미가 크다. 오픈AI의 서비스 차단으로 중국 개발업계와 학계가 '챗GPT'를 사용하지 못하고 있기 때문이다. 지금까지 중국 개발자·연구자들은 가상사설망(VPN)을 통해 제한적으로 파인튜닝, 연구 및 벤치마킹을 진행해 왔으나 이마저도 지난 7월 전면적으로 차단돼 연구에 제약을 받아 왔다. 이런 상황에서 '큐원2'는 'GPT-4 코드 인터프리터'에 거의 준하는 수학 능력을 달성해 중국 유저들의 업무를 효율적으로 지원할 것으로 예측된다. 이에 맞춰 알리바바는 해당 모델의 광범위한 활용을 위해 배포를 계획하고 있다. 특히 월간 사용자 수가 1억 명 이하인 기업들에게 오픈소스로 제공해 스타트업과 중소기업이 사실상 무료로 사용할 수 있게 할 방침이다. 벤처비트는 "LLM 모델 경쟁이 매우 빠르게 진행되면서 '큐원'이 지금까지는 경쟁자들에게 밀려났었다"며 "이번 수학 능력의 비약적인 향상은 알리바바가 다시 경쟁력을 회복하는 계기가 될 수 있을 것"이라고 분석했다.

2024.08.09 15:28조이환

식신, 아마존 서비스 활용한 AI 대시보드 구축

푸드테크 기업 식신은 아마존의 '아마존 베드록' 서비스를 활용한인공지능(AI) 대시보드 '외식메타 인덱스'를 구축했다고 8일 밝혔다. 아마존 베드록은 선도적인 AI 스타트업과 아마존의 고성능 파운데이션 모델을 활용한 생성형 AI 애플리케이션 구축을 지원하는 완전 관리형 서비스다. 외식메타 인덱스는 식신이 보유한 100만개 이상의 맛집 데이터 및 월간 350만명의 이용자 데이터를 기반으로 금융·공공·검색·SNS·방문자 정보 등 다양한 데이터를 통합·분석한다. 이를 통해 ▲지역별 인기 메뉴 ▲스토리가 있는 메뉴 트렌드 ▲상황이나 장소에 맞는 테마 데이터 ▲메뉴별 사용된 식자재 등의 데이터를 실시간으로 확인할 수 있다. 구축된 데이터는 수요처의 니즈에 따라 API, 콘텐츠형 위젯, 분석형 대시보드 등 다양한 형태로 제공한다. 식신은 아마존웹서비스(AWS)의 스타트업 고객 지원 프로그램에 선정돼 전략적 서비스 도입을 위한 리소스를 지원받았다. 이번 프로젝트는 AWS, 메가존클라우드, 스노우플레이크와의 협력을 통해 진행됐다 메가존클라우드는 AWS의 아마존 베드록과 스노우플레이크의 데이터 플랫폼 기능을 연동해 거대언어모델(LLM) 기반 마케팅 솔루션의 데이터 파이프라인을 구축했다. AWS는 아마존 베드록을 통해 LLM 서비스의 확장성을 제공함으로써 프로젝트에 필요한 AI 기능을 구현할 수 있도록 지원했으며, 스노우플레이크는 데이터 관리의 효율성을 높여 방대한 양의 데이터를 저장하고 분석할 기반을 마련했다. 식신은 이번 프로젝트 결과물을 통해 다양한 분야로 비즈니스를 확대할 계획이다. 에프엔비(F&B)와 여행관광 산업에서는 식신의 데이터를 통해 가맹점 컨설팅, 신메뉴 분석, 외식트렌드 등에 대한 인사이트를 제공할 예정이다. 사용자 재방문 및 전환 리마케팅용 콘텐츠를 필요로 하는 기업에도 자료를 유통한다. 식신 안병익 대표는 "글로벌 기업과 협력해 수십억건의 데이터를 효율적으로 분석하는 AI 프로젝트를 진행했다"며 "앞으로 LLM 기반 AI 프로젝트를 더욱 고도화할 예정"이라고 말했다.

2024.08.08 10:38정석규

디노도, 아마존 베드록 LLM 통합

디노도테크놀로지(이하 디노도)는 데이터 통합, 관리 솔루션인 디노도 플랫폼에 아마존웹서비스(AWS)의 '아마존 베드록' 대규모 언어 모델(LLM)과 원활한 통합을 제공한다고 6일 밝혔다. AI와 머신러닝은 데이터 관리의 주요 업무를 자동화 및 효율화하고 데이터 민주화를 실현할 수 있는 디노도 플랫폼의 핵심 기술이다. 디노도와 베드록의 조합은 가상 비서와 에이전트를 만드는 데 도움이 된다. 이들은 수많은 데이터 소스를 활용해 사용자 요청을 이해하고 작업을 자동으로 분류하며, 대화를 통해 정보를 수집해 요청 사항을 해결한다. 생성형 AI가 가진 잠재력에도 불구하고 오늘날 많은 기업은 비즈니스 목표에 맞는 생성형 AI 애플리케이션 구축에 어려움을 겪고 있다. 디노도 플랫폼은 검색 증강 생성(RAG) 프레임워크 안에서 아마존 오픈서치를 벡터 데이터베이스로 활용해 가용한 모든 데이터 소스로부터 신뢰할 수 있고 관리된 데이터를 베드록 LLM에 공급한다. 디노도 플랫폼은 데이터 소스 위에 단일 시맨틱 레이어를 구현해 시맨틱스를 표준화하고 강력한 데이터 거버넌스와 보안을 제공한다. 이러한 데이터 아키텍처에서는 RAG 쿼리를 통해 기업 내부의 모든 데이터에 액세스할 수 있지만, 해당 데이터는 질문을 한 사용자에게만 노출된다. 디노도 플랫폼을 사용할 경우 생성형 AI 애플리케이션 개발자들은 AI 기반 코파일럿을 활용해 데이터 뷰 생성과 시스템 운영을 손쉽게 할 수 있다. 보이다르 크랍체프 AWS 이머징 테크놀로지 파트너십 총괄은 “AWS 고객들은 AI와 머신러닝 애플리케이션의 성공 여부가 신뢰할 수 있는 데이터 확보에 달려있다고 생각한다”며 “디노도 플랫폼과의 통합을 통해 고객을 대신해 데이터 확보 과제를 해결했으므로 앞으로 AWS 고객들은 안전하고 믿을 수 있는 AI 애플리케이션 구축에 들어가는 시간을 줄일 수 있을 것”이라고 밝혔다. 알베르토 팬 디노도 수석부사장 겸 최고기술책임자(CTO)는 “디노도와 AWS의 협업을 통해 양사 고객들은 디노도의 논리적 데이터 관리 역량과 AWS 인프라와 서비스가 제공하는 확장성, 안정성, 보안성을 활용해 생성형 AI 기반의 데이터 관리와 배포를 개선할 수 있을 것”이라며 “이번 통합에 따라 베드록의 LLM은 기업 내부의 데이터 소스에 안전하게 액세스할 수 있게 됐고, 앞으로 기업들은 정보 요청에 정확하게 답변하는 강력한 생성형 AI 애플리케이션을 활용할 수 있게 될 것”이라고 설명했다.

2024.08.06 12:18김우용

리턴제로, '로직Kor' 리더보드 sLLM 파트서 1위

음성인식 AI 스타트업 리턴제로(대표 이참솔)가 한국어 언어모델의 다분야 사고력을 측정하는 '로직Kor' 리더보드에서 sLLM(경량화된 거대언어모델) 가운데 1위를 달성했다고 2일 밝혔다. 매개변수(파라미터) 9B의 모델 크기를 갖는 리턴제로 LLM은 지난 31일 로직Kor에서 총점 8.67점을 기록, 매개변수 13B이하인 sLLM 모델 중 최고 성능을 보여 신기록을 달성했다. 이는 직전 최고기록인 8.21점을 웃도는 수치다. 로직Kor은 오픈AI·앤스로픽 등 글로벌 빅테크와 국내 기업들이 모두 참여하는 한국어 언어모델 벤치마크로, LLM의 한국어 추론·수학·글쓰기·코딩·이해 등 6개 요소를 측정한다. 특히 리턴제로 LLM은 '이해' 능력 파트에서 두각을 드러냈다. 리턴제로 LLM 이해 능력은 10점을 기록하며, 동일 크기의 LLM은 물론 모든 크기의 매개변수를 가진 LLM을 모두 통틀어 가장 높은 점수를 나타냈다. 추론 능력에서도 미스트랄 AI, 오픈AI 등 글로벌 빅테크 외에는 처음으로 최상위권인 9점대를 기록했다. 또 리턴제로 LLM은 짧은 기간 내에 높은 수준의 성능을 구현했다. 이번에 선보인 리턴제로의 LLM 모델은 한 달 정도의 신규 파운데이션 모델 파인튜닝 기간을 거쳐 탄생했음에도, 로직Kor 리더보드의 성능 평가에서 높은 점수를 받았다. 최근 업무에 AI를 도입하는 기업이 빠르게 늘어나면서, AI 모델을 빠르게 파인튜닝하는 역량의 중요성이 높아지고 있는 추세다. 리턴제로 팀이 선보인 매개변수가 13B 이하인 sLLM은 현재 AI를 도입하려는 기업들 사이에서 가장 인기가 많은 크기로 꼽힌다. 방대한 매개변수와 데이터를 필요로 하는 기존의 LLM은 천문학적인 비용 탓에 기업 입장에서는 부담스럽지만, sLLM은 적은 매개변수에도 고도화를 통해 성능을 높이고 비용 부담은 줄일 수 있다. 특히 최근 들어 온디바이스 AI에 대한 관심도가 높아지면서 경량화된 sLLM에 대한 수요는 더욱 커지는 모양새다. 리턴제로는 음성인식 AI 스타트업으로 고객관리를 돕는 AI컨택센터(AICC) 플랫폼 구축부터 모바일음성뱅킹, AI콜센터 상담사 등 다양한 핵심 서비스를 제공하고 있다. 실제로 리턴제로는 신한금융그룹의 공통 AICC 모델 구축에 필요한 STT 솔루션을 제공하는 등 전사적인 AX를 가속화하고 있다. 특히 1시간 분량의 유튜브 동영상을 3.5초 만에 정확하게 텍스트로 변환이 가능한 속도와 정확성을 갖춘 음성인식 기술을 보유하고 있다. 이참솔 리턴제로 대표는 "리턴제로 LLM이 더욱 매개변수가 많은 일부 모델보다도 우수한 성능을 보여주면서 리턴제로의 기술 역량을 증명한 것 같아 기쁘다"며 "앞으로도 리턴제로의 노하우를 접목해 글로벌 빅테크와 견주어도 손색없는 최고 수준의 기술을 선보일 것"이라고 말했다.

2024.08.02 18:05백봉삼

마크 저커버그 "차기 LLM 라마4 기존 대비 10배 이상 투자"

메타가 차기 오픈소스 대규모 언어모델(LLM) 개발을 위해 10배 이상의 컴퓨팅 파워를 투자할 전망이다. 2일 테크크런치 등 외신에 따르면 마크 저커버그 최고경영자(CEO)는 메타의 2분기 실적발표에서 향후 AI 개발 계획을 소개했다. 그는 "향후 수 년간 필요한 컴퓨팅 클러스터와 데이터를 계획하고 있다"며 "차기 모델인 라마4(Llama 4)는 업계에서 가장 진보한 오픈 AI모델로 구축하기 위해 이전 모델보다 거의 10배에 달하는 컴퓨팅 파워가 필요할 것이라고 추정했다. 이번 실적 발표에서 수잔 리 최고재무책임자(CFO)는 메타가 올해 생성 AI에서 수익을 창출하지 못할 것임을 인정했다. 또한 다양한 데이터 센터 프로젝트와 미래 AI 모델을 훈련할 수 있는 역량 구축을 고려하고 있어 2025년까지 자본 지출이 늘어날 수 있다고 밝혔다. 이에 대해 마크 저커버그 CEO는 대규모 AI경쟁에서 뒤처지지 않기 위해 투자를 확대하는 과정이라고 밝혔다. 그는 "AI가 앞으로 어떤 추세를 보일지 예측하기 어려운 것은 사실"이라며 "하지만 투자를 멈춘 후 다시 새로운 추론 프로젝트를 시작하기엔 긴 리드타임이 필요하기 때문에 너무 늦기 전에 필요한 인프라를 미리 구축하는 위험을 감수하는 것이 낫다"고 설명했다. 또한 페이스북의 콘텐츠 순위 및 추천 도구와 인스타그램의 피드 등에 AI를 활용하고 있으며 이를 통해 성과를 개선하고 있다며 AI의 활용성을 소개했다. 마크 저커버그는 "예전에는 광고주가 특정 연령대, 지역 또는 관심사와 같이 도달하고 싶은 특정 대상 고객을 가지고 우리에게 왔다"며 "AI가 적용된 우리 광고 시스템은 이제 광고주 자신보다 누가 관심을 가질지 더 잘 예측할 수 있는 지점까지 도달했다"고 강조했다.

2024.08.02 09:58남혁우

ETRI 'AI'앱, "노인 치매 100명 중 87명 정확히 선별"

노인 치매 고위험군 100명 가운데 87명을 정확히 선별할 수 있는 인공지능(AI) 기술이 개발됐다. 한국전자통신연구원(ETRI)은 노년층 음성 발화(發話)를 분석해 치매 전 단계인 경도인지장애 및 치매 고위험군을 선별하는 인공지능(AI) 기술을 개발했다고 1일 밝혔다. 연구팀은 "음성 발화 분석을 통해 경도인지장애 및 치매 환자에게서 나타나는 인지, 언어, 운동 능력의 저하를 조기에 판단할 수 있다"고 말했다. 기존 음성, 텍스트 분석 기술에 대형 언어 모델(LLM)을 결합한 알츠하이머 치매 예측 연구를 통해 환자 판별 정확도 87.3%를 기록했다. 이는 영국 에든버러 대학과 미국 카네기 멜론 대학에서 주최한 ADReSSo 챌린지 데이터셋에서 발표한 85.4%을 뛰어넘는 성능이다. 연구팀은 이 연구결과를 기반으로 일상생활 대화 과제를 중심으로 한 음성 발화 입력을 통해 경도인지장애 고위험군을 예측하는 태블릿 기반 앱 개발을 완료했다. 복합지능연구실 강병옥 책임연구원은 “보건소를 찾을 필요없이 먼저 스마트 기기로 검사할 수 있는 장점이 있다"며 "현재 한국전기연구원과 연계한 노인복지센터 등에서 실증 사업을 계획 중"이라고 설명했다. 연구성과는 국가과학기술연구회 창의형 융합연구사업의 지원을 받았다.

2024.08.01 11:09박희범

오픈AI, 챗GPT 때문에 파산할 수도…왜?

오픈AI가 챗GPT의 유지 비용이 높아서 올해 안에 파산 위기에 처할 수 있다는 우려가 나왔다. 인공지능(AI) 기업인 오픈AI는 AI 챗봇 '챗GPT' 운영비 부담 때문에 올해 50억 달러(약 6조9천250억원) 가량 손실을 볼 가능성이 있다고 튀르키예투데이, 디인포메이션 등 외신들이 28일(현지시간) 보도했다. 보도에 따르면 챗GPT는 하드웨어를 운영 비용만 매일 70만 달러(약 9억6천950만원) 가량이 필요하다. 이 수치는 앞으로 AI 기능이 정교해지게 되면 더 늘어날 것으로 예상된다. 또 오픈AI는 올해 ▲AI 교육 부문 70억 달러(약 9조6천950억원) ▲인건비 15억 달러(약 2조775억원) 가량 필요할 전망이다. 이는 아마존의 지원을 받는 앤트로픽 등 경쟁업체의 같은 기간 지출 27억 달러(약 3조7천395억원)를 능가하는 수치다. 반면 오픈AI가 챗GPT로 벌어들이는 돈은 운영 비용을 감당하기에는 턱 없이 부족한 수준이다. 디인포메이션에 따르면 오픈AI는 챗GPT로 연간 약 20억 달러(약 2조7천700억원)를 벌어들이고 있다. 이와 별도로 대규모언어모델(LLM) 이용료로 10억 달러(약 1조3천850억원) 매출을 추가로 만들어내고 있다. 현재 오픈AI의 기업 가치는 800억 달러(약 110조8천억원)를 웃도는 수준이다. 또 생성형 AI에 대한 기업들의 관심이 높아짐에 따라 오는 2025년까지 매출이 두 배 이상 증가할 것이라는 기대도 있다. 오픈AI는 7번의 투자 라운드를 통해 110억 달러(약 15조2천416억원) 이상의 금액을 모금했으며, 마이크로소프트의 클라우드 서비스 '애저(Azure)' 할인 혜택도 누리고 있다. 그럼에도 오픈AI는 35만개의 서버 중 29만개를 챗GPT 전용으로 운영 중이다. 오픈AI는 파산을 피하기 위해 향후 12개월 이내에 추가 자본을 확보해야 한다. 이러한 리스크에도 오픈AI는 샘 알트만(Sam Altman) 대표와 함께 일반인공지능(AGI)을 발전에 집중하고 있다. 또한 AI 기반 검색 엔진인 서치(Search)GPT를 출시하며 제품과 수익원을 다각화를 모색 중이다.

2024.07.29 13:48정석규

삼성전자 SAIT, 미래 반도체 기술 'AI·CE 챌린지 2024' 개최

삼성전자가 AI 기술을 활용한 미래 반도체 연구 생태계 강화를 위해 인공지능(AI)과 컴퓨터 공학(이하 CE) 분야 국내 우수 인력 발굴에 나선다. 삼성전자 SAIT(옛 삼성종합기술원)는 다음달 1일부터 9월 13일까지 약 6주 간 국내 대학 학부생과 대학원생을 대상으로 '삼성 AI/CE 챌린지 2024'를 개최한다고 29일 밝혔다. 참여를 원하는 학생들은 SAIT 홈페이지에서 접수 가능하며 결과는 10월초 발표된다. 공모 부문별 최우수상을 포함해 총 12개팀을 선발하며, 부문별 최우수 1개팀은 1천만원, 우수 1개팀은 500만원, 장려 2개팀은 각 300만원이 수여된다. 시상식은 11월 개최되는 '삼성 AI 포럼'에서 진행될 예정이다. 수상자 전원에게는 삼성전자 SAIT에서 주관하는 'AI/CE 챌린지 캠프'에 참여해 수상팀들간 네트워킹과 SAIT AI/CE 연구 리더들부터 멘토링을 받을 수 있는 기회가 주어진다. 2021년부터 시작해 올해로 4회를 맞는 '삼성 AI/CE 챌린지'는 과학기술 인재 발굴과 지원을 위한 아이디어 공모전으로, AI와 CE 분야에서 총 3개 주제로 진행된다. 올해 챌린지의 공모 주제는 AI 분야에서 ▲모델 기반 Black-box 최적화 알고리즘 개발 ▲정밀하고 신뢰성 높은 반도체 소재 시뮬레이션용 머신러닝 모델 개발, CE 분야에서 ▲온디바이스 시스템에서 LLM(거대언어모델)의 추론 최적화 등 총 3개이다. 참여 학생들은 AI 분야에서는 주어진 문제와 데이터셋을 활용해 최적의 AI 알고리즘을 개발하고, CE 분야에서 제한된 하드웨어 리소스를 활용해 거대언어 모델(LLM)의 추론 시간을 최소화하고 정확도를 개선하기 위한 방안을 도출하게 된다. SAIT는 인공지능을 이용한 반도체 소자와 공정 개발 검증 용 머신 러닝 알고리즘 개발에 대한 아이디어를 찾고, 이를 통해 국내 차세대 반도체 연구 개발 경쟁력을 강화한다는 계획이다. 경계현 삼성전자 SAIT 사장은 "AI 기술은 반도체 업계 내에서도 활용 범위를 빠르게 넓혀가는 중으로 SAIT는 새로운 기술 연구에 앞장서며 한계 극복을 위해 노력 중" 이라며 "AI/CE 챌린지를 통해 미래 기술의 한계를 뛰어넘을 수 있는 새로운 아이디어를 얻을 수 있도록 우수한 학생들의 많은 참여를 기대한다"고 밝혔다. 지난 챌린지 최우수상 수상자인 서울과학기술대학교 전예지씨는 "AI/CE 기술을 반도체 산업에 어떻게 적용할지 직접 고민해 볼 수 있는 흔치 않은 기회였고, AI 분야를 계속 연구해갈 학생들에게는 챌린지 수상을 통해 만난 동료·멘토들이 든든한 도움이 될 거라 생각한다"고 말했다.

2024.07.29 08:31장경윤

메타·엔트로픽·미스트랄, AI 新무기 내놔도 오픈AI 못 넘는다…이유는?

생성형 인공지능(AI) 시장을 주도하고 있는 오픈AI를 겨냥해 메타와 엔트로픽, 미스트랄 등이 잇따라 최신 모델을 선보이며 AI 경쟁이 치열해지고 있다. 각 업체들은 오픈AI의 최신 모델 'GPT-4o'나 'GPT-4'를 기준으로 성능을 비교하며 자사 모델의 경쟁력을 알리고 있지만 오픈AI를 뛰어넘기엔 기술적 한계가 여전하다는 평가다. 26일 IT 매체 테크크런치에 따르면 프랑스 AI 스타트업 미스트랄은 지난 24일 최신 AI 모델인 '라지(Large) 2'를 선보였다. 이 모델은 1천230억 개(123B)의 매개변수로 12만8천 토큰의 컨텍스트 창을 제공한다. 회사 측은 전날 출시한 메타의 '라마 3.1' 모델과 동등한 성능을 가졌다고 주장했지만, '라마 3.1' 중 가장 큰 모델(450B)에 비해 매개변수는 3분의 1도 안된다. 다만 전작에 비해선 추론뿐 아니라 코드 생성, 수학 등 전반에 걸쳐 성능이 개선됐다는 평가를 받는다. 고급 다국어 기능도 제공되는데 한국어를 포함해 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어 등 12개 언어와 80개의 코딩 언어를 지원한다. 또 고급 함수 호출 및 검색 등 새로운 기능이 추가됐고 AI의 큰 단점으로 꼽히는 '할루시네이션(환각 증상)'도 최소화했다. 페이스북 모회사 메타도 지난 23일 거대언어모델(LLM) 라마 3 시리즈 중 상위 버전인 '라마 3.1'을 출시했다. 지난 4월 '라마 3'을 선보인 이후 3개월여만으로, 405B와 8B, 70B 등 3가지 버전으로 구성됐다. '또 라마 3.1'은 엔비디아 최신 그래픽처리장치(GPU) 'H100' 1만6천 개를 기반으로 훈련됐다. 운영 비용은 오픈AI 'GPT-4o'에 비해 절반정도인 것으로 알려졌다. 올해 3월에는 앤트로픽도 차세대 LLM '클로드3'를 내놨다. 오픈AI의 GPT-4를 넘어섰다는 평가를 받은 '클로드3'는 성능과 속도에 따라 '오푸스', '소네트', '하이쿠'로 나뉜다. 이 중 가장 지능적인 '오푸스'는 대학원 수준의 전문 추론, 기초 수학 등 AI 성능 테스트에서 오픈AI의 GPT-4를 능가한 것으로 알려졌다. 이처럼 각 업체들이 오픈AI AI 모델을 기준으로 삼고 최신 버전을 내놓지만 'GPT'를 넘기엔 여전히 부족하다는 의견이 많다. 오픈AI와 달리 '멀티모달(Multi modal)' 기능을 제공하고 있지 않아서다. 멀티모달은 텍스트뿐 아니라 이미지, 음성, 영상 등 다양한 데이터를 인식할 수 있는 AI 모델 방식이다. 기존 AI는 대부분의 정보를 텍스트로 배우고 처리했지만, 멀티모달 AI는 여러 가지 정보를 한꺼번에 받아들여 더 정확한 결과물을 만들어낼 수 있다는 것이 강점이다. 이 탓에 현재로선 오픈AI와 겨룰 수 있는 경쟁사는 구글이 거의 유일하다. 구글은 올해 2월 멀티모달 AI 모델 '제미나이 1.5 프로'를 공개한 데 이어 5월 중순께 제미나이 탑재 검색 엔진을 정식 출시했다. 이에 맞서 오픈AI도 지난 5월 다양한 형태의 데이터를 동시에 인식하고 처리할 수 있는 대규모 멀티모달 모델(LMM) 'GPT-4o'를 공개했다. '음성 모드'가 지원되는 것이 특징으로, 텍스트로 대화를 나누던 기존 모델과 달리 실시간 음성으로 질의응답을 할 수 있고 사용자가 답변 중간에 끼어들어도 대화를 계속할 수 있는 것이 차별점이다. 최근에는 챗GPT 소형 모델인 'GPT-4o 미니'를 공개하며 멀티모달 AI의 소형화에 앞장서고 있다. 이미지와 동영상을 제공해주고 실시간 음성 대화가 가능했던 'GPT-4o'와는 달리 텍스트와 이미지 인식 기능만 지원된다. 가격은 일반 모델인 GPT-3.5 터보보다도 60% 저렴하지만, 성능은 최신 모델인 'GPT-4o' 수준과 유사한 것으로 알려졌다. 오픈AI는 "'GPT-4o 미니'는 지난해 10월까지의 지식을 보유하고 있다"며 "이미지·비디오·오디오 입출력은 향후 지원할 예정"이라고 밝혔다. 테크크런치는 "미스트랄 라지 2와 메타 라마 3.1 버전에도 없는 것이 바로 '멀티모달' 기능"이라며 "오픈AI는 멀티모달 AI 시스템과 관련해 경쟁사보다 훨씬 앞서 있고 일부 스타트업들이 이를 구축하려고 노력 중"이라고 분석했다.

2024.07.26 09:27장유미

Prev 11 12 13 14 15 16 17 18 19 Next