ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (271건)

오픈AI, 韓 기업 연쇄 회동…카카오·삼성 만나 '수익' 실현하나

샘 알트먼 오픈AI 최고경영자(CEO)가 한국을 방문해 카카오, SK, 삼성, 크래프톤 등 주요 대기업 및 스타트업과 연쇄 회동을 가졌다. 글로벌 인공지능(AI) 시장 경쟁이 치열해지는 가운데 수익성 강화를 위해 국내 기업들과의 협력·투자 유치를 추진하기 위함이다. 4일 업계에 따르면 알트먼 CEO는 이날 오전부터 빡빡한 일정을 이어갔다. 오전 8시부터 최태원 SK그룹 회장과 약 40분간 간담회를 진행했으며 9시에는 회사가 주최하는 개발자 행사 '오픈AI 빌더랩'에 참석했다. 이 자리에는 네이버, LG AI 연구원 등 IT 대기업과 뤼튼테크놀로지스, 와들, 포티투마루 등 국내 신생 AI 기업들의 개발자들이 대거 참석해 오픈AI의 기술과 전략에 대한 논의를 진행했다. 빌더랩 질의 응답에 참가한 알트먼 CEO는 오전 10시 40분부터 김창한 크래프톤 대표와 만나 AI 게임 캐릭터(CPC) 및 게임 특화 AI 모델 최적화 협력 방안을 논의했다. 이후 11시에는 카카오톡 미디어 간담회에 모습을 드러냈다. 이 자리에서는 카카오와 함께 '챗GPT' 기술을 카카오톡과 카카오의 새 AI 서비스 '카나나(Kanana)'에 통합한다고 전격 발표했다. 이에 따라 카카오는 '챗GPT' 엔터프라이즈를 회사 서비스에 전면적으로 적용하게 된다. 카카오와의 협력 발표가 끝난 후 그는 극비리에 방한한 손 마사요시 소프트뱅크 회장과 함께 삼성전자 서초사옥을 찾았다. 업계에서는 이 자리에서 AI 반도체, AI TV, AI 특화 디바이스 개발 등이 주요 의제로 다뤄졌을 것으로 본다. 특히 알트먼 CEO가 지난달 도널드 트럼프 전 미국 대통령이 발표한 대규모 데이터 센터 건설 사업인 '스타게이트 프로젝트' 참여를 삼성전자에 요청했을 가능성도 제기된다. 업계에서는 이처럼 알트먼 CEO가 동분서주하는 이유로 현금과 수익성 확보가 절실하기 때문이라고 분석한다. 현재 오픈AI는 세계 1위 AI 업체로 평가받으며 기업가치 1천570억 달러(한화 약 2천290조원)를 기록 중이지만 '챗GPT'의 B2C 수익만 놓고 보면 적자 상태인 것으로 알려졌다. 실제로 회사는 지난해 기준 매출 37억 달러(한화 약 51조원)에 적자 50억 달러(한화 약 68조원)를 기록한 상황으로, 올해 매출은 전년 대비 2배 이상 늘어날 것으로 전망됨에도 여전히 적자를 벗어나기 어려울 것으로 예상된다. 실제로 샘 알트먼 CEO는 지난달 자신의 X 계정에 "챗GPT '프로'를 발표한 뒤 너무 많은 사람이 사용해 적자를 보고 있다"며 "월 200달러(한화 약 30만원) 정도 구독료를 책정하면 수익을 낼 수 있으리라 봤다"고 언급했다. 이같은 상황 속에서 알트먼 CEO의 국내 방문과 협력 모색은 국내 IT·빅테크 업계와 협업 계획을 적극 추진하고 투자를 유치하면서 파트너 범위를 넓히려는 행보로 풀이된다. 특히 카카오와의 전면적인 협력은 오픈AI가 안정적 수익 창출원을 확보하기 위한 중요한 포인트로 해석된다. 이용자가 5천만 명에 달하는 카카오 플랫폼은 단숨에 대규모 사용자를 확보할 수 있는 통로이기 때문이다. 빌더랩 행사에 국내 주요 IT 대기업과 스타트업의 개발자들을 초청한 것도 같은 맥락으로 분석된다. 초대된 개발자들이 오픈AI 기술을 직접 체험하게 함으로써 잠재적인 파트너 풀을 확대해 API를 도입하게 함으로써 B2B 사업을 장기적으로 확장할 수 있다는 계산이다. 이날 빌더랩에 참석한 한 업계 관계자는 "질의응답 시간에 알트먼이 한국을 두고 AI 발전에 필요한 핵심 요소를 갖춘 장소'라고 강조했다"며 "오픈AI가 국내 IT 서비스 기업들에게도 경쟁력 있는 파운데이션 모델 API를 공급하려는 의지가 강하게 드러났다"고 설명했다. 이 같은 국내 협력 논의는 투자 유치와도 연결된다. 오픈AI는 B2B 확장을 통해 새로운 매출원을 발굴하는 동시에 글로벌 투자자들로부터 대규모 자금을 조달하려는 움직임을 보이고 있기 때문이다. 실제로 삼성전자와의 3자 대담에 동석한 손 마사요시 소프트뱅크 회장은 지난 3일 일본 도쿄에서 이미 알트먼 CEO와 별도로 회동해 투자 확대 방안을 논의했다. 소프트뱅크 그룹은 연간 30억 달러(한화 약 4조 원) 규모로 오픈AI의 도구를 자사 계열사에 도입하겠다는 계획을 발표했으며 지난달에는 '스타게이트' 프로젝트의 출자자로서 전면적인 지원을 아끼지 않겠다고 밝히며 사실상 오픈AI와 전략적 동맹 관계를 구축한 상태다. 오픈AI가 국내에서 투자 유치와 기업 협력을 강화하는 이유 중 하나는 최근 중국 AI 업계의 급부상이다. 중국 AI 스타트업 딥시크(DeepSeek)가 출시한 'R1' 모델이 업계에 거대한 지각변동을 일으키고 있기 때문이다. 지난달 20일 공개된 'R1'은 출력 토큰 100만 개당 2.19달러(한화 약 3천 원)로, 이는 오픈AI의 'o1' 모델 대비 97%나 저렴한 수준이다. 이미 아마존, MS, 퍼플렉시티 등 글로벌 IT 기업들이 딥시크 모델의 도입을 검토하거나 추진하면서 오픈AI 역시 비용 경쟁력을 확보하고 시장 대응 속도를 높이는 것이 시급해졌다. 다만 오픈AI의 한국 시장 내 입지는 오히려 더 강화될 가능성이 크다는 분석도 제기된다. 보안 문제로 인해 국내 IT 기업들은 중국산 LLM API 활용에 제약을 받을 가능성이 높으며 상대적으로 보안 신뢰도가 높은 오픈AI를 선호하는 기업이 많다는 점이 그 이유다. 이에 따라 오픈AI는 한국 시장을 AI 기반 B2B 사업 확장의 주요 거점으로 삼고 대기업과의 협력을 더욱 적극적으로 확대하려는 것으로 보인다. 한 업계 관계자는 "오픈AI가 기술 우위를 유지하는 동시에 보안 신뢰도와 파트너십을 빠르게 확대해 나간다면 국내에서의 장기적인 수익화에도 긍정적인 영향을 미칠 것"이라고 전망했다.

2025.02.04 17:43조이환 기자

정신아 대표 "카카오, 오픈AI와 일상 혁신하는 미래 준비"

“오픈AI는 카카오의 서비스 개발 진행 속도에 맞춰 최적화된 AI 기술을 구현하는 최고의 파트너사다. 지난해 9월부터 협력을 논의했으며, 카카오 5천만 사용자를 위한 공동 프로덕트 개발을 준비 중이다.” 정신아 카카오 대표는 4일 서울 중구 더플라자에서 열린 기자간담회에서 이같이 밝히며 카카오의 AI 전략 방향을 공유했다. 이날 간담회에는 정 대표를 비롯해 샘 알트먼 오픈AI 대표도 함께 참석했다. 정 대표는 “자본력이 곧 경쟁력인 환경에서 카카오는 최고의 모델을 빠르게 확보해 사용자에게 최적의 AI 경험을 제공하는 것에 집중하고 있다”며 “이를 위해 지난해 9월부터 오픈AI와 논의를 시작했고 챗GPT 등 최신 AI 기술 API(애플리케이션 프로그래밍 인터스페이스)를 활용할 방침”이라고 강조했다. 이어 “카카오는 기술을 기반으로 일상을 혁신하는 미래를 준비해 일상에 스며드는 퍼스널 라이브 AI 서비스를 제공하겠다”고 덧붙였다. 이후 정 대표와 알트먼 대표의 대담이 진행됐다. 이 자리에서 알트먼 대표는 카카오를 파트너로 선택한 이유에 대해 “장기적인 관점에서 카카오를 좋아했다”며 “우리는 같은 AI 비전을 공유하고 있다”고 설명했다. 이들이 말하는 AI 비전은 '사용자들이 AI 기술을 쉽고 자연스럽게 활용하며 일상을 편리하게 만드는 것'이다. 카카오는 이번 협력을 통해 국내 AI 서비스가 대중화될 것으로 예상하고 있다. 오픈AI가 비용 부담을 낮추는 새 모델을 선보이면, 이를 활용할 수 있는 플랫폼 사업과 서비스를 운영하는 카카오와 시너지가 날 것이라는 기대다. 알트먼 대표는 “6개월 혹은 3개월 전에 불가능했던 것이 현재의 AI로는 가능해지는 등 빠르게 개선되고 있다”며 “카카오와 엔터테인먼트, 생산성 등 모든 측면에서 협력할 수 있다고 생각한다”고 말했다. 정 대표 역시 “올해는 제대로 된 대중적인 AI 서비스가 등장하는 한 해가 될 것”이라며 “카카오의 카나나를 포함해 오픈AI 기술 API를 활용한 다양한 서비스를 출시할 계획”이라고 설명했다. 공동 프로덕트의 구체적인 내용을 묻는 질문에 정 대표는 “기본적으로 카카오톡이나 카카오맵처럼 카카오가 가진 서비스 내에서 사용자의 요구가 가장 맞는 접점을 찾아가고 있다”면서 “사용자가 어떤 것을 원할지 오픈AI와 아이디어를 나누고 있다”고 답했다. 카카오 AI 에이전트 카나나에도 오픈AI의 최신 AI 기술 API를 활용할 방침이다. 상반기 중 일반인 대상 베타 테스트를 진행한다는 계획이다. 정 대표에 따르면 카나나는 지난해 말 사내 비공개 시범테스트(CBT)를 실시했다. 정 대표는 “모든 분이 예상하신 것처럼 카나나는 B2C 서비스고 카카오톡이라는 관점 때문에 높은 수준의 서비스를 내야 해 CBT를 통해 바꿀 부분이 많이 있다는 걸 발견했다”며 “출시는 올해 안으로 생각 중이다. 사용자를 만족시키지 못하면 피벗(전략수정)을 통해 계속해서 정답을 찾아가겠다”고 밝혔다.

2025.02.04 14:51김민아 기자

투비유니콘 윤진욱 대표, "맞춤형 AI솔루션으로 '유니콘' 비상 포부"

"올해 투비유니콘은 초거대 AI 기업으로서의 입지를 다지는데 모든 역량을 집중할 계획입니다. 유니콘을 향해 새롭게 날아오르는 한 해가 될 것입니다." 초거대 AI 상용화 모델을 자체 구축한 생성형 AI 전문 기업 (주)투비유니콘 윤진욱 대표의 새해 포부다. 투비유니콘은 자체 구축한 한국어 전용 거대언어모델(TBU-LLM)을 기반으로 아담, 닥터챗, 담소, 노크 등 다양한 분야 생성형 AI 솔루션을 확보하고 있다. "올해는 고객의 사업 분야별 소형언어모델(sLM) 시장 진입에 적극 나설 것입니다. 보다 정교하고 맞춤화된 AI 솔루션을 고객에 제공할 것입니다." 윤 대표는 "비전 AI 분야로의 진출도 도모할 것"이라며 "AI 시스템과 사물인터넷(IoT), 모빌리티 기술을 결합해 기후변화에 따른 재난 안전 및 피해 최소화를 위한 연구개발에도 적극 나선다"고 언급했다. 투비유니콘이 그동안 개발해 선보인 솔루션이 올해 비상의 기반이다. 곧 개발이 마무리되는 사회필수요원 인력매칭 시스템 '아담(ADAM)'은 육군 AI인재 매칭 플랫폼으로 완성해 시범 공급할 계획이다. 향후 경찰, 소방 등 다양한 분야의 사회필수인력 AI 인재 매칭 플랫폼으로 확장시켜 나갈 계획이다. 지난해 공개한 AI 진료 상담 및 병원예약 서비스 '닥터챗'과 대화형 AI 심리케어솔루션 '담소'도 완성도를 높여, 시니어를 대상으로 하는 AI헬스케어 시장에 안착시킬 방침이다. "서비스형 소프트웨어(SaaS)형 AI 플랫폼으로 학생들의 진로관리 및 수업설계가 가능한 '노크'도 올해 전국 디지털 선도학교를 중심으로 1000곳의 중・고등학교에 보급이 가능할 것으로 전망합니다. 제품 완성도가 높은 만큼 영업 역량이 목표 달성을 좌우할 것으로 봅니다." 인력·자금 안정... "죽음의 계곡 넘었다" 투비유니콘은 창업 5년차 성장기 벤처기업이다. 지난해 정부 R&D 사업과 솔루션 판매에 힘입어 처음으로 매출 25억 원을 돌파했다. 오는 2027년까지 매출 100억 원 달성이 단기 목표다. "지난해 안정적인 재정 기반을 마련함으로써, 벤처기업에 '죽음의 계곡'으로 불리는 데스밸리(Death Valley)는 무사히 건넜다고 봅니다. 전 직원이 똘똘 뭉쳐 어려움을 헤쳐나간 덕분입니다." 투비유니콘은 지난해 정부사업만 모두 11개를 땄다. 사업 확장을 위한 인력과 자금을 확보했다. 자금 면에서는 중소벤처기업부 창업성장기술개발사업인 '2024년 팁스(TIPS)'와 기술보증기금의 '기보-스타(Kibo-Star) 밸리기업'에 선정됐다. 이 덕분에 경영 안정에 도움이 됐다. 수주한 사업도 다양하다. 대표적으로 ▲인공지능산업융합사업단의 AI 시제품 제작 및 상용화 지원사업 ▲한국지능정보사회진흥원의 K-클라우드 프로젝트 공공부문 이용 SaaS 개발・검증 지원사업 ▲중소기업기술정보진흥원의 기술혁신개발사업 등을 땄다. 투비유니콘은 이외에 기술보증기금이 기술이전과 상용화 우수기업 10곳을 선정해 소개하는 우수사례집에도 이름을 올렸다. "대학을 졸업한 뒤 한때 대기업에 다니기도 했습니다. 그러나 창업기회가 곧바로 다가왔습니다. 교육포털인 '스쿨로직' 사이트가 대학 수시모집 기간에 네이버 실시간 검색 1위에 오르는 등 인기를 끌었습니다." 이때 수집된 데이터가 지난 2020년 4월 '투비유니콘'을 설립하는 기반이 됐다. 윤 대표는 "올해 상반기에 몰릴 정부 각 부처 R&D 지원사업 수주는 물론 개별 마케팅을 통해 서비스를 적극 확대해 나갈 것"이라며 자신감을 드러냈다.

2025.02.04 12:39박희범 기자

"가장 강력한 LLM은?"…올거나이즈, AI 에이전트 평가 플랫폼 첫선

올거나이즈가 거대언어모델(LLM) 성능 평가 플랫폼을 선보여 기업이 최적의 인공지능(AI) 모델을 선택하도록 돕는다. 올거나이즈는 문제 해결을 위해 자율적으로 행동하는 AI 에이전트의 성능을 평가하는 국내 최초 플랫폼으로서 '올인원 벤치마크'를 출시했다고 3일 밝혔다. 이는 지난해 선보인 금융 전문 LLM 리더보드에서 한 단계 발전한 형태로, LLM의 다양한 역량을 종합적으로 분석하고 대시보드 형태로 결과를 제공한다. 올인원 벤치마크는 LLM이 에이전트 역할을 수행하기 위해 필요한 도구 선택 및 활용 능력, 대화의 맥락 이해, 정보 수집 및 활용 능력 등을 평가한다. 현재 올거나이즈의 자체 소형언어모델(sLLM)을 비롯해 챗GPT, 엑사원, 큐원, 딥시크 등 총 12개의 LLM을 분석할 수 있다. 새로운 LLM 평가는 매우 간편하게 진행된다. 모델 이름을 입력하면 애플리케이션 프로그램 인터페이스(API)가 자동 구현돼 즉시 테스트가 가능하다. 또 기존 벤치마크 방식이 동일 작업을 반복 실행해야 하는 불편함이 있었던 데 비해 올인원 벤치마크는 대규모 데이터셋에서도 효율적인 평가가 가능해 시간을 대폭 단축했다. 최근 올거나이즈는 올인원 벤치마크를 활용해 오픈소스로 공개된 딥시크의 'V3' 모델을 평가했으며 그 결과 'GPT-4o 미니'와 유사한 성능을 보였다고 밝혔다. 'V3'는 기존 다양한 벤치마크에서 성능을 검증받았으나 에이전트로서의 성능 분석은 이번이 처음이다. 올인원 벤치마크는 에이전트 성능뿐 아니라 언어 이해력, 지식 수준, 명령 준수(Instruction Following) 등 LLM의 전반적인 역량을 평가한다. 평가에는 '아레나하드(ArenaHard)' '코베스트(Kobest)' '해래(HAERAE)' 등 12개의 공개 벤치마크가 활용되며 결과는 100점 만점 기준으로 소수점 4자리까지 수치화돼 제공된다. 이창수 올거나이즈 대표는 "기업들이 AI 도입 시 객관적인 데이터를 기반으로 최적의 LLM을 선택할 수 있도록 지속적으로 평가 플랫폼을 업데이트할 것"이라며 "에이전트 성능을 강화하기 위한 LLM 학습 방법도 심도 있게 연구 중"이라고 밝혔다.

2025.02.03 12:06조이환 기자

"AI, 역사 시험은 빵점"…거대언어모델, 전문 시험서 한계 드러내

인공지능(AI)이 고급 역사 질문에서는 신뢰할 만한 답변을 내놓지 못한다는 연구 결과가 나왔다. 21일 테크크런치에 따르면 오스트리아 연구기관 복잡성 과학 허브(CSH)는 최근 발표한 연구에서 'GPT-4', '라마', 구글 '제미나이' 같은 거대언어모델(LLM)들이 역사적 전문성을 테스트하는 벤치마크인 '히스트-LLM(Hist-LLM)'에서 낮은 성과를 보였다고 밝혔다. 가장 높은 성과를 보인 'GPT-4 터보'도 정확도가 46%에 불과했다. 이번 테스트는 '세샤트 글로벌' 역사 데이터베이스를 바탕으로 진행됐으며 고대 이집트와 같은 특정 역사적 상황을 포함한 고급 질문을 포함했다. 이 질문에서 LLM은 대부분의 질문에 대해 부정확하거나 과장된 답변을 내놓으며 한계를 드러냈다. 일례로 연구진은 고대 이집트에 특정 시기에 찰갑 갑옷이 존재했는지 물었다. 'GPT-4'는 "예"라고 답했지만 실제로 찰갑은 해당 시기로부터 1천500년 뒤에 등장했다. 또 다른 질문에서는 고대 이집트에 상비군이 있었는지를 물었으나 모델은 잘못된 정보를 바탕으로 "있었다"고 답했다. 연구팀은 이런 오류의 원인으로 AI가 널리 퍼진 데이터를 우선적으로 학습하는 특성을 지적했다. 페르시아 같은 제국의 상비군에 대한 정보가 풍부한 반면 고대 이집트와 같은 특정 시기와 관련된 희귀 데이터는 학습이 부족하다는 것이다. 또 AI 모델은 특정 지역에 대한 역사적 지식의 성능이 더 낮은 경향도 보였다. 특히 사하라 이남 아프리카와 같은 지역에 대한 데이터의 부족과 편향이 더 큰 문제로 작용했다. 연구진은 이번 결과가 LLM의 역사적 한계와 개선 가능성이 있다는 점을 동시에 보여준다고 강조했다. 향후에는 대표성이 부족한 지역의 데이터를 추가하고 보다 복잡한 질문을 포함하는 방향으로 기준을 개선할 계획이다. 피터 투르힌 CSH 교수는 "AI는 기본적인 역사적 질문에는 유용하지만 고급 질문에서는 아직 전문성을 갖추지 못했다"며 "향후 기술 개선을 통해 역사 연구를 보조할 수 있는 가능성은 충분하다"고 말했다.

2025.01.21 09:57조이환 기자

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환 기자

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리 기자

AI칩 주도권 노리는 삼성…"서버·폰·TV용 NPU 모두 개발 중"

"NPU의 성장 가능성은 매우 높다. 삼성에서도 '마하'와 같은 클라우드용 NPU와 스마트폰에서 활용 가능한 온-디바이스용 NPU 등 여러 개발 프로젝트를 가동하고 있다. 특히 삼성리서치는 TV용 NPU를 개발하고 있다." 김대현 삼성리서치 글로벌AI센터장은 14일 여의도 국회의원회관에서 회사의 AI 가속기 발전 동향에 대해 이같이 밝혔다. NPU 성장성 유망…삼성도 서버·폰·TV 등 NPU 전방위 개발 현재 AI 반도체 시장은 글로벌 팹리스인 엔비디아의 고성능 GPU(그래픽처리장치)가 사실상 독과점 체제를 이루고 있다. GPU는 복수의 명령어를 동시에 처리하는 병렬 처리 방식이기 때문에, 방대한 양의 데이터를 반복적으로 연산해야 하는 AI 산업에 적극적으로 채용되고 있다. 김 센터장은 "엔비디아 GPU가 AI 데이터센터를 구축하는 가장 보편적인 반도체가 되면서, 이를 얼마나 확보하느냐가 AI 경쟁력의 바로미터가 됐다"며 "마이크로소프트나 메타가 수십만개를 확보한 데 비해, 삼성의 경우 1만개 내외로 아직 부족한 것이 사실"이라고 말했다. 특히 엔비디아는 자사 GPU 기반의 AI 모델 학습, 추론을 완벽하게 지원하는 소프트웨어 스택 '쿠다(CUDA)'를 제공하고 있다. 덕분에 개발자들은 대규모 AI 모델 학습 및 추론을 위한 다양한 툴을 활용할 수 있다. 다만 향후에는 NPU(신경망처리장치) 등 대체제가 활발히 쓰일 것으로 전망된다. NPU는 컴퓨터가 데이터를 학습하고 자동으로 결과를 개선하는 머신러닝(ML)에 특화된 칩이다. GPU 대비 범용성은 부족하나 연산 효율성이 높다. 김 센터장은 "NPU는 AI만 집중적으로 잘하는 반도체로, GPU가 AI 성능이 100이라면 NPU는 1000정도"라며 "엔비디아의 칩이 너무 비싸기 때문에, 글로벌 빅테크 기업들도 각각 성능과 효율성을 극대화한 맞춤형 AI 가속기를 개발하고 있다"고 설명했다. 삼성전자도 데이터센터, 온-디바이스AI 등 다양한 산업을 위한 NPU를 개발 중인 것으로 알려졌다. 김 센터장은 "삼성에서도 NPU 하드웨어와 소프트웨어, AI 모델에 이르는 전 분야를 개발하고 있고, 내부적으로 여러 개의 NPU 개발 프로젝트를 진행 중"이라며 "마하와 비슷한 또 다른 프로젝트가 있고, 삼성리서치는 TV용 NPU를 개발 중"이라고 설명했다. 앞서 삼성전자는 네이버와 협력해 자체 AI 가속기인 '마하'를 공동 개발해 왔으나, 양사 간 이견이 커져 프로젝트가 무산됐다. 대신 삼성전자는 자체 인력을 통해 AI 가속기 개발을 지속하기로 한 바 있다. 국내 AI칩 생태계 크려면…하드웨어·소프트웨어 균형 지원 필요 리벨리온, 퓨리오사AI 등 국내 스타트업도 데이터센터용 NPU를 자체 설계해 왔다. 각 기업은 국내 및 해외 테크 기업과 활발히 협력하면서 본격적인 시장 진입을 추진하고 있다. 김 센터장은 "국내 AI 반도체 스타트업들이 성공하기 위해서는 하드웨어와 소프트웨어 분야를 균형있게 지원해줄 수 있는 방안이 필요하다"며 "현재 이들 기업이 투자에만 의존하고 있지만, 궁극적으로는 데이터센터 기업과 연동돼 자생할 수 있는 생태계를 조성할 수 있도록 해줘야 한다"고 강조했다. 한편 이번 김 센터장의 발표는 고동진 국회의원이 주최한 '엔비디아 GPU와 함께 이야기되고 있는 TPU와 NPU 기술 등에 대한 현황분석 간담회'에서 진행됐다. 고동진 의원은 "우리나라의 AI 반도체 생태계 강화를 위해서는 국내 기업들을 활용한 데이터센터 인프라 구축이 필요하다"며 "엔비디아, 구글, 아마존 등 기존 주요 기업의 인프라를 쓰는 동시에, 국내 스타트업의 시스템반도체를 테스트베드화해서 1년 반 안에 수준을 끌어올리는 방향으로 가야한다고 생각한다"고 말했다.

2025.01.14 10:53장경윤 기자

[기고] 산업 경계를 넘어서는 AI 혁신, 최적의 인프라에서 시작된다

비즈니스 환경이 급속도로 진화하면서 기업들은 끊임없이 생산성 향상과 데이터 활용, 사용자 경험 개선을 추구하고 있다. 이러한 변화 속에서 인공지능(AI)은 기업들의 핵심 과제를 해결할 강력한 도구로 주목받고, 많은 기업은 AI 도입을 통해 경쟁력을 강화하려 노력하고 있다. 산업별 AI 활용 현황과 전망 다양한 산업 분야에서 AI는 혁신적인 변화를 이끌고 있다. 유통 업계에서는 AI 기반 분석을 통해 재고 관리를 최적화하고 개인화된 고객 서비스를 제공하면서 매출 증대와 고객 만족도 향상을 동시에 달성하고 있다. AI는 고객의 구매 패턴을 분석해 최적의 재고 수준을 유지하고 각 고객에게 맞춤형 상품을 추천함으로써 구매 전환율을 높이는 데 기여한다. 의료 분야에서는 예측 분석과 머신러닝을 활용해 진단 정확도를 높이고 환자 치료 결과를 개선하고 있다. AI 알고리즘은 의료 영상을 분석해 초기 단계의 질병을 발견하고 환자의 의료 기록을 바탕으로 최적의 치료 방법을 제시한다. 이를 통해 의료진은 더 정확하고 효율적인 의사결정을 내릴 수 있다. 금융권에서는 대규모 언어 모델(LLM)을 도입해 실시간 금융 사기 탐지와 자동화된 거래 전략을 구현하고 있다. AI는 수많은 거래 데이터를 실시간으로 분석해 이상 거래를 감지하고 시장 동향을 예측해 최적의 투자 전략 수립을 지원한다. 제조업에서는 AI 기반 예측 유지보수로 설비 다운타임을 최소화하고 생산 효율을 높이고 있다. 센서에서 수집된 데이터를 AI가 실시간으로 분석해 설비 고장을 사전에 예측하고, 최적의 유지보수 시점을 제시함으로써 생산 중단을 방지한다. 이는 생산성 향상과 비용 절감으로 이어진다. AI 워크로드의 특성과 인프라 요구사항 AI 워크로드는 모델 학습과 실행, 유지관리에 있어 특별한 요구사항을 가진다. 예측 분석, 자연어 처리, 이상 징후 감지, 이미지 인식, 추천 시스템 등 각각의 워크로드는 고성능 컴퓨팅 자원과 대용량 스토리지가 필요하다. 특히 딥러닝 모델은 수십에서 수천억 개의 파라미터를 처리해야 해 강력한 GPU 성능이 요구된다. AI 인프라의 핵심 요소는 강력한 컴퓨팅 성능이다. GPU와 같은 가속기는 복잡한 연산을 병렬로 처리해 AI 모델의 학습 및 추론 속도를 크게 향상시킨다. 또한 지속적으로 증가하는 데이터 규모에 맞춰 스토리지 시스템은 높은 확장성과 처리 성능을 갖춰야 한다. 네트워크 인프라도 중요한 요소다. AI 워크로드는 대량의 데이터를 빠르게 이동시켜야 해 고속 네트워크가 필수다. 실시간 처리가 필요한 애플리케이션의 경우 낮은 지연시간이 매우 중요하다. 보안 역시 간과할 수 없다. AI 시스템은 데이터 보호와 규정 준수를 위한 강력한 보안 기능을 제공해야 한다. AI 도입의 현주소와 미래 전망 2023년 맥킨지 설문조사에 따르면 66%의 조직이 AI를 도입하는 탐색 또는 파일럿 단계에 있는 것으로 나타났다. 이는 AI 도입에 여전히 많은 과제가 있음을 시사한다. 하지만 AI 시장은 2027년까지 1천510억 달러 규모로 성장이 예측되며 기업들의 AI 투자도 꾸준히 증가할 것이다. AI 도입의 성공을 위해서는 명확한 전략과 로드맵이 필요하다. 기업은 자사의 비즈니스 목표와 환경에 맞는 AI 활용 사례를 발굴하고 이를 단계적으로 구현해 나가야 한다. AI 시스템의 구축과 운영을 위한 전문 인력 확보와 교육도 중요하다. HS효성인포메이션시스템은 고성능 컴퓨팅과 AI 워크로드를 위한 통합 AI 플랫폼을 제시하고 있다. 검증된 레퍼런스 아키텍처를 기반으로 데이터센터 AI 인프라의 설계, 배포, 관리를 획기적으로 단순화하고, AI 소프트웨어부터 GPU 서버, 네트워킹, 스토리지에 이르는 모든 구성 요소를 단일 벤더를 통해 제공한다. 현재 가장 많이 도입되고 있는 H100 GPU의 경우 최대 128개 노드까지 확장 가능한 최고 성능의 AI 개발 환경을 지원한다. NVMe 플래시 기반의 고성능 스토리지 시스템은 대규모 AI 워크로드를 효율적으로 처리한다. AI는 기업의 디지털 혁신을 이끄는 핵심 동력이다. 성공적인 AI 도입을 위해서는 적절한 인프라 구축과 함께 명확한 활용 전략이 필요하다. 기업들은 자사 비즈니스 환경과 목표에 맞는 AI 솔루션을 선택하고 이를 효과적으로 구현할 수 있는 파트너십을 구축해야 한다. AI의 잠재력을 최대한 활용하기 위해서는 기술적 준비와 함께 조직의 문화와 프로세스도 함께 변화해야 한다. 이러한 종합적인 접근을 통해 기업은 AI를 통한 진정한 디지털 혁신을 이룰 수 있다.

2025.01.10 23:26정문종 컬럼니스트

[AI는 지금] 中 딥시크, 'V3'로 실리콘밸리에 도전장…"비용·성능 모두 잡았다"

중국 인공지능(AI) 스타트업 딥시크가 최근 새로운 오픈소스 거대언어모델(LLM) 'V3'를 공개하며 주목받고 있다. 주요 벤치마크에서 오픈AI 등 실리콘밸리 빅테크의 AI 모델과 대등하거나 우수한 성능을 입증하면서도 누구나 사용이 가능해 글로벌 생태계에 큰 변화를 가져올 잠재력을 인정받고 있다. 9일 업계에 따르면 딥시크 'V3'는 총 6천710억 개에 달하는 매개변수를 갖춘 모델로, 메타의 최신 모델인 '라마(Llama) 3.1' 버전보다 약 1.5배 더 큰 규모다. 그동안 오픈소스 LLM으로 가장 널리 알려진 라마 시리즈와 비교해도 방대한 수준의 매개변수를 자랑한다. 또 누구나 쉽게 접근할 수 있는 오픈소스 형태로 출시돼 향후 글로벌 AI 생태계에 적잖은 파장을 일으킬 것이라는 관측이 제기된다. 전문가들은 딥시크 'V3'의 성능이 공인 가능한 벤치마크들을 통해 인정받았다고 평가한다. 코딩 분야에서는 코드포스(Codeforces) 등 국제 공인 프로그래밍 테스트를 통해 메타 '라마 3.1'이나 오픈AI의 '챗GPT 4o'와 어깨를 나란히 하거나 일부 영역에서는 오히려 앞선 결과를 보였다. 언어 능력에 있어서도 마찬가지다. 'V3'는 LLM 언어능력을 평가하는 MMLU 벤치마크에서도 88.5점을 달성했다. 이 점수는 88.7점을 받은 'GPT-4o'와의 점수 차가 매우 근소한 수준으로, '클로드 3.5'나 구글 '제미나이' 모델의 점수를 능가해 사실상 최고 수준에 가까운 역량을 입증했다. 개발 비용 측면에서의 가성비는 기술적 완성도만큼이나 'V3'가 주목받는 이유다. 딥시크 측은 'V3' 개발에 약 557만 달러(한화 약 82억 원)를 투입했다고 설명했는데 이는 오픈소스 방식으로 개발된 메타 라마 모델에 투입된 6억4000만 달러(한화 약 8천960억원)의 1% 수준에 불과하다. 또 엔비디아의 최신 AI칩인 'H100' 대신 상대적으로 낮은 성능의 'H800' 활용하면서도 데이터 압축과 연산 최적화를 통해 컴퓨팅 자원을 효율적으로 활용해 성능을 확보했다. 업계 전문가들은 이를 단순히 비용을 절감했다는 차원을 넘어 제한된 환경에서도 고성능 모델을 구현할 수 있다는 가능성을 보여줬다고 평가한다. 다만 오픈AI의 샘 알트먼 대표는 최근 자신의 소셜미디어 계정에서 “이미 운영 중인 것을 복사하는 것은 쉽다"며 "새롭고 어려운 일을 하는 것이 진정한 도전"이라고 언급했다. 업계 일각에서는 이를 딥시크와 같은 중국 AI 기업의 빠른 모델 출시를 겨냥한 우회적 비판으로 분석했다. 그럼에도 불구하고 딥시크가 내세우는 오픈소스 경쟁력과 저렴한 애플리케이션 프로그램 인터페이스(API) 요금 체계는 글로벌 시장에서 테크 기업들의 변화를 초래하는 주요 동력으로 작용할 가능성이 높다. 개인 구독제 형태로 과금을 하는 오픈AI, 구글 등 실리콘 밸리 AI 스타트업과는 달리 'V3'는 깃허브나 허깅페이스에서 개인이 무료로 다운로드가 가능하기 때문이다. 또 API 가격 역시 백만토큰 당 입력토큰이 약 30센트(한화 약 520원), 출력토근이 약 1달러(한화 약 1400원)로 '챗GPT 4'에 비해 약 30~40배 저렴하다. 실제로 중국 내 빅테크 기업들은 이미 딥시크 'V3'를 계기로 모델 사용료를 낮추는 방안을 검토하고 있는 것으로 알려졌다. 'V3' 모델의 경이로운 발전에는 미중 기술 경쟁과 AI 보호무역주의가 오히려 기여했다는 시각도 존재한다. 'H100' 등 미국 정부의 대중국 고성능 반도체 수출 규제 상황과 오픈AI의 중국 내 서비스 중단이 중국 AI 기술 발전을 초래했다는 것이다. 실제로 딥시크는 이보다 훨씬 낮은 사양인 'H800 GPU'에 각종 최적화 기술을 접목해 고효율화를 이뤄낸 것으로 평가된다. 또 지난해 7월부터 오픈AI가 중국 내 '챗GPT' 서비스를 VPN 접속마저 전면 차단하면서 중국 AI 기업들이 독자적인 모델을 키워낼 기회를 갖게 됐다는 분석이다. 미·중 간 기술 패권 경쟁이 중국 AI 스타트업을 더욱 독려하고 있는 셈이다. 다만 정치적 민감 이슈에 대한 회피와 모델 자체의 환각 문제 등은 'V3'이 극복해야 할 과제로 거론된다. 다수의 외신과 소셜 미디어 포스트 등에 따르면 'V3'는 천안문 사태처럼 중국 당국이 민감하게 여기는 주제에 대해서는 답변을 기피하도록 설계됐다. 이는 체제 안정을 AI 개발의 정책적 목표 중 하나로 간주하는 중국 당국의 정책때문이다. 이와 더불어 해외 사용자들이 진행한 테스트 결과 모델은 자신을 'GPT-4'로 혼동하거나 "나는 챗GPT입니다"라고 소개하는 등 환각 현상이 일부 포착됐다. 이에 런던 킹스칼리지의 마이크 쿡 연구원은 "경쟁 모델을 무분별하게 참조하면 현실 왜곡이 일어날 수 있다"고 우려했다. 이같은 단점에도 불구하고 딥시크 'V3'는 성능과 비용 효율 면에서 중요한 진전을 이뤄냈으며 글로벌 AI 시장에 새로운 변화를 불러올 가능성 가진 것으로 평가된다. 한 국내 AI 업계 관계자는 "LLM 수준이 상향 평준화되고 있기 때문에 'GPT 4' 수준의 성능을 보이는 것은 특기할 만한 점은 아니지만 그 외의 조건들이 주목할만 하다"며 "특히 671B 수준의 대형 모델 학습비용이 겨우 77억원밖에 나오지 않았다는 점이 고무적"이라고 평가했다.

2025.01.09 14:16조이환 기자

"AI도 안전해야 혁신 가능"…SK쉴더스, 'LLM 보안 가이드'로 새 기준 제시

SK쉴더스가 인공지능(AI) 기술의 보안 취약점을 사전에 점검하기 위해 '거대언어모델(LLM) 애플리케이션 취약점 진단 가이드'를 발간했다. SK쉴더스는 보고서를 통해 AI 기반 해킹 위협이 급증하는 추세를 분석해 데이터 보호와 안전한 AI 시스템 구축을 지원하겠다고 8일 밝혔다. LLM은 금융, 제조, 헬스케어 등 다양한 산업에서 활용되고 있지만 데이터 처리 방식의 특성상 기존 IT 시스템과는 다른 보안 위험에 취약하다. 이번 보고서에서는 '오픈 웹 애플리케이션 보안 프로젝트(OWASP) LLM 애플리케이션 2025' 기준을 바탕으로 ▲LLM 통합 ▲에이전트 ▲모델의 세 가지 영역을 중심으로 보안 취약점을 다뤘다. 특히 프롬프트 인젝션과 애플리케이션 프로그램 인터페이스(API) 변조, RAG 데이터 오염 등 신종 공격 사례를 분석해 14개의 주요 취약점을 위험도별로 분류했다. 주요 위협으로 언급된 프롬프트 인젝션은 사용자가 입력값을 조작해 시스템의 의도치 않은 응답을 유도하는 방식이다. 이는 민감 정보 유출이나 악의적 응답 생성과 같은 문제를 일으킬 수 있다. 또 API 매개 변수 변조는 시스템 간 통신을 교란시켜 권한을 초과하는 동작을 유발하는 치명적인 해킹 기법으로 지목됐다. 이 외에도 RAG 데이터 오염은 외부 데이터를 악의적으로 변형해 검색 결과를 왜곡시키는 문제가 있다. 이를 방지하기 위해 보고서는 사용자 명령어와 시스템 프롬프트를 분리하고 데이터 검증 절차를 강화해야 한다고 강조했다. SK쉴더스는 AI 특화 모의해킹 서비스와 개발, 보안, 운영(DevSecOps) 컨설팅을 통해 기업들이 AI 애플리케이션의 잠재적 취약점을 조기에 발견하고 예방 조치를 마련할 수 있도록 돕고 있다. 김병무 SK쉴더스 사이버보안부문장은 "AI 기술은 편리함을 제공하지만 보안 취약점이 악용될 경우 심각한 사고로 이어질 수 있다"며 "이번 가이드는 기업과 기관이 신뢰할 수 있는 AI 시스템을 구축하는 데 실질적인 도움을 줄 것"이라고 밝혔다.

2025.01.08 10:07조이환 기자

지금 뜨는 기사

이시각 헤드라인

삼성·SK "온디바이스 AI, PIM으로 뚫는다"…메모리 연산 시대 본격화

더본코리아, 성장 재시동...백종원 카드·해외 사업에 힘

네이버 신기술과 옛 문구류 감성에 빠지다…'인벤타리오' 가보니

삼성전자 "파운드리 사업, 2028년 연간 흑자전환"

ZDNet Power Center