검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (264건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

코난테크놀로지, 의료분야 국내 첫 LLM 기반 진료 플랫폼 개발

코난테크놀로지(대표 김영섬)가 생성형인공지능(AI) 기술을 기반으로 의료 분야에 특화된 대규모언어모델(LLM)을 선보인다. 코난테크놀로지는 한림대학교 의료원과 '생성형AI기반 입원환자 전주기 기록지 작성 및 의료원 지식상담 플랫폼 구축' 사업을 계약했다고 5일 밝혔다. 이 사업은 한림대학교의료원과 협력하여 국내 의료 분야에 특화된 생성형 AI 플랫폼을 개발하고 적용하는 것을 목표로 하며, 양 기관은 오는 7월까지 의료 AI 솔루션 공동 개발에 나서게 된다. 입원환자 전주기 의무기록은 접수부터 진료, 검사, 경과 기록, 퇴원까지 모든 과정을 아우르는 통합 기록 시스템으로, 의료 기록 전 과정에 LLM 기술을 적용하는 사례는 국내 최초다. 이에 따라 의무기록 작성에 소요되는 시간이 연간 최대 절반까지 단축될 것으로 예상되며, 실시간 데이터 분석과 함께 입력 오류도 줄어들어 의료기록의 정확성이 한층 높아질 전망이다. 생성형 AI가 의료 현장에 도입되면, 환자 관리와 케어에 더 많은 시간을 할애할 수 있는 환경이 조성되어 궁극적으로 의료 서비스의 품질 향상으로 이어질 것으로 기대된다. 양 기관은 의료 기록 시스템 외에도 검색 증강 생성(RAG) 기술을 활용한 지식 상담 플랫폼을 개발해 의료진과 교직원의 실시간 정보 검색과 상담을 지원할 계획이다. 윤리적 AI 설계와 안전 필터링으로 정보 신뢰성을 강화하며, AI 오남용 방지를 위한 대응 시스템도 구축한다. 김규훈 코난테크놀로지 사업부장은 "생성형 AI 기술을 적용해 병원 행정과 진료 과정에서 업무를 효율화하려는 시도가 늘어나는 만큼, 의무기록 작성 AI 서비스를 시작으로 의료 AI 시장의 수요에 민첩하게 대응하며 관련 모델 고도화와 제품화를 이어가겠다"고 포부를 전했다. 한림대학교의료원은 초기 개념검증(PoC) 단계부터 서비스 기획, 의료진 인터뷰, 방향성 도출까지 사업의 주요 과정을 주도적으로 이끌었다. 코난테크놀로지는 한림대학교의료원이 제공한 실무적 통찰과 피드백, 그리고 의료 AI의 특수성을 반영한 철저한 검증을 기반으로 안전하고 신뢰성 높은 의료 AI 솔루션을 고도화 해나갈 예정이다.

2025.02.05 16:46남혁우

LLM 보안 전문 솔루션 필요할까?···87%가 "예스"

이스트시큐리티(대표 정진일)는 지난 12월 개최한 기업의 LLM 필수 보안 전략 웨비나에서 국내 기업 보안 담당자 및 실무자 200여 명을 대상으로 설문조사를 진행하고 그 결과를 5일 발표했다. 그 결과, LLM 보안 중요성이 다시 강조됐다. 1.생성형 AI 활용 현황 및 도입 관심도 설문 결과, 응답자 절반이 이미 생성형 AI를 업무에 적용하고 있는 것으로 나타났다. 데이터 분석 및 의사결정 지원(42%), 고객 서비스(30%), 콘텐츠 생성 및 자동화(28%) 분야에서 주로 활용하고 있다. 이는 기업이 내부 데이터를 AI에 접목해 효율적으로 인사이트를 도출하거나, 고객과의 커뮤니케이션을 자동화하는데 생성형 AI를 적극 활용하고 있음을 보여준다. 2. LLM 도입 시 주요 우려 사항 LLM 도입 시 가장 큰 우려 사항으로는 민감 데이터 유출이 꼽혔다. 전체 응답자의 64.5%가 이를 가장 큰 우려로 지적했고, 79%는 중간 이상 수준 우려를 나타냈다. 이는 기밀 문서, 고객 정보, 소스 코드 등이 AI에 입력·학습되는 과정에서 발생할 수 있는 데이터 침해 위험이 현실적으로 크다는 것을 반영한다. 3. LLM전문 보안 솔루션 필요성과 효과성 87%의 응답자가 LLM 보안을 위한 전문 솔루션이 필요하다고 답했다. 특히, 민감 데이터 유출 차단 기능이 가장 중요한 고려 요소로 꼽혔다. 이는 LLM 사용 과정에서 기밀 정보가 외부로 유출되지 않도록 하는 보안 수준이 무엇보다 중요하다는 결론을 재확인해준다. 4. LLM 관련 전문 보안 솔루션 도입 의향 전체 응답자 중 58%는 생성형 AI 사용 혹은 도입을 고려하고 있으며, 필요 시 전문 보안 솔루션까지 검토하겠다고 밝혔다. 반면 24%는 내부 정책상 생성형 AI 사용을 제한 중이며, 관련 솔루션 도입 계획도 없다고 응답, 기업별로 도입 수준에 따른 보안 대응 온도 차이가 존재했다. 아울러, AI보안 솔루션 도입 시 가장 중요한 고려 요소로 51.8%가 '민감 데이터 유출 차단 기능'을 꼽았다. 5. LLM 보안 솔루션의 필요성 생성형 AI 시대에 기업 보안을 고민하고 있다면, 지금이 LLM 보안 전략을 구체화할 시기다. 이스트시큐리티는 기업 내 LLM 사용 시 발생할 수 있는 데이터 유출과 악성 콘텐츠 수신 위협을 탐지하고 차단하는 차세대 보안 솔루션 '알약xLLM'을 개발하고, 올해 정식 출시를 앞두고 있다. 많은 기업 고객들은 LLM 보안 솔루션을 통해 보안 사각지대를 없애고, 데이터·인력·솔루션 삼박자를 모두 점검해야 할 필요가 있다. 이번 설문조사는 생성형 AI가 이미 많은 기업에서 업무 효율과 혁신을 이끌고 있지만, 동시에 데이터 유출과 악의적 공격 등의 새로운 위협을 만들어내고 있다는 사실을 여실히 드러냈다. 87%가 “LLM 전문 보안 솔루션이 필요하다”고 응답했으며, 가장 중요한 고려 요소로 “민감 데이터 유출 차단 기능”을 꼽았다. 이는 단순히 AI를 '잘 활용'하는 것을 넘어, 기업 자산을 어떻게 안전하게 지킬 것인가에 대한 해답이 필요하다는 의미다. 이스트시큐리티 김병훈CTO는 “생성형 AI의 도입은 기업의 혁신과 효율성을 크게 향상시키지만, 이에 따른 보안 위협도 가중시키며, 특히 민감 데이터 유출 위험은 기업의 핵심 자산을 위협할 수 있는 중요한 문제”라며 “기업은 이러한 위험을 사전에 차단하기 위해 보안 전략을 강화하고, 최신 보안 기술을 도입하는 것이 필수"라고 지적했다. 이어 “이스트시큐리티는 기업이 안전하게 AI를 활용할 수 있게 지속적으로 보안 기술을 개발 및 고도화하고, 보다 안전한 LLM사용 환경을 만들기 위해 노력하겠다"고 밝혔다. 이번 설문결과에 대한 더 자세한 내용은 이스트시큐리티 알약 블로그(https://blog.alyac.co.kr/5517)에서 확인할 수 있다.

2025.02.05 12:31방은주

오픈AI, 韓 기업 연쇄 회동…카카오·삼성 만나 '수익' 실현하나

샘 알트먼 오픈AI 최고경영자(CEO)가 한국을 방문해 카카오, SK, 삼성, 크래프톤 등 주요 대기업 및 스타트업과 연쇄 회동을 가졌다. 글로벌 인공지능(AI) 시장 경쟁이 치열해지는 가운데 수익성 강화를 위해 국내 기업들과의 협력·투자 유치를 추진하기 위함이다. 4일 업계에 따르면 알트먼 CEO는 이날 오전부터 빡빡한 일정을 이어갔다. 오전 8시부터 최태원 SK그룹 회장과 약 40분간 간담회를 진행했으며 9시에는 회사가 주최하는 개발자 행사 '오픈AI 빌더랩'에 참석했다. 이 자리에는 네이버, LG AI 연구원 등 IT 대기업과 뤼튼테크놀로지스, 와들, 포티투마루 등 국내 신생 AI 기업들의 개발자들이 대거 참석해 오픈AI의 기술과 전략에 대한 논의를 진행했다. 빌더랩 질의 응답에 참가한 알트먼 CEO는 오전 10시 40분부터 김창한 크래프톤 대표와 만나 AI 게임 캐릭터(CPC) 및 게임 특화 AI 모델 최적화 협력 방안을 논의했다. 이후 11시에는 카카오톡 미디어 간담회에 모습을 드러냈다. 이 자리에서는 카카오와 함께 '챗GPT' 기술을 카카오톡과 카카오의 새 AI 서비스 '카나나(Kanana)'에 통합한다고 전격 발표했다. 이에 따라 카카오는 '챗GPT' 엔터프라이즈를 회사 서비스에 전면적으로 적용하게 된다. 카카오와의 협력 발표가 끝난 후 그는 극비리에 방한한 손 마사요시 소프트뱅크 회장과 함께 삼성전자 서초사옥을 찾았다. 업계에서는 이 자리에서 AI 반도체, AI TV, AI 특화 디바이스 개발 등이 주요 의제로 다뤄졌을 것으로 본다. 특히 알트먼 CEO가 지난달 도널드 트럼프 전 미국 대통령이 발표한 대규모 데이터 센터 건설 사업인 '스타게이트 프로젝트' 참여를 삼성전자에 요청했을 가능성도 제기된다. 업계에서는 이처럼 알트먼 CEO가 동분서주하는 이유로 현금과 수익성 확보가 절실하기 때문이라고 분석한다. 현재 오픈AI는 세계 1위 AI 업체로 평가받으며 기업가치 1천570억 달러(한화 약 2천290조원)를 기록 중이지만 '챗GPT'의 B2C 수익만 놓고 보면 적자 상태인 것으로 알려졌다. 실제로 회사는 지난해 기준 매출 37억 달러(한화 약 51조원)에 적자 50억 달러(한화 약 68조원)를 기록한 상황으로, 올해 매출은 전년 대비 2배 이상 늘어날 것으로 전망됨에도 여전히 적자를 벗어나기 어려울 것으로 예상된다. 실제로 샘 알트먼 CEO는 지난달 자신의 X 계정에 "챗GPT '프로'를 발표한 뒤 너무 많은 사람이 사용해 적자를 보고 있다"며 "월 200달러(한화 약 30만원) 정도 구독료를 책정하면 수익을 낼 수 있으리라 봤다"고 언급했다. 이같은 상황 속에서 알트먼 CEO의 국내 방문과 협력 모색은 국내 IT·빅테크 업계와 협업 계획을 적극 추진하고 투자를 유치하면서 파트너 범위를 넓히려는 행보로 풀이된다. 특히 카카오와의 전면적인 협력은 오픈AI가 안정적 수익 창출원을 확보하기 위한 중요한 포인트로 해석된다. 이용자가 5천만 명에 달하는 카카오 플랫폼은 단숨에 대규모 사용자를 확보할 수 있는 통로이기 때문이다. 빌더랩 행사에 국내 주요 IT 대기업과 스타트업의 개발자들을 초청한 것도 같은 맥락으로 분석된다. 초대된 개발자들이 오픈AI 기술을 직접 체험하게 함으로써 잠재적인 파트너 풀을 확대해 API를 도입하게 함으로써 B2B 사업을 장기적으로 확장할 수 있다는 계산이다. 이날 빌더랩에 참석한 한 업계 관계자는 "질의응답 시간에 알트먼이 한국을 두고 AI 발전에 필요한 핵심 요소를 갖춘 장소'라고 강조했다"며 "오픈AI가 국내 IT 서비스 기업들에게도 경쟁력 있는 파운데이션 모델 API를 공급하려는 의지가 강하게 드러났다"고 설명했다. 이 같은 국내 협력 논의는 투자 유치와도 연결된다. 오픈AI는 B2B 확장을 통해 새로운 매출원을 발굴하는 동시에 글로벌 투자자들로부터 대규모 자금을 조달하려는 움직임을 보이고 있기 때문이다. 실제로 삼성전자와의 3자 대담에 동석한 손 마사요시 소프트뱅크 회장은 지난 3일 일본 도쿄에서 이미 알트먼 CEO와 별도로 회동해 투자 확대 방안을 논의했다. 소프트뱅크 그룹은 연간 30억 달러(한화 약 4조 원) 규모로 오픈AI의 도구를 자사 계열사에 도입하겠다는 계획을 발표했으며 지난달에는 '스타게이트' 프로젝트의 출자자로서 전면적인 지원을 아끼지 않겠다고 밝히며 사실상 오픈AI와 전략적 동맹 관계를 구축한 상태다. 오픈AI가 국내에서 투자 유치와 기업 협력을 강화하는 이유 중 하나는 최근 중국 AI 업계의 급부상이다. 중국 AI 스타트업 딥시크(DeepSeek)가 출시한 'R1' 모델이 업계에 거대한 지각변동을 일으키고 있기 때문이다. 지난달 20일 공개된 'R1'은 출력 토큰 100만 개당 2.19달러(한화 약 3천 원)로, 이는 오픈AI의 'o1' 모델 대비 97%나 저렴한 수준이다. 이미 아마존, MS, 퍼플렉시티 등 글로벌 IT 기업들이 딥시크 모델의 도입을 검토하거나 추진하면서 오픈AI 역시 비용 경쟁력을 확보하고 시장 대응 속도를 높이는 것이 시급해졌다. 다만 오픈AI의 한국 시장 내 입지는 오히려 더 강화될 가능성이 크다는 분석도 제기된다. 보안 문제로 인해 국내 IT 기업들은 중국산 LLM API 활용에 제약을 받을 가능성이 높으며 상대적으로 보안 신뢰도가 높은 오픈AI를 선호하는 기업이 많다는 점이 그 이유다. 이에 따라 오픈AI는 한국 시장을 AI 기반 B2B 사업 확장의 주요 거점으로 삼고 대기업과의 협력을 더욱 적극적으로 확대하려는 것으로 보인다. 한 업계 관계자는 "오픈AI가 기술 우위를 유지하는 동시에 보안 신뢰도와 파트너십을 빠르게 확대해 나간다면 국내에서의 장기적인 수익화에도 긍정적인 영향을 미칠 것"이라고 전망했다.

2025.02.04 17:43조이환

정신아 대표 "카카오, 오픈AI와 일상 혁신하는 미래 준비"

“오픈AI는 카카오의 서비스 개발 진행 속도에 맞춰 최적화된 AI 기술을 구현하는 최고의 파트너사다. 지난해 9월부터 협력을 논의했으며, 카카오 5천만 사용자를 위한 공동 프로덕트 개발을 준비 중이다.” 정신아 카카오 대표는 4일 서울 중구 더플라자에서 열린 기자간담회에서 이같이 밝히며 카카오의 AI 전략 방향을 공유했다. 이날 간담회에는 정 대표를 비롯해 샘 알트먼 오픈AI 대표도 함께 참석했다. 정 대표는 “자본력이 곧 경쟁력인 환경에서 카카오는 최고의 모델을 빠르게 확보해 사용자에게 최적의 AI 경험을 제공하는 것에 집중하고 있다”며 “이를 위해 지난해 9월부터 오픈AI와 논의를 시작했고 챗GPT 등 최신 AI 기술 API(애플리케이션 프로그래밍 인터스페이스)를 활용할 방침”이라고 강조했다. 이어 “카카오는 기술을 기반으로 일상을 혁신하는 미래를 준비해 일상에 스며드는 퍼스널 라이브 AI 서비스를 제공하겠다”고 덧붙였다. 이후 정 대표와 알트먼 대표의 대담이 진행됐다. 이 자리에서 알트먼 대표는 카카오를 파트너로 선택한 이유에 대해 “장기적인 관점에서 카카오를 좋아했다”며 “우리는 같은 AI 비전을 공유하고 있다”고 설명했다. 이들이 말하는 AI 비전은 '사용자들이 AI 기술을 쉽고 자연스럽게 활용하며 일상을 편리하게 만드는 것'이다. 카카오는 이번 협력을 통해 국내 AI 서비스가 대중화될 것으로 예상하고 있다. 오픈AI가 비용 부담을 낮추는 새 모델을 선보이면, 이를 활용할 수 있는 플랫폼 사업과 서비스를 운영하는 카카오와 시너지가 날 것이라는 기대다. 알트먼 대표는 “6개월 혹은 3개월 전에 불가능했던 것이 현재의 AI로는 가능해지는 등 빠르게 개선되고 있다”며 “카카오와 엔터테인먼트, 생산성 등 모든 측면에서 협력할 수 있다고 생각한다”고 말했다. 정 대표 역시 “올해는 제대로 된 대중적인 AI 서비스가 등장하는 한 해가 될 것”이라며 “카카오의 카나나를 포함해 오픈AI 기술 API를 활용한 다양한 서비스를 출시할 계획”이라고 설명했다. 공동 프로덕트의 구체적인 내용을 묻는 질문에 정 대표는 “기본적으로 카카오톡이나 카카오맵처럼 카카오가 가진 서비스 내에서 사용자의 요구가 가장 맞는 접점을 찾아가고 있다”면서 “사용자가 어떤 것을 원할지 오픈AI와 아이디어를 나누고 있다”고 답했다. 카카오 AI 에이전트 카나나에도 오픈AI의 최신 AI 기술 API를 활용할 방침이다. 상반기 중 일반인 대상 베타 테스트를 진행한다는 계획이다. 정 대표에 따르면 카나나는 지난해 말 사내 비공개 시범테스트(CBT)를 실시했다. 정 대표는 “모든 분이 예상하신 것처럼 카나나는 B2C 서비스고 카카오톡이라는 관점 때문에 높은 수준의 서비스를 내야 해 CBT를 통해 바꿀 부분이 많이 있다는 걸 발견했다”며 “출시는 올해 안으로 생각 중이다. 사용자를 만족시키지 못하면 피벗(전략수정)을 통해 계속해서 정답을 찾아가겠다”고 밝혔다.

2025.02.04 14:51김민아

투비유니콘 윤진욱 대표, "맞춤형 AI솔루션으로 '유니콘' 비상 포부"

"올해 투비유니콘은 초거대 AI 기업으로서의 입지를 다지는데 모든 역량을 집중할 계획입니다. 유니콘을 향해 새롭게 날아오르는 한 해가 될 것입니다." 초거대 AI 상용화 모델을 자체 구축한 생성형 AI 전문 기업 (주)투비유니콘 윤진욱 대표의 새해 포부다. 투비유니콘은 자체 구축한 한국어 전용 거대언어모델(TBU-LLM)을 기반으로 아담, 닥터챗, 담소, 노크 등 다양한 분야 생성형 AI 솔루션을 확보하고 있다. "올해는 고객의 사업 분야별 소형언어모델(sLM) 시장 진입에 적극 나설 것입니다. 보다 정교하고 맞춤화된 AI 솔루션을 고객에 제공할 것입니다." 윤 대표는 "비전 AI 분야로의 진출도 도모할 것"이라며 "AI 시스템과 사물인터넷(IoT), 모빌리티 기술을 결합해 기후변화에 따른 재난 안전 및 피해 최소화를 위한 연구개발에도 적극 나선다"고 언급했다. 투비유니콘이 그동안 개발해 선보인 솔루션이 올해 비상의 기반이다. 곧 개발이 마무리되는 사회필수요원 인력매칭 시스템 '아담(ADAM)'은 육군 AI인재 매칭 플랫폼으로 완성해 시범 공급할 계획이다. 향후 경찰, 소방 등 다양한 분야의 사회필수인력 AI 인재 매칭 플랫폼으로 확장시켜 나갈 계획이다. 지난해 공개한 AI 진료 상담 및 병원예약 서비스 '닥터챗'과 대화형 AI 심리케어솔루션 '담소'도 완성도를 높여, 시니어를 대상으로 하는 AI헬스케어 시장에 안착시킬 방침이다. "서비스형 소프트웨어(SaaS)형 AI 플랫폼으로 학생들의 진로관리 및 수업설계가 가능한 '노크'도 올해 전국 디지털 선도학교를 중심으로 1000곳의 중・고등학교에 보급이 가능할 것으로 전망합니다. 제품 완성도가 높은 만큼 영업 역량이 목표 달성을 좌우할 것으로 봅니다." 인력·자금 안정... "죽음의 계곡 넘었다" 투비유니콘은 창업 5년차 성장기 벤처기업이다. 지난해 정부 R&D 사업과 솔루션 판매에 힘입어 처음으로 매출 25억 원을 돌파했다. 오는 2027년까지 매출 100억 원 달성이 단기 목표다. "지난해 안정적인 재정 기반을 마련함으로써, 벤처기업에 '죽음의 계곡'으로 불리는 데스밸리(Death Valley)는 무사히 건넜다고 봅니다. 전 직원이 똘똘 뭉쳐 어려움을 헤쳐나간 덕분입니다." 투비유니콘은 지난해 정부사업만 모두 11개를 땄다. 사업 확장을 위한 인력과 자금을 확보했다. 자금 면에서는 중소벤처기업부 창업성장기술개발사업인 '2024년 팁스(TIPS)'와 기술보증기금의 '기보-스타(Kibo-Star) 밸리기업'에 선정됐다. 이 덕분에 경영 안정에 도움이 됐다. 수주한 사업도 다양하다. 대표적으로 ▲인공지능산업융합사업단의 AI 시제품 제작 및 상용화 지원사업 ▲한국지능정보사회진흥원의 K-클라우드 프로젝트 공공부문 이용 SaaS 개발・검증 지원사업 ▲중소기업기술정보진흥원의 기술혁신개발사업 등을 땄다. 투비유니콘은 이외에 기술보증기금이 기술이전과 상용화 우수기업 10곳을 선정해 소개하는 우수사례집에도 이름을 올렸다. "대학을 졸업한 뒤 한때 대기업에 다니기도 했습니다. 그러나 창업기회가 곧바로 다가왔습니다. 교육포털인 '스쿨로직' 사이트가 대학 수시모집 기간에 네이버 실시간 검색 1위에 오르는 등 인기를 끌었습니다." 이때 수집된 데이터가 지난 2020년 4월 '투비유니콘'을 설립하는 기반이 됐다. 윤 대표는 "올해 상반기에 몰릴 정부 각 부처 R&D 지원사업 수주는 물론 개별 마케팅을 통해 서비스를 적극 확대해 나갈 것"이라며 자신감을 드러냈다.

2025.02.04 12:39박희범

"가장 강력한 LLM은?"…올거나이즈, AI 에이전트 평가 플랫폼 첫선

올거나이즈가 거대언어모델(LLM) 성능 평가 플랫폼을 선보여 기업이 최적의 인공지능(AI) 모델을 선택하도록 돕는다. 올거나이즈는 문제 해결을 위해 자율적으로 행동하는 AI 에이전트의 성능을 평가하는 국내 최초 플랫폼으로서 '올인원 벤치마크'를 출시했다고 3일 밝혔다. 이는 지난해 선보인 금융 전문 LLM 리더보드에서 한 단계 발전한 형태로, LLM의 다양한 역량을 종합적으로 분석하고 대시보드 형태로 결과를 제공한다. 올인원 벤치마크는 LLM이 에이전트 역할을 수행하기 위해 필요한 도구 선택 및 활용 능력, 대화의 맥락 이해, 정보 수집 및 활용 능력 등을 평가한다. 현재 올거나이즈의 자체 소형언어모델(sLLM)을 비롯해 챗GPT, 엑사원, 큐원, 딥시크 등 총 12개의 LLM을 분석할 수 있다. 새로운 LLM 평가는 매우 간편하게 진행된다. 모델 이름을 입력하면 애플리케이션 프로그램 인터페이스(API)가 자동 구현돼 즉시 테스트가 가능하다. 또 기존 벤치마크 방식이 동일 작업을 반복 실행해야 하는 불편함이 있었던 데 비해 올인원 벤치마크는 대규모 데이터셋에서도 효율적인 평가가 가능해 시간을 대폭 단축했다. 최근 올거나이즈는 올인원 벤치마크를 활용해 오픈소스로 공개된 딥시크의 'V3' 모델을 평가했으며 그 결과 'GPT-4o 미니'와 유사한 성능을 보였다고 밝혔다. 'V3'는 기존 다양한 벤치마크에서 성능을 검증받았으나 에이전트로서의 성능 분석은 이번이 처음이다. 올인원 벤치마크는 에이전트 성능뿐 아니라 언어 이해력, 지식 수준, 명령 준수(Instruction Following) 등 LLM의 전반적인 역량을 평가한다. 평가에는 '아레나하드(ArenaHard)' '코베스트(Kobest)' '해래(HAERAE)' 등 12개의 공개 벤치마크가 활용되며 결과는 100점 만점 기준으로 소수점 4자리까지 수치화돼 제공된다. 이창수 올거나이즈 대표는 "기업들이 AI 도입 시 객관적인 데이터를 기반으로 최적의 LLM을 선택할 수 있도록 지속적으로 평가 플랫폼을 업데이트할 것"이라며 "에이전트 성능을 강화하기 위한 LLM 학습 방법도 심도 있게 연구 중"이라고 밝혔다.

2025.02.03 12:06조이환

"AI, 역사 시험은 빵점"…거대언어모델, 전문 시험서 한계 드러내

인공지능(AI)이 고급 역사 질문에서는 신뢰할 만한 답변을 내놓지 못한다는 연구 결과가 나왔다. 21일 테크크런치에 따르면 오스트리아 연구기관 복잡성 과학 허브(CSH)는 최근 발표한 연구에서 'GPT-4', '라마', 구글 '제미나이' 같은 거대언어모델(LLM)들이 역사적 전문성을 테스트하는 벤치마크인 '히스트-LLM(Hist-LLM)'에서 낮은 성과를 보였다고 밝혔다. 가장 높은 성과를 보인 'GPT-4 터보'도 정확도가 46%에 불과했다. 이번 테스트는 '세샤트 글로벌' 역사 데이터베이스를 바탕으로 진행됐으며 고대 이집트와 같은 특정 역사적 상황을 포함한 고급 질문을 포함했다. 이 질문에서 LLM은 대부분의 질문에 대해 부정확하거나 과장된 답변을 내놓으며 한계를 드러냈다. 일례로 연구진은 고대 이집트에 특정 시기에 찰갑 갑옷이 존재했는지 물었다. 'GPT-4'는 "예"라고 답했지만 실제로 찰갑은 해당 시기로부터 1천500년 뒤에 등장했다. 또 다른 질문에서는 고대 이집트에 상비군이 있었는지를 물었으나 모델은 잘못된 정보를 바탕으로 "있었다"고 답했다. 연구팀은 이런 오류의 원인으로 AI가 널리 퍼진 데이터를 우선적으로 학습하는 특성을 지적했다. 페르시아 같은 제국의 상비군에 대한 정보가 풍부한 반면 고대 이집트와 같은 특정 시기와 관련된 희귀 데이터는 학습이 부족하다는 것이다. 또 AI 모델은 특정 지역에 대한 역사적 지식의 성능이 더 낮은 경향도 보였다. 특히 사하라 이남 아프리카와 같은 지역에 대한 데이터의 부족과 편향이 더 큰 문제로 작용했다. 연구진은 이번 결과가 LLM의 역사적 한계와 개선 가능성이 있다는 점을 동시에 보여준다고 강조했다. 향후에는 대표성이 부족한 지역의 데이터를 추가하고 보다 복잡한 질문을 포함하는 방향으로 기준을 개선할 계획이다. 피터 투르힌 CSH 교수는 "AI는 기본적인 역사적 질문에는 유용하지만 고급 질문에서는 아직 전문성을 갖추지 못했다"며 "향후 기술 개선을 통해 역사 연구를 보조할 수 있는 가능성은 충분하다"고 말했다.

2025.01.21 09:57조이환

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리

AI칩 주도권 노리는 삼성…"서버·폰·TV용 NPU 모두 개발 중"

"NPU의 성장 가능성은 매우 높다. 삼성에서도 '마하'와 같은 클라우드용 NPU와 스마트폰에서 활용 가능한 온-디바이스용 NPU 등 여러 개발 프로젝트를 가동하고 있다. 특히 삼성리서치는 TV용 NPU를 개발하고 있다." 김대현 삼성리서치 글로벌AI센터장은 14일 여의도 국회의원회관에서 회사의 AI 가속기 발전 동향에 대해 이같이 밝혔다. NPU 성장성 유망…삼성도 서버·폰·TV 등 NPU 전방위 개발 현재 AI 반도체 시장은 글로벌 팹리스인 엔비디아의 고성능 GPU(그래픽처리장치)가 사실상 독과점 체제를 이루고 있다. GPU는 복수의 명령어를 동시에 처리하는 병렬 처리 방식이기 때문에, 방대한 양의 데이터를 반복적으로 연산해야 하는 AI 산업에 적극적으로 채용되고 있다. 김 센터장은 "엔비디아 GPU가 AI 데이터센터를 구축하는 가장 보편적인 반도체가 되면서, 이를 얼마나 확보하느냐가 AI 경쟁력의 바로미터가 됐다"며 "마이크로소프트나 메타가 수십만개를 확보한 데 비해, 삼성의 경우 1만개 내외로 아직 부족한 것이 사실"이라고 말했다. 특히 엔비디아는 자사 GPU 기반의 AI 모델 학습, 추론을 완벽하게 지원하는 소프트웨어 스택 '쿠다(CUDA)'를 제공하고 있다. 덕분에 개발자들은 대규모 AI 모델 학습 및 추론을 위한 다양한 툴을 활용할 수 있다. 다만 향후에는 NPU(신경망처리장치) 등 대체제가 활발히 쓰일 것으로 전망된다. NPU는 컴퓨터가 데이터를 학습하고 자동으로 결과를 개선하는 머신러닝(ML)에 특화된 칩이다. GPU 대비 범용성은 부족하나 연산 효율성이 높다. 김 센터장은 "NPU는 AI만 집중적으로 잘하는 반도체로, GPU가 AI 성능이 100이라면 NPU는 1000정도"라며 "엔비디아의 칩이 너무 비싸기 때문에, 글로벌 빅테크 기업들도 각각 성능과 효율성을 극대화한 맞춤형 AI 가속기를 개발하고 있다"고 설명했다. 삼성전자도 데이터센터, 온-디바이스AI 등 다양한 산업을 위한 NPU를 개발 중인 것으로 알려졌다. 김 센터장은 "삼성에서도 NPU 하드웨어와 소프트웨어, AI 모델에 이르는 전 분야를 개발하고 있고, 내부적으로 여러 개의 NPU 개발 프로젝트를 진행 중"이라며 "마하와 비슷한 또 다른 프로젝트가 있고, 삼성리서치는 TV용 NPU를 개발 중"이라고 설명했다. 앞서 삼성전자는 네이버와 협력해 자체 AI 가속기인 '마하'를 공동 개발해 왔으나, 양사 간 이견이 커져 프로젝트가 무산됐다. 대신 삼성전자는 자체 인력을 통해 AI 가속기 개발을 지속하기로 한 바 있다. 국내 AI칩 생태계 크려면…하드웨어·소프트웨어 균형 지원 필요 리벨리온, 퓨리오사AI 등 국내 스타트업도 데이터센터용 NPU를 자체 설계해 왔다. 각 기업은 국내 및 해외 테크 기업과 활발히 협력하면서 본격적인 시장 진입을 추진하고 있다. 김 센터장은 "국내 AI 반도체 스타트업들이 성공하기 위해서는 하드웨어와 소프트웨어 분야를 균형있게 지원해줄 수 있는 방안이 필요하다"며 "현재 이들 기업이 투자에만 의존하고 있지만, 궁극적으로는 데이터센터 기업과 연동돼 자생할 수 있는 생태계를 조성할 수 있도록 해줘야 한다"고 강조했다. 한편 이번 김 센터장의 발표는 고동진 국회의원이 주최한 '엔비디아 GPU와 함께 이야기되고 있는 TPU와 NPU 기술 등에 대한 현황분석 간담회'에서 진행됐다. 고동진 의원은 "우리나라의 AI 반도체 생태계 강화를 위해서는 국내 기업들을 활용한 데이터센터 인프라 구축이 필요하다"며 "엔비디아, 구글, 아마존 등 기존 주요 기업의 인프라를 쓰는 동시에, 국내 스타트업의 시스템반도체를 테스트베드화해서 1년 반 안에 수준을 끌어올리는 방향으로 가야한다고 생각한다"고 말했다.

2025.01.14 10:53장경윤

[기고] 산업 경계를 넘어서는 AI 혁신, 최적의 인프라에서 시작된다

비즈니스 환경이 급속도로 진화하면서 기업들은 끊임없이 생산성 향상과 데이터 활용, 사용자 경험 개선을 추구하고 있다. 이러한 변화 속에서 인공지능(AI)은 기업들의 핵심 과제를 해결할 강력한 도구로 주목받고, 많은 기업은 AI 도입을 통해 경쟁력을 강화하려 노력하고 있다. 산업별 AI 활용 현황과 전망 다양한 산업 분야에서 AI는 혁신적인 변화를 이끌고 있다. 유통 업계에서는 AI 기반 분석을 통해 재고 관리를 최적화하고 개인화된 고객 서비스를 제공하면서 매출 증대와 고객 만족도 향상을 동시에 달성하고 있다. AI는 고객의 구매 패턴을 분석해 최적의 재고 수준을 유지하고 각 고객에게 맞춤형 상품을 추천함으로써 구매 전환율을 높이는 데 기여한다. 의료 분야에서는 예측 분석과 머신러닝을 활용해 진단 정확도를 높이고 환자 치료 결과를 개선하고 있다. AI 알고리즘은 의료 영상을 분석해 초기 단계의 질병을 발견하고 환자의 의료 기록을 바탕으로 최적의 치료 방법을 제시한다. 이를 통해 의료진은 더 정확하고 효율적인 의사결정을 내릴 수 있다. 금융권에서는 대규모 언어 모델(LLM)을 도입해 실시간 금융 사기 탐지와 자동화된 거래 전략을 구현하고 있다. AI는 수많은 거래 데이터를 실시간으로 분석해 이상 거래를 감지하고 시장 동향을 예측해 최적의 투자 전략 수립을 지원한다. 제조업에서는 AI 기반 예측 유지보수로 설비 다운타임을 최소화하고 생산 효율을 높이고 있다. 센서에서 수집된 데이터를 AI가 실시간으로 분석해 설비 고장을 사전에 예측하고, 최적의 유지보수 시점을 제시함으로써 생산 중단을 방지한다. 이는 생산성 향상과 비용 절감으로 이어진다. AI 워크로드의 특성과 인프라 요구사항 AI 워크로드는 모델 학습과 실행, 유지관리에 있어 특별한 요구사항을 가진다. 예측 분석, 자연어 처리, 이상 징후 감지, 이미지 인식, 추천 시스템 등 각각의 워크로드는 고성능 컴퓨팅 자원과 대용량 스토리지가 필요하다. 특히 딥러닝 모델은 수십에서 수천억 개의 파라미터를 처리해야 해 강력한 GPU 성능이 요구된다. AI 인프라의 핵심 요소는 강력한 컴퓨팅 성능이다. GPU와 같은 가속기는 복잡한 연산을 병렬로 처리해 AI 모델의 학습 및 추론 속도를 크게 향상시킨다. 또한 지속적으로 증가하는 데이터 규모에 맞춰 스토리지 시스템은 높은 확장성과 처리 성능을 갖춰야 한다. 네트워크 인프라도 중요한 요소다. AI 워크로드는 대량의 데이터를 빠르게 이동시켜야 해 고속 네트워크가 필수다. 실시간 처리가 필요한 애플리케이션의 경우 낮은 지연시간이 매우 중요하다. 보안 역시 간과할 수 없다. AI 시스템은 데이터 보호와 규정 준수를 위한 강력한 보안 기능을 제공해야 한다. AI 도입의 현주소와 미래 전망 2023년 맥킨지 설문조사에 따르면 66%의 조직이 AI를 도입하는 탐색 또는 파일럿 단계에 있는 것으로 나타났다. 이는 AI 도입에 여전히 많은 과제가 있음을 시사한다. 하지만 AI 시장은 2027년까지 1천510억 달러 규모로 성장이 예측되며 기업들의 AI 투자도 꾸준히 증가할 것이다. AI 도입의 성공을 위해서는 명확한 전략과 로드맵이 필요하다. 기업은 자사의 비즈니스 목표와 환경에 맞는 AI 활용 사례를 발굴하고 이를 단계적으로 구현해 나가야 한다. AI 시스템의 구축과 운영을 위한 전문 인력 확보와 교육도 중요하다. HS효성인포메이션시스템은 고성능 컴퓨팅과 AI 워크로드를 위한 통합 AI 플랫폼을 제시하고 있다. 검증된 레퍼런스 아키텍처를 기반으로 데이터센터 AI 인프라의 설계, 배포, 관리를 획기적으로 단순화하고, AI 소프트웨어부터 GPU 서버, 네트워킹, 스토리지에 이르는 모든 구성 요소를 단일 벤더를 통해 제공한다. 현재 가장 많이 도입되고 있는 H100 GPU의 경우 최대 128개 노드까지 확장 가능한 최고 성능의 AI 개발 환경을 지원한다. NVMe 플래시 기반의 고성능 스토리지 시스템은 대규모 AI 워크로드를 효율적으로 처리한다. AI는 기업의 디지털 혁신을 이끄는 핵심 동력이다. 성공적인 AI 도입을 위해서는 적절한 인프라 구축과 함께 명확한 활용 전략이 필요하다. 기업들은 자사 비즈니스 환경과 목표에 맞는 AI 솔루션을 선택하고 이를 효과적으로 구현할 수 있는 파트너십을 구축해야 한다. AI의 잠재력을 최대한 활용하기 위해서는 기술적 준비와 함께 조직의 문화와 프로세스도 함께 변화해야 한다. 이러한 종합적인 접근을 통해 기업은 AI를 통한 진정한 디지털 혁신을 이룰 수 있다.

2025.01.10 23:26정문종

[AI는 지금] 中 딥시크, 'V3'로 실리콘밸리에 도전장…"비용·성능 모두 잡았다"

중국 인공지능(AI) 스타트업 딥시크가 최근 새로운 오픈소스 거대언어모델(LLM) 'V3'를 공개하며 주목받고 있다. 주요 벤치마크에서 오픈AI 등 실리콘밸리 빅테크의 AI 모델과 대등하거나 우수한 성능을 입증하면서도 누구나 사용이 가능해 글로벌 생태계에 큰 변화를 가져올 잠재력을 인정받고 있다. 9일 업계에 따르면 딥시크 'V3'는 총 6천710억 개에 달하는 매개변수를 갖춘 모델로, 메타의 최신 모델인 '라마(Llama) 3.1' 버전보다 약 1.5배 더 큰 규모다. 그동안 오픈소스 LLM으로 가장 널리 알려진 라마 시리즈와 비교해도 방대한 수준의 매개변수를 자랑한다. 또 누구나 쉽게 접근할 수 있는 오픈소스 형태로 출시돼 향후 글로벌 AI 생태계에 적잖은 파장을 일으킬 것이라는 관측이 제기된다. 전문가들은 딥시크 'V3'의 성능이 공인 가능한 벤치마크들을 통해 인정받았다고 평가한다. 코딩 분야에서는 코드포스(Codeforces) 등 국제 공인 프로그래밍 테스트를 통해 메타 '라마 3.1'이나 오픈AI의 '챗GPT 4o'와 어깨를 나란히 하거나 일부 영역에서는 오히려 앞선 결과를 보였다. 언어 능력에 있어서도 마찬가지다. 'V3'는 LLM 언어능력을 평가하는 MMLU 벤치마크에서도 88.5점을 달성했다. 이 점수는 88.7점을 받은 'GPT-4o'와의 점수 차가 매우 근소한 수준으로, '클로드 3.5'나 구글 '제미나이' 모델의 점수를 능가해 사실상 최고 수준에 가까운 역량을 입증했다. 개발 비용 측면에서의 가성비는 기술적 완성도만큼이나 'V3'가 주목받는 이유다. 딥시크 측은 'V3' 개발에 약 557만 달러(한화 약 82억 원)를 투입했다고 설명했는데 이는 오픈소스 방식으로 개발된 메타 라마 모델에 투입된 6억4000만 달러(한화 약 8천960억원)의 1% 수준에 불과하다. 또 엔비디아의 최신 AI칩인 'H100' 대신 상대적으로 낮은 성능의 'H800' 활용하면서도 데이터 압축과 연산 최적화를 통해 컴퓨팅 자원을 효율적으로 활용해 성능을 확보했다. 업계 전문가들은 이를 단순히 비용을 절감했다는 차원을 넘어 제한된 환경에서도 고성능 모델을 구현할 수 있다는 가능성을 보여줬다고 평가한다. 다만 오픈AI의 샘 알트먼 대표는 최근 자신의 소셜미디어 계정에서 “이미 운영 중인 것을 복사하는 것은 쉽다"며 "새롭고 어려운 일을 하는 것이 진정한 도전"이라고 언급했다. 업계 일각에서는 이를 딥시크와 같은 중국 AI 기업의 빠른 모델 출시를 겨냥한 우회적 비판으로 분석했다. 그럼에도 불구하고 딥시크가 내세우는 오픈소스 경쟁력과 저렴한 애플리케이션 프로그램 인터페이스(API) 요금 체계는 글로벌 시장에서 테크 기업들의 변화를 초래하는 주요 동력으로 작용할 가능성이 높다. 개인 구독제 형태로 과금을 하는 오픈AI, 구글 등 실리콘 밸리 AI 스타트업과는 달리 'V3'는 깃허브나 허깅페이스에서 개인이 무료로 다운로드가 가능하기 때문이다. 또 API 가격 역시 백만토큰 당 입력토큰이 약 30센트(한화 약 520원), 출력토근이 약 1달러(한화 약 1400원)로 '챗GPT 4'에 비해 약 30~40배 저렴하다. 실제로 중국 내 빅테크 기업들은 이미 딥시크 'V3'를 계기로 모델 사용료를 낮추는 방안을 검토하고 있는 것으로 알려졌다. 'V3' 모델의 경이로운 발전에는 미중 기술 경쟁과 AI 보호무역주의가 오히려 기여했다는 시각도 존재한다. 'H100' 등 미국 정부의 대중국 고성능 반도체 수출 규제 상황과 오픈AI의 중국 내 서비스 중단이 중국 AI 기술 발전을 초래했다는 것이다. 실제로 딥시크는 이보다 훨씬 낮은 사양인 'H800 GPU'에 각종 최적화 기술을 접목해 고효율화를 이뤄낸 것으로 평가된다. 또 지난해 7월부터 오픈AI가 중국 내 '챗GPT' 서비스를 VPN 접속마저 전면 차단하면서 중국 AI 기업들이 독자적인 모델을 키워낼 기회를 갖게 됐다는 분석이다. 미·중 간 기술 패권 경쟁이 중국 AI 스타트업을 더욱 독려하고 있는 셈이다. 다만 정치적 민감 이슈에 대한 회피와 모델 자체의 환각 문제 등은 'V3'이 극복해야 할 과제로 거론된다. 다수의 외신과 소셜 미디어 포스트 등에 따르면 'V3'는 천안문 사태처럼 중국 당국이 민감하게 여기는 주제에 대해서는 답변을 기피하도록 설계됐다. 이는 체제 안정을 AI 개발의 정책적 목표 중 하나로 간주하는 중국 당국의 정책때문이다. 이와 더불어 해외 사용자들이 진행한 테스트 결과 모델은 자신을 'GPT-4'로 혼동하거나 "나는 챗GPT입니다"라고 소개하는 등 환각 현상이 일부 포착됐다. 이에 런던 킹스칼리지의 마이크 쿡 연구원은 "경쟁 모델을 무분별하게 참조하면 현실 왜곡이 일어날 수 있다"고 우려했다. 이같은 단점에도 불구하고 딥시크 'V3'는 성능과 비용 효율 면에서 중요한 진전을 이뤄냈으며 글로벌 AI 시장에 새로운 변화를 불러올 가능성 가진 것으로 평가된다. 한 국내 AI 업계 관계자는 "LLM 수준이 상향 평준화되고 있기 때문에 'GPT 4' 수준의 성능을 보이는 것은 특기할 만한 점은 아니지만 그 외의 조건들이 주목할만 하다"며 "특히 671B 수준의 대형 모델 학습비용이 겨우 77억원밖에 나오지 않았다는 점이 고무적"이라고 평가했다.

2025.01.09 14:16조이환

"AI도 안전해야 혁신 가능"…SK쉴더스, 'LLM 보안 가이드'로 새 기준 제시

SK쉴더스가 인공지능(AI) 기술의 보안 취약점을 사전에 점검하기 위해 '거대언어모델(LLM) 애플리케이션 취약점 진단 가이드'를 발간했다. SK쉴더스는 보고서를 통해 AI 기반 해킹 위협이 급증하는 추세를 분석해 데이터 보호와 안전한 AI 시스템 구축을 지원하겠다고 8일 밝혔다. LLM은 금융, 제조, 헬스케어 등 다양한 산업에서 활용되고 있지만 데이터 처리 방식의 특성상 기존 IT 시스템과는 다른 보안 위험에 취약하다. 이번 보고서에서는 '오픈 웹 애플리케이션 보안 프로젝트(OWASP) LLM 애플리케이션 2025' 기준을 바탕으로 ▲LLM 통합 ▲에이전트 ▲모델의 세 가지 영역을 중심으로 보안 취약점을 다뤘다. 특히 프롬프트 인젝션과 애플리케이션 프로그램 인터페이스(API) 변조, RAG 데이터 오염 등 신종 공격 사례를 분석해 14개의 주요 취약점을 위험도별로 분류했다. 주요 위협으로 언급된 프롬프트 인젝션은 사용자가 입력값을 조작해 시스템의 의도치 않은 응답을 유도하는 방식이다. 이는 민감 정보 유출이나 악의적 응답 생성과 같은 문제를 일으킬 수 있다. 또 API 매개 변수 변조는 시스템 간 통신을 교란시켜 권한을 초과하는 동작을 유발하는 치명적인 해킹 기법으로 지목됐다. 이 외에도 RAG 데이터 오염은 외부 데이터를 악의적으로 변형해 검색 결과를 왜곡시키는 문제가 있다. 이를 방지하기 위해 보고서는 사용자 명령어와 시스템 프롬프트를 분리하고 데이터 검증 절차를 강화해야 한다고 강조했다. SK쉴더스는 AI 특화 모의해킹 서비스와 개발, 보안, 운영(DevSecOps) 컨설팅을 통해 기업들이 AI 애플리케이션의 잠재적 취약점을 조기에 발견하고 예방 조치를 마련할 수 있도록 돕고 있다. 김병무 SK쉴더스 사이버보안부문장은 "AI 기술은 편리함을 제공하지만 보안 취약점이 악용될 경우 심각한 사고로 이어질 수 있다"며 "이번 가이드는 기업과 기관이 신뢰할 수 있는 AI 시스템을 구축하는 데 실질적인 도움을 줄 것"이라고 밝혔다.

2025.01.08 10:07조이환

사이냅소프트, '사이냅 도큐애널라이저' LLM 도입 가속 지원

사이냅소프트(대표 전경헌)가 대규모언어모델(LLM) 도입 지원을 위해 문서분석 솔루션 '사이냅 도큐애널라이저'을 고도화 한다. 사이냅소프트는 사이냅 도큐애널라이저에 차트, 도형, 이미지, 수식 등 복잡한 문서 요소까지 아우르는 통합적인 분석 솔루션을 추가한다고 27일 밝혔다. 이번 업데이트는 문서 내 다양한 요소를 정확하게 분석하고, 사용 편의성을 대폭 향상시킨 것이 특징이다. 새롭게 추가된 이미지 추출 기능은 문서 내 포함된 이미지들을 별도의 파일로 추출할 수 있도록 한다. 기존에는 복잡한 과정을 거쳐야 했던 이미지 추출 작업이 단 몇 번의 클릭만으로 가능해졌다. 이 기능을 통해 연구자나 데이터 분석가는 차트나 수식이 포함된 이미지 정보를 보다 쉽게 활용할 수 있게 되어, 필요한 정보를 신속하게 확보하고 분석 시간을 단축할 수 있게 된다. 제목 및 캡션 인식 기능은 문서의 구조를 명확하게 파악할 수 있도록 돕는다. 이는 사용자가 문서의 맥락을 빠르게 이해하고 원하는 정보를 정확하게 찾는데 결정적인 역할을 한다. 페이지 내 읽기 순서 인식은 좌표 정보를 기반으로 더욱 정교해 졌으며 문단의 읽기 순서를 최적화하여, 문서를 더욱 효율적으로 탐색할 수 있도록 지원한다. REST API 기능 지원을 통해서는 개발자들이 도큐애널라이저의 기능들을 자체 애플리케이션에 통합하여 사용할 수 있다. 이를 통해 문서 분석을 자동화하고, 업무 효율성을 높일 수 있도록 지원할 전망이다. 이번 업데이트를 통해 사이냅소프트는 문서 분석을 넘어, 데이터 분석 및 LLM구축 연구 개발 분야에서 분석 품질을 향상시키는 강력한 솔루션으로서의 역할을 수행할 수 있을 것으로 기대 중이다. 사이냅 도큐애널라이저는 타사 제품과 달리 PDF로 변환할 필요 없이 MS오피스 등 원본 파일을 바로 분석할 수 있어 시간과 노력을 절약할 수 있다는 특징이 있다. 원본 파일을 바로 분석할 경우 문서의 포맷과 구조를 유지하면서 분석할 수 있어 데이터의 의미를 보다 정확하게 이해할 수 있다. 또한 텍스트뿐 아니라, 이미지, 차트, 도형 등 다양한 요소를 동시에 분석할 수 있어 종합적인 인사이트를 얻을 수 있다. 전경헌 사이냅소프트의 대표는 "도큐애널라이저의 고도화된 기능은 이미 다수의 LLM 구축 및 지식 자산화 사업에 사용되고 있으며, 다양한 산업 분야에서의 활용 가능성이 높아지고 있다. 앞으로도 고객들의 요구사항을 신속하게 개발에 반영하여, 도큐먼트 AI 전문기업으로서 입지를 더욱 강화하겠다"고 밝혔다.

2024.12.27 08:58남혁우

"한국어 좀 하네?"…제미나이·챗GPT 韓 공습에 삼성 '빅스비' 입지 좁아질까

구글이 대화형 인공지능(AI) '제미나이 라이브'의 한국어 서비스를 본격화하며 오픈AI AI 챗봇 '챗GPT'가 잠식한 국내 음성 AI 비서 시장에 도전장을 던졌다. 일상 생활에 AI를 침투시켜 구독을 통한 유료화를 자연스럽게 유도할 것으로 예상되는 가운데 네이버, 카카오 등 국내 기업들이 어떻게 반격에 나설 지 주목된다. 구글은 올해 8월 '메이드 바이 구글(Made by Google)' 행사에서 공개한 '제미나이 라이브'의 한국어 서비스를 시작한다고 20일 밝혔다. 제미나이 라이브는 이용자의 요구에 따라 실시간으로 대화하고 협력해 사용할 수 있는 혁신적인 대화형 AI 기술이다. 이번 한국어 지원을 통해 구글은 언어의 장벽을 낮추고 AI의 혜택을 더 많은 이들에게 제공하고자 한다. 제미나이 라이브는 안드로이드 및 iOS 기기에서 사용 가능하다. 하나의 기기에서 최대 두 가지 언어를 설정할 수 있다. 이용자는 구글 앱의 상단 프로필이나 이니셜을 선택한 후 설정 탭에서 구글 어시스턴트를 선택, 한국어(또는 지원가능한 언어)를 지정하는 방식으로 이용자가 원하는 언어를 추가할 수 있다. 구글은 단순한 번역을 넘어 한국어의 미묘한 의미 차이, 관용 표현, 존댓말 체계를 '제미나이 라이브'에 반영하기 위해 언어학자와 문화 전문가 등 한국어 원어민들과 협력했다. 또 10가지의 다양한 한국어 음성 옵션을 지원하고 오디오 품질을 최적화했다. 이를 통해 한국어 이용자들은 더욱 자연스럽고 직관적인 대화가 가능한 것은 물론 차원이 다른 맞춤형 AI 서비스를 경험할 수 있다. 앞서 오픈AI도 지난 9월 한국어를 비롯해 영어 외에 50개 언어의 사용을 개선한 챗GPT의 '어드밴스드 보이스 모델(음성 모드)'을 출시했다. 지난 5월 실시간 음성 대화 기능을 추가해 업그레이드한 '챗GPT-4o(포오)'의 음성 기능을 개선한 모델이다. 기존 '챗GPT-4o'는 한국어 대화가 가능하긴 했지만 마치 외국인이 말하는 것처럼 어색하다는 지적이 있었다. 이번에 업그레이드된 모델은 실제 한국인 수준으로 언어 능력을 끌어올렸다는 평가를 받고 있다. 특히 애교를 부리거나 표준어와 다른 억양의 사투리도 이해해 주목 받았다. 이처럼 미국 기업들이 국내 시장을 노리고 잇따라 한국어 서비스를 내놓으면서 국내 기업들도 대응책 마련에 골몰하고 있다. 현재 네이버는 하이퍼클로바X 기반의 '스피치X(가칭)'를 개발 중이고, 카카오 계열사인 디케이테크인은 AI 비서 '헤이카카오'에 거대언어모델(LLM) 탑재를 검토하고 있는 것으로 알려졌다. 삼성전자도 '챗GPT'처럼 구동될 수 있도록 AI 비서 '빅스비'에 LLM을 탑재할 예정으로, 내년 초 출시할 '갤럭시S25' 시리즈에 이를 적용할 방침이다. 업계 관계자는 "생성형 AI의 수익화 전략을 고민 중인 글로벌 빅테크들은 생활에 밀접하게 파고드는 음성 AI 비서를 통해 유료화의 저변을 확대할 수 있을 것으로 기대하고 있다"며 "음성 AI 비서 시장을 선점하고 개발에서 앞서 나가려는 분위기 속에 국내 기업들도 하루 빨리 대응에 나서야 할 것"이라고 말했다.

2024.12.20 10:47장유미

내년 IT 산업 트렌드, AI·지속가능성·엣지 컴퓨팅이 주도

디지털 전환의 가속화 속에서 아태지역 IT 산업의 주요 흐름이 구체화되고 있다. 거대언어모델(LLM), 지속가능성, 엣지 컴퓨팅 등 다양한 기술이 산업 혁신의 중심에 설 전망이다. 16일 레노버에 따르면 내년 IT 산업을 주도할 8가지 주요 트렌드로 ▲LLM 수직화 ▲인공지능(AI) 에이전트의 초개별화 ▲사이버 보안 및 회복탄력성 ▲지속가능한 데이터센터 ▲AI 투자 심사 강화 ▲멀티 클라우드 유연화 ▲엣지 컴퓨팅 확대 ▲AI 전용 인프라 설계가 꼽히고 있다. LLM 수직화는 산업별 특성에 맞춰 AI 모델을 조정하는 기술로, 특정 산업에 적합한 데이터 분석과 의사결정 지원을 가능하게 한다. 이를 통해 업무 자동화는 물론, 산업별로 차별화된 데이터 기반 전략을 수립할 수 있을 것으로 기대된다. 아태지역은 전 세계 제조업 부가가치의 절반 이상을 차지하는 중심지로, 이러한 기술 발전의 실질적인 시험대가 될 전망이다. AI 에이전트는 단순히 정보를 제공하는 수준을 넘어 사용자와 실시간으로 상호작용하는 초개별화된 기능을 구현할 것으로 보인다. 이는 사용자의 개인 데이터를 기반으로 한 맞춤형 디지털 트윈을 통해 가능해진다. 디지털 트윈은 쇼핑, 번역, 여행 등 다양한 분야에서 사용자의 요구를 충족시키는 다수의 AI 에이전트로 구성돼 개인화된 서비스를 혁신적으로 제공할 수 있다. 사이버 보안의 중요성 역시 커지고 있다. 아태지역에서 데이터 유출 사고가 급증하며 기업에게 데이터 보호와 보안 인프라 강화가 시급한 과제로 떠올랐기 때문이다. 특히 생성형 AI와 같은 새로운 기술의 확산으로 데이터 양이 급증하면서 이를 안전하게 관리하고 보호하는 능력이 비즈니스 경쟁력을 결정짓는 요소로 자리잡고 있다. 데이터센터의 경우 지속가능성이 핵심 화두로 부상했다. 생성형 AI가 막대한 전력을 소비함에 따라 데이터센터는 친환경 운영과 에너지 효율을 반드시 고려해야 한다. 레노버는 액체 냉각 기술을 도입해 데이터센터의 에너지 소비를 최대 40% 절감하는 방안을 제시하며 지속가능성에 기여하고 있다. 멀티 클라우드와 엣지 컴퓨팅은 IT 산업에서 가장 주목받는 분야로 자리 잡았다. 기업들은 멀티 클라우드를 통해 특정 벤더에 종속되지 않으면서도 유연성과 확장성을 확보하려 하고 있다. 동시에 엣지 컴퓨팅은 데이터를 생성된 위치에서 처리함으로써 지연 시간을 줄이고 실시간 데이터 처리를 최적화한다. 이러한 조합은 특히 제조업, 통신, 공공 부문에서 빠르게 확대되고 있다. 수미르 바티아 레노버 아태지역 사장은 "역동적으로 변화하는 디지털 생태계 속에서 혁신을 선제적으로 수용해야만 성공할 수 있다"며 "IT 트렌드와 기술 발전을 지속적으로 탐색하는 것이 경쟁력을 유지하는 비결"이라고 강조했다.

2024.12.16 17:05조이환

SKT, 'AI 비서'로 글로벌 진출 가속도

SK텔레콤이 국내에서 검증된 '에이닷(A.)' 서비스의 성과를 바탕으로, 글로벌 시장을 겨냥한 프리미엄 AI 비서 '에스터(Aster)'를 선보이며 글로벌 진출을 가속화한다. SK텔레콤은 에스터를 내년에 정식 출시할 계획이다. SK텔레콤은 지난 2023년 에이닷(A.)을 선보이며 AI 비서 서비스에 출사표를 던졌다. 에이닷은 국내 전용 서비스로, 출시 후 국내 시장에서 가파른 성장세를 보이고 있다. 2023년 10월 iOS 사용자를 시작으로, 2024년 4월 안드로이드 사용자까지 서비스를 확대하면서 2024년 2분기 기준 누적 가입자 460만명을 확보했다. SK텔레콤은 지난 10월 기존 'T전화'를 '에이닷 전화'로 리브랜딩하고 일정 관리, 수면 루틴, 날씨, 교통 알림 등 필수 일상 기능을 추가했다. 이후 에이닷의 누적 가입자는 560만명으로, 전년 대비 211% 성장했다. 최근 SK텔레콤은 에이닷의 접근성 확대를 위해 구글 크롬과 애플 사파리를 통해 데스크톱과 태블릿에서도 서비스 이용을 가능하도록 했다. 향후 에이닷에 구글 제미니 등 추가 모델을 통합할 계획이다. 이러한 에이닷의 국내 성과를 바탕으로 SK텔레콤은 글로벌 시장 진출을 위해 글로벌 전용 서비스를 선보였다. SK텔레콤은 지난 11월 'AI 서밋 2024'에서 글로벌 시장을 겨냥한 프리미엄 AI 비서 서비스 '에스터(Aster)'의 베타 서비스를 공개했다. 에스터는 일상생활을 위한 안내 동반자를 표방하며, 단순한 질의응답이나 데이터 검증을 넘어 SK텔레콤의 AI 생태계를 단일 앱으로 연결하는 '에이전틱 AI(Agentic AI)'를 지향한다.개인화된 정보 제공과 업무 실행이 가능한 작업 관리자 역할을 수행한다. 예를 들어 주말 파티를 위한 저녁 식사 준비 요청 시 사용자의 개인 선호도를 기반으로 한 음식 레시피를 추천하고, 필요한 식재료 구매를 위한 온라인 서비스 연결, 호텔 예약까지 지원한다. 이는 SK텔레콤의 LLM(대규모 언어 모델)과 에이전트 플랫폼을 통해 최적화된 '쉬운 계획 수립(Planning Made Easy)', '절대 놓치지 않기(Never Drop the Ball)', '시의적절한 답변(Timely Answer)'이라는 세 가지 핵심 개념을 바탕으로 한다. 옴디아 보고서는 "에스터가 에이닷과 유사하게 작업 관리자 역할을 수행하며, 개인화된 정보 제공과 업무 실행이 가능하다"며 "두 서비스 모두 SK텔레콤의 LLM과 에이전트 플랫폼을 기반으로 하고 있으며, 단순 AI 비서를 넘어 종합적인 서비스 플랫폼을 지향한다는 공통점을 가지고 있다"고 분석했다. SK텔레콤은 내년 에스터의 정식 버전을 글로벌 출시할 계획이다. 이를 위해 현지 언어, 선호도, 규제 환경 등 다양한 시장 요구사항에 맞춘 서비스 개발을 진행 중이다. 아마존 알렉사와 애플 시리 등 기존 글로벌 AI 비서 서비스와의 경쟁력 강화를 위해 글로벌 검색 제공업체, LLM 개발자, 제3자 애플리케이션과의 파트너십을 확대하고 있다. 에스터 공개 당시 정석근 SK텔레콤 글로벌/AI테크사업부장은 "글로벌 고객들이 사용하게 될 '에스터'는 앱 하나지만,그 기반에는 각 개인·지역·국가별AI 전 영역을 아우르는 AI 생태계(에코 시스템)가 뒷받침 된다"며, "전세계 고객들이 사용하기 쉽고 활용도 높은 AI 에이전트를 위해 글로벌 테크사들과 전방위 협력할 것"이라는 포부를 밝힌 바 있다. 나아가 SK텔레콤은 AI 서비스를 고객 상담원의 일상 업무에 통합함으로써 AI의 학습과 적응 능력이 크게 향상할 계획이다. 내부 및 외부 이해관계자 모두에게 향상된 사용자 경험을 제공하기 위해서다. AI 기반 개인 비서 시장은 빠르게 성장하고 있다. 퓨처 데이터 스탯스의 보고서에 따르면 지난 2023년 108.60억 달러였던 시장 규모가 2030년까지 242.30억 달러로 성장할 것으로 예상되며, 연평균 성장률(CAGR)은 17.3%로 전망된다. 국내 통신사들은 국내 시장이 포화 상태에 이르고 가입자 증가가 한계에 도달하면서, 새로운 수익원을 찾기 위해 해외 시장으로 눈을 돌렸지만 아직까지 마땅한 성과를 얻지 못한 상태다. 이에 에스터가 SK텔레콤의 글로벌 진출 숙원을 이룰수 있을지 주목된다.

2024.12.15 08:00최지연

[기기검증] 인텔 아크 2세대 'B580', 얼마나 빨라졌나

인텔이 오는 16일부터 데스크톱PC용 아크 2세대 GPU(배틀메이지) 탑재 그래픽카드를 국내 시장에 본격 공급한다. 2022년 10월 아크 1세대 GPU '알케미스트'(Alchemist) 탑재 A770·A750 그래픽카드 출시 이후 약 2년만이다. 아크 B시리즈는 지난 9월 출시된 노트북용 프로세서, 코어 울트라 200V(루나레이크) 내장 GPU와 같은 Xe2 코어 기반으로 구성됐다. 연산 폭을 넓히고 AI 연산에 필요한 XMX 등을 지원한다. 저해상도 화면을 AI로 업스케일하는 '슈퍼 레졸루션'(SR) 이외에 AI를 이용해 게임 장면 사이 프레임을 추가로 그리는 '프레임 생성'(FG), 프레임 구성시 지연 시간을 낮추는 '저지연성'(LL) 등 3개 기술을 지원한다. B580(BMG-G21)은 Xe2 코어 20개로 구성됐다. 인텔은 전 세대 대비 코어 당 성능은 70%, 소비 전력 당 성능은 50% 향상됐다고 설명했다. B580 탑재 인텔 한정판 그래픽카드로 벤치마크와 게임 등 소프트웨어를 이용해 성능 향상 폭을 확인했다. 디스플레이포트 2.1 단자로 최대 8K 60Hz 화면 표시 가능 인텔이 대여한 B580 한정판 그래픽카드는 전 세대 상위급 제품인 A750과 크기나 냉각 방식(냉각팬 2개)에 큰 차이가 없다. 영상 출력 단자는 디스플레이포트 2.1 3개, HDMI 2.1a 1개 등 총 4개로 전 세대와 같다. 디스플레이포트는 8K(7680×4320) 60Hz, 4K(3840×2160) 360Hz 등 고주사율 디스플레이를 지원하며 HDMI 2.1 단자는 8K 120Hz, 4K 480Hz를 지원한다. 전력 공급은 PCI 익스프레스 8핀만으로 공급받는다. A750은 최대 225W를 쓰므로 전원 공급도 8+6핀만 이용한다. 반면 B580은 TSMC 5나노급(N5) 적용 등으로 최대 소모 전력을 190W까지 낮췄다. 3D마크 타임스파이 측정값 전세대 대비 20% 향상 UL 솔루션즈(구 퓨처마크)가 개발한 벤치마크 프로그램인 3D마크는 실제 게임 화면을 흉내낸 여러 시나리오로 그래픽카드와 프로세서 성능을 동시에 측정할 수 있다. 각 테스트 결과에서 초당 프레임 수를 이용해 성능 향상 폭을 살펴봤다. 다이렉트X 12 얼티밋 기반 화면을 그리며 성능을 측정하는 대표 시나리오 '타임스파이'(Time Spy)에서는 첫 번째 시나리오와 두 번째 시나리오 모두 전 세대 상위 제품(A750) 대비 20% 프레임 수가 상승했다. '스틸노매드'(Steel Nomad)는 타임스파이 대비 처리 부하를 4K 해상도 기반으로 3배 높인 테스트다. 타임스파이 대비 극적인 성능 향상은 없지만 다이렉트X 12와 불칸(Vulcan) 등 그래픽 API 사이에 큰 차이가 없다는 것도 특기할 점이다. XeSS 활성화시 최대 2배 프레임 향상 인텔 아크 GPU는 원래 해상도보다 낮은 화면을 그린 다음 AI로 업스케일링해 GPU 부하는 줄이면서 비슷한 품질 화면을 보여주는 XeSS(Xe 슈퍼샘플링) 기능을 지원한다. 3D마크에 내장된 XeSS 성능 테스트로 초당 프레임과 성능 향상 폭을 확인했다. XeSS는 성능과 화면 품질에 따라 성능, 균형, 품질, 울트라 등 4개 모드를 갖췄으며 일반적으로 '균형'(Balanced) 모드를 많이 활용한다. XeSS 활성화시 풀HD(1920×1080 화소) 보다 QHD(2560×1440 화소) 등 해상도가 높아질 수록 성능 향상 폭이 크다. 단 실제 게임에서는 가장 이상적인 경우 30% 정도 성능 향상을 확인할 수 있다(아래 테스트 참조). 사이버펑크 2077에서 초당 프레임 최대 30% 향상 게임 5종에 내장된 벤치마크 기능을 이용해 초당 프레임을 측정했다. 풀HD 해상도에서는 적게는 16%(파크라이5)부터 많게는 38%(사이버펑크 2077) 등 모든 게임에서 두 자릿수 성능 향상을 볼 수 있다. QHD 해상도에서는 전 세대 대비 최저 21%(파크라이5), 최대 30%(사이버펑크 2077) 성능 향상이 있다. 그래픽 수준 '높음' 설정시 쾌적함을 느낄 수 있는 최저 수준인 초당 60프레임은 모두 넘어섰다. XeSS를 활성화할 때 성능 향상 폭도 B580이 더 크다. GTA Ⅴ는 모든 해상도, 모든 그래픽카드에서 거의 같은 성능을 보인다. 개발 시점 당시인 2010년 초반 주류 프로세서인 4코어 프로세서 위주 최적화와 다이렉트X 11로 개발된 게임 엔진 등이 영향을 미쳤다. 향후 최신 하드웨어 테스트에는 활용하기 어렵다. ※ 테스트 조건 : 모든 게임은 내장 벤치마크 모드 활용. V싱크 기능과 프레임 제한 기능은 해제. 그래픽 옵션은 '높음'. XeSS는 '균형'(Balanced)으로 설정. XeSS·프레임 생성 활성화시 기본 대비 프레임 2배 상승 인텔이 아크 2세대에 탑재한 XeSS 2는 화면 업스케일 기능 '슈퍼 레졸루션' 이외에 게임 장면 사이 프레임을 추가로 그리는 '프레임 생성'(FG) 기능을 포함했다.13일 현재 이를 정식 지원하는 게임은 EA가 개발한 F1 24가 유일하다. 해상도는 QHD, 그래픽 수준은 '높음'(High)과 '매우 높음'(Ultra High)로 설정하고 XeSS 2 각 기능 설정시 성능 추이를 확인했다. 아무 기능도 적용하지 않은 상태에서는 '매우 높음'에서 초당 프레임이 50프레임까지 떨어져 원활한 구동이 어렵다. XeSS 적용시는 81프레임까지 올라가며 프레임 생성 기능까지 추가로 활성화하면 초당 프레임이 기본 상태 대비 2배 이상 늘어난다. 이를 지원하는 게임이 늘어나면 고해상도에서 더 높은 프레임을 뽑아낼 수 있을 것으로 보인다. ※ 벤치마크 설정 : Australia, Wet, Loop 3, 카메라 시점 순환(Cycle). XeSS 수준은 '균형'(Balanced). AI 이미지 생성·LLM 초당 토큰도 B580 앞서 아크 2세대를 구성하는 Xe2 코어는 512비트 벡터 엔진 8개에 AI 연산에 필요한 XMX(Xe 행렬 확장) 엔진을 추가하고 INT2, INT4, INT8, FP16, BF16 등 AI 연산이 요구하는 자료형을 폭넓게 지원한다. UL 솔루션즈 프로시온(Procyon)에 내장된 AI 이미지 생성 벤치마크는 스테이블 디퓨전 1.5로 이미지 생성 시간을 측정한다. 속도는 빠르지만 정밀도가 떨어지는 INT8, 정밀도가 높은 FP16 두 테스트에서 B580의 소요 시간이 더 짧다. AI 텍스트 생성 벤치마크는 비교적 최근에 출시된 거대언어모델(LLM) 벤치마크이며 파이3.5, 미스트랄(70억), 라마 3.1(80억), 라마2(130억) 등 4개 LLM 구동시 성능을 측정한다. B580은 A750(8GB) 대비 넉넉한 메모리(12GB)와 빠른 처리 속도를 살려 초당 토큰(단어) 생성 수에서 60% 가량 성능 향상이 있다. A750은 라마2 실행시 초당 토큰 수가 극히 떨어지는데 메모리 용량에 제약을 받은 것이 원인으로 보인다. ※ 벤치마크 설정 : 프로시온 권장치인 '인텔 오픈비노'(OpenVINO) 프레임워크 이용. 전 세대 대비 확실한 성능 향상... 늦은 출시 시기는 유감 인텔이 아크 시리즈에 붙이는 모델명은 3, 5, 7로 구성된다. 비교에 쓰인 A750은 상위 제품, 이번에 출시될 B580은 중간급 제품이다. 전 세대 상위권 제품을 현 세대 한 단계 아래 제품이 더 앞서는 결과를 보여줬다. 아크 A750용 드라이버는 출시 이후 2년간 업데이트를 거치며 꾸준히 성능이 향상된 반면 B580은 드라이버 최적화를 통해 성능이 더 향상될 여지가 남아 있다. '프레임 생성' 기능을 지원하는 게임 확보가 관건이다. 이미 아크 A750/A770은 동영상 처리 가속, 혹은 AI 모델 개발용으로 틈새 수요를 찾아 보급된 상태다. 아크 B580은 게임 성능을 향상시키고 경쟁 제품 대비 더 넉넉한 12GB 메모리를 탑재해 전 세대 대비 주목을 받을 가능성이 더 커졌다. 다만 출시 시기가 적어도 반 년 정도 빨랐더라면 엔비디아나 AMD 등 기존 그래픽카드 제조사의 대안을 찾는 소비자들의 좋은 선택지가 됐을 것이다. 인텔 권장가는 249달러(약 35만 6천원)지만 최근 오른 원-달러 환율로 국내 유통가도 비싸질 것으로 보인다. ※ 테스트 시스템 제원 메인보드 : 에이수스 ROG 막시무스 Z890 히어로 (바이오스 1101) -인텔 디폴트 설정(Intel Default Settings), 퍼포먼스(Performance) 프로세서 : 인텔 코어 울트라9 285K (정격 클록 작동) 메모리 : 커세어 DDR5-6400MHz 16GB×2 (32GB) SSD : 씨게이트 파이어쿠다 540 2TB (PCIe 4.0) 그래픽카드 : 아크 A750 (8GB, 드라이버 32.0.101.6319), 아크 B580 (12GB, 드라이버 32.0.101.6252) 냉각장치 : 에이수스 ROG RYUJIN Ⅲ 60×3 (수랭식 3열 일체형) 운영체제 : 윈도11 프로 24H2 (10.0.22621.674, UEFI, 성능 최상, 절전모드 끔, VBS 활성화)

2024.12.13 08:30권봉석

"AI 에이전트, 우리가 주도"…구글, 더 똑똑한 '제미나이 2.0'으로 승부수

구글이 멀티모달(복합 정보처리) 능력이 향상된 차세대 인공지능(AI) 모델을 앞세워 급성장하고 있는 'AI 에이전트(비서)' 시장 공략에 본격 나선다. 챗봇을 넘어 사용자 대신 행동까지 수행하는 'AI 에이전트'가 AI 시대의 새로운 트렌드로 자리 잡으면서 글로벌 빅테크들의 기술 경쟁도 한층 강화된 모습이다. 12일 블룸버그통신 등에 따르면 구글은 지난 11일(현지 시간) '제미나이 2.0'을 새롭게 출시했다. 구글의 새 AI 모델 출시는 올해 2월 '제미나이 1.5'를 내놓은 지 약 10개월 만이다. 자체 개발한 6세대 칩(TPU)인 '트릴리움(Trillium)'을 기반으로 구축된 '제미나이 2.0'은 구글이 지금까지 선보인 AI 모델 중 가장 뛰어난 성능을 가진 것으로 평가됐다. 텍스트는 물론 이미지와 동영상 기능을 갖춘 멀티모달 기능도 전작 대비 한층 더 개선된 것으로 나타났다. 주요 벤치마크에선 '제미나이1.5 프로'에 비해 속도가 2배 빠른 것으로 평가됐다. 구글은 이날부터 '제미나이2.0 플래시'를 개발자를 위한 플랫폼인 '구글 AI 스튜디오'와 기업용 플랫폼인 '버텍스 AI'에서 실험 모델로 제공한다. 이 중 '플래시' 모델은 울트라, 프로, 나노 등 매개변수 크기에 따른 제미나이 제품군 가운데 프로 모델을 경량화한 모델로, 지난 1.5 버전부터 선보였다. 구글은 '제미나이 2.0'의 고급 추론 기능을 10억 명이 이용하는 AI 검색 서비스 'AI 오버뷰'에도 적용할 예정이다. 수학 방정식이나 멀티모달 질문 및 코딩 등 더 복잡한 질문도 처리할 수 있도록 할 계획이다. 또 구글 검색을 시작으로 전 제품에 빠르게 '제미나이 2.0'을 적용될 계획이다. 순다 피차이 구글 최고경영자(CEO)는 "(이번 일로) 범용 어시스턴트라는 우리의 비전에 더 가까이 다가갈 수 있게 됐다"고 말했다. 구글은 '제미나이 2.0'을 기반으로 한 새로운 AI 에이전트도 이날 함께 선보였다. 실험 단계인 '프로젝트 마리너'는 '제미나이 2.0'을 탑재해 브라우저 화면을 이해하고 추론하는 등 복잡한 작업을 지원한다. 개발자를 위한 AI 에이전트 '줄스'는 코딩 작업을 도와준다. 지난 5월 선보인 '프로젝트 아스트라'에도 '제미나이 2.0'이 탑재됐다. 이에 따라 이용자와의 대화가 더욱 자연스러워지고 응답 속도가 빠르며 최대 10분간 대화 내용을 기억하는 등 기억력도 강화됐다. 또 다국어로 대화하는 것뿐 아니라 구글 검색과 구글 렌즈, 구글 맵스 등 다양한 기능도 활용할 수 있게 됐다. 구글은 제미나이 애플리케이션뿐 아니라 안경 형태의 폼팩터에서도 프로젝트 아스트라를 구현할 예정이다. 데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 "'제미나이 2.0'은 다양한 기능 조합, 더욱 자연스러운 상호작용, 빠른 응답 속도, 복잡한 작업 처리 능력을 통해 완전히 새로운 차원의 에이전트형 기반 경험을 제공한다"며 "아직 항상 정확하지는 않고 작업을 완료하는 속도가 느리지만 시간이 지나며 빠르게 개선될 것"이라고 설명했다. 구글은 이날 '제미나이 2.0'을 장착해 복잡한 연구 보고서 작성을 도와주는 AI 어시스턴트 '딥 리서치'도 함께 공개했다. AI를 활용해 복잡한 주제를 탐구한 뒤 결과를 이해하기 쉬운 보고서로 제공하는 것이 특징이다. '딥 리서치'는 유료 구독제인 제미나이 어드밴스드를 통해 이용할 수 있다. 이번 일로 주요 글로벌 빅테크들의 AI 에이전트 경쟁은 한층 더 치열해질 것으로 보인다. 현재 AI 에이전트 개발에 두각을 나타내는 곳은 마이크로소프트(MS)로, 오픈AI와 손잡고 AI 비서 '코파일럿'을 공개한 데 이어 올해 11월에는 연례 행사인 '이그나이트 2024'를 통해 '자율형 AI 에이전트' 기술력을 뽐냈다. 아마존 역시 이달 초 개최한 'AWS 리인벤트 2024'에서 새로운 에이전트 기능을 선보여 눈길을 끌었다. 올해 공개한 기업용 AI 에이전트인 '아마존 Q 비즈니스'에 워크 플로우 자동화 기능을 추가한 것으로, 기업들이 사내 업무를 자동화 할 수 있게 만들었다. 이 외에 새 대규모언어모델(LLM) '노바'뿐 아니라 '노바 스피치 투 스피치 모델'과 '애니 투 애니 모델' 등 멀티모달 모델도 공개했다. 앤트로픽이 만든 AI 에이전트 기능 '컴퓨터 유즈'도 업계의 주목을 받고 있다. 이는 앤트로픽의 최신 AI 모델인 '클로드 3.5 소네트'를 기반으로 작동하는 AI 에이전트로, 키보드와 마우스 입력 등을 조작할 때 '인간처럼' 스스로 수행한다. '챗GPT' 등으로 AI 시장을 주도하고 있는 오픈AI도 코드명 '오퍼레이트'로 알려진 AI 에이전트 출시를 준비 중이다. 세라 프라이어 오픈AI 최고재무책임자(CFO)는 최근 파이낸셜타임스(FT)와의 인터뷰에서 "정보 수집과 예약, 상품 구매 등을 웹에서 실행하는 챗봇 비서 같은 'AI 에이전트'의 출시가 내년의 핵심 초점"이라며 "사람들의 일상을 돕는 매우 성공적인 에이전트가 배치되는 것을 보게 될 것"이라고 밝혔다. 이처럼 빅테크들이 AI 에이전트 시장에 경쟁적으로 나온 것은 성장성이 높아서다. 글로벌 시장조사기관 그랜드뷰리서치에 따르면 지난해 AI 에이전트 시장 규모는 약 58억2천만 달러로, 2030년까지 연평균 42.8% 성장할 것으로 전망된다. 2030년 시장 규모는 약 705억3천만 달러(약 100조원)로 전망된다. 하지만 해외 빅테크들과 달리 국내 업체들의 대응은 다소 더디다. 네이버, 카카오는 아직 본격적으로 서비스를 선보이지 못하고 있고, 통신사들이 운영하는 AI 에이전트는 부가 서비스 수준에 그치고 있다는 평가다. 업계 관계자는 "글로벌 빅테크들에 비해 국내 업체들의 움직임이 더디면서 AI 에이전트 시장에서 기술 격차가 더 벌어질 것으로 보인다"며 "빅테크들은 자체 LLM을 기반으로 다양한 AI 서비스 출시와 함께 수익화에 나서고 있지만, 국내 업체들은 갈수록 입지가 줄어드는 분위기"라고 말했다.

2024.12.12 10:03장유미

"윈도처럼 복잡한 AI, 만들기 보다 도입이 유리"

"AI 모델 개발에는 막대한 데이터와 고성능 컴퓨팅 자원이 필요하며, 이는 많은 기업에 현실적으로 큰 부담이 된다. 이는 기업에서 윈도나 리눅스 등 운영체제(OS)를 직접 만들어 사용하는 것과 유사하다." 발전 속도가 날로 빨라지는 AI를 중심으로 기업 경영과 비즈니스 혁신이 이뤄지고 있다. AI를 효과적으로 활용하지 못하는 기업은 가속화되는 변화를 따라잡기 어려워지는 추세다. 베스핀글로벌은 이런 상황에 대처하기 위해 양질의 상용AI를 활용해 빠르게 시스템을 구축하고 기업은 비즈니스와 장점에 집중할 것을 권하고 있다. 11일 만난 베스핀글로벌의 박기철 헬프나우AI 실장은 이와 같이 말하며 급변하는 AI시대 기업들이 갖춰야 할 AI전략을 제시했다. 박 실장은 AI 기술의 발전 속도가 가속화됨에 따라 기업 내에서 대규모 언어모델(LLM) 등 AI 서비스를 개발하기에는 시간과 자원의 제약이 크다고 지적했다. 특히 천문학적인 단위의 비용과 대규모 전문 인력을 투자하는 상용AI나 오픈소스AI와 비교해 성능이나 개발 속도 면에서 차이가 발생할 수밖에 없다는 설명이다. 그는 "오픈AI나 메타의 경우 AI 개발을 위해 막대한 인력과 고성능 컴퓨팅 자원을 투자하고 있다"며 "이런 방식을 일반 기업에서 그대로 따라하는 것은 현실적으로 한계가 있다"고 설명했다. 이어 "이는 기업에서 윈도나 리눅스 등 운영체제(OS)를 직접 만들어 사용하는 것과 비슷하다"며 "그보다는 이미 검증된 AI와 서비스를 활용하고 기업은 보유한 데이터와 비즈니스에 집중하는 것이 중요하다"고 말했다. GPT나 라마 등 기성 AI는 개발 과정을 최소화해 도입할 수 있는 만큼 초기 투자 비용과 리소스를 줄일 수 있으며, 각 개발사에서 지속적으로 모델을 업데이트하는 만큼 자동으로 최신 기술을 선점할 수 있다. 더불어 박 실장은 상용AI를 기업에 더욱 최적화해 사용할 수 있는 방안으로 헬프나우AI를 활용할 것을 제시했다. 헬프나우AI는 복잡한 코딩이나 프로그램 작업 없이 기업 데이터와 AI를 연계해 맞춤형 AI 서비스를 구축할 수 있도록 지원하는 AI플랫폼이다. AI 에이전트를 통해 반복적인 업무를 자동화하고, 내부 검색 시스템을 고도화하며, 고객 지원 서비스를 혁신적으로 개선할 수 있도록 돕는다. 오픈AI의 GPT-4, 구글의 PaLM2를 비롯해 구글 다이얼로그플로우, 아마존웹서비스(AWS) 렉스, IBM 왓슨 등 다양한 AI를 지원한다. 공공, 통신, 모빌리티, 물류, 제조, 교육 등 다양한 산업 분야에 특화된 AI서비스 환경을 제공한다. 노코드 기반의 인터페이스로 기존 6개월 이상 소요되던 개발 기간을 1개월 내외로 단축하며, 비용도 50% 이상 절감할 수 있다. 이런 장점을 바탕으로 현재 한국공항공사의 김포국제공항 AI챗봇 시범서비스, 매년 대규모로 변경되는 제도·규정을 민원상담사에게 알려주는 한 공공기관의 대내 상담서비스 등에 적용됐다. 한 제조사는 헬프나우AI를 활용해 전사적자원관리(ERP)와 연동한 음성 인식 기반 주문 처리 시스템을 구축했다. 이를 통해 제조 과정에 필요한 자재 주문을 자동화해 주문 처리 시간을 50% 단축하고 인적 오류가 감소하는 성과를 거뒀다. 울산교육청은 헬프나우AI를 기반으로 생성형 AI 기반 개인화 교육 지원 시스템을 구축했다. AI가 학생들의 질문 수준과 학습 이해도에 따라 맞춤형 응답을 제공하는 등 각 학생에 최적화된 교육 서비스를 제공할 수 있었다. 다른 지방자치단체는 민원 처리 시스템에 AI 검색 기능을 추가해 민원 등 업무 처리 시간을 기존 대비 30% 단축시키는 성과를 기록했다. 박기철 실장은 급변하는 AI 시대에 기업이 적응하기 위해서는 AI 기술을 빠르게 도입해 실질적인 비즈니스 성과를 도출하는 것이 중요하다며, 이를 위해서는 상용AI에 기업 데이터를 연동해 맞춤형 AI환경을 구축하는 것이 가장 유리하다고 강조했다. 그는 "기업에서 AI를 개발하고 운영하기 위해서는 그만큼 막대한 투자비용이 지출되고 도입까지의 기간도 늘어질 수밖에 없다"며 "AI 도입과 운영은 우리가 담당할 테니 각 기업은 그동안 축적한 데이터와 노하우를 AI와 연계해 비즈니스에 활용하기만 하면 된다"고 말했다. 이어 "이제 AI는 단순히 기술 트렌드가 아닌 모든 기업이 필수적으로 사용하는 도구로 발전하고 있다"며 "베스핀글로벌은 기업들이 AI를 고민 없이 효율적으로 활용할 수 있도록 최선을 다할 것"이라고 강조했다.

2024.12.11 16:06남혁우

Prev 1 2 3 4 5 6 7 8 9 10 Next