검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'벤치마크'통합검색 결과 입니다. (28건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

퀄컴 차세대 AI PC 프로세서, 컴퓨팅·AI 성능서 경쟁사 '압도'

퀄컴이 올해 공개한 차세대 AI 프로세서의 성능을 자신했다. 실제 벤치마크 테스트 결과, CPU·GPU·NPU 등 모든 분야에서 이전 세대 대비 및 경쟁사 대비 뛰어난 성능을 구현한 것으로 나타났다. 퀄컴은 지난 23~25일(현지시간) 미국 하와이에서 개최된 '스냅드래곤 서밋' 행사를 통해 차세대 AI PC용 프로세서인 '스냅드래곤 X2 엘리트'의 성능을 공개했다. 스냅드래곤 X2 엘리트는 성능에 따라 일반 모델과 익스트림 모델로 나뉜다. 두 모델 모두 첨단 파운드리 공정인 3나노미터(nm)를 기반으로 하며, 내년 상반기부터 상용화가 시작될 예정이다. 초고성능의 익스트림 모델의 경우 18코어(12 프라임 코어+6 퍼포먼스 코어)를 갖췄으며, 3세대 퀄컴 오라이온 CPU를 탑재했다. 해당 CPU는 ISO(국제 표준) 전력 조건에서 경쟁사 대비 최대 75% 향상된 성능을 제공한다. GPU는 이전 세대 대비 2.3배 높아진 와트 당 성능 및 전력 효율을, NPU는 80 TOPS의 AI 처리 성능을 지원한다. 퀄컴은 올해 서밋에서 해당 칩셋에 대한 벤치마크 결과를 공개했다. 설명에 따르면, 이번 스냅드래곤 X2 엘리트 익스트림의 벤치마크 성능은 주요 경쟁사의 칩셋을 크게 웃도는 수준이다. CPU 긱벤치(Geekbench) 6.5버전 테스트 점수는 멀티코어 기준 2만3천491점으로 인텔 코어 울트라 9 285H(1만7천680점), 애플 M4(1만5천146점)를 모두 앞선다. GPU 벤치마크(UL3DMark Solar Bay)도 90.06점으로 50~60점대인 인텔, 애플, AMD 칩셋 대비 크게 높은 것으로 나타났다. NPU 벤치마크(긱벤치 AI 1.5 버전) 역시 8만8천615점으로 애플 M4(5만2천193점), 인텔 코어 울트라 9 288V(4만8천566점) 등을 능가했다. 퀄컴 관계자는 "해당 칩에 탑재된 퀄컴 오라이온 CPU는 동급 최고 성능의 CPU로, 경쟁사 대비 싱글코어에서는 최대 41%, 멀티코어에서는 최대 2배 더 빠르다"며 "GPU와 NPU도 경쟁사 대비 우월한 성능을 보여준다"고 설명했다. 실제로 기자가 위 벤치마크 항목에 대해 실제 테스트를 진행해 본 결과, CPU 벤치마크는 싱글코어 4천83점, 멀티코어 2만3천349점으로 나타났다. 퀄컴이 제시한 기준치인 싱글코어 4천50~4천89점, 멀티코어 2만2천835~2만3천768점에 부합한다. GPU 벤치마크도 89.68FPS로 기준치(84.37~90.47)에 부합했으며, NPU는 긱벤치 AI 1.5 버전에서 8만9천157점으로 기준치(8만4천58~8만8천919)를 초과하기도 했다.

2025.09.29 22:00장경윤

삼성전자, AI 업무 생산성 측정 지표 '트루벤치' 공개

삼성전자가 자체 개발한 AI 업무 생산성 벤치마크 '트루벤치(TRUEBench)'를 25일 공개했다. '트루벤치'는 삼성전자 DX부문 선행 연구개발조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크로 AI 모델의 업무 생산성 성능을 평가한다. 삼성전자는 많은 기업들이 업무 전반에 AI를 도입하고 있지만, 기존 벤치마크로는 AI 모델의 업무 생산성 성능을 정확히 측정하기 어렵다는 점에 주목했다. 실제 시중에 공개되어 있는 대부분의 AI 벤치마크는 영어를 중심으로, 연속 대화가 아닌 한번 혹은 제한된 횟수로 대화를 평가하고 있다. 이번에 삼성전자가 공개한 '트루벤치'는 기존 벤치마크와 차별화해 업무 생산성에 대한 집중 평가를 진행하는 것이 특징이다. 실제 평가 항목은 10개 카테고리, 46개 업무, 2천485개의 세분화된 항목으로 구성돼 있다. 평가 항목은 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 실제 오피스 업무에서 활용되는 체크 리스트를 기반으로 완성됐다. 폭 넓은 데이터 기반 세밀한 평가 결과, 다국어 지원 차별화 '트루벤치'는 총 2485개의 평가 기준으로 사용자의 짧은 요청부터 최대 2만자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가하게 된다. 평가 결과도 기존 벤치마크와 차별화했다. 사용자는 한 번에 최대 5개 모델을 선택해 비교할 수 있어 다양한 AI 모델의 성능을 한눈에 파악할 수 있다. 응답 결과에 대한 평균 길이 등도 공개해 성능과 효율성 지표를 동시에 비교할 수 있다. 전체 평가 점수뿐만 아니라 10개 카테고리에 대한 세부 항목별 점수도 공개해 기존 벤치마크보다 세밀한 평가 결과를 확인할 수 있다. 트루벤치는 영어·한국어·일본어·중국어·스페인어 등 총 12개 언어를 지원한다. 특히 글로벌 비즈니스 환경을 고려해 영어와 한국어 등 여러 언어가 혼합된 교차 언어의 번역 기능 평가도 가능하다. 삼성전자는 글로벌 오픈소스 플랫폼 허깅페이스(Hugging Face)에 '트루벤치'의 데이터 샘플과 AI 모델들의 평가 결과가 표시된 리더보드(Leaderboard)를 공개했다. AI 교차 검증으로 효율성과 객관성 확보 AI 모델 성능 평가는 답변 생성 성능 외에도 AI 모델의 답변이 올바른지 판단하는 기준도 명확해야 한다. '트루벤치'는 답변의 정확성뿐만 아니라, 겉으로 드러나지 않는 사용자의 의도나 맥락까지 평가가 가능하도록 설계됐다. 또 평가 항목을 검증하는 방식에는 AI가 활용된다. 사람이 구축한 평가 기준을 AI가 검토해 오류나 모순, 불필요한 제약이 없는지 확인하며 지속적인 교차 검증의 반복을 통해 더욱 정교한 평가 기준을 완성하게 된다. 이러한 기준으로 완성된 AI 모델 자동 평가는 주관적 편향을 최소화하고 일관성 있는 결괏값을 제공하게 된다. 전경훈 DX부문 최고기술책임자(CTO) 겸 삼성리서치장(사장)은 "삼성 리서치는 다양한 실제 적용 사례를 바탕으로 차별화된 생산성 AI 기술 경쟁력과 노하우를 보유하고 있다"며, "트루벤치 공개를 통해 생산성 성능 평가 기준을 정립하고 삼성전자의 기술 리더십을 더욱 공고히 할 것"이라고 말했다.

2025.09.25 13:14전화평

퀄컴 차세대 '스냅드래곤 AP' 테스트해보니…애플과도 '대등'

[하와이(미국)=장경윤 기자] 퀄컴의 차세대 모바일 AP(애플리케이션 프로세서)가 이전 세대 대비 컴퓨팅 및 그래픽 성능을 한층 크게 끌어 올렸다. 벤치마크 테스트 결과도 이에 부합하며, 특히 애플의 최신형 칩셋과도 견줄만한 수준인 것으로 나타났다. 퀄컴은 23일(현지시간) 미국 하와이에서 열린 '스냅드래곤 서밋'에서 '스냅드래곤 8 엘리트'에 대한 벤치마크 테스트 결과를 공개했다. 긱벤치서 싱글 3831점·멀티 12237점…애플 최신 칩셋과 비등 스냅드래곤 8 엘리트 5세대는 동작속도 최대 4.6GHz의 프라임 코어 2개, 3.62GHz의 퍼포먼스코어 6개로 구성됐다. 공정은 TSMC의 3나노 공정을 채택했다. 스냅드래곤 8 엘리트 5세대는 이전 세대 대비 싱글 스레드 성능은 20%, 멀티 스레드 성능은 17% 향상됐다. 그래픽 성능도 17% 향상됐다. 퀄컴 관계자는 "스냅드래곤 8 엘리트 5세대는 세계에서 가장 빠른 모바일 프로세서 스냅드래곤 8 엘리트는 긱벤치(Geekbench) 기준 이전 세대 대비 싱글 스레드 성능은 20%, 멀티 스레드 성능은 17% 향상됐다"며 "해당 칩에 탑재된 3세대 오라이온(Oryon) CPU는 실제 워크로드에 맞게 설계돼, 최종 소비자가 최고의 경험을 할 수 있을 것"이라고 설명했다. 퀄컴이 제시한 스냅드래곤 8 엘리트의 긱벤치 6.5 테스트 점수는 싱글 스레드 3825~3900점, 멀티 스레드 1만2천200~1만2천350점이다. 기자가 실제로 테스트를 진행해 본 결과, 싱글 스레드 3천831점 및 멀티 스레드 1만2천237점으로 예상치에 부합했다. 이는 애플 등 주요 경쟁사의 최신형 칩셋과도 견줄 만한 수준의 성능이다. IT 전문매체 탐스하드웨어에 따르면, TSMC 3나노 공정 기반의 애플 A19 프로는 긱벤치 6 테스트에서 싱글 스레드 3천895점, 멀티 스레드 9천746점으로 집계됐다. 이외에도 스냅드래곤 8 엘리트는 안투투(Antutu) 테스트에서 430만9천384점을 기록했다. 이 역시 퀄컴이 제시한 예상치인 425만~450만 범위 내에 들어간다. 벤치마크 테스트는 기기의 성능을 가늠할 수 있는 지표다. 긱벤치의 경우 CPU를 중심으로, 안투투는 시스템 전반에 대한 테스트를 시행한다. 다만 구동 환경마다 결과값이 달라질 수 있어 절대적인 기준으로는 활용될 수 없다.

2025.09.25 05:30장경윤

애플 A19 프로, 싱글스레드 성능서 AMD 라이젠 제쳤다

애플의 차세대 모바일 AP(어플리케이션 프로세서) A19 프로(A19 Pro)가 PC용 고성능 데스크톱 칩을 능가하는 성능을 기록했다. 최근 공개된 Geekbench 6 벤치마크 결과에서 A19 프로는 AMD의 최신 데스크톱 프로세서 라이젠 9 9950X를 싱글스레드 성능에서 앞섰다. IT 전문매체 탐스하드웨어는 A19 프로가 싱글스레드 점수 3천895점을 기록해 전작 A18 프로 대비 11% 향상됐다고 최근 보도했다. 또 A19 프로는 퀄컴 스냅드래곤 8 엘리트보다 약 36%, 라이젠 9 9950X보다도 11.8% 높은 성능을 보였다. 멀티스레드 성능 역시 A18 프로 대비 약 12% 개선됐다. 이번 성능 향상은 단순한 클럭 속도 증가가 아닌 마이크로아키텍처 개선에서 비롯된 것으로 분석된다. A19 프로는 2개의 고성능 코어(최대 4.26GHz)와 4개의 고효율 코어로 구성돼 있으며, 브랜치 예측 능력과 캐시 메모리 용량을 확대했다. 특히 고효율 코어의 L3 캐시는 전 세대 대비 50% 증가했다. 제조는 TSMC의 3나노 N3P 공정을 적용했다. GPU 성능 개선 폭은 더 크다. 긱벤치6 그래픽 테스트에서 A19 프로는 전작 대비 37% 높은 점수를 기록하며, 아이패드 에어 M2·M3 칩 수준의 그래픽 성능을 보여줬다. 애플이 별도 수치를 공개하지 않았음에도 벤치마크 결과만으로도 AMD 통합 GPU와 견줄 수 있는 성능이라는 평가가 나온다. 탐스하드웨어는 "A19프로 GPU는 배경 흐림(게임의 피사계 심도, 실시간 멀티 레이어 합성, 비디오 배경 흐림 등에 중요)과 가우시안 흐림(후반 처리, 비전 처리, FPU 연산에 중요)에서 이전 모델 대비 가장 뛰어난 성능을 보여준다"고 평가했다.

2025.09.14 07:50전화평

"엑시노스 2600 칩, 스냅드래곤 8 엘리트 칩보다 빨랐다"

삼성전자의 차세대 엑시노스 2600 칩이 벤치마크 성능 사이트 긱벤치에 등장해 퀄컴 스냅드래곤 8 엘리트 칩보다 더 강력한 성능을 보였다고 샘모바일 등 외신들이 최근 보도했다. 삼성전자는 모바일 기기용 새로운 플래그십 칩셋 '엑시노스 2600'을 개발 중이며, 일부 국가에서 차세대 스마트폰 '갤럭시S26 시리즈'에 해당 칩셋을 탑재할 가능성이 있다. 최근 공개된 긱벤치의 벤치마크 결과는 엑시노스 2600 칩이 퀄컴의 스냅드래곤 8 엘리트 칩을 능가하는 모습을 보여줬다. IT 팁스터 주칸로스레브(@Jukanlosreve)가 긱벤치에서 포착한 엑시노스 2600칩은 싱글 코어 성능테스트에서 3천309점, 멀티코어 성능 테스트에서 1만1천256점을 기록했다. 이는 지난 7월 처음 공개된 벤치마크 테스트 결과보다 크게 개선된 것으로, 내년에 출시될 갤럭시 S26 시리즈에 기대감을 높여 준다. 이에 반해 갤럭시S25의 스냅드래곤 8 엘리트 칩은 싱글코어 점수 2천900점, 멀티코어 테스트에서 9천300점을 기록했다. 반면 갤럭시Z플립 7에 탑재된 엑시노스 2500 칩은 싱글코어 테스트에서 2천500점, 멀티코어 테스트에서 8천100점을 기록했다. 이를 종합하면 엑시노스 2600 칩은 갤럭시S25에 탑재된 스냅드래곤 8 엘리트 칩보다 약 13~17% 더 빠르고, 엑시노스 2500 칩보다는 32~38% 더 빠른 것으로 보인다. 삼성 엑시노스 2600 칩은 2나노 공정으로 제조된 최초의 모바일 시스템온칩이 될 것으로 예상된다. 삼성에 따르면, 엑시노스 2600은 엑시노스 2500 대비 NPU(신경망 처리장치) 성능이 크게 향상되고 온디바이스 인공지능(AI) 지원이 강화될 것으로 예상된다.

2025.09.01 15:52이정현

인핸스, 웹 AI 리더보드서 글로벌 3위…커머스 자동화 시장 노린다

인핸스가 웹사이트에서의 에이전트 성능을 평가하는 글로벌 벤치마크에서 독자 기술력으로 상위권 성적을 거뒀다. 전통적 스크린샷 제어 방식과 달리 웹 구조를 직접 제어하는 접근으로 기술력과 실효성 모두를 입증했다. 인핸스는 웹 인공지능(AI) 에이전트 벤치마크 '온라인-마인드투웹(Online-Mind2Web)' 리더보드에서 회사의 모델 '액트-1(ACT-1)'이 전체 3위, 도큐먼트 오브젝트 모델(DOM) 제어 방식 및 커머스 부문에서는 각각 1위를 차지했다고 22일 밝혔다. 해당 벤치마크는 전 세계 136개 실웹 도메인에서 300개 과제를 수행한 AI의 정밀성과 유효성을 인간 및 자동평가로 검증하는 시스템이다. '액트-1'은 클릭, 메뉴 선택 등 실제 사용자 인터페이스 기반의 복잡한 작업을 수행하는 행동형 AI로, 웹페이지 구조를 직접 분석해 조작하는 DOM 제어 기술을 기반으로 한다. 기존 좌표 기반 제어 방식보다 보안성과 신뢰성이 높고 응용프로그램 인터페이스(API) 접근이 막힌 환경에서도 자동화가 가능하다. 이 에이전트는 커머스 환경에서 특히 강점을 보였다. 실시간 가격 변동, 쿠폰, 재고 상태처럼 구조가 자주 바뀌는 영역에서도 정확하게 정보를 추출하고 제어하며 온라인 쇼핑 특유의 동적 요소를 안정적으로 처리했다. 현재 인핸스는 '액트-1'을 활용한 AI 기반 커머스 자동화 솔루션 '커머스OS'를 운영하고 있다. 이를 통해 반복적 웹 작업을 대체하고 실시간 대응력을 강화하는 자동화 체계를 제공하는 것이다. 크롤링, 테스트, 운영 등 다양한 웹 작업이 적용 대상이다. 기술 확장성 측면에서도 전략을 내놨다. 모방학습(Imitation Learning)을 '액트-1'에 접목해 사람만 할 수 있던 고차 작업을 대체하는 차세대 에이전트 개발에 착수했으며 이를 바탕으로 버티컬 커머스 분야 글로벌 1위를 목표로 기술 고도화를 지속할 계획이다. 기업 고객을 대상으로 한 B2B 웹 자동화 시장 공략도 본격화한다. 고객사의 도메인 환경에 맞춰 커스터마이징된 자동화 시스템을 구축하고 기존 글로벌 AI 기업들과는 다른 경쟁축을 제시하겠다는 구상이다. 이승현 인핸스 대표는 "오픈AI, 앤트로픽과 같은 글로벌 선도 기업들과 어깨를 나란히 할 수 있게 된 것은 큰 의미"라며 "웹 AI 에이전트 기술 개발을 지속 강화해 버티컬 산업 분야에서 글로벌 시장을 선도해 나가겠다"고 밝혔다.

2025.07.22 18:03조이환

하정우 AI수석도 '주목'…세일즈포스, AI 에이전트 평가 시스템 공개

인공지능(AI) 에이전트 성능을 자동 평가하는 프레임워크가 등장했다. AI 모델 자체만을 평가하던 벤치마크 한계를 넘어 에이전트의 실질적 성능 분석이 가능한 프레임워크다. 20일 IT 업계에 따르면 세일즈포스는 지난 17일 '모델 컨텍스트 프로토콜 기반 평가 프레임워크(MCPeval): MCP 기반의 자동 심층 에이전트 평가' 논문을 통해 에이전트 문제 해결 능력을 자동 검증할 수 있는 새 벤치마크 프레임워크를 오픈소스로 공개했다. MCPeval은 MCP 기반으로 에이전트 성능을 검증한다. 사용자가 가상 업무 환경을 제시하면, 에이전트가 MCP를 이용해 필요한 도구 정보를 받아, 주어진 작업을 직접 수행하는 식이다. 이 과정에서 MCPeval은 에이전트의 과제 해결하는 과정을 추적할 수 있다. 프로토콜 상 상호작용 데이터도 체계적으로 수집한다. 이를 통해 에이전트 성능을 평가하는 셈이다. 에이전트 성능 개선에 활용할 수 있는 고품질 데이터까지 확보 가능하다. 해당 프레임워크는 작업 생성과 성능 검증도 모두 자동화됐다. 이때 생성된 과제 해결 기록은 모델을 미세 조정하거나 개선하는 데 활용된다. 또 MCPeval의 평가 리포트를 통해 에이전트가 플랫폼과 어떻게 소통했는지 세밀하게 분석 가능하다. 세일즈포스 AI 리서치 관계자는 "기업들은 내부 업무에 맞게 MCPeval로 자체 평가 기준을 만들 수 있다"며 "에이전트를 도입하기 전 실제 활용 가능성을 미리 점검하는 데 도움 될 것"이라고 밝혔다. 같은 날 하정우 대통령비서실 AI미래기획수석비서관도 세일즈포스의 연구 결과를 개인 소셜미디어에 공유했다. 하 수석은 "그동안 다수 파운데이션 모델 능력 평가 벤치마크가 태스크를 해결하는 에이전트로서의 능력보다는 정해진 지식이나 논증적 추론 능력 중심으로 평가하는 형태가 대부분이었다"고 지적했다. 그러면서 "세일즈포스 프레임워크는 에이전트가 MCP 같은 프로토콜로 다양한 외부 리소스에 접근해 해결한 태스트 결과를 평가한다는 측면에서 훨씬 현실적"이라고 덧붙였다. MCPeval로 모델·에이전트 평가했더니 실제 연구팀은 각 회사 모델과 모델별로 구축된 에이전트 성능을 MCPeval로 평가한 결과를 공개했다. 실험에서는 오픈AI가 만든 GPT 계열 모델들이 전반적으로 좋은 성능을 보였다. GPT 계열로 구축된 에이전트는 도구 사용 능력 평가에서도 높은 점수를 받은 것으로 나타났다. 연구팀은 "GPT-4 계열은 일의 흐름을 잘 계획하고 차근차근 진행하는 데서 강점을 보였다"며 "o3 모델은 작업을 완성하는 최종 결과가 특히 뛰어났다"고 분석했다. 알리바바가 만든 큐원(Qwen3) 모델은 기존 벤치마크에선 성적이 좋았지만, 실제 상황처럼 과제를 만들고 해결하는 평가에서는 기대만큼 성능을 내지 못했다. 특히 큐원3-32B 모델은 도구를 정확히 사용하는 능력이나 과제를 완성하는 데서 다른 모델보다 낮은 점수를 받았다. 세일즈포스는 "같은 모델이라도 어떤 방식으로 평가하느냐에 따라 성능이 다르게 보일 수 있다는 사실을 보여준다"며 "AI 모델이 아닌 '모델로 구성된 에이전트'가 실제 상황에서 태스크를 얼마나 잘 생성하고, 도구를 활용해 해결할 수 있는지를 종합적으로 평가해야 하는 시대가 왔다"고 강조했다.

2025.07.20 14:02김미정

韓 AI 벤치마크 다시 쓴다…"이젠 변호사·의사 자격 시험이 기준"

한국어 거대언어모델(LLM)의 실무 능력을 측정하기 위한 새로운 벤치마크가 등장했다. 실제 국가전문자격시험 문제를 기반으로 구성돼 번역 기반 테스트가 놓치던 지역 특화 지식과 응용력의 격차를 그대로 드러낼 수 있게 됐다. 17일 업계에 따르면 LG AI연구원과 오픈소스 LLM 연구 커뮤니티 해례는 공동으로 새로운 한국어 고난도 벤치마크 '케이엠엠엘유-프로(KMMLU-Pro)'를 공개했다. 이 벤치마크는 최근 한 해 동안 시행된 변호사, 회계사, 의사 등 14개 국가 전문직 자격시험에서 출제된 실제 문제 2천822개로 구성됐으며 시험별 통과 기준까지 적용해 모델의 실무 적합성을 정량적으로 측정한다. 기존의 '케이엠엠엘유'는 고등학교 수준부터 전문가 시험까지 범위를 포괄했으나 문제의 중복·오염·정답 노출 등 품질 논란이 반복됐다. 연구진은 이를 보완하기 위해 문제를 전면 재구성한 리덕스 버전도 함께 공개했다. 해당 벤치마크는 산업기사 중심의 국가기술자격시험 100종에서 총 2천587개 문항을 추출해 구성됐다. 이번 벤치마크는 정답률만이 아니라 자격시험 합격 요건과 동일한 기준을 모델에 적용하는 방식으로 설계됐다. 평가 범주 또한 단답형이 아닌 실제 시험 포맷과 일치하도록 조정돼 인공지능(AI)의 단순 지식 암기보다 응용력과 분야별 편차를 명확히 드러낼 수 있도록 구성됐다. 결과적으로 앤트로픽의 '클로드 3.7 소넷'은 전체 14개 시험 중 12개를 통과하며 가장 고른 성능을 보였다. 오픈AI의 'o1' 모델은 평균 정확도 79.55%로 가장 높은 점수를 기록했지만 실제 시험 통과 기준에서는 10개 자격만 획득하는 데 그쳤다. 특히 한국 변호사시험을 통과한 모델은 '클로드 3.7'이 유일했다. 이 외에도 딥시크의 'R1', 메타의 '라마4 매버릭', xAI의 '그록' 등 다수의 글로벌 상용 모델들이 의료와 회계 등 영역에서는 상대적으로 높은 성과를 냈지만 법률·세무 영역에서는 기준점에 미달했다. 벤치마크는 허깅페이스를 통해 오픈소스로 배포됐으며 비상업적 사용과 재배포에 한해 이용할 수 있도록 했다. 연구진은 향후 매년 최신 시험 데이터를 반영해 버전을 주기적으로 갱신할 계획이다. 연구진은 "두 벤치마크의 결과를 종합적으로 분석한 결과 한국에 특화된 전문 지식을 기반으로 한 평가가 특히 중요하다는 점이 확인됐다"고 밝혔다.

2025.07.17 17:46조이환

"구글 '제미나이 1.5'가 0점"…인텔 나간 팻 겔싱어가 만든 벤치마크, AI 윤리성 체크한다

"나뿐 아니라 많은 사람들이 인공지능(AI)이 미칠 영향력을 과소평가했습니다." 최근 일본 닛케이 아시아와의 인터뷰에서 이처럼 밝혔던 팻 겔싱어 전 인텔 최고경영자(CEO)가 AI 시장에서 새로운 기회를 엿보고 있다. AI 모델이 인간의 가치에 얼마나 잘 부합하는지를 테스트하는 벤치마크를 통해서다. 11일 테크크런치에 따르면 겔싱어 전 CEO는 미국 하버드대와 베일러대가 주도한 '글로벌 플로리싱 연구(The Global Flourshing Study)'를 기반으로 한 '플로리싱 AI(Flourishing AI, FAI)' 벤치마크를 공개했다. 글루라는 신앙 기반 기술과 협력해 개발한 것으로, 겔싱어 전 CEO는 약 10년 전 글루에 투자한 바 있다. 겔싱어 전 CEO는 지난 2021년 2월 15일 인텔 수장으로 합류한 후 3년 10개월만인 지난 해 12월 초 인텔을 퇴임했다. 이후 올 3월 말 플레이그라운드 글로벌의 반도체 부문 투자 책임자로 취임했다. 또 지난 6월에는 초전도 기술을 사용해 AI 컴퓨팅 칩을 개발하는 스타트업인 스노우캡 컴퓨트에도 투자했다. 글루와 연구팀은 인간의 삶의 질을 측정하는 6가지 핵심 요소를 선정해 'FAI' 연구를 진행했다. 핵심 요소는 ▲성격과 덕목 ▲사회적 관계 ▲행복과 삶의 만족 ▲의미와 목적 ▲정신 및 신체 건강 ▲경제적 안정성이 포함되며 추가적으로 신앙과 영성이 더해졌다. 현재 FAI 벤치마크는 GPT-4, 어니 X1(Ernie X1), 클로드 2.1(Claude 2.1), 제미나이 1.5(Gemini 1.5) 등 주요 AI 모델을 테스트하는 데 활용되고 있다. 결과는 다양하게 나타나고 있는데 특히 '신앙과 영성' 항목에서 일부 모델이 긍정적인 결과를 보였다. 하지만 구글 '제미나이 1.5'는 100점 만점에 0점을 기록해 논란이 되고 있다. 겔싱어 전 CEO는 "AI가 행복, 사회적 관계, 의미, 정신적·신체적 건강, 경제적 안정성 등 인간의 중요한 가치와 얼마나 잘 조화되는지를 측정하는 것이 중요하다"며 "FAI가 AI 기술의 윤리적 기준을 정립하는 데 중요한 역할을 할 것으로 보인다"고 말했다. 이어 "AI가 인간 중심의 가치를 지원하도록 지속적으로 평가하고 개선할 필요가 있다"고 덧붙였다.

2025.07.11 10:36장유미

사내벤처서 세계 1위로…다큐브, 글로벌 SQL 벤치마크서 기술력 '증명'

웹케시그룹의 사내벤처로 출발한 다큐브가 글로벌 기술 역량을 입증하며 인공지능(AI) 기업으로의 비전을 구체화하고 있다. 다큐브는 국제 자연어·데이터 질의 변환(NL2SQL) 성능 평가인 '스파이더 2.0' 벤치마크에서 DBT 부문 세계 1위를 달성했다고 8일 밝혔다. 이번 성과는 다큐브의 자연어 기반 데이터 조회·분석 기술이 국제적 기술 기준에서도 최고 수준임을 입증한 것으로 평가된다. 특히 복수 테이블 간 조인, 중첩 조건 쿼리, 그룹핑·정렬 등 고난이도 항목에서 최고 점수를 기록하며 기술력을 공식적으로 인정받았다. 다큐브는 2021년 웹케시그룹의 사내벤처로 출발해 지난 4년간 NL2SQL 분야에 집중 투자해 왔으며 이 과정에서 고수준의 AI 인력과 독자적 기술 역량을 확보했다. 이러한 성과는 웹케시가 추진 중인 금융 AI 에이전트 기업으로 재창업 전략을 추진하는 데 중요한 기술적 동력으로도 기대를 모으고 있다. 현재 웹케시는 AICFO·브랜치Q·서울페이 등 다양한 금융 AI 에이전트를 출시하며 성공적인 레퍼런스를 확보하고 있다. 이 가운데 다큐브의 기술력은 국내를 넘어 글로벌 AI 기업으로 성장할 가능성을 보여주고 있다는 평가를 받고 있다. 스파이더 2.0에서의 성과는 글로벌 AI 3대 강국 도약을 목표로 하는 대한민국이 특정 분야에서 세계 1위 기술을 확보할 수 있다는 실증 사례로도 주목받고 있다. 소버린 AI와 같은 파운데이션 모델과 함께 특화 영역에 집중한 고도화 전략의 성공 가능성을 제시했다는 게 회사 측 설명이다. 윤예지 다큐브 대표는 "이번 스파이더 2.0 1위는 SQL을 몰라 데이터를 제대로 활용하지 못한다는 고객의 불편을 혁신하고자 하는 노력에서 출발했다"며 "기술을 통해 고객사에서 데이터 조회 시간이 획기적으로 줄었다는 긍정적 평가를 받고 있으며 다큐브 기술력이 국제 무대에서도 충분히 통할 수 있다는 자신감을 얻었다"고 밝혔다.

2025.07.08 11:06한정호

"성능 개선했다더니"…GPT-4.1 출시한 오픈AI, 가격·정확도 논란

오픈AI가 차세대 인공지능(AI) 모델 'GPT-4.1' 시리즈를 회사 애플리케이션 프로그램 인터페이스(API) 중심 전략의 핵심으로 삼았다. 기존 고사양 모델의 부담을 줄이고 실사용 효율성을 높이려는 전략이지만 업계 일각에서는 기대와 우려가 엇갈리는 분위기다. 오픈AI는 'GPT-4.1' 기본형과 경량형 모델을 함께 제시하고 고비용 모델인 'GPT-4.5'는 오는 7월을 기점으로 단계적으로 퇴장시킬 계획이라고 15일 밝혔다. 새로운 '4.1' 시리즈에는 멀티모달 기능과 장문 대응 구조를 적용하며 사용자 범용성을 강화했다는 점을 강조했다. 다만 '4.1'의 실제 성능과 가격 구조를 놓고는 회의적인 시선도 제기된다. 일부 벤치마크 결과에서 경쟁 모델에 비해 정확도가 낮게 나타났고 지표 구성 방식에 대한 지적도 뒤따르며 향후 시장 내 경쟁력에 관심이 쏠린다. 멀티모달·장문 대응 갖춰…'4.5'는 5개월 만에 퇴장 오픈AI는 새로 출시된 'GPT-4.1' 시리즈가 프론트엔드 앱 생성, 코드 리뷰, 문서 분석, 고객 응대 등 실사용 환경에 더욱 적합하도록 최적화됐다고 설명했다. 특히 프로그래밍 업무의 생산성을 높이는 데 중점을 두고 개발됐으며 기존 'GPT-4o'보다 다양한 지시 유형과 포맷을 정확하게 따를 수 있다는 것이다. 'GPT-4.1' 시리즈의 입력당 가격은 모델별로 구분된다. 가장 성능이 높은 'GPT-4.1'은 입력 1백만 토큰당 2달러(한화 약 2천800원), 출력은 8달러(한화 약 1만1천200원)다. 'GPT-4.1 미니'는 입력 당 0.4달러(한화 약 560원), 출력 1.6달러(한화 약 2천200원)로 책정됐다. 가장 작은 'GPT-4.1' 나노는 입력 0.1달러(한화 약 160원), 출력 0.4달러(한화 약 640원)로 가격 접근성이 높다. 동일 프롬프트를 반복 사용하는 경우에는 최대 75%까지 입력 요금 할인이 적용된다. 이러한 'GPT-4.1'의 투입은 고성능 모델로 자리했던 'GPT-4.5'의 단계적 종료와 맞물린다. 오픈AI는 오는 7월을 기점으로 'GPT-4.5' 애플리케이션 프로그램 인터페이스(API) 제공을 종료하고 후속 제품인 'GPT-4.1'을 주력 모델로 대체한다고 밝혔다. 'GPT-4.5'의 연산 비용이 지나치게 높아 상용화 부담이 컸기 때문이라는 점이 교체의 배경으로 제시됐다. 'GPT-4.5'는 지난 2월 말 발표된 오픈AI 최대 규모 모델로, 보다 많은 학습량과 계산 자원을 투입해 설득력과 문장 구성 능력을 개선한 바 있다. 그럼에도 출시 5개월 만에 API 시장에서 퇴장 수순을 밟게 되면서 'GPT-4.1'이 향후 오픈AI의 API 전략을 실질적으로 이끌 주력 제품이 될 것으로 전망된다. "개선된 게 맞나"…벤치마크 해석·가성비 논란에 경쟁력 의문 이같이 오픈AI가 'GPT-4.1'이 향상된 명령 이행력과 코딩 성능을 가졌다고 전면에 내세웠지만 실제 성능을 두고는 업계 일각에서 회의적인 시선이 나온다. 실제로 'GPT-4.1'은 오픈소스 프로젝트의 코드 이슈를 해결하는 능력을 평가하는 SWE-벤치 베리파이드(SWE-bench Verified) 기준 54.6%의 정확도를 기록했지만 같은 지표에서 구글의 제미니 2.5 프로는 63.8%, 앤트로픽의 클로드 3.7 소넷은 62.3%로 오히려 더 높은 수치를 보였다. 자연어 기반 코드 수정과 리팩토링 성능에서 오픈AI가 경쟁사보다 앞서 있다고 보긴 어려운 수치다. 가격 대비 성능에서도 의문이 제기된다. 'GPT-4.1'은 입력 1백만 토큰당 2달러, 출력은 8달러로 책정돼 가격이 높은 편이다. 같은 범주의 제품인 구글 '제미나이 2.5 프로'는 출력 단가는 10달러(한화 약 1만4천원)로 다소 높지만, 입력 요금은 1.25달러(한화 약 1천500원)로 저렴하다. SWE-벤치 코딩 성능에서 입력 단가가 낮은 '제미나이 2.5' 모델이 더 높은 정확도를 기록한 만큼, 가성비 면에서는 오픈AI가 밀린다는 평가다. '미니' 모델도 상황은 비슷하다. 입력 비용이 경쟁 프로덕트인 구글 '제미나이 플래시'보다 2배 이상 비싸지만 성능은 오히려 낮다는 분석이 뒤따른다. 컨텍스트 캐싱을 적용하지 않는 경우에는 가격 차이가 더 벌어져 규모가 작은 프로젝트에서 선택하기 어려운 구조다. 오픈AI의 벤치마크 구성 방식에 대한 지적도 나온다. 'GPT-4.1'의 성능을 보여주는 공식 차트에는 고난도 문제와 논리 추론 항목이 포함된 공신력 있는 벤치마크인 표준 MMLU 대신 다국어 MMLU(M-MMLU)가 사용됐기 때문이다. MMLU는 다양한 학문 분야의 지식과 추론 능력을 평가하는 대표적 지표로, 표준 MMLU는 영어 기반으로 구성되며 M-MMLU는 이를 여러 언어로 번역한 버전이다. 원본보다 번역된 문항이 많아 모델에 유리하게 작용할 가능성이 있다는 분석도 나온다. 고난도 문제를 포함한 MMLU-프로 성능은 아예 공개되지 않았다. 이외에도 오픈AI가 공개한 차트의 y축 수치가 표시되지 않아 모델 간 실제 성능 격차를 시각적으로 축소하려는 의도가 아니냐는 해석도 있다. 점수 차이가 적음에도 불구하고 동일한 막대 높이로 표시돼 상대적 우위를 부각시키는 방식이 아니냐는 지적이다. 테크크런치는 "'GPT-4.1'은 SWE-벤치 기준으로만 보면 전작보다 향상된 결과를 보이지만 실제 활용 환경에서는 여전히 보완이 필요하다"고 평가했다.

2025.04.15 17:14조이환

新 LLM 내놓은 메타, 벤치마크 모델 성능 조정 의혹…"일반 버전과 달라"

메타가 새 인공지능(AI) 모델 성능 테스트에 사용한 모델과 실제 일반 버전이 다른 정황이 포착됐다. 7일 테크크런치에 따르면 메타가 챗봇 성능을 비교하는 'LM 아레나' 테스트에서 2위를 차지한 모델 '매버릭'이 일반 매버릭 버전과 다르다는 의혹이 개발자들 사이에서 나왔다. 테스트 버전과 일반 개발자가 다운로드할 수 있는 버전 구성이 다른 셈이다. 현재 LM 아레나에 적용된 매버릭 버전은 '실험적인 챗 전용 버전'으로 명시됐다. 반면 배포용 버전은 정교한 대화 조정이 적용되지 않은 것으로 드러났다. 결과적으로 LM 아레나에 등록된 모델은 공개 모델보다 더 사람처럼 반응할 수 있도록 설계된 셈이다. 실제 사용 환경에서 두 버전은 성능 차이를 보일 수 있다. 다수 외신은 벤치마크용 모델과 실제 공개 모델이 다를 경우 생기는 혼란을 우려했다. 특정 벤치마크에 맞춰 성능 높인 모델이 실제로 제공되지 않거나, 동일한 이름으로 배포될 때 사용자 혼동이 발생한다는 지적이다. 실제 개발자들도 LM 아레나에 올라간 매버릭은 공개 다운로드 버전과 크게 다르다고 입을 모았다. LM 아레나에 올라간 버전은 이모티콘을 과도하게 쓰거나 응답이 지나치게 길었다는 의견이 이어졌다. 이들은 해당 버전이 대화 특화형 조정을 거친 것으로 파악했다. 미국 AI 정보 플랫폼 세마포어 관계자는 "메타가 테스트용 버전을 숨긴 채 일반 버전과 구분하지 않고 공개한 것은 큰 오해를 불러올 수 있다"며 "벤치마크는 다양한 작업에서 장단점을 파악할 수 있는 기준이 돼야 한다"고 지적했다.

2025.04.07 10:48김미정

"GPU 72장 돌려야 답 나온다"…엔비디아, AI 추론 '끝판왕' 내놔

엔비디아가 복잡한 사고력 기반 AI 모델 확대에 맞춰 새로운 추론 성능 전략을 공개한다. 점점 더 많은 연산을 요구하는 AI 모델 등장에 따른 글로벌 평가 기준 변화에 선제 대응하려는 조치다. 3일 업계에 따르면 엔비디아는 지난 1일 정오 온라인으로 진행한 프리브리핑에서 AI 성능 벤치마크인 '엠엘퍼프(MLPerf)' 추론 AI 부문의 변화에 대응하기 위한 기술 전략을 공개했다. 이번 행사는 국제 컨소시엄 엠엘커먼스(MLCommons)가 '사고 기반 AI'인 추론 모델을 평가 항목에 포함하려는 움직임에 초점을 맞췄다. 엠엘퍼프는 AI 모델의 훈련(training)과 추론(inference) 성능을 하드웨어·소프트웨어 통합 기준으로 측정하는 글로벌 표준 벤치마크다. 엠엘커먼스가 주도하는 이 평가 항목은 업계 기술 흐름에 따라 주기적으로 갱신된다. 최근에는 단순 예측을 넘어 복잡한 추론과 의사결정을 요구하는 리즈닝 모델이 AI 기술의 중심으로 떠오르면서 해당 항목의 공식 도입 논의가 본격화되고 있다. 엔비디아는 아직 리즈닝 모델 항목이 공식 도입되지는 않았지만 차기 엠엘퍼프 버전에서는 채택 가능성이 높다고 판단하고 있다. 이를 선제적으로 대비하기 위해 회사는 중국의 AI 스타트업인 딥시크가 개발한 생성형 AI 모델을 활용해 복잡한 사고 기반 작업에서의 추론 성능을 시연했다. 이처럼 복잡한 추론 모델이 확산되면서 AI 추론 환경 전반에도 근본적인 변화가 일고 있다. 추론 연산량이 전례 없이 폭증하고 있는 상황에서 과거에는 단일 그래픽처리장치(GPU)나 단일 노드에서 충분했던 작업들이 이제는 다수 GPU를 동시 투입하는 복잡한 병렬 연산 없이는 처리할 수 없다는 것이 엔비디아의 분석이다. 이에 더해 추론 모델의 확산은 AI 개발의 모든 단계에서 연산 자원의 수요를 급격히 증가시키고 있다. 엔비디아는 모델 재학습(retraining), 도메인 맞춤화(post-training), 테스트 시점 확장(test-time scaling) 등에서 연산량이 기하급수적으로 늘고 있다고 분석했다. 특히 테스트 단계에서도 추론 정확도를 높이기 위한 병렬 연산 수요가 계속해서 증가하고 있다는 점을 강조했다. 이에 이날 엔비디아는 고성능 시스템 예시로 'GB200 MBL'을 제시했다. 해당 시스템은 총 72개의 GPU를 동시 연동하며 복잡한 추론을 빠르게 처리할 수 있도록 설계됐다. 회사는 이러한 대규모 병렬 환경이 향후 추론 표준이 될 것으로 보고 있다. 엠엘커먼스 역시 추론 모델을 엠엘퍼프의 공식 평가 항목에 포함하기 위한 논의를 본격적으로 시작한 상황이다. 현재 다양한 기술 커뮤니티와 협업을 통해 평가 기준과 워크로드 확장을 준비하고 있다. 공식 도입 시점은 아직 정해지지 않았으나 실증 사례와 모델 테스트가 계속 이어지고 있어 연내 도입이 확정될 가능성도 있다. 엔비디아 관계자는 "모델의 크기와 지능이 커짐에 따라 연산량이 모든 단계에서 폭증하고 있다"며 "재학습, 도메인 최적화, 테스트 시점 스케일링 모두 고성능 GPU를 요구한다"고 설명했다. 이어 "72개의 GPU처럼 다수의 칩을 동시에 작동시켜야 하는 이유가 바로 이 때문"이라고 덧붙였다.

2025.04.03 01:00조이환

통신사가 만든 AI 모델, 벤치마크로 품질 평가

세계이동통신사업자연합회(GSMA)가 MWC25 개막을 앞두고 '오픈 텔코 LLM 벤치마크'를 출범한다고 밝혔다. 통신사들이 개발하고 있는 AI 언어 모델을 자체적으로 평가할 수 있는 도구를 내놓고 AI 서비스의 고도화를 이끌겠다는 전략이다. 25일(현지시간) GSMA에 따르면 오픈 텔코 LLM 벤치마크는 오픈소스 커뮤니티 형태로 AI 모델을 평가하기 위한 통신업계 최초의 프레임워크로 고안됐다. 공식 출범은 MWC25 기간에 이뤄질 예정이다. GSMA가 주도하고 주요 산업 파트너들이 지원하는 벤치마크를 통해 AI 모델을 실제 통신 사용 사례와 비교해 평가하게 된다. 산업 전반의 협력을 촉진시키고 통신 AI 서비스의 정확성,효율성, 안전성을 높이겠다는 전략이다. 루이스 파월 GSMA AI이니셔티브 책임자는 “현재 AI 모델은 통신사별 쿼리에 어려움을 겪으며 부정확하거나 오해 소지가 있거나 비현실적인 추천을 생성하는 경우가 많다”며 “벤치마크 세트로 AI 모델 성능을 향상시키는 것을 넘어 통신사의 AI가 안전하고 신뢰할 수 있고 실제 운영 요구 사항에 부합하도록 보장할 것”이라고 말했다. 이같은 오픈소스 이니셔티브 개발에는 허깅페이스와 리눅스재단 외에 국내 통신사인 SK텔레콤과 LG유플러스가 직접 참여했다.

2025.02.26 18:05박수형

"AI, 역사 시험은 빵점"…거대언어모델, 전문 시험서 한계 드러내

인공지능(AI)이 고급 역사 질문에서는 신뢰할 만한 답변을 내놓지 못한다는 연구 결과가 나왔다. 21일 테크크런치에 따르면 오스트리아 연구기관 복잡성 과학 허브(CSH)는 최근 발표한 연구에서 'GPT-4', '라마', 구글 '제미나이' 같은 거대언어모델(LLM)들이 역사적 전문성을 테스트하는 벤치마크인 '히스트-LLM(Hist-LLM)'에서 낮은 성과를 보였다고 밝혔다. 가장 높은 성과를 보인 'GPT-4 터보'도 정확도가 46%에 불과했다. 이번 테스트는 '세샤트 글로벌' 역사 데이터베이스를 바탕으로 진행됐으며 고대 이집트와 같은 특정 역사적 상황을 포함한 고급 질문을 포함했다. 이 질문에서 LLM은 대부분의 질문에 대해 부정확하거나 과장된 답변을 내놓으며 한계를 드러냈다. 일례로 연구진은 고대 이집트에 특정 시기에 찰갑 갑옷이 존재했는지 물었다. 'GPT-4'는 "예"라고 답했지만 실제로 찰갑은 해당 시기로부터 1천500년 뒤에 등장했다. 또 다른 질문에서는 고대 이집트에 상비군이 있었는지를 물었으나 모델은 잘못된 정보를 바탕으로 "있었다"고 답했다. 연구팀은 이런 오류의 원인으로 AI가 널리 퍼진 데이터를 우선적으로 학습하는 특성을 지적했다. 페르시아 같은 제국의 상비군에 대한 정보가 풍부한 반면 고대 이집트와 같은 특정 시기와 관련된 희귀 데이터는 학습이 부족하다는 것이다. 또 AI 모델은 특정 지역에 대한 역사적 지식의 성능이 더 낮은 경향도 보였다. 특히 사하라 이남 아프리카와 같은 지역에 대한 데이터의 부족과 편향이 더 큰 문제로 작용했다. 연구진은 이번 결과가 LLM의 역사적 한계와 개선 가능성이 있다는 점을 동시에 보여준다고 강조했다. 향후에는 대표성이 부족한 지역의 데이터를 추가하고 보다 복잡한 질문을 포함하는 방향으로 기준을 개선할 계획이다. 피터 투르힌 CSH 교수는 "AI는 기본적인 역사적 질문에는 유용하지만 고급 질문에서는 아직 전문성을 갖추지 못했다"며 "향후 기술 개선을 통해 역사 연구를 보조할 수 있는 가능성은 충분하다"고 말했다.

2025.01.21 09:57조이환

갤럭시S25 울트라, 벤치마크 테스트 공개…결과는?

삼성전자가 이번 달 공개할 차세대 스마트폰 '갤럭시S25 울트라' 벤치마크 테스트 결과가 공개됐다고 IT매체 폰아레나가 최근 보도했다. 이번에 공개된 모델명 삼성 SM-S9380인 갤럭시S25 울트라는 퀄컴 스냅드래곤8 엘리트 칩과 12GB 램을 탑재했으며, 테스트 결과 단일코어 점수 3천49점과 멀티코어 점수 9천793점을 기록했다. 갤S25 울트라에 사용될 스냅드래곤 8 엘리트 칩은 오버클럭된 CPU 코어를 특징으로 할 것으로 예상되고 있다. 예전 스냅드래곤8 2세대, 3세대 칩 모두 오버클럭된 CPU 코어를 갖춘 갤럭시용 변형 칩이 나온 바 있다. 벤치마크 테스트에 따르면, 갤럭시 애플리케이션 프로세서(AP)용 스냅드래곤8 엘리트 칩은 클록 속도가 최대 4.47GHz인 2개 주요 CPU 코어와 최대 3.53GHz의 클록 속도를 자랑하는 6개 CPU 코어를 특징으로 한다. 해당 칩은 중국 시장을 겨냥한 모델에 탑재될 것으로 예상되고 있다. 이번에 공개된 것은 갤럭시S25 울트라 벤치마크 테스트 결과로는 가장 최근 수치다. 하지만 아직 기기 최적화 작업이 진행 중인 것으로 보인다고 해당 매체는 전했다. 약 두 달 전에 나왔던 갤S25 울트라 미국 모델의 벤치마크 테스트 결과에서 멀티코어 점수가 1만 점을 넘어 새로운 성능 표준을 제시하기도 했다. 삼성전자가 갤럭시 S25 시리즈를 공개할 때까지 약 3주 가량이 남은 상태다. 삼성전자는 이번 달 22일 언팩 행사를 열고 갤럭시S25 시리즈를 발표할 것으로 전망되고 있다.

2025.01.02 10:38이정현

스냅드래곤8 엘리트 칩 탑재 폰, 테스트했더니…"너무 뜨거워"

퀄컴의 차세대 모바일 플랫폼 '스냅드래곤 8 엘리트' 칩을 탑재한 리얼미 GT7 프로의 벤치마크 성능 테스트 결과가 공개됐다. 리얼미 GT7 프로가 손에 잡기 불편할 정도로 뜨거워지는 발열 현상이 포착됐다고 IT매체 폰아레나가 3일(현지시간) 안드로이드오쑈리티 등의 테스트 결과를 인용 보도했다. 스냅드래곤 8 엘리트 칩은 최대 4.32GHz 클럭의 프라임 코어 2개, 최대 3.53GHz 클럭의 성능 코어 6개로 구성된 맞춤형 옥타코어 칩셋으로, 싱글 코어와 멀티 코어 성능이 각각 45%, 웹 브라우징 성능은 62% 향상됐다고 퀄컴 측은 밝혔다. 전력 효율도 개선되면서 CPU는 45%, GPU 전력은 40% 개선됐다. AI 전력 효율도 45% 향상됐다. 안드로이드오쏘리티가 진행한 3D마크 GPU 스트레스 테스트 도중 리얼미 GT7 프로는 과열돼 보호 메커니즘이 작동하면서 테스트 도중 앱이 중단됐다. 또, 전화·메시지를 제외한 모든 앱이 비활성화됐으며, 전화기 온도는 46도까지 오른 것으로 알려졌다. 이는 스마트폰에 냉각 챔버가 있다는 점을 고려하면 우려스러운 부분이라고 폰아레나는 평했다. 벤치마크 앱 테스트 중에 리얼미가 벤치마크 앱 테스트를 속이려고 한 부분도 포착됐다. 안드로이드오쏘리티가 벤치마크 최적화를 우려해 3D마크를 다른 앱으로 위장한 후 테스트한 결과 이전과 결과는 달랐다. 그 결과 스마트폰 성능은 이전 테스트 보다 떨어졌으나 발열 문제는 눈에 띄지 않았고 기기는 정상적으로 작동했다. 또, 스트레스 테스트보다 스마트폰에 부담을 덜 주는 긱벤치 테스트에서 스냅드래곤 8 엘리트는 이전 세대 칩보다 약 11~13% 가량 성능이 더 향상됐으나, 퀄컴이 주장하는 40% 이상 향상에는 미치지 못했다. 벤치마크 테스트는 기기의 가장 빠른 이론적 성능을 알아내고 모든 코어를 최대 주파수로 밀어붙여 테스트 하는 것으로, 이 결과는 전반적인 사용자 경험을 나타내는 것은 아니다. 하지만, 퀄컴이 야심차게 선보인 최신 칩이 장착된 기기가 벤치마크에서 부정행위를 한 것이 적발된 것은 퀄컴에도 좋은 모습이 아니며, 익명화된 벤치마킹 앱을 사용했을 때 퀄컴이 말했던 수준에 성능이 도달하지 못했다는 점은 실망스러운 점이라고 폰아레나는 전했다. 스냅드래곤 8 엘리트 칩은 내년 초 갤럭시S25 시리즈를 포함한 향후 플래그십 안드로이드 스마트폰에 탑재될 예정이기 때문에 다소 우려스럽다고 해당 매체는 덧붙였다.

2024.11.04 15:20이정현

딥엑스, DX-M1 저전력 성능 입증...양산 체제 돌입

딥엑스는 AI 반도체 'DX-M1'가 버터 벤치마크 실험을 통해 글로벌 경쟁 제품 대비 초격차 기술력을 입증했다고 밝혔다. 이번 실험은 발열 관리가 성능과 제품 수명에 미치는 영향을 고려할 때, 딥엑스의 차별화된 저전력 및 고효율 기술력을 부각하는 중요한 계기가 됐다. 버터 벤치마크 실험은 반도체의 발열 성능을 직관적으로 시각화할 수 있는 간단한 방법으로 30~36℃에서 녹는 버터를 반도체 칩 위에 놓고 구동 중에 발생하는 열을 비교하는 방식으로 이루어진다. 반도체가 발열을 제대로 관리하지 못할 경우, 성능 저하와 응용 시스템의 오작동을 초래할 수 있어 과도한 전력 소모를 일으키는 AI 반도체에서 저전력 설계는 필수적인 기술이다. 이번 실험에서 딥엑스의 DX-M1은 대표적인 객체 인식 AI 알고리즘인 Yolo5s 모델을 초당 30번 추론하는 작업 중에 버터가 녹지 않을 정도로 뛰어난 발열 제어 성능을 입증했다. 동일한 조건에서 테스트 된 경쟁사 제품들은 버터가 빠르게 녹아내리며 발열 관리의 한계가 드러났다. Yolov7 같은 더 복잡한 알고리즘에서도 DX-M1은 동일한 조건에서 경쟁 제품을 20~40도의 저온 차이로 압도하는 성능을 보여주며 기술적 우위를 다시 한번 입증했다. 특히 DX-M1은 주변 온도를 상승시켜 140도라는 극한의 온도에서도 안정적인 성능을 유지하는 것을 확인했다. 딥엑스는 올 하반기부터 DX-M1의 양산 체제에 본격 돌입했으며, 수율 확보를 위한 다양한 기술 검증을 진행하고 있다. MPW(멀티 프로젝트 웨이퍼)로 제작된 샘플을 통해 조기 양산 테스트와 신뢰성 테스트를 진행해 양산성과 수율을 극대화하고 있다. 또한 OSAT(후공정) 파트너사들과 협력해 다양한 응용 분야에 맞춘 칩 패키지를 다변화함으로써, 제품의 단가를 최적화고 품질은 극대화하고 있다. 딥엑스는 "DX-M1는 물리보안 시스템, 로봇, 산업용 솔루션, 서버 등의 여러 응용 분야에서 글로벌 기업들과 양산 협력을 진행하고 있다"고 전했다. 한편, 딥엑스는 오는 23일부터 25일까지 서울 코엑스에서 개최되는 국내 최대 반도체 전시회 '2024 반도체대전'에 참가해 DX-M1 등 주력 제품을 선보일 예정이다.

2024.10.21 10:26이나리

백준호 퓨리오사AI 대표 "2세대 레니게이드 AI칩, 글로벌 경쟁력 입증 완료"

"AI 반도체 스타트업으로서 많은 선입견이 있었지만, 회사의 차세대 AI 반도체인 '레니게이드'는 하드웨어와 소프트웨어 모두 글로벌 시장에서 경쟁력을 갖춘 제품입니다. 실제로 엔비디아의 칩과 비슷한 성능을 구현하면서도, 전력소모량은 크게 낮춘 테스트 결과를 도출하기도 했습니다." 백준호 퓨리오사AI 대표는 10일 서울 삼성동 코엑스에서 개막한 '디지털 혁신 페스타 2024' 부대행사로 열린 '퓨처 테크 컨퍼런스'에서 이같이 밝혔다. 이날 '생성형 AI시대의 AI반도체 프론티어'를 주제로 발표를 진행한 백 대표는 AI 반도체 '레니게이드'의 경쟁력을 강조했다. 레니게이드는 회사의 2세대 NPU(신경망처리장치) 칩으로, 최대 초당 1.5 TB(테라바이트) 이상의 대역폭을 구현한다. 퓨리오사는 이 레니게이드에 대해 올 하반기부터 잠재 고객사와 제품(퀄) 테스트를 본격화했다. 레니게이드는 대만 주요 파운드리 TSMC의 5나노미터(nm) 공정 및 첨단 2.5D 패키징 기술인 'CoWoS'를 기반으로 한다. 메모리는 HBM3(4세대 고대역폭메모리)를 탑재했다. 실제로 퓨리오사AI가 AI 추론 영역에서 벤치마크 테스트를 진행한 결과, 초당 쿼리 수 기준으로 레니게이드(11.5)는 엔비디아 L40S(12.3)와 비슷한 성능을 나타냈다. 반면 소비전력은 엔비디아 L40S가 320W인 데 비해, 레니게이드는 185W로 훨씬 높은 효율성을 기록했다. 백 대표는 "최근에는 레니게이드의 초당 당쿼리 수가 13~14로 올라갈 만큼 성능이 더 향상된 상황"이라며 "레니게이드가 글로벌 시장에서도 충분히 경쟁할 수 있는 제품임을 입증했다"고 밝혔다. 단순히 칩의 하드웨어만이 아니라, 소프트웨어 성능을 강화한 것도 레니게이드가 지닌 강점이다. 백준호 대표는 "AI 반도체가 도입이 늦어지는 이유 중 하나는 소프트웨어 스택이 칩을 잘 받쳐주지 못한다는 것"이라며 "퓨리오사AI는 이를 해결하고자 TCP(텐서축약프로세서)라고 부르는 소프트웨어 설계 역량에 집중했다"고 설명했다. 텐서란 3차원 이상의 행렬로 데이터를 배열한 데이터 구조다. 통상적인 AI 가속기는 이를 처리하는 데 여러 비효율적인 면이 발생하지만, 퓨리오사AI의 TCP 아키텍처는 효율적인 방식으로 데이터를 처리한다. 백 대표는 "회사의 전체 엔지니어 120명 중 하드웨어 담당은 30%, 소프트웨어 담당은 70%에 해당할 정도"라며 "설계의 혁신이 레니게이드의 가장 큰 혁신으로, 이를 통해 향후 AI 반도체 시장 공략을 위해 노력할 것"이라고 말했다.

2024.10.10 17:46장경윤

갤럭시S25 울트라, 아이폰16 프로맥스 뛰어넘을까

삼성전자의 차세대 플래그십 스마트폰 '갤럭시S25 울트라'의 벤치마크 결과가 공개됐다고 폰아레나 등 외신들이 25일(현지시간) 보도했다. 보도에 따르면, 모델번호 'SM-S938B'의 갤럭시S25 울트라의 벤치마크 결과가 긱벤치에서 발견됐다. 이 모델은 최대 4.47GHz 클럭, 미드레인지 코어 속도는 3.53GHz를 보였다. 이에 폰아레나는 갤럭시S24 울트라가 전작보다 훨씬 더 개선된 성능을 보여주며, 아이폰16 프로 맥스보다 빠를 수도 있다고 전했다. 아이폰16 프로 맥스 A18 프로 칩셋의 경우 처음으로 최고 성능 4GHz를 넘었으나 갤럭시S25 울트라보다는 클럭 속도가 낮았다. 이번에 공개된 갤럭시S25 울트라의 벤치마크 점수는 싱글 코어 테스트에서 3천11점, 멀티코어 테스트에서 9천706점을 기록했다. 단일 코어 점수에서는 아이폰16 프로 맥스의 3천331점보다 뒤쳐지나, 아이폰의 멀티코어 점수는 8천106점으로 갤럭시S25 울트라가 더 좋았다. 그 외에도 자료에서 갤럭시S25 울트라에 안드로이드15, 12GB 램, 스냅드래곤8 4세대 칩 탑재가 확인됐다. 갤럭시S25 울트라에는 퀄컴 스냅드래곤 8 4세대 칩의 특별 버전이 들어갈 예정이다. 일반적으로 퀄컴은 삼성을 위해 인공지능(AI) 기능에 특화된 클럭 속도가 더 높은 맞춤형 스냅드래곤 프로세서를 제공한다. 해당 매체는 삼성전자가 퀄컴과 함께 2025년 갤럭시용 스냅드래곤 칩을 개발하기 까지 아직 몇 개월이 남아있기 때문에, 갤럭시S25 울트라가 강력한 아이폰 프로 라인업과 동등한 성능을 달성했을 가능성도 있다고 평했다.

2024.09.26 10:16이정현

Prev 1 2 Next