ZDNet 검색 페이지

'NPU'통합검색 결과 입니다. (141건)

AI PC 내장 NPU의 또 다른 용도는 '보안 강화'

지난 해부터 주요 PC 제조사가 투입하는 AI PC는 CPU, GPU에 더해 NPU(신경망처리장치)를 이용해 각종 AI 응용프로그램을 실행할 수 있다. 주요 소프트웨어 제조사는 NPU를 활용해 생성 AI 기반 이미지·영상 생성, 사진 텍스트 인식, 화상회의 시 주변 소음 제거 등 기능을 구현했다. 보안 소프트웨어·솔루션 업체 역시 NPU를 활용해 PC 보안을 강화하는 방법을 찾고 있다. 24일 일본 도쿄 트렌드마이크로 본사에서 진행된 브리핑에서 얀 셴(Yan Shen, 沈政彥) 트렌드마이크로 제품 관리 디렉터는 "트렌드마이크로는 AI PC의 NPU에 대해 LLM(거대언어모델) 기반 생성 AI 등을 악용하는 경우 이를 막을 수 있는 방법, 또 엣지 AI를 활용해 보안을 강화할 수 있는 방법 등 두 가지 측면에 대해 대비해 왔다"고 설명했다. ■ 이메일에 포함된 피싱 링크·악성 코드 실시간 탐지 트렌드마이크로는 글로벌 보안업체로 일본과 대만, 호주, 뉴질랜드와 국내 기업용 보안 시장에 보안 솔루션을 공급하고 있다. 이달 초 '인텔 테크 투어 타이완' 기간 중 인텔 루나레이크(Lunar Lake) 프로세서 내장 NPU를 활용한 보안 솔루션을 시연했다. 얀 센 디렉터는 "현행 이메일 보안 기능인 '이메일 디펜더'는 모든 내용을 트렌드마이크로 클라우드로 보낸 다음 피싱 사이트나 악성코드 여부를 파악한다. 그러나 이 과정에서 개인정보 수집 동의를 받아야 했다"고 지적했다. 이어 "이메일 디펜더에서 악성코드 등을 판단하는 과정을 클라우드에서 PC로 옮기고 NPU를 활용하면 메일 본문을 클라우드와 주고 받을 필요가 없다. 개인정보 수집 동의를 받는 번거로움은 줄이면서 유해한 이메일에서 보호받을 수 있다"고 덧붙였다. ■ NPU 활용 컴퓨터 비전 기술로 개인정보 담은 문서 검색 PC에서 구동되는 AI는 이용자가 저장한 문서·사진 파일을 학습해 맞춤형 경험을 줄 수 있다. 반면 개인정보나 금융정보를 담은 파일을 학습에 이용하는 것은 사생활 침해를 낳을 수 있다. 얀 셴 디렉터는 "NPU를 활용하면 문자 인식에 더해 사물을 인식하는 '컴퓨터 비전'을 통해 이를 보다 효과적으로 찾아낸다. PC 안에 있는 파일에서 개인 정보를 담은 파일을 찾아서 이를 지우거나 학습 대상에서 제외하는 등 개인정보에 선택권을 줄 수 있다"고 설명했다. 얀 셴 디렉터는 "컴퓨터 비전을 CPU로만 처리하면 막대한 자원을 소모하고 반응 속도를 떨어뜨리며 처리 시간도 오래 걸려 과거에는 쓸 수 없었다. 반면 컴퓨터 비전은 NPU를 활용한 대표적 사례"라고 덧붙였다. ■ 생성 AI 파일 위·변조 막는 '폴더 실드' LLM 기반 생성 AI는 이용자가 입력한 '프롬프트'를 분석한 다음 이에 맞는 답을 준다. 그러나 '프롬프트' 뒤에 이용자가 눈치챌 수 없도록 매번 일정한 프롬프트를 덧붙여 엉뚱한 답을 출력하게 할 수 있다. 생성 AI가 사전 학습한 데이터를 조작하면 이용자를 올바른 은행 웹사이트가 아닌 피싱 사이트로 유도할 수 있다. 또 하루에 한 알만 먹어야 하는 약을 한 시간에 한 번씩 먹어야 한다고 안내하면 급성 약물 중독 등으로 생명까지 위협할 수 있다. 얀 셴 디렉터는 "생성 AI에 매우 작은 용량의 프로그램만 주입(인젝션)해도 추론 과정이 완전히 달라진다. 이를 막기 위한 기술이 '폴더 실드'이며 생성 AI가 저장된 폴더에 접근하는 것을 차단해 변조를 막는다"고 설명했다. ■ "NPU 잘 활용하면 더 나은 보호 제공 가능" 얀 셴 디렉터는 "강력한 성능을 지닌 NPU(신경망처리장치)를 활용하면 이용자에게 더 나은 보호를 제공할 수 있다. 그렇기 때문에 이를 더 활용하도록 노력하는 것이 우리의 역할"이라고 강조했다. 이어 "다음 달에 퀄컴 스냅드래곤 X 엘리트/플러스용 솔루션도 출시 예정이며 Arm 네이티브 버전 개발도 준비중이다. 인텔 오픈비노(OpenVINO) 이외에 윈도11 운영체제가 내장한 다이렉트ML을 이용해 AMD, 퀄컴 등 모든 제조사 프로세서의 NPU를 지원하는 것이 목표"라고 덧붙였다.

2024.06.25 16:07권봉석

HP, 옴니북 X·엘리트북 울트라 국내 출시

HP코리아가 25일 퀄컴 스냅드래곤 X 탑재 코파일럿+ PC 2종을 국내 출시했다. 국내 시장에서는 두 번째, 해외 제조사 기준 첫 번째다. 신제품은 일반 소비자용 옴니북 X, 기업용 엘리트북 울트라이며 스냅드래곤 X 내장 45 TOPS(1초당 1조번 연산)급 NPU(신경망처리장치)를 이용해 윈도11 AI 기능인 코파일럿+를 활용할 수 있다. 마이크로소프트와 어도비 등 소프트웨어 업체의 각종 AI 기능을 활용 가능하며 AI 지원 소프트웨어로 사진, 오디오, 영상 생성과 편집 속도를 높였다. 영상 통화시 NPU를 활용해 프레임 내 피사체 고정, 배경 흐림/교체 등을 수행하며 마이크로소프트 팀즈 통화와 넷플릭스 스트리밍을 최대 12시간 쓸 수 있다. 기업용 제품인 엘리트북 울트라는 울프 프로 시큐리티 NGAV를 기본 탑재해 악성코드와 랜섬웨어 등 위협에서 이용자 정보를 보호한다. 커버에 50% 재활용 알루미늄, 포장재에 100% 지속가능 자원을 적용했다. 엘리트북 울트라에는 얼룩을 방지하는 물리증착코팅(PVD)이 적용됐다. 가격은 스냅드래곤 X 엘리트 X1E-78-100(12코어) 프로세서와 윈도11, 1TB SSD와 LPDDR5x 16GB 메모리를 탑재한 옴니북 X가 179만 9천원(HP 직판가 기준). 엘리트북 울트라는 미정.

2024.06.25 10:43권봉석

AI PC 성능, NPU TOPS 값만 놓고 판단할 수 있나

AI PC용 프로세서와 SoC(시스템반도체)를 개발하는 여러 제조사는 현재 NPU(신경망처리장치)의 AI 연산 처리 속도를 나타내는 값인 TOPS(1초당 1조번 연산)로 치열한 신경전을 벌이고 있다. 애플은 지난 5월 아이패드 프로에 M4 칩을 탑재하며 "M4의 뉴럴 엔진 성능은 지금까지 출시된 어떤 AI PC의 NPU보다 빠르다"고 자평하기도 했다. 인텔은 오는 3분기 출시할 루나레이크(Lunar Lake)의 NPU 성능이 메테오레이크 대비 3배 이상인 48 TOPS라고 공언했다. 다음 달 출시를 앞둔 AMD 라이젠 AI 300 프로세서는 50 TOPS를 내세웠다. 그러나 많은 제조사가 경쟁적으로 내세우는 TOPS 값은 단순 계산을 통해 얻은 이상적인 최대치이며 실제 AI 연산의 성능까지 반영하지 못한다. 또 NPU가 처리하는 데이터의 정밀도 기준을 바꾸면 두 배로 늘어나거나, 정반대로 반토막날 수 있다. ■ TOPS 값은 어떻게 얻나 TOPS는 이미지 생성, LLM(거대언어모델) 등에 필요한 AI 연산을 1초 당 몇 번 수행할 수 있는지 계산을 통해 얻은 숫자다. AI 연산에 가장 널리 쓰이는 계산 방식은 행렬로 구성된 숫자를 서로 곱한 다음 더하는 방식인 MAC(Multiply–accumulate, 곱셈 가산)이다. 이를 바탕으로 CPU나 NPU, GPU가 한 클록당 수행 가능한 'MAC 연산 갯수', 내장된 MAC 처리 가능 '엔진 숫자', 작동 클록을 모두 곱한 다음 1조 번(10의 12승)으로 나눈 값이 TOPS다. 이런 계산 방식에는 각 제조사간 이론의 여지가 없다. ■ 각 제조사 간 TOPS 산출시 데이터 정밀도 모두 달라 각 제조사는 이를 토대로 계산한 값을 TOPS 값으로 내세운다. 인텔 코어 울트라 시리즈1(메테오레이크) 내장 NPU 3의 TOPS는 11.5, 루나레이크(Lunar Lake) 내장 NPU 4의 TOPS는 48이다. AMD 라이젠 AI 300 시리즈의 TOPS는 50이다. 그러나 주요 프로세서 제조사가 내놓은 TOPS 값 계산 과정이 대등하지 않다는 것이 문제다. 가장 대표적인 것이 바로 MAC 연산 처리량에 가장 큰 영향을 미치는 자료형(데이터타입)의 정밀도 수준이다. 가령 생성 AI로 그림 파일을 생성할 경우 처리하는 데이터의 비트 수가 늘어날 수록 보다 선명하고 사실적인 이미지를 얻을 수 있다. 단 MAC 연산량은 비트 수에 반비례 해 떨어진다. 반대로 정밀도를 낮추는 대신 연산 속도를 높이는 선택도 가능하다. ■ 인텔·AMD·퀄컴은 INT8, 애플은 INT4 기준 산출 문제는 TOPS를 산출할 때 각 제조사가 기준으로 삼은 자료형이 같지 않다는 것이다. 다시 말해 동일 선상에서 단순 비교가 어렵다는 것이다. 전통적인 x86 프로세서 제조사인 인텔과 AMD는 INT8(정수, 8비트) 데이터 처리시를 기준으로 TOPS를 산출해 이를 밝히고 있다. 퀄컴 스냅드래곤 X 엘리트/플러스의 헥사곤 NPU도 INT8을 기준으로 했다. 애플이 M4 칩 공개 당시 내세운 뉴럴 엔진의 TOPS는 38 TOPS이며 INT4(정수, 4비트) 기준이다. 정밀도가 절반으로 떨어지면 TOPS는 두 배로 오른다. INT8 기준으로 TOPS를 다시 계산하면 애플 M4의 AI 성능은 절반으로 떨어진다. ■ 작동 클록 증감도 NPU 성능에 영향 미친다 작동 기기의 전원 공급 상태(어댑터/배터리)에 따라 NPU의 작동 클록이 떨어지거나 높아지면 TOPS 값도 자연히 달라진다. 그러나 TOPS 값은 어디까지나 NPU를 구성하는 반도체 IP(지적재산권)의 이론상 제원을 토대로 계산한 가장 이상적인 값이다. 여기에 AI 연산의 성격이 모두 달라 CPU나 NPU, GPU 어느 하나만으로 원활한 처리가 쉽지 않다는 것도 고려할 필요가 있다. NPU는 저전력 상시구동으로 기존 CPU의 전력 소모 등 부담을 덜기 위한 장치다. 연산량이 집중되는 생성 AI는 NPU에만 의존할 수 없다. 또 GPU는 AI 연산에 가장 뛰어난 성능을 내지만 장시간 구동시 배터리를 크게 소모한다. ■ "일관성 지닌 벤치마크 등장할 때까지 최소 반년 이상 걸릴 것" PC 탑재 프로세서와 메모리, SSD 등 각 부품의 상태를 보여주는 윈도11 기본 프로그램인 '작업 관리자'는 지난 해 업데이트를 통해 NPU의 활용률과 메모리 이용량을 표시하는 기능을 추가했다. 그러나 실제 작동 클록까지 실시간으로 보여 주지 않는다. 가장 이상적인 방법은 모든 제조사가 TOPS의 기준점이 되는 데이터 정밀도에 INT8, FP16(부동소수점, 16비트) 등 동일한 기준을 적용해 최소한의 일관성을 확보하는 것이다. 하지만 NPU TOPS 값으로 우열을 가리고 싶은 제조사 사이에 중립적인 논의는 사실상 불가능하다. 컴퓨텍스 2024 기간 중 진행된 라운드테이블에서 팻 겔싱어 인텔 CEO는 "아직까지 좋은 비교 기준으로 삼을 수 있는 벤치마크 소프트웨어가 없으며 관련 업계에 일관성 있는 기준이 생기기까지 최소 반년, 적어도 1년 이상이 걸릴 것"이라고 전망했다.

2024.06.20 10:01권봉석

'합병' 사피온-리벨리온, 엔비디아 대항마되려면..."SW 개발에 총력 필요"

국내 AI 반도체 스타트업 대표주자인 사피온과 리벨리온이 지난 12일 합병을 발표했다. 두 회사의 결합은 급변하는 글로벌 AI 전쟁터에서 살아남으려면 힘을 모아 경쟁력을 확보해야 한다는 판단에 따른 결정이다. 양사는 합병 이후 소프트웨어 기술 개발에서 시너지를 낼 것으로 기대된다. 국내 반도체 설계 기술은 상당한 수준에 도달했으나, 소프트웨어 기술은 상대적으로 부족하다는 평가를 받아왔다. 업계에서는 엔비디아의 AI 개발용 소프트웨어 '쿠다(CUDA)'와 맞설 수 있는 소프트웨어 기술을 개발해야 글로벌 AI 반도체 시장에서 살아남을 수 있다고 조언한다. ■ 엔비디아 '쿠다'에 맞서려면...소프트웨어 개발에 총력 기울여야 현재 AI 반도체(가속기) 시장에서 엔비디아는 90% 점유율을 차지하고 있다. 엔비디아 칩은 전력이 많이 필요하고 가격이 비싸지만, 없어서 못 팔 정도로 주문이 밀려 있는 상태다. 엔비디아가 올해 하반기 출시하는 블랙웰 B100은 3만~4만 달러(약 4100만~5500만원)의 고가에도 불구하고 데이터센터 업체들이 치열하게 구매 경쟁을 벌일 정도다. 후발주자인 국내 AI 반도체 업체인 리벨리온, 사피온, 퓨리오사AI 등은 엔비디아 GPU(그래픽처리장치)와 차별화된 NPU(신경망처리장치) 방식을 채택해 개발 중이다. 이들 업체는 글로벌 AI 반도체 성능 경연 대회에서 엔비디아와 어깨를 나란히 하는 성능 테스트 결과를 보이며 시장에서 높은 평가를 받고 있다. 일례로 리벨리온의 AI 반도체 '아톰(5나노 공정)'은 지난해 4월 인공지능(AI) 반도체 벤치마크 테스트 엠엘퍼프(MLPerf) 언어모델(BERT) 테스트에서 엔비디아의 동급 제품(엔터프라이즈 서버용 GPU T4)보다 1.5~2배 빠른 처리속도를 기록했으며, 비전모델 테스트에서도 3배 이상 빠른 속도를 보이며 높은 평가를 받았다. 또 같은 대회에서 사피온과 퓨리오사AI도 엔비디아 반도체의 특정 성능(이미지 처리·전력 효율) 부문에서 뛰어넘는 결과를 냈다. 그러나 국내 AI 반도체 기업들은 소프트웨어 부분에서는 엔비디아와 경쟁하기에 크게 부족하다는 평가가 나온다. 엔비디아 칩이 각광받는 이유는 칩 성능뿐 아니라 소프트웨어 '쿠다'도 큰 역할을 한다. 많은 개발자들이 오랜 기간 쿠다로 프로그래밍을 하고, 코드가 축적되면서 '강력한 쿠다 생태계'가 만들어졌다. 개발자가 편의를 위해 엔비디아 AI 반도체를 쓸 수밖에 없는 이른바 '락인(Lock-in)' 효과가 생긴 것이다. 김용석 성균관대학교 전자전기공학부 교수(반도체공학회 부회장)는 "국내 AI 반도체 기업이 기술력을 바탕으로 성능 좋은 AI 반도체를 내놓으면 충분히 세계 시장을 장악할 수 있으나 소프트웨어 수준은 엔비디아의 쿠다(CUDA)에 훨씬 못 미친다"고 지적했다. 또 다른 시스템반도체 25년 경력의 전문가는 "쿠다 에코시스템에 익숙해진 개발자들은 단순히 하드웨어 성능이 좋고, 가격이 저렴하다고 칩을 바꾸려고 하지 않는다"며 "AI 반도체는 단순히 NPU만 잘 만들어서 될 일이 아니라, 하드웨어를 지원해주는 소프트웨어 환경을 구축해 줘야 한다"고 말했다. 김 교수는 “특히 소프트웨어는 컴파일러가 매우 중요하다. AI 반도체는 하드웨어뿐 아니라 컴파일러와 라이브러리의 성능이 전체 성능을 결정한다"며 "모델의 변환 과정에서 컴파일러는 사용자의 모델을 실행하기 위해 필요한 대규모 연산과 메모리를 NPU의 모든 자원들을 잘 활용하도록 최적화하는 과정이 필요한데, 엔비디아는 이를 잘 구축해 놓았다. 반면, 다른 회사의 칩들은 모델들이 실행되지 않거나 실행되더라도 자원을 충분히 활용하지 못해서 성능이 떨어지는 경우가 있다"고 설명했다. 김 교수는 또 "리벨리온과 사피온이 합병 이후 칩 상용화에 성공하려면 소프트웨어 기술 개발에 총력을 기울여야 한다. 분산된 양사의 인력이 합쳐지면 소프트웨어 경쟁력을 높이고 글로벌 시장에서 좋은 성과를 낼 수 있다"며 "이번 합병은 국내 AI 반도체 산업의 발전과 글로벌 시장에서의 경쟁력을 높이는 중요한 전환점이 될 것으로 기대된다"고 전했다. ■ 사피온-리벨리온 합병, 3분기 통합법인 출범...SKT-KT 적극 지원 사피온과 리벨리온은 실사와 주주동의 등 필요한 절차를 거쳐 3분기 중으로 합병을 위한 계약 체결을 마무리하고 연내 통합법인을 출범시킬 계획이다. 통합법인명은 아직 미정이며, 법인 출범 시기에 맞춰 결정할 예정이다. 합병 이후 경영은 리벨리온에서 담당하며, 현 박성현 리벨리온 대표가 합병법인을 이끈다. 사피온은 2016년 SK텔레콤 내부 연구개발 조직으로 출발해 2022년 분사한 AI 반도체 팹리스 기업이다. 당시 SK ICT 연합 3사(SK텔레콤, SK하이닉스, SK스퀘어)가 공동 투자해 출범했다. 사피온은 지난해 11월에는 추론용 NPU 시장을 겨냥한 차세대 칩 X300(7나노, TSMC 생산)을 출시해 올해 양산을 앞두고 있다. 리벨리온은 2020년 박성현 대표와 오진욱 CTO 등이 공동 창업한 AI반도체 팹리스 스타트업이다. 창립 이후 3년간 '아톰(5나노, 삼성전자 파운드리)' 등 2개 제품을 출시했고, 현재 차세대 AI반도체 '리벨(REBEL)(4나노, 삼성전자 파운드리)'을 올해 4분기 양산할 예정이다. 사피온의 전략적 투자자인 SK텔레콤은 합병 이후에도 전략적 투자를 이어가고, 사피온의 주주사인 SK스퀘어와 SK하이닉스도 대한민국 AI반도체 발전을 위해 합병법인 지원할 예정이다. 또 리벨리온 투자자인 KT도 세계적 수준의 AI반도체 기업 탄생을 위해 힘을 보태겠다고 뜻을 밝혔다.

2024.06.14 14:13이나리

한국레노버, 모바일 워크스테이션 신제품 5종 출시

한국레노버가 10일 AI 처리를 강화한 모바일 워크스테이션 신제품을 국내 출시했다. 신제품은 씽크패드 P1 7세대/P16v i 2세대/P14s i 5세대, P16s i 3세대 등 인텔 프로세서 기반 제품 4종, AMD 프로세서 탑재 씽크패드 P14s 5세대 등 5종이다. 최상위 제품인 씽크패드 P1 7세대는 인텔 코어 울트라9 시리즈1 프로세서와 엔비디아 RTX 3000 에이다 GPU, 프로세서 내장 NPU(신경망처리장치)를 이용해 AI 워크로드를 처리할 수 있다. 마이크론과 협업해 기존 DDR5 SODIMM 규격 대비 소모 전력과 차지 면적을 60% 가량 줄인 LPDDR5x LPCAMM2 메모리를 탑재했다. 씽크패드 P16v i 2세대, 씽크패드 P14s i 5세대, 씽크패드 P16s i 3세대도 프로세서 내장 CPU와 GPU, NPU를 활용해 AI 연산을 가속한다. 씽크패드 P14s 5세대는 AMD 라이젠 프로 8040 HS 프로세서 기반 제품이며 메모리는 최대 96GB, SSD는 최대 2TB까지 선택할 수 있다. 내장 GPU인 라데온 그래픽으로 각종 산업용 애플리케이션을 구동한다. 16:10 비율의 최대 2.8K OLED 디스플레이는 3M 광학 필름 솔루션을 적용해 400니트(nit) 밝기를 최대 16% 적은 전력으로 지원한다. 신제품 5종 모두 주요 ISV 인증을 통과했고 펌웨어와 운영체제 변조를 막는 씽크쉴드 보안 솔루션을 적용했다. 신규식 한국레노버 대표는 "씽크패드 P 시리즈는 레노버의 워크스테이션 설계 노하우에 뛰어난 AI 성능과 휴대성을 더했다”며 "창의성을 발휘해야 하는 전문가와 엔지니어, 데이터 과학자는 언제 어디서나 복잡한 워크로드를 처리할 수 있을 것"이라고 밝혔다.

2024.06.10 11:18권봉석

[인터뷰] "AMD 라이젠 AI 300, 모든 면에서 놀라운 프로세서"

[타이베이(대만)=권봉석 기자] "라이젠 AI 300(개발명 스트릭스포인트) 시리즈 프로세서는 이전 세대 대비 정말 확연히 개선됐다. NPU(신경망처리장치)를 이용하는 윈도 새 기능인 코파일럿+를 쓸 수 있다는 것이 가장 큰 변화다." 지난 5일(이하 현지시간) 오후 난강 소재 AMD 대만 지사에서 국내 기자단과 만난 도니 월리그로스키 AMD 컨슈머 프로세서 시니어 기술 마케팅 총괄의 설명이다. AMD는 3일 오전 컴퓨텍스 개막연설에서 라이젠 AI 300 프로세서를 공개한 데 이어 다음 달부터 주요 PC 제조사와 함께 이를 탑재한 PC를 국내 포함 전세계 출시 예정이다. 도니 월리그로스키 총괄은 "라이젠 AI 300 프로세서는 12코어, 24스레드 기반 CPU로 작업 시간을 줄인 한편 1080p 해상도 게임 구동이 가능한 GPU를 탑재했다. 모든 면에서 놀라운 제품이며 누구나 혜택을 볼 것"이라고 강조했다. 다음은 도니 월리그로스키 총괄, 라케시 아니군디 AMD 라이젠 AI 프로덕트 리더 겸 프로덕트 이사와 일문일답. Q. AMD는 2년 전 노트북용 라이젠 프로세서 명칭을 숫자 네 자리로 바꿨다. 이번에는 '라이젠 AI 300 시리즈'라는 이름을 붙였다. 이름을 바꾼 계기는 무엇인가. "(도니) 숫자가 '300'으로 시작하는 것은 3세대 NPU를 탑재했기 때문이다. 향후 로드맵에 따라 여러 세대에 걸쳐 제품을 내놓을 예정이며 이것을 소비자들이 더 쉽게 선택할 수 있게 하기 위함이다. 특별한 이유는 없다." Q. 주요 프로세서 제조사가 NPU(신경망처리장치) 탑재 프로세서를 시장에 출시하고 있는데 AI 연산척도로 흔히 쓰이는 TOPS 산출 기준이 회사마다 다르다. AMD는 어떤가? "(라케시) 라이젠 AI 300 시리즈에 탑재된 XDNA 2 NPU는 50 TOPS 연산이 가능하며 이를 산출한 기준은 INT8(정수, 8비트)이다." Q. 라이젠 AI 300 시리즈 NPU에 내장된 BF16(블록 FP16) 관련해 궁금중이 많다. AI 연산 정밀도를 떨어뜨리지 않으면서 연산 속도를 유지할 수 있다는 것이 어떤 의미인가. "(라케시) FP16(실수형 16비트)은 메모리에 데이터를 16비트(2바이트)로 저장하며 (INT8 대비) 메모리를 더 많이 차지한다. 정확도가 높아지기 때문에 콘텐츠 제작자에 유용하다. 반면 8비트만 이용한다면 속도는 높아지지만 정확도가 필요한 응용프로그램에 적합하지 않다. BF16은 정확도와 용량, 속도 면에서 균형을 취했다. 총 16비트 중 8비트를 이용하고 나머지 부분은 공유된다. 8비트의 속도와 16비트의 정확도를 동시에 얻을 수 있는 것이다." Q. AI PC의 경쟁력은 결국 소프트웨어에서 판가름 날 것으로 본다. AMD는 생태계 확대를 위해 어떤 노력을 하고 있는가. "(라케시) 150개 소프트웨어 개발사와 협력하고 있다. 마이크로소프트나 어도비 등 대형 회사보다는 개인 개발자나 스타트업 지원도 필요한데 개발자 키트 등 하드웨어와 함께 이를 보다 더 잘 활용할 수 있는 웨비나 등 지원을 아끼지 않을 것이다. Q. 라이젠 프로세서 탑재 일부 노트북 제품에서 여전히 수급 불균형이 발생하는 것 같다. 짧게는 두 달, 심하게는 반 년 이상 기다려야 하는 경우도 종종 보이는데. "(도니) 제품군 따라 생산량에 차이가 있다. AMD의 사업 전개 대비 업계의 변화가 늦은 것도 한 원인이다. AMD 역시 현재 시장 상황을 인지하고 있으며 라이젠 AI 300 시리즈는 출시 시점까지 한 달 이상 시간이 있어 차질 없이 준비할 것이다." Q. 지난 해 Z1 APU를 탑재한 휴대용 게임PC가 레노버와 에이수스 등 여러 회사에서 출시됐다. 라이젠 AI 300 시리즈 탑재 유사 제품도 나올 것으로 보는가. "(도니) 현재 시점에서 확언하기 어렵지만 이미 중요한 파트너사와 논의중이다. 개인적으로는 AMD RDNA 3.5 GPU 등 우수한 IP를 활용하지 않는 회사가 있다면 오히려 더 놀랄 것이다." Q. PC 업계가 AI PC에 거는 기대와 일반 소비자의 인식에는 거리가 있다. '무엇을 할 수 있는지'에 대해 구체적인 메시지가 없다. "(도니) 아이폰이 처음 나왔을 때를 생각해 보라. 처음에는 다들 무엇을 할 수 있는지 궁금해했지만 사용 사례가 명확해 지고 여러 앱이 나오면서 발전했다. AI PC 역시 시간이 지나면서 유기적으로 성장할 것으로 기대한다."

2024.06.08 09:00권봉석

[인터뷰] "루나레이크, 개발 과정 단축에 조기 출시"

"루나레이크는 개발 기간 중 모든 이정표를 예정보다 앞당겨 달성했다. 개발 과정은 그만큼 성공적이었다. 개발 기간과 출시 시기 등을 종합적으로 고려한 결과 업계 예상보다 보다 이른 시기에 출시하기로 결정된 것이다." 지난 5월 31일(이하 현지시간) 인텔 연례 기술행사 '테크투어 타이완' 행사장에서 국내 기자단과 만난 로버트 할록(Robert Hallock) 인텔 클라이언트 AI 및 기술 마케팅 총괄이 이렇게 설명했다. 인텔은 지난 4일 컴퓨텍스 타이베이 2024 기조연설에서 오는 3분기부터 공급할 차세대 코어 프로세서 '루나레이크'(Lunar Lake)를 공개했다. 이날 로버트 할록 총괄은 "2010년대 초반 PC용 프로세서에 그래픽칩셋이 처음 통합됐을 때 사람들은 용도를 폄하했지만 현재는 지극히 당연한 상식이 됐다"며 "현재 쓰이는 'AI PC'라는 이름도 앞으로 4년 정도 지나면 원래 이름인 'PC'로 돌아갈 것"이라고 내다봤다. 다음은 로버트 할록 총괄과 일문일답. Q. 주요 프로세서 제조사가 TOPS 경쟁을 벌이고 있다. 그러나 특히 노트북 환경에서 TOPS 향상에 한계가 있을 것으로 보이기도 하는데 이런 양상이 언제까지 계속될 것으로 보는가. "현재 외장 그래픽칩셋은 100 TOPS를 넘으며 앞으로 계속 높아질 것이다. 단 LLM은 메모리 대역폭의 제약을 받고 있다. 그러나 LPDDR5-5300 메모리로 구동할 때도 LLM이 초당 생성하는 단어는 30개 이상으로 사람 눈으로 쫓아가기도 어렵다." Q. 인텔을 포함한 AI PC용 프로세서 제조사가 NPU(신경망처리장치) 성능 중 하나로 TOPS(1초 당 1조 번 연산)을 내세운다. 그러나 연산 정밀도 기준에 따라 TOPS는 얼마든지 달라질 수 있다고 보는데. "TOPS는 NPU가 낼 수 있는 최대 속도를 숫자로 나타낸 것이며 MAC(행렬 곱셈 후 덧셈) 연산 능력과 작동 속도, 코어 수를 곱한 다음 작동 클록으로 나눠 구한다. 엄밀히 말하자면 숫자에 불과하다." Q. AI PC의 TOPS를 정확히 측정할 수 있는 방법은 없는가. "AI PC 대표적인 활용 사례인 LLM(거대언어모델)은 첫 단어(토큰)가 나올 때까지 걸리는 시간, 초당 생성 단어 수를 측정할 수 있다. 그러나 LLM에 주는 프롬프트를 정확히 통제해야 공정한 비교가 가능하다. Q. 인텔은 공정한 테스트를 위해 어떤 노력을 기울이고 있는가. "PC 업계가 자주 활용하는 벤치마크 소프트웨어 'UL 프로시온'은 AI 추론 등 여러 벤치마크를 포함하고 있는데 특정 제조사에 치우치지 않은 비교적 공정한 소프트웨어로 평가한다. 인텔은 여러 회사와 협업해 보다 현실적인 벤치마크를 여름까지 내놓기 위해 준비중이다." Q. 인텔은 '김프'(GIMP) 등 오픈소스 소프트웨어에서 AI PC 역량을 활용할 수 있는 소프트웨어를 보급중이다. 그러나 미세한 버전 차이로 작동에 문제가 발생하고 설치 절차도 까다롭다. 다른 대안은 없는가. "AI PC는 새로운 개념이며 이를 정착시키기 위해 여러 노력을 기울이고 있다. 인텔은 스테이블 디퓨전이나 LLM을 보다 쉽게 설치할 수 있는 도구를 개발중이다. 앞서 언급했듯 벤치마크 역시 마찬가지다." Q. 마이크로소프트가 코파일럿+ PC에 요구하는 40 TOPS NPU라는 기준에 대해 어떻게 보는가. "다른 소프트웨어 제조사는 마이크로소프트만큼 강력한 연산 성능을 요구하지 않는다. 실행 작업에 따라 적합한 장치가 달라지기 때문이다. 내년에는 전체 AI 모델 중 30%가 CPU, 40%가 GPU, 30%가 NPU에서 작동할 것이다. 그리고 실제 이용자는 어떤 엔진이 어떤 장치로 구동되는지 관심이 없다." Q. 루나레이크가 내세운 저전력과 전세대 대비 두 배 향상된 GPU 성능은 휴대용 게임PC에도 적합해 보인다. 경쟁사(AMD) 대비 유사한 플랫폼을 갖춘 PC가 적은데 현재 협업하는 제조사가 있나. "지금 밝히기는 어렵지만 다음 분기에 등장할 것이다."

2024.06.06 09:00권봉석

"AI PC, 사생활 침해·지연 없는 맞춤형 경험 제공할 것"

[타이베이(대만)=권봉석 기자] AI PC의 핵심은 클라우드에 의존했던 AI 기능을 PC로 가져오는 것이다. 미리 학습된 AI 모델을 내려받아 CPU와 GPU, NPU(신경망처리장치)를 모두 활용해 가동하므로 LTE/5G나 와이파이가 없는 곳에서도 작동한다. 톰 피터슨(Tom Peterson) 인텔 그래픽 및 소프트웨어 아키텍처 부문 펠로우는 지난 주 진행된 '테크투어 타이완' 행사에서 "AI PC는 금융 정보나 건강 정보 등 민감한 정보를 관리하는 한편 이용자 특성을 학습해 맞춤형 비서 서비스를 제공할 수 있다"고 밝혔다. 이어 "금융 정보나 건강 정보 모두 외부에 공개하기 어려운 정보지만 AI PC는 이를 클라우드에 올리는 대신 기기 내에서 자체적으로 처리해 사생활 침해나 유출을 막는다"고 덧붙였다. ■ "AI PC 구현에 CPU·GPU·NPU 모두 중요" 현재 인텔을 포함해 주요 프로세서 제조사가 AI 처리 성능 기준으로 NPU TOPS(1초당 1조 번 연산)를 내세운다. 이는 모든 AI 처리가 NPU만 활용한다는 인식을 줄 수 있지만 실제는 이와 다르다. 톰 피터슨 펠로우는 지난 5월 인텔 자체 조사 결과를 토대로 "올해 AI 엔진을 구동하는 장치 비중은 NPU가 25%, GPU가 40%, CPU가 35%지만 내년에는 NPU 비율이 30%대로 다소 상승, CPU 비율은 30%로 다소 변화가 있을 것"이라고 전망했다. 그는 "AI 응용프로그램의 작동 방식에 따라 차이가 있다. GPU는 생성과 인식에, NPU는 항시 가동돼야 하는 악성코드 감지 등에 유용하다. CPU의 TOPS는 낮지만 빠른 시간 안에 결과를 얻어야 할 때 유용하다"고 설명했다. ■ "AI 처리 부하 줄이는 양자화 기술, 오픈소스로 개방" AI 모델의 정밀도가 높아질 수록 처리 시간과 용량, CPU/GPU/NPU에 가해지는 부하도 급증한다. 현재 AI 모델의 주류를 이루는 것은 FP32(32비트 부동소수점), FP16이지만 용량과 처리 속도 면에서 이를 PC로 처리하는 데는 무리가 있다. 정밀도를 FP16(32비트 부동소수점), INT8(8비트 정수) 등 PC에서 처리할 수 있는 수준으로 조절해야 한다. 이를 해결하기 위한 방법이 양자화이며 처리 속도 향상, AI 모델 용량 축소 등이 가능하다. 톰 피터슨 펠로우는 "양자화를 쉽게 처리할 수 있는 기술인 '인텔 신경망 압축'을 오픈소스 AI 생태계인 ONNX에 오픈소스 기술로 제공할 것"이라고 설명했다. ■ 인텔, 파이3 코어 울트라에 최적화...초당 25 단어 생성 인텔은 지난 4월 공개된 마이크로소프트 LLM(거대언어모델)인 파이3를 코어 울트라 시리즈 프로세서에 최적화했다. 코어 울트라 시리즈1(메테오레이크)에서 첫 단어가 나오는 데는 1초 미만, 초당 25단어를 생성해 이미 사람 눈으로 따라갈 수 없는 수준까지 향상됐다. 루나레이크의 AI 처리 성능은 여기서 한 단게 더 나아갔을 것으로 추정된다. 톰 피터슨 펠로우는 "AI 처리 속도를 높이는 것은 매우 중요한 일이다. 앞으로는 AI 응용프로그램이 사람 대신 다른 프로그램, 다른 서비스와 직접 상호작용하며 학습하게 될 것"이라고 설명했다. ■ "생태계 확대 위해 루나레이크 개발자 키트 곧 공급" 인텔이 AI PC 구현을 위해 이용하는 기술은 오픈비노(OpenVINO)다. PC의 CPU와 GPU, NPU를 모두 활용해 AI 처리 연산을 가속한다. 윈도 다이렉트ML, ONNX 런타임, 윈도 AI 등 다양한 소프트웨어를 지원한다. 인텔은 오픈비노를 활용한 개발자 생태계 확대를 위해 루나레이크 프로세서 기반 AI PC 개발 키트도 사전 공급할 예정이다. 가로·세로 165mm×150mm, 높이 27mm의 슬림한 케이스에 루나레이크 프로세서와 LPDDR5 32GB 메모리를 장착했다. 톰 피터슨 펠로우는 "루나레이크는 5 TOPS CPU, 67 TOPS GPU, 48 TOPS NPU를 결합해 최대 120 TOPS를 발휘할 수 있으며 게임과 AI 비서, 생성 AI를 이용한 콘텐츠 제작에 최적화됐다"고 강조했다.

2024.06.04 12:00권봉석

인텔 루나레이크, 저전력·고효율 목표로 경쟁력 강화

[타이베이(대만)=권봉석 기자] "3분기 출시할 모바일(노트북)용 프로세서 '루나레이크'(Lunar Lake)는 x86 프로세서에 대해 사람들이 가진 생각은 물론 AI PC를 경험하는 방식을 바꿀 것이다. CPU와 GPU(그래픽처리장치), NPU(신경망처리장치) 모두 경쟁에서 이길 것이다." 컴퓨텍스 타이베이 2024 전 주 진행된 '인텔 테크투어 타이완' 기조연설에서 미셸 존스턴 홀타우스 인텔 CCG(클라이언트 컴퓨팅 그룹) 총괄(수석부사장)이 이렇게 강조했다. 인텔 테크투어는 2022년부터 시작된 연례 기술 행사다. 매년 새 프로세서 출시를 앞두고 각국 기자단에 강점과 특징 등을 소개한다. 올해 행사에는 한국을 포함해 15개 국가와 지역에서 150개 매체, 227명이 참석했다. 올해 행사 핵심은 오는 3분기 출시될 모바일용 프로세서, 루나레이크다. 이달부터 국내 포함 전 세계 시장에 출시되는 퀄컴 스냅드래곤 X 엘리트/플러스, 하반기 출시될 AMD 라이젠 프로세서와 경쟁할 제품이다. ■ TSMC 위탁생산 타일과 메모리, 인텔 기술로 조립 전작인 코어 울트라 시리즈1(메테오레이크)는 컴퓨트(CPU), GPU, SOC, I/O 등 4개 타일을 인텔과 TSMC가 생산한 다음 3차원 적층 기술 '포베로스'(FOVEROS)로 결합해 구성했다. 반면 루나레이크는 CPU 타일, 그리고 GPU와 NPU, 미디어 엔진 등 다양한 반도체 IP(지적재산권)를 재배치/통합한 플랫폼 제어 타일 등 단 두 개로 구성됐다. 여기에 LPDDR5X 메모리를 결합해 주요 PC 제조사에 공급된다. CPU와 GPU가 한 메모리를 같이 쓰는 통합 구조로 애플 M시리즈 프로세서와 같은 방식의 접근을 택했다. 한 다이(Die) 안에서 데이터가 오가므로 메모리를 분리했던 과거와 달리 지연시간과 면적은 줄이면서 대역폭은 높일 수 있다. 핵심 요소인 컴퓨트 타일(TSMC N3B), 그리고 플랫폼 제어 타일 모두 대만 TSMC가 만들었다는 것도 특징이다. 두 타일을 연결하는 베이스 타일은 인텔 22나노미터 공정에서 생산됐다. ■ 컴퓨트 타일 내 P·E코어, 전력 효율성 강화에 방점 컴퓨트 타일은 고성능 P(퍼포먼스) 코어 '라이언코브'(Lion Cove) 4개와 저전력·고효율 E(에피션트) 코어 '스카이몬트'(Skymont) 4개, 총 8개 코어로 구성된다. 대부분의 작업은 E코어가 먼저 처리하며 고성능이 필요한 작업에서 P코어가 작동한다. P코어와 E코어는 최근 강조되는 지표인 와트 당 성능, 다시 말해 전력 효율성 향상에 중점을 뒀다. E코어 '스카이몬트'는 P코어 '라이언코브'보다 적은 전력으로 같은 성능을 내도록 설계됐다. 인텔 자체 검증 결과 전작(메테오레이크) 대비 클록 당 명령어 처리 성능은 P코어 최대 14%, E코어 최대 68%까지 향상됐다. 동영상 재생이나 대기 상태 등 단순한 작업만 처리하던 '저전력 아일랜드 E코어' 성능도 전세대 대비 최대 2배 향상됐다. P코어 한 개를 두 개처럼 쓰는 프로세서 효율 향상 기술인 '하이퍼스레딩'은 루나레이크에서 빠졌다. 하이퍼스레딩이 빠진 대신 IPC(클록당 처리 가능 명령어 수)를 크게 높여 성능 하락이 일어나지 않을 것이라는 것이 인텔 관계자 설명이다. ■ 성능 높이고 전력소모 줄인 Xe2 GPU로 AI 가속 GPU는 게임이나 동영상 처리 뿐만 아니라 AI PC에서 중요도가 한층 커졌다. 고밀도 연속 AI 연산을 단시간에 처리하려면 GPU의 도움은 필수다. AI 연산 성능을 가늠하는 지표인 TOPS(1초 당 1조 번 AI 연산) 중 상당수가 GPU에서 나온다. 루나레이크의 GPU는 새롭게 개발한 Xe 코어 8개를 결합한 'Xe2'다. 내부 구조를 보완해 메테오레이크 대비 성능은 50% 가까이 늘어났다. AI 연산 중 상당수를 차지하는 행렬 관련 처리를 위한 XMX도 더해 AI 처리량은 1.5배 이상 향상됐다. Xe2 GPU의 AI 연산 성능은 최대 67 TOPS다. 디스플레이 규격은 2022년 하반기 정식 확정된 디스플레이포트 2.1, HDMI 2.1과 함께 노트북 직결 디스플레이 패널과 연결되는 eDP 1.5도 함께 지원한다. 처리가 쉽지 않은 차세대 코덱인 VVC(H.266) 재생도 지원한다. ■ AI 연산 성능 NPU 단독 48 TOPS, 최대 120 TOPS 가능 마이크로소프트는 최근 '빌드' 행사에서 PC 이용 이력을 추적하는 기능인 '리콜' 등을 담은 새로운 PC 카테고리인 '코파일럿+ PC'를 공개한 바 있다. 코파일럿+ PC는 40 TOPS 이상 NPU 탑재를 요구한다. 루나레이크에 탑재된 인텔 4세대 NPU인 'NPU 4' 성능은 전작(10.5 TOPS) 대비 3배 이상인 최대 48 TOPS까지 향상됐다. 과거 2개에 그쳤던 NPU 내 연산 장치를 최대 6개까지 늘리는 한편 작동 클록도 끌어올렸다. NPU와 GPU의 성능 강화에 따라 루나레이크의 AI 연산 성능도 세 자릿수까지 올라섰다. NPU 48 TOPS, GPU 67 TOPS와 CPU 5 TOPS를 합해 최대 120 TOPS까지 AI 연산이 가능해졌다는 것이 인텔 설명이다. ■ S/W 생태계 확대 위해 루나레이크 개발킷도 보급 AI PC의 쓰임새를 최대한 확보할 수 있는 소프트웨어 관련 역량 확보도 중요하다. 인텔은 이미 AI 모델 500개를 코어 울트라에 최적화하는 한편 에이수스와 협력해 코어 울트라 시리즈1 기반 개발자 키트도 보급중이다. 미셸 존스턴 홀타우스 총괄은 "최대 120 TOPS를 실현 가능한 개발자 키트를 생산해 AI PC용 소프트웨어 개발자에게 공급할 것이다. 업그레이드가 가능한 구조로 개발돼 향후 등장할 '팬서레이크'(Panther Lake) 등 다음 제품과도 호환될 것"이라고 설명했다. 인텔은 현재 루나레이크 제품화 단계인 'B0' 스테핑 단계 실리콘이 생산에 들어갔다고 밝혔다. 오는 3분기부터 주요 PC 제조사에 공급되며 오는 연말까지 20개 제조사가 80개 이상의 제품을 출시 예정이다.

2024.06.04 12:00권봉석

인텔 "루나레이크 NPU 성능 4배 강화... 전력 효율도 개선"

[타이베이(대만)=권봉석 기자] 인텔이 올 3분기부터 주요 PC 제조사에 공급할 모바일(노트북)용 프로세서, 루나레이크(Lunar Lake)는 플랫폼 컨트롤러 타일에 최대 48 TOPS(1초 당 1조 번) AI 연산이 가능한 4세대 NPU(신경망처리장치), NPU 4를 탑재한다. NPU 4는 CPU나 GPU 대비 훨씬 적은 전력으로 CPU(5 TOPS)의 5배 이상, Xe2 GPU(67 TOPS)의 71% 수준 AI 처리를 수행한다. AI 연산 성능만 따지면 코어 울트라 시리즈1(메테오레이크)의 CPU, GPU, NPU를 모두 합친 수치(34 TOPS)를 넘어선다. NPU 4는 PC가 켜져 있을 때 항상 같이 돌아가야 하는 음성 인식, 악성코드 탐지, 카메라를 이용한 사물 인식 등에 적합하다. 스테이블 디퓨전 1.5 기준으로 NPU 3 대비 최대 4배 빠르게 이미지를 생성해 전력 효율도 2.9배 향상됐다. ■ 인텔 NPU, 2018년 첫 출시 이후 올해 4세대 돌입 인텔 NPU는 2016년 인텔이 인수한 스타트업 '모비디우스' 기술력 기반으로 만들어졌다. 2018년 출시된 첫 제품은 별도 칩으로 출시돼 USB 단자 등을 통해 PC에 연결해 작동했다. 연산 성능은 0.5 TOPS로 영상 처리나 사물 인식 등에 적합했다. 2세대 제품인 'NPU 2'는 2021년 출시된 제품이며 IoT(사물인터넷) 기기를 대상으로 했다. 연산 속도는 7 TOPS 수준이며 배경 흐림, 프레임 인물 고정 등 윈도 스튜디오 효과를 지원했다. 지난 주 진행된 '테크투어 타이완' 행사에서 대런 크루스(Darren Crews) 인텔 NPU 수석 아키텍트는 "NPU는 7년 전만 해도 카메라를 통한 사물 인식 등에 주로 쓰였지만 현재는 높은 연산 성능과 함께 전력 효율성 등 두 가지 목표를 모두 달성해야 하는 상황"이라고 설명했다. ■ NPU 4 하나로 메테오레이크 연산 성능 능가 지난 해 출시된 코어 울트라 시리즈1(메테오레이크)는 SOC 타일에 3세대 제품 'NPU 3'를 통합했다. 연산 성능은 11.5 TOPS로 전체 연산 성능(34 TOPS)의 1/3 가량을 차지한다. 반면 후속 제품인 루나레이크에 탑재된 NPU 4의 AI 연산 성능은 최대 48 TOPS로 메테오레이크의 CPU, GPU, NPU를 모두 합친 것보다 더 빠르다. 대련 크루스 수석 아키텍트는 "AI 연산을 실제로 수행하는 엔진 수 증가, 작동 주파수 향상, 내부 아키텍처 개선으로 NPU 4의 성능이 급격히 향상됐다"고 설명했다. ■ "TOPS 수치, 작동 클록과 MAC 연산 능력이 좌우" 최근 PC용 프로세서를 구성하는 CPU와 GPU, NPU의 AI 연산 성능 측정을 위한 기준으로 'TOPS'가 널리 쓰인다. 그러나 이 수치가 정확히 어떤 과정을 거쳐 나오는지 정확히 아는 사람은 드물다. 대런 크루스 수석 아키텍트는 "TOPS는 AI 처리에 주로 쓰이는 연산 속도와 NPU 작동 클록에 크게 영향을 받는다" 고 설명했다. AI 연산에 가장 널리 쓰이는 연산 방식은 큰 수치를 서로 곱해 더하는 행렬 연산인 MAC 연산이다. 메테오레이크의 NPU 3내 연산 엔진은 두 개이며 한 클록당 4천96개의 MAC 연산을 수행한다. 여기에 작동 클록(1.4GHz)을 곱하고 1조 번(10의 12승)으로 나눈 값이 11.5 TOPS다. 같은 방식으로 계산하면 루나레이크 내장 NPU 4의 TOPS는 48 TOPS다. ■ "TOPS는 행렬 연산에 치중... 벡터 계산 성능 향상도 중요" 단 MAC 연산 처리량은 자료형(데이터타입)의 정밀도에 큰 영향을 받는다. 예를 들어 인텔이 기준으로 삼은 자료형은 INT8(정수 8비트)이다. 이를 INT4(정수 4비트)로 바꾸면 MAC 연산량과 TOPS는 각각 두 배로 뛴다. 대런 크루스 수석 아키텍트는 "TOPS 값은 계산으로 얻어진 값이며 주로 행렬 연산에 집중됐다. 그러나 큰 수치를 한꺼번에 처리하는 벡터 연산이 실제 AI 응용프로그램 성능에 더 큰 영향을 미친다"고 설명했다. NPU 4는 벡터 연산을 처리하는 레지스터 크기를 512비트로 확장하고, 대역폭은 전 세대 대비 4배 높였다. 행렬과 수치 연산을 모두 강화해 다양한 AI 연산을 처리할 수 있게 됐다. 양자화 전용 회로도 내장해 INT8, FP16 자료형을 모두 지원한다. ■ "TOPS, 행렬 연산에 치중...벡터 계산 성능 향상도 중요" NPU 4는 뉴럴 연산 엔진을 2개에서 6개로 3배 늘렸다. MAC 연산을 담당하는 어레이도 4천 개에서 1만 2천개로 늘어났다. 같은 소비 전력에서 NPU 3 대비 성능은 두 배 늘어났고 최대 성능은 4배로 뛰어올랐다. 벡터 연산 성능은 최대 12배, TOPS는 4배 이상 향상됐다. LLM(거대언어모델)의 토큰 생성 속도에 영향을 미치는 대역폭도 최대 2배 향상됐다. 오픈소스 그래픽 프로그램 '김프'(GIMP)로 스테이블 디퓨전 1.5 플러그인을 이용해 이미지를 생성하는 테스트에서 메테오레이크는 22.08초, 루나레이크는 5.43초로 실제 처리 시간이 1/4 수준으로 줄었다. 전력 소모는 NPU 3와 NPU 4 사이에 큰 차이가 없다. 메테오레이크 소모전력은 9W, 루나레이크 소모전력은 11.2W다. 대런 크루스 수석 아키텍트는 "소모 전력이 높아졌지만 소요 시간이 크게 줄어 실제 전력 소모는 줄어든다. 이를 통해 전력 효율을 2.9배 높였다"고 밝혔다.

2024.06.04 12:00권봉석

퀄컴, 컴퓨텍스서 코파일럿+ 업고 스냅드래곤 X 엘리트 세몰이

[타이베이(대만)=권봉석 기자] 퀄컴은 2015년 경 스냅드래곤 기반 윈도 PC 플랫폼에 처음 진출한 후 성능과 호환성 면에서 고전했다. 기반 구조를 PC에 맞게 고친 스냅드래곤 8cx를 3세대(2021년)까지 출시했지만 열세를 뒤집지 못했다. 그러나 최근 퀄컴은 2년간 자체 개발한 오라이온(Oryon) CPU 탑재 칩인 '스냅드래곤 X 엘리트/플러스'로 주목받고 있다. 퀄컴이 강점을 지닌 와이파이와 5G, 저전력 기술을 바탕으로 AI 연산을 가속하는 NPU(신경망처리장치) 성능을 한껏 끌어올린 것이다. 지난 달 말 진행된 마이크로소프트 '빌드' 행사에서는 윈도11 기반 AI 기능인 코파일럿+를 구동할 수 있는 첫 플랫폼으로 주목받았다. 당시 사티아 나델라 마이크로소프트 CEO는 "(애플) 맥과 경쟁하기 위해 Arm 기반 PC가 필요하다"고 설명하기도 했다. ■ 퀄컴 "오늘은 컴퓨트 플랫폼을 졸업하는 날" 3일 오후(이하 현지시간) 대만 타이베이 시 소재 난강전람관에서 진행된 기조연설에서 크리스티아노 아몬 CEO는 "퀄컴은 컴퓨트 플랫폼의 리더로 놀라운 기술을 협력사에 전달했으며 오늘은 퀄컴이 다음 단계로 나아가기 위해 컴퓨트 플랫폼을 '졸업'하는 날"이라고 강조했다. 퀄컴은 이날 스냅드래곤 X 엘리트/플러스의 강점이 마이크로소프트 코파일럿+와 결합했을 때 가져다 줄 수 있는 이점을 강조하는 데 중점을 뒀다. 크리스티아노 아몬 CEO는 "스냅드래곤 X 엘리트는 새 세대 PC를 위한 플랫폼이며 이용자 경험과 다양한 작업(워크로드)에 최적화됐다. 스냅드래곤 X와 코파일럿+는 차세대 AI를 활용하기 위한 유일한 플랫폼"이라고 설명했다. ■ "스냅드래곤 X·코파일럿+, 노트북 벗어나는 날 온다" 온디바이스 AI는 퀄컴이 수 년 전부터 주장해 온 AI 처리 방식이다. 클라우드를 거치지 않고 모든 정보를 기기 내에서 처리해 지연 시간을 줄이자는 발상이었다. 불과 몇 년 전만 해도 이런 구상은 NPU(신경망처리장치)와 CPU, GPU의 성능 부족으로 실현 불가능했다. 그러나 현재 인기를 모으고 있는 AI PC는 퀄컴을 넘어 업계 전반에 보편화됐다. 크리스티아노 아몬 CEO는 "AI PC는 저지연성과 반응 속도 향상으로 놀라운 수준의 개인화를 도울 것이다. 컴퓨터가 당신을 알고 익숙해지며 상황에 맞는 맞춤형 경험을 제공할 것"이라고 전망했다. 이어 "스냅드래곤 X 엘리트와 코파일럿+는 모든 폼팩터에 보급될 것"이라고 설명했다. 현재 출시된 노트북 뿐만 아니라 미니 PC, 일체형 PC 등으로 확장을 고려하고 있음을 시사한 것이다. ■ "스냅드래곤 X, 타협 없는 AI 성능에 강점" 스냅드래곤 X 엘리트/플러스는 마이크로소프트가 코파일럿+ PC에 요구한 AI 연산 성능인 40 TOPS(1초당 1조 번 연산)를 넘어서는 NPU 성능으로 주목받았다. 크리스티아노 아몬 CEO는 "우리는 AI 성능에 대해 타협하지 않았으며 스냅드래곤 X 엘리트와 플러스 모두 동일한 AI 역량을 지녔다"고 강조했다. 퀄컴은 이날 애플 M3와 인텔 코어 울트라 시리즈1(메테오레이크) 등 현재 시중에 나온 모든 노트북용 프로세서 대비 스냅드래곤 X 엘리트가 우위에 있다고 주장했다. 벤치마크 소프트웨어 'UL 프로시온'에 내장된 AI 벤치마크 실행시 소모 전력 대비 성능을 견주는 '와트 당 성능'에서는 M3 대비 2.6배, 코어 울트라7 대비 5.4배 높다는 것이 퀄컴 설명이다. 크리스티아노 아몬 CEO는 "노트북용 프로세서 성능의 중요한 요소로 속도는 물론 배터리 소모, 발열 등을 따져야 한다. 스냅드래곤 X 엘리트로 1시간 동안 NPU를 구동해도 인텔 등 기존 x86 프로세서 대비 발열이 현저히 낮다"고 설명했다. ■ 글로벌 제조사와 함께 세몰이...삼성전자도 동참 퀄컴은 이날 글로벌 PC 제조사 임원을 차례대로 등장시켜 스냅드래곤 X 엘리트/플러스 기반 코파일럿+ PC 이점을 설명하는 데 공을 들였다. 이들 중 상당수는 같은 날 오전 진행된 AMD 기조연설에도 등장했다. 레노버를 시작으로 델테크놀로지스, 에이서, 에이수스 등 주요 톱5 제조사는 물론 최근 갤럭시북4 엣지를 출시한 삼성전자까지 가세했다. 크리스티아노 아몬 퀄컴 CEO는 이날 삼성전자를 30년 이상 협력한 가장 중요한 파트너 중 하나로 평가했다. 최원준 삼성전자 모바일익스피리언스(MX)사업부 개발실장(부사장)은 영상 메시지에서 "갤럭시북4 엣지에 탑재된 NPU와 오라이온 CPU는 새로운 기준을 만들었다. 갤럭시북4 엣지 출시를 통해 갤럭시 AI가 갤럭시 생태계를 통해 보급되길 바란다"고 밝혔다. 스냅드래곤 X 엘리트/플러스 탑재 PC는 이달 중순(18일)부터 국내 포함 전세계 출시 예정이다. 국내에서는 삼성전자에 이어 3일 에이수스가 스냅드래곤 X 엘리트 탑재 PC 사전예약을 진행중이다.

2024.06.03 20:39권봉석

AMD, 차세대 라이젠 AI 300 CPU로 x86 코파일럿+ PC 포문

[타이베이(대만)=권봉석 기자] 퀄컴에 이어 AMD가 젠5(Zen 5) 아키텍처 기반 노트북용 프로세서 '라이젠 AI 300' 시리즈를 올 7월 출시하며 '코파일럿+ PC' 시장에 참여한다. AMD는 3일(이하 현지시간) 대만 타이베이 시 소재 난강전람관에서 리사 수 CEO를 연사로 기조연설을 진행하고 노트북용 라이젠 AI 300 시리즈 프로세서(개발명 '스트릭스 포인트')를 공개했다. 이날 리사 수 AMD CEO는 "AI PC는 이용자가 PC와 상호작용하는 방식을 바꿀 것이며 무엇을 할지, 어떤 것을 해야 하는지 도와 과거 불가능했던 것을 가능하게 한다"고 강조했다. 이어 "오늘 공개하는 라이젠 AI 300 시리즈 프로세서는 이를 위해 만들어진 강력한 AI 하드웨어"라고 덧붙였다. 라이젠 AI 300 시리즈는 같은 날 공개된 데스크톱PC용 라이젠 9000 시리즈 프로세서와 같은 젠5(Zen 5) 아키텍처를 적용했다. 최대 12코어, 24스레드로 작동하며 RDNA 3.5 기반 라데온 GPU와 최대 50 TOPS(1초당 1조 번 연산) NPU(신경망처리장치)를 결합했다. 생산은 대만 TSMC의 4나노급 공정을 활용했다. 리사 수 CEO는 "라이젠 AI 300 시리즈에 탑재된 NPU는 최대 32개 AI 타일을 내장했고 전세대 제품 대비 에너지 효율을 향상시켰다. 이는 윈도11 기반 코파일럿+ PC에서 최고의 성능을 제공할 것"이라고 설명했다. 라이젠 AI 300 시리즈에 내장된 XDNA2 NPU는 자료형(데이터타입)을 가리지 않고 구동되는 것을 강점으로 내세웠다. 리사 수 CEO는 "생성 AI는 모두 서로 다른 자료형(데이터타입) 기반으로 구동되며 비트 수가 높을수록 정밀한 결과물을 얻을 수 있다"며 "대부분의 생성 AI는 FP16(부동소수점 16비트)를 이용하지만 성능이 떨어지며 현재 사실상 표준은 INT8(정수형 8비트)로 처리된다"고 설명했다. 이어 "XDNA 2 NPU는 FP16 기반 AI 모델을 정밀도를 떨어뜨리는 '양자화'(Quantization) 과정 없이 빠른 속도로 실행할 수 있다. 이는 AI 모델 정밀도로 고민하는 AI 응용프로그램 개발자들의 선택 고민을 덜어줄 것"이라고 덧붙였다. HP, MSI 등 주요 PC 제조사는 오는 7월부터 전세계 시장에 라이젠 AI 3000 프로세서 탑재 PC를 출시 예정이다. 각 제조사의 국내 출시 일정과 가격은 미정.

2024.06.03 17:12권봉석

AMD, 데스크톱PC용 젠5 기반 라이젠 9000 프로세서 공개

[타이베이(대만)=권봉석 기자] AMD가 3일(이하 현지시간) 컴퓨텍스 2024 기조연설에서 새 아키텍처 '젠5'(Zen 5) 기반 PC용 프로세서 4종을 공개했다. 데스크톱PC용 라이젠 9000 시리즈 프로세서(개발명 '그래나이트 리지')는 새 아키텍처 '젠5'(Zen 5) 기반 CPU 코어 최대 12개와 XDNA2 기반 새 NPU(신경망처리장치)로 구성됐다. CPU 코어를 구성하는 타일은 TSMC 4나노급 공정에서 생산됐다. 이날 리사 수 AMD CEO는 "젠5 아키텍처는 파이프라인 개선 등으로 분기 예측 정확성을 높이고 IPC(클록 당 명령어 처리 수)를 향상했다. 또 병렬 처리 가능한 명령어 수를 늘렸다"고 설명했다. 리사 수 CEO는 "현재 인텔 데스크톱PC용 최상위 제품인 코어 i9-14900K 대비 게임 성능은 23% 빠르며 콘텐츠 제작 소프트웨어 '블렌더' 성능은 56% 더 빠르다"고 설명했다. 이날 현장에서 만난 AMD 관계자는 "라이젠 9000 시리즈 프로세서는 TSMC 4나노급 공정을 적용해 소모 전력은 낮추며 성능을 높인 결과 소비 전력이 낮아졌다. 8코어 탑재 제품인 라이젠 7 9700X 소모 전력이 65W로 낮아진 것이 좋은 예"라고 설명했다. 라이젠 9000 시리즈는 소켓 AM5를 탑재한 전 세대 메인보드와 호환되며 그래픽카드와 SSD 슬롯에 PCI 익스프레스 5.0을 적용한 X870/X870E 메인보드도 출시된다. 최상위 제품인 라이젠 9 9950X는 젠5 코어 16개, 32 스레드로 작동하며 최대 주파수는 5.7GHz, L2+L3 캐시 80MB로 구성됐다. 이외에 12코어, 10코어, 8코어 등 총 4개 제품이 동시에 출시된다. AMD는 기존 소켓 AM4 기반으로 가격 대비 성능을 높인 라이젠 5000 시리즈 프로세서 2종도 시장에 공급한다. 콘텐츠 제작과 게임으로 가격 대비 성능을 추구하는 소비자를 위한 제품이며 라이젠 9 5900XT, 라이젠 7 5800XT 등 2종이 시장에 출시된다. AMD 관계자는 "'XT'는 전보다 작동 클록이 향상됐다는 의미로 붙은 명칭"이라고 설명했다. 라이젠 9000 시리즈 신제품 4종과 라이젠 5000 시리즈 신제품 2종은 오는 7월 국내 포함 전세계 출시 예정이다. 제조사 권장 가격은 미정.

2024.06.03 17:11권봉석

개막 앞둔 컴퓨텍스 2024, AI PC 바람에 관심 집중

[타이베이(대만)=권봉석 기자] 타이트라(TAITRA, 대만대외무역발전협회)와 타이베이컴퓨터협회(TCA)가 매년 개최하는 동북아시아 최대 규모 IT 전시회, '컴퓨텍스 타이베이 2024'(이하 컴퓨텍스 2024)가 오는 4일부터 7일까지 4일간 열린다. WHO(세계보건기구)가 코로나19 범유행 종식을 선언한 후 완전 오프라인 행사로 재개된 작년 행사는 26개 나라에서 총 1천 개 업체가 전시에 참여했다. 또 150개 나라에서 4만 7천500여 명이 행사장을 찾아 관람하는 등 2019년 대비 성장세를 기록했다. 지난 해 말 인텔 코어 울트라 시리즈1 프로세서(메테오레이크) 출시 이후로 AI PC 바람이 거세다. 올해 컴퓨텍스 주제도 이에 맞춰 'AI 컴퓨팅'을 선정하고 기조연설에 주요 글로벌 반도체 기업 인사를 대거 초청했다. ■ 올해 컴퓨텍스 기조연설 연사 CEO 일색 인텔, AMD, 퀄컴 등 AI PC용 프로세서 공급업체는 올 하반기부터 투입할 신제품 관련 정보와 향후 로드앱을 공개할 예정이다. 부사장이나 총괄 등 실무 담당 최고 책임자가 연사로 나서던 예년과 달리 올해는 이들 기업 모두 CEO를 전면에 내세웠다. 3일부터 4일까지 이틀간 이어지는 기조연설 등록은 관련 업계 종사자나 관람객, 각국 언론의 높은 관심에 힘입어 개막 2주를 앞둔 시점에서 마감됐다. 등록 시기를 놓친 관람객은 당일 타이트라가 유튜브로 제공하는 온라인 중계에 의존해야 한다. 서버용 AI GPU와 프로세서 성장세로 대표 AI 반도체 기업으로 성장한 엔비디아는 오는 2일 저녁 컴퓨텍스와 별개로 국립대만대학교 스포츠센터에서 역대 최대 규모 기조연설을 진행한다. ■ 엔비디아, 개막 2일 전 역대 최대 규모 기조연설 진행 코로나19 이후 각종 업무를 효율적으로 처리할 수 있는 도구로 PC가 다시 주목받고 있다. 컴퓨텍스에 대한 관심도 자연히 커지자 기조연설 등 행사를 진행할 장소와 시간을 확보하는 것이 가장 큰 과제로 등장했다. 엔비디아 역시 컴퓨텍스 2024 공식 개막보다 이틀 앞선 오는 2일 저녁 7시부터 국립대만대학교 스포츠센터에서 역대 최대 규모로 기조연설을 진행 예정이다. 마땅한 시간과 장소를 확보하지 못한 결과라는 속사정이 숨었다. 엔터프라이즈/데이터센터용 AI 애플리케이션과 일반 PC용 GPU인 지포스 RTX 40 시리즈의 새로운 기능도 함께 공개될 것으로 보인다. 엔비디아는 특히 대만 현지에서 사랑받는 글로벌 기업 중 하나다. 창업자 중 한 명인 젠슨 황 CEO가 대만계 미국인이라는 배경을 지녔으며 컴퓨텍스 기간 중 그의 행보는 많은 주목을 받는다. 이날 기조연설 역시 매우 혼잡할 것으로 예상된다. ■ AMD, 컴퓨텍스 개막 하루 앞두고 공식 기조연설 AMD는 PC용 라이젠·서버용 에픽(EPYC) 프로세서가 궤도에 오른 2019년부터 타이트라가 진행하는 컴퓨텍스 공식 기조연설에 참여하고 있다. 올해도 컴퓨텍스 개막을 하루 앞둔 3일 오전 9시 30분에 리사 수 AMD CEO가 공식 기조연설을 진행한다. AMD는 올 하반기 새로운 아키텍처 '젠5'(Zen 5) 기반 데스크톱PC·노트북용 프로세서를 출시 예정이다. 아키텍처 전환으로 CPU 성능을 강화하는 동시에 NPU(신경망처리장치) 성능 향상을 통해 AI PC 관련 시장에서 최대 경쟁사 인텔의 빈 자리를 노린다. AMD가 올해 출시할 노트북용 새 프로세서부터 AI 처리 능력을 강조하는 방향으로 새로운 명명 방식을 적용할 것이라는 전망도 끊이지 않는다. 실제로 AMD는 지난 주 진행 예정이던 컴퓨텍스 사전 브리핑을 '내부 사정'을 이유로 갑자기 취소하기도 했다. ■ 퀄컴, 스냅드래곤 X 엘리트/플러스로 AI PC 첫 걸음 퀄컴은 2022년 10월 첫 공개 이후 1년 반만인 이달 중순부터 윈도 PC용 새 프로세서 '스냅드래곤 X 엘리트/플러스' 탑재 제품을 시장에 본격 공급한다. 이들 프로세서는 최근 진행된 마이크로소프트 '빌드' 행사에서도 윈도 11의 새로운 AI 기반 기능 '리콜' 등을 가장 먼저 실행할 수 있는 '코파일럿+ PC' 플랫폼으로 주목받았다. 퀄컴은 3일 오후 기조연설을 통해 AI PC 혁신 이미지를 전달할 예정이다. 기조연설 인사도 본부장급(작년)에서 올해는 크리스티아노 아몬 CEO가 직접 진행하는 방식으로 격상했다. 퀄컴은 기조연설 이후 컴퓨텍스 기간 중 타이베이 시청 인근 W호텔에서 스냅드래곤 X 엘리트/플러스 탑재 PC도 전시/시연할 예정이다. ■ 인텔, 차세대 프로세서 '루나레이크' 상세 정보 공개 예정 인텔은 2016년을 기점으로 컴퓨텍스 전시장에 직접 부스를 차린 적이 없다. 2019년에는 타이베이 시내 중심부에 위치한 르메르디앙호텔을 거점으로 소규모 전시장을 운영했다. 또 지난 해에는 코어 울트라 시리즈1(메테오레이크)에 내장된 NPU 관련 기능을 주제로 각국 기자단 대상 1:1 브리핑을 진행했다. 반면 올해는 거의 10년만에 난강전람관에 전시 부스를 개설하고 각종 기술 전시에 나선다. 기조연설 연사로는 팻 겔싱어 인텔 CEO가 직접 등판한다. 올해 기조연설 주제로는 3분기 이후 시장에 공급될 모바일(노트북)용 새 프로세서, '루나레이크'(Lunar Lake), 4분기 이후 출시할 데스크톱PC용 프로세서 '애로우레이크'(Arrow Lake) 등이 예상된다. 인텔은 컴퓨텍스 전 주인 5월 말 타이베이 현지에서 연례 행사인 '테크투어'를 진행하고 각국 기자단 대상으로 각종 브리핑과 시연도 진행했다. 기조연설 당일을 기점으로 관련 내용이 일제히 공개될 예정이라 주목을 모은다. ■ Arm 르네 하스 CEO, 컴퓨텍스서 PC 프로세서 공개하나 Arm은 지난 해 뉴욕 나스닥에 상장을 마친 데 이어 Arm IP 기반 PC 플랫폼이 속속 등장하면서 최근 크게 주목받는 반도체 IP 기업 중 하나다. Arm은 이번 주 AI에 특화된 컴퓨팅 서브시스템(CSS)을 공개했다. 다음 주 컴퓨텍스에서는 스마트폰 등 고성능 기기를 위한 IP인 코어텍스(Cortex) X5 아키텍처가 공개될 가능성도 크다. Arm은 3일 오전 11시 30분부터 르네 하스 CEO의 기조연설을 진행한다. 단 행사장은 난강전람관에서 도보로 15분 거리인 하이라이 호텔로 결정됐다. 같은 날 오전 진행되는 리사 수 AMD CEO 기조연설 후 30분만에 이동해야 한다는 난제가 남았다.

2024.06.01 07:36권봉석

리벨리온-스퀴즈비츠, AI 기술 고도화 위한 파트너십 체결

AI반도체 스타트업 리벨리온은 AI모델 경량화 전문 스타트업 스퀴즈비츠와 NPU(신경망처리장치)에 최적화된 생성형AI 모델 개발과 관련한 전략적 파트너십을 체결했다고 29일 밝혔다. 이번 협력은 특히 소형언어모델(SLM)의 경량화에 초점을 둔다. SLM은 범용인공지능(AGI) 대비 작은, 통상 300억개 미만의 파라미터를 가진 언어모델을 뜻한다. 스퀴즈비츠는 정확도 손실을 최소화하면서도 AI모델의 계산량을 압축할 수 있는 경량화 전문성을 가지고 있다. 리벨리온은 국내에선 최초로 소형언어모델 가속이 가능한 NPU를 양산한다. 이번 파트너십을 기반으로 양사는 각사가 가진 AI 경량화 노하우와 AI 추론 전용 하드웨어 기술을 바탕으로 다양한 소형언어모델을 리벨리온의 NPU에 최적화하여 경량화하는데 전략적으로 협력한다. 스퀴즈비츠는 현재 지원 중인 엔비디아 GPU 뿐 아니라 리벨리온의 NPU향으로 생성형AI 모델을 경량화할 수 있는 기술적 기반을 확보하게 된다. 리벨리온 또한 자사 하드웨어에 최적화된 경량화 언어모델을 활용해 생성형AI용 NPU의 판매 활로를 확장한다. 이번 파트너십은 생성형AI에 특화된 하드웨어를 기반으로 경량화 소프트웨어 기술을 개발하는 국내 최초 사례다. 양사는 소형언어모델 경량화 분야에 선도적인 역할을 수행해 지속가능한 생성형AI 서비스 제공 환경을 구축하고, 나아가 국내 AI 생태계 발전에 기여한다는 목표다. 이번 파트너십은 최근 생성형AI 가동에 소요되는 비용과 전력을 최소화하기 위한 최신 기술 트렌드를 반영한다. 최근 제한된 컴퓨팅 자원으로도 효율적으로 활용할 수 있는 소형언어모델이 각광받고 있으며, AI모델을 압축해 하드웨어 연산의 부담을 더는 경량화 기술 또한 크게 주목받고 있다. AI추론에 특화된 NPU 역시 전력소모와 구축비용을 대폭 줄이는 역할을 수행할 것으로 기대된다. 김형준 스퀴즈비츠 대표는 “리벨리온과의 협력을 통해 생성형 AI 기반 서비스 기업 고객들에게 더욱 다양한 하드웨어 옵션을 제공할 수 있게 되었다”며 “다양성을 바탕으로 각각의 서비스에 가장 최적화된 하드웨어와 경량화 기술을 제공함으로써 기업들이 더 효율적으로 AI를 사용할 수 있게 지원할 것”이라고 말했다. 박성현 리벨리온 대표는 “NPU와 AI경량화 기술은 지속가능하고 비용효율적인 AI 비즈니스를 위한 필수요소로 자리잡고 있다”며 “이번 파트너십으로 사용자들에게 리벨리온의 NPU 상에서 경량화된 생성형AI 모델을 활용해 부담없고 손쉽게 AI를 도입할 수 있는 기회를 제공할 것으로 기대한다”고 밝혔다.

2024.05.29 10:03장경윤

퓨리오사AI, 반도체 거물 모인 학술행사서 첫 연구성과 발표

국내 기업들이 세계적인 학술행사에서 AI와 관련한 첨단 반도체 기술력을 꾸준히 입증받고 있다. 특히 올해 8월에 열리는 '핫칩스(Hot Chips) 2024'에서는 AI 반도체 스타트업 퓨리오사AI가 국내 팹리스로서는 최초로 논문을 발표하는 성과를 얻었다. 28일 업계에 따르면 오는 8월 25일부터 27일(현지 시간)까지 미국 스탠포드대학교에서는 주요 반도체 업계 학술행사인 핫칩스가 진행될 예정이다. 지난 1989년부터 연례 행사로 개최되고 있는 핫칩스는 전 세계 주요 반도체 기업 및 연구기관이 참여하는 학술행사다. 올해에도 인텔, 엔비디아, AMD, 퀄컴, IBM, 메타, 테슬라, 마이크로소프트, 오픈AI 등 영향력 있는 기업들이 최신 연구 성과를 알린다. 국내에서는 메모리 제조기업 SK하이닉스와 NPU(신경망처리장치) 관련 신생 팹리스 기업인 퓨리오사AI 2곳의 논문이 선정됐다. 두 기업 모두 AI와 관련된 주제로 발표를 진행한다. SK하이닉스는 거대언어모델(LLM) 추론을 위한 회사의 AI 특화 컴퓨팅 메모리 솔루션을 소개한다. AiM과 AiMX-xPU 등이 대표적인 제품이다. AiM(Accelerator-in-Memory)은 SK하이닉스의 PIM(Processing-in-Memory) 반도체의 제품명이다. PIM은 메모리 내에서 CPU·GPU 등 시스템반도체가 담당하던 데이터 연산을 처리하는 기술이다. AiMX는 AiM를 기반으로 한 AI 가속기로, 실제 사용이 가능한 카드 형태로 제작된다. 퓨리오사AI는 회사의 2세대 NPU(신경망처리장치) 칩인 '레니게이드'에 대해 발표한다. 그간 국내 대기업이나 연구기관이 핫칩스의 연사로 참가한 적은 여러 번 있었으나, 순수 팹리스 기업이 참가하는 것은 이번이 처음으로 알려졌다. 레니게이드는 TSMC의 5나노미터(nm) 공정을 기반으로 제작된 NPU다. HBM3(4세대 고대역폭메모리)를 탑재했으며, TSMC의 2.5D 패키징 기술인 CoWoS가 적용됐다. 한편 지난해 11월 열린 주요 반도체 설계 분야 학회인 'ISSCC'에서도 리벨리온, 솔리드뷰 등 국내 팹리스 스타트업 2곳의 논문이 선정된 바 있다. 리벨리온은 퓨리오사AI와 마찬가지로 서버용 NPU를, 솔리드뷰는 자율주행 산업을 위한 CMOS 라이다(LiDAR) 센서용 칩을 개발하고 있다. 두 기업의 ISSCC 발표 역시 국내 반도체 업계에서 매우 이례적인 사례로 평가 받는다.

2024.05.28 15:09장경윤

MS 코파일럿 스택, 윈도용 앱 개발에 API로 끌어와 쓴다

마이크로소프트 코파일럿이 윈도 운영체제(OS)의 소프트웨어 스택에 들어갔다. 윈도 애플리케이션 계층에 '코파일럿 런타임'이란 AI 전용 라이브러리가 포함돼, 개발자는 자신의 윈도용 앱에 OS의 생성형 AI 관련 API와 기능을 쉽게 접목할 수 있다. 마이크로소프트는 21일(현지시간) 개막한 연례 개발자 컨퍼런스 '마이크로소프트 빌드 2024'에서 '윈도 코파일럿 런타임'을 발표했다. 윈도 코파일럿 런타임은 GPU, NPU 등 장치의 실리콘을 기반으로 구축된 애플리케이션 계층이다. 윈도와 함께 제공되는 40개 이상의 온디바이스 AI 모델 API 세트인 '윈도 코파일럿 라이브러리'를 포함한다. 개발자의 온디바이스 모델을 윈도로 가져오는데 도움을 주는 AI 프레임워크와 툴 체인도 포함한다. 개발자는 간단한 설정 토글을 이용해 접근가능한 상위 수준 API부터 자체 머신러닝 모델을 가져오는 것까지 다양한 방법으로 윈도 코파일럿 런타임을 활용할 수 있다. 윈도 셸, Win32 앱, 웹 앱 등에 걸쳐 마이크로소프트 앱과 개발자 자체 앱에서 활용가능하다. 윈도 코파일럿 라이브러리는 윈도 환경을 강화하는 온디바이스 AI 모델 API와 벡터 스토어, 알고리즘 등을 포함한다. 스튜디오이펙트, 라이브캡션트렌스레이션, OCR, 리콜 위드 유저 액티비티, 파이 실리카 등의 AI API와, DiskANN 같은 알고리즘 등을 이용할 수 있다. 파이실리카는 소형언어모델(SLM) '파이(Phi)'를 코파일럿 플러스 PC의 NPU용으로 설계한 것이다. 파이 실리카는 프롬프트 처리를 NPU로 오프로드하고, 첫번째 토큰 대기 시간은 초당 650개 토큰이며 비용은 약 1.5와트라고 회사측은 설명했다. CPU와 GPU를 다른 계산에 사용하도록 남겨두면서 전력을 공급할 수 있다. 토큰 생성은 NPU의 KV캐시를 재사용하고, CPU에서 실행돼 초당 약 27개 토큰을 생성한다. 6월부터 윈도 코파일럿 라이브러리를 이용할 수 있으며, 향후 벡터 임베딩, 검색증강생성(RAG), 텍스트 요약 등의 기타 API가 새로 제공될 예정이다. 다이렉트ML, ONNX 런타임, 파이토치, WebNN 같은 AI 프레임워크, 올리브 같은 툴 체인, 비주얼스튜디오코드용 AI 툴킷 등을 활용해 개발자 자체 모델을 가져오고 윈도 하드웨어 생태계 전반에 AI 앱을 확장할 수 있다. 윈도 코파일럿 런타임은 20일 공개된 마이크로소프트의 '코파일럿 플러스 PC'의 다양한 생선형 AI 기능에 먼저 활용됐다. 사용자가 PC에서 본 모든 것을 즉시 찾도록 도와주는 리콜(Recall), AI 이미지 생성기 '코크리에이터', 사진 앱에서 스타일을 생성할 수 있는 '리스타일이미지', 윈도 스튜디오 효과, 라이브 캡션 등의 기능 등이다. 개발자는 코드 작업 없이 윈도 코파일럿 라이브러리르 활용해 크리에이티브 필터, 인물 사진 조명, 아이컨택트 텔레프롬프터, 인물사진 흐림, 음성 초점 같은 앱에 스튜디오 이펙트를 통합할 수 있다. 왓츠앱이 윈도 스튜디오 효과 컨트롤을 UI에 추가했다. 윈도 라이브캡션 기능을 개발자의 앱에 활용해 오디오와 비디오를 실시간으로 번역해 앱의 기본언어로 자막을 제공할 수 있다. 유저액티비티 API를 활용하면 기본 벡터 데이터베이스에 상황별 정보를 추가해 앱에 대한 회상 경험을 높일 수 있다. 사용자가 앱에서 중단한 위치를 선택하기 쉽게 하고, 윈도와 앱 간 원활한 작업 흐름을 만드는데 도움을 준다. 파워포인트와 팀즈가 리콜로 앱을 확장했다. 마이크로소프트는 윈도 검색에 의미 기반 검색 기능을 추가했다.'윈도 시맨틱 인덱스(Windows Semantic Index)'다. 벡터 임베딩 API로 개발자는 앱 데이터를 사용해 자체 벡터 저장소와 RAG를 구축하게 해준다. 리콜 데이터베이스는 윈도 시맨틱 인덱스로 구동된다. 리콜은 다중모드 SLM을 포함해 동시에 실행되고 OS 자체에 통합된 여러 첨단 AI 모델을 기반으로 한다. 모델은 다양한 종류의 콘텐츠를 이해하고, 여러 언어로 작동해 윈도에서 텍스트, 이미지, 비디오에 이르는 정보를 이해한다. 이 데이터는 윈도 시맨틱 인덱스란 벡터 저장소에 저장된다. 시맨틱 인덱스는 사용자의 데이터베이스에만 저장된다. 마이크로소프트는 다이렉트ML을 통해 윈도에서 파이토치를 네이티브로 지원한다고 밝혔다. DML은 허깅페이스 내 수천개 모델을 윈도에서 즉시 사용하게 한다. 마이크로소프트는 또한 다이렉트ML을 통해 윈도에서 '웹뉴럴네트워크(WebNN)' 개발자 프리뷰를 제공한다. 이는 웹개발자가 윈도 장치 AI용 실리콘의 이점을 이용하게 한다. 다이렉트ML은 윈도의 머신러닝을 위한 고성능 하위수준 API다. 다이렉트ML은 윈도 하드웨어 파트너의 다양한 옵션을 추상화하고, GPU와 NPU 전반을 지원한다. 곧 CPU 통합도 제공될 예정이다. ONNX 런타임, 파이토치, WebNN 같은 프레임워크와 통합된다. 다이렉트ML은 모든 윈도 GPU에서 사용할 수 있다. 인텔 AI 부스트를 탑재한 인텔 코어 울트라 프로세서 지원은 곧 개발자 프리뷰로 제공되고, 스냅드래곤X 엘리트 SoC의 퀄컴 헥사곤 NPU도 곧 출시된다. 리눅스용윈도서브시스템(WSL)은 엔터프라이즈급 보안 요건을 충족하도록 개선됐다. 제로트러스트 기능인 '리눅스 인튠 에이전트'와 '마이크로소프트 엔트라ID'와 통합된다. 마이크로소프트는 Arm용 윈도의 개발자 생태계 강화도 이어갔다. 비주얼스튜디오가 'Arm 기본 SQL서버 개발자도구(SSDT)'를 포함한다. 닷넷8에 Arm 관련 성능 개선 사항이 포함됐고, 유니티 게임 편집기가 미리보기로 제공된다. 윈도용 Arm 네이티브 도커 도구를 사용할 수 있다.

2024.05.22 02:02김우용

오픈엣지, 중기부 '초격차 스타트업 1000+ 육성사업'에 선정

반도체 설계자산(IP) 플랫폼 전문회사 오픈엣지테크놀로지(이하 오픈엣지)는 중소벤처기업가 주관하는 '2024년 초격차 스타트업 1000+ 육성사업'에 선정됐다고 21일 밝혔다. 해당 사업은 시스템반도체, 빅데이터·AI, 로봇 등의 신사업 10대 분야에서 국가 경제의 미래와 글로벌 시장을 선도할 딥테크 스타트업을 1,000개 이상 육성하는 것을 목표로 하고 있다. 선정된 기업들은 사업화 자금, 기술개발·정책자금·기술보증 등 다양한 혜택을 지원 받게 된다. 오픈엣지가 2019년 업계 최초로 출시 및 고객사 통해 양산 성공한 고효율 4·8비트 혼합정밀도 인공지능 프로세서 NPU IP인 'ENLIGHT(인라이트)'는 면적, 성능, 전력소모량 측면에서 높은 경쟁력을 갖추고 있다. 이 제품은 실시간 반응이 필요한 환경 또는 네트워크 연결이 제한된 환경에서 용이하다. 오픈엣지는 해당 IP를 활용해 고객사의 SoC 개발을 지원하고, 다양한 분야에서 활용 가능한 통합 AI 플랫폼을 구축하여 반도체 산업 및 국가 차원에서 온디바이스 AI 산업의 확산과 활성화를 도모할 계획이다. 오픈엣지는 2020년에 'BIG3 혁신분야 창업패키지'에 선정돼 3년간 정부 지원을 받았다. 이러한 성과가 우수한 기업으로 재선정되어 향후 2년 동안 최대 10억 원의 추가 지원 자금을 지원받게 되었다. 이번 후속 지원을 통해 오픈엣지는 NPU IP기술 개발을 더욱 고도화하고, 글로벌 탑티어 기업은 물론 해외 중소형 팹리스 기업을 대상으로 IP 판매 활동을 강화할 계획이다. 이성현 오픈엣지 대표는 “이번 프로젝트를 계기로 NPU 기술을 지속적으로 개발해 고객에게 더 높은 가치를 제공할 것”이라며 “혁신적인 기술 리더로서의 입지를 더욱 공고히 하고, 국내외 신규 고객을 유치하여 국가 경쟁력 강화에 적극적으로 기여할 것”이라고 밝혔다. 한편 오픈엣지는 대규모 언어 모델(LLM)의 핵심 요소인 '트랜스포머' 신경망 지원을 위한 8·16비트 혼합정밀도 고성능 NPU IP인 'ENLIGHT PRO(인라이트 프로)'를 최근 출시했다.

2024.05.21 09:53장경윤

레노버, 스냅드래곤 X 기반 윈도 노트북 2종 공개

레노버가 21일 퀄컴 스냅드래곤 X 엘리트 기반 윈도 PC 2종을 공개했다. 신제품은 콘텐츠 제작 기능을 강화한 '요가 슬림 7x', 업무용 기능을 강화한 '씽크패드 T14s 6세대' 등 2종이다. 요가 슬림 7x는 스냅드래곤 X 엘리트 탑재 헥사곤 NPU(신경망처리장치)를 활용해 텍스트-이미지 변환, 동영상 편집, 텍스트 생성을 처리한다. DCI-P3 색공간과 sRGB 색공간을 100% 지원하는 14.5인치, 2944×1840 화소 OLED 디스플레이를 탑재했고 최대 밝기는 1천 니트, 최대 화면 주사율은 90Hz다. 두께는 12.9mm, 무게는 1.28kg이며 70Whr 대용량 배터리를 탑재했다. 메모리는 32GB까지, PCI 익스프레스 4.0 기반 SSD는 최대 1TB까지 선택할 수 있다. 씽크패드 T14s 6세대는 14인치, 2880×1880 화소 OLED 디스플레이를 선택 가능하며 메모리는 최대 64GB, SSD는 최대 1TB까지 선택할 수 있다. 두께는 16.9mm, 무게는 1.24Kg이며 58Whr 배터리를 내장했다. 펌웨어 변조를 막는 보안 부팅, 악성코드 감염/침입을 막는 AI 기반 위협 탐지 기능을 제공한다. 두 제품 모두 와이파이 최신 규격인 와이파이7(802.11be)을 지원한다. 국내에는 올 하반기 출시 예정이며 구체적인 출시 일정과 가격은 미정이다.

2024.05.21 09:47권봉석

인텔, NPU 내장 데스크톱용 '애로우레이크' 4분기 출시 재확인

인텔이 20일(미국 현지시간) 데스크톱PC용 차세대 프로세서 '애로우레이크'(Arrow Lake)를 올 4분기 출시하겠다고 밝혔다. 인텔은 지난 해 인텔 4(Intel 4) 공정 기반 프로세서인 코어 울트라(개발명 '메테오레이크')를 노트북에만 출시했다. 데스크톱PC용 프로세서 신제품으로는 2022년 출시한 13세대 코어 프로세서(랩터레이크)를 일부 개선한 14세대 코어 프로세서(랩터레이크 리프레시)를 출시했다. 인텔이 올 4분기 출시할 애로우레이크는 인텔 20A(Å, 0.2nm급) 공정에서 생산되며 반도체 후면 전력 전달 기술 '파워비아'(PowerVIA), 새 트랜지스터 구조 '리본펫'(RibbonFET) 등 신기술이 모두 투입된다. 2021년 12세대 코어 프로세서(엘더레이크) 이후 현재까지 쓰이는 LGA 1700 소켓 대신 LGA 1851 소켓이 적용되며 DDR5 메모리만 지원할 것으로 예상된다. 애로우레이크에는 AI 연산을 가속할 NPU(신경망처리장치)도 탑재될 예정이다. CES 2024에서 미셸 존스턴 홀터스 인텔 클라이언트 컴퓨팅 그룹(CCG) 수석부사장은 "애로우레이크는 AI 가속 성능을 갖춘 게임용 프로세서가 될 것"이라고 밝히기도 했다. 반면 AMD는 인텔보다 앞선 올 1월 라데온 700M GPU와 NPU를 탑재한 라이젠 8000G 프로세서를 출시했다. 애로우레이크에 탑재되는 NPU의 성능은 지난 해 출시된 코어 울트라 시리즈1과 비슷한 수준인 11 TOPS(초당 1조 번 연산) 수준으로 예상된다. AI 처리 성능이 추가로 필요할 경우 데스크톱PC의 그래픽카드를 교체해 이를 쉽게 높일 수 있기 때문이다. 인텔은 오는 6월 초 대만 타이베이에서 진행되는 동북아 최대 규모 ICT 전시회 '컴퓨텍스 2024'에서 애로우레이크 관련 상세 정보를 공개할 예정이라고 밝혔다. 행사 첫 날인 4일 오전 11시(대만 현지시간) 팻 겔싱어 인텔 CEO가 진행하는 기조연설에서 관련 정보가 공개될 것으로 보인다.

2024.05.21 09:29권봉석

지금 뜨는 기사

이시각 헤드라인

삼성 파운드리 8나노 '방긋'...2나노는 고객 잡기 숙제

이정헌 넥슨 대표 "NDC 통해 현업에서 마주한 현실과 해법 나누길"

"지역 바이오기업 발굴 안하는 건 진흙속 진주 묵혀두는 것"

배경훈 장관 후보자의 우선 과제는

ZDNet Power Center