지금은 '온디바이스 AI' 시대...인터넷 접속 없어도 OK
오픈AI 챗GPT, 어도비 파이어플라이 등 현재 주목받는 각종 생성형 인공지능(AI) 서비스는 대부분 클라우드에서 구동된다. 웹브라우저나 전용 프로그램을 통해 질문이나 이미지 생성 요청을 넣으면 불과 수 초 안에 원하는 결과물을 되돌려준다. 그러나 현재 클라우드에 절대적으로 의존하는 생성 AI 서비스는 개인 정보 등 프라이버시나 기업 비밀, 민감 정보 노출 가능성에서 자유롭지 않다. 또 클라우드가 생성 AI 처리를 위해 소모하는 막대한 전력 역시 넘어야 할 과제 중 하나다. 시장조사업체 가트너는 지난 해 11월 "모든 AI 활동이 클라우드에서만 이루어진다면 이때 소모되는 전력량은 2030년까지 글로벌 전체 전기 생산량의 3.5%를 차지할 것"이라는 조사 결과를 내놨다. ■ 클라우드 기반 생성 AI 보완하는 '온디바이스 AI' 로이터통신 역시 지난 해 구글 모회사인 알파벳 존 헤네시 의장을 인용해 "AI 추론에 클라우드만 활용하면 이를 처리하는 AI 반도체 가격 뿐만 아니라 전력 소모 등 원가 상승으로 인해 기존 대비 10배 이상으로 높아질 것"이라고 보도했다. 정보 유출과 지연 시간, 비용 상승을 줄이면서 AI를 활용하기 위한 방안으로 제시되는 것이 '온디바이스 AI'다. 수억 개의 매개변수(패러미터)로 최적화된 AI 모델을 인터넷 접속 없이 직접 실행하는 것이다. 온디바이스 AI는 인터넷 접속이 없는 환경에서도 생성 AI를 실행해 일관성 있는 환경을 제공함은 물론 개인정보와 사생활, 기업이나 조직 내 민감 정보를 외부에 노출시키지 않는다는 장점을 지녔다. 보다 정밀한 결과가 필요한 경우에만 클라우드를 활용해 비용 문제도 최소화할 수 있다. ■ 퀄컴, 모바일 이어 PC까지 온디바이스 AI 포트폴리오 확장 현재 주요 글로벌 반도체 기업들은 온디바이스 AI를 활용할 수 있는 고성능 반도체 개발에 총력을 기울이고 있다. 이 중 퀄컴은 스마트폰·태블릿 등 모바일 기기 뿐만 아니라 PC 분야까지 폭넓은 포트폴리오를 가지고 있다. 퀄컴은 스마트폰용 SoC인 스냅드래곤8을 시작으로 지난 6월 자체 개발 '오라이온'(Oryon) CPU를 탑재한 스냅드래곤 X 엘리트/플러스를 출시하며 온디바이스 AI 포트폴리오를 확장했다. 현재 스냅드래곤 X 엘리트/플러스를 탑재한 PC 22종이 국내외 시장에 출시됐다. 스냅드래곤 시리즈 SoC에 내장된 헥사곤 NPU(신경망처리장치)는 생성 AI를 위해 맞춤 설계된 제품으로 저전력 고성능 처리에 특화됐다. AI 연산 성능은 최대 45 TOPS(1초당 1조 번 연산)로 마이크로소프트 윈도11 '코파일럿+' 요구 수준을 넘어선다. 올초 출시된 삼성전자 갤럭시S24 울트라는 물론 최근 출시된 폴더블 스마트폰인 갤럭시Z플립6 등 최신 스마트폰에 탑재된 실시간 통역, 포토 어시스트, 스케치 투 이미지 등 생성 AI 관련 기능이 모두 헥사곤 NPU 기반으로 작동한다. ■ 퀄컴, '퓨처테크 컨퍼런스 2024'서 온디바이스 전략 직접 소개 퀄컴코리아는 오는 10월 10일 오후 코엑스에서 진행되는 '퓨처테크 컨퍼런스 2024'에서 업계·학계 관계자를 대상으로 온디바이스 AI 관련 전략을 설명한다. 퀄컴이 국내 컨퍼런스에서 관련 전략을 직접 소개하는 것은 이번이 처음이다. 퓨처테크 컨퍼런스 2024는 과학기술정보통신부가 주최하고 한국소프트웨어산업협회(KOSA)가 주관하는 국내 최대 규모 디지털 혁신 박람회, '디노 2024'(디지털 혁신 페스타 2024) 행사 일환으로 기획됐다. 첫 날인 10일 오후에는 정철호 퀄컴 CDMA 테크놀로지 코리아 상무가 등장해 이미지와 동영상 등 멀티 모달리티로 확장되는 생성 AI 관련 현황과 도전 과제, 이를 해결할 수 있는 퀄컴의 AI 생태계와 이용자 경험 확장 사례를 소개할 예정이다. ■ 행사 기간 중 ICT 기업 전시회·구직자 멘토링도 동시 진행 퓨처테크 컨퍼런스 2024에는 퀄컴을 비롯해 더존비즈온, 네이버랩스, KT, 퓨리오사AI 등 AI 관련 업계·학계 인사가 등장해 AI가 만들어가는 새로운 미래와 기회에 대한 통찰을 제시할 예정이다. 행사는 사전 등록(유료)을 마친 참가자만 10, 11일 양일간 온·오프라인 참관 가능하다. 행사 등록시 디지털 헬스, 바이오, 백신, 신약 등 보건산업 분야 신기술을 소개하는 컨퍼런스 '디지털 헬스케어 포럼 2024'도 참가할 수 있다. (☞ 디노 2024 페이지 바로 가기) 디노 2024 행사 기간 중 컨퍼런스 이외에 국내외 ICT 기업이 참가하는 전시회, 취업과 이직을 고민 중인 구직자 대상 멘토링 부스, 서울시가 주최하는 스마트시티 ICT 박람회인 '스마트 라이프 위크(SLW) 2024'도 동시 진행된다.
