'메모리 월' 부순다…GPU·HBM '광연결' 패키징 부상
인공지능(AI) 반도체 고질적 난제로 꼽히는 '메모리 월(Memory Wall)'을 허물기 위한 해법으로, 그래픽처리장치(GPU)와 고대역폭메모리(HBM)를 떼어내 따로 패키징하는 방안이 국내외 메모리·패키징 업계에서 논의되고 있다. 그동안 GPU 바로 옆에 붙여 온 HBM을 일정 거리 떨어뜨리는 대신, 그 사이를 '빛(옵티컬)'으로 연결해 지금보다 수 배 더 많은 HBM을 탑재하는 것이 뼈대다. 22일 한 국내 대형 메모리 제조사 연구원은 "현재 HBM 대역폭과 용량 확대에 어려움을 겪고 있는데, 이를 광연결로 GPU의 쇼어라인(Shoreline) 한계를 극복하고 HBM을 보다 많이 탑재하는 안을 고객사와 논의하고 있다"고 밝혔다. 쇼어라인은 테두리 길이를 말한다. 현재 AI 컴퓨팅 환경에서 연산효율을 떨어뜨리는 핵심요인은 메모리 반도체의 데이터 전송속도다. 연산장치인 GPU 성능은 세대를 거듭하며 비약적으로 성장하는 반면, 데이터를 저장하고 공급하는 메모리 속도가 이를 따라가지 못하며 구조적 성능 장벽(메모리 월)이 형성됐다. 대규모 데이터 통로를 확보한 HBM 등장으로 급한 불은 껐지만 폭증하는 AI 연산량을 감당하기에는 여전히 대역폭과 전송속도가 부족하다는 지적이 이어지고 있다. 그동안 반도체 업계는 한정된 공간에서 메모리 용량과 대역폭을 늘리기 위해 HBM을 수직으로 높게 쌓는 단수 확대에 집중해 왔다. 그러나 12단, 16단을 넘어 20단 이상으로 적층 수가 늘면서 공정 난도는 기하급수적으로 올라갔다. 제한된 높이 규격을 맞추기 어려워지는 등 물리적 한계에 봉착했다. 국제반도체표준협의기구(JEDEC)가 HBM 높이 규격을 완화할 만큼 수직 적층 기술은 임계점에 도달했다. 더 큰 문제는 단수를 높이지 못할 경우 GPU 주변에 HBM의 수를 수평으로 늘려야 하지만, 이마저도 불가능하다는 점이다. 현재 2.5D 패키징 구조에서는 GPU와 HBM이 하나의 기판 위에 밀착해 탑재된다. 이 구조에서는 GPU 칩 테두리의 한정된 길이, 즉 쇼어라인 영역 내에 배치할 수 있는 HBM 수량이 엄격히 제한될 수밖에 없다. 더 많은 HBM을 탑재하고 싶어도 물리적으로 배치할 공간이 허락되지 않는 구조적 교착상태에 빠진 것이다. 국내외 반도체 업계에서 떠오른 대안이 GPU와 HBM을 분리해 따로 패키징하는 방안이다. 데이터 전송시간을 최소화하기 위해 칩 옆에 밀착해야 한다는 기존 반도체 설계를 뒤집는 발상이다. 두 칩을 분리해 거리를 두는 대신, 압도적으로 빠른 빛 신호를 이용해 연동함으로써 늘어난 물리적 거리를 극복하는 메커니즘이다. HBM을 GPU 보드 내에서 조금 떨어뜨려 배치하면 GPU 쇼어라인 한계에서 자유로워진다. 공간 제약이 사라져 단수를 무리하게 높이지 않고도 HBM을 옆으로 넓게 펼쳐 지금보다 수 배 이상 많은 양을 보드 안에 탑재할 수 있다. 이는 AI 가속기 시스템 전체 메모리 용량과 데이터 대역폭이 지금과 비교할 수 없을 정도로 급격히 확대됨을 의미한다. "HBM, GPU 밑단 배치 논의"…폼팩터 변화할 수도 현재 업계에선 HBM을 GPU 보드 내부 어디에 놓을지를 두고 다양한 아키텍처 설계안이 도출되고 있다. 앞선 메모리 연구원은 "GPU 바로 주변 공간을 넓게 활용하는 방안부터, GPU 보드 밑단으로 격리하는 방안 등이 논의되고 있다"며 "후자(GPU 보드 밑단으로 격리하는 방안)의 경우, 메인보드를 세로로 길게 확장해야 해 전반적인 폼팩터 변형까지 GPU 업체와 논의 중"이라고 말했다. 구체적으로 HBM이 수 센티미터(cm) 떨어진 상태에서 GPU를 둘러싸거나, 보드 중앙에 따로 HBM 영역을 만든다는 설명이다. 그는 "모든 경우의 수를 열어두고 최적 배치를 논의하고 있다"며 "아직 공식 로드맵으로 확정된 것은 아니지만, 차세대 AI 가속기 구현을 위한 선행연구 차원에서 파트너와 얘기를 나누고 있다"고 덧붙였다. 외주반도체패키징테스트(OSAT) 업계도 이 같은 흐름을 예의주시하고 있다. 글로벌 OSAT 업체 한 관계자는 "광연결은 명확한 흐름이다. 다만 문제는 시점"이라며 "랙과 랙, 그리고 서버와 서버가 먼저 빛으로 연결되고 그 다음 보드 안에 있는 칩끼리 빛으로 이어질 것"이라고 전망했다. 이어 "큰 단위부터 빛으로 연결되겠지만, 현재 옵티컬 연구 속도가 매우 빨라 그리 먼 얘기는 아닐 수 있다"고 기대했다. 기술적으로 보면 GPU와 HBM을 잇는 광연결 기술은 데이터센터에서 서버와 서버 사이를 연결하는 기술과 원리 면에서 일맥상통한다. 다만 대형 장비 간 통신에 쓰이던 광전환 기술을 하나의 보드 및 칩셋 내부 미시적 영역으로 축소해야 한다는 점에서 기술 장벽이 높다. 국내 공동패키징광학(CPO) 소자 개발업체 한 관계자는 "HBM 적층 높이가 한계에 다다르면서 이를 옆으로 넓게 펼쳐 물리적 탑재량을 극대화하는 안이 논의되고 있다"며 "원리는 기존 데이터센터 광연결과 같지만 제한된 보드 공간 내에 구동해야 하는 HBM 광연결은 광소자를 훨씬 더 작고 집적도 높게 미세화해야 해 기술 난도가 더 높다"고 설명했다.
