AI 반도체 · 메모리 아키텍처
낸드 플래시(NAND flash)를 GPU 옆에 쌓는 HBF가 등장하고, 한 메모리 기업이 프로세서를 낸드 위에 직접 붙이는 특허를 공개하면서 “HBM이 사라진다”는 말까지 나왔다. 사실관계를 따라가 보면, 답은 대체가 아니라 역할의 재배치에 가깝다.
인공지능(AI) 반도체에서 “메모리”를 말하면 거의 모든 관심이 HBM(High Bandwidth Memory, 고대역폭 메모리)으로 쏠려 있었다. 그래픽처리장치(GPU, Graphics Processing Unit) 옆에 HBM을 몇 개나 붙일 수 있는지, 대역폭을 얼마나 끌어올리는지가 줄곧 화제였다.
그런데 최근 그 화제의 한쪽에 솔리드스테이트드라이브(SSD, Solid State Drive)에 들어가던 낸드 플래시가 끼어들기 시작했다. “HBM의 다음은 HBM이 아니라 HBF(High Bandwidth Flash, 고대역폭 플래시)”라는 이야기가 나오더니, 한 발 더 나아가 HBM이 주연 자리를 내주고 조연으로 밀려난다는 주장까지 등장했다. 불을 댕긴 것은 한 낸드 기업이 공개한 특허였다. 정말 HBM의 시대는 저무는 것일까. 이 질문을 처음부터 따라가 본다.
HBF는 HBM과 SSD 사이에 새로 끼워 넣는 메모리 계층이다. 2026년 2월, 미국의 낸드 기업 샌디스크(Sandisk)와 SK하이닉스는 미국 캘리포니아 밀피타스에서 HBF 표준화 착수 행사를 열고, 오픈 컴퓨트 프로젝트(OCP, Open Compute Project) 안에 전용 작업반을 만들었다.
흥미로운 선택이 하나 있다. HBM 같은 메모리 표준은 보통 반도체 표준화 기구인 JEDEC(Joint Electron Device Engineering Council)에서 나오는데, HBF는 JEDEC이 아니라 OCP를 택했다. OCP의 작업반은 목표 중심으로 빠르게 움직여, 변화가 잦은 AI 시장에 맞춰 사양을 실시간으로 고쳐 나가기 좋다는 것이 업계 설명이다. 게다가 HBF는 HBM과 신호를 주고받는 방식(인터페이스) 자체가 달라서, 여러 회사가 함께 쓰려면 처음부터 규격을 맞춰야 한다. HBF는 HBM을 그대로 대체하는 부품이 아니다.
샌디스크가 제시한 1세대 HBF의 목표 사양을 보면, 낸드 다이(die, 반도체 칩 한 장) 16개를 한 스택으로 쌓아 512GB 용량과 초당 1.6TB의 읽기 대역폭을 노린다. HBM 차세대 규격인 HBM4와 거의 같은 면적·전력·높이에 맞추면서 용량은 HBM의 8~16배를 담겠다는 구상이다. 회사 측 로드맵은 2세대에서 초당 2TB 이상, 3세대에서 초당 3.2TB까지, 스택 용량도 1TB·1.5TB로 키운다고 밝혔다. 일정으로는 2026년 하반기 첫 시제품, 2027년 초 HBF를 탑재한 초기 추론 시스템을 목표로 잡았다. 다만 지금 공개된 수치에는 회사의 내부 시뮬레이션과 개발 목표가 섞여 있어, 실제 제품의 지연 시간·전력·신뢰성은 시제품이 나온 뒤에야 확인할 수 있다.
책상에서 일하는 모습을 떠올려 보자. 책상 위에 펼쳐 둔 책 몇 권이 HBM이다. 손만 뻗으면 닿지만 올려 둘 수 있는 양이 적다. 지하 서고는 SSD다. 거의 무한히 많지만 한 번 가져오려면 시간이 걸린다.
HBF는 그 사이, 책상 옆에 둔 책수레에 가깝다. 책상만큼 빠르게 손이 닿지는 않아도, 책상보다 훨씬 많은 책을 곁에 둘 수 있다. AI가 다루는 모델이 점점 커지는 시대에 이 “곁에 둘 수 있는 양”이 중요해졌다.
샌디스크가 차세대 메모리 후보인 자기저항메모리(MRAM)나 저항변화메모리(RRAM) 대신 낸드를 고른 이유는, 낸드가 밀도·확장성·비용에서 이미 검증된 기술이기 때문이다. 여기에 낸드에는 HBM이 갖지 못한 장점이 하나 있다. 낸드는 비휘발성이다. 즉 전원을 꺼도 데이터가 사라지지 않는다. 동적 램(DRAM, Dynamic Random Access Memory)으로 만든 HBM은 데이터를 유지하려고 끊임없이 전기를 다시 넣어 주는 “리프레시” 동작이 필요하지만, 낸드는 그럴 필요가 없다. 전력이 곧 비용인 추론 시대에 이는 작지 않은 강점이다.
그런데 의문이 생긴다. 낸드는 원래 DRAM보다 훨씬 느린데, 어떻게 초당 테라바이트 단위의 대역폭을 만든다는 것일까. 핵심은 낸드 하나를 빠르게 만드는 데 있지 않고, 동시에 움직이는 낸드의 수를 극단적으로 늘리는 데 있다. SSD 안에서는 컨트롤러가 여러 채널로 여러 낸드에 동시에 명령을 보내고, 그 안에는 다시 여러 다이가, 다이 하나 안에서도 여러 “플레인(plane)”이 서로 다른 데이터를 동시에 처리한다. 마이크론(Micron)이 최신 낸드에서 다이당 플레인을 종전 2~4개에서 6개로 늘려 강조하는 것도 같은 맥락이다. 셀 하나의 속도를 바꾸지 않고도 한 번에 더 많은 명령을 내려 전체 처리량을 끌어올리는 것이다.
고속도로를 떠올리면 쉽다. 차 한 대를 더 빠르게 만드는 대신, 차선을 수십 개로 늘려 같은 시간에 더 많은 차를 보내는 방식이다. HBF는 여기에 넓은 인터페이스와 다이 적층을 더해, 수많은 채널과 다이와 플레인을 한꺼번에 열어 두고 한 장의 제어용 칩이 그 동작을 동시에 조율한다.
여기에는 또 하나의 선택지가 있다. 낸드는 셀 하나에 몇 비트를 담을지 고를 수 있다. 한 셀에 1비트만 담는 SLC(Single-Level Cell)는 용량이 작은 대신 빠르고 수명·안정성에 여유가 있다. 3비트를 담는 TLC(Triple-Level Cell), 4비트를 담는 QLC(Quadruple-Level Cell)로 갈수록 용량은 커지지만 읽고 쓰는 과정이 까다로워진다. 요즘 3차원 낸드는 평소 TLC·QLC로 쓰던 영역을 필요할 때만 SLC처럼 쓰는 “pSLC” 모드도 지원한다. TLC를 SLC처럼 쓰면 용량은 1/3로, QLC는 1/4로 줄지만 셀 동작이 빨라지고 오류 여유가 커진다. 결국 HBF는 용량을 끝까지 가져갈지, 아니면 일부 용량을 포기하고 속도와 수명을 챙길지까지 함께 골라야 하는 기술인 셈이다.
지금부터 짚는 낸드의 약점은 그대로 HBF의 한계를 결정한다. 낸드는 셀 안에 전자를 가둬서 데이터를 기억한다. 가둔 전자의 양에 따라 셀이 전류를 흘리기 시작하는 지점, 곧 “문턱 전압”이 달라지고, 컨트롤러는 이 차이를 읽어 0과 1을 구분한다. 그런데 셀 하나에 더 많은 비트를 담을수록 구분해야 할 상태가 촘촘해진다. SLC는 두 가지 상태만 나누면 되지만, TLC는 여덟 가지, QLC는 무려 열여섯 가지 상태를 좁은 간격 안에서 갈라야 한다.
같은 넓이의 주차장에 주차 칸을 더 많이 그리는 것과 비슷하다. 칸이 둘이면 차를 어느 칸에 댔는지 헷갈릴 일이 없지만, 같은 폭에 칸을 열여섯 개로 그어 놓으면 차가 조금만 비뚤어져도 어느 칸인지 분간하기 어려워진다. 비트를 더 담는다는 것은 칸을 더 촘촘히 긋는 일이다.
문제는 가둔 전자가 가만히 있지 않는다는 점이다. 시간이 지나거나 열을 받으면 조금씩 새어 나가 저장된 값이 흔들린다. 기록한 값을 얼마나 오래 유지하느냐, 이것을 “리텐션(retention, 데이터 보존)”이라 부른다. 게다가 쓰고 지우는 동작 자체가 셀을 갉아먹는다. 데이터를 넣고 빼려면 전자를 절연막 너머로 밀어 넣었다 빼야 하는데, 이 프로그램·소거(P/E, Program/Erase) 동작을 반복하면 절연막에 미세한 손상이 쌓인다. 셀이 이를 몇 번이나 견디느냐가 “인듀어런스(endurance, 쓰기 내구성)”다. 많이 써서 닳은 셀일수록 전자도 더 쉽게 새기 때문에 인듀어런스와 리텐션은 함께 나빠지는 경향이 있다. 심지어 같은 곳을 너무 자주 읽기만 해도 주변 셀이 흔들리는 “리드 디스터브(read disturb)”가 생긴다.
그래서 낸드는 혼자 동작하지 않는다. 컨트롤러가 쓰기를 골고루 분산하고(웨어 레벨링), 약해진 데이터를 다른 곳으로 옮겨 다시 쓰며, 무엇보다 오류 정정 부호(ECC, Error Correction Code)로 잘못 읽힌 비트를 끊임없이 고쳐 낸다. 요즘은 LDPC(Low-Density Parity-Check)처럼 강력한 방식이 쓰여, 단순히 0인지 1인지 판정하는 데 그치지 않고 어느 값일 가능성이 높은지를 따져 복원한다. 다만 이 정정 능력을 높이려면 그만큼 여분 공간과 연산, 전력이 더 들고, 한 번에 오류가 너무 많이 나면 끝내 복구하지 못하는 경우도 생긴다.
정리하면 낸드는 오류가 전혀 없는 메모리가 아니라, 어느 정도의 오류를 전제로 컨트롤러가 끊임없이 고쳐 가며 쓰는 메모리다. 이 부담은 작은 데이터가 쉴 새 없이 생겼다 지워지는 작업에서 특히 커진다. 대표적인 것이 KV(Key-Value, 키-값) 캐시다. 실제 기록한 양보다 낸드 내부에서 훨씬 많은 쓰기가 일어나는 “쓰기 증폭”이 발생하고, 그만큼 셀 수명도 빨리 깎인다. 그래서 HBF는 한번 학습하면 잘 바뀌지 않는 읽기 중심의 모델 가중치부터 맡고, 쓰기가 잦은 KV 캐시는 HBM이나 별도의 고성능 계층에 두는 쪽이 현실적이다.
AI 서버의 전력 밀도는 계속 높아지고 있다. GPU 하나가 수백 와트를 쓰고 랙 하나가 100kW를 넘어서면서, 이제는 공기만으로 열을 식히기 어려워졌다. 칩에 냉각판을 붙이는 직접 액체 냉각을 넘어, 서버 전체를 절연성 액체에 담그는 액침 냉각까지 거론된다. 다만 데이터센터의 낸드가 실제로 100도가 넘는 액체 속에서 동작한다고 이해하면 정확하지 않다. 냉각 액체의 운용 온도는 그보다 훨씬 낮다. 정작 봐야 할 것은 GPU 옆에 놓인 HBF가 그 자리에서 오랜 시간 겪는 국부 온도와, 부하에 따라 데워졌다 식었다 하는 온도 변화다.
낸드 업계는 장기 보존 특성을 빨리 확인하려고 70도에서 120도가 넘는 고온에 데이터를 보관하는 “가속 평가”를 한다. 높은 온도에서는 전자가 에너지 장벽을 넘기 쉬워져 열화가 빨라지므로, 수년 치 변화를 짧게 압축해 관찰하는 것이다. 이런 가속 시험이 가능하다는 사실 자체가 온도가 낸드 수명에 얼마나 강하게 작용하는지를 보여 준다. 더구나 HBF처럼 16개 다이가 한 패키지에 들어가면, 일반 SSD처럼 문제 생긴 드라이브만 뽑아 갈기가 어렵다. 일부 다이만 먼저 닳아도 패키지 전체의 신뢰성과 수명에 영향을 준다.
가속 평가는 오븐에 넣어 일부러 빨리 늙히는 실험에 가깝다. 실온에서 몇 년 걸려 나타날 변화를 고온에서 며칠 만에 관찰한다. 제품을 그 온도에서 쓴다는 뜻이 아니라, 온도를 올리면 노화가 빨라진다는 성질을 거꾸로 이용하는 것이다.
해법이 없지는 않다. GPU와 HBF의 열 경로를 분리해 각각 정밀하게 식히거나, 일부 다이를 여분으로 두고 오류가 늘어난 부분을 동적으로 격리할 수 있다. 앞서 본 pSLC를 쓰면 수명과 보존 여유는 커지지만, HBF가 내세우는 용량 이점은 다시 줄어든다. 결국 HBF는 낸드를 쌓는 패키징 기술 하나로 완성되지 않는다. 셀 구조와 병렬 인터페이스, 컨트롤러, 오류 정정, 열 설계, 소프트웨어가 모두 맞물려야 하는 시스템 기술이다.
이 기술을 적극적으로 미는 SK하이닉스는 AI용 낸드 전략을 “AIN(AI NAND) 패밀리”로 정리했다. 대용량을 가장 싸게 담는 AIN D(Density), 입출력 성능을 끌어올린 기업용 AIN P(Performance), 그리고 HBF를 적용한 AIN B(Bandwidth)다. 역할 분담도 비교적 분명하다. 샌디스크는 낸드 셀과 “CBA(CMOS directly Bonded to Array)”라 부르는 웨이퍼 본딩, 컨트롤러 설계를 맡고, SK하이닉스는 HBM에서 쌓은 실리콘 관통 전극(TSV, Through-Silicon Via)과 고단 적층, 고대역폭 패키징 경험을 더한다. 다만 실제 생산 분담과 첫 고객, 인터페이스 규격은 아직 공개되지 않았고, 표준화 협력이 곧 대규모 양산 계약을 뜻하지도 않는다.
삼성전자의 행보는 결이 다르다. 아직 OCP 표준화 참여나 HBF 제품 사양, 출시 일정을 공식 발표하지 않았다. 그렇다고 포기했다고 단정할 수는 없다. 표준도 고객 요구도 정해지지 않은 초기 기술인 만큼, 내부 개발을 이어가며 시장을 지켜보고 있을 수도 있다. 공개된 전략만 보면 삼성은 낸드를 GPU 패키지 안에 넣기보다, PCIe(Peripheral Component Interconnect Express) 6세대 기반 고성능 기업용 SSD와 페타바이트급 스토리지처럼, 랙과 데이터센터 차원에서 더 빠르고 크게 활용하는 방향을 강조한다.
그리고 엔비디아(NVIDIA)의 최근 움직임을 보면 이 방향에도 충분한 설득력이 있다. 엔비디아의 “베라 루빈(Vera Rubin)” 시스템은 이제 GPU 랙 하나를 뜻하지 않는다. 연산 랙과 베라 중앙처리장치(CPU) 랙, 별도의 스토리지 랙, 그리고 이들을 잇는 네트워크 랙이 하나의 묶음(팟)을 이룬다. 여기서 스토리지 랙의 핵심이 “블루필드-4(BlueField-4)”라는 스토리지 프로세서이고, 그 위에 올라가는 첫 구현이 CMX(Context Memory Storage, 컨텍스트 메모리 스토리지)다.
앞서 KV 캐시가 낸드에 부담이 된다고 했다. 엔비디아는 아예 이 KV 캐시를 위한 전용 계층을 따로 만들었다. CMX는 KV 캐시처럼 크고 일시적이지만 반복해 쓸 가치가 있는 데이터를 GPU의 HBM 밖에 보관하고, 고속 이더넷(스펙트럼-X)으로 여러 GPU가 나눠 쓰도록 설계됐다. 엔비디아는 이 방식이 전통적 스토리지보다 초당 처리 토큰을 약 5배, 전력 효율을 약 5배 끌어올린다고 밝혔다. 이 구조가 보여 주는 의미는 분명하다. 낸드와 GPU 사이의 거리를 줄이는 방법이 “HBM 옆에 HBF를 붙이는 것” 하나만은 아니라는 점이다. GPU 패키지를 복잡하게 만들지 않고도, 독립된 스토리지 랙을 고속 네트워크로 묶어 하나의 거대한 메모리 계층처럼 동작시킬 수 있다. 패키지 바로 옆의 HBF보다 지연 시간은 길지만, 저장 장치를 독립적으로 늘리고 갈아 끼우기 쉬우며 열과 수명을 연산 칩과 분리해 관리할 수 있다.
여기서 짚어 둘 것이 있다. HBF와 CMX는 경쟁 관계처럼 보이지만 같은 데이터를 두고 싸우는 것이 아니다. HBF가 먼저 노리는 것은 잘 바뀌지 않는 읽기 중심의 모델 가중치이고, CMX가 노리는 것은 끊임없이 생겼다 지워지는 쓰기 중심의 KV 캐시다. 성격이 정반대인 데이터다. 그래서 한 팟 안에서도 HBF가 GPU 옆에서 가중치를 들고, CMX가 랙 차원에서 KV 캐시를 나눠 갖는 식으로 공존할 가능성이 충분하다.
다시 처음의 질문으로 돌아간다. 불을 댕긴 샌디스크의 특허(미국 특허 US 12,430,274 B2)는 꽤 급진적이다. 지금까지 HBF가 GPU 옆에 낸드를 나란히 두는 그림이었다면, 이 특허는 아예 멀티코어 프로세서를 낸드(CBA 타일) 위에 직접 붙여 한 덩어리로 쌓고, HBM을 그 주변으로 밀어내는 구조다. 한마디로 HBM을 주연에서 조연으로 강등시키겠다는 그림이다. 여기서 세 가지를 냉정하게 봐야 한다.
오히려 지금 업계가 그리는 현실적인 그림은 대체가 아니라 공존이다. SK하이닉스는 한 국제전기전자공학회(IEEE) 논문에서, 엔비디아의 블랙웰(Blackwell) GPU 옆에 HBM과 HBF를 함께 붙인 “H³” 하이브리드 구조를 시뮬레이션했다. 읽기 전용 데이터는 HBF에, 나머지는 HBM에 두는 방식이다. 그 결과는 다음과 같다.
| 항목 | HBM 단독 대비 개선 |
|---|---|
| 와트당 처리 성능 | 최대 2.69배 |
| 초당 처리 토큰 (100만 토큰 기준) | 1.25배 |
| 초당 처리 토큰 (1,000만 토큰 기준) | 6.14배 |
| 동시 처리 질의 수(배치 크기, 1,000만 토큰) | 최대 18.8배 |
요지는 간단하다. HBM이 잘하는 일과 HBF가 잘하는 일이 다르므로, 둘을 같이 쓰는 편이 가장 똑똑하다는 것이다. 다만 이 수치는 모두 회사의 자체 시뮬레이션 결과이며, 실제 제품에서 그대로 재현될지는 별개의 문제다.
그러니 오해하지 말아야 한다. HBF가 등장하고 급진적인 특허가 나온다고 해서 HBM이 사라지는 것은 아니다. HBF는 HBM과 인터페이스부터 다른 별개의 계층이다. HBM은 여전히 지연 시간과 대역폭이 가장 중요한 데이터를 맡고, HBF는 더 큰 용량을 상대적으로 낮은 비용에 제공하는 자리에 가깝다. HBF가 낸드를 쓴다고 해서 기존 SSD를 단순히 쌓아 올린 것도 아니다. 채널과 다이와 플레인을 극단적으로 병렬화하고, 제어용 다이와 전용 인터페이스, 신뢰성 관리 기술을 새로 설계해야 한다. 반대로 낸드를 SLC처럼 쓴다고 모든 게 해결되는 것도 아니다. 속도와 내구성은 좋아져도 TLC·QLC가 주는 용량·비용 이점이 크게 줄기 때문이다.
앞으로 무엇을 봐야 하나. 샌디스크의 첫 시제품이 2026년 하반기에 실제로 나오는지, 초당 1.6TB라는 목표가 실물에서도 유지되는지, 읽기 중심 가중치뿐 아니라 쓰기가 많은 작업에서도 수명을 어디까지 보장하는지, 고온과 반복적인 온도 변화 뒤에도 보존 특성과 오류율을 견디는지, 오류 정정에 얼마나 많은 면적과 전력을 쓰는지가 관건이다. 무엇보다 GPU·클라우드 기업이 HBF를 실제로 채택하는지, 아니면 블루필드-4 스토리지 랙과 CMX 같은 독립 스토리지를 키우는 길을 택하는지가 HBF의 자리를 결정할 것이다.
처음엔 GPU가 얼마나 빨리 계산하느냐의 경쟁이었고, 다음엔 HBM이 얼마나 빨리 데이터를 공급하느냐의 경쟁이었다. 이제는 수백 기가바이트에서 수 테라바이트에 이르는 모델과 문맥을 어디에 두고, 얼마나 빨리 움직이며, 몇 년 동안 안정적으로 쓸 수 있느냐까지 경쟁에 들어왔다. 그 안에서 HBM은 사라지는 것이 아니라, 자기가 가장 잘하는 자리로 역할이 재배치되는 중이다. HBF는 그래서 매력적인 발상이되, 아직 해답이라기보다는 풀어야 할 문제에 더 가깝다.