김정호 카이스트 교수 인터뷰: HBM의 다음 승부는 HBF다

김정호 카이스트 교수 인터뷰: HBM의 다음 승부는 HBF다

---

“AI시대는 메모리 반도체가 핵심…  HBM에 이어 HBF 급부상할 듯”[현안 인터뷰]

□ 3줄 요약


1. AI 성능 경쟁의 중심은 GPU가 아니라 HBM·HBF 같은 메모리 아키텍처이며, 데이터 병목 해결이 AI 혁신의 핵심임


2. 김정호 카이스트 교수는 30년 가까이 HBM을 연구한 핵심 인물로, AI 워크로드 기반 메모리 설계를 통해 HBF와 AI 컴퓨터 아키텍처 개념을 제시함


3. 한국은 메모리 초강국이라는 유리한 위치에 있으며, 인재와 인프라 전략이 갖춰질 경우 AI 시대 주도권을 가져올 결정적 기회를 맞고 있음

---

□ AI 경쟁의 중심은 GPU가 아니라 메모리


요즘 시장의 화두는 GPU임


엔비디아의 블랙웰, 루빈, AMD MI300, 구글 TPU 등 GPU 스펙이 계속 업데이트되고,


투자자들도 GPU 공급이 시장 성장을 결정할 것이라 말함


하지만 실제 AI 연산 과정 내부를 들여다보면, GPU가 아니라 메모리가 성능을 좌우하는 구조임


초거대 모델은 질문 하나를 처리할 때 단순 계산만 하는 것이 아니라


엄청난 양의 중간 결과값, 즉 KV 캐시를 끊임없이 메모리에서 읽고 쓰는 과정을 반복함


이 데이터를 제 때 GPU 앞까지 가져오지 못하면 GPU는 아무리 빠른 속도로 명령을 받아도 멈춰 서게 됨


AI 병목이 GPU의 계산력 부족에서 생기는 것이 아니라 메모리가 데이터를 밀어 넣지 못해서 생기는 이유가 여기에 있음


그래서 AI 시장은
지금 연산 경쟁 → 데이터 공급 경쟁,
칩 중심 경쟁 → 메모리 아키텍처 경쟁으로 이동 중임


AI의 목줄은 GPU가 아니라 메모리가 쥐게 되는 구조 변화가 이미 진행되고 있음


□ HBM이 만든 AI 시대, 그리고 한국의 독보적 위치


HBM은 D램을 여러 층 수직으로 쌓아 병렬로 데이터를 주고받을 수 있도록 설계한 고대역폭 3D 적층 메모리임


이 기술은 수율·공정 난이도·비용 모두 극단적으로 높아서 오랫동안 “틈새 고급 메모리” 취급을 받았음


삼성전자와 SK하이닉스도 한때 HBM의 수요처를 찾지 못해 고민했고


AI라는 개념도 존재하지 않던 시절이었기 때문에 HBM은 누가 봐도 주류가 아닌 길이었음


그러나 2015년 구글 TPU에 HBM이 채택되면서 상황이 달라지기 시작했고


2022년 챗GPT 등장 이후 HBM은 AI 서버의 필수 구성 요소로 격상됨


오늘날 엔비디아 GPU 성능이 시장을 압도할 수 있는 이유 역시 HBM의 초고속 데이터 공급 능력 덕분임


이제는 HBM 없이는 초거대 AI도, 생성형 AI도, RAG 기반 검색형 AI도 작동할 수 없음


HBM이 AI 시대의 문을 연 셈임 그리고 중요한 사실 하나,


HBM 최신 버전 양산 능력을 가진 기업은 전 세계에 단 3곳뿐인데 그 중 최고 경쟁력은 한국이 쥐고 있음


반도체가 한국 수출의 26%를 차지하고 있다는 사실보다 한국이 AI 시대의 핵심 부품을 사실상 독점하고 있다는 점이 더 중요함


HBM은 한국이 운 좋게 성공한 제품이 아니라
30년 넘게 비주류 기술을 버티며 쌓아온 결과물임


이게 오늘 한국 경제의 숨통을 열고 있는 상황임


□ 다음 승부는 HBF, 메모리 아키텍처 전쟁의 본격화


문제는 AI 데이터 규모가 앞으로 폭발적으로 증가한다는 점임


에이전트 AI가 확산되면 모델이 단일 요청 단위로 실행되는 것이 아니라 여러 AI가 서로 대화하고 협업하며 데이터를 공유하게 됨


이 구조에서는 데이터 처리량과 저장 용량이 지금보다 기하급수적으로 늘어날 수밖에 없음


현재 HBM 용량만으로는 TB급 KV 캐시와 외부 참고 데이터(RAG)를 모두 감당하기 어려움


그래서 나온 개념이 HBF, 고대역폭플래시임


HBM은 초고속 작업 메모리, HBF는 GPU 바로 옆에서 TB급 데이터를 저장하는 캐시 저장소
GPU는 연산 코어


이 세 가지를 가까운 거리에서 하나의 구조로 묶는 설계가 앞으로 AI 성능을 결정하는 핵심이 될 전망임


즉, HBM + HBF + GPU이 3단 구조가 다음 세대 AI 컴퓨터의 기본 아키텍처가 될 가능성이 높음


단순히 더 빠른 메모리를 만드는 문제가 아니라
전체 시스템을 설계하는 능력이 중요해지는 지점임


□ 한국이 잡아야 할 전략: 인재와 인프라


김정호 교수는 한국이 AI 시대에서 승리할 수 있는 조건으로 인프라와 인재 두 가지를 강조함

첫째, 데이터센터 구축 인허가 속도


전기·용수 확보가 늦어지면 데이터센터는 의미가 없음


AI 산업은 속도가 경쟁력이고, 인허가가 몇 년씩 걸리면 이미 게임은 끝난 뒤임


둘째, AI·반도체 국가 장학생 1만 명 전략


매년 1000명씩 10년이면 1만 명 절반이 해외로 나가도 글로벌 네트워크가 자산이 됨


이 메시지는 단순한 교육 지원이 아니라
한국 경제 구조를 재설계하자는 제안임


GPU 확보, HBM 생산, AI 개발자는 이어져 있으며 AI 컴퓨팅은 국가 전략 산업으로 다뤄야 한다는 관점임


□ AI 컴퓨터 아키텍트, 한국이 노려야 할 다음 10년


PC 시대 존 헤네시와 데이비드 패터슨이 컴퓨터 아키텍처로 IT 패러다임을 바꿨듯 AI 시대에는 아직 전체 설계자가 없음


AI 컴퓨팅 아키텍트는 소프트웨어, 알고리즘, 시스템, 전력, 네트워크, HBM·HBF, GPU 모든 요소를 하나의 구조로 엮어내는 역할임


김정호 교수는 앞으로 10년을 한국에서 AI 컴퓨터 아키텍처 설계 완성을 목표로 두겠다고 밝힘


이것이 의미하는 바는 단순함


한국이 제조 강국을 넘어 AI 설계 강국으로 넘어갈 수 있는 마지막 타이밍이라는 것


HBM에서 시작해 HBF로 확장하고 AI 컴퓨터 전체 구조까지 설계한다면


한국은 메모리 공장 국가를 넘어서 AI 시대 세계 기술의 중심에 설 수 있음


□ 마무리하며


AI 시대는 결국 누가 가장 빠르게, 가장 효율적으로 데이터를 처리하고 전달하느냐의 싸움임


HBM은 그 승부를 가능하게 한 첫 열쇠였고
HBF는 다음 문을 여는 기술임


그리고 그 중심에는 한국이 있고 우리는 이미 정답을 쥐고 있음


HBM이 한국을 살린 시대는 끝났고 AI 컴퓨터 아키텍처를 한국이 설계할 시대가 시작되고 있음