이 극심한 불균형이 AI의 발목을 잡고 있습니다. 이제 AI가 텍스트를 넘어 1시간 분량의 고화질 비디오를 생성하는 시대로 진입하면서, 기존보다 1,000배 이상의 대역폭과 용량이 절실해졌습니다. 오늘은 AI 반도체의 주권이 GPU에서 메모리로 넘어오는 5가지 핵심 이유를 짚어보겠습니다.

생성형 AI의 핵심인 트랜스포머 모델은 문장 전체를 한꺼번에 펼쳐놓고 단어 간 관계와 문맥을 동시에 계산합니다. 이 과정에서 수조 개의 파라미터를 실시간으로 훑어야 하며, 이전 대화 내용을 전부 기록해두는 ‘KV 캐시(Key-Value Cache)’라는 메모장이 필수적입니다. 대화가 길어지고 영상 데이터가 무거워질수록 메모리에 저장할 분량은 눈덩이처럼 불어납니다.

최근 대세가 된 MoE(전문가 혼합 구조) 방식은 연산 효율은 높였지만 메모리 압박은 오히려 키웠습니다. 특정 연산에 필요한 ‘전문가’ 모델만 호출하더라도, 모든 전문가가 언제든 투입될 수 있도록 메모리에 상시 대기하고 있어야 하기 때문입니다.

현재의 HBM은 속도는 빠르지만 가격이 비싸고 용량 확장에 한계가 있습니다. 이를 해결하기 위해 등장한 개념이 바로 HBF(High Bandwidth Flash)입니다. 낸드 플래시를 HBM처럼 수직으로 쌓아 올려 용량은 10배 키우고 가격은 대폭 낮춘 ‘따뜻한 기억(Warm Memory)’의 기술입니다.

사용자가 체감하는 AI 서비스의 질은 GPU의 테라플롭스(TFLOPS) 수치가 아니라 메모리 성능이 결정합니다. AI 비즈니스의 경쟁력이 ‘정확도’를 넘어 ‘응답 속도’로 이동했기 때문입니다.

이 두 지표는 모두 메모리에서 데이터를 읽어오는 대역폭에 달려 있습니다. GPU 코어 수보다 메모리 속도가 곧 서비스 품질이 되는 시대입니다.

과거 메모리가 GPU의 명령을 받는 ‘하청 부품’이었다면, 이제는 메모리가 컴퓨팅 구조 자체를 결정하는 ‘메모리 센트릭(Memory-Centric)’ 시대가 열리고 있습니다.

특히 메모리 적층 구조의 가장 밑단인 ‘베이스 다이(Base Die)’는 단순한 연결 통로에서 연산 기능까지 수행하는 복합 컴퓨팅 센터로 진화하고 있습니다. 메모리 내부에서 직접 연산하는 PIM(Processor In Memory) 기술도 주목할 부분입니다.

2038년경 등장할 예정인 HBM-8은 핀당 대역폭 64GB/s, 전력 소모 180W라는 스펙을 가질 것으로 예측됩니다. 실리콘 웨이퍼의 크기 제한을 극복하기 위한 유리(Glass) 기판 기술도 반도체의 주도권을 메모리 기업으로 옮겨오고 있습니다.

성능을 높이기 위해 메모리를 높게 쌓을수록 발생하는 최대의 적은 ‘열’입니다. 온도가 높아지면 반도체 내부의 전자가 밖으로 흘러나와(Leakage) 데이터 오류를 일으킵니다. 이제 반도체 설계만큼이나 열 설계(Thermal Design) 전문가의 가치가 치솟고 있습니다.

냉각 기술은 공랭식 → 수랭식 → 이머전 쿨링(Immersion Cooling) → 임베디드 쿨링 단계까지 진화할 것입니다. 냉각을 정복하는 자가 AI의 승기를 잡게 될 것입니다.