RAM 과 CPU 관계
일상적인 비유
일상적인 비유를 들어보자
‘주방에서 요리하는 요리사’
- CPU(요리사): 요리를 직접 하는 사람이다
- RAM(조리대): 요리사가 당장 요리할 재료들을 올려두는 넓은 책상이나 도마이다
- SSD/HDD(냉장고/창고): 모든 식재료(데이터와 프로그램)가 보관되어 있는 창고이다.
요리사(CPU)가 요리를 하려면 창고(SSD)에서 매번 재료를 가져오기에는 시간이 너무 오래 걸린다. 그래서 바로 사용할 수 있도록 재료들을 미리 꺼내서 조리대(RAM)에 올려두고 작업을 하는 것이다. 조리대가 넓을수록 (RAM 용량이 클수록) 한 번에 많은 요리를 한꺼번에 효율적으로 할 수 있다.
CPU와 RAM의 관계
CPU와 RAM의 관계는 속도차이 극복과 데이터 병목 현상 해결에 있다
속도의 불균형
CPU연산속도에 비해 SSD/HDD에서 데이터를 가져오는 속도는 상대적으로 느리다. CPU가 연산을 할 때마다 SSD에서 직접 데이터를 가져오면 CPU는 데이터가 올 때까지 아무것도 하지 못하고 쉬어야 하는 Bottleneck 현상이 나타난다.
RAM의 역할
RAM은 CPU와 SSD/HDD 사이에서 속도의 차이를 메워주는 역할을 한다.
- 사용자가 프로그램을 실행하면, 운영체제는 SSD에 있는 프로그램 데이터를 RAM으로 복사한다.
- CPU는 RAM에 접근하여 필요한 데이터와 명령어를 가져와 연산을 한다.
- RAM은 전원이 꺼지면 데이터가 날아가는 휘발성 메모리이므로 작업이 끝날 결과물은 다시 SSD/HDD에 저장해주어야 한다.
RAM과 AI의 관계
2026년 기준 현재 반도체 기업들이 역대급 실적을 올리고 있는 이유는 AI연산은 계산 능력도 중요하지만 데이터 전달 속도도 중요하기 때문이다.
AI를 학습시키기 위해서는 수많은 Parameter를 메모리에 통째로 올려두고 계산을 해야 한다.
최신 GPU는 연산속도가 굉장히 빠르다. 하지만 일반적인 RAM의 구조로는 이 속도에 맞게 데이터 및 Parameter를 공급 하지 못한다.
이 문제를 해결하기 위해 나온 것이 HBM(High Bandwidth Memory)이다.
- HBM은 여러 개의 DRAM 칩을 아파트처럼 수직으로 높게 쌓은 뒤, 칩 전체에 미세한 구멍을 뚫어 수천 개의 통로(TSV)를 연결한 메모리이다.
- 기존 RAM이 ‘왕복 2차선 도로’였다면, HBM은 ‘왕복 128차선 경부고속도로’인 셈이다.
- AI 반도체 바로 옆에 이 HBM을 붙여서 초고속으로 데이터를 주고받게 만들면서, AI 병목 현상을 해결했다. 이 HBM이 워낙 고부가가치 상품이라 메모리 회사들이 엄청난 수익을 올리고 있다.
Leave a comment