AI와 소프트웨어 정의 메모리: 메모리 월 극복

# AI와 소프트웨어 정의 메모리: 메모리 월 돌파하기

현대 컴퓨팅 시스템은 심각한 도전에 직면해 있습니다. 프로세서 성능이 기하급수적으로 증가하는 반면, 메모리에서 데이터 접근 효율성은 크게 뒤처지고 있습니다. 이 현상은 메모리 월(Memory Wall)로 알려져 있으며, 특히 자원 집약적인 인공지능(AI)과 빅데이터 작업에서 더욱 심각해지고 있습니다. RAM 구조는 수십 년 전 확립된 기본 원리를 여전히 유지하고 있지만, 소프트웨어 정의 메모리(Software-Defined Memory) 같은 새로운 접근법이 데이터 관리의 미래를 새롭게 다지고 있습니다.

RAM의 진화: 윌리엄스 튜브에서 DDR까지

랜덤 액세스 메모리(RAM)의 역사는 1947년 윌리엄스 튜브(Williams Tube) 발명으로 시작되었습니다. 이는 전기 충전을 유지해 1024비트 정보를 저장할 수 있는 최초의 랜덤 액세스 장치였습니다. 데이터를 유지하기 위해 주기적인 갱신이 필요한 이 원리는, 1968년 IBM의 로버트 데나드(Robert Dennard)가 특허 낸 현대 DRAM(Dynamic Random Access Memory)의 기본이 됩니다. 트랜지스터와 커패시터로 구성된 DRAM 셀은 누설 전류(leakage current)로 인해 지속적인 재충전이 필요하며, 이는 전원이 끊기면 데이터가 손실되는 이유입니다.

1970년 상용 DRAM(인텔 1103) 등장 이후 메모리는 컴퓨터의 필수 구성 요소가 되었습니다. 이후 발전을 거쳐 1993년 SDRAM(Synchronous Dynamic Random Access Memory)이 프로세서 클럭 속도와 동기화된 메모리 작업을 실현했으며, DDR(Double Data Rate) 기술(DDR2, DDR3, DDR5 등)을 통해 대역폭이 여러 차례 증가했습니다.

"메모리 월"과 데나드 스케일링 위기

프로세서 개발의 인상적인 진보에도 불구하고, 무어의 법칙(Moore's Law)으로 묘사되는 트랜지스터 수의 24개월마다 2배 증가와 달리 메모리 접근 속도는 이를 따라가지 못합니다. 현대 CPU/GPU는 특히 AI, 머신러닝, 과학 컴퓨팅 작업 시 메모리 데이터 대기를 위해 최대 90%의 시간을 소비합니다. 이것이 바로 메모리 월—전체 시스템 성능을 저하시키는 근본적 한계입니다.

게다가 2000년대 중반부터 데나드 스케일링(Dennard scaling)이 효과를 발휘하지 못하게 되었습니다. 이 원리는 트랜지스터 크기가 줄어들면 밀도는 증가하되 전력 소비는 일정하게 유지된다는 것이었으나, 밀도 증가로 누설 전류가 높아져 오히려 전력 소비가 급증했습니다. 이는 운영 비용 상승뿐 아니라 메모리 가격 폭등을 초래합니다. 2021~2022년 1GB RAM 가격이 3~5달러였던 데 비해, 지금은 쉽게 8~12달러에 달하며 계속 오르고 있습니다.

메모리 계층 구조: 속도와 비용의 균형

데이터를 효과적으로 관리하기 위해 현대 시스템은 접근 속도, 용량, 비용 간 트레이드오프를 제공하는 다단계 메모리 계층 구조를 사용합니다. 계층이 높을수록 속도가 빠르고 비싸지만 용량은 작습니다. 반대로 낮을수록 저렴하고 크지만 접근이 느립니다.

| :------------------- | :---------------------- | :----------------- | :------------------------- | :------------- |

| 레지스터 | 0 | 0 | 즉시 | 수십만 원 |

| L1 캐시 | 1~3 | 1~3 | 1~3초 | 수만 원 |

| L2 캐시 | 10~20 | 10~20 | 10~20초 | 수천 원 |

| L3 캐시 | 40~60 | 40~60 | 40~60초 | 수백 원 |

| 메인 메모리 (DRAM) | 200~300 | 100~150 | 3~5분 | 10~20원 |

| SSD | 10,000~100,000 | 10,000~100,000 | 3~30시간 | 1~2원 |

| HDD | 5,000,000~10,000,000 | 5~10ms | 2~4일 | 0.1원 미만 |

위 표는 접근 시간과 비용의 엄청난 차이를 보여주며, 계층 상위로 데이터를 이동시키면 성능이 크게 향상되지만 비용이 증가한다는 점을 강조합니다. 반대로 저장 비용을 줄이면 접근 시간이 늘어납니다.

스와핑의 역할과 현대적 한계

RAM과 느리지만 큰 용량의 저장 장치(SSD/HDD) 간 데이터 관리를 위해 운영 체제는 스와핑(swap) 메커니즘을 사용합니다. 1960년대 가상 메모리(virtual memory) 구현의 일부로 등장한 이 개념은 비활성 데이터 페이지를 RAM에서 디스크(페이지 파일)로 이동시켜 활성 작업 공간을 확보합니다. 그러나 저장 기술 발전에도 불구하고 스와핑의 근본 문제는 여전합니다. 스와프를 적극 사용하면 RAM과 디스크의 접근 시간 차이로 인해 애플리케이션 성능이 크게 저하됩니다.

스와핑 과정은 다음과 같습니다:

이동 필요성 판단: 프로세서가 가상 주소의 데이터를 접근할 때 RAM에 없으면 인터럽트가 발생합니다.
퇴출 페이지 선택: LRU(Least Recently Used)나 Clock, ARC(Adaptive Replacement Cache, ZFS에서 사용) 같은 고급 알고리즘이 가장 오래된 페이지를 디스크로 이동합니다.
프리페칭: Sequential Read-ahead나 Stripe Prefetching 같은 메커니즘으로 미래 데이터 요구를 예측해 RAM에 미리 로드합니다.

이러한 최적화에도 스와핑은 병목 현상을 일으킵니다. 빠른 NVMe SSD 등장에도 RAM 대비 접근 시간이 수십 배 이상이므로 스와핑은 성능 저하를 유발합니다. 이는 데이터 접근 지연이 강력한 프로세서의 이점을 상쇄하는 현대 워크로드에서 특히 치명적입니다.

소프트웨어 정의 메모리로 나아가기: AI 데이터 관리의 미래

프로세서 개발 속도, 멀티코어 아키텍처, 가상화, 병렬 컴퓨팅의 급속한 발전과 AI 및 빅데이터 작업의 데이터 처리 수요 증가는 메모리 아키텍처에 새로운 도전을 제시합니다. 고정 계층과 하드웨어 컨트롤러 기반의 전통적 메모리 관리는 한계에 도달했습니다. RAID나 디스크 컨트롤러 캐시는 도움이 되지만 근본 해결은 아닙니다.

이러한 배경에서 소프트웨어 정의 메모리(SDM) 개념이 주목받고 있습니다. SDM은 빠른 DRAM부터 대용량 NVMe까지 다양한 메모리 유형에 대한 소프트웨어 기반 동적 할당, 구성, 최적화를 애플리케이션 수준에서 실현합니다. 이는 특히 AI 워크로드에 유연하게 적응하며, 머신러닝 알고리즘으로 데이터 요구를 예측하고 계층 간 데이터 블록을 동적으로 이동하며 이종 메모리 자원을 효율적으로 활용합니다. SDM 개발은 메모리 월 극복과 미래 컴퓨팅 시스템의 확장성·효율성을 위한 논리적 다음 단계입니다.