본문 내용으로 건더뛰기

KDI 경제교육·정보센터

ENG
  • 경제배움
  • Economic

    Information

    and Education

    Center

특집
현재의 메모리 공급 부족이 단순한 경기 순환적 현상이 아닐 수 있는 이유
이승우 유진투자증권 리서치센터장 2026년 07월호
오랫동안 반도체산업에 하나의 상식으로 굳은 것이 있다. 메모리는 늘 사이클 산업의 대명사로 이익의 지속성이 낮고, 반도체산업의 핵심인 CPU와 GPU의 연산 활동을 보조하기 위해 데이터를 잠시 보관하는 창고 역할을 한다는 것이다. 그러나 AI 시대에 들어서면서 이 상식이 빠르게 무너지고 있다. 

올해 1분기 전 세계 기업들의 영업이익 순위를 보면 그 변화가 선명하다. 필자가 조사한 바에 따르면 아람코와 엔비디아가 1, 2위를 기록한 가운데, 3∼6위는 알파벳, 삼성전자, 마이크로소프트, 애플이 차지했다. 이어서 SK하이닉스, 아마존, 메타, TSMC, 마이크론이 7∼11위를 기록했다. 3개나 되는 메모리 기업들이 빅테크들과 어깨를 나란히 하며 상위 11위 안에 포함된 것이다. 불과 몇 년 전만 해도 메모리 기업이 세계 최고 영업이익 기업군 상단에 오르는 모습은 쉽게 상상하기 어려웠다. 그런데 지금은 다르다. 반도체산업의 지형도가 다시 그려지고 있는 것이다.

지난 50년간 전 세계 반도체시장에서 메모리가 차지하는 비중은 평균 24% 수준이었다. 그런데 올해에는 그 비중이 과거 평균의 2배 수준인 40%대 후반에서 50%에 달할 전망이다. 다음 질문들이 자연스럽게 이어진다. 이것은 경기변동에 의한 사이클인가, 아니면 구조적인 변화인가. 지금의 메모리 초호황은 과연 지속 가능한가. AI 열풍이 식으면 메모리시장은 다시 과거처럼 변동성이 큰 다운 턴(down turn)을 맞이하게 될 것인가. 

이러한 질문에 답하기 위해서는 기술적으로 메모리가 과거에는 어떤 역할을 해왔고 AI 시대에는 그 역할이 어떻게 변했는지를 이해하는 것이 무엇보다 중요하다. 이제부터 그 역할 변화 과정들을 추적해 보려 한다. 

CPU 대비 너무 느리고 원가 절감이 기술의 핵심이던 메모리,
딥러닝 기반 HBM 수요 급증에도 조연에 머물러 와


전통적인 컴퓨터는 하나의 박스였다. 그 안에는 CPU가 있었고, CPU 주변에는 메모리와 저장장치가 있었다. 엔지니어들은 이를 지역성이라고 불렀다.

과거 CPU 중심의 컴퓨팅에서 중요한 목표 중 하나는 메모리에 자주 접근하지 않는 것이었다. CPU는 매우 빠른 반면 메모리는 너무 느렸기 때문이다. 이를 전통적으로 메모리월(Memory Wall)이라 한다. 그래서 CPU 주변에는 캐시라는 작고 빠른 기억장치가 배치됐다. 자주 쓰는 데이터를 가까운 곳에 묶어두기 위함이다.

또한 이 시절 메모리는 본질적으로 비용 변수였다. PC나 서버 가격에서 메모리에 배정되는 예산은 어느 정도 정해져 있었고 메모리의 스펙은 그 예산 내에서 결정되는 식이었다. 메모리 기업의 기술 경쟁도 같은 방향을 향했다. 한 장의 웨이퍼에서 더 많은 칩을 만들어내는 것, 즉 미세화와 원가 절감이 기술의 핵심이었다. 더 싸게, 더 많이, 더 작게 만드는 것이 메모리산업의 오랜 문법이었다.

인터넷은 컴퓨터들을 서로 연결했고, 스마트폰은 인간과 컴퓨터를 24시간 동기화했다. 데이터는 개인의 PC에서 서버로, 다시 클라우드로 이동했다. 클라우드 컴퓨팅은 D램과 낸드플래시 수요를 꾸준히 키웠다. 데이터센터는 더 많은 서버와 저장장치를 필요로 했다. 그러나 이때까지도 메모리는 여전히 줄여야 할 비용이었다. 시스템 설계자들의 목표는 분명했다. 메모리를 효율적으로 쓰고, D램 접근을 최소화하며, 저장 비용을 낮추는 것이었다. 즉 클라우드는 메모리 수요를 키웠지만 메모리의 지위를 바꾸지는 못했다. 

딥러닝이 등장하면서 GPU가 컴퓨팅이라는 무대의 새로운 주인공으로 떠올랐다. GPU는 수많은 연산을 병렬로 처리하는 데 탁월했다. 고대역폭메모리(HBM)도 이 시기 본격적으로 부상했다. 하지만 컴퓨팅 성능을 설명하는 언어는 여전히 플롭스(FLOPS), 즉 초당 몇 번의 부동소수점 연산을 할 수 있는지였다. 주인공은 여전히 GPU였고, HBM은 조연의 역할에 만족해야 했다.

하지만 거대언어모델(LLM)의 등장으로 변화가 시작됐다. 대규모 언어모델의 품질은 상당 부분 파라미터(Parameter) 수와 직결되는데, 본질적으로 파라미터는 메모리였기 때문이다. 모델이 커진다는 것은 더 많은 파라미터를 가진다는 뜻이고, 이는 결과적으로 더 큰 메모리 공간과 더 높은 메모리 대역폭을 요구한다.


 
더 긴 컨텍스트도 마찬가지다. AI가 이전 대화, 문서, 코드, 이미지, 작업 이력 등을 기억하고 처리하려면 그 모든 데이터가 어딘가에 저장돼야 한다. 추론이 길어질수록, 대화가 길어질수록, 메모리 요구량이 급격히 늘어난다. 

LLM, 에이전트 AI 등장으로 바뀌고 있는 메모리의 의미:
보조 부품에서 핵심 아키텍처로, 지능 인프라의 기본 단위로

이 지점에서 메모리의 의미가 바뀌기 시작했다. 메모리는 더 이상 단순한 저장공간이 아니다. 그것은 모델의 지식과 문맥을 유지하는 공간이자 지능의 활동 무대가 된 것이다. 드디어 메모리가 비용에서 성능으로, 보조 부품에서 핵심 아키텍처로 격상됐다.

에이전트 AI는 이 변화를 가속하고 있다. 기존 챗봇은 사용자의 질문에 답하는 자동 시스템이었을 뿐이다. 그러나 에이전트 AI는 목표를 세우고, 계획을 만들고, 여러 도구를 호출하고, 다른 에이전트와 협력하며 작업을 수행한다.

이제 지능은 더 이상 하나의 모델 안에만 머물지 않는다. 여러 모델, 여러 도구, 여러 작업 흐름 사이에 분산돼 존재한다. 하나의 에이전트가 사용자의 요구를 해석하고, 다른 에이전트가 검색을 수행하며, 또 다른 에이전트가 코드를 작성하고, 어떤 에이전트는 결과를 검증한다. 이 모든 과정에서 상태와 컨텍스트는 계속 저장, 참조, 복제된다.

따라서 KV 캐시(Key-Value Cache)는 기존 CPU의 로컬 캐시와 근본적으로 다르다. 과거의 캐시는 메모리 접근을 줄이기 위한 한정된 임시 공간이었지만, LLM의 KV 캐시는 모델이 지금까지 읽고 이해한 문맥을 보존하는 플랫폼 자체이며 에이전트가 많아지고 문맥이 길어질수록 폭발적으로 커진다.

인간의 지능도 단순한 계산 능력만으로 설명되지 않는다. 기억이 없다면 경험은 축적되지 않고, 문맥이 없다면 의미는 생기지 않는다. AI도 마찬가지다. 더 강한 AI는 더 빠른 연산뿐 아니라 더 많은 기억, 더 빠른 기억, 더 오래 지속되는 기억을 반드시 필요로 한다.

과거 운영체제는 CPU와 메모리, 저장장치를 관리했다. 그러나 AI 시대의 데이터센터는 그 자체가 하나의 거대한 운영체제가 된다. 수많은 GPU와 HBM, D램과 스토리지, 네트워크와 전력을 하나의 지능 기계처럼 조율해야 한다. 이제 컴퓨팅은 메모리 오퍼레이팅 시스템이 되고, 메모리는 아키텍처 자체가 된다.

지난 반세기 동안 컴퓨팅의 중심은 연산이었다. 그러나 AI가 이 질서를 바꾸고 있다. 특히 LLM의 등장은 메모리의 역할과 의미를 근본적으로 재정의했다. 이제 메모리는 단순히 데이터를 담는 공간이라는 개념을 넘어선다. 메모리의 크기와 속도는 곧 지능의 크기와 속도로 이해되고 있다. 과거 비용 변수였던 메모리가 이젠 컴퓨팅의 성능 변수가 됐다.

그래서 현재의 메모리 공급 부족은 단순한 경기 순환적 현상이 아닐 수 있다는 생각이 든다. 물론 메모리산업은 앞으로도 사이클을 피할 수 없을 것이다. 투자가 늘면 공급이 늘고, 공급이 늘면 가격은 흔들릴 것이다. 이것은 메모리산업의 숙명이다.

그러나 이번 변화에는 과거 사이클과 다른 구조적 요소가 있다. 더 많은 메모리는 더 큰 모델을 가능하게 하고, 더 긴 문맥을 가능하게 하며, 더 복잡한 에이전트 시스템을 가능하게 한다. 그리고 더 높은 지능은 더 큰 경제적 가치로 이어지게 된다.

물론 이 과정이 직선으로만 진행되진 않을 것이다. 과잉투자와 조정, 가격 급등과 하락, 기술 병목과 공급 확대가 반복될 것이다. 하지만 큰 방향은 분명해 보인다. 메모리는 AI가 지식을 저장하고, 문맥을 유지하며, 추론을 이어가는 지능 인프라의 기본 단위가 되고 있다. 우리는 지금 메모리가 컴퓨팅의 중심으로 돌아오는 장면을 목격하고 있는 것일지도 모른다. 
보기 과월호 보기
나라경제 인기 콘텐츠 많이 본 자료
확대이미지