Posted Updated

컴퓨터의 성능을 결정하는 요소를 떠올리면 보통 CPU의 클럭 속도나 코어 수를 생각한다.

하지만 실제로는 CPU가 아무리 빨라도 필요한 데이터를 제때 가져오지 못하면 성능은 크게 떨어진다.

CPU는 매우 빠르게 연산할 수 있지만, 필요한 데이터를 메인 메모리(DRAM)에서 가져오는 속도는 상대적으로 느리다.

이러한 속도 차이를 완화하기 위해 등장한 것이 바로 캐시(Cache) 이다.

이번 포스팅에서는 L1, L2, L3 캐시가 무엇인지, 왜 필요한지, 그리고 각각 어떤 역할을 하는지 정리해보고자 한다.

메모리 계층 구조(Memory Hierarchy)

컴퓨터의 저장장치는 다음과 같은 계층 구조를 가진다.

CPU Register
     ↓
L1 Cache
     ↓
L2 Cache
     ↓
L3 Cache
     ↓
Main Memory(DRAM)
     ↓
SSD / HDD

위로 갈수록

  • 빠르다.
  • 비싸다.
  • 용량이 작다.

아래로 갈수록

  • 느리다.
  • 저렴하다.
  • 용량이 크다.

이상적인 메모리는 매우 빠르면서도 매우 크고 저렴해야 하지만 현실에서는 불가능하다.

그래서 컴퓨터는 여러 종류의 메모리를 계층적으로 배치하여 사용한다.

캐시가 가능한 이유: 지역성(Locality)

캐시는 프로그램의 지역성(Locality) 이라는 특성을 이용한다.

시간적 지역성(Temporal Locality)

최근에 사용한 데이터는 다시 사용할 가능성이 높다.

예를 들어 반복문에서 사용되는 변수는 짧은 시간 동안 계속 참조된다.

for (int i = 0; i < 1000000; i++) {
    sum += i;
}

위 코드에서 i 와 sum 은 반복적으로 접근된다.

공간적 지역성(Spatial Locality)

어떤 데이터를 사용했다면 그 근처 데이터도 곧 사용할 가능성이 높다.

for (int i = 0; i < 1000; i++) {
    cout << arr[i];
}

배열은 연속된 메모리 공간에 저장되므로 CPU는 근처 데이터도 함께 가져오는 것이 유리하다.

캐시는 이러한 지역성을 이용하여 자주 사용되는 데이터를 미리 저장해 둔다.

캐시의 동작 방식

CPU가 데이터를 요청하면 다음 순서로 탐색한다.

CPU
 ↓
L1 Cache
 ↓
L2 Cache
 ↓
L3 Cache
 ↓
DRAM

Cache Hit

필요한 데이터가 캐시에 존재하는 경우이다.

CPU → L1 Cache → 데이터 발견

매우 빠르게 데이터를 가져올 수 있다.

Cache Miss

필요한 데이터가 캐시에 없는 경우이다.

CPU → L1 → L2 → L3 Cache → DRAM

메인 메모리까지 접근해야 하므로 훨씬 많은 시간이 소요된다.

따라서 캐시 시스템의 핵심 목표는 Cache Hit 비율을 높이는 것 이다.

L1 Cache

L1 캐시는 CPU 코어와 가장 가까운 곳에 위치한 캐시이다.

특징은 다음과 같다.

  • 가장 빠르다.
  • 가장 작다.
  • 일반적으로 코어마다 독립적으로 존재한다.

보통 수십 KB 정도의 크기를 가진다.

대부분의 CPU는 명령어와 데이터를 저장하는 캐시를 분리하여 사용한다.

  • Instruction Cache(I-Cache): 실행할 명령어를 저장
  • Data Cache(D-Cache): 프로그램이 사용하는 데이터를 저장

예를 들어 반복문을 실행할 때 반복문 자체의 명령어는 Instruction Cache에 저장되고, 변수나 배열과 같은 데이터는 Data Cache에 저장될 수 있다.

Core
 ├─ L1 Instruction Cache
 └─ L1 Data Cache

CPU가 가장 먼저 접근하는 캐시이므로 접근 지연 시간이 매우 짧다.

L2 Cache

L2 캐시는 L1보다 크고 느리다.

특징은 다음과 같다.

  • L1보다 용량이 크다.
  • L1 Miss 시 접근한다.
  • 일반적으로 수백 KB ~ 수 MB 수준이다.
Core
 ├─ L1
 └─ L2

L1에서 찾지 못한 데이터를 보완하는 역할을 수행한다.

L3 Cache

L3 캐시는 일반적으로 여러 CPU 코어가 공유하는 마지막 단계의 캐시이다.

특징은 다음과 같다.

  • 수 MB ~ 수십 MB 수준의 큰 용량
  • 여러 코어가 공유
  • L2보다 느리지만 DRAM보다 훨씬 빠름

예를 들어 8코어 CPU에서는 다음과 같은 구조를 가진다.

Core1
 ├─ L1
 └─ L2

Core2
 ├─ L1
 └─ L2

Core3
 ├─ L1
 └─ L2

...

Core8
 ├─ L1
 └─ L2

        ↓

    Shared L3

L3는 각 코어가 공통으로 사용하는 데이터를 효율적으로 관리하는 역할을 한다.

왜 L1 하나만 크게 만들지 않을까?

처음에는 이런 생각이 들 수 있다.

“그냥 L1 캐시를 엄청 크게 만들면 되는 거 아닌가?”

하지만 캐시는 일반적으로 크기가 커질수록 접근 시간이 증가하는 경향이 있다.

캐시에서 데이터를 찾기 위해서는 저장된 데이터 중 원하는 데이터가 있는지 확인하는 과정이 필요하다. 캐시의 용량이 커질수록 확인해야 할 정보도 많아지고, 내부 회로와 배선 구조 역시 복잡해진다.

결과적으로 더 큰 캐시는 더 많은 데이터를 저장할 수 있지만, 데이터를 찾는 데 걸리는 시간도 증가하게 된다.

즉, 빠름 ←→ 큼 사이에는 트레이드오프가 존재한다.

그래서 CPU 설계자는 단일 캐시를 크게 만드는 대신,

  • L1은 매우 작고 매우 빠르게
  • L2는 조금 크고 조금 느리게
  • L3는 매우 크지만 상대적으로 느리게

여러 단계의 캐시를 계층적으로 배치한다.

이를 통해 자주 사용하는 데이터는 빠른 L1에서 처리하고, L1에 없는 데이터만 L2와 L3에서 찾도록 하여 속도와 용량을 모두 확보할 수 있다.

실제 예시

예를 들어 게임을 실행한다고 가정해보자.

플레이어 위치 정보나 물리 연산 데이터는 반복적으로 사용된다.

CPU
 ↓
L1 Hit

가 자주 발생한다면 매우 빠르게 처리된다.

반면 처음 보는 맵 데이터를 읽는 경우

L1 Miss
 ↓
L2 Miss
 ↓
L3 Miss
 ↓
DRAM Access

가 발생할 수 있다.

이 경우 CPU는 데이터를 기다리느라 많은 시간을 소비하게 된다.

그래서 게임이나 서버 프로그램의 성능 분석에서는 캐시 적중률(Cache Hit Rate)이 중요한 지표가 된다.

정리

L1, L2, L3 캐시는 CPU와 메인 메모리 사이의 속도 차이를 줄이기 위해 존재한다.

  • L1: 가장 빠르고 가장 작음
  • L2: 중간 단계
  • L3: 일반적으로 가장 크고 여러 코어가 공유

그리고 이러한 구조는 프로그램의 시간적 지역성과 공간적 지역성을 활용하여 동작한다.

결국 캐시의 목적은 단순하다.

CPU가 메모리를 기다리는 시간을 줄여 더 많은 일을 하도록 만드는 것

컴퓨터 구조를 공부하다 보면 파이프라인이나 분기 예측만큼 캐시가 중요하다는 사실을 자주 느끼게 된다. 현대 CPU 성능의 상당 부분은 결국 얼마나 효율적으로 데이터를 공급할 수 있는지에 달려 있기 때문이다.

Leave a comment