[CS 스터디] 캐시 메모리(Cache Memory)

캐시 메모리란

속도가 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리

💡 병목(Bottleneck) 현상이란
: 담을 수 있는 데이터의 양은 적으나 한번에 많은 양의 데이터가 유입됨으로써 컴퓨터가 느려지는 현상

• 사용 목적: 속도 향상
  • CPU가 저장된 데이터를 읽어올 때, 자주 사용하는 데이터를 주기억장치 대신 캐시 메모리에 저장하는 것으로 속도 향상
• 단점: 적은 용량. 비쌈

캐시 메모리 크기가 작은 이유는, SRAM 가격이 매우 비쌈

 

CPU에는 캐시메모리 2~3개 사용 (L1 ~ L3 캐시 메모리)

• 속도, 크기에 따라 분류되며 L1에 먼저 접근 후, 데이터를 찾지 못하면 그 다음 캐시 메모리로 이동
  • L1 : CPU 내부에 존재. 속도를 위해 I-Cache와 D-Cache로 나눔
  • L2 : CPU와 RAM 사이에 존재. 용량이 큰 캐시로 크기를 위해 L1 캐시처럼 나누지 않음
  • L3 : 보통 메인보드에 존재

 

듀얼 코어 프로세서의 캐시 메모리

: 각 코어마다 독립된 L1 캐시 메모리 + 두 코어가 공유하는 L2 캐시 메모리 내장

ex. L1 캐시: 128KB. 64/64로 나누어 64KB에 명령어를 처리하기 직전의 명령어를 임시 저장. 나머지 64KB에는 실행 후 명령어를 임시저장 (명령어 세트로 구성, I-Cache D-Cache)

💡 I-Cache (Instruction Cache, I$)
: 메모리의 Instruction을 처리하는 캐시. 보통 공간 지역성이 높음.
D-Cache (Data Cache, D$)
: Instruction을 제외한 모든 데이터를 다루는 캐시. 보통 시간 지역성이 높음

 

디스크 캐시 : 주기억장치(RAM)와 보조기억장치(하드디스크) 사이에 존재하는 캐시

---

캐시 메모리 작동 원리

• 시간 지역성: 특정 데이터에 한번 접근해서 가져온 경우, 그 데이터가 가까운 미래에 또 한번 접근할 가능성이 높은 것
  • ex. for문이나 while문 같은 반복문에 사용하는 조건 변수
• 공간 지역성: 실제 프로그램이 참조된 주소와 인접한 주소의 내용이 다시 참조되는 특성
  • A[0], A[1]과 같은 연속 접근 시, 참조된 데이터 근처에 있는 데이터가 잠시후 또 사용될 가능성이 높음

캐시에 데이터를 저장할 때는, 이러한 참조 지역성(공간)을 최대한 활용하기 위해 해당 데이터뿐만 아니라, 옆 주소의 데이터도 같이 가져와 미래에 쓰일 것을 대비한다.

 

Cache Hit

: CPU가 요청한 데이터가 캐시에 있는 경우

Chache Miss

: CPU가 요청한 데이터가 캐시에 없어 DRAM에서 가져오는 경우

캐시 미스 3가지 경우

1. Cold miss: 해당 메모리 주소를 처음 불러서 나는 미스
2. Conflict miss: 캐시 메모리에 A와 B 데이터를 저장해야 하는데, A와 B가 같은 캐시 메모리 주소에 할당되어 있어서 나는 미스 (direct mapped cache에서 많이 발생)
   • 항상 핸드폰과 열쇠를 오른쪽 주머니에 넣고 다니는데, 잠깐 친구가 준 물건을 받느라 손에 들고 있던 핸드폰을 가방에 넣었음. 그 이후 핸드폰을 찾으려 오른쪽 주머니에서 찾는데 없는 상황
3. Capacity miss: 캐시 메모리의 공간이 부족해서 나는 미스 (Conflict는 주소 할당 문제, Capacity는 공간 문제)

→ 문제 해결을 위해 캐시 크기를 키우면 캐시 접근속도가 느려지고 파워를 많이 먹는 단점 발생

---

구조 및 작동 방식

Direct Mapped Cache (1:N)

: 가장 기본적인 구조로, DRAM의 여러 주소가 캐시 메모리의 한 주소에 대응되는 다대일 방식

• ex) 00000, 01000, 10000, 11000인 메모리 주소는 000 캐시 메모리 주소에 맵핑→ 캐시 메모리는 인덱스 필드 + 태그 필드 + 데이터 필드로 구성
  • 장점: 간단함. 빠름
  • 단점: Conflict Miss 발생 (사진처럼 같은 색의 데이터를 동시에 사용해야 할 때)
• 000이 인덱스 필드, 인덱스 제외한 앞의 나머지(00, 01, 10, 11)를 태그 필드라고 한다.
• → 그림의 메모리 공간은 32개(00000~11111)이고, 캐시 메모리 공간은 8개(000~111)

Fully Associative Cache

: 비어있는 캐시 메모리가 있으면, 마음대로 주소를 저장하는 방식

• 장점: 저장이 간단
• 단점: 찾기 어려움

→ 조건이나 규칙이 없어서 특정 캐시 Set 안에 있는 모든 블럭을 한번에 찾아 원하는 데이터가 있는지 검색 필요. CAM이라는 특수한 메모리 구조를 사용해야하지만 가격 매우 비쌈

 

Set Associative Cache

: 특정 행을 지정하고, 그 행안의 어떤 열이든 비어있을 때 저장하는 방식 (Direct + Fully)

Direct에 비해 검색 속도는 느리지만 저장이 빠르고, Fully에 비해 저장이 느린 대신 검색이 빠른 중간형