캐시 메모리(Cache memory)는 지역성(시간, 공간)의 원리를 이용하여 CPU와 메인 메모리의 레이턴시를 줄여주는 역할을 하는 고속의 기억장치이다. 시간의 지역성은 한번 사용된 데이터는 곧바로 다시 사용될 가능성이 높다는 의미이고, 공간의 지역성은 처리중인 특정 데이터와 인접한 공간은 곧 다시 사용될 가능성이 높다는 것이다.

메모리 계층(memory hierarchy)에서 가장 꼭대기에 있는 레지스터 바로 아랫층에 위치하며 현 세대의 CPU에 집적된 캐시는 CPU와 거의 동일한 클럭 스피드로 동작한다. 따라서 가장 근접한 L1 캐시의 경우 대부분 한 사이클내에 데이터를 읽기 및 쓰기를 완료 할 수 있다. 다음은 캐시에 관한 몇 가지 용어들이다.

1. 히트율(hit ratio) : CPU가 원하는 데이터가 캐시에 존재할 확률이다. 당연히 높을수록 좋다.

2. 히트 레이턴시(hit latency) : 원하는 데이터를 CPU가 찾아서 가져오는데 걸리는 시간이다. 짧을수록 좋다.

반도체 기술의 한계로 캐시의 용량이 커지면 히트율은 높아지지만 히트 레이턴시는 떨어진다. 캐시는 현대 프로세서의 많은 부분을 차지하고 있고 그만큼 구조가 복잡해지면 레이턴시가 떨어지는 것은 자연스럽다. 따라서 캐시는 몇 개의 계층을 나누어 멀티레벨로 관리하도록 구성된다. 이렇게하면 속도와 용량 문제를 동시에 해결 할 수 있기 때문이다.