메모리 계층 구조

3. 메모리 계층 구조의 속성

메모리 계층 구조는 복잡성이 증가하면 속도가 느려진다.^[2] 데이터를 조작하기 위해 메모리 계층 구조의 어느 수준까지 내려가야 하는지를 최소화하는 것이 시스템 성능을 높이는 주요 방법 중 하나이다.^[4]

CPU는 작은 메모리에 더 빨리 접근할 수 있는데, 이는 크기가 작은 메모리일수록 CPU에서 메모리로 데이터를 보내고 받는데 필요한 디코딩 시간이 줄어들기 때문이다. 예를 들어, 1k 메모리는 CPU와 직접 연결되지만, 2k 메모리는 디코더를 통해 CPU가 원하는 메모리 위치를 파악해야 한다. 메모리 용량이 커질수록 디코딩 시간은 더욱 증가한다.

이러한 이유로, CPU가 빠르게 데이터에 접근하려면 데이터를 저장하는 메모리가 작아야 한다. 실제로 레지스터는 캐시보다 작고, 캐시는 메모리보다 작으며, 메모리는 하드 디스크보다 작다.

하지만 큰 메모리를 사용하더라도 모든 데이터를 고르게 접근하지는 않는다. 자주 사용되는 데이터는 계속 자주 사용되고, 그렇지 않은 데이터는 계속 사용되지 않는다. 운영체제나 CPU는 이러한 특성을 이용하여 자주 사용되는 데이터나 자주 사용될 것 같은 데이터를 메모리에서 캐시로 읽어온다.

레지스터, 캐시, 메모리, 하드 디스크는 하드웨어적으로 만들어지는 방법이 다를 때가 많으며, 메모리 계층 구조에서 상층에 속할수록 더 비싸다. 따라서 비싼 하드웨어는 꼭 필요한 만큼만 사용하고, 싼 하드웨어를 넉넉한 크기만큼 사용하기 때문에 메모리 계층 구조가 피라미드 모양으로 나타난다.

지연 시간과 대역폭은 캐시의 중요한 지표이며, 메모리 계층 구조의 구성 요소에 따라 달라진다.^[5] 데이터가 메모리 계층 구조의 어디에 위치하는지 예측하기 어렵다.^[5]

4. 메모리 계층 구조의 예시

• 프로세서 레지스터
• CPU 캐시 (L0 ~ L4)
• 주 메모리
• 디스크 스토리지
• 니어라인 스토리지
• 오프라인 스토리지

4. 1. 현대 컴퓨터의 메모리 계층 구조 (2013년 인텔 하스웰 프로세서 기준)

• 프로세서 레지스터: 가장 빠른 접근 속도(보통 1 CPU 사이클)를 가지며, 크기는 수천 바이트 정도이다.^[6]
• CPU 캐시:
• L0 (레벨 0) 마이크로 연산 캐시: 6 KiB^[8]
• L1 (레벨 1) 명령어 캐시: 128 KiB
• L1 (레벨 1) 데이터 캐시: 128 KiB, 최고 접근 속도는 약 700GB^[9]
• L2 (레벨 2) 명령어 및 데이터 (공유): 1 MiB, 최고 접근 속도는 약 200GB^[9]
• L3 (레벨 3) 공유 캐시: 6 MiB, 최고 접근 속도는 약 100GB^[9]
• L4 (레벨 4) 공유 캐시: 128 MiB, 최고 접근 속도는 약 40GB^[9]
• 주 메모리(RAM): 수 GiB 크기이며, 최고 접근 속도는 약 10GB이다.^[9] NUMA 환경에서는 접근 시간이 균일하지 않을 수 있다.
• 디스크 스토리지(HDD, SSD): 수 TB 크기이며, 2017년 기준 소비자용 SSD의 최고 접근 속도는 약 2000MB이다.^[10]
• 니어라인 스토리지: 최대 수 Exabyte 크기이며, 2013년 기준 최고 접근 속도는 약 160MB이다.^[11]
• 오프라인 스토리지

• 온라인 스토리지는 I/O에 즉시 사용할 수 있다.
• 니어라인 스토리지는 즉시 사용할 수 없지만, 사람의 개입 없이 빠르게 온라인 상태로 만들 수 있다.
• 오프라인 스토리지는 즉시 사용할 수 없으며, 온라인 상태로 전환하려면 사람의 개입이 필요하다.

• 프로그래머는 파일 I/O를 통해 디스크와 메모리 간 데이터 이동을 담당한다.
• 하드웨어는 메모리와 캐시 간 데이터 이동을 담당한다.
• 최적화 컴파일러는 하드웨어가 캐시와 레지스터를 효율적으로 사용하도록 코드를 생성한다.

5. 현대 프로그래밍과 메모리 계층 구조

현대 CPU는 매우 빨라 대부분의 프로그램 작업에서 메모리 접근의 참조 지역성과 계층 구조의 여러 레벨 간 캐싱 및 메모리 전송 효율성이 병목 현상이 된다.^[9] 이를 "공간 비용"이라고도 하는데, 더 큰 메모리 객체는 작고 빠른 레벨을 채워서 더 크고 느린 레벨을 사용해야 할 가능성이 더 높기 때문이다. 결과적인 메모리 사용량은 "압력"이라고 알려져 있다 (각각 "레지스터 압력", "캐시 압력", "메모리 압력"). 더 높은 레벨에서 누락되어 더 낮은 레벨에서 가져와야 하는 데이터에 대한 용어는 레지스터 스필링(레지스터에서 캐시로), 캐시 미스(캐시에서 주 메모리로), (하드) 페이지 폴트(주 메모리에서 디스크로)이다.

현대 프로그래밍 언어는 주로 주 메모리와 디스크 스토리지를 두 개의 메모리 레벨로 가정하지만, 어셈블리 언어 및 C와 같은 언어의 인라인 어셈블러에서는 레지스터에 직접 접근할 수 있다. 메모리 계층 구조를 최적으로 활용하려면 프로그래머, 하드웨어, 컴파일러의 협력이 필요하다 (운영 체제의 기본 지원도 필요).

• '''프로그래머'''는 파일 I/O를 통해 디스크와 메모리 간 데이터를 이동하는 역할을 한다.
• '''하드웨어'''는 메모리와 캐시 간 데이터를 이동하는 역할을 한다.
• '''최적화 컴파일러'''는 실행 시 하드웨어가 캐시와 레지스터를 효율적으로 사용하도록 코드를 생성하는 역할을 한다.

참조

_[1] 서적 Computer Hardware/Software Architecture https://archive.org/[...] Prentice Hall
_[2] 문서 Write-combining
_[3] 웹사이트 Memory Hierarchy http://www.unitysemi[...] Unitity Semiconductor Corporation 2009-09-16
_[4] 웹사이트 Multi-Core http://www.pixelbeat[...] 2009-09-16
_[5] 논문 Memory Hierarchy in Cache-Based Systems http://www.sun.com/b[...] Sun Microsystems
_[6] 웹사이트 Memory & Storage - Timeline of Computer History - Computer History Museum http://www.computerh[...]
_[7] 뉴스 Dissecting Intel's top graphics in Apple's 15-inch MacBook Pro - CNET http://news.cnet.com[...] News.cnet.com 2014-07-31
_[8] 웹사이트 Intel's Haswell Architecture Analyzed: Building a New PC and a New Intel http://www.anandtech[...] AnandTech 2014-07-31
_[9] 웹사이트 SiSoftware Zone http://www.sisoftwar[...] Sisoftware.co.uk 2014-07-31
_[10] 웹사이트 Samsung 960 Pro M.2 NVMe SSD Review http://www.storagere[...] storagereview.com 2016-10-20
_[11] 웹사이트 Ultrium - LTO Technology - Ultrium GenerationsLTO http://www.lto.org/t[...] Lto.org 2014-07-31
_[12] 웹사이트 Correct use of the term Nearline. https://www.ibm.com/[...] 2015-08-16
_[13] 서적 Microprocessor Technical Publications
_[14] 문서 폰 노이만 구조의 버스(bus)