명령어 파이프라인

3. 장점 및 단점

파이프라인 컴퓨터는 각 클럭 사이클마다 명령어를 완료할 수 있어, 주어진 클럭 속도에서 멀티 사이클 컴퓨터보다 더 많은 CPU 처리량을 허용한다. 하지만 파이프라인 프로세스 자체의 추가 오버헤드로 인해 지연 시간이 증가할 수 있다.^[8] 파이프라인의 단계 수를 변경하여 성능을 조절할 수 있는데, 단계가 많을수록 각 단계의 논리 게이트 지연이 줄어들어 더 높은 클럭 속도로 실행할 수 있다.^[8]

파이프라인 모델은 초당 명령어당 논리 게이트 수로 측정하는 비용 측면에서 경제적이다. 파이프라인 단계는 멀티 사이클 컴퓨터보다 비용이 적게 들고, 대부분의 논리가 지속적으로 사용된다. 반면, 아웃오브오더 컴퓨터는 많은 양의 유휴 논리를 가지는 경향이 있다. 파이프라인 컴퓨터는 명령어당 더 적은 에너지를 사용하는 경향도 있다.^[8]

그러나 파이프라인 컴퓨터는 일반적으로 더 복잡하고 비용이 많이 든다. 더 많은 논리 게이트, 레지스터, 복잡한 제어 장치가 필요하며, 명령어당 에너지 소비는 적지만 전체 에너지 소비는 더 많을 수 있다. 아웃오브오더 CPU는 여러 명령어를 동시에 실행하여 초당 더 많은 명령어를 처리할 수 있다.^[8]

파이프라인 컴퓨터는 각 단계에 명령어를 배치하여 동시에 처리하고, 클럭 사이클마다 하나의 명령어를 완료한다. 하지만 프로그램이 다른 명령어 시퀀스로 전환되면 처리 중인 데이터를 폐기하고 다시 시작해야 하는 "스톨"이 발생할 수 있다.^[8]

3. 1. 장점

• 프로세서의 사이클 시간을 단축할 수 있으며, 많은 경우 명령어 처리 속도를 향상시킨다.^[1]
• 가산기나 곱셈기 등의 조합 논리 회로는 회로 규모가 클수록 고속화할 수 있다. 대신 파이프라인을 사용하면 회로 규모는 작게 유지하면서 고속화할 수 있다.^[1]

3. 2. 단점

• 해저드 발생: 해저드가 발생하여 추가 비용이 발생한다. 파이프라인이 없는 프로세서는 한 번에 하나의 명령어만 실행하므로 해저드가 발생하지 않아 제어가 단순해지고, 더 저렴하게 제조할 수 있다.^[8]
• 명령어 지연 시간 증가: 명령어 지연 시간(1개의 명령어 실행에 걸리는 시간)이 파이프라인이 없는 경우보다 약간 길어진다. 이는 파이프라인이 각 단계 사이에 플립플롭을 삽입하기 때문이다.^[8]
• 성능 예측의 어려움: 파이프라인이 없는 프로세서에 비해 성능을 예측하기 어렵다. 명령어 파이프라인이 있는 프로세서는 프로그램(명령어의 배열)에 따라 성능이 달라지기 때문이다.^[8]
• 복잡성 증가: 파이프라인 컴퓨터는 일반적으로 비슷한 멀티 사이클 컴퓨터보다 더 복잡하고 비용이 많이 든다. 일반적으로 더 많은 논리 게이트, 레지스터 및 더 복잡한 제어 장치를 가지고 있다.^[8]
• 전력 소비 증가: 명령어당 더 적은 에너지를 사용하면서 전체 에너지를 더 많이 사용할 수 있다.^[8]

4. 해저드(Hazard)

파이프라인의 속도가 느려지는 경우를 해저드라고 한다. 해저드에는 데이터 해저드, 컨트롤 해저드(명령어 해저드), 구조적 해저드가 있다.

순차적 실행 모델에서는 각 명령어가 다음 명령어가 시작되기 전에 완료된다고 가정하지만, 파이프라인 프로세서에서는 이 가정이 참이 아니다. 예상 결과에 문제가 있는 상황을 위험이라고 한다.

프로그래머나 컴파일러가 어셈블리 언어 코드를 작성할 때, 명령어는 쓰여진 순서대로 순차적으로 실행된다고 가정한다. 즉, 어떤 명령어가 완료된 후에 다음 명령어가 실행된다고 생각한다. 그러나 명령어 파이프라인이 있는 경우, 이 가정은 옳지 않을 수 있다. 이 때문에 프로그램의 동작이 잘못될 수 있는데, 이러한 상황을 파이프라인 해저드라고 한다.

4. 1. 데이터 해저드

어셈블리 언어의 다음과 같은 의사 코드를 실행한다고 가정한다.

```assembly

LOAD #40, A ; 40을 A에 로드

MOVE A, B ; A를 B로 복사

ADD #20, B ; 20을 B에 더함

STORE B, 0x300 ; B를 메모리 셀 0x300에 저장

```

이 코드의 실행 과정은 다음과 같다.

• 클럭 1: LOAD 명령어가 메모리에서 페치된다.
• 클럭 2: LOAD 명령어가 실행되고, 동시에 MOVE 명령어가 메모리에서 페치된다.
• 클럭 3: LOAD 명령어는 Store 단계에 있으며, 그 결과(40)는 레지스터 A에 저장된다. 동시에 MOVE 명령어가 실행되려 한다. A에서 B로 내용을 옮기는 명령이므로, 바로 앞의 LOAD 명령어의 완료를 기다려야 한다. 이때 포워딩이라는 기법을 사용한다. 즉, LOAD 명령어에서 A에 저장해야 할 값은 Execute 단계에서 이미 구해져 있으므로, MOVE 명령어는 Execute 단계의 입력으로 이전 명령어의 Execute 단계의 결과를 직접 이용한다.
• 클럭 4: STORE 명령어가 로드되고, MOVE 명령어는 완료되며, ADD 명령어를 계산 중이다. ADD 명령어 역시 포워딩에 의해 이전 명령어의 Execute 단계의 결과를 이용한다.

4. 1. 1. 해결 방법

• 데이터 해저드: 연산에 필요한 데이터를 특정 시점에 사용할 수 없을 때 발생한다.
• 컨트롤 해저드: 명령어를 즉시 사용할 수 없을 때 발생한다.
• 구조적 해저드: 두 명령어가 동시에 특정 하드웨어에 접근하려 할 때 발생한다.

• 파이프라인 중단 (Pipeline Stall): 필요한 값을 사용할 수 있을 때까지 새로운 명령어의 실행을 중단시킨다. 이로 인해 파이프라인에 빈 슬롯, 즉 '버블'이 발생하여 일시적으로 작업이 수행되지 않는다.^[6][7]
• 피연산자 전달 (Operand Forwarding): 계산된 값을 생성한 명령어가 완료되기 전에, 파이프라인의 다른 위치에 있는 미래의 명령어에 전달하는 추가 데이터 경로를 사용한다. 이를 통해 명령어 실행 지연을 줄일 수 있다.^[6][7]
• 비순차적 실행 (Out-of-Order Execution): 현재 명령어에 종속되지 않고 즉시 실행 가능한 다른 명령어를 찾아 실행하는 최적화 기법이다.

다음 의사 코드를 실행하는 과정을 통해 설명한다.

```assembly

LOAD #40, A ; 40을 A에 로드

MOVE A, B ; A를 B로 복사

ADD #20, B ; 20을 B에 더함

STORE B, 0x300 ; B를 메모리 셀 0x300에 저장

```
실행 과정

• 클럭 1: LOAD 명령어가 메모리에서 읽혀진다(Load).
• 클럭 2: LOAD 명령어가 실행(Execute)되고, 동시에 MOVE 명령어가 메모리에서 읽혀진다(Load).
• 클럭 3: LOAD 명령어는 저장(Store) 단계에서 레지스터 A에 결과(40)를 저장한다. MOVE 명령어는 A의 내용을 B로 옮기기 위해 이전 LOAD 명령어의 완료를 기다려야 한다. 이때, 피연산자 전달을 사용하여 LOAD 명령어의 Execute 단계에서 이미 계산된 값을 MOVE 명령어의 Execute 단계 입력으로 직접 사용한다.
• 클럭 4: STORE 명령어가 로드(Load)되고, MOVE 명령어는 완료되며, ADD 명령어가 계산 중이다. ADD 명령어 역시 피연산자 전달을 통해 이전 명령어의 Execute 단계 결과를 사용한다.

4. 2. 컨트롤 해저드 (명령어 해저드)

4. 2. 1. 해결 방법

• 코드 최적화: 코드 커버리지 분석 결과를 바탕으로, 분기가 자주 발생하는 부분을 최적화하여 분기 횟수를 줄일 수 있다.
• 자기 수정 코드 지양: 명령어 파이프라인에서는 읽어들인 명령어가 즉시 실행되지 않으므로, 프로그램 카운터에 매우 가까운 명령어를 수정하는 자기 수정 코드는 문제를 일으킬 수 있다. 캐시 메모리는 이러한 현상을 더욱 악화시키므로, 자기 수정 코드는 사용하지 않는 것이 좋다.

4. 3. 구조적 해저드

4. 3. 1. 해결 방법

• 데이터 해저드: 예상된 시각에 연산자가 사용 불가능할 경우에 발생한다. 예를 들어, 나눗셈 연산을 처리 중이라면 그 다음 명령어는 처리할 수 있는 연산자가 없기 때문에 실행이 연기될 수밖에 없다.
• 컨트롤 해저드 (명령어 해저드): 명령어를 당장 사용할 수 없을 때 발생한다. 캐시에 명령어가 저장되어 있을 경우 빠르게 명령어를 실행할 수 있지만, 해당 명령어가 없을 경우 메모리로부터 가져와야 하기 때문에 오랜 시간이 걸리고 결국 파이프라인의 속도가 떨어진다.
• 구조적 해저드: 두 명령어가 동시에 어떤 하드웨어에 접근해야 할 때 발생한다. 예를 들어, 어떤 명령어가 실행이나 쓰기를 위해서 메모리에 접근해야 할 때, 다른 명령어가 메모리에서 읽혀지는 경우 이런 해저드가 발생한다.

5. 파이프라인 붕괴

명령어 수행 과정 중 분기가 발생하면, 분기 전에 명령 수행 과정에 있던 명령어들(파이프라인의 5단계를 진행 중인)은 버려진다. 이후 분기가 종료되면 예외 처리 복귀 명령을 통해 복구시켜야 한다. 버려지는 명령어의 기준은 예외 상황마다 다르다.^[8]

파이프라인 프로세서는 파이프라인을 중단시키고 버블을 생성하여 해저드(hazard)를 처리할 수 있다. 이로 인해 유용한 작업이 수행되지 않는 하나 이상의 사이클이 발생한다.

오른쪽 그림에서 사이클 3에서 프로세서는 보라색 명령어를 디코딩할 수 없다. 이는 프로세서가 디코딩이 녹색 명령어의 실행으로 생성된 결과에 의존한다고 판단하기 때문일 수 있다. 녹색 명령어는 예정대로 실행 단계와 쓰기 단계로 진행될 수 있지만, 보라색 명령어는 페치 단계에서 한 사이클 동안 중단된다. 사이클 3 동안 페치될 예정이었던 파란색 명령어는 한 사이클 동안 중단되고, 그 뒤의 빨간색 명령어 역시 마찬가지이다.

버블(그림에서 파란색 타원) 때문에, 프로세서의 디코딩 회로는 사이클 3 동안 유휴 상태가 된다. 실행 회로는 사이클 4 동안, 쓰기 회로는 사이클 5 동안 유휴 상태가 된다.

버블이 파이프라인에서 벗어나면(사이클 6에서), 정상적인 실행이 재개된다. 하지만 모든 것이 한 사이클 늦어진다. 색상으로 표시된 네 개의 명령어를 완전히 실행하는 데 7 사이클이 아닌 8 사이클(사이클 1부터 8까지)이 걸린다.

실행 중에 어떤 중단이 발생하면 파이프라인에 "버블"이라고 불리는 아무것도 하지 않는 부분이 생긴다. 사이클 2에서 보라색 명령의 페치에 지연이 발생하여 사이클 3의 디코드 스테이지에 버블이 발생했다. 보라색 이후의 명령은 모두 1클록 사이클만 지연되지만, 보라색 명령 이전의 명령은 정상적으로 처리가 계속된다.

위의 그림과 비교하면 버블이 발생했기 때문에 실행에 걸리는 클록 사이클 수가 7에서 8로 증가했다.

버블은 스톨(stall)과 비슷하며, 각 스테이지에서는 아무것도 하지 않는다. 그러나 NOP 명령을 버블 부분에 삽입하면 버블을 제거할 수 있다.

파이프라인이 길어지면 프로그램 상의 분기가 발생했을 때 불리하며, 파이프라인 전체를 플러시할 필요가 있지만, 분기 예측으로 어느 정도 대처할 수 있다. 분기 예측이 불충분하면 상황은 악화된다. 고성능 컴퓨팅 등의 특정 분야에서는 좀처럼 분기하지 않는 프로그램을 작성할 수 있으며, 파이프라인이 길수록 성능 향상이 기대된다. 분기가 빈번하게 발생하는 경우, 가장 분기할 것 같은 방향의 명령을 파이프라인에 공급함으로써, 분기 예측 실패로 인한 파이프라인 플러시로 발생하는 성능 손실을 줄일 수 있다.

실행 코드에 다수의 조건 분기 명령이 있으면, 파이프라인에 의한 처리량 향상은 기대할 수 없다. 프로세서가 다음에 실행해야 할 명령을 알 수 없기 때문에, 조건 분기 명령을 실행하여 분기 대상이 결정될 때까지, 파이프라인은 비어(버블)진다. 분기 대상의 계산이 완료되면, 다음에 실행해야 할 명령이 결정되고, 파이프라인이 다시 기능하게 된다. 극단적인 경우, 파이프라인의 1 스테이지 외 모든 스테이지가 비어(버블)진다면, 파이프라인이 없는 프로세서와 성능에 큰 차이가 없는 상황이 되며, 오히려 파이프라인이 없는 프로세서보다 성능이 저하된다 (스테이지 간 오버헤드가 있기 때문에).

6. 역사

파이프라인의 선구적인 사용은 ILLIAC II 프로젝트와 IBM Stretch 프로젝트에서 이루어졌지만, 더 간단한 버전은 1939년 Z1과 1941년 Z3에서 더 일찍 사용되었다.^[5]

1970년대 후반 벡터 프로세서 및 배열 프로세서와 같은 슈퍼컴퓨터에서 파이프라인이 본격적으로 시작되었다. 초창기 슈퍼컴퓨터 중 하나는 Control Data Corporation에서 제작한 Cyber 시리즈였다. Cyber 시리즈의 수석 설계자인 세이무어 크레이는 나중에 Cray Research의 수장이 되었다. 크레이는 곱셈 및 덧셈/뺄셈 기능 모두에 파이프라인을 사용하여 XMP 계열의 슈퍼컴퓨터를 개발했다. 이후 Star Technologies는 로저 첸(Roger Chen)이 개발한 병렬 처리(병렬로 작동하는 여러 파이프라인 기능)를 추가했다. 1984년, Star Technologies는 제임스 브래들리(James Bradley)가 개발한 파이프라인 분할 회로를 추가했다.

파이프라인은 슈퍼컴퓨터에만 국한되지 않았다. 1976년, Amdahl Corporation의 470 시리즈 범용 메인프레임은 7단계 파이프라인과 특허받은 분기 예측 회로를 가지고 있었다. 1961년의 IBM 7030(스트레치)는 마이크로 프로그램 방식으로 파이프라인과 분기 예측을 사용했다.^[9] 이후의 메인프레임 대부분에서도 사용되고 있다.

1970년대에 벡터 컴퓨터를 시작으로 오늘날의 고성능 컴퓨팅에 직접 연결되는 머신 개발이 시작되었다. 하이엔드 고성능 컴퓨팅 머신에서는 특수한 설비와 코어 냉각이 필요했다. 초기의 대표적인 슈퍼컴퓨터로는 CDC사의 CDC 6600과 CDC 7600이 있는데, 그 중심적인 설계자인 시모어 크레이는 후에 CDC를 나와 크레이사를 설립했다. 크레이는 X-MP 계열의 슈퍼컴퓨터를 개발했으며, 곱셈과 덧셈 모두에 파이프라인을 사용했다. 후에 Star Technologies사가 파이프라인을 다른 레벨의 병렬 처리에 사용했다. 이는 여러 파이프라인화된 기능이 병렬적으로 가동되는 것으로, 동사 기술자인 Roger Chen이 개발했다.

현재 파이프라인은 개인용 컴퓨터용 대부분의 마이크로프로세서를 비롯해, 임베디드 프로세서에서도 일부(특수한 인터럽트 응답 성능을 요구하는 경우 등)를 제외하고 사용되고 있다.

참조

_[1] 간행물 Xelerated's Xtraordinary NPU — World's First 40Gb/s Packet Processor Has 200 CPUs http://www.linleygro[...] 2017-03-20
_[2] 웹사이트 Xelerated Brings Programmable 40 Gbits/S Technology to the Mainstream Ethernet https://www.eetimes.[...] 2003-05-31
_[3] 서적 Modern Processor Design https://books.google[...] McGraw-Hill Professional
_[4] 서적 Design of Computers and Other Complex Digital Devices https://books.google[...] Prentice Hall
_[5] 간행물 Konrad Zuse's Legacy: The Architecture of the Z1 and Z3 http://ed-thelen.org[...] 2022-07-03
_[6] 웹사이트 CMSC 411 Lecture 19, Pipelining Data Forwarding http://www.csee.umbc[...] University of Maryland Baltimore County Computer Science and Electrical Engineering Department 2020-01-22
_[7] 웹사이트 High performance computing, Notes of class 11 http://hpc.serc.iisc[...] hpc.serc.iisc.ernet.in 2014-02-08
_[8] 뉴스 Best Extrime Processor: Xelerated X10q http://www.linleygro[...] Microprocessor Report
_[9] 문서 IBM Stretch (7030) -- Aggressive Uniprocessor Parallelism http://www.cs.clemso[...]