벡터 프로세서

3. 특징

벡터 프로세서는 CPU가 한 번에 여러 개의 데이터를 처리할 수 있도록 설계되었다. 일반적인 CPU는 "A와 B를 더한 후 결과를 C에 저장하라"는 명령을 처리할 때, 메모리 주소를 디코딩하고 데이터를 가져오는 데 시간이 걸린다. 반면 벡터 프로세서는 "여기서 여기까지의 모든 숫자를 저기서 저기까지의 모든 숫자에 더하라"는 명령을 처리할 수 있어 디코딩 시간을 줄이고 메모리 사용을 효율적으로 만든다.^[14]

벡터 프로세서는 여러 기능 유닛에 병렬로 숫자를 추가할 수 있으며, 숫자 간의 의존성 검사가 필요 없다. 크레이는 서로 다른 형태의 작업을 한 번에 실행할 수 있도록 설계했다. 예를 들어, 두 숫자를 더한 후 세 번째 숫자와 곱하는 작업을 동시에 처리할 수 있다. 이러한 벡터 프로세싱 방식은 SIMD(Single Instruction, Multiple Data)라는 명칭으로 현대 CPU에 적용되고 있다.

다음은 벡터 프로세서와 스칼라 프로세서의 차이점을 설명하기 위한 예제이다. 10개의 숫자로 된 2그룹을 모두 더하는 간단한 작업을 일반적인 프로그래밍 언어에서는 루프(loop)를 사용해 각 숫자를 하나씩 가져와 더한다. 이 작업을 CPU에서는 다음과 같이 처리한다.

```text

execute this loop 10 times (아래 작업을 10번 반복 실행한다)

read the next instruction and decode it (다음 명령을 읽어들여 해독한다)

fetch this number (이쪽의 숫자를 가져온다)

fetch that number (저쪽의 숫자를 가져온다)

add them (두 숫자를 더한다)

put the result here (결과를 여기에 넣는다)

end loop (루프 마지막)

```

벡터 프로세서에서는 이 작업은 매우 다르게 처리된다.

```text

read instruction and decode it (명령을 읽어들여 해독한다)

fetch these 10 numbers (이쪽의 숫자 10개를 모두 가져온다)

fetch those 10 numbers (저쪽의 숫자 10개를 모두 가져온다)

add them (모두 더한다)

put the results here (결과를 여기에 넣는다)

3. 1. SIMD와 벡터 프로세서의 차이점

• 벡터 길이를 설정하는 방법(예: RISCV RVV의 `vsetvl` 명령어, NEC SX의 `lvl` 명령어). 길이를 2의 거듭제곱 또는 고정 데이터 폭의 배수로 제한하지 않는다.
• 벡터 내부의 요소에 대한 반복 및 축소.

• 복잡한 소프트웨어와 단순화된 하드웨어 (SIMD)
• 단순화된 소프트웨어와 복잡한 하드웨어 (벡터 프로세서)

3. 2. 벡터 명령어의 특징

• '''벡터 로드 및 저장''': 메모리와 벡터 레지스터 간에 여러 요소를 전송하는 명령어를 가진다. 일반적으로 여러 어드레싱 모드가 지원된다. 유닛-스트라이드 어드레싱 모드는 필수적이다. 최신 벡터 아키텍처는 일반적으로 임의의 상수 스트라이드뿐만 아니라 스캐터/개더(''인덱스'' 어드레싱 모드라고도 함) 어드레싱 모드도 지원한다. 고급 아키텍처는 ''세그먼트'' 로드 및 저장과 표준 벡터 로드 및 저장의 ''실패 우선'' 변형을 지원할 수도 있다. 세그먼트 로드는 각 요소가 여러 멤버를 포함하는 데이터 구조인 메모리에서 벡터를 읽는다. 멤버는 데이터 구조(요소)에서 추출되며, 각 추출된 멤버는 다른 벡터 레지스터에 배치된다.<sup>[16]</sup>
• '''마스크된 연산''': 술어 마스크는 분기 없이 병렬 if/then/else 구문을 허용한다. 이를 통해 조건문이 있는 코드를 벡터화할 수 있다.
• '''압축 및 확장''': 일반적으로 비트 마스크를 사용하여 마스크의 비트가 설정되었는지 또는 지워졌는지에 따라 데이터를 선형적으로 압축하거나 확장(재분배)한다. 이때 순차적 순서는 항상 유지되며 값은 복제되지 않는다(개더-스캐터, 즉 순열과 다름). 이러한 명령어는 AVX-512에 포함되어 있다.
• '''레지스터 개더, 스캐터(일명 순열)'''<sup>[27]</sup>: 압축/확장의 덜 제한적이고 일반적인 변형이다. 다른 벡터를 "재정렬"하는 데 사용할 인덱스를 지정하기 위해 하나의 벡터를 사용한다. 개더/스캐터는 압축/확장보다 구현하기 더 복잡하며 본질적으로 비순차적이므로 벡터 체이닝을 방해할 수 있다. 개더-스캐터 메모리 로드/저장 모드와 혼동하지 않도록 주의해야 한다. 개더/스캐터 벡터 연산은 벡터 레지스터에서 작동하며, 종종 순열 명령어라고 한다.
• '''스플랫 및 추출''': 스칼라와 벡터 간의 상호 작용에 유용하다. 단일 값을 벡터 전체로 브로드캐스트하거나 벡터에서 하나의 항목을 추출한다.
• '''이오타''': 순차적으로 증가하는 즉시 값을 연속 요소에 드롭하는 매우 간단하고 전략적으로 유용한 명령어이다. 일반적으로 0부터 시작한다.
• '''감소 및 반복''': 벡터에서 맵리듀스를 수행하는 연산이다(예: 전체 벡터의 최대값을 찾거나 모든 요소를 합산). 반복은 `x[i] = y[i] + x[i-1]` 형식이고 감소는 `x = y[0] + y[1]… + y[n-1]` 형식이다.
• '''행렬 곱셈 지원''': 메모리에서 데이터를 알고리즘적으로 로드하거나, 벡터 요소에 대한 일반적인 선형 액세스를 재정렬(재매핑)하거나, "누산기"를 제공함으로써 임의 크기의 행렬을 효율적으로 처리할 수 있다. IBM POWER10은 MMA 명령어를 제공하지만,<sup>[28]</sup> 정확한 SIMD 크기에 맞지 않는 임의의 행렬 너비의 경우 레지스터 파일 리소스를 낭비하는 데이터 반복 기술이 필요하다.<sup>[29][30]</sup> NVidia는 높은 수준의 행렬 CUDA API를 제공하지만 내부 세부 정보는 사용할 수 없다.<sup>[31]</sup> 가장 리소스 효율적인 기술은 선형 벡터 데이터에 대한 액세스를 제자리에서 재정렬하는 것이다.
• '''고급 수학 형식''': 종종 갈루아 필드 산술을 포함하지만 2진 부호화 10진수 또는 10진 고정 소수점을 포함할 수 있으며, 병렬 캐리-인 및 캐리-아웃을 지원하여 훨씬 더 큰(임의 정밀도) 산술 연산을 지원한다.
• '''비트 조작''': 비트 수준 순열 연산, 비트 필드 삽입 및 추출, 원심 분리기 연산, 개체수 계산 및 기타 여러 가지의 벡터화된 버전을 포함한다.

3. 3. GPU 벡터 처리 기능

• '''부분 벡터''' - 요소는 일반적으로 두 개, 세 개 또는 네 개의 부분 요소(vec2, vec3, vec4)를 포함할 수 있으며, 주어진 술어 마스크의 비트는 부분 벡터의 요소가 아닌 전체 vec2/3/4에 적용된다. 부분 벡터는 RISC-V RVV에서도 도입되었다 ("LMUL"이라고 함).<sup>[32]</sup> 부분 벡터는 Vulkan SPIR-V 사양의 중요한 핵심 부분이다.
• '''부분 벡터 스위즐''' - 부분 요소들을 올바른 SIMD "레인"으로 이동하기 위한 추가적인 (비용이 많이 들고 낭비적인) 명령어가 필요 없이 부분 벡터 간의 요소 연산을 허용하고 술어 마스크 비트를 절약하는 "레인 셔플링"이라고도 한다. Broadcom Videocore IV는 "레인 로테이트"<sup>[33]</sup>라는 용어를 사용하며, 다른 업계에서는 "스위즐"이라는 용어를 사용한다.<sup>[34]</sup>
• '''초월 함수''' - 사인, 코사인 및 로그와 같은 삼각 함수 연산은 많은 까다로운 HPC 작업 부하보다 3D에서 훨씬 더 두드러지게 나타난다. 픽셀 좌표 계산은 높은 정밀도를 요구하지 않으므로 GPU의 경우 3D에서 정확도보다 속도가 훨씬 더 중요하다.

3. 4. Fault (또는 Fail) First

4. 성능 및 속도 향상

벡터 프로세서는 한 번에 여러 데이터에 대해 동일한 연산을 수행하여 성능을 크게 향상시킬 수 있다. 일반적인 CPU는 한 번에 한두 개의 데이터를 처리하는 반면, 벡터 프로세서는 "여기에서 여기까지"의 모든 숫자를 "저기에서 저기까지"의 모든 숫자에 더하라는 식으로 한 번에 많은 데이터에 대해 연산을 수행한다.

이렇게 하면 명령어 디코딩 시간을 절약할 수 있다. 일반 CPU는 각 데이터마다 메모리 주소를 디코딩하고 데이터를 가져와야 하지만, 벡터 프로세서는 한 번의 명령어만 읽고, 그 명령어 자체에 정의된 대로 연속된 데이터에 대해 동일한 연산을 반복한다.

예를 들어, 10개의 숫자 쌍을 더하는 작업을 생각해 보자. 일반 CPU는 루프를 통해 각 쌍을 가져와 더하지만, 벡터 프로세서는 한 번의 `vadd` 명령어(Cray 스타일의 경우 `setvli`, `vload`, `vadd`, `vstore`)로 처리할 수 있다. 이렇게 하면 주소 변환 횟수, 명령어 가져오기 및 디코딩 횟수가 줄어들어 성능이 향상된다.<sup>[14]</sup> 또한, 코드 크기가 줄어들어 메모리 사용 효율성이 높아지고, 분기 예측이 쉬워지며, 명령어에 하드 코딩된 길이 제한이 없어 "미래 보장"이 가능하다.<sup>[15]</sup>

최신 벡터 프로세서는 여러 개의 기능 유닛을 병렬로 사용하여 성능을 더욱 향상시킨다. 벡터 명령어는 여러 개의 독립적인 연산을 지정하므로, 각 연산 간의 종속성을 확인할 필요가 없어 제어 로직이 단순해지고 지연이 줄어든다.

벡터 프로세서의 성능 향상은 벡터 속도 비율(`r`)과 벡터화 비율(`f`)로 계산할 수 있다. `r`은 벡터 연산이 스칼라 연산보다 얼마나 빠른지를 나타내고, `f`는 전체 연산 중 벡터화된 연산의 비율을 나타낸다.

벡터 프로세서의 성능 향상 계산식은 다음과 같다.

:$r/[(1-f)*r+f]$

이 식에서 볼 수 있듯이, 벡터 프로세서의 성능이 아무리 높아도(`r`이 무한대) 속도 향상은 `1/(1-f)`를 넘을 수 없다. 즉, 벡터화 비율(`f`)이 성능에 매우 중요하다는 것을 의미한다.

참조

<sub>[1]</sub> 간행물 Computers by the thousand https://archive.org/[...] 1976-06-17
<sub>[2]</sub> 서적 The history of computer technology in their faces (in Russian) KIT
<sub>[3]</sub> 웹사이트 MIAOW Vertical Research Group http://miaowgpu.org/
<sub>[4]</sub> 웹사이트 MIAOW GPU https://github.com/V[...]
<sub>[5]</sub> 보도자료 Andes Announces RISC-V Multicore 1024-bit Vector Processor: AX45MPV https://www.globenew[...] GlobeNewswire 2022-12-07
<sub>[6]</sub> 학회 An algorithm of hardware unit generation for processor core synthesis with packed SIMD type instructions 2002
<sub>[7]</sub> 웹사이트 Riscv-v-spec/V-spec.adoc at master · riscv/Riscv-v-spec https://github.com/r[...] 2023-06-16
<sub>[8]</sub> 웹사이트 Vector Engine Assembly Language Reference Manual https://sxauroratsub[...] 2023-06-16
<sub>[9]</sub> 웹사이트 Documentation – Arm Developer https://developer.ar[...]
<sub>[10]</sub> 웹사이트 Vector Architecture http://thebeardsage.[...] 2020-04-27
<sub>[11]</sub> 웹사이트 Vector and SIMD processors, slides 12-13 http://www.inf.ed.ac[...]
<sub>[12]</sub> 웹사이트 Array vs Vector Processing, slides 5-7 https://course.ece.c[...]
<sub>[13]</sub> 웹사이트 SIMD vs Vector GPU, slides 22-24 https://course.ece.c[...]
<sub>[14]</sub> 서적 Computer Organization and Design: the Hardware/Software Interface page 751-2 https://archive.org/[...] Morgan Kaufmann
<sub>[15]</sub> 웹사이트 Riscv-v-spec/V-spec.adoc at master · riscv/Riscv-v-spec https://github.com/r[...] 2022-11-19
<sub>[16]</sub> 웹사이트 Videocore IV Programmer's Manual https://github.com/h[...]
<sub>[17]</sub> 웹사이트 Videocore IV QPU analysis by Jeff Bush https://jbush001.git[...]
<sub>[18]</sub> 웹사이트 Coding for Neon - Part 3 Matrix Multiplication https://community.ar[...] 2013-09-11
<sub>[19]</sub> 웹사이트 SIMD considered harmful https://www.sigarch.[...]
<sub>[20]</sub> 웹사이트 ARM SVE2 tutorial https://developer.ar[...]
<sub>[21]</sub> 웹사이트 Sse - 1-to-4 broadcast and 4-to-1 reduce in AVX-512 https://stackoverflo[...]
<sub>[22]</sub> 웹사이트 Assembly - Fastest way to do horizontal SSE vector sum (Or other reduction) https://stackoverflo[...]
<sub>[23]</sub> 웹사이트 Riscv-v-spec/V-spec.adoc at master · riscv/Riscv-v-spec https://github.com/r[...] 2022-11-19
<sub>[24]</sub> 웹사이트 Cray Overview http://www.lanl.gov/[...]
<sub>[25]</sub> 웹사이트 RISC-V RVV ISA https://github.com/r[...]
<sub>[26]</sub> 웹사이트 SX-Arora Overview https://sx-aurora.gi[...]
<sub>[27]</sub> 웹사이트 RVV register gather-scatter instructions https://github.com/r[...]
<sub>[28]</sub> Youtube IBM's POWER10 Processor - William Starke & Brian W. Thompto, IBM https://m.youtube.co[...]
<sub>[29]</sub> arXiv A matrix math facility for Power ISA(TM) processors
<sub>[30]</sub> 서적 High Performance Computing for Computer Graphics and Visualisation
<sub>[31]</sub> 웹사이트 CUDA C++ Programming Guide https://docs.nvidia.[...]
<sub>[32]</sub> 웹사이트 LMUL > 1 in RVV https://github.com/r[...]
<sub>[33]</sub> 웹사이트 Abandoned US patent US20110227920-0096 https://patents.goog[...]
<sub>[34]</sub> 웹사이트 Videocore IV QPU https://github.com/h[...]
<sub>[35]</sub> 웹사이트 Introduction to ARM SVE2 https://developer.ar[...]
<sub>[36]</sub> 문서 RVV fault-first loads https://github.com/r[...]
<sub>[37]</sub> 문서 PATCH to libc6 to add optimised POWER9 strncpy https://patchwork.oz[...]
<sub>[38]</sub> 문서 RVV strncpy example https://github.com/r[...]
<sub>[39]</sub> 논문 ARM SVE2 paper by N. Stevens https://alastairreid[...]
<sub>[40]</sub> 웹사이트 プロセッサ開発のセンス ～第4回 ベクトル・プロセッサ～ {{!}} 株式会社エヌエスアイテクス （NSITEXE,Inc.） https://www.nsitexe.[...] 2023-02-22
<sub>[41]</sub> 문서 いわゆる、「0オペランド」（スタックマシン等）・「1オペランド」（初期のコンピュータ。アキュームレータマシン）・「2オペランド」（CISCに多い）・「3オペランド」（RISCに多い）のこと。
<sub>[42]</sub> 문서 複素数のハードウェアサポートは、ポピュラーではないが特に珍しいものでもない。
<sub>[43]</sub> 문서 牧野淳一郎『スーパーコンピューティングの将来』25.4. 日本の時代 1990年代前半まで http://jun-makino.sa[...] 2023-09-09
<sub>[44]</sub> 문서 ASCII.jp：スーパーコンピューターの系譜　最後のベクトルマシンとなったCray X1 https://ascii.jp/ele[...] 2023-09-09
<sub>[45]</sub> 문서 Arm SVE命令セットって美味しいの? - Qiita https://qiita.com/aK[...] 2023-09-09
<sub>[46]</sub> 문서 「ベクトルプロセッサとスカラープロセッサ両方の性質を兼ね備えている」とある。 https://www.fujitsu.[...] 2023-09-09
<sub>[47]</sub> 서적 『RISC-V 原典』第8章 (pp.74-88) p.75に「ベクトルの長さとクロックサイクル当たりの最大の処理を命令のエンコーディングから分離することがベクトル・アーキテクチャの最も重要な点である」と強調がある。
<sub>[48]</sub> 서적 『RISC-V 原典』p.85に「vfmadd213pd とは何であり、いつ使うべきかを、どうしたら覚えられようか」とある。