AVX-512

3. 인코딩 및 기능

AVX 및 AVX2에서 사용되는 VEX 접두사는 유연하지만, 인텔이 AVX-512에 추가하고자 했던 기능을 위한 충분한 공간을 제공하지 못했다. 이러한 이유로 인텔은 EVEX라는 새로운 접두사를 정의하게 되었다.^[6]

EVEX는 VEX에 비해 다음과 같은 이점을 제공한다:^[6]

• 32개의 512비트 레지스터를 허용하는 확장된 레지스터 인코딩.
• 대부분의 AVX-512 명령어를 마스킹하기 위한 8개의 새로운 opmask 레지스터를 추가.
• 자동으로 브로드캐스트를 수행하는 새로운 스칼라 메모리 모드를 추가.
• 각 명령어에 명시적인 반올림 제어를 위한 공간을 추가.
• 새로운 압축된 변위 메모리 어드레싱 모드를 추가.

3. 1. EVEX 접두사

• 32개의 512비트 레지스터를 사용할 수 있도록 레지스터 인코딩을 확장했다.
• AVX-512 명령어 마스킹을 위한 8개의 opmask 레지스터를 추가했다.
• 자동 브로드캐스트를 수행하는 스칼라 메모리 모드를 추가했다.
• 명령어에 명시적인 반올림 제어를 위한 공간을 추가했다.
• 압축된 변위 메모리 어드레싱 모드를 추가했다.

3. 2. SIMD 모드

3. 3. 확장 레지스터

3. 4. Opmask 레지스터

3. 5. 새로운 Opmask 명령어

4. AVX-512 Foundation의 새로운 명령어

AVX-512F는 기존 SSE 또는 AVX 명령어의 EVEX 버전뿐만 아니라, 여러 새로운 명령어들을 포함한다.

### 마스크를 사용한 블렌드 (Blend using mask)

AVX-512에는 SSE4의 블렌드 명령어의 EVEX 접두사 버전이 존재하지 않는다. 대신 마스크 레지스터를 선택자로 사용하는 새로운 블렌딩 명령어 세트가 있다. 아래의 일반적인 마스크 명령어 비교와 함께, 이는 XOP의 VPCMOV와 유사한 일반적인 삼항 연산 또는 cmov를 구현하는 데 사용될 수 있다.

블렌딩은 EVEX 인코딩의 필수적인 부분이기 때문에, 이러한 명령어는 기본적인 이동 명령어(move instructions)로 간주될 수도 있다. 제로잉 블렌드 모드를 사용하여, 마스킹 명령어(masking instructions)로도 사용할 수 있다.

### 마스크로 비교 (Compare into mask)

AVX-512F는 비교 결과를 마스크 레지스터에 저장하는 4개의 새로운 비교 명령어를 제공한다.^[6] XOP 명령어와 유사하게 즉시 필드를 사용하여 8가지 비교를 선택할 수 있지만, XOP와 달리 결과를 마스크 레지스터에 저장하며 초기에는 더블워드 및 쿼드워드 비교만 지원한다.^[6] AVX-512BW 확장은 바이트 및 워드 버전을 제공한다.^[6]

명령에 대해 두 개의 마스크 레지스터를 지정할 수 있는데, 하나는 쓰기용이고 다른 하나는 일반 마스킹을 선언하는 데 사용한다.^[6]

### 논리적 마스크 설정 (Logical set mask)

마스크를 설정하는 방법 중 하나는 논리적 설정 마스크를 사용하는 것이다. 이 명령어들은 AND 또는 NAND 연산을 수행한 다음, 결과 값이 0인지 또는 0이 아닌지에 따라 대상 오프마스크를 설정한다. 비교 명령어와 마찬가지로, 이 명령어들은 두 개의 오프마스크 레지스터를 사용하는데, 하나는 대상이고 다른 하나는 일반적인 오프마스크이다.

### 압축 및 확장 (Compress and expand)

압축 및 확장 명령어는 APL 연산과 동일한 이름으로 일치한다. 다른 AVX-512 명령어와는 약간 다른 방식으로 opmask를 사용한다. 압축은 마스크에 표시된 값만 저장하지만, 표시되지 않은 값에 대한 공간을 예약하지 않고 건너뛰어 압축하여 저장한다. 확장은 마스크에 표시된 만큼의 값을 로드한 다음 선택한 위치로 분산시켜 반대 방식으로 작동한다.

### 순열 (Permute)

AVX-512에는 두 개의 전체 입력 순열을 위한 새로운 순열 명령어들이 추가되었다. 이 명령어들은 세 개의 인수를 사용하며, 두 개의 소스 레지스터와 하나의 인덱스를 사용한다. 결과는 첫 번째 소스 레지스터 또는 인덱스 레지스터를 덮어쓰는 방식으로 출력된다. AVX-512BW는 명령어를 16비트(워드) 버전까지 확장하며, AVX-512_VBMI 확장은 명령어의 바이트 버전을 정의한다.

### 비트 단위 삼항 논리 (Bitwise ternary logic)

AVX-512에는 세 개의 입력 간의 모든 비트 연산을 구현할 수 있는 새로운 명령어들이 추가되었다.^[6] 이 명령어들은 세 개의 레지스터를 입력으로 받고 8비트 즉시 필드를 받는다. 출력의 각 비트는 입력의 세 개의 해당 비트를 사용하여 8비트 즉시 값의 8개 위치 중 하나를 선택하여 생성된다. 세 비트를 사용하면 8가지 조합만 가능하므로, 이를 통해 가능한 모든 3 입력 비트 연산을 수행할 수 있다.^[6]

AVX-512F에는 이 두 가지 비트 단위 벡터 명령어가 유일하며, 두 개의 소스 SSE 및 AVX 비트 단위 벡터 명령어 AND, ANDN, OR 및 XOR의 EVEX 버전이 AVX-512DQ에 추가되었다. 더블 워드 및 쿼드 워드 버전의 차이점은 opmask의 적용뿐이다.

### 변환 (Conversions)

AVX-512는 SSE2에서 제공되는 변환 명령 세트를 완성하는 여러 변환 또는 이동 명령을 추가했다.

### 부동 소수점 분해 (Floating-point decomposition)

AVX-512F에는 부동 소수점 값을 분해하고 특수 부동 소수점 값을 처리하는 명령어들이 추가되었다. 이러한 방법은 완전히 새로운 것이므로 스칼라 버전으로도 존재한다.

### 부동 소수점 산술 (Floating-point arithmetic)

AVX-512는 새로운 스케일링, 역수 및 제곱근의 역수 근사 계산을 포함하는 새로운 부동 소수점 연산 방식들을 제공한다.^[6] 근사 역수 명령어는 최대 상대 오차가 2⁻¹⁴임을 보장한다.^[6]

### 브로드캐스트 (Broadcast)

AVX-512에는 메모리에서 벡터 레지스터로 값을 브로드캐스트하는 명령어들이 추가되었다.

### 기타 명령어 (Miscellaneous)

AVX-512에는 벡터 정렬, 절대값 계산, 비트 회전 등 다양한 기능을 수행하는 명령어들이 추가되었다.

4. 1. 마스크를 사용한 블렌드 (Blend using mask)

4. 2. 마스크로 비교 (Compare into mask)

명령에 대해 두 개의 마스크 레지스터를 지정할 수 있는데, 하나는 쓰기용이고 다른 하나는 일반 마스킹을 선언하는 데 사용한다.^[6]

4. 3. 논리적 마스크 설정 (Logical set mask)

4. 4. 압축 및 확장 (Compress and expand)

4. 5. 순열 (Permute)

4. 6. 비트 단위 삼항 논리 (Bitwise ternary logic)

4. 7. 변환 (Conversions)

4. 8. 부동 소수점 분해 (Floating-point decomposition)

4. 9. 부동 소수점 산술 (Floating-point arithmetic)

4. 10. 브로드캐스트 (Broadcast)

4. 11. 기타 명령어 (Miscellaneous)

5. 세트별 새로운 명령어 (New instructions by sets)

5. 1. 충돌 감지 (Conflict detection)

5. 2. 지수 및 역수 (Exponential and reciprocal)

5. 3. 프리페치 (Prefetch)

5. 4. 4FMAPS 및 4VNNIW

5. 5. BW, DQ 및 VBMI

5. 6. VBMI2

5. 7. VNNI

5. 8. IFMA

5. 9. VPOPCNTDQ 및 BITALG

5. 10. VP2INTERSECT

5. 11. GFNI, VPCLMULQDQ, VAES

AVX-512F를 사용한 VPCLMULQDQ는 PCLMULQDQ 명령어의 EVEX 인코딩된 512비트 버전을 추가한다. AVX-512VL을 사용하면 EVEX 인코딩된 256비트 및 128비트 버전이 추가된다. VPCLMULQDQ 단독으로(즉, AVX512가 아닌 CPU에서) VEX 인코딩된 256비트 버전만 추가한다. (VEX 인코딩된 128비트 버전의 가용성은 다른 CPUID 비트로 표시된다: PCLMULQDQ 및 AVX.) 128비트보다 넓은 이 명령의 변형은 입력 레지스터의 각 128비트 부분에 대해 동일한 연산을 수행하지만, 서로 다른 128비트 필드에서 쿼드워드를 선택하는 방식으로 확장하지는 않는다(imm8 피연산자의 의미는 동일하다: 128비트 필드의 하위 또는 상위 쿼드워드 중 하나가 선택된다).

VEX 및 EVEX 인코딩된 AES 명령어. 128비트보다 넓은 명령어 변형은 입력 레지스터의 각 128비트 부분에 대해 동일한 작업을 수행한다. VEX 버전은 AVX-512 지원 없이 사용할 수 있다.

5. 12. BF16

5. 13. FP16

6. EVEX 인코딩된 레거시 명령어 (Legacy instructions with EVEX-encoded versions)

AVX-512는 기존의 SSE, AVX, AVX2 명령어 중 일부를 EVEX 인코딩을 사용하여 확장했다. 다음 표는 EVEX 인코딩으로 확장된 레거시 명령어들을 보여준다.

7. AVX-512 지원 CPU

인텔의 나이츠 랜딩(Knights Landing)(제온 파이 x200)^[1][13]은 AVX-512 F, CD, ER, PF를 지원한다. 나이츠 밀(Knights Mill)(제온 파이 x205)^[14]은 AVX-512 F, CD, ER, PF, 4FMAPS, 4VNNIW, VPOPCNTDQ를 지원한다. 스카이레이크-SP, 스카이레이크-X^[15][16][17]는 AVX-512 F, CD, VL, DQ, BW를 지원한다. 캐논 레이크^[14]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI를 지원한다. 캐스케이드 레이크는 AVX-512 F, CD, VL, DQ, BW, VNNI를 지원하며, 쿠퍼 레이크는 AVX-512 F, CD, VL, DQ, BW, VNNI, BF16을 지원한다. 아이스 레이크^[14], 로켓 레이크^[18][19]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES를 지원한다. 타이거 레이크 (펜티엄 및 셀러론 제외, 일부 리뷰어는 AVX-512를 지원하는 셀러론 6305의 CPU-Z 스크린샷을 가지고 있음^[20][21])^[22]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES, VP2INTERSECT를 지원한다. 앨더 레이크 (인텔에서 공식적으로 지원하지 않으며, 최신 CPU에서는 완전히 제거됨)^[23][24]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES, BF16, VP2INTERSECT, FP16을 지원한다. 사파이어 래피즈^[25] 및 이후의 P코어 전용 제온 프로세서는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES, BF16, FP16을 지원한다.

센타우어 테크놀로지의 "CNS" 코어 (8c/8t)^[26][27]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI를 지원한다.

AMD의 젠 4^{[28][29][30][31][32]}는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES, BF16을 지원한다. 젠 5^[33]는 AVX-512 F, CD, VL, DQ, BW, IFMA, VBMI, VBMI2, VPOPCNTDQ, BITALG, VNNI, VPCLMULQDQ, GFNI, VAES, BF16, VP2INTERSECT를 지원한다.

8. 성능 (Performance)

일부 프로세서(대부분 아이스 레이크 이전 인텔)에서 AVX-512 명령어는 이전 버전보다 더 큰 주파수 스로틀링을 유발하여 혼합 워크로드에 페널티를 줄 수 있다.^[39][40][41] 추가적인 다운클럭킹은 벡터의 512비트 너비로 인해 발생하며 실행되는 명령의 특성에 따라 달라진다. AVX-512의 128 또는 256비트 부분(AVX-512VL)을 사용하면 트리거되지 않는다. 결과적으로, gcc와 Clang은 인텔 타겟에 대해 256비트 벡터를 선호하도록 기본 설정되어 있다.^[39][40][41]

C/C++ 컴파일러는 AVX-512를 가장 효과적으로 사용하기 위해 루프 언롤링을 자동으로 처리하고 파이프라인의 스톨을 방지한다. 언어 내장 함수를 사용하여 AVX-512 사용을 강제하려는 프로그래머는 컴파일러가 생성한 코드에 비해 성능이 저하될 수 있다.^[42] 다른 경우에는 C/C++ 코드에서 AVX-512 내장 함수를 사용하면 성능이 향상될 수 있다.^[43]

인텔 벡터화 어드바이저(2017 버전부터)는 네이티브 AVX-512 성능 및 벡터 코드 품질 분석을 지원한다("Core", 제온 및 인텔 제온 파이 프로세서용). 어드바이저 설문 분석은 AVX-512 ISA 지표 및 새로운 AVX-512 관련 "특성"을 제공한다.^[37][38]

9. 평가 (Reception)

AVX-512는 미디어 처리, 암호화, 비디오 게임^[44], 신경망^[45], 그리고 정렬 알고리즘에 AVX-512를 사용하는 OpenJDK를 포함하여 다양한 AVX-512 응용 프로그램의 예시가 있다.^[46]

리누스 토르발스는 2020년에 AVX-512에 대해 "AVX-512가 고통스럽게 죽기를 바라며, 인텔이 벤치마크를 잘 보이게 하기 위해 마법 같은 명령어를 만드는 대신 실제 문제를 해결하기 시작했으면 좋겠다"고 비판적인 입장을 표명했다.^[48] 그는 트랜지스터 수 예산을 추가적인 멀티 코어 프로세서와 정수 성능에 사용하는 것을 선호하며, 부동 소수점 벤치마크를 "혐오한다"고 밝혔다.^[48]

누멘타는 자신들의 "매우 희소 네트워크"^[49] 신경망 기술을 활용하여 AVX-512를 사용하는 CPU에서 알고리즘이 실행되므로 GPU가 필요 없다고 주장한다.^[50] 이들은 Sparse Evolutionary Training (SET) 알고리즘^[51] 및 Foresight Pruning과 같은 기술을 통해 정확도와 정밀도를 유지하면서 신경망의 크기를 줄여 A100에 비해 10배의 속도 향상을 달성했다고 주장한다.^[52]

참조

_[1] 웹사이트 AVX-512 Instructions https://software.int[...] Intel 2013-08-20
_[2] 웹사이트 Intel Unveils AVX10 and APX Instruction Sets: Unifying AVX-512 For Hybrid Architectures https://www.anandtec[...] AnandTech 2024-08-21
_[3] 웹사이트 Additional AVX-512 instructions https://software.int[...] Intel 2014-08-03
_[4] 웹사이트 Intel 'Skylake' processors for PCs will not support AVX-512 instructions https://www.kitguru.[...] 2015-03-17
_[5] 웹사이트 Intel will add deep-learning instructions to its processors https://lemire.me/bl[...] 2016-10-14
_[6] 웹사이트 Intel Architecture Instruction Set Extensions Programming Reference https://software.int[...] Intel 2014-01-29
_[7] 웹사이트 Inline asm docs incorrectly state that k0 (X86 AVX-512) is hard-wired to zero · Issue #94977 · rust-lang/Rust https://github.com/r[...]
_[8] 웹사이트 AVX-512 Architecture/Demikhovsky Poster https://llvm.org/dev[...] Intel 2014-02-25
_[9] 웹사이트 Intel® Deep Learning Boost https://www.intel.co[...] Intel 2021-10-11
_[10] 웹사이트 Galois Field New Instructions (GFNI) Technology Guide https://networkbuild[...]
_[11] 웹사이트 camellia-simd-aesni https://github.com/j[...] 2023-04-19
_[12] 웹사이트 Intel® AVX512-FP16 Architecture Specification, June 2021, Revision 1.0, Ref. 347407-001US https://software.int[...] Intel 2021-07-04
_[13] 웹사이트 Intel Xeon Phi Processor product brief https://www.intel.co[...] Intel 2016-10-12
_[14] 웹사이트 Intel Architecture Instruction Set Extensions and Future Features Programming Reference https://software.int[...] Intel 2017-10-16
_[15] 뉴스 Intel unveils X-series platform: Up to 18 cores and 36 threads, from $242 to $2,000 https://arstechnica.[...] 2017-05-30
_[16] 웹사이트 Intel Advanced Vector Extensions 2015/2016: Support in GNU Compiler Collection https://gcc.gnu.org/[...] 2016-10-20
_[17] 웹사이트 Intel's Xeon roadmap for 2016 leaks https://www.itworld.[...] 2016-10-20
_[18] 웹사이트 Intel Core i9-11900K Review - World's Fastest Gaming Processor? https://www.techpowe[...] 2021-03-30
_[19] 웹사이트 "Add rocketlake to gcc" commit https://gcc.gnu.org/[...]
_[20] 웹사이트 Intel Celeron 6305 Processor (4M Cache, 1.80 GHz, with IPU) Product Specifications https://ark.intel.co[...] 2020-11-10
_[21] 문서 # Citation 템플릿이므로 일반 문서로 처리 Laptop Murah Kinerja Boleh Diadu {{!}} HP 14S DQ2518TU https://www.youtube.[...] 2021-08-08
_[22] 웹사이트 Using the GNU Compiler Collection (GCC): x86 Options https://gcc.gnu.org/[...] GNU 2019-10-14
_[23] 웹사이트 The Intel 12th Gen Core i9-12900K Review: Hybrid Performance Brings Hybrid Complexity https://www.anandtec[...] 2021-11-05
_[24] 웹사이트 Intel Core i9 12900K "Alder Lake" AVX-512 On Linux https://www.phoronix[...] 2021-11-08
_[25] 웹사이트 AVX-512 Performance Comparison: AMD Genoa vs. Intel Sapphire Rapids & Ice Lake https://www.phoronix[...] 2023-01-19
_[26] 웹사이트 The industry's first high-performance x86 SOC with server-class CPUs and integrated AI coprocessor technology https://centtech.com[...] 2022-08-02
_[27] 웹사이트 x86, x64 Instruction Latency, Memory Latency and CPUID dumps (instlatx64) http://users.atw.hu/[...]
_[28] 웹사이트 AMD Zen 4 Based Ryzen CPUs May Feature Up to 24 Cores, Support for AVX512 Vectors https://www.hardware[...] 2021-09-02
_[29] 웹사이트 AMD working on a prodigious 96-core EPYC processor https://www.guru3d.c[...] 2021-05-18
_[30] 웹사이트 Details on the Gigabyte Leak https://chipsandchee[...] 2022-06-10
_[31] 웹사이트 AMD Answers Our Zen 4 Tech Questions, with Robert Hallock https://www.techpowe[...] 2022-05-26
_[32] 웹사이트 AMD Zen 4 AVX-512 Performance Analysis On The Ryzen 9 7950X https://www.phoronix[...] 2022-09-26
_[33] 웹사이트 AMD Zen 5 Compiler Support Posted For GCC - Confirms New AVX Features & More https://www.phoronix[...] 2024-02-10
_[34] 웹사이트 Intel Nukes Alder Lake's AVX-512 Support, Now Fuses It Off in Silicon https://www.tomshard[...] 2022-03-07
_[35] 웹사이트 Intel Architecture Day 2021: Alder Lake, Golden Cove, and Gracemont Detailed https://www.anandtec[...] 2021-08-25
_[36] 웹사이트 Intel Architecture Day 2021: Alder Lake Chips, Golden Cove and Gracemont Cores https://www.tomshard[...] 2021-08-19
_[37] 웹사이트 Intel Advisor XE 2016 Update 3 What's new - Intel Software https://software.int[...] 2016-10-20
_[38] 웹사이트 Intel Advisor - Intel Software https://software.int[...] 2016-10-20
_[39] 웹사이트 SIMD instructions lowering CPU frequency https://stackoverflo[...]
_[40] 웹사이트 why does gcc auto-vectorization for tigerlake use ymm not zmm registers https://stackoverflo[...]
_[41] 웹사이트 LLVM 10.0.0 Release Notes https://releases.llv[...]
_[42] AV media Lightning Talk: How to Leverage SIMD Intrinsics for Massive Slowdowns - Matthew Kolbe - CppNow 2023 https://www.youtube.[...] C++Now 2023-10-10
_[43] journal Transcoding unicode characters with AVX-512 instructions 2023-08-05
_[44] 웹사이트 The RPCS3 PS3 emulator gets a hefty boost on Intel Alder Lake CPUs with AVX-512 enabled https://www.pcgamer.[...] PC Gamer 2023-10-11
_[45] conference Lightweight Deep Learning Applications on AVX-512 https://ieeexplore.i[...] IEEE 2021-09-05
_[46] 웹사이트 JDK-8309130: x86_64 AVX512 intrinsics for Arrays.sort methods (int, long, float and double arrays) https://bugs.openjdk[...] OpenJDK 2023-10-11
_[47] 웹사이트 Linus Torvalds: I hope Intel's AVX-512 dies a painful death https://www.zdnet.co[...] ZDNet 2023-10-11
_[48] 웹사이트 Alder Lake and AVX-512 https://www.realworl[...] 2023-10-11
_[49] 웹사이트 Sparsity Enables 100x Performance Acceleration in Deep Learning Networks: A Technology Demonstration https://www.numenta.[...] 2023-10-11
_[50] 웹사이트 A tiny startup has helped Intel trounce AMD and Nvidia in critical AI tests — is it game over already? https://www.techrada[...] TechRadar 2023-10-11
_[51] journal Scalable training of artificial neural networks with adaptive sparse connectivity inspired by network science 2018
_[52] 웹사이트 The Case for Sparsity in Neural Networks, Part 2: Dynamic Sparsity https://www.numenta.[...] 2023-10-11
_[53] 웹인용 AVX-512 Instructions https://software.int[...] Intel 2013-07-23