NVLink
1. 개요
NVLink는 엔비디아가 CPU와 GPU, GPU 간의 데이터 및 제어 코드 전송을 위해 개발한 점대점 연결 기술이다. NVLink는 세대별로 전송 속도가 향상되었으며, NVLink 1.0은 20GT/s, NVLink 2.0은 25GT/s, NVLink 3.0은 50GT/s, NVLink 4.0은 50GT/s, NVLink 5.0은 100 GT/s의 전송 속도를 제공한다. NVLink는 파스칼, 볼타, 튜링, 암페어, 호퍼, 블랙웰 아키텍처 기반 GPU 및 IBM Power9 프로세서에 적용되었으며, PCIe와 비교하여 높은 전송 속도와 대역폭을 제공한다. 2016년 엔비디아는 Tesla P100 제품에 NVLink를 구현한다고 발표했으며, 미국 에너지부는 NVLink 2를 활용하는 슈퍼컴퓨터를 구축하는 계약을 체결했다.
-
엔비디아 -
ARM 홀딩스
ARM 홀딩스는 저전력 특성의 ARM 아키텍처 기반 반도체 설계 자산 IP를 라이선스하는 회사로, 모바일 기기부터 슈퍼컴퓨터까지 다양한 분야에 활용되며 소프트뱅크 그룹에 인수 후 나스닥에 상장되었다. -
엔비디아 -
터보캐시
터보캐시는 GPU가 시스템 메모리를 비디오 메모리처럼 활용하여 그래픽 성능을 높이는 기술로, 엔비디아에서 저가형 비디오 카드 및 통합 그래픽의 성능 향상을 위해 개발되었다. -
직렬 버스 -
인피니밴드
인피니밴드는 고성능 컴퓨팅 환경에서 서버, 스토리지, 네트워크 장치 간 고속 데이터 전송을 위한 직렬 통신 기술로, 슈퍼컴퓨터나 데이터 센터에서 주로 사용되지만 이더넷 기반 기술과의 경쟁 및 새로운 컴퓨팅 환경에 대한 적응이라는 과제를 안고 있다. -
직렬 버스 -
하이퍼트랜스포트
하이퍼트랜스포트는 고성능 컴퓨터 시스템에서 CPU, 메모리, 칩셋 간의 연결을 고속으로 처리하기 위해 개발된 상호 연결 기술로, AMD CPU와 엔비디아 칩셋 등에 적용되어 시스템 효율성을 향상시키고 다양한 응용 분야에 활용되며 후속 기술의 기반이 되었다. -
컴퓨터 버스 -
NMEA 0183
NMEA 0183은 선박용 GPS, 자동식별장치(AIS) 등 항해 장비에서 데이터를 송수신하는 데 사용되는 ASCII 기반의 직렬 통신 프로토콜로, RS-422 전기 표준을 사용하며, 문장 형태의 데이터를 통해 정보를 전달하고, 물리 계층, 데이터 링크 계층, 애플리케이션 계층의 3가지 레이어로 구성되어 다양한 소프트웨어에서 지원된다. -
컴퓨터 버스 -
인피니밴드
인피니밴드는 고성능 컴퓨팅 환경에서 서버, 스토리지, 네트워크 장치 간 고속 데이터 전송을 위한 직렬 통신 기술로, 슈퍼컴퓨터나 데이터 센터에서 주로 사용되지만 이더넷 기반 기술과의 경쟁 및 새로운 컴퓨팅 환경에 대한 적응이라는 과제를 안고 있다.
2. 원리
NVLink는 CPU와 GPU 간, 그리고 GPU 간의 프로세서 시스템에서 데이터 및 제어 코드 전송을 위해 엔비디아가 개발한 기술이다. NVLink는 차등 쌍을 기반으로 데이터를 전송하며, 각 세대별로 전송 속도가 향상되었다.
NVLink 1.0 및 2.0은 8개의 차등 쌍으로 "서브 링크"를 구성하고, 두 개의 서브 링크가 "링크"를 형성한다. NVLink 3.0부터는 4개의 차등 쌍으로 서브 링크를 구성하여 효율성을 높였다. NVLink 2.0, 3.0 및 4.0은 모두 양방향 링크당 50GB/s의 속도를 가지며, 각각 6개, 12개 및 18개의 링크를 가지고 있다.
2.1. NVLink 세대별 특징
NVLink는 엔비디아가 개발한 고속 점대점 연결 기술로, CPU와 GPU 간, 그리고 GPU 간의 데이터 및 제어 코드 전송을 빠르게 해준다. 각 세대별 주요 특징은 다음과 같다.
| 세대 | 차등 쌍당 데이터 전송 속도 | 링크당 양방향 대역폭 | GPU당 링크 수 | 총 대역폭 | 적용 제품 |
|---|---|---|---|---|---|
| NVLink 1.0 | 20 Gbit/s | 해당 없음 | 해당 없음 | 해당 없음 | Tesla P100 (파스칼 아키텍처) |
| NVLink 2.0 | 25 Gbit/s | 50 GB/s | 6 | 300 GB/s | Tesla V100 (볼타 아키텍처) |
| NVLink 3.0 | 50 Gbit/s | 50 GB/s | 12 | 600 GB/s | 암페어 기반 A100 GPU |
| NVLink 4.0 | 정보 없음 | 50 GB/s | 18 | 900 GB/s | 호퍼 (마이크로아키텍처)영어 기반 H100 GPU, 엔비디아 Grace CPU |
| NVLink 5.0 | 정보 없음 | 정보 없음 | 정보 없음 | 정보 없음 | Blackwell영어 아키텍처 기반 B100, B200, GB200 GPU, 엔비디아 Grace CPU |
각 세대의 NVLink는 고성능 컴퓨팅 분야에 주로 사용되고 있다.
2.1.1. NVLink 1.0
NVLink 1.0은 CPU와 GPU 간, 그리고 GPU 간의 프로세서 시스템에서 데이터 및 제어 코드 전송을 위해 엔비디아가 개발한 기술로, 차등 쌍당 20Gbit/s의 데이터 전송 속도를 가진 점대점 연결을 제공한다. 2016년4월 5일, 엔비디아는 Tesla P100 제품 등에서 사용되는 파스칼 아키텍처에 NVLink 1.0을 구현한다고 발표했다.
2.1.2. NVLink 2.0
NVLink 2.0은 차등 쌍당 25Gbit/s의 데이터 전송 속도를 가지는 점대점 연결이다. 8개의 차등 쌍이 "서브 링크"를 형성하고, 각 방향에 대해 하나씩 두 개의 "서브 링크"가 "링크"를 형성한다. 서브 링크의 총 데이터 전송 속도는 25GB/s이고 링크의 총 데이터 전송 속도는 50GB/s이다. 각 V100 GPU는 최대 6개의 링크를 지원하여, 총 300GB/s의 양방향 대역폭을 지원한다.
2014년, 미국 에너지부는 엔비디아와 IBM에 서밋과 시에라라는 두 대의 슈퍼컴퓨터를 구축하는 계약을 체결했다. 이 슈퍼컴퓨터들은 노드 상호 연결에 300GB/s 대역폭의 NVLink 2.0을 사용했으며, 시스템 인터커넥트에는 인피니밴드 기반의 것이 사용되었다. 이 시스템들은 볼타 마이크로아키텍처와 POWER9 패밀리 CPU를 조합하여 사용한다.
2.1.3. NVLink 3.0
NVLink 3.0은 차등 쌍당 데이터 전송 속도를 25Gbit/s에서 50Gbit/s로 증가시키면서 NVLink당 쌍 수를 8개에서 4개로 줄였다. 암페어 기반 A100 GPU는 12개의 링크를 통해 총 600GB/s의 대역폭을 지원한다. NVLink 2.0과 3.0은 모두 양방향 링크당 50GB/s의 속도를 가지며, 각각 6개와 12개의 링크를 가지고 있다.
2.1.4. NVLink 4.0
NVLink 4.0은 호퍼 (마이크로아키텍처)영어에 적용되었으며, 18개의 링크를 통해 총 900GB/s의 대역폭을 제공한다. 이는 NVLink 3.0과 동일하게 양방향 링크당 50GB/s의 속도를 가진다. 4세대 NVLink는 호퍼 아키텍처 기반 GPU (H100) 및 엔비디아 Grace CPU에 사용되며, 50GT/s (PAM4)의 전송 속도를 갖는다.
2.1.5. NVLink 5.0
NVLink 5.0은 Blackwell영어 아키텍처 기반 GPU (B100, B200, GB200) 및 엔비디아 Grace CPU에 사용되며, 100 GT/s (PAM4)의 전송 속도를 제공한다.
3. 성능
NVLink는 엔비디아가 개발한 고속 인터커넥트 기술로, PCIe와 비교했을 때 더 높은 대역폭을 제공한다. NVLink는 CPU와 GPU 간, 그리고 GPU 간의 데이터 및 제어 코드 전송을 위해 사용된다.
NVLink 1.0은 각 방향에 대해 8개의 차등 쌍으로 구성된 "서브 링크"를 사용하며, 두 개의 "서브 링크"가 "링크"를 형성하여 양방향 20GT/s의 속도를 제공한다. NVLink 2.0은 서브 링크당 데이터 전송 속도를 25GB/s, 링크당 50GB/s로 향상시켰으며, 각 V100 GPU는 최대 6개의 링크를 지원하여 총 300GB/s의 양방향 대역폭을 제공한다.
NVLink 3.0은 차등 쌍당 데이터 전송 속도를 50Gbit/s로 높이고, NVLink당 쌍 수를 8개에서 4개로 줄였다. 암페어 기반 A100 GPU는 12개의 링크를 통해 총 600GB/s의 대역폭을 제공한다. NVLink 4.0은 호퍼 아키텍처에서 18개의 링크를 통해 총 900GB/s의 대역폭을 제공한다.
실제 NVLink의 성능은 여러 요인에 의해 영향을 받지만, IBM POWER8 CPU 시스템에서 P100 GPU로 향하는 NVLink 연결의 경우 약 35.3Gbit/s의 전송 속도를 보였다.
| 반도체 | 인터커넥트 | 전송 기술 속도 (레인 당) | 서브 링크 당 레인 (출력 + 입력) | 서브 링크 데이터 속도 (데이터 방향별) | 카운트>| 전체 데이터 속도 (출력 + 입력) || 전체 레인 (출력 + 입력) || 전체 데이터 속도 (출력 + 입력) | |||
|---|---|---|---|---|---|---|---|---|
| Nvidia P100 | PCIe 3.0 | 8 GT/s | 16 + 16 | 128 Gbit/s = 16 GB/s | 1 | 16 + 16 GB/s | 32 | 32 GB/s |
| IBM Power9 | PCIe 4.0 | 16 GT/s | 16 + 16 | 256 Gbit/s = 32 GB/s | 3 | 96 + 96 GB/s | 48 | 192 GB/s |
| Nvidia P100 | NVLink 1.0 | 20 GT/s | 8 + 8 | 160 Gbit/s = 20 GB/s | 4 | 80 + 80 GB/s | 64 | 160 GB/s |
| IBM Power8+ | NVLink 1.0 | 20 GT/s | 8 + 8 | 160 Gbit/s = 20 GB/s | 4 | 80 + 80 GB/s | 64 | 160 GB/s |
| Nvidia V100 | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 6 | 150 + 150 GB/s | 96 | 300 GB/s |
| IBM Power9 | NVLink 2.0 (블루링크 포트) | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 6 | 150 + 150 GB/s | 96 | 300 GB/s |
3.1. 인터커넥트 비교
NVLink는 엔비디아가 개발한 인터커넥트 기술로, CPU와 GPU, GPU 간의 데이터 및 제어 코드 전송에 사용된다. PCIe 등 다른 인터커넥트 기술과 비교했을 때 NVLink는 더 높은 전송 속도와 대역폭을 제공한다.
다음은 다양한 인터커넥트 기술의 비교 표이다.
| 인터커넥트 | 전송 속도 | 라인 코드 | 변조 | 레인 또는 NVLink당 유효 페이로드 속도(단방향) | 최대 총 레인 길이 | 총 링크(NVLink) | 총 대역폭(PCIe x16 또는 NVLink) | 설계에 구현됨 |
|---|---|---|---|---|---|---|---|---|
| PCIe 1.x | 2.5 GT/s | 8b/10b | 0.25GB/s | 8GB/s | ||||
| PCIe 2.x | 5 GT/s | 8b/10b | 0.5GB/s | 16GB/s | ||||
| PCIe 3.x | 8 GT/s | 128b/130b | 0.99GB/s | 31.51GB/s | 파스칼, 볼타, 튜링 | |||
| PCIe 4.0 | 16 GT/s | 128b/130b | 1.97GB/s | 63.02GB/s | Xavier의 볼타, 암페어, POWER9 | |||
| PCIe 5.0 | 32 GT/s | 128b/130b | 3.94GB/s | 126.03GB/s | 호퍼 | |||
| PCIe 6.0 | 64 GT/s | 236B/256B | FLIT PAM4 w/ FEC | 7.56 GB/s | 242GB/s | 블랙웰 | ||
| NVLink 1.0 | 20 GT/s | NRZ | 20 GB/s | 4 | 160GB/s | 파스칼, POWER8+ | ||
| NVLink 2.0 | 25 GT/s | NRZ | 25 GB/s | 6 | 300GB/s | 볼타, POWER9 | ||
| NVLink 3.0 | 50 GT/s | NRZ | 25 GB/s | 12 | 600GB/s | 암페어 | ||
| NVLink 4.0 | 50GT/s | PAM4 차동 쌍 | 25 GB/s | 18 | 900GB/s | 호퍼, Nvidia Grace | ||
| NVLink 5.0 | 100 GT/s | PAM4 차동 쌍 | 50 GB/s | 18 | 1.8TB/s | 블랙웰, Nvidia Grace |
다음 표는 NVLink가 적용된 실제 반도체의 버스 매개변수를 비교한 것이다.
| 반도체 | 보드/버스 전달 변형 | 인터커넥트 | 전송 기술 속도(레인당) | 서브 링크당 레인 수(출력 + 입력) | 서브 링크 데이터 속도(데이터 방향별) | | 총 데이터 속도(출력 + 입력) || 총 레인 수(출력 + 입력) || 총 데이터 속도(출력 + 입력) | |||
|---|---|---|---|---|---|---|---|---|---|
| 엔비디아 GP100 | P100 SXM, P100 PCI-E | PCIe 3.0 | 8 GT/s | 16 + 16 | 128 Gbit/s = 16 GB/s | 1 | 16 + 16 GB/s | 32 | 32 GB/s |
| 엔비디아 GV100 | V100 SXM2, V100 PCI-E | PCIe 3.0 | 8 GT/s | 16 + 16 | 128 Gbit/s = 16 GB/s | 1 | 16 + 16 GB/s | 32 | 32 GB/s |
| 엔비디아 TU104 | 지포스 RTX 2080, 쿼드로 RTX 5000 | PCIe 3.0 | 8 GT/s | 16 + 16 | 128 Gbit/s = 16 GB/s | 1 | 16 + 16 GB/s | 32 | 32 GB/s |
| 엔비디아 TU102 | 지포스 RTX 2080 Ti, 쿼드로 RTX 6000/8000 | PCIe 3.0 | 8 GT/s | 16 + 16 | 128 Gbit/s = 16 GB/s | 1 | 16 + 16 GB/s | 32 | 32 GB/s |
| 엔비디아 GA100 | 암페어 A100 (SXM4 & PCIe) | PCIe 4.0 | 16 GT/s | 16 + 16 | 256 Gbit/s = 32 GB/s | 1 | 32 + 32 GB/s | 32 | 64 GB/s |
| 엔비디아 GP100 | P100 SXM, (P100 PCI-E에서는 사용 불가) | NVLink 1.0 | 20 GT/s | 8 + 8 | 160 Gbit/s = 20 GB/s | 4 | 80 + 80 GB/s | 64 | 160 GB/s |
| 엔비디아 GV100 | V100 SXM2 (V100 PCI-E에서는 사용 불가) | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 6 | 150 + 150 GB/s | 96 | 300 GB/s |
| 엔비디아 TU104 | 지포스 RTX 2080, 쿼드로 RTX 5000 | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 1 | 25 + 25 GB/s | 16 | 50 GB/s |
| 엔비디아 TU102 | 지포스 RTX 2080 Ti, 쿼드로 RTX 6000/8000 | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 2 | 50 + 50 GB/s | 32 | 100 GB/s |
| 엔비디아 GA100 | 암페어 A100 (SXM4 & PCIe) | NVLink 3.0 | 50 GT/s | 4 + 4 | 200 Gbit/s = 25 GB/s | 12 | 300 + 300 GB/s | 96 | 600 GB/s |
| 엔비디아 GA102 | 지포스 RTX 3090, 쿼드로 RTX A6000 | NVLink 3.0 | 28.125 GT/s | 4 + 4 | 112.5 Gbit/s = 14.0625 GB/s | 4 | 56.25 + 56.25 GB/s | 16 | 112.5 GB/s |
| 호퍼용 NVSwitch | (완전 연결 64 포트 스위치) | NVLink 4.0 | 106.25 GT/s | 9 + 9 | 450 Gbit/s | 18 | 3600 + 3600 GB/s | 128 | 7200 GB/s |
| 엔비디아 Grace CPU | 엔비디아 GH200 슈퍼칩 | PCIe-5 (4x, 16x) @ 512 GB/s | |||||||
| 엔비디아 Grace CPU | 엔비디아 GH200 슈퍼칩 | NVLink-C2C @ 900 GB/s | |||||||
| 엔비디아 Hopper GPU | 엔비디아 GH200 슈퍼칩 | NVLink-C2C @ 900 GB/s | |||||||
| 엔비디아 Hopper GPU | 엔비디아 GH200 슈퍼칩 | NVLink 4 (18x) @ 900 GB/s |
NVLink는 파스칼, 볼타, 튜링, 암페어, 호퍼 등 엔비디아의 고성능 GPU에 적용되어 왔다. 특히, 미국 에너지부가 엔비디아와 IBM에 의뢰하여 구축한 슈퍼컴퓨터 서밋과 시에라에는 NVLink 2.0이 노드 상호 연결에 사용되었다.
3.2. NVLink 지원 반도체
| 반도체 | 보드/버스 전달 변형 | 인터커넥트 | 전송 기술 속도(레인당) | 서브 링크당 레인 수(출력 + 입력) | 서브 링크 데이터 속도(데이터 방향별) | | 총 데이터 속도(출력 + 입력) || 총 레인 수(출력 + 입력) || 총 데이터 속도(출력 + 입력) | |||
|---|---|---|---|---|---|---|---|---|---|
| 엔비디아 GP100 | P100 SXM, P100 PCI-E | NVLink 1.0 | 20 GT/s | 8 + 8 | 160 Gbit/s = 20 GB/s | 4 | 80 GB/s + 80 GB/s | 64 | 160 GB/s |
| 엔비디아 GV100 | V100 SXM2, (V100 PCI-E에서는 사용 불가) | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 6 | 150 GB/s + 150 GB/s | 96 | 300 GB/s |
| 엔비디아 TU104 | 지포스 RTX 2080, 쿼드로 RTX 5000 | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 1 | 25 GB/s + 25 GB/s | 16 | 50 GB/s |
| 엔비디아 TU102 | 지포스 RTX 2080 Ti, 쿼드로 RTX 6000/8000 | NVLink 2.0 | 25 GT/s | 8 + 8 | 200 Gbit/s = 25 GB/s | 2 | 50 GB/s + 50 GB/s | 32 | 100 GB/s |
| 엔비디아 GA100 | 암페어 A100 (SXM4 & PCIe) | NVLink 3.0 | 50 GT/s | 4 + 4 | 200 Gbit/s = 25 GB/s | 12 | 300 GB/s + 300 GB/s | 96 | 600 GB/s |
| 엔비디아 GA102 | 지포스 RTX 3090, 쿼드로 RTX A6000 | NVLink 3.0 | 28.125 GT/s | 4 + 4 | 112.5 Gbit/s = 14.0625 GB/s | 4 | 56.25 GB/s + 56.25 GB/s | 16 | 112.5 GB/s |
| 호퍼용 NVSwitch | (완전 연결 64 포트 스위치) | NVLink 4.0 | 106.25 GT/s | 9 + 9 | 450 Gbit/s | 18 | 3600 GB/s + 3600 GB/s | 128 | 7200 GB/s |
| 엔비디아 Grace CPU | 엔비디아 GH200 슈퍼칩 | NVLink-C2C @ 900 GB/s | |||||||
| 엔비디아 Hopper GPU | 엔비디아 GH200 슈퍼칩 | NVLink-C2C @ 900 GB/s | |||||||
| 엔비디아 Hopper GPU | 엔비디아 GH200 슈퍼칩 | NVLink 4 (18x) @ 900 GB/s |
4. 플러그인 보드와의 결합
NVLink 기능을 갖춘 하이엔드 게이밍 및 전문가용 그래픽 GPU 보드는 NVLink 그룹으로 연결하기 위한 추가 커넥터를 제공한다. 이를 위해 PCB 기반 상호 연결 플러그가 사용된다. 일반적으로 동일한 유형의 보드만 물리적 및 논리적 설계로 인해 함께 연결된다. 일부 설정에서는 최대 데이터 속도를 위해 두 개의 동일한 플러그를 사용해야 한다.
현재 일반적인 플러그는 U자 모양이며, 각 끝에 미세한 그리드 엣지 커넥터가 있다. 플러그의 너비는 호스트 컴퓨터 메인보드에서 플러그인 카드를 얼마나 멀리 떨어뜨려야 하는지를 결정하며, 이는 플러그에 의해 결정된다(사용 가능한 플러그 너비는 보드 유형에 따라 3~5 슬롯).
이 상호 연결은 2004년부터 구조적 설계와 외관 때문에 SLI로 불리기도 하지만, 최신 NVLink 기반 설계는 이전 설계와 비교하여 기본 수준에서 다른 기능과 상당히 다른 기술적 특성을 가지고 있다. 보고된 실제 장치는 다음과 같다:
5. 서비스 소프트웨어 및 프로그래밍
테슬라, 쿼드로 및 그리드 제품군의 경우, NVML-API (Nvidia Management Library API)는 윈도우 및 리눅스 시스템에서 NVLink 상호 연결의 일부 측면을 프로그래밍 방식으로 제어할 수 있는 일련의 기능을 제공한다. 여기에는 구성 요소 평가 및 버전, 상태/오류 쿼리, 성능 모니터링 등이 포함된다. 또한 NCCL 라이브러리 (Nvidia Collective Communications Library) 제공으로 개발자는 NVLink를 기반으로 인공 지능 및 유사한 계산 집약적 주제에 대한 강력한 구현을 실현할 수 있다. Nvidia 제어판의 "3D 설정" » "SLI, Surround, PhysX 구성" 페이지와 CUDA 샘플 애플리케이션 "simpleP2P"는 이러한 API를 사용하여 NVLink 기능과 관련한 서비스를 구현한다. 리눅스 플랫폼에서 "nvidia-smi nvlink" 하위 명령을 사용하는 명령줄 애플리케이션은 유사한 고급 정보 및 제어 기능을 제공한다.
6. 역사
2016년 4월 5일, 엔비디아는 Tesla P100 제품 등에서 사용되는 파스칼 마이크로아키텍처에 NVLink를 구현한다고 발표했다. NVLink 1세대는 GPU와 GPU 간 연결에 80GB/s의 대역폭을 제공했다.
2014년, 미국 에너지부는 엔비디아와 IBM과 "서밋"과 "시에라"라는 두 대의 슈퍼컴퓨터를 구축하는 계약을 체결했다. 이 시스템들은 볼타 (마이크로아키텍처)영어와 POWER9 패밀리 CPU를 조합하였으며, 노드 상호 연결에는 대역폭 300GB/s의 NVLink 2.0이 사용되었고, 시스템 인터커넥트에는 인피니밴드 기반의 것이 사용되었다.
2020년, 엔비디아는 2021년 1월 1일부터 RTX 2000 시리즈 및 이전 제품에 더 이상 새로운 SLI 드라이버 프로파일을 추가하지 않을 것이라고 발표했다.
2022년 현재, 최신 4세대 NVLink는 호퍼 (마이크로아키텍처)영어에 있으며, 대역폭은 900GB/s이다.