인피니밴드

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

인피니밴드는 1999년 개발된 고속 상호 연결 기술로, 서버 내 병목 현상을 해결하기 위해 Future I/O와 Next Generation I/O 기술을 통합하여 탄생했다. 2000년 인피니밴드 무역 협회(IBTA)가 결성되어 표준 규격을 확립했으며, 멜라녹스를 비롯한 여러 기업이 관련 제품을 출시했다. 초기에는 슈퍼컴퓨터 분야에서 널리 사용되었으나, 2010년대 이후 10기가비트 이더넷의 등장과 엔비디아의 멜라녹스 인수로 인해 시장 점유율이 변화했다. 인피니밴드는 점대점 직렬 통신, 스위치 패브릭 네트워크 토폴로지를 사용하며, RDMA 기능을 통해 낮은 CPU 오버헤드로 데이터를 전송한다. 다양한 전송 속도를 지원하며, 이더넷 오버 인피니밴드(EoIB) 기술을 통해 이더넷 연결도 가능하다. 현재는 고성능 컴퓨팅, 데이터베이스 머신, 클라우드 컴퓨팅 등 다양한 분야에서 활용되고 있다.

인피니밴드

일반 정보

이미지 준비중입니다.

InfiniBand Trade Association 로고

유형	산업 무역 그룹
목적	인피니밴드 홍보
설립	1999년
본사	비버턴, 오리건주, 미국
웹사이트	infinibandta.org

기술 정보

설명	고성능 컴퓨팅, 데이터 센터 및 임베디드 시스템에서 사용되는 컴퓨터 네트워크 통신 링크.

📚 더 읽어볼만한 페이지

슈퍼컴퓨터 - 고성능 컴퓨팅
고성능 컴퓨팅(HPC)은 과학 및 공학 분야의 복잡한 계산 문제 해결에 사용되는 강력한 컴퓨팅 기술로, 클러스터 방식이 주류이며 경영을 포함한 다양한 영역으로 확장되고 있고, TOP500 목록, 클라우드 컴퓨팅, GPGPU 등의 기술 발전과 함께 기후 변화 예측, 신약 개발, 국가 안보 등 광범위한 분야에서 활용되는 4차 산업혁명 시대의 핵심 기술이다.
슈퍼컴퓨터 - 한국과학기술정보연구원
한국과학기술정보연구원(KISTI)은 과학기술정보통신부 산하 정부출연연구기관으로, 과학기술 지식정보 인프라 구축 및 서비스 제공, 정보분석, 과학기술정보 유통, 슈퍼컴퓨팅 인프라 구축 및 운영을 통해 국가 과학기술 진흥과 산업 발전에 기여하는 것을 목표로 한다.
컴퓨터 버스 - NMEA 0183
NMEA 0183은 선박용 GPS, 자동식별장치(AIS) 등 항해 장비에서 데이터를 송수신하는 데 사용되는 ASCII 기반의 직렬 통신 프로토콜로, RS-422 전기 표준을 사용하며, 문장 형태의 데이터를 통해 정보를 전달하고, 물리 계층, 데이터 링크 계층, 애플리케이션 계층의 3가지 레이어로 구성되어 다양한 소프트웨어에서 지원된다.
컴퓨터 버스 - 버스 (컴퓨팅)
버스는 컴퓨터 내부 구성 요소나 컴퓨터 간에 데이터를 전송하는 통로로, 데이터 전송 방식에 따라 병렬 버스와 직렬 버스로 나뉘며, 컴퓨터 시스템의 성능 향상에 핵심적인 역할을 하는 중요한 구성 요소이다.
직렬 버스 - 하이퍼트랜스포트
하이퍼트랜스포트는 고성능 컴퓨터 시스템에서 CPU, 메모리, 칩셋 간의 연결을 고속으로 처리하기 위해 개발된 상호 연결 기술로, AMD CPU와 엔비디아 칩셋 등에 적용되어 시스템 효율성을 향상시키고 다양한 응용 분야에 활용되며 후속 기술의 기반이 되었다.
직렬 버스 - 직렬 통신

1. 개요
2. 역사
3. 기술 사양
4. 이더넷 오버 인피니밴드 (EoIB)
5. 적용 분야

2. 역사

인피니밴드는 1999년에 서로 경쟁하던 두 가지 기술이 합쳐져서 만들어졌다.

👆

좌우로 밀어서 보기

기술명	개발 주체
퓨처 I/O (Future I/O)	컴팩, IBM, HP
차세대 I/O (Next Generation I/O, NGIO)	인텔, 마이크로소프트, 썬마이크로시스템즈

1998년 인텔 주도로 NGIO 사양이 발표되었고, 썬 마이크로시스템즈와 델이 참여했다. 컴팩, IBM, 휴렛 팩커드는 퓨처 I/O를 지원했다. 그 결과, 인피니밴드 무역 협회(IBTA)가 결성되었고, 마이크로소프트 등 여러 기업들이 참여했다. 당시 고성능 컴퓨터들은 주변 구성 요소 상호 연결(PCI) 버스의 상호 연결 병목 현상에 근접했으며, PCI-X로도 해결되지 않았다. 2000년에 인피니밴드 아키텍처 사양 버전 1.0이 출시되었다.

2.1. 기술 경쟁과 통합

1999년 컴팩, IBM, HP가 개발한 퓨처 I/O(Future I/O)와 인텔, 마이크로소프트, 썬마이크로시스템즈가 개발한 차세대 I/O(Next Generation I/O, NGIO)라는 두 가지 경쟁 기술이 융합되어 인피니밴드가 만들어졌다. 이로 인해 인피니밴드 무역 협회(InfiniBand Trade Association, IBTA)가 결성되었으며, 여기에는 양쪽의 하드웨어 공급업체와 마이크로소프트와 같은 소프트웨어 공급업체가 포함되었다. 당시에는 일부 더 강력한 컴퓨터가 주변 구성 요소 상호 연결(PCI) 버스의 상호 연결 병목 현상에 근접하고 있다고 여겨졌으며, PCI-X와 같은 업그레이드에도 불구하고 이러한 현상이 나타났다.

멜라녹스는 NGIO 기술을 개발하기 위해 1999년에 설립되었으며, 2001년에는 초당 10Gbit 속도의 인피니브리지(InfiniBridge)라는 인피니밴드 제품군을 출시했다. 닷컴 버블 붕괴 이후 업계에서는 이처럼 광범위한 기술 도약에 투자하는 것을 망설였다. 2002년, 인텔은 IB 집적 회로("칩")를 출하하는 대신 PCI Express 개발에 집중할 것이라고 발표했고, 마이크로소프트는 이더넷 확장을 선호하여 IB 개발을 중단했다. 썬 마이크로시스템즈와 히타치는 IB를 계속 지원했다.

2003년, 버니지아 공과대학교에서 제작된 시스템 X 슈퍼컴퓨터는 인피니밴드를 사용했으며, 이는 당시 세계에서 세 번째로 큰 컴퓨터로 추정되었다. 오픈패브릭스 연합(OpenFabrics Alliance, OpenIB Alliance로 시작)은 리눅스 커널을 위한 공개 소프트웨어 세트를 개발하기 위해 2004년에 설립되었다. 2005년 2월까지 이 지원은 2.6.11 리눅스 커널에 수용되었다. 2005년 11월, 엔지니오(Engenio)와 같은 공급업체에서 인피니밴드를 사용하는 저장 장치가 마침내 출시되었다.

2009년, 슈퍼컴퓨터 상위 500개 중 기가비트 이더넷은 259개 설치에서 내부 상호 연결 기술로 사용되었으며, 인피니밴드를 사용하는 경우는 181개였다. 2010년, 시장 선두 주자인 멜라녹스(Mellanox)와 볼테어(Voltaire)가 합병하면서 다른 IB 공급업체는 QLogic 한 곳만 남게 되었으며, 이 회사는 주로 파이버 채널 공급업체였다. 2012년, 인텔은 QLogic의 인피니밴드 기술을 인수하여 독립 공급업체가 한 곳만 남게 되었다.

2014년까지 인피니밴드는 슈퍼컴퓨터에서 가장 인기 있는 내부 연결 기술이었지만, 2년 안에 10기가비트 이더넷이 이를 대체하기 시작했다. 2019년, 엔비디아는 인피니밴드 제품의 마지막 독립 공급업체인 멜라녹스(Mellanox)를 인수했다.

2.2. 초기 발전과 시장 상황

인피니밴드는 1999년에 서로 경쟁하던 두 가지 기술이 합쳐져서 만들어졌다.

👆

좌우로 밀어서 보기

기술명	개발 주체
퓨처 I/O (Future I/O)	컴팩, IBM, HP
차세대 I/O (Next Generation I/O, NGIO)	인텔, 마이크로소프트, 썬마이크로시스템즈

NGIO는 1998년에 인텔이 주도하여 사양을 발표했고, 썬 마이크로시스템즈와 델이 참여했다. 퓨처 I/O는 컴팩, IBM, 휴렛 팩커드가 지원했다. 그 결과, 인피니밴드 무역 협회(InfiniBand Trade Association, IBTA)가 결성되었고, 여기에는 양쪽 하드웨어 공급업체와 마이크로소프트 같은 소프트웨어 공급업체가 포함되었다. 당시에는 일부 고성능 컴퓨터들이 주변 구성 요소 상호 연결(PCI) 버스의 상호 연결 병목 현상에 근접하고 있다고 여겨졌으며, PCI-X와 같은 업그레이드에도 불구하고 이러한 현상이 나타났다. 인피니밴드 아키텍처 사양 버전 1.0은 2000년에 출시되었다. 초기 IBTA의 구상에서 IB는 I/O의 PCI, 중앙 장치실의 이더넷, 클러스터 (컴퓨팅) 상호 연결 및 파이버 채널을 동시에 대체하는 것이었다. IBTA는 또한 IB 패브릭 컴퓨팅에서 서버 하드웨어를 분해하는 것을 예상했다.

멜라녹스는 NGIO 기술을 개발하기 위해 1999년에 설립되었으며, 2001년에는 초당 10Gbit 속도의 인피니브리지(InfiniBridge)라는 인피니밴드 제품군을 출시했다. 닷컴 버블 붕괴 이후 업계에서는 이처럼 광범위한 기술 도약에 투자하는 것을 망설였다. 2002년, 인텔은 IB 집적 회로("칩")를 출하하는 대신 PCI Express 개발에 집중할 것이라고 발표했고, 마이크로소프트는 이더넷 확장을 선호하여 IB 개발을 중단했다. 썬 마이크로시스템즈와 히타치는 IB를 계속 지원했다.

2003년, 버니지아 공과대학교에서 제작된 시스템 X 슈퍼컴퓨터는 인피니밴드를 사용했으며, 이는 당시 세계에서 세 번째로 큰 컴퓨터로 추정되었다. 오픈패브릭스 연합(OpenFabrics Alliance, OpenIB Alliance로 시작)은 리눅스 커널을 위한 공개 소프트웨어 세트를 개발하기 위해 2004년에 설립되었다. 2005년 2월까지 이 지원은 2.6.11 리눅스 커널에 수용되었다. 2005년 11월, 엔지니오(Engenio)와 같은 공급업체에서 인피니밴드를 사용하는 저장 장치가 마침내 출시되었다.

2.3. 현재 상황

멜라녹스는 2001년 초당 10Gbit 속도의 인피니브리지(InfiniBridge)라는 인피니밴드 제품군을 출시했다. 그러나 닷컴 버블 붕괴 이후 업계는 이러한 기술 도약에 대한 투자를 망설였다. 2002년, 인텔은 인피니밴드 칩 대신 PCI Express 개발에 집중할 것이라고 발표했고, 마이크로소프트는 이더넷 확장을 선호하여 인피니밴드 개발을 중단했다. 썬 마이크로시스템즈와 히타치는 인피니밴드를 계속 지원했다.

2003년, 버니지아 공과대학교의 시스템 X 슈퍼컴퓨터는 인피니밴드를 사용하여 당시 세계에서 세 번째로 큰 컴퓨터로 추정되었다. 2004년에는 리눅스 커널을 위한 공개 소프트웨어 세트를 개발하기 위해 오픈패브릭스 연합(OpenFabrics Alliance, OpenIB Alliance로 시작)이 설립되었고, 2005년 2월에는 이 지원이 2.6.11 리눅스 커널에 수용되었다. 2005년 11월에는 엔지니오(Engenio) 등에서 인피니밴드를 사용하는 저장 장치를 출시했다.

2009년, 슈퍼컴퓨터 상위 500개 중 기가비트 이더넷은 259개, 인피니밴드는 181개 설치에서 내부 상호 연결 기술로 사용되었다. 2010년에는 시장 선두 주자인 멜라녹스와 볼테어(Voltaire)가 합병하면서 QLogic만 남았고, 이 회사는 주로 파이버 채널 공급업체였다. 2011년 국제 슈퍼컴퓨팅 컨퍼런스에서는 초당 약 56기가비트(FDR)로 작동하는 링크가 발표 및 시연되었다. 2012년, 인텔은 QLogic의 인피니밴드 기술을 인수했다.

2014년까지 인피니밴드는 슈퍼컴퓨터에서 가장 인기 있는 내부 연결 기술이었지만, 2년 안에 10기가비트 이더넷이 이를 대체하기 시작했다. 2016년, 오라클(Oracle Corporation)이 자체 인피니밴드 하드웨어를 설계할 수 있다는 보도가 있었다.

2019년, 엔비디아는 멜라녹스를 인수했다. 고성능 컴퓨팅(HPC) 업계에서 인피니밴드의 점유율은 2015년 11월 기준 TOP500에서 가장 많이 사용되는 연결 방법이었으나(Mellanox 조사), 이후 이더넷 채용 증가로 2017년 11월에는 2위로 내려갔다.

각 벤더의 블레이드 계열 서버 및 그리드 계열 서버의 연결에서 옵션으로 제공된다. 일본에서는 휴렛 팩커드 서버를 사용한 NEC의 도쿄공업대학 PC 클러스터 TSUBAME 2.0, 교토대학 및 쓰쿠바 대학의 T2K 오픈 슈퍼컴퓨터가 있다. 스토리지에서는 넷앱, 퓨어 스토리지, EMC 등에서 호스트 I/O 옵션으로 제공된다.

3. 기술 사양

파이버 채널, PCI 익스프레스, 직렬 ATA와 같이 인피니밴드는 점대점 양방향 직렬 통신이다. 인피니밴드는 멀티 캐스트 기능도 지원한다. 신호 속도에는 SDR, DDR, QDR, FDR, EDR 등이 있다. SDR, DDR, QDR은 8b/10b 인코딩 방식을 사용하며, FDR과 EDR은 64b/66b 부호화 방식을 사용한다. 인피니밴드 사양은 인피니밴드 협회에서 발행한다.

👆

좌우로 밀어서 보기

실질적인 단방향 이론 스루풋
(신호 속도가 아니라 실제 데이터 속도)
	SDR	DDR	QDR	FDR-10	FDR	EDR
1X	2 Gbit/s	4 Gbit/s	8 Gbit/s	10 Gbit/s	13.64 Gbit/s	25 Gbit/s
4X	8 Gbit/s	16 Gbit/s	32 Gbit/s	40 Gbit/s	54.54 Gbit/s	100 Gbit/s
12X	24 Gbit/s	48 Gbit/s	96 Gbit/s	120 Gbit/s	163.64 Gbit/s	300 Gbit/s

3.1. 전송 속도 및 성능

인피니밴드는 파이버 채널, PCI 익스프레스, 직렬 ATA와 같은 다른 상호 연결 방식과 유사하게 점대점 양방향 직렬 통신 방식을 사용한다. 또한, 멀티 캐스트 기능도 지원한다.

인피니밴드의 신호 속도는 SDR(single data rate), DDR(double data rate), QDR(quad data rate), FDR(fourteen data rate), EDR(Extended Data Rate) 등으로 구분된다. SDR은 레인당 2.5 Gbit/s, DDR은 5 Gbit/s, QDR은 10 Gbit/s, FDR은 14.0625 Gbit/s, EDR은 25.78125 Gbit/s의 전송 속도를 제공한다.

SDR, DDR, QDR은 8b/10b 인코딩 방식을 사용하며, FDR과 EDR은 64b/66b 부호화 방식을 사용한다. 8b/10b 부호화는 8비트 데이터를 10비트로 변환하여 전송하므로 SDR, DDR, QDR의 유효 데이터 전송 속도는 각각 2 Gbit/s, 4 Gbit/s, 8 Gbit/s이다. 64b/66b 부호화는 64비트 데이터를 66비트로 변환하여 전송하므로 FDR의 유효 데이터 전송 속도는 13.64 Gbit/s, EDR은 25Gbit/s이다.

인피니밴드는 낮은 CPU 오버헤드를 위해 원격 직접 메모리 접근 (RDMA) 기능을 제공한다.

👆

좌우로 밀어서 보기

인피니밴드 단방향 데이터 속도
	연도	회선 부호화		신호 속도 (Gbit/s)	처리량 (Gbit/s)				어댑터 지연 시간 (μs)
	연도	회선 부호화		신호 속도 (Gbit/s)	1x	4x	8x	12x	어댑터 지연 시간 (μs)
SDR	2001, 2003	NRZ	8b/10b	2.5	2	8	16	24	5
DDR	2005			5	4	16	32	48	2.5
QDR	2007			10	8	32	64	96	1.3
FDR10	2011		64b/66b	10.3125	10	40	80	120	0.7
FDR	2011			14.0625	13.64	54.54	109.08	163.64	0.7
EDR	2014			25.78125	25	100	200	300	0.5
HDR	2018	PAM4		53.125	50	200	400	600	<0.6
NDR	2022		256b/257b	106.25	100	400	800	1200
XDR	2024			200	200	800	1600	2400
GDR			400	400	1600	3200	4800

👆

좌우로 밀어서 보기

구성별 처리량
			SDR	DDR	QDR	FDR	EDR	HDR	NDR
	1 레인	이론값	2.5	5	10	14.0625	25.78125	53.125	106.25
	1 레인	실효값	2	4	8	13.64	25	50	100
	2 레인							100	200
	4 레인		8	16	32	54.55	100	200	400
	8 레인		16	32	64	109.09	200	400	800
	12 레인		24	48	96	163.64	300	600	1200
인코딩 (bit)			8/10			64/66			?
규격 발행 연도			2000	2004	2004	2012	2012	2020	2021

각 링크는 양방향이며, 여러 개의 링크를 묶어 사용할 수 있다. 대부분의 시스템은 4개의 링크/레인 커넥터(QSFP)를 사용한다. HDR은 종종 2x 링크(예: HDR100, HDR 2 레인을 사용하는 100 Gb 링크, 여전히 QSFP 커넥터를 사용)를 사용한다. 8x는 OSFP(Octal Small Form Factor Pluggable) 커넥터를 사용하는 NDR 스위치 포트에 필요하다.

인피니밴드 트레이드 협회(InfiniBand Trade Association)의 로드맵에 따르면, 2020년 후반에 HDR의 2배 성능인 NDR이 등장할 예정이며, 그 후에는 XDR이 제공될 계획이다.

3.2. 네트워크 토폴로지

인피니밴드는 전통적인 이더넷 아키텍처와 같은 계층적 스위치 방식의 네트워크와는 반대로 스위치 패브릭 방식의 토폴리지를 사용한다. 모든 전송은 채널 어댑터에서 시작하거나 끝난다. 각 프로세서는 호스트 채널 어댑터(HCA)를 가지고 있으며 각 주변장치에는 타겟 채널 어댑터(TCA)가 있다. 이러한 어댑터들은 보안 및 QoS를 위하여 정보를 교환할 수 있다.

3.3. 메시지 전달

인피니밴드는 최대 4KB의 패킷으로 데이터를 전송하며, 이러한 패킷들이 모여 메시지를 형성한다. 메시지는 아래와 같다.

* 원격 직접 메모리 접근(RDMA)을 이용해 원격 노드에서 데이터를 읽거나 쓴다.
* 채널을 통해 송신 또는 수신한다.
* 트랜잭션 기반 연산(되돌릴 수 있음)을 수행한다.
* 멀티 캐스트 전송을 한다.
* 원자 연산을 수행한다.

3.4. 물리적 연결

보드 폼 팩터 연결 외에도, 액티브 및 패시브 구리 케이블(최대 10미터)과 광섬유 케이블(최대 10km)을 사용할 수 있다. QSFP 커넥터가 사용된다.

인피니밴드 협회는 또한 구리 케이블, 액티브 광 케이블 및 24 섬유 MPO 커넥터를 사용하는 병렬 멀티 모드 광섬유 케이블을 사용하는 광 트랜시버를 통해 최대 120Gbit/s의 속도를 지원하는 CXP 커넥터 시스템을 지정했다.

3.5. 레이턴시 (지연 시간)

레이턴시는 SDR 스위치에서 200나노초, DDR 스위치에서 140나노초, QDR 스위치에서 100나노초 정도이다. 엔드 투 엔드 환경에서 멜라녹스(Mellanox)사의 HCA(Host Channel Adapter)인 ConnectX를 사용한 경우 MPI 레이턴시는 1.07마이크로초, Qlogic사의 InfiniPath HTX를 사용한 경우 1.29마이크로초, 멜라녹스(Mellanox)사 InfiniHost III에서는 2.6마이크로초가 관측되었다. 현재 시장에는 다양한 InfiniBand용 HCA가 있으며, 제품에 따라 특성이 다르다.

InfiniBand는 RDMA(원격 직접 메모리 접근)를 지원하여 CPU 오버헤드를 낮게 유지할 수 있다. RDMA 명령의 레이턴시는 1마이크로초 이하이다(멜라녹스(Mellanox)사 ConnectX의 경우). 참고로, DDR3 SDRAM의 메모리 레이턴시는 0.1마이크로초(100나노초) 정도이다.

4. 이더넷 오버 인피니밴드 (EoIB)

이더넷 오버 인피니밴드(Ethernet over InfiniBand, EoIB)는 인피니밴드 프로토콜 및 커넥터 기술을 통해 구현된 이더넷이다. EoIB는 인피니밴드(IB) 버전에 따라 다양한 이더넷 대역폭을 지원한다. 인터넷 프로토콜 스위트의 이더넷 구현(일반적으로 TCP/IP라고 함)은 IP over IB(IPoIB)의 직접적인 인피니밴드 프로토콜과 몇 가지 세부 사항에서 다르다.

👆

좌우로 밀어서 보기

이더넷 오버 인피니밴드 성능
유형	레인	대역폭(Gbit/s)	호환 이더넷 유형	호환 이더넷 수량
SDR	1	2.5	GbE ~ 2.5 GbE	2 × GbE ~ 1 × 2.5 GbE
	4	10	GbE ~ 10 GbE	10 × GbE ~ 1 × 10 GbE
	8	20	GbE ~ 10 GbE	20 × GbE ~ 2 × 10 GbE
	12	30	GbE ~ 25 GbE	30 × GbE ~ 1 × 25 GbE + 1 × 5 GbE
DDR	1	5	GbE ~ 5 GbE	5 × GbE ~ 1 × 5 GbE
	4	20	GbE ~ 10 GbE	20 × GbE ~ 2 × 10 GbE
	8	40	GbE ~ 40 GbE	40 × GbE ~ 1 × 40 GbE
	12	60	GbE ~ 50 GbE	60 × GbE ~ 1 × 50 GbE + 1 × 10 GbE
QDR	1	10	GbE ~ 10 GbE	10 × GbE ~ 1 × 10 GbE
QDR	4	40	GbE ~ 40 GbE	40 × GbE ~ 1 × 40 GbE

5. 적용 분야

인피니밴드는 오라클 엑사데이터 데이터 베이스 머신, 클라우드 컴퓨팅과 같이 엔터프라이즈 데이터 센터에서 사용된다. 그렇지만 대부분은 고성능 컴퓨팅을 위한 클러스터 구성에서 상호연결을 위한 방법으로 사용된다. 많은 수의 TOP500 슈퍼컴퓨터는 인피니밴드를 사용한다.

고성능 컴퓨팅(HPC) 업계에서는 많은 계산 노드를 연결하여 구성되며, 인피니밴드의 점유율이 높다. 2015년 11월 기준으로 TOP500에서 가장 많이 사용되는 연결 방법이었다. 그러나 이후 중국 시스템을 중심으로 이더넷의 채용이 증가하면서 2017년 11월 시점에서는 인피니밴드의 채용 수가 감소하여 2위로 내려갔다.

각 벤더의 블레이드 계열 서버 및 그리드 계열 서버의 연결에서 옵션으로 제공된다.

일본에서의 사용 예로는 휴렛 팩커드의 서버를 사용하여 NEC가 구축한 도쿄공업대학의 PC 클러스터 TSUBAME 2.0, 교토대학 및 쓰쿠바 대학의 T2K 오픈 슈퍼컴퓨터가 있다.

스토리지에서는 넷앱, 퓨어 스토리지, EMC와 같은 제조사의 제품에서 호스트 I/O의 옵션으로 제공된다.