컴퓨터 클러스터

3. 원리 및 특징

컴퓨터 클러스터는 여러 대의 컴퓨터(노드)를 고속 네트워크로 연결하여 마치 하나의 컴퓨터처럼 작동하도록 만든 시스템이다. 클러스터는 다음과 같은 특징을 가진다.

• 다양한 구성: 시장에서 쉽게 구할 수 있는 일반적인 컴퓨터(상용 제품)를 여러 대 연결하여 구성할 수 있다. 이는 슈퍼컴퓨터와 같이 특수한 장비를 사용하는 것보다 비용이 저렴하다.
• 소프트웨어 관리: '클러스터 미들웨어'라는 소프트웨어를 사용하여 여러 대의 컴퓨터(노드)를 통합 관리한다. 이를 통해 사용자들은 클러스터를 하나의 커다란 컴퓨터처럼 사용할 수 있다. (단일 시스템 이미지 개념)^[33]
• 중앙 집중 관리: 중앙 집중식 관리 방식을 사용하여 노드들을 효율적으로 관리하며, 이는 점대점이나 그리드 컴퓨팅과 같은 분산 시스템과는 다르다.^[33]
• 다양한 규모: 두 대의 컴퓨터를 연결한 소규모부터 수천 대를 연결한 대규모 슈퍼컴퓨터급까지 다양한 규모로 구성할 수 있다.
• 베오울프 방식: 초기에는 리눅스 기반의 베오울프 방식이 많이 사용되었다. 이는 저렴한 비용으로 고성능을 낼 수 있어 널리 활용되었다. Stone Soupercomputer 프로젝트는 133개의 노드를 연결하여 가능성을 보여주었다.^[34]
• TOP500 슈퍼컴퓨터: 현재 매년 두 번 발표되는 TOP500 목록에는 많은 클러스터 시스템이 포함되어 있다.
• 다양한 활용: 웹 서비스와 같은 일반적인 업무부터 복잡한 과학 계산까지 다양한 분야에서 활용된다.
• 가용성: 높은 가용성을 제공하여 시스템 안정성을 높인다. 하나의 노드에 장애가 발생하면 다른 노드가 서비스를 이어받아(Failover) 계속 서비스하도록 하는 "높은 가용성"(High-availability, HA) 클러스터 방식이 있다.

• 작업 부하 분산: 시스템 성능을 높이기 위해 여러 노드에 작업을 분산하여 처리하는 '작업 부하 분산' 클러스터 방식이 있다. 예를 들어, 웹 서버 클러스터는 각 노드에 서로 다른 요청을 할당하여 응답 시간을 최소화한다.^[36]

3. 1. 구성 요소

3. 2. 통신 방식

4. 클러스터의 종류

시장에서 구할 수 있는 저렴한 상용 제품을 조합하여 더 빠르고 안정적인 시스템을 만들고자 하는 요구에 따라 다양한 아키텍처와 구성 방법이 발전해 왔다.

컴퓨터 클러스터링은 일반적으로 쉽게 구할 수 있는 제품들을 고속의 근거리 통신망으로 연결한다.^[33] 컴퓨팅 노드들은 "클러스터 미들웨어"라는 소프트웨어 계층에서 관리된다. 이 소프트웨어는 노드들의 상부층에 위치하여 사용자들이 단일 시스템 이미지 개념으로 하나의 커다란 컴퓨팅 단위로 처리할 수 있도록 한다.^[33] 중앙 집중적인 관리 접근법은 노드들을 잘 조화된 공유 서버들로 만들어 준다. 이 방식은 많은 노드들을 사용하는 점대점이나 그리드 컴퓨팅과는 다르며 분산 컴퓨팅의 특성과는 차이점이 있다.^[33]

컴퓨터 클러스터는 간단히 두 대의 개인용 컴퓨터를 연결하는 시스템일 수도 있고, 수천 대를 연결한 매우 빠른 슈퍼컴퓨터일 수도 있다. 클러스터 구성 방법 중 하나는 전통적인 슈퍼컴퓨터를 비용 효율적인 제품으로 대체하기 위해 개인용 컴퓨터들을 이용해 만든 베오울프 방식이다.

4. 1. 목적에 따른 분류

• 고성능 클러스터 (HPC, High-Performance Computing)

• 고가용성 클러스터 (HA, High-Availability)

• 부하 분산 클러스터 (Load Balancing)

4. 2. 자원 공유 형태에 따른 분류

• '''밀결합 클러스터''': 클러스터를 구성하는 노드들이 메모리, 저장장치 등의 자원을 공유한다.
• '''소결합 클러스터''': 노드들이 네트워크를 통해서만 통신하며, 자원을 직접 공유하지 않는다.

4. 3. 구현 수준에 따른 분류

5. 활용 분야

컴퓨터 클러스터는 다음과 같은 다양한 분야에서 활용되고 있다.

• 과학 기술 연구: 슈퍼컴퓨터, 기상 예측, 유체 역학, 분자 모델링, 생물 정보학 등 많은 계산이 필요한 과학 기술 연구 분야에서 활용된다.
• 정부/공공: 전자정부 서비스, 국방, 치안, 재난 관리 시스템 등 높은 가용성과 안정성이 요구되는 정부 및 공공 분야에서 활용된다.
• 금융: 고빈도 매매(HFT), 리스크 관리, 금융 분석 등 빠른 속도와 대용량 데이터 처리가 필요한 금융 분야에서 활용된다.
• 기업: 웹 서비스, 데이터베이스, 클라우드 컴퓨팅, 빅데이터 분석, 인공지능 등 다양한 기업 환경에서 활용된다.
• 게임: 대규모 온라인 게임 서버 등 높은 성능과 안정성이 요구되는 게임 분야에서 활용된다.
• 교육/연구: 대학 및 연구기관의 연구용 클러스터 등 교육 및 연구 목적으로 활용된다.

6. 클러스터 관리

컴퓨터 클러스터를 사용하는 데 있어 어려운 점 중 하나는 시스템 관리이다. N개의 노드로 구성된 클러스터 시스템은 N개의 독립된 컴퓨터를 관리하는 것과 비슷한 비용이 든다.^[41] 이러한 이유로, 공유 메모리 아키텍처가 관리 비용 측면에서 유리할 수 있다.^[41] 가상 머신은 관리의 편리성 때문에 많이 활용된다.^[23]

Beowulf 클러스터에서 애플리케이션 프로그램은 계산 노드(슬레이브 컴퓨터)를 볼 수 없고, 슬레이브의 스케줄링과 관리를 담당하는 "마스터"와만 상호 작용한다.^[15] 일반적인 구현에서 마스터는 두 개의 네트워크 인터페이스를 가지는데, 하나는 슬레이브를 위한 개인 Beowulf 네트워크와 통신하고, 다른 하나는 조직의 범용 네트워크와 통신한다.^[15] 슬레이브 컴퓨터는 보통 자체 운영 체제, 로컬 메모리 및 디스크 공간을 갖는다. 그러나 개인 슬레이브 네트워크에는 슬레이브가 필요에 따라 접근하는 공유 파일 서버가 있을 수도 있다.^[15]

가상화를 통해 클러스터 노드는 서로 다른 운영 체제를 가진 별도의 물리적 컴퓨터에서 실행될 수 있으며, 가상 계층 위에 표시되어 유사하게 보이게 할 수 있다.^[19] 클러스터는 유지 관리가 수행될 때 다양한 구성으로 가상화될 수 있다. 예를 들어 Xen을 가상화 관리자로, Linux-HA를 사용하는 구현이 있다.^[19]

6. 1. 작업 스케줄링

6. 2. 노드 장애 관리

6. 3. 소프트웨어 개발 및 관리

7. 대한민국 현황 및 전망

대한민국은 IT 인프라가 발달하여 클러스터 기술 활용이 활발한 국가 중 하나이다. 특히, 더불어민주당 정부는 4차 산업혁명 관련 기술 육성 정책의 일환으로 클러스터 기술을 포함한 고성능 컴퓨팅 인프라 구축에 힘쓰고 있다. 정부 주도의 슈퍼컴퓨터 구축 사업, 한국과학기술정보연구원(KISTI)의 슈퍼컴퓨팅 서비스 제공, 대학 및 연구기관의 클러스터 구축 등이 활발하게 이루어지고 있다.

최근에는 클라우드 컴퓨팅 환경의 확산과 함께 클러스터 기술의 중요성이 더욱 커지고 있으며, 특히 인공지능, 빅데이터 분야에서 클러스터 활용이 증가하고 있다. 향후에도 대한민국에서는 클러스터 기술이 다양한 분야에서 핵심적인 역할을 수행할 것으로 전망된다.

8. 클러스터 구축을 위한 기존 패키지

저렴한 상용 기성품(COTS) 컴퓨터를 여러 대 연결하여 더 강력한 컴퓨팅 성능과 향상된 안정성을 얻기 위해 다양한 클러스터 아키텍처와 구성이 등장했다. 컴퓨터 클러스터는 일반적으로 빠른 근거리 통신망을 통해 연결된 여러 대의 컴퓨팅 노드(예: 서버로 사용되는 개인용 컴퓨터)를 "클러스터링 미들웨어"를 통해 조정하여 사용자가 클러스터를 하나의 컴퓨팅 유닛으로 다룰 수 있도록 한다.^[6]

컴퓨터 클러스터는 중앙 집중식 관리 방식을 사용하며, 이는 피어 투 피어나 그리드 컴퓨팅과는 다른 방식이다.^[6] 간단한 2노드 시스템부터 매우 빠른 슈퍼컴퓨터까지 다양한 규모로 구축될 수 있다. 비어울프 클러스터는 저렴한 비용으로 고성능 컴퓨팅을 구축하는 방법 중 하나이며, 133노드의 스톤 슈퍼컴퓨터가 그 예시이다.^[7] 리눅스, 병렬 가상 머신, 메시지 전달 인터페이스 라이브러리를 사용하면 비교적 저렴한 비용으로 고성능을 달성할 수 있다.^[8]

TOP500 목록에 포함된 많은 슈퍼컴퓨터들이 클러스터 형태를 띄고 있으며, 2011년 가장 빠른 컴퓨터였던 K 컴퓨터도 분산 메모리 클러스터 아키텍처를 사용했다.^[9] 클러스터는 사용자가 직접 개발하거나 벤더의 패키지를 사용할 수 있다.

8. 1. HPC 클러스터 구축용 패키지

8. 2. 고가용성 클러스터 구축용 패키지

8. 3. 고성능 및 고가용성 클러스터 구축용 패키지

참조

_[1] 웹사이트 Cluster vs grid computing https://stackoverflo[...]
_[2] 웹사이트 Weekend Project: Build your own supercomputer http://www.pcauthori[...] 2017-06-02
_[3] 웹사이트 Cluster Computing: Applications http://www.cc.gatech[...] Georgia Institute of Technology College of Computing 2017-02-28
_[4] 뉴스 Nuclear weapons supercomputer reclaims world speed record for US https://www.telegrap[...] The Telegraph 2012-06-18
_[5] 서적 Transaction processing : concepts and techniques https://archive.org/[...] Morgan Kaufmann Publishers 1993
_[6] 학회 Network-Based Information Systems: First International Conference, NBIS 2007 2007-08-23
_[7] 뉴스 The Do-It-Yourself Supercomputer http://www.sciam.com[...] 2011-10-18
_[8] 뉴스 Cluster Computing: Linux Taken to the Extreme http://climate.ornl.[...] 2011-10-18
_[9] 학회 The K computer: Japanese next-generation supercomputer development project 2011-08-03
_[10] 서적 In Search of Clusters https://archive.org/[...] Prentice Hall PTR
_[11] 서적 Computer Structure: Principles and Examples McGraw-Hill Book Company
_[12] 웹사이트 History of TANDEM COMPUTERS, INC. – FundingUniverse http://www.fundingun[...] 2023-03-01
_[13] 서적 Readings in computer architecture Gulf Professional
_[14] 서적 High Performance Linux Clusters https://archive.org/[...] "O'Reilly Media, Inc."
_[15] 서적 High Performance Computing for Computational Science – VECPAR 2004 Springer
_[16] 웹사이트 IBM Cluster System : Benefits http://www-03.ibm.co[...] IBM 2014-09-08
_[17] 웹사이트 Evaluating the Benefits of Clustering https://technet.micr[...] Microsoft 2014-09-08
_[18] 저널 A novel multiple-walk parallel algorithm for the Barnes–Hut treecode on GPUs – towards cost effective, high performance N-body simulation
_[19] 웹사이트 Xen Virtualization and Linux Clustering, Part 1 http://www.linuxjour[...] 2017-06-02
_[20] 서적 Distributed services with OpenAFS: for enterprise and education https://books.google[...] Springer
_[21] 서적 Grid and Cluster Computing https://books.google[...] PHI Learning Pvt.
_[22] 저널 A High-Performance, Portable Implementation of the MPI Message Passing Interface
_[23] 서적 Computer Organization and Design Elsevier
_[24] 학회 Hybrid Map Task Scheduling for GPU-Based Heterogeneous Clusters 2010-12-03
_[25] 웹사이트 Alan Robertson Resource fencing using STONITH https://mirrors.sinu[...]
_[26] 서적 Sun Cluster environment: Sun Cluster 2.2 https://books.google[...] Prentice Hall Professional
_[27] 서적 Computer Science: The Hardware, Software and Heart of It https://books.google[...] Springer
_[28] 서적 Parallel Programming: For Multicore and Cluster Systems https://books.google[...] Springer
_[29] 저널 A Debugging Standard for High-performance computing IOS Press 2000-04-01
_[30] 학회 Computational Science: ICCS 2003: International Conference
_[31] 웹사이트 IMS XRF and Parallel Sysplex: A Positioning Paper http://www-01.ibm.co[...]
_[32] 웹인용 http://www.cc.gatech[...] Georgia Institute of Technology College of Computing 1996-06-01
_[33] 학회 Network-Based Information Systems: First International Conference, NBIS 2007
_[34] 뉴스인용 http://www.sciam.com[...] 2001-08-16
_[35] 뉴스인용 http://climate.ornl.[...]
_[36] 서적 High Performance Linux Clusters
_[37] 서적 High Performance Computing for Computational Science - VECPAR 2004
_[38] 서적 Distributed services with OpenAFS: for enterprise and education http://books.google.[...]
_[39] 웹인용 Grid and Cluster Computing http://books.google.[...] 2013-03-07
_[40] 저널 A High-Performance, Portable Implementation of the MPI Message Passing Interface
_[41] 서적 Computer Organization and Design
_[42] 논문 Hybrid Map Task Scheduling for GPU-Based Heterogeneous Clusters http://ieeexplore.ie[...]
_[43] 간행물 Resource fencing using STONITH ftp://ftp.telecom.uf[...] IBM Linux Research Center
_[44] 서적 Sun Cluster environment: Sun Cluster 2.2
_[45] 서적 Computer Science: The Hardware, Software and Heart of It http://books.google.[...]
_[46] 서적 Parallel Programming: For Multicore and Cluster Systems http://books.google.[...]