분산 데이터 처리
1. 개요
분산 데이터 처리는 여러 컴퓨터에 데이터를 분산하여 처리하는 기술을 의미한다. 1976년 Turnkey Systems Inc(TSI)/DPF Inc.는 Flexicom이라는 하드웨어/소프트웨어 통신 프론트 엔드를 도입하여 분산 데이터 처리의 일부를 오프로드했다. 현대에는 아파치 하둡이 널리 사용되며, 사용자 공간 파일 시스템을 활용하고 분산 데이터 처리를 위한 새로운 프로그래밍 언어가 개발되었다.
이미지 준비중입니다.
| 유형 | 데이터 처리 |
|---|---|
| 관련 주제 | 분산 컴퓨팅 클라이언트-서버 컴퓨터 네트워크 데이터베이스 실시간 시스템 트랜잭션 처리 |
| 설명 | 분산 데이터 처리는 여러 컴퓨터 네트워크를 통해 데이터를 처리하는 것임. |
|---|---|
| 목표 | 성능 향상 가용성 향상 확장성 향상 모듈성 향상 비용 절감 |
| 일반적인 아키텍처 | 클라이언트-서버 모델 피어-투-피어 모델 클라우드 컴퓨팅 |
|---|
| 데이터 일관성 | 데이터의 일관성을 유지하는 것이 중요함. |
|---|---|
| 장애 처리 | 시스템의 일부에 장애가 발생해도 전체 시스템이 중단되지 않도록 해야 함. |
| 보안 | 데이터의 보안을 유지하는 것이 중요함. |
| 성능 | 데이터를 여러 컴퓨터에서 동시에 처리하여 성능을 향상시킬 수 있음. |
|---|---|
| 가용성 | 시스템의 일부에 장애가 발생해도 다른 컴퓨터에서 데이터를 처리할 수 있으므로 가용성이 향상됨. |
| 확장성 | 필요에 따라 시스템에 컴퓨터를 추가하여 확장할 수 있음. |
| 모듈성 | 시스템을 모듈별로 개발하고 유지 관리할 수 있음. |
| 비용 | 여러 대의 소형 컴퓨터를 사용하여 대형 컴퓨터를 대체함으로써 비용을 절감할 수 있음. |
| 복잡성 | 시스템의 설계 및 구현이 복잡할 수 있음. |
|---|---|
| 관리 | 시스템의 관리가 어려울 수 있음. |
| 보안 | 시스템의 보안이 취약할 수 있음. |
-
컴퓨팅 하드웨어의 역사 -
무어의 법칙
무어의 법칙은 집적회로의 성능이 일정 기간마다 두 배로 증가한다는 경험적 관찰로, 반도체 산업 발전을 이끄는 지표였으나, 최근 성장 둔화에도 불구하고 기술 혁신을 통해 성능 향상이 지속되며 기술 혁신 과정 자체를 의미하는 개념으로 진화하고 있다. -
컴퓨팅 하드웨어의 역사 -
아날로그 컴퓨터
아날로그 컴퓨터는 물리량을 사용하여 수학적 연산을 수행하는 계산 기계로, 다양한 형태로 발전해 왔으나 디지털 컴퓨터의 발전으로 쇠퇴했음에도 불구하고, 최근 에너지 효율적인 계산 등의 분야에서 재조명되고 있다.
2. 분산 데이터 처리 기술
분산 데이터 처리 기술은 초기 시스템부터 현대적인 오픈 소스 프레임워크에 이르기까지 다양하게 발전해 왔다. 초기에는 특정 데이터 처리 작업을 분담하기 위한 하드웨어/소프트웨어 통신 프론트 엔드 시스템 등이 활용되었다. 현대에는 하둡(Apache Hadoop)과 같이 대규모 데이터를 효율적으로 처리하기 위해 파일 시스템 개념을 도입하고 새로운 프로그래밍 언어 등을 활용하는 기술이 중요하게 사용된다.
2.1. 초기 분산 데이터 처리 시스템
(내용 없음 - 하위 섹션에서 상세 내용을 다루므로 중복 방지를 위해 생략)
2.1.1. TSI/DPF Flexicom
1976년 Turnkey Systems Inc(TSI)/DPF Inc.는 분산 데이터 처리의 일부 프로세싱 부담을 덜기 위해 하드웨어와 소프트웨어를 결합한 통신 프론트 엔드를 선보였다. Flexicom이라고 명명된 이 시스템은 IBM에서 제조한 CPU를 사용했으며, Flexicom의 추가 기능과 함께 DOS Rel. 26 운영체제를 실행했다. 사용 가능한 4가지 모델 중 가장 작은 모델은 360/30의 CPU를 가지고 있었다.