분산 데이터 처리

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 분산 데이터 처리 기술
- 2.1. 초기 분산 데이터 처리 시스템
  - 2.1.1. TSI/DPF Flexicom
- 2.2. 현대의 분산 데이터 처리 기술
  - 2.2.1. 아파치 하둡 (Apache Hadoop)
참조

1. 개요

분산 데이터 처리는 여러 컴퓨터에 데이터를 분산하여 처리하는 기술을 의미한다. 1976년 Turnkey Systems Inc(TSI)/DPF Inc.는 Flexicom이라는 하드웨어/소프트웨어 통신 프론트 엔드를 도입하여 분산 데이터 처리의 일부를 오프로드했다. 현대에는 아파치 하둡이 널리 사용되며, 사용자 공간 파일 시스템을 활용하고 분산 데이터 처리를 위한 새로운 프로그래밍 언어가 개발되었다.

더 읽어볼만한 페이지

컴퓨팅 하드웨어의 역사 - 무어의 법칙
무어의 법칙은 집적회로의 성능이 일정 기간마다 두 배로 증가한다는 경험적 관찰로, 반도체 산업 발전을 이끄는 지표였으나, 최근 성장 둔화에도 불구하고 기술 혁신을 통해 성능 향상이 지속되며 기술 혁신 과정 자체를 의미하는 개념으로 진화하고 있다.
컴퓨팅 하드웨어의 역사 - 아날로그 컴퓨터
아날로그 컴퓨터는 물리량을 사용하여 수학적 연산을 수행하는 계산 기계로, 다양한 형태로 발전해 왔으나 디지털 컴퓨터의 발전으로 쇠퇴했음에도 불구하고, 최근 에너지 효율적인 계산 등의 분야에서 재조명되고 있다.

분산 데이터 처리
기본 정보
분산 데이터 처리의 기본 형태
유형	데이터 처리
관련 주제	분산 컴퓨팅 클라이언트-서버 컴퓨터 네트워크 데이터베이스 실시간 시스템 트랜잭션 처리
개요
설명	분산 데이터 처리는 여러 컴퓨터 네트워크를 통해 데이터를 처리하는 것임.
목표	성능 향상 가용성 향상 확장성 향상 모듈성 향상 비용 절감
아키텍처
일반적인 아키텍처	클라이언트-서버 모델 피어-투-피어 모델 클라우드 컴퓨팅
주요 고려 사항
데이터 일관성	데이터의 일관성을 유지하는 것이 중요함.
장애 처리	시스템의 일부에 장애가 발생해도 전체 시스템이 중단되지 않도록 해야 함.
보안	데이터의 보안을 유지하는 것이 중요함.
장점
성능	데이터를 여러 컴퓨터에서 동시에 처리하여 성능을 향상시킬 수 있음.
가용성	시스템의 일부에 장애가 발생해도 다른 컴퓨터에서 데이터를 처리할 수 있으므로 가용성이 향상됨.
확장성	필요에 따라 시스템에 컴퓨터를 추가하여 확장할 수 있음.
모듈성	시스템을 모듈별로 개발하고 유지 관리할 수 있음.
비용	여러 대의 소형 컴퓨터를 사용하여 대형 컴퓨터를 대체함으로써 비용을 절감할 수 있음.
단점
복잡성	시스템의 설계 및 구현이 복잡할 수 있음.
관리	시스템의 관리가 어려울 수 있음.
보안	시스템의 보안이 취약할 수 있음.

2. 분산 데이터 처리 기술

분산 데이터 처리 기술은 초기 시스템부터 현대적인 오픈 소스 프레임워크에 이르기까지 다양하게 발전해 왔다. 초기에는 특정 데이터 처리 작업을 분담하기 위한 하드웨어/소프트웨어 통신 프론트 엔드 시스템^[16]^[17] 등이 활용되었다. 현대에는 하둡(Apache Hadoop)과 같이 대규모 데이터를 효율적으로 처리하기 위해 파일 시스템 개념을 도입하고 새로운 프로그래밍 언어 등을 활용하는 기술^[15]이 중요하게 사용된다.

2. 1. 초기 분산 데이터 처리 시스템

(내용 없음 - 하위 섹션에서 상세 내용을 다루므로 중복 방지를 위해 생략)

2. 1. 1. TSI/DPF Flexicom

1976년^[16] ''Turnkey Systems Inc''(TSI)/DPF Inc.는 분산 데이터 처리의 일부 프로세싱 부담을 덜기 위해 하드웨어와 소프트웨어를 결합한 통신 프론트 엔드를 선보였다. '''Flexicom'''^[17]이라고 명명된 이 시스템은 IBM에서 제조한 CPU를 사용했으며, ''Flexicom''의 추가 기능과 함께 DOS Rel. 26 운영체제를 실행했다. 사용 가능한 4가지 모델 중 가장 작은 모델은 360/30의 CPU를 가지고 있었다.

2. 2. 현대의 분산 데이터 처리 기술

현대의 분산 데이터 처리 기술에서는 하둡(Apache Hadoop)과 같은 오픈 소스 프레임워크가 중요한 역할을 한다.^[15] 하둡은 대규모 데이터 처리를 위해 파일 시스템 개념을 도입했으며, 새로운 프로그래밍 언어와 같은 도구들도 활용된다.

2. 2. 1. 아파치 하둡 (Apache Hadoop)

아파치 하둡(Apache Hadoop)은 대규모 데이터 세트를 분산 처리하기 위한 오픈 소스 프레임워크이다.^[15] 하둡은 사용자 공간 파일 시스템 개념을 도입하여 데이터를 여러 컴퓨터에 분산시켜 저장하고 처리한다. 이러한 분산 데이터 처리를 효율적으로 수행하기 위해 데이터 중심 프로그래밍 언어와 같은 도구를 활용한다.

참조

_[1] 뉴스 Northern Telecom's Setback https://www.nytimes.[...] 1981-01-21
_[2] 간행물 Distributed data processing: the key is software 1977-10
_[3] 간행물 IBM's 8100: First Impressions 1979-03
_[4] 문서
_[5] 간행물 IBM's Distributed Processing Capabilities For Large-Scale Data Base Systems, Part 1
_[6] 간행물 IBM's Distributed Processing Capabilities For Large-Scale Data Base Systems, Part 2
_[7] 간행물 The 3790: A Glimpse Into IBM's Future Plans? https://books.google[...] IDG Enterprise 1975-07-16
_[8] 뉴스 I.B.M. Displays New Processor https://www.nytimes.[...] 1983-06-23
_[9] 뉴스 Motorola to acquire computer maker https://www.nytimes.[...] 1981-12-11
_[10] 뉴스 Mr. Fixit of Northern Telecom https://www.nytimes.[...] 1979-10-21
_[11] 서적 To Clone a Computer https://www.nytimes.[...] 1979-02-04
_[12] 뉴스 Honeywell's New Computer https://www.nytimes.[...] 1982-10-15
_[13] 뉴스 Technology https://www.nytimes.[...] 1979-09-27
_[14] 뉴스 Challenge for Honeywell Bull https://www.nytimes.[...] 1987-05-19
_[15] 웹사이트 Distributed data processing with Hadoop, Part 3 https://www.ibm.com/[...] 2010-07-14
_[16] 뉴스 I.B.M. Starting Series 1 System To Enter Minicomputer Market https://www.nytimes.[...] 1976-11-17
_[17] 뉴스 A Flexicom Friend https://www.irishtim[...]
_[18] 뉴스 Northern Telecom's Setback https://www.nytimes.[...] 1981-01-21
_[19] 간행물 Distributed data processing: the key is software 1977-10
_[20] 간행물 IBM's 8100: First Impressions 1979-03
_[21] 문서
_[22] 간행물 IBM's Distributed Processing Capabilities For Large-Scale Data Base Systems, Part 1
_[23] 간행물 IBM's Distributed Processing Capabilities For Large-Scale Data Base Systems, Part 2
_[24] 간행물 The 3790: A Glimpse Into IBM's Future Plans? https://books.google[...] IDG Enterprise 1975-07-16
_[25] 뉴스 I.B.M. Displays New Processor https://www.nytimes.[...] 1983-06-23
_[26] 뉴스 Motorola to acquire computer maker https://www.nytimes.[...] 1981-12-11
_[27] 서적 To Clone a Computer https://www.nytimes.[...] 1979-02-04
_[28] 뉴스 Honeywell's New Computer https://www.nytimes.[...] 1982-10-15
_[29] 뉴스 Technology https://www.nytimes.[...] 1979-09-27
_[30] 뉴스 Challenge for Honeywell Bull https://www.nytimes.[...] 1987-05-19

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com