병행 컴퓨팅

3. 모델

병행 컴퓨팅을 이해하고 분석하기 위한 다양한 모델들이 존재한다. 대표적인 모델로는 액터 모델, 페트리 네트, 프로세스 계산, 입출력 오토마톤 등이 있다.^[1]

이 외에도 램포트의 TLA+와 같은 논리, 트레이스 및 액터 이벤트 다이어그램과 같은 수학적 모델도 병행 시스템의 동작을 설명하기 위해 개발되었다.^[1] 소프트웨어 트랜잭션 메모리는 데이터베이스 이론에서 원자적 트랜잭션 개념을 빌려 메모리 접근에 적용한다.^[1]

3. 1. 액터 모델

3. 2. 페트리 네트

3. 3. 프로세스 계산

3. 4. 입출력 오토마톤

4. 구현

병행 프로그램은 다양한 방법으로 구현될 수 있다. 예를 들어, 각 계산 실행을 운영 체제 프로세스로 구현하거나, 계산 프로세스를 단일 운영 체제 프로세스 내의 스레드 집합으로 구현할 수 있다.^[3][6]

운영 체제가 제공하는 프로세스와 스레드의 동시 실행과 그 상호 통신이 구현의 틀이 되며, 프로세스 그룹과 스레드 그룹의 병행 실행에 따른 복수 작업의 동시 실행 가능성은 멀티태스킹 등으로 불린다.

4. 1. 상호작용 및 통신

• 공유 메모리 통신: 병행 구성 요소들이 공유 메모리 위치의 내용을 변경하여 통신하는 방식이다.
• 메시지 전달 통신: 병행 구성 요소들이 메시지 교환을 통해 통신하는 방식이다.

4. 1. 1. 공유 메모리 통신

4. 1. 2. 메시지 전달 통신

5. 일관성 모델

병행 프로그래밍 언어와 멀티프로세서 프로그램은 일관성 모델(메모리 모델이라고도 함)을 가져야 한다. 일관성 모델은 컴퓨터 메모리에 대한 연산이 어떻게 발생하고 결과가 생성되는지에 대한 규칙을 정의한다.

최초의 일관성 모델 중 하나는 레슬리 램포트의 순차적 일관성 모델이었다. 순차적 일관성은 프로그램의 실행이 순차적 프로그램과 동일한 결과를 생성하는 속성이다. 구체적으로, "모든 프로세서의 연산이 어떤 순차적 순서로 실행되고, 각 개별 프로세서의 연산이 해당 프로그램에 의해 지정된 순서로 이 순서에 나타나는 경우" 순차적으로 일관적이다.^[7]

일관성 모델은 여러 프로세스/스레드가 동시에 데이터 영역에 읽기/쓰기를 수행해도 순차적 계산과 완전히 동일한 결과를 얻을 수 있도록 하기 위한 계산 모델이다. 일관성 모델을 구현할 때 공유 메모리 통신에 분류되는 임계 구역의 락 동기화가 자주 사용된다.

6. 병행 프로그래밍 언어

병행 프로그래밍 언어는 병행성을 위한 언어 구조를 사용하는 프로그래밍 언어이다. 이러한 구조에는 다중 스레딩, 분산 컴퓨팅 지원, 메시지 전달, 공유 메모리 또는 퓨처 및 프로미스가 포함될 수 있다.^[9] 이러한 언어는 때때로 '병행 지향 언어' 또는 '병행 지향 프로그래밍 언어'(COPL)라고도 불린다.

오늘날 병행성을 위한 특정 구조를 가진 가장 일반적인 프로그래밍 언어는 Java와 C#이다. 이 두 언어는 기본적으로 공유 메모리 병행성 모델을 사용하며, 모니터를 통해 잠금을 제공한다(메시지 전달 모델은 기본 공유 메모리 모델 위에 구현될 수 있으며, 구현되어 왔다). 메시지 전달 병행성 모델을 사용하는 언어 중에서는 Erlang이 현재 업계에서 가장 널리 사용된다.

많은 병행 프로그래밍 언어는 생산용보다는 연구용 언어(예: Pict)로 더 많이 개발되었다. 그러나 Erlang, Limbo, occam과 같은 언어는 지난 20년 동안 다양한 시기에 산업적으로 사용되었다.

다음은 병행 프로그래밍 기능을 사용하거나 제공하는 언어들의 목록이다. (단, 모든 언어를 포함하는 것은 아니다.)

최근 한국에서는 함수형 프로그래밍 언어의 인기가 높아짐에 따라, 병행 프로그래밍을 지원하는 함수형 언어(예: Scala, Clojure)에 대한 관심도 증가하고 있다.

참조

_[1] 서적 Operating System Concepts
_[2] 서적 The Origin of Concurrent Programming https://link.springe[...]
_[3] 간행물 Concurrency is not Parallelism http://talks.golang.[...] 2012-01-11
_[4] 웹사이트 Parallelism vs. Concurrency https://wiki.haskell[...]
_[5] 서적 On Concurrent Programming https://archive.org/[...] Springer 1997-05-06
_[6] 서적 Principles of Concurrent and Distributed Programming Addison-Wesley
_[7] 학술지 How to Make a Multiprocessor Computer That Correctly Executes Multiprocess Programs 1979-09-01
_[8] 웹사이트 PODC Influential Paper Award: 2002 http://www.podc.org/[...] 2009-08-24
_[9] 웹사이트 Making reliable distributed systems in the presence of software errors http://www.diva-port[...]
_[10] 웹사이트 Standard library header (C++11) https://en.cpprefere[...] 2024-10-03
_[11] 웹사이트 Standard library header (C++20) https://en.cpprefere[...] 2024-10-03
_[12] 서적 Parallel and Concurrent Programming in Haskell : Techniques for Multicore and Multithreaded Programming
_[13] 웹사이트 Concurrent and Parallel programming in Julia — JuliaCon India 2015 — HasGeek Talkfunnel https://juliacon.tal[...]
_[14] 웹사이트 PHP: parallel - Manual https://www.php.net/[...] 2024-10-03
_[15] 웹사이트 Concurrency https://docs.perl6.o[...] 2017-12-24
_[16] 문서 Documentation » The Python Standard Library » Concurrent Execution https://docs.python.[...]
_[17] 웹사이트 Typesafe Shared Mutable State http://winningraceco[...] 2012-11-14
_[18] 웹사이트 Concurrency https://docs.swift.o[...] 2022-12-15
_[19] 서적 Operating System Concepts
_[20] 간행물 Concurrency is not Parallelism http://talks.golang.[...] 2012-01-11
_[21] 웹사이트 Parallelism vs. Concurrency https://wiki.haskell[...] 2020-01
_[22] 서적 On Concurrent Programming Springer 1997-05-06
_[23] 서적 Principles of Concurrent and Distributed Programming Addison-Wesley
_[24] 서적 Principles of Concurrent and Distributed Programming Addison-Wesley
_[25] 서적 Operating System Concepts
_[26] 웹사이트 PODC Influential Paper Award: 2002 http://www.podc.org/[...] 2009-08-24