신경망

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 생물학적 신경망
3. 인공 신경망 (기계 학습)
4. 역사
- 4.1. 연결주의와 퍼셉트론
- 4.2. 인공 신경망의 발전
참조

1. 개요

신경망은 생물학적 뉴런들의 집합으로 구성되어 화학적 또는 기능적으로 연결된 생물학적 신경망과, 기계 학습에 사용되는 인공 수학적 모델인 인공 신경망을 모두 아우르는 개념이다. 생물학적 신경망은 뉴런들이 시냅스를 통해 연결되어 전기화학적 신호를 주고받으며, 신경회로, 대규모 뇌 네트워크, 신경계를 통해 근육 운동을 제어한다. 인공 신경망은 비선형 함수를 근사하는 데 사용되며, 뉴런의 층 구조, 가중치 조절, 학습 과정을 통해 예측 모델링, 인공 지능 문제 해결 등에 활용된다. 현대 신경망의 이론적 기반은 19세기 후반에 제시되었으며, 20세기 초반 헵의 학습 규칙과 퍼셉트론 발명을 통해 발전해왔다.

더 읽어볼만한 페이지

신경망 - 환각 (인공지능)
인공지능 환각은 인공지능이 사실이 아닌 정보를 사실처럼 생성하는 현상으로, 대규모 언어 모델의 부정확한 정보 생성 문제를 설명하기 위해 사용되며, 데이터 불일치, 모델 오류, 훈련 데이터 부족 등이 원인으로 발생하여 다양한 완화 기술이 연구되고 있다.
신경망 - 신경가소성
신경가소성은 뇌의 구조와 기능이 경험, 학습, 손상에 따라 변화하는 능력이며, 시냅스 가소성, 구조적 가소성으로 나뉘어 뇌졸중, 학습 장애 등의 치료와 재활, 명상, 예술 활동 등 다양한 분야에 응용된다.
계량경제학 - 화폐유통속도
화폐유통속도는 경제 내 화폐가 재화와 서비스 구매에 사용되는 속도를 나타내는 지표로, 통화 수요를 이해하는 데 중요하며 거래 유통 속도와 소득 유통 속도로 나뉜다.
계량경제학 - 공적분
공적분은 불안정한 시계열 변수들 간의 장기적인 안정 관계를 나타내는 개념으로, 개별 시계열이 불안정하더라도 특정 선형 결합이 안정적인 경우를 설명하며, 엥글-그레인저 2단계 방법, 요한센 검정 등으로 검정한다.
계산신경과학 - 인공 신경망
계산신경과학 - 인공 일반 지능
인공 일반 지능(AGI)은 추론, 지식 표현, 학습 등의 능력을 갖춘 인공지능 시스템을 의미하며, 기아와 빈곤 해결 등의 이점을 제공하지만 통제력 상실과 같은 위험도 존재한다.

신경망
지도
기본 정보
분야	인공지능 기계 학습 통계학 인지 과학 신경과학
유형	인공 신경망 생물학적 신경망
관련 분야	패턴 인식 데이터 마이닝 예측 모델링 신호 처리 로보틱스 컴퓨터 비전 자연어 처리 인공지능
구조
기본 요소	노드 (뉴런) 연결 (시냅스) 가중치 활성화 함수
층 구조	입력층 은닉층 출력층
연결 방식	순방향 연결 역방향 연결 (피드백) 순환 연결
학습 방식	지도 학습 비지도 학습 강화 학습
주요 유형
피드포워드 신경망	다층 퍼셉트론 (MLP) 방사 기저 함수 네트워크 (RBFN)
순환 신경망	장단기 기억 (LSTM) 네트워크 게이트 순환 유닛 (GRU) 네트워크
합성곱 신경망	CNN
오토인코더	변이형 오토인코더
생성적 적대 신경망	GAN
학습 알고리즘
경사 하강법	역전파
최적화 알고리즘	Adam RMSprop
역사
초기 연구	1943년: 월터 피츠와 워렌 맥컬록, 인공 뉴런 모델 제시 1950년대: 퍼셉트론 개발
암흑기	1970년대 ~ 1980년대: 연구 침체기
부활	1986년: 역전파 알고리즘 재발견 2000년대 이후: 딥러닝 발전, 인공지능 분야에서 핵심 기술로 부상
응용 분야
이미지	이미지 인식 객체 감지 이미지 생성
자연어	텍스트 분석 기계 번역 챗봇
음성	음성 인식 음성 합성
기타	로봇 제어 자율 주행 금융 예측 의료 진단
관련 용어
딥러닝	심층 신경망 학습
활성화 함수	시그모이드 ReLU tanh
손실 함수	평균 제곱 오차 교차 엔트로피
과적합	학습 데이터에 지나치게 최적화되어 일반화 성능이 떨어지는 현상
정규화	과적합을 방지하기 위한 기법
가중치 초기화	신경망 학습 시작 시 가중치를 설정하는 방법
최적화기	신경망 학습 속도를 향상시키는 알고리즘
추가 정보
참고 자료	Deep Learning book (딥러닝 교재) TensorFlow Playground (신경망 시뮬레이터)

2. 생물학적 신경망

생물학적 신경망은 시냅스에 의해 화학적으로 서로 연결된 생물학적 뉴런들의 집단이다. 특정 뉴런은 수십만 개의 시냅스에 연결될 수 있다.^[1] 각 뉴런은 연결된 이웃에게 활동전위라고 하는 전기화학적 신호를 주고받는다. 뉴런은 흥분성 역할을 하여 받은 신호를 증폭하고 전파하거나, 억제성 역할을 하여 신호를 억제할 수 있다.^[1]

마우스의 선조체에서 생물학적 신경망의 일부를 보여주는 공초점 현미경 사진 애니메이션

2. 1. 신경회로

생물학적 신경망은 화학적으로 연결되거나 기능적으로 연결된 뉴런들의 그룹으로 구성된다. 하나의 뉴런은 다른 수많은 뉴런들과 연결될 수 있으며 망 내의 뉴런과 연결점들의 모든 수는 광활하다. 연결, 즉 시냅스는 일반적으로 축삭에서 가지돌기로 이루어지지만, 수상돌기간 시냅스^[11]를 통해 구성되기도 하며 다른 연결 또한 가능하다.

신경망보다 작은 상호 연결된 뉴런 집단을 신경회로라고 한다. 매우 크게 상호 연결된 네트워크를 대규모 뇌 네트워크라고 하며, 이러한 네트워크들이 많이 모여 뇌와 신경계를 형성한다.

2. 2. 대규모 뇌 네트워크

생물학적 신경망은 화학적으로 연결되거나 기능적으로 연결된 뉴런들의 그룹으로 구성된다. 하나의 뉴런은 다른 수많은 뉴런들과 연결될 수 있으며 망 내의 뉴런과 연결점들의 모든 수는 광활하다. 연결, 즉 시냅스는 일반적으로 축삭에서 가지돌기로 이루어지지만, 수상돌기간 시냅스^[11]를 통해 구성되기도 하며 다른 연결 또한 가능하다.

생물학적 맥락에서 신경망은 시냅스에 의해 화학적으로 서로 연결된 생물학적 뉴런들의 집단이다. 특정 뉴런은 수십만 개의 시냅스에 연결될 수 있다.^[1]

각 뉴런은 연결된 이웃에게 활동전위라고 하는 전기화학적 신호를 주고받는다. 뉴런은 흥분성 역할을 하여 받은 신호를 증폭하고 전파하거나, 억제성 역할을 하여 신호를 억제할 수 있다.^[1]

신경망보다 작은 상호 연결된 뉴런 집단을 신경회로라고 한다. 매우 크게 상호 연결된 네트워크를 대규모 뇌 네트워크라고 하며, 이러한 네트워크들이 많이 모여 뇌와 신경계를 형성한다.

뇌의 신경망에 의해 생성된 신호는 결국 신경계를 통해 근육접합부를 가로질러 근육 세포로 이동하여 수축을 일으키고 그에 따라 움직임을 발생시킨다.^[2]

2. 3. 신경계와 근육 운동

생물학적 맥락에서 신경망은 시냅스에 의해 화학적으로 서로 연결된 생물학적 뉴런들의 집단이다. 특정 뉴런은 수십만 개의 시냅스에 연결될 수 있다.^[1]

각 뉴런은 연결된 이웃에게 활동전위라고 하는 전기화학적 신호를 주고받는다. 뉴런은 흥분성 역할을 하여 받은 신호를 증폭하고 전파하거나, 억제성 역할을 하여 신호를 억제할 수 있다.^[1]

신경망보다 작은 상호 연결된 뉴런 집단을 신경회로라고 한다. 매우 크게 상호 연결된 네트워크를 대규모 뇌 네트워크라고 하며, 이러한 네트워크들이 많이 모여 뇌와 신경계를 형성한다.

뇌의 신경망에 의해 생성된 신호는 결국 신경계를 통해 근육접합부를 가로질러 근육 세포로 이동하여 수축을 일으키고 그에 따라 움직임을 발생시킨다.^[2]

3. 인공 신경망 (기계 학습)

기계 학습에서 신경망은 비선형 함수를 근사하는 데 사용되는 인공 수학적 모델이다. 초기 인공 신경망은 물리적 기계였지만,^[9] 오늘날에는 거의 항상 소프트웨어로 구현된다.

인공 신경망의 뉴런은 보통 층으로 배열되며, 정보는 첫 번째 층(입력층)에서 하나 이상의 중간 층(은닉층)을 거쳐 마지막 층(출력층)으로 전달된다.^[3] 각 뉴런에 대한 "신호" 입력은 숫자이며, 구체적으로 이전 층의 연결된 뉴런 출력의 선형 결합이다. 각 뉴런이 출력하는 신호는 해당 활성화 함수에 따라 이 숫자로부터 계산된다.

네트워크의 동작은 뉴런 간 연결의 강도(또는 ''가중치'')에 따라 달라지며, 기존 데이터 세트에 맞추기 위해 경험적 위험 최소화 또는 역전파를 통해 이러한 가중치를 수정하여 훈련된다.^[4] 신경망은 인공 지능의 문제를 해결하는 데 사용되며, 예측 모델링, 적응 제어, 얼굴 인식, 필기 인식, 일반 게임 플레이, 생성형 AI 등 다양한 분야에서 응용되고 있다.

3. 1. 인공 뉴런과 층 구조

기계 학습에서 신경망은 비선형 함수를 근사하는 데 사용되는 인공 수학적 모델이다. 초기 인공 신경망은 물리적 기계였지만,^[9] 오늘날에는 거의 항상 소프트웨어로 구현된다.

인공 신경망의 뉴런은 보통 층으로 배열되며, 정보는 첫 번째 층(입력층)에서 하나 이상의 중간 층(은닉층)을 거쳐 마지막 층(출력층)으로 전달된다.^[3] 각 뉴런에 대한 "신호" 입력은 숫자이며, 구체적으로 이전 층의 연결된 뉴런 출력의 선형 결합이다. 각 뉴런이 출력하는 신호는 해당 활성화 함수에 따라 이 숫자로부터 계산된다. 네트워크의 동작은 뉴런 간 연결의 강도(또는 ''가중치'')에 따라 달라진다. 네트워크는 기존 데이터 세트에 맞추기 위해 경험적 위험 최소화 또는 역전파를 통해 이러한 가중치를 수정하여 훈련된다.^[4]

3. 2. 가중치와 학습

기계 학습에서 신경망은 비선형 함수를 근사하는 데 사용되는 인공 수학적 모델이다. 네트워크의 동작은 뉴런 간 연결의 강도(''가중치'')에 따라 달라진다. 네트워크는 기존 데이터 세트에 맞추기 위해 경험적 위험 최소화 또는 역전파를 통해 이러한 가중치를 수정하여 훈련된다.^[4]

3. 3. 응용 분야

기계 학습에서 신경망은 비선형 함수를 근사하는 데 사용되는 인공 수학적 모델이다. 초기 인공 신경망은 물리적 기계였지만,^[9] 오늘날에는 거의 항상 소프트웨어로 구현된다.

신경망은 인공 지능의 문제를 해결하는 데 사용되며, 따라서 예측 모델링, 적응 제어, 얼굴 인식, 필기 인식, 일반 게임 플레이, 생성형 AI를 포함한 많은 분야에서 응용되고 있다.

4. 역사

현대 신경망의 이론적 기반은 1873년 알렉산더 베인^[5]과 1890년 윌리엄 제임스^[6]에 의해 독립적으로 제안되었다. 이들은 인간의 사고가 뇌 내부의 수많은 뉴런 간 상호작용에서 비롯된다고 주장했다. 1949년 도널드 헵은 신호가 통과할 때마다 시냅스를 강화함으로써 신경망이 시간이 지남에 따라 변화하고 학습할 수 있다는 헵의 학습 규칙을 설명했다.^[7]

인공 신경망은 1930년대부터 연결주의 접근 방식에 따라 생물학적 신경망을 모델링하는 데 사용되었다. 그러나 1943년 워렌 매컬럭과 월터 피츠의 퍼셉트론 발명,^[8] 1957년 프랭크 로젠블랫의 하드웨어 구현^[9] 이후, 인공 신경망은 기계 학습에 응용되며 생물학적 신경망과 점차 달라졌다.

4. 1. 연결주의와 퍼셉트론

현대 신경망의 이론적 기반은 1873년 알렉산더 베인^[5]과 1890년 윌리엄 제임스^[6]에 의해 독립적으로 제안되었다. 이들은 인간의 사고가 뇌 내부의 수많은 뉴런 간 상호작용에서 비롯된다고 주장했다. 1949년 도널드 헵은 신호가 통과할 때마다 시냅스를 강화함으로써 신경망이 시간이 지남에 따라 변화하고 학습할 수 있다는 헵의 학습 규칙을 설명했다.^[7]

1930년대부터 연결주의 접근 방식에 따라 생물학적 신경망을 모델링하는 데 인공 신경망이 사용되었다. 그러나 1943년 워렌 매컬럭과 월터 피츠가 간단한 인공 신경망인 퍼셉트론을 발명하고,^[8] 1957년 프랭크 로젠블랫이 이를 하드웨어로 구현하면서,^[9] 인공 신경망은 기계 학습 응용 프로그램에 점점 더 많이 사용되었고, 생물학적 신경망과는 점차 달라졌다.

4. 2. 인공 신경망의 발전

현대 신경망의 이론적 기반은 1873년 알렉산더 베인^[5]과 1890년 윌리엄 제임스^[6]에 의해 독립적으로 제안되었다. 이들은 인간의 사고가 뇌 내부의 많은 수의 뉴런 간의 상호 작용에서 비롯된다고 주장했다. 1949년, 도널드 헵은 신호가 통과할 때마다 시냅스를 강화함으로써 신경망이 시간이 지남에 따라 변화하고 학습할 수 있다는 아이디어인 헵의 학습 규칙을 설명했다.^[7]

인공 신경망은 1930년대부터 연결주의 접근 방식에 따라 생물학적 신경망을 모델링하는 데 사용되었다. 그러나 1943년 워렌 매컬럭과 월터 피츠가 간단한 인공 신경망인 퍼셉트론을 발명하고,^[8] 1957년 프랭크 로젠블랫이 하드웨어로 구현하면서부터,^[9] 인공 신경망은 기계 학습 응용 프로그램에 점점 더 많이 사용되었고, 생물학적 상대방과 점점 더 달라졌다.

참조

_[1] 논문 How can artificial neural networks approximate the brain? 2022-01-09
_[2] 서적 The Neuron: Cell and Molecular Biology Oxford University Press 2015-08-19
_[3] 서적 Pattern Recognition and Machine Learning Springer 2006-08-17
_[4] 서적 The nature of statistical learning theory Springer 1998
_[5] 서적 Mind and Body: The Theories of Their Relation D. Appleton and Company 1873
_[6] 서적 The Principles of Psychology https://archive.org/[...] H. Holt and Company 1890
_[7] 서적 The Organization of Behavior Wiley & Sons 1949
_[8] 논문 A Logical Calculus of Ideas Immanent in Nervous Activity https://www.bibsonom[...] 1943
_[9] 논문 The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain 1958
_[10] 논문 Neural networks and physical systems with emergent collective computational abilities 1982
_[11] 서적 #추정. 더 많은 정보가 필요합니다.

신경망

1. 개요

더 읽어볼만한 페이지

2. 생물학적 신경망

2. 1. 신경회로

2. 2. 대규모 뇌 네트워크

2. 3. 신경계와 근육 운동

3. 인공 신경망 (기계 학습)

3. 1. 인공 뉴런과 층 구조

3. 2. 가중치와 학습

3. 3. 응용 분야

4. 역사

4. 1. 연결주의와 퍼셉트론

4. 2. 인공 신경망의 발전

참조

관련 사건 타임라인

뇌과학자 정민환 KAIST 교수 “창의성 억지로 못 키워···사고의 폭을 넓혀야”

Arm, 고성능 모바일 그래픽 구현 위한 개발자용 신경망 기술 발표 – 바이라인네트워크

안드레 카파시 “지금은 소프트웨어 3.0의 시대” – 바이라인네트워크

정부, 반도체 미래기술 로드맵 공개…기술 초격차 확보한다 – 바이라인네트워크

사람처럼 번역하는 ‘딥엘’ 한국시장 공략 박차...8월 유료 모델 출시 – 바이라인네트워크

퓨어스토리지 “클라우드·AI 시대 발맞춰 스토리지 혁신 주도” – 바이라인네트워크