재귀 신경망
1. 개요
재귀 신경망은 트리 구조를 처리하기 위해 설계된 인공 신경망의 한 유형이다. 노드들은 가중치 행렬과 활성화 함수를 사용하여 부모 노드로 결합되며, 자연어 처리, 3D 형태 구조 분석 등에 활용된다. RecCC, 비지도 RNN, 텐서 네트워크 등 다양한 구조가 존재하며, 구조를 통한 역전파(BPTS)를 통해 학습된다. 트리 구조에 대한 보편 근사 능력을 가지며, 순환 신경망, 트리 에코 상태 네트워크, 그래프 신경망 등과 관련이 있다.
이미지 준비중입니다.
| 종류 | 인공 신경망 |
|---|---|
| 분야 | 기계 학습 |
| 구조 | 트리 구조 |
|---|---|
| 처리 방식 | 입력 데이터를 계층적으로 처리 |
| 응용 분야 | 자연어 처리 컴퓨터 비전 프로그래밍 언어 |
| 재귀 (Recursion) | 동일한 연산을 반복적으로 적용하여 복잡한 구조를 분석하고 표현 |
|---|---|
| 트리 구조 (Tree Structure) | 데이터를 계층적으로 표현하여 문장 또는 장면의 구조적 관계를 모델링 |
| 가변 길이 입력 (Variable-Length Input) | 다양한 크기의 입력 데이터를 처리할 수 있도록 설계 |
| 입력 분해 | 입력 데이터를 하위 구성 요소로 분해 |
|---|---|
| 표현 학습 | 각 노드에서 하위 노드의 정보를 집계하여 새로운 표현 학습 |
| 재귀적 적용 | 동일한 신경망 모듈을 재귀적으로 적용 |
| 구조적 정보 활용 | 입력 데이터의 구조적 정보를 효과적으로 활용 |
|---|---|
| 가변 길이 처리 | 다양한 길이의 입력 데이터를 유연하게 처리 |
| 표현 학습 능력 | 데이터의 계층적 특징을 학습하여 더 나은 표현을 생성 |
| 학습 복잡성 | 깊은 트리 구조로 인해 학습이 어려울 수 있음 |
|---|---|
| 연산 비용 | 재귀적 연산으로 인해 연산 비용이 높을 수 있음 |
| 자연어 처리 (Natural Language Processing) | 구문 분석 의미 분석 감성 분석 |
|---|---|
| 컴퓨터 비전 (Computer Vision) | 장면 이해 객체 인식 |
| 프로그래밍 언어 (Programming Language) | 코드 분석 및 생성 |
| 연구 동향 | 트리 구조 신경망 (Tree-structured Neural Networks) 그래프 신경망 (Graph Neural Networks) 어텐션 메커니즘 (Attention Mechanism) |
|---|---|
| 주요 연구자 | 리처드 소처 (Richard Socher) |
| 관련 논문 | 여러 재귀 신경망 관련 논문 존재 |
|---|---|
| 관련 자료 | 온라인 튜토리얼 및 강의 존재 |
-
인공신경망 -
인공 뉴런
인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다. -
인공신경망 -
퍼셉트론
퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다. -
토막글 틀에 과도한 변수를 사용한 문서 -
전향
전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다. -
토막글 틀에 과도한 변수를 사용한 문서 -
포토마스크
포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다. -
토론 이름공간 토막글 -
전향
전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다. -
토론 이름공간 토막글 -
포토마스크
포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다.
2. 구조
재귀 신경망은 트리 구조의 각 노드에서 재귀적으로 동일한 연산을 반복하여 계층적 구조를 처리한다.
2.1. 기본 구조
가장 단순한 구조에서, 노드들은 가중치 행렬(전체 네트워크에서 공유됨)과 tanh영어 쌍곡선 함수와 같은 비선형성을 사용하여 부모 노드로 결합된다. `c1`과 `c2`가 노드의 `n`차원 벡터 표현이라고 하면, 부모 노드 또한 다음과 같이 정의되는 `n`차원 벡터가 된다.
: `p1,2 = tanh(W[c1;c2])`
여기서 `W`는 학습된 `n × 2n` 가중치 행렬이다.
이 구조는 몇 가지 개선을 통해 자연 장면의 구문 분석, 자연어 문장의 구문 분석, 큐보이드 추상화 형태의 3D 형태 구조의 재귀적 자동 인코딩 및 생성 모델링에 성공적으로 사용되었다.
2.2. 재귀 캐스케이드 상관 (RecCC)
RecCC는 화학 분야에 선구적인 응용을 하였고, 유향 비순환 그래프로 확장된, 트리 도메인을 처리하기 위한 구성적 신경망 접근 방식이다.
2.4. 텐서
재귀 신경 텐서 네트워크는 트리 내의 모든 노드에 대해 단일 텐서 기반 합성 함수를 사용한다.
3. 학습
재귀 신경망 학습에는 일반적으로 확률적 경사 하강법(SGD)이 사용된다.
3.1. 구조를 통한 역전파 (BPTS)
일반적으로 확률적 경사 하강법(SGD)이 네트워크 훈련에 사용된다. 경사는 구조를 통한 역전파(BPTS)를 사용하여 계산되는데, 이는 순환 신경망에 사용되는 시간을 통한 역전파의 변형이다.
4. 성질
보편 근사 능력은 문헌에서 트리 구조의 RNN에 대해 증명되었다.
5. 관련 모델
순환 신경망은 선형적인 시퀀스 데이터를 처리하는 반면, 재귀 신경망은 계층적 구조를 처리한다. 순환 신경망은 시간의 선형적 진행에 따라 이전 시간 단계와 숨겨진 표현을 현재 시간 단계의 표현으로 결합한다.