장단기 메모리

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
3. 구조
- 3.1. 변형
4. 훈련
5. 응용
참조

1. 개요

장단기 메모리(LSTM)는 1997년 제프 호흐라이터와 위르겐 슈미트후버에 의해 제안된 순환 신경망(RNN)의 한 유형이다. 기울기 소실 문제를 해결하기 위해 개발되었으며, 셀, 입력 게이트, 출력 게이트, 망각 게이트 등의 구조를 갖는다. 자연어 처리, 음성 인식, 시계열 데이터 분석 등 다양한 분야에 응용되며, 구글, 애플, 페이스북 등 주요 기술 기업에서 널리 사용되고 있다.

더 읽어볼만한 페이지

인공신경망 - 인공 뉴런
인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다.
인공신경망 - 퍼셉트론
퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.

장단기 메모리
개요
종류	순환 신경망 아키텍처
고안자	제프 호크라이터와 위르겐 슈미트후버
발표년도	1997년
상세 정보
용도	음성 인식 기계 번역 시계열 예측
특징	장기 의존성 학습에 효과적임
단점	계산 복잡도가 높음

2. 역사

LSTM은 1997년 Sepp Hochreiter와 Jürgen Schmidhuber에 의해 제안되었다^[84]。 기울기 소실 문제를 해결하기 위해 Constant Error Carousel (CEC, 정적 오차 회전 목마) 유닛을 도입했다. 초기 LSTM 블록은 셀, 입력 게이트, 출력 게이트로 구성되었다^[91]。

1999년, Felix Gers와 그의 지도교수인 위르겐 슈미트후버, Fred Cummins는 LSTM 아키텍처에 망각 게이트("유지 게이트"라고도 함)를 도입하여^[90] LSTM이 자체 상태를 재설정할 수 있도록 했다^[91]。 2000년에는 엿보기 구멍(peehole) 결합(셀에서 게이트로의 결합)을 추가하고^[92], 출력 활성화 함수를 삭제했다^[91]。

2014년, 조경현 등은 게이트 순환 유닛(GRU)을 제안했다^[93]。

그 외에도 LSTM은 자연어 텍스트 압축^[94], 분할되지 않은 연결된 필기 문자 인식^[95]에서 신기록을 달성했으며, International Conference on Document Analysis and Recognition|문서 이미지의 분석・인식에 관한 국제 회의|IDCAR^영어 필기 문자 인식 대회(2009년)에서 우승했다. 2013년에는 TIMIT 자연 음성 데이터 세트에서 음소 오류율 17.7%라는 신기록을 달성하는데 기여했다^[96]。

2016년부터 구글(Google), 애플(Apple), 마이크로소프트(Microsoft) 등 주요 기술 기업들은 LSTM을 신제품에 기본 요소로 사용하고 있다^[97]。 구글은 스마트폰 음성 인식^[98]^[99], 스마트 어시스턴트 Allo^[100], 구글 번역(Google 번역)^[101]^[102]에, 애플은 아이폰의 "Quicktype" 기능^[103]^[104]과 Siri^[105]에, 아마존(Amazon.com)은 아마존 알렉사(Amazon Alexa)에 LSTM을 사용한다^[106]。

2017년, 페이스북(Facebook)은 LSTM 네트워크를 사용하여 매일 45억 회의 자동 번역을 실행했다^[107]。 같은 해, 미시간 주립 대학교(미시간 주립 대학교), IBM 기초 연구소(IBM 기초 연구소), 코넬 대학교(코넬 대학교) 연구자들은 KDD(Knowledge Discovery and Data Mining) 회의에서 LSTM 뉴럴 네트워크보다 특정 데이터 세트에서 뛰어난 성능을 보이는 새로운 뉴럴 네트워크에 대한 연구를 발표했다^[108]^[109]^[110]。

또한 2017년, 마이크로소프트는 16만 5천 개의 어휘를 포함하는 Switchboard 코퍼스에서 95.1%의 인식 정확도에 도달했다고 보고했으며, "대화 세션에 기반한 장・단기 기억" 기법을 사용했다고 밝혔다^[111]。

2. 1. 개발

제프 호흐라이터는 1991년 독일어 졸업 논문에서 기울기 소실 문제를 분석하고, 이 문제 해결 방법의 원리를 개발했다.^[61] 그의 지도교수인 위르겐 슈미트후버는 이 논문을 매우 중요하게 여겼다.^[62]

1995년, 제프 호흐라이터와 위르겐 슈미트후버는 LSTM을 기술 보고서로 처음 발표했으며,^[63] 이후 1996년 NIPS 컨퍼런스에서 발표되었다.^[1]

1997년, 호흐라이터와 슈미트후버는 LSTM을 Neural Computation에 정식 논문으로 발표했다.^[64] 이 논문에서 LSTM은 Constant Error Carousel (CEC) 유닛을 도입하여 기울기 소실 문제를 해결하였다. 초기 LSTM 블록은 셀, 입력 게이트, 출력 게이트로 구성되었다.^[65]

1999년, 펠릭스 게르스, 위르겐 슈미트후버, 프레드 커민스는 LSTM 아키텍처에 망각 게이트(forget gate, "유지 게이트"라고도 함)를 도입하여 LSTM이 자체 상태를 재설정할 수 있도록 하였다.^[65]^[66] 이것이 현재 가장 널리 사용되는 LSTM 버전의 기반이 되었다.

2000년, 게르스, 슈미트후버, 커민스는 엿보기 연결(peephole connection)을 추가하고,^[28]^[24] 출력 활성화 함수를 생략하는 등 LSTM 구조를 개선하였다.^[65]

2. 2. 변형 개발

2005년, 그레이브스(Graves)와 슈미트후버(Schmidhuber)는 완전한 시간 경과 역전파 및 양방향 LSTM을 발표했다.^[21]

2014년, 조경현(Kyunghyun Cho) 등은 망각 게이트 LSTM^[66]의 단순화된 변형인 게이트 순환 유닛(GRU)을 발표했다.^[67]

2015년, 루페쉬 쿠마르 스리바스타바(Rupesh Kumar Srivastava) 등은 LSTM 원리^[66]를 사용하여 이전 네트워크보다 훨씬 더 깊은 수백 개의 레이어를 가진 피드포워드 신경망인 하이웨이 네트워크를 만들었다.^[68]^[69]^[70] 이와 동시에 ResNet 아키텍처가 개발되었다. 이는 개방형 또는 게이트리스 하이웨이 네트워크와 동일하다.^[71]

제프 호크라이터가 이끄는 팀(Maximilian et al, 2024)은 xLSTM이라고 불리는 LSTM의 현대적 업그레이드를 발표했다.^[72]^[73] 아키텍처의 2개 블록 중 하나(mLSTM)는 트랜스포머 아키텍처처럼 병렬화가 가능하며, 다른 블록(sLSTM)은 상태 추적을 허용한다.

2. 3. 응용

2001년, 게르스와 슈미트후버는 LSTM을 훈련시켜 은닉 마르코프 모델과 같은 기존 모델로는 학습할 수 없는 언어를 학습하게 했다.^[28]^[75] 2004년, 알렉스 그레이브스 등은 음성 분야에 LSTM을 처음으로 성공적으로 적용했다.^[74]^[75] 2007년, 호흐라이터 등은 생물학 분야에서 단백질 상동성 검출에 LSTM을 적용했다.^[34]

2009년에는 CTC로 훈련된 LSTM이 ICDAR 연결 필기 인식 대회에서 우승했다. 알렉스 그레이브스가 이끄는 팀에서 세 개의 모델을 제출했는데, 그 중 하나는 대회에서 가장 정확한 모델이었고, 다른 하나는 가장 빠른 모델이었다.^[79]^[80] 2013년, 알렉스 그레이브스 등은 LSTM 네트워크를 TIMIT 자연 음성 데이터 세트에서 17.7%의 기록적인 음소 오류율을 달성한 네트워크의 주요 구성 요소로 사용했다.^[23]

2015년, 구글은 음성 인식에 CTC로 훈련된 LSTM을 사용하기 시작했으며, 전사 오류를 49% 줄였다고 발표했다. 2016년, 구글은 Allo 대화 앱에서 메시지를 제안하고, 구글 신경 기계 번역 시스템에 LSTM을 사용하여 번역 오류를 60% 줄였다. 애플은 아이폰의 QuickType 및 Siri에 LSTM을 사용하기 시작했다. 아마존은 Alexa의 음성을 생성하는 Polly에 양방향 LSTM을 사용했다.

2017년, 페이스북은 장단기 메모리 네트워크를 사용하여 매일 약 45억 건의 자동 번역을 수행했다.^[107] 마이크로소프트는 165,000단어의 어휘를 통합하여 Switchboard corpus에서 94.9%의 인식 정확도를 달성했다고 보고했다.

2018년, OpenAI는 정책 기울기에 의해 훈련된 LSTM을 사용하여 복잡한 비디오 게임 도타 2에서 인간을 이기고, 전례 없는 솜씨로 물리적 객체를 조작하는 인간형 로봇 손을 제어했다.^[120]^[121] 2019년, DeepMind는 정책 기울기에 의해 훈련된 LSTM을 사용하여 복잡한 비디오 게임 스타크래프트 II에서 뛰어난 성과를 거두었다.^[122]

3. 구조

LSTM은 기울기 소실 문제를 부분적으로 해결하기 위해 고안된 구조이다. LSTM은 기억해야 할 정보와 잊어야 할 정보를 학습하는 모듈을 추가하여, 네트워크가 시퀀스에서 나중에 필요할 수 있는 정보와 해당 정보가 더 이상 필요하지 않은 시기를 효과적으로 학습하도록 한다.^[14]

일반적인 LSTM 아키텍처는 '''셀'''(LSTM 유닛의 기억 부분)과 '''입력 게이트''', '''출력 게이트''', '''망각 게이트'''라는 3개의 조절기로 구성된다. 이들은 LSTM 유닛 내부의 정보 흐름을 제어한다. "셀"은 입력 배열 내 요소 간의 의존성을 추적한다. "입력 게이트"는 셀로의 새로운 값의 흐름 정도를 제어하고, "망각 게이트"는 셀 내에 값이 유지되는 정도를 제어하며, "출력 게이트"는 셀 내의 값이 LSTM 유닛의 출력 활성화를 계산하는 데 사용되는 정도를 제어한다. LSTM 게이트의 활성화 함수로는 logistic function|로지스틱 함수^영어가 자주 사용된다.

LSTM 게이트와 LSTM 유닛 사이에는 연결이 존재하며, 그 중 일부는 순환 결합(리커런트)을 이룬다. 이러한 연결의 가중치는 훈련 중에 학습되어 게이트의 작동 방식을 결정한다.

여러 LSTM 유닛의 아키텍처가 존재하며, 일부 변형은 이러한 게이트 중 하나 이상을 가지지 않거나 다른 게이트를 가질 수도 있다. 예를 들어 게이트 순환 유닛(GRU)은 출력 게이트가 없다.

LSTM 유닛을 구성하는 요소는 다음과 같다.

$x_t \in \mathbb{R}^{d}$ : LSTM 유닛에 대한 입력 벡터
$f_t \in \mathbb{R}^{h}$ : 망각 게이트 활성화 벡터
$i_t \in \mathbb{R}^{h}$ : 입력 게이트 활성화 벡터
$o_t \in \mathbb{R}^{h}$ : 출력 게이트 활성화 벡터
$h_t \in \mathbb{R}^{h}$ : LSTM 유닛의 출력 게이트라고도 하는 은닉 상태 벡터
$c_t \in \mathbb{R}^{h}$ : 셀 상태 벡터
$W \in \mathbb{R}^{h \times d}$ , $U \in \mathbb{R}^{h \times h}$ , $b \in \mathbb{R}^{h}$ : 학습 중에 학습되어야 하는 가중치 행렬 및 바이어스 벡터의 파라미터

위첨자

d

및

h

는 각각 입력 요소의 수 및 은닉 유닛의 수를 나타낸다.

3. 1. 변형

LSTM의 여러 가지 변형 모델에 대한 연구가 진행되었다.^[65] LSTM은 기본적으로 셀(기억 부분)과 입력 게이트, 출력 게이트, 망각 게이트라는 3개의 조절기로 구성되어 정보 흐름을 제어한다. 하지만 일부 변형 모델은 이러한 게이트 중 일부를 생략하거나 다른 게이트를 추가하기도 한다. 예를 들어, 게이트 순환 유닛(GRU)은 출력 게이트가 없다.

LSTM에서 "셀"은 입력 요소 간의 의존성을 추적하고, "입력 게이트"는 새로운 값이 셀로 들어오는 정도를 조절한다. "망각 게이트"는 셀 안에 값이 얼마나 유지될지를, "출력 게이트"는 셀 안의 값이 출력 활성화 계산에 얼마나 사용될지를 제어한다. LSTM 게이트의 활성화 함수로는 주로 가 사용된다.

LSTM 게이트와 연결되는 부분 중 일부는 순환 연결(리커런트)을 이룬다. 이러한 연결의 가중치는 훈련을 통해 학습되며, 게이트의 작동 방식을 결정한다.

LSTM 유닛의 순방향 경로 방정식은 다음과 같이 간결하게 표현할 수 있다.^[84]^[92]

:

\begin{align}(f_t^T, i_t^T, o_t^T, ci_t^T)^T &= \sigma(W x_t + U h_{t-1} + b) \\c_t &= f_t \circ c_{t-1} + i_t \circ ci_t \\h_t &= o_t \circ \sigma_h(c_t)\end{align}

여기서

c_{t-1}

은 직접 순환하고,

h_{t-1}

은 게이트 셀을 통해 순환한다. 또한 입력과 가중치의 곱은 시간을 넘어 순환 없이 계산할 수 있다(

WX = W \bigl( \begin{smallmatrix} x_0 & x_1 & ... & x_n \end{smallmatrix} \bigr)

로 일괄 계산 가능).

3. 1. 1. 망각 게이트 LSTM (LSTM with a forget gate)

LSTM은 기울기 소실 문제를 부분적으로 해결하지만, 기울기 폭주 문제는 여전히 발생할 수 있다.^[12] LSTM 아키텍처는 기억해야 할 때와 잊어야 할 때를 학습하는 모듈을 추가하여, 필요한 정보를 효과적으로 기억하고 불필요한 정보는 잊도록 설계되었다.^[14] 예를 들어, 자연어 처리에서 문법적 의존성을 학습할 수 있다.^[13]

망각 게이트가 있는 LSTM 셀의 순방향 전달 방정식은 다음과 같다:^[64]^[14]

:

\begin{align}f_t &= \sigma_g(W_{f} x_t + U_{f} h_{t-1} + b_f) \\i_t &= \sigma_g(W_{i} x_t + U_{i} h_{t-1} + b_i) \\o_t &= \sigma_g(W_{o} x_t + U_{o} h_{t-1} + b_o) \\\tilde{c}_t &= \sigma_c(W_{c} x_t + U_{c} h_{t-1} + b_c) \\c_t &= f_t \odot c_{t-1} + i_t \odot \tilde{c}_t \\h_t &= o_t \odot \sigma_h(c_t)\end{align}

여기서 초기 값은

c_0 = 0

,

h_0 = 0

이고,

\odot

는 아다마르 곱 (원소별 곱)을 나타낸다. 아래첨자

t

는 시간 단계를 나타낸다.

위 식은 망각 게이트를 가진 LSTM 유닛의 순방향 경로에 대한 간결한 형태이다.^[84]^[92]

3. 1. 2. 엿보기 구멍 LSTM (Peephole LSTM)

입력( $i$ ), 출력( $o$ ), 망각( $f$ ) 게이트가 있는 엿보기 구멍 LSTM 유닛

엿보기 구멍 연결(Peephole Connection)은 게이트가 셀 상태(cell state)를 참조할 수 있도록 하는 연결이다.^[28]^[24] 이를 통해 게이트는 셀 상태인 CEC/일정 오류 캐러셀에 접근할 수 있다.^[28]

일반적인 LSTM에서 사용되는

h_{t-1}

대신, 엿보기 구멍 LSTM에서는 주로

c_{t-1}

이 사용된다. 엿보기 구멍 LSTM의 각 게이트는 피드포워드 신경망의 뉴런처럼 작동하여 가중 합의 활성화를 계산한다.

i_t

,

o_t

,

f_t

는 각각 시간 단계

t

에서 입력, 출력, 망각 게이트의 활성화를 나타낸다.

메모리 셀

c

에서 각 게이트로 향하는 화살표는 엿보기 구멍 연결을 나타내며, 이는 시간 단계

t-1

에서의 메모리 셀 활성화 값인

c_{t-1}

을 고려한다.

$\times$ 기호가 포함된 작은 원: 입력 간의 요소별 곱셈
''S''자 모양의 곡선이 포함된 큰 원: 가중 합에 시그모이드 함수와 같은 미분 가능한 함수를 적용

엿보기 구멍 LSTM의 수식은 다음과 같다.^[28]^[24]

:

\begin{align}f_t &= \sigma_g(W_{f} x_t + U_{f} c_{t-1} + b_f) \\i_t &= \sigma_g(W_{i} x_t + U_{i} c_{t-1} + b_i) \\o_t &= \sigma_g(W_{o} x_t + U_{o} c_{t-1} + b_o) \\c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} x_t + b_c) \\h_t &= o_t \odot \sigma_h(c_t)\end{align}

3. 1. 3. 엿보기 구멍 합성곱 LSTM (Peephole convolutional LSTM)

엿보기 구멍 합성곱 LSTM^[115]에서

*

는 합성곱 연산자를 나타낸다.

:

\begin{align}f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \circ c_{t-1} + b_f) \\i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \circ c_{t-1} + b_i) \\o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \circ c_{t} + b_o) \\c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\h_t &= o_t \circ \sigma_h(c_t)\end{align}

4. 훈련

LSTM은 경사 하강법과 시간에 따른 역전파를 결합한 최적화 알고리즘을 사용하여 지도 학습 방식으로 훈련될 수 있다. 이는 최적화 과정에서 필요한 기울기를 계산하기 위한 것으로, LSTM 네트워크의 각 가중치를 해당 가중치에 대한 오류(LSTM 네트워크의 출력 계층에서)의 미분에 비례하여 변경하기 위함이다.^[61]^[16]

표준 RNN에 경사 하강법을 사용하는 문제점은 중요한 사건 사이의 시간 지연 크기에 따라 오류 기울기가 기하급수적으로 빠르게 사라지는 것이다. 그러나 LSTM 유닛을 사용하면 오류 값이 출력 계층에서 역전파될 때 오류가 LSTM 유닛의 셀에 남아있게 된다. 이 "오류 캐러셀"은 각 LSTM 유닛의 게이트에 지속적으로 오류를 다시 공급하여 게이트가 값을 차단하는 법을 배울 때까지 유지된다.

다수의 응용 분야에서 LSTM RNN 스택을 사용하며,^[17] 해당 RNN을 연결주의 시간 분류(CTC)^[18]를 통해 훈련시켜 훈련 세트의 레이블 시퀀스에 대한 확률을 최대화하는 RNN 가중치 행렬을 찾는다. 이때, 해당 레이블 시퀀스에 대응하는 입력 시퀀스가 주어집니다. CTC는 정렬과 인식을 동시에 수행한다.

5. 응용

LSTM은 로봇 제어, 시계열 예측, 리듬 학습, 수문 강우-유출 모델링, 음악 작곡, 문법 학습, 인간 행동 인식, 단백질 상동성 감지, 단백질의 세포 내 위치 예측, 의미론적 구문 분석, 객체 공동 분할, 공항 여객 관리, 단기 교통 예측, 약물 설계 등 다양한 분야에 응용된다.

2017년: 마이크로소프트는 165,000단어의 어휘를 통합하여 Switchboard corpus에서 94.9%의 인식 정확도를 달성했다고 보고했다. 이 접근 방식은 "대화 세션 기반 장단기 메모리"를 사용했다.
2018년: OpenAI는 정책 기울기에 의해 훈련된 LSTM을 사용하여 복잡한 비디오 게임 Dota 2에서 인간을 이기고,^[9] 전례 없는 솜씨로 물리적 객체를 조작하는 인간형 로봇 손을 제어했다.^[8]^[75]
2019년: DeepMind는 정책 기울기에 의해 훈련된 LSTM을 사용하여 복잡한 비디오 게임 스타크래프트 II에서 뛰어난 성과를 거두었다.^[10]^[75]

5. 1. 자연어 처리

LSTM은 음성 인식, 기계 번역, 텍스트 생성, 감성 분석 등 다양한 자연어 처리 분야에 응용된다. 특히, 다음과 같은 주요 사례들이 있다.

2015년: 구글은 음성 인식에 연결주의 시간 분류(CTC)로 훈련된 LSTM을 사용하기 시작하여 전사 오류를 49% 줄였다.^[17]
2016년: 구글은 Allo 대화 앱에서 메시지 제안에 LSTM을 사용했다. 또한, 구글 신경 기계 번역 시스템에 LSTM을 도입하여 번역 오류를 60% 줄였다.^[18]
2016년: 애플은 세계 개발자 회의에서 아이폰의 QuickType^[53]^[54]^[55] 및 Siri에 LSTM을 사용할 것이라고 발표했다.
2016년: 아마존은 Polly를 출시하여 텍스트 음성 변환 기술에 양방향 LSTM을 사용, Alexa의 음성을 생성했다.
2017년: 페이스북은 장단기 메모리 네트워크를 사용하여 매일 약 45억 건의 자동 번역을 수행했다.^[118]

5. 2. 시계열 데이터 분석

장단기 메모리(LSTM)는 시계열 예측, 이상 탐지 등 시계열 데이터 분석에 널리 활용된다. 특히, 주가 예측과 같은 금융 분야에서도 활용될 수 있다.

LSTM은 다음과 같은 다양한 분야에서 활용되고 있다.

분야	설명
음성 인식	구글은 2015년부터 음성 인식에 LSTM을 사용하여 전사 오류를 49% 줄였다.^[53]^[54]^[55]
필기 인식
수화 번역
이상 탐지	시계열 데이터에서 이상 징후를 감지한다.
비즈니스 성과 관리

5. 3. 기타

LSTM은 로봇 제어, 시계열 예측, 음성 인식, 리듬 학습, 작곡, 문법 학습, 필기 문자 인식, 인간 행동 인식, 수화 학습 및 번역, 단백질 상동성 검출, 단백질의 세포 내 국소화 예측, 시계열 이상 탐지, 비즈니스 프로세스 관리 분야의 여러 예측 과제, 의료 경로 예측, 의미론적 구문 분석, 객체 공동 분할, 비디오 활동 분류, 시장 예측 등 다양한 분야에 응용된다.^[124]^[125]^[126]^[127]^[128]^[129]^[130]^[131]^[132]^[133]^[134]^[135]^[136]^[137]^[138]^[139]^[140]^[141]^[142]^[143]^[144]^[145]

참조

_[1] 논문 LSTM can solve hard long time lag problems https://dl.acm.org/d[...] MIT Press 1996-12-03
_[2] 논문 LSTM Fully Convolutional Networks for Time Series Classification 2018
_[3] 웹사이트 Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling https://static.googl[...] 2014
_[4] arXiv Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition 2014-10-15
_[5] arXiv Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 2016-09-26
_[6] 웹사이트 Facebook's translations are now powered completely by AI https://www.theverge[...] 2019-02-15
_[7] arXiv The Speed Submission to DIHARD II: Contributions & Lessons Learned 2019-11-06
_[8] 뉴스 Learning Dexterity https://openai.com/r[...] 2023-06-28
_[9] 뉴스 The Science Behind OpenAI Five that just Produced One of the Greatest Breakthrough in the History of AI https://towardsdatas[...] 2019-01-15
_[10] 뉴스 DeepMind's AI, AlphaStar Showcases Significant Progress Towards AGI https://medium.com/m[...] 2019-01-15
_[11] 뉴스 The 2010s: Our Decade of Deep Learning / Outlook on the 2020s https://people.idsia[...] 2022-04-30
_[12] 서적 Deep Learning Architectures Springer Nature 2020-02-14
_[13] 간행물 The emergence of number and syntax units https://pure.uva.nl/[...] Association for Computational Linguistics 2019
_[14] 논문 Learning to Forget: Continual Prediction with LSTM
_[15] 논문 Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
_[16] 서적 A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press 2001
_[17] 논문 Sequence labelling in structured domains with hierarchical recurrent neural networks 2007
_[18] 논문 Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks 2006
_[19] 서적 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems 2006-10
_[20] 논문 Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning https://www.academia[...] 2005
_[21] 논문 Framewise phoneme classification with bidirectional LSTM and other neural network architectures
_[22] 논문 An Application of Recurrent Neural Networks to Discriminative Keyword Spotting http://dl.acm.org/ci[...] Springer-Verlag 2023-12-28
_[23] 간행물 2013 IEEE International Conference on Acoustics, Speech and Signal Processing 2013
_[24] 논문 Learning precise timing with LSTM recurrent networks http://www.jmlr.org/[...]
_[25] 논문 Towards learning universal, regional, and local hydrological behaviors via machine learning applied to large-sample datasets https://hess.coperni[...] 2019-12-17
_[26] 서적 Artificial Neural Networks — ICANN 2002 Springer, Berlin, Heidelberg 2002-08-28
_[27] 논문 Learning nonregular languages: A comparison of simple recurrent networks and LSTM
_[28] 논문 LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages ftp://ftp.idsia.ch/p[...]
_[29] 논문 Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets
_[30] 문서 Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks Vancouver, MIT Press
_[31] 논문 Unconstrained Online Handwriting Recognition with Recurrent Neural Networks http://dl.acm.org/ci[...] Curran Associates Inc. 2023-12-28
_[32] 서적 2nd International Workshop on Human Behavior Understanding (HBU) Springer
_[33] arXiv Video-based Sign Language Recognition without Temporal Segmentation 2018-01-30
_[34] 논문 Fast model-based protein homology detection without alignment
_[35] 논문 Bidirectional Long Short-Term Memory Networks for predicting the subcellular localization of eukaryotic proteins
_[36] 논문 Long Short Term Memory Networks for Anomaly Detection in Time Series https://www.elen.ucl[...] 2015-04
_[37] 서적 Advanced Information Systems Engineering
_[38] 논문 Doctor AI: Predicting Clinical Events via Recurrent Neural Networks http://proceedings.m[...]
_[39] arXiv Data Recombination for Neural Semantic Parsing
_[40] 논문 Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation https://qilin-zhang.[...] 2018-05-22
_[41] conference 2018 25th IEEE International Conference on Image Processing (ICIP) 25th IEEE International Conference on Image Processing (ICIP)
_[42] conference Neural networks trained with WiFi traces to predict airport passenger behavior IEEE 2019
_[43] 논문 LSTM network: A deep learning approach for Short-term traffic forecast 2017
_[44] 논문 Generative Recurrent Networks for De Novo Drug Design.
_[45] 논문 Foreign Exchange Currency Rate Prediction using a GRU-LSTM Hybrid Network 2020-10-26
_[46] 간행물 Automatic excavator action recognition and localisation for untrimmed video using hybrid LSTM-Transformer networks
_[47] 뉴스 The neural networks behind Google Voice transcription http://googleresearc[...] 2017-06-27
_[48] 뉴스 Google voice search: faster and more accurate http://googleresearc[...] 2017-06-27
_[49] 웹사이트 Neon prescription... or rather, New transcription for Google Voice https://googleblog.b[...] 2020-04-25
_[50] 뉴스 Chat Smarter with Allo http://googleresearc[...] 2017-06-27
_[51] 간행물 An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED https://www.wired.co[...] 2017-06-27
_[52] 웹사이트 A Neural Network for Machine Translation, at Production Scale http://ai.googleblog[...] 2020-04-25
_[53] 웹사이트 Apple's Machines Can Learn Too https://www.theinfor[...] 2017-06-27
_[54] 뉴스 iPhone, AI and big data: Here's how Apple plans to protect your privacy https://www.zdnet.co[...] 2017-06-27
_[55] 웹사이트 Can Global Semantic Context Improve Neural Language Models? – Apple https://machinelearn[...] 2020-04-30
_[56] 웹사이트 iOS 10: Siri now works in third-party apps, comes with extra AI features http://bgr.com/2016/[...] 2017-06-27
_[57] 논문 Siri On-Device Deep Learning-Guided Unit Selection Text-to-Speech System http://www.isca-spee[...] ISCA 2017-08-20
_[58] 웹사이트 Bringing the Magic of Amazon AI and Alexa to Apps on AWS. – All Things Distributed http://www.allthings[...] 2017-06-27
_[59] 서적 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) IEEE 2018-04
_[60] 논문 A Focused Backpropagation Algorithm for Temporal Pattern Recognition
_[61] thesis Untersuchungen zu dynamischen neuronalen Netzen http://www.bioinf.jk[...] Technical University Munich, Institute of Computer Science
_[62] arXiv Annotated History of Modern AI and Deep Learning 2022
_[63] 간행물 Q98967430
_[64] 논문 Long short-term memory https://www.research[...]
_[65] 논문 LSTM: A Search Space Odyssey 2015
_[66] 서적 9th International Conference on Artificial Neural Networks: ICANN '99
_[67] arXiv Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 2014
_[68] arXiv Highway Networks 2015-05-02
_[69] 논문 Training Very Deep Networks http://papers.nips.c[...] Curran Associates, Inc. 2015
_[70] 뉴스 The most cited neural networks all build on work done in my labs https://people.idsia[...] 2022-04-30
_[71] 간행물 Deep Residual Learning for Image Recognition https://ieeexplore.i[...] IEEE 2016
_[72] arXiv xLSTM: Extended Long Short-Term Memory 2024-05-07
_[73] 문서 NX-AI/xlstm https://github.com/N[...] NXAI 2024-06-04
_[74] 간행물 Biologically Plausible Speech Recognition with LSTM Neural Nets.
_[75] arXiv Deep Learning: Our Miraculous Year 1990-1991 2021-05-10
_[76] 서적 Artificial Neural Networks — ICANN 2001 http://www.bioinf.jk[...]
_[77] 학술지 Solving Deep Memory POMDPs with Recurrent Policy Gradients https://people.idsia[...] 2005
_[78] 학술지 Evolving memory cell structures for sequence learning 2009
_[79] 학술지 A Novel Connectionist System for Unconstrained Handwriting Recognition 2009-05
_[80] 서적 2009 10th International Conference on Document Analysis and Recognition 2009-07
_[81] 웹사이트 Patient Subtyping via Time-Aware LSTM Networks http://biometrics.cs[...] 2018-11-21
_[82] 웹사이트 Patient Subtyping via Time-Aware LSTM Networks http://www.kdd.org/k[...] 2018-05-24
_[83] 웹사이트 SIGKDD http://www.kdd.org 2018-05-24
_[84] 학술지 Long short-term memory https://www.research[...]
_[85] 서적 On the Computational Power of Neural Nets 1992
_[86] 학술지 A Novel Connectionist System for Improved Unconstrained Handwriting Recognition http://www.idsia.ch/[...]
_[87] 웹사이트 Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling https://static.googl[...] 2019-04-03
_[88] arXiv Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition 2014-10-15
_[89] 뉴스 Quote: These powers make LSTM arguably the most commercial AI achievement, used for everything from predicting diseases to composing music. https://www.bloomber[...] 2018-05-15
_[90] 학술지 Learning to Forget: Continual Prediction with LSTM https://ieeexplore.i[...]
_[91] 학술지 LSTM: A Search Space Odyssey 2015
_[92] 학술지 Learning to Forget: Continual Prediction with LSTM
_[93] arXiv Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 2014
_[94] 웹사이트 The Large Text Compression Benchmark http://www.mattmahon[...] 2017-01-13
_[95] 학술지 A Novel Connectionist System for Unconstrained Handwriting Recognition 2009-05
_[96] arXiv Speech Recognition with Deep Recurrent Neural Networks 2013-03-22
_[97] 학술지 With QuickType, Apple wants to do more than guess your next text. It wants to give you an AI. https://www.wired.co[...] 2016-06-14
_[98] 뉴스 The neural networks behind Google Voice transcription http://googleresearc[...] 2015-08-11
_[99] 뉴스 Google voice search: faster and more accurate http://googleresearc[...] 2015-09-24
_[100] 뉴스 Chat Smarter with Allo http://googleresearc[...] 2016-05-18
_[101] arXiv Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 2016-09-26
_[102] 학술지 An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED https://www.wired.co[...] 2016-09-27
_[103] 웹사이트 Apple's Machines Can Learn Too https://www.theinfor[...] 2016-06-13
_[104] 뉴스 iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet http://www.zdnet.com[...] 2016-06-14
_[105] 웹사이트 iOS 10: Siri now works in third-party apps, comes with extra AI features http://bgr.com/2016/[...] 2016-06-13
_[106] 웹사이트 Bringing the Magic of Amazon AI and Alexa to Apps on AWS. - All Things Distributed http://www.allthings[...] 2016-11-30
_[107] 웹사이트 Facebook's translations are now powered completely by AI https://www.theverge[...] 2017-08-04
_[108] 웹사이트 Patient Subtyping via Time-Aware LSTM Networks http://biometrics.cs[...] 2018-11-21
_[109] 웹사이트 Patient Subtyping via Time-Aware LSTM Networks http://www.kdd.org/k[...] 2018-05-24
_[110] 웹사이트 SIGKDD http://www.kdd.org 2018-05-24
_[111] 웹사이트 Microsoft's speech recognition system is now as good as a human http://newatlas.com/[...] 2017-08-21
_[112] 웹사이트 Why can RNNs with LSTM units also suffer from "exploding gradients"? https://stats.stacke[...] 2018-12-25
_[113] 논문 LSTM: A Search Space Odyssey 2015
_[114] 논문 LSTM recurrent networks learn simple context-free and context-sensitive languages ftp://ftp.idsia.ch/p[...] 2001-11
_[115] 논문 Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
_[116] 문서 Untersuchungen zu dynamischen neuronalen Netzen Institut f. Informatik, Technische Univ. Munich
_[117] 서적 A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press 2001
_[118] 논문 Sequence labelling in structured domains with hierarchical recurrent neural networks 2007
_[119] 논문 Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks 2006
_[120] 뉴스 The Science Behind OpenAI Five that just Produced One of the Greatest Breakthrough in the History of AI https://towardsdatas[...] 2018-07-02
_[121] 뉴스 Learning Dexterity https://blog.openai.[...] 2018-07-30
_[122] 뉴스 DeepMind’s AI, AlphaStar Showcases Significant Progress Towards AGI https://medium.com/m[...] 2019-01-25
_[123] 문서 Unitary Evolution Recurrent Neural Networks
_[124] 서적 A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks 2006-10
_[125] 논문 Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning https://www.academia[...] 2005
_[126] 논문 Framewise phoneme classification with bidirectional LSTM and other neural network architectures
_[127] 서적 An Application of Recurrent Neural Networks to Discriminative Keyword Spotting http://dl.acm.org/ci[...] Springer-Verlag 2007
_[128] 논문 Speech Recognition with Deep Recurrent Neural Networks 2013
_[129] 논문 Learning precise timing with LSTM recurrent networks http://www.jmlr.org/[...]
_[130] 서적 Learning the Long-Term Structure of the Blues Springer, Berlin, Heidelberg 2002-08-28
_[131] 논문 Learning nonregular languages: A comparison of simple recurrent networks and LSTM
_[132] 논문 LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages ftp://ftp.idsia.ch/p[...]
_[133] 논문 Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets
_[134] 문서 Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks
_[135] 서적 Unconstrained Online Handwriting Recognition with Recurrent Neural Networks http://dl.acm.org/ci[...] Curran Associates Inc. 2007
_[136] 문서 Sequential Deep Learning for Human Action Recognition
_[137] 간행물 Video-based Sign Language Recognition without Temporal Segmentation 2018-01-30
_[138] 논문 Fast model-based protein homology detection without alignment
_[139] 논문 Bidirectional Long Short-Term Memory Networks for predicting the subcellular localization of eukaryotic proteins
_[140] 논문 Long Short Term Memory Networks for Anomaly Detection in Time Series https://www.elen.ucl[...] 2015-04
_[141] 서적 Predictive Business Process Monitoring with LSTM neural networks
_[142] 간행물 Doctor AI: Predicting Clinical Events via Recurrent Neural Networks http://proceedings.m[...]
_[143] 논문 "Data Recombination for Neural Semantic Parsing" 2016-06-11
_[144] 간행물 Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation https://qilin-zhang.[...] 2018-05-22
_[145] conference Joint Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation 25th IEEE International Conference on Image Processing (ICIP)
_[146] 저널 Long short-term memory https://www.research[...]

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com