맨위로가기

딥 러닝

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

딥 러닝은 인공 신경망을 기반으로 하는 기계 학습의 한 분야로, 1980년대 네오코그니트론에서 시작되어 여러 번의 발전을 거쳐 현재 다양한 분야에서 활용되고 있다. 심층 신경망, 합성곱 신경망, 순환 신경망 등 다양한 알고리즘을 사용하며, 이미지 인식, 자연어 처리, 음성 인식 등에서 뛰어난 성능을 보이고 있다. 하지만 과적합, 높은 시간 복잡도 등의 문제점과 윤리적인 문제, 편향, 감시와 사생활 침해 등의 비판도 존재한다. 딥 러닝 기술 발전을 위해 다양한 소프트웨어 라이브러리가 개발되어 사용되고 있다.

더 읽어볼만한 페이지

  • 신경망 - 환각 (인공지능)
    인공지능 환각은 인공지능이 사실이 아닌 정보를 사실처럼 생성하는 현상으로, 대규모 언어 모델의 부정확한 정보 생성 문제를 설명하기 위해 사용되며, 데이터 불일치, 모델 오류, 훈련 데이터 부족 등이 원인으로 발생하여 다양한 완화 기술이 연구되고 있다.
  • 신경망 - 신경가소성
    신경가소성은 뇌의 구조와 기능이 경험, 학습, 손상에 따라 변화하는 능력이며, 시냅스 가소성, 구조적 가소성으로 나뉘어 뇌졸중, 학습 장애 등의 치료와 재활, 명상, 예술 활동 등 다양한 분야에 응용된다.
  • 딥 러닝 - 질의 응답
    질의응답 시스템은 자연어 질문을 이해하고 답변을 생성하며, 질문 유형과 사용 기술에 따라 분류되고, 읽기 이해 기반 또는 사전 지식 기반으로 작동하며, 대규모 언어 모델과 다양한 아키텍처 발전에 힘입어 복잡한 질문에 대한 답변과 다양한 분야에 활용이 가능해졌다.
  • 딥 러닝 - 딥페이크
    딥페이크는 인공지능 기술을 활용하여 영상이나 이미지를 조작, 합성하여 실제와 구별하기 어렵게 만드는 기술이며, 가짜 뉴스, 명예훼손, 신원 위장 등 다양한 문제점을 야기한다.
  • 인공신경망 - 인공 뉴런
    인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다.
  • 인공신경망 - 퍼셉트론
    퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.
딥 러닝
개요
종류기계 학습의 한 분야
설명복수의 층(layer)을 가진 인공신경망을 사용하여 데이터를 학습하는 방법
역사
발전 배경1980년대: 제프리 힌턴 교수에 의해 제안
2006년: 획기적인 학습 알고리즘 발표로 재조명
2012년: 이미지넷 대회에서 우승하며 주목받기 시작
활용 분야
이미지 인식이미지넷 분류 대회
음성 인식알파고
자연어 처리챗GPT
특징
장점복잡한 비선형 관계 학습 가능
특징 추출 자동화
단점많은 양의 데이터 필요
높은 계산 비용
블랙 박스 문제
신경망과의 비교
차이점층의 깊이
학습 방법
관련 연구
연구 동향신경망과 뇌의 비교 연구
참고 자료
서적딥 러닝(Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville)
관련 학회NIPS
ICML
관련 기술
기술 요소오토인코더
합성곱 신경망
순환 신경망
장단기 메모리
생성적 적대 신경망

2. 역사

인공 신경망(ANN, artificial neural networks)에 기반한 딥 러닝 구조는 1980년 후쿠시마 구니히코가 소개한 네오코그니트론[376]까지 거슬러 올라간다. 1943년 맥컬럭-월터 피츠가 ANN의 가능성을 처음으로 주장했고, 1957년 프랑크 로젠블랫이 퍼셉트론을 통해 이를 실증했다. 그러나 당시 성능 문제로 묻혔다가, 1995년 제프리 힌튼이 오류역전파 알고리즘을 이용하여 ANN을 부활시켰다.[377]

후쿠시마 구니히코는 네오코그니트론을 통해 자기 조직화 기능을 갖춘 패턴 인식 능력을 획득하는 모델을 제시했다. 이는 합성곱 신경망(CNN)과 유사하며, 손글씨 데이터베이스로부터 자기 학습을 통해 손글씨 인식 능력을 획득하는 것을 실증했다. 하지만 당시에는 컴퓨터 성능 부족으로 소프트웨어 검증이 어려웠고, 회로 소자를 연결하여 구현 및 검증이 이루어졌다.

1989년 얀 르쿤과 그의 동료들은 오류역전파 알고리즘[377]에 기반하여 손으로 쓰여진 우편번호를 인식하는 심층 신경망을 소개했다.[378] 이 알고리즘은 성공적이었지만, 학습 시간이 오래 걸려(10개의 숫자를 인식하는 데 약 3일) 비현실적이라는 평가를 받았다.

느린 속도의 원인 중 하나는 1991년 Sepp Hochreiter에 의해 분석된 vanishing gradient problem(지역최솟값에 머무르게 되는 원인)이었다.[379][380] 또한 불연속 시뮬레이션에서 초기 상태 선택 문제, 과적합 문제, 생물학적 신경망과의 차이 등의 문제로 인해 인공신경망은 관심에서 멀어졌고, 1990년대와 2000년대에는 서포트 벡터 머신 같은 기법들이 각광받았다.

2000년대 제프리 힌튼[381]과 Ruslan Salakhutdinov는 딥 러닝이라는 용어를 사용하며, 기존 신경망의 과적합 문제를 해결하기 위해 unsupervised RBM(restricted Boltzmann machine)을 통해 앞먹임 신경망(Feedforward Neural Network)의 각 층을 사전훈련(pre-trainning)하여 과적합을 방지하고, supervised backpropagation[382]를 사용하는 형태로 학습을 진행했다. 2013년에는 Drop-out[383] 개념이 소개되어 과적합을 방지할 수 있게 되었다.

2. 1. 전사

인공 신경망의 구성 요소인 퍼셉트론은 1957년 프랭크 로젠블랫에 의해 고안되었다.[35] 그러나 당시 컴퓨터 성능 부족과 단순 퍼셉트론의 한계로 인해 큰 발전을 이루지 못했다. 특히, 2층 퍼셉트론으로는 배타적 논리합 문제를 해결할 수 없다는 점이 큰 문제였다.

1980년대에 들어 역전파 알고리즘이 개발되면서 다층 퍼셉트론 학습이 가능해졌다.[377] 1989년 얀 르쿤과 그의 동료들은 오류역전파 알고리즘[377]에 기반하여 손으로 쓰여진 우편번호를 인식하는 심층 신경망(deep neural networks)을 소개했다.[378] 그러나 신경망 학습에 소요되는 시간이 너무 길어 (10개의 숫자를 인식하는데 3일) 실용적이지 못했다.[378]

이러한 문제점은 vanishing gradient problem[379][380], 과적합(Overfitting) 문제[382] 등 여러 요인에 의해 발생했으며, 이로 인해 1990년대 후반 인공신경망 연구는 침체기를 겪게 되었고, 서포트 벡터 머신과 같은 다른 기법들이 각광받았다.[308]

하지만 2000년대에 들어 제프리 힌튼[381]과 Ruslan Salakhutdinov는 기존 신경망의 과적합 문제를 해결하기 위해 비지도 학습 방식인 RBM(restricted Boltzmann machine)을 통해 각 층을 사전 훈련(pre-training)하는 방법을 제안했다.[382] 또한 2013년에는 ICASSP에서 RBM을 대체하여 과적합을 방지할 수 있는 Drop-out[383] 개념이 소개되면서 딥 러닝 연구는 다시 활기를 띠게 되었다.

2. 2. 초기 연구

인공신경망(ANN, artificial neural networks)에 기반하여 설계된 딥 러닝 구조는 1980년 후쿠시마 구니히코가 소개한 네오코그니트론[376]까지 거슬러 올라간다.[311][312] 1943년 맥컬럭-월터 피츠가 ANN의 가능성을 처음으로 주장했고, 1957년 프랑크 로젠블랫이 퍼셉트론을 통해 이를 실증했다. 그러나 당시 성능 문제로 묻혔다가, 1995년 제프리 힌튼이 오류역전파 알고리즘을 이용하여 ANN을 부활시켰다.[377]

후쿠시마 구니히코는 네오코그니트론을 통해 자기 조직화 기능을 갖춘 패턴 인식 능력을 획득하는 모델을 제시했다.[309][310] 이는 합성곱 신경망(CNN)과 유사하며, 손글씨 데이터베이스로부터 자기 학습을 통해 손글씨 인식 능력을 획득하는 것을 실증했다. 하지만 당시에는 컴퓨터 성능 부족으로 소프트웨어 검증이 어려웠고, 회로 소자를 연결하여 구현 및 검증이 이루어졌다.

1989년 얀 르쿤과 그의 동료들은 오류역전파 알고리즘[377]에 기반하여 손으로 쓰여진 우편번호를 인식하는 심층 신경망을 소개했다.[378] 이 알고리즘은 성공적이었지만, 학습 시간이 오래 걸려(10개의 숫자를 인식하는 데 약 3일) 비현실적이라는 평가를 받았다. 1998년에는 합성곱 신경망의 직계 조상이라 할 수 있는 LeNet-5가 제안되었다.[313]

느린 속도의 원인 중 하나는 1991년 Sepp Hochreiter에 의해 분석된 vanishing gradient problem(지역최솟값에 머무르게 되는 원인)이었다.[379][380] 또한 불연속 시뮬레이션에서 초기 상태 선택 문제, 과적합 문제, 생물학적 신경망과의 차이 등의 문제로 인해 인공신경망은 관심에서 멀어졌고, 1990년대와 2000년대에는 서포트 벡터 머신 같은 기법들이 각광받았다.

2000년대 제프리 힌튼[381]과 Ruslan Salakhutdinov는 딥 러닝이라는 용어를 사용하며, 기존 신경망의 과적합 문제를 해결하기 위해 unsupervised RBM(restricted Boltzmann machine)을 통해 앞먹임 신경망(Feedforward Neural Network)의 각 층을 사전훈련(pre-trainning)하여 과적합을 방지하고, supervised backpropagation[382]를 사용하는 형태로 학습을 진행했다. 2013년에는 Drop-out[383] 개념이 소개되어 과적합을 방지할 수 있게 되었다.

2. 3. 다층 뉴럴 네트워크의 실현 (2006-2012년)

2000년대 중반, 제프리 힌튼(Geoffrey Hinton) 등의 연구팀이 제한 볼츠만 머신을 이용한 오토인코더(자기 부호화기)의 심층화에 성공[315]하면서 딥 러닝 연구가 다시 활기를 띠게 되었다.[314] 이들은 기존 신경망의 과적합 문제를 해결하기 위해 비지도학습 RBM(restricted Boltzmann machine)을 통해 각 층을 사전훈련(pre-trainning)하여 과적합을 방지하고, 이를 다시 지도학습 역전파를 사용하는 형태로 학습을 진행했다.[382] 2013년에는 ICASSP에서 RBM을 대체하여 과적합을 방지할 수 있는 Drop-out[383]이라는 개념이 소개되면서 사전훈련보다 더 간단하고 강력한 형태로 과적합을 방지할 수 있게 되었다.

딥 러닝이 머신러닝의 하위 집합이고 머신러닝이 인공지능(AI)의 하위 집합인 방법


딥 러닝이 부활하게 된 배경에는 하드웨어, 특히 GPU의 발전으로 복잡한 행렬 연산 시간이 단축된 점과, 빅 데이터, 특히 SNS 사용자들에 의해 생산되는 다량의 자료와 태그 정보들을 수집하고 분석하여 학습에 이용할 수 있게 된 점이 크게 작용했다.

딥 러닝의 부활 이후 자동 음성 인식(ASR, automatic speech recognition)과 컴퓨터 비전 분야에서 괄목할만한 성능 향상이 이루어졌으며, 특히 свёрточные нейронные сети(Convolution Neural Networks, CNN) 기반의 딥 러닝 알고리즘이 뛰어난 성능을 보이고 있다.

2006년, 제프 힌턴, 루슬란 살라후디노프, 오신데로, 그리고 테[97][98]의 연구 결과를 통해 생성 모델링을 위한 심층 신뢰망이 개발되었다.[99]

2012년, ILSVRC에서 제프리 힌턴 팀의 알렉스넷이 기존 방법들을 압도하는 성능을 보여주면서 딥 러닝의 획기적인 발전을 이끌었다.[4] 이후 ILSVRC에서는 매년 상위권을 딥러닝을 사용한 팀이 차지하게 되었고, 오류율은 2014년 시점에 5% 정도로 개선되었다.[316]

요슈아 벤지오, 제프리 힌턴 및 얀 르쿤은 "심층 신경망을 컴퓨팅의 중요한 구성 요소로 만든 개념적 및 엔지니어링적 돌파구"에 대한 공로로 2018년 튜링상을 수상했다.[142]

2. 4. 학습 모델의 복잡화 및 수학적 추상화 시대 (2012년 이후)

컴퓨터 하드웨어 성능의 급격한 발전, 인터넷 보급에 따른 데이터 수집 용이성, CPU보다 단순 연산의 병렬 처리에 뛰어난 GPU의 발전[317], 그리고 이러한 계산 자원의 확장을 기반으로 이미지 처리 분야에서 딥 러닝의 유용성이 인지된 2012년 무렵부터 딥러닝 연구가 급속히 활발해졌다.[317] 2010년대 이후, 기계 학습 알고리즘과 컴퓨터 하드웨어의 발전으로 인해 여러 비선형 은닉 유닛과 매우 큰 출력층을 포함하는 심층 신경망을 훈련하는 더욱 효율적인 방법들이 등장했다.[167]

딥 러닝 혁명은 CNN 및 GPU 기반 컴퓨터 비전을 중심으로 시작되었다.[112] [113] 2009년에 Raina, Madhavan, 그리고 앤드류 응은 30개의 Nvidia 지포스 GTX 280 GPU에서 훈련된 1억 개의 매개변수를 가진 심층 신뢰 신경망을 보고했는데, 이는 GPU 기반 딥 러닝의 초기 시연이었다. 그들은 최대 70배 빠른 훈련을 보고했다.[115] 2012년에 앤드류 응과 제프 딘은 유튜브 비디오에서 가져온 라벨이 지정되지 않은 이미지를 보는 것만으로 고양이와 같은 고차원 개념을 인식하는 FNN을 만들었다.[120]

2012년 10월, 알렉스 크리제브스키, 일리야 수츠케버, 그리고 제프리 힌턴[4]의 알렉스넷이 기존의 얕은 머신 러닝 방법보다 훨씬 큰 차이로 대규모 이미지넷 대회에서 우승했다. 그 후 VGG-16 네트워크와 구글의 Inceptionv3[122] 등 점진적인 개선이 이루어졌다. 이미지 분류에서의 성공은 그 후 이미지에 대한 설명(캡션)을 생성하는(자동 이미지 주석) 더 어려운 작업으로 확장되었는데, 이는 종종 CNN과 LSTM의 조합으로 이루어졌다.[123][124][125]

2015년에 구글의 음성 인식은 LSTM 기반 모델에 의해 49% 향상되었으며, 이는 스마트폰의 구글 음성 검색을 통해 제공되었다.[136][137] 딥 러닝은 특히 컴퓨터 비전과 자동 음성 인식(ASR) 분야에서 최첨단 시스템의 일부이다. TIMIT(ASR) 및 MNIST(이미지 분류)와 같은 일반적으로 사용되는 평가 세트와 다양한 대규모 어휘 음성 인식 작업의 결과는 꾸준히 개선되었다.[104][138]

생성적 적대 신경망(GAN)은 (이안 굿펠로우 외, 2014)[131] 2014년~2018년 기간 동안 생성 모델링에서 최첨단 기술이 되었다. 엔비디아의 StyleGAN(2018)[132]은 뛰어난 이미지 품질을 달성했다. GAN에 의한 이미지 생성은 대중적인 성공을 거두었고, 딥페이크에 대한 논의를 불러일으켰다.[134] 확산 모델(2015)[135]은 그 이후로 DALL·E 2(2022) 및 스테이블 디퓨전(2022)과 같은 시스템을 통해 생성 모델링에서 GAN을 능가했다.

요슈아 벤지오, 제프리 힌턴 및 얀 르쿤은 "심층 신경망을 컴퓨팅의 중요한 구성 요소로 만든 개념적 및 엔지니어링적 돌파구"에 대한 공로로 2018년 튜링상을 수상했다.[142]

2019년까지는, 종종 AI 특화 개선 사항이 적용된 그래픽 처리 장치(GPU)가 대규모 상용 클라우드 AI 훈련의 주요 방법으로 CPU를 대체했다.[168] 오픈AI는 AlexNet(2012)부터 AlphaZero(2017)까지 가장 큰 딥러닝 프로젝트에서 사용된 하드웨어 연산량을 추정하여 필요한 연산량이 30만 배 증가했으며, 두 배가 되는 데 걸리는 시간이 3.4개월이라는 추세선을 발견했다.[169][170]

이후 다양한 앱에 인공지능이 통합되어 사용자에게 최적의 답변을 제공할 수 있게 되었다. 2016년, 구글 번역은 딥러닝을 이용하여 기존의 통계적 번역에서 거의 인간 수준의 번역으로 변모하였다.[318] 2022년에는 Stable Diffusion 등에서의 딥러닝 활용이 Pixiv와 같은 이미지 게시 사이트를 변혁시켰고,[320] 딥러닝을 이용한 ChatGPT 등이 세계에 혁명을 가져왔다.[321]

3. 주요 알고리즘

딥 러닝은 다양한 종류의 심층 신경망 구조를 기반으로 하며, 대부분은 몇 가지 대표적인 구조에서 파생된다. 그렇지만 여러 종류의 구조들의 성능을 동시에 비교하는 것이 항상 가능한 것은 아닌데, 그 이유는 특정 구조들의 경우 주어진 데이터 집합에 적합하도록 구현되지 않은 경우도 있기 때문이다.[146]


  • '''인공 신경망(ANN, Artificial Neural Networks)''' 또는 '''결합주의 시스템'''은 동물의 뇌를 구성하는 생물학적 신경망에서 영감을 받은 컴퓨팅 시스템이다.
  • '''심층 신경망''' (Deep Neural Network, DNN)은 입력층과 출력층 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.[384][385]
  • '''합성곱 신경망(Convolutional Neural Networks: CNN)'''은 완전 연결되지 않은 순전파형 신경망의 한 종류이다.
  • '''순환 신경망(Recurrent Neural Network, RNN)'''은 인공신경망을 구성하는 유닛 사이의 연결이 순환 구조를 이루는 신경망이다.[395]
  • '''제한 볼츠만 머신'''(Restricted Boltzmann Machine, RBM)은 볼츠만 머신에서 층간 연결을 제거한 모델이다.
  • '''심층 신뢰 신경망'''(Deep Belief Network, DBN)이란 기계학습에서 사용되는 그래프 생성 모형(generative graphical model)으로, 딥 러닝에서는 잠재변수(latent variable)의 다중계층으로 이루어진 심층 신경망을 의미한다.
  • '''오토인코더'''(Autoencoder)는 입력을 저차원의 잠재 공간으로 압축했다가 다시 복원하는 신경망으로, 비지도 학습에 사용된다.
  • '''적대적 생성 신경망(Generative Adversarial Network, GAN)'''은 두 개의 신경망이 서로 상반된 목적을 가지고 경쟁하며 학습하는 네트워크 모델이다.
  • '''트랜스포머'''는 셀프 어텐션(Self-Attention, 자기 주의) 메커니즘을 이용한 모델이다.[355]
  • '''MLP-Mixer'''는 기존의 신경망과 달리, 본래 딥 러닝에는 사용되지 않을 것으로 여겨졌던 순수한 다층 퍼셉트론(MLP)만으로 구성된 영상 인식 모델이다.[356]

3. 1. 심층 신경망 (Deep Neural Network, DNN)

심층 신경망(Deep Neural Network, DNN)은 입력층과 출력층 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.[384][385] 심층 신경망은 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있으며, 비슷한 성능을 가진 얕은 인공신경망에 비해 더 적은 수의 유닛(unit, node)들 만으로도 복잡한 데이터를 모델링할 수 있게 해준다.[384][7] 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다.[386] 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다.

신경망에는 여러 유형이 있지만, 항상 뉴런, 시냅스, 가중치, 편향 및 함수라는 동일한 구성 요소로 이루어져 있다.[145] 이러한 구성 요소는 전체적으로 인간 뇌의 기능을 모방하는 방식으로 작동하며, 다른 어떤 기계 학습 알고리즘처럼 훈련될 수 있다.

DNN은 복잡한 비선형 관계를 모델링할 수 있다. DNN 아키텍처는 객체가 기본 자료형의 계층적 구성으로 표현되는 구성 모델을 생성한다.[147] 추가 층은 하위 층의 특징을 구성하여 유사한 성능을 가진 얕은 네트워크보다 적은 단위로 복잡한 데이터를 모델링할 수 있다.[7]

심층 아키텍처에는 몇 가지 기본적인 접근 방식의 많은 변형이 포함된다. 각 아키텍처는 특정 영역에서 성공을 거두었다. 동일한 데이터 세트에서 평가되지 않는 한 여러 아키텍처의 성능을 비교하는 것은 항상 가능한 것은 아니다.[146]

이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망(Recurrent Neural Network, RNN)에 성공적으로 적용했다. 일례로 언어 모델링(language modeling) 분야에 심층 신경망 구조를 적용한 사례 등이 있다[387][150][197][151][152][153] 합성곱 신경망(Convolutional Neural Network, CNN)의 경우에는 컴퓨터 비전(computer vision) 분야에서 잘 적용되었을 뿐만 아니라,[388][156] 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다. 더욱 최근에는 합성곱 신경망이 자동음성인식(Automatic Speech Recognition, ASR)을 위한 음향 모델링(acoustic modeling) 분야에 적용되었으며, 기존의 모델들보다 더욱 성공적으로 적용되었다는 평가를 받고 있다.[389][157]

심층 신경망은 확률 과정의 엔트로피를 추정하는 데 사용될 수 있으며, 신경망 결합 엔트로피 추정기(NJEE)라고 불린다.[229] 이러한 추정은 입력 확률 변수가 독립적인 확률 변수에 미치는 영향에 대한 통찰력을 제공한다. NJEE는 보편 근사 정리의 조건이 성립하도록 연속적으로 미분 가능한 활성화 함수를 사용한다. 이 방법은 강한 일치 추정량을 제공하며, 큰 알파벳 크기의 경우 다른 방법보다 성능이 뛰어나다는 것이 입증되었다.[229]

심층 신경망은 표준 오류역전파 알고리즘으로 학습될 수 있다. 이때, 가중치(weight)들은 아래의 등식을 이용한 확률적 경사 하강법(stochastic gradient descent)을 통하여 갱신될 수 있다.

: \Delta w_{ij}(t + 1) = \Delta w_{ij}(t) + \eta\frac{\partial C}{\partial w_{ij}}

여기서, \eta 는 학습률(learning rate)을 의미하며, C 는 비용함수(cost function)를 의미한다. 비용함수의 선택은 학습의 형태(지도 학습, 자율 학습 (기계 학습), 강화 학습 등)와 활성화함수(activation function)같은 요인들에 의해서 결정된다. 예를 들면, 다종 분류 문제(multiclass classification problem)에 지도 학습을 수행할 때, 일반적으로 활성화함수와 비용함수는 각각 softmax 함수와 교차 엔트로피 함수(cross entropy function)로 결정된다. softmax 함수는 p_j = \frac{\exp(x_j)}{\sum_k \exp(x_k)} 로 정의된다, 이때, p_j 는 클래스 확률(class probability)을 나타내며, x_j 와 x_k 는 각각 유닛 j 로의 전체 입력(total input)과 유닛 k 로의 전체 입력을 나타낸다. 교차 엔트로피는 C = -\sum_j d_j \log(p_j) 로 정의된다, 이때, d_j 는 출력 유닛 j 에 대한 목표 확률(target probability)을 나타내며, p_j 는 해당 활성화함수를 적용한 이후의 j 에 대한 확률 출력(probability output)이다.[390]

3. 2. 합성곱 신경망 (Convolutional Neural Network, CNN)



합성곱 신경망(Convolutional Neural Network, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다.[394] CNN은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.[394]

최근 딥 러닝에서는 합성곱 심층 신뢰 신경망 (Convolutional Deep Belief Network, CDBN) 가 개발되었는데, 기존 CNN과 구조적으로 매우 비슷해서, 그림의 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰 신경망 (Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. CDBN은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR[394]와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.

합성곱 신경망(Convolutional Neural Networks: CNN)은 완전 연결되지 않은 순전파형 신경망의 한 종류이다. 특히 2차원 합성곱 신경망은 인간의 시각 피질 뉴런의 연결과 유사한 신경망이며, 인간의 인지와 유사한 학습이 이루어질 것으로 기대된다. 연결이 희소(sparse)하기 때문에 완전 연결된 신경망에 비해 학습이 빠르다.

1979년에 후쿠시마 쿠니히코(福島邦彦)가 발표한 네오코그니트론(ネオコグニトロン)에서 발전하여, 1988년에 Homma Toshiteru 등이 음소 인식에[351], 1989년에 Yann LeCun 등이 문자 이미지 인식에 사용하였고[352][353], 1998년에 LeCun 등이 발표한 LeNet-5로 이어졌으며, 2012년 ILSVRC에서 물체 범주 인식으로 우승한 알렉스넷(AlexNet)도 심층 합성곱 신경망이다[354]. 네오코그니트론 시대부터 심층이었지만, 최근에는 심층임을 강조하기 위해 심층이라는 말이 앞에 붙어 심층 합성곱 신경망이라고 불리기도 한다. 자연어 처리에 대한 응용도 시작되었다.

3. 3. 순환 신경망 (Recurrent Neural Network, RNN)

순환 신경망은 인공신경망을 구성하는 유닛 사이의 연결이 순환 구조를 이루는 신경망이다.[395] 신경망 내부의 메모리를 활용하여 임의의 입력을 처리할 수 있으며, 필기체 인식과 같은 분야에서 높은 인식률을 보인다.[395] 완전 순환망(Fully Recurrent Network), 홉필드 네트워크(Hopfield Network), Elman Network, Echo state network(ESN), LSTM 등이 대표적인 순환 신경망 구조이다.[395] 경사 하강법등의 방식이 순환 신경망 훈련에 쓰인다. 하지만 순환 신경망은 많은 수의 뉴런 유닛이나 많은 수의 입력 유닛이 있는 경우에 훈련이 쉽지 않은 스케일링 이슈를 가지고있다.

순환 신경망은 방향성 순환을 가지며, 이전의 입력에 따라 변화하는 상태를 유지한다. 동영상, 음성, 언어 등 입력 데이터의 순서에 따라 출력이 달라지는 경우에 효과적이다. 1980년대부터 연구가 시작되어 1982년에 발표된 홉필드 네트워크가 초기 연구에 해당하며, 1997년에는 S. Hochreiter와 J. Schmidhuber가 LSTM 네트워크를 발표했다.

3. 4. 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM)

제한 볼츠만 머신(Restricted Boltzmann Machine, RBM)은 볼츠만 머신에서 층간 연결을 제거한 모델이다. 층간 연결이 없기 때문에, 가시 유닛(Visible Unit)과 은닉 유닛(Hidden Unit)으로 구성된 무방향 이분 그래프 형태를 가진다. 이러한 구조 덕분에 뉴럴 네트워크는 깊어질 수 있었다.

RBM은 확률 모델의 계산이 불가능하기 때문에, 학습 시 근사법인 MCMC나 제프리 힌튼 교수가 발견한 CD(Contrastive Divergence)를 사용한다. RBM의 단순한 구조는 추론에 이점을 제공하여 샘플링 기반 학습법이 실용적인 문제에 적용되는데 기여했다.

RBM은 심층 신뢰 신경망(DBN)의 기본 구성 요소가 된다. RBM을 쌓아 올리고, Greedy하게 학습함으로써 DBN을 완성한다. 제프리 힌튼의 제자인 Teh, Y. W의 연구에 따르면, RBM을 쌓으면 다층 RBM이 되는 것이 아니라, DBN과 비슷해진다는 사실이 밝혀졌다. 이 발견은 DBN 학습을 여러 개의 RBM 학습으로 환원시켜 학습 복잡도를 낮추었고, 선행학습(Pre-training)과 미세조정(fine-tuning)이라는 새로운 학습 패러다임으로 발전하게 되었다.

RBM 훈련 과정에서 가중치 갱신은 경사 하강법을 통해 이루어지며, 다음 식으로 표현된다.

: \Delta w_{ij}(t+1) = w_{ij}(t) + \eta\frac{\partial \log(p(v))}{\partial w_{ij}}

여기서 p(v)는 가시 벡터의 확률을 나타내고, Z 는 정규화를 위한 분배함수, E(v,h)는 신경망의 상태에 부여되는 에너지 함수이다. 에너지가 낮을수록 해당 신경망이 더 적합한 상태임을 의미한다. 기울기 \frac{\partial \log(p(v))}{\partial w_{ij}}는 \langle v_ih_j\rangle_\text{data} - \langle v_ih_j\rangle_\text{model}로 표현되는데, 여기서 \langle\cdots\rangle_p는 분포 p에 관한 평균을 의미한다. CD에서는 alternating Gibbs sampling을 n 회만 반복하여 \langle v_ih_j\rangle_\text{model}를 샘플링한다. (n = 1 일 경우에도 충분한 성능이 나온다고 알려져 있다).

CD 수행 과정은 다음과 같다:

# 가시 유닛들을 훈련 벡터로 초기화한다.

# 가시 유닛들이 주어지면 은닉 유닛들을 갱신한다: p(h_j = 1 \mid \textbf{V}) = \sigma(b_j + \sum_i v_iw_{ij}). \sigma는 시그모이드 함수, b_j는 h_j의 편향이다.

# 은닉 유닛들이 주어지면 가시 유닛들을 갱신한다: p(v_i = 1 \mid \textbf{H}) = \sigma(a_i + \sum_j h_jw_{ij}). a_i는 v_i의 편향이다. ("복원(reconstruction)"이라고 부른다.)

# 복원된 가시 유닛들이 주어지면 은닉 유닛들을 다시 갱신한다.

# 가중치를 갱신한다: \Delta w_{ij} \propto \langle v_ih_j\rangle_\text{data} - \langle v_ih_j\rangle_\text{reconstruction}.

3. 5. 심층 신뢰 신경망 (Deep Belief Network, DBN)

심층 신뢰 신경망(Deep Belief Network, DBN)이란 기계학습에서 사용되는 그래프 생성 모형(generative graphical model)으로, 딥 러닝에서는 잠재변수(latent variable)의 다중계층으로 이루어진 심층 신경망을 의미한다. 계층 간에는 연결이 있지만 계층 내의 유닛 간에는 연결이 없다는 특징이 있다.

DBN은 생성 모형이라는 특성상 선행학습에 사용될 수 있고, 선행학습을 통해 초기 가중치를 학습한 후 역전파 혹은 다른 판별 알고리즘을 통해 가중치의 미조정을 할 수 있다. 이러한 특성은 훈련용 데이터가 적을 때 굉장히 유용한데, 이는 훈련용 데이터가 적을수록 가중치의 초기값이 결과적인 모델에 끼치는 영향이 세지기 때문이다. 선행학습된 가중치 초기값은 임의로 설정된 가중치 초기값에 비해 최적의 가중치에 가깝게 되고 이는 미조정 단계의 성능과 속도향상을 가능케 한다.

DBN은 비지도 방식으로 계층마다 학습을 진행하는데 이때 각각의 계층은 보통 RBM의 형태를 띄고 있다. RBM은 에너지 기반의 생성 모형으로 가시 유닛과 은닉 유닛으로 이루어진 무방향 이분 그래프 형태이다. 가시 유닛들과 은닉 유닛들 사이에만 연결이 존재한다.

실험결과에 따르면, CD의 최대가능도 근사가 굉장히 투박함에도 불구하고, 심층 신경망 구조를 학습하기에는 충분히 효과적인 방식이라고 한다.

3. 6. 오토인코더 (Autoencoder)

오토인코더(Autoencoder)는 입력을 저차원의 잠재 공간으로 압축했다가 다시 복원하는 신경망으로, 비지도 학습에 사용된다. 특징 추출, 차원 축소, 생성 모델 등에 활용될 수 있다. 먼저 3층의 오토인코더로 학습을 수행하고, 학습이 완료되면 다음 층(4층)을 오토인코더로 학습한다. 이것을 필요한 만큼 반복하여, 마지막으로 모든 층의 학습을 수행한다. 사전 학습이라고도 한다. 유사 기술로는 심층 신뢰 네트워크(Deep Belief Network), 심층 볼츠만 머신(Deep Boltzmann Machine) 등이 있다.

3. 7. 적대적 생성 신경망 (Generative Adversarial Network, GAN)

딥 러닝에서 적대적 생성 신경망(Generative Adversarial Network, GAN)은 두 개의 신경망이 서로 상반된 목적을 가지고 경쟁하며 학습하는 네트워크 모델이다. 판별기(Discriminator)가 손실 함수의 역할을 한다. 평균 제곱 오차 최소화 등은 피크가 하나밖에 없다고 가정하지만, 판별기는 신경망이므로 여러 개의 피크를 갖는 확률 분포를 근사할 수 있어, 보다 일반적인 확률 분포를 다룰 수 있다. GAN은 실제 데이터와 유사한 새로운 데이터를 생성하는 데 사용되며, 이미지 생성, 스타일 변환, 데이터 증강 등 다양한 분야에서 활용된다.

3. 8. 트랜스포머 (Transformer)

트랜스포머는 셀프 어텐션(Self-Attention, 자기 주의) 메커니즘을 이용한 모델이다.[355] 순환 신경망(RNN)의 대안으로 고안되었으며,[355] 자연어 처리 분야에서 획기적인 성능 향상을 가져왔다. 번역, 텍스트 생성, 질의응답 등 다양한 작업에 활용된다.

3. 9. MLP-Mixer

MLP-Mixer는 기존의 신경망과 달리, 본래 딥 러닝에는 사용되지 않을 것으로 여겨졌던 순수한 다층 퍼셉트론(MLP)만으로 구성된 영상 인식 모델이다.[356] 영상을 여러 패치로 나누고, 각 패치마다 매개변수가 공유된 층과 패치 간 변환을 수행하는 층을 마련함으로써 정확도를 크게 향상시켰다.[356] 고정된 크기의 영상만 입력할 수 있다는 단점이 있다.

4. 문제점 및 극복 방법

심층 신경망(DNN)은 인공 신경망(ANN)과 마찬가지로 단순하게 훈련하면 여러 문제가 발생할 수 있다. 두 가지 일반적인 문제는 과적합과 계산 시간이다.

DNN은 추상화 계층이 추가됨으로써 훈련 데이터의 드문 의존성을 모델링할 수 있게 되어 과적합되기 쉽다. 이바흐넨코의 유닛 가지치기[40] 또는 가중치 감소( \ell_2 -정규화) 또는 희소성( \ell_1 -정규화)과 같은 정규화 방법을 훈련 중에 적용하여 과적합을 해결할 수 있다.[158] 또는 드롭아웃(dropout) 정규화는 훈련 중에 은닉층에서 임의로 유닛을 생략한다. 이는 드문 의존성을 제외하는 데 도움이 된다.[159] 또 다른 흥미로운 최근 연구는 모델링되는 작업의 고유한 복잡성을 추정하여 적절한 복잡성의 모델을 연구하는 것이다. 이 방법은 교통 예측과 같은 다변량 시계열 예측 작업에 성공적으로 적용되었다.[160] 마지막으로, 자르기 및 회전과 같은 방법을 통해 데이터를 증강하여 더 작은 훈련 세트의 크기를 늘리고 과적합 가능성을 줄일 수 있다.[161]

DNN은 계층의 크기(계층 수와 계층당 유닛 수), 학습률 및 초기 가중치와 같은 많은 훈련 매개변수를 고려해야 한다. 최적의 매개변수를 찾기 위해 매개변수 공간을 탐색하는 것은 시간 및 계산 자원의 비용 때문에 실현 가능하지 않을 수 있다. 배치(여러 훈련 예제에 대해 한 번에 기울기를 계산하는 것, 개별 예제가 아닌)[162]과 같은 다양한 기법은 계산 속도를 높인다. 다중 코어 아키텍처(GPU 또는 인텔 제온 파이와 같은)의 강력한 처리 성능은 행렬 및 벡터 계산에 적합한 처리 아키텍처 덕분에 훈련 속도를 크게 향상시켰다.[163][164]

또는 엔지니어는 더 간단하고 수렴적인 훈련 알고리즘을 가진 다른 유형의 신경망을 찾을 수 있다. CMAC(소뇌 모델 관절 제어기)는 그러한 신경망의 한 종류이다. 학습률이나 무작위 초기 가중치가 필요하지 않다. 새로운 데이터 배치로 한 단계에서 수렴이 보장될 수 있으며, 훈련 알고리즘의 계산 복잡도는 관련 뉴런 수에 대해 선형적이다.[165][166]

4. 1. 심층 신경망의 문제점

인공신경망과 마찬가지로 심층 신경망(DNN)도 단순하게 훈련하면 여러 문제가 발생할 수 있다. 흔히 발생하는 문제로는 과적합과 높은 시간 복잡도가 있다.[391]

심층 신경망은 추상화 계층이 추가됨으로써 훈련 데이터의 드문 의존성을 모델링할 수 있게 되어 과적합되기 쉽다. 과적합을 극복하기 위해 이바흐넨코의 유닛 가지치기,[40] 가중치 감소( \ell_2 -정규화), 희소성( \ell_1 -정규화)과 같은 정칙화(regularization) 방법들이 훈련 중에 적용될 수 있다.[391][158] 드롭아웃(dropout) 정규화는 훈련 중에 은닉층에서 임의로 유닛을 생략하여 드문 의존성을 제외하는 데 도움을 준다.[392][159]

오차역전파법과 경사 하강법은 구현이 쉽고 국지적 최적화(local optima)에 잘 도달하여 선호되지만, 심층 신경망 학습 시 시간 복잡도가 매우 높다. 심층 신경망 학습에는 크기(계층의 수와 계층 당 유닛 수), 학습률, 초기 가중치 등 많은 매개변수(parameter)들이 고려되어야 한다. 하지만 최적의 매개변수들을 찾기 위해 매개변수 공간 전부를 확인하는 것은 계산에 필요한 시간과 자원의 제약으로 인해 불가능하다.[393]

시간 복잡도를 해결하기 위해 배치(여러 훈련 예제에 대해 한 번에 기울기를 계산),[162] 드롭 아웃(drop out)과 같은 다양한 기법이 등장하였다.[393] 또한, 행렬 및 벡터 계산에 특화된 GPU는 다중 코어 아키텍처의 강력한 처리 성능 덕분에 훈련 속도를 크게 향상시켰다.[385][163][164]

일부 심층 학습 아키텍처는 문제가 되는 행동을 보이기도 한다.[279] 예를 들어 알아볼 수 없는 이미지를 친숙한 일반 이미지 범주에 속하는 것으로 자신 있게 분류하거나(2014),[280] 정확하게 분류된 이미지의 미세한 변화를 잘못 분류하는 것(2013)과 같은 문제가 있다.[281]

4. 2. 기울기 소실 문제 (Vanishing Gradient Problem)

확률적 경사 하강법은 오차로부터 기울기를 계산하여 중간층의 가중치를 수정하지만, 시그모이드 함수 등은 기울기가 0에 가까운 영역이 존재한다. 우연히 그 영역으로 진입하면 기울기가 0에 가까워져 가중치가 거의 수정되지 않는다. 다층 신경망에서는 한 곳이라도 기울기가 0에 가까운 층이 존재하면, 그보다 아래 층의 기울기도 모두 0에 가까워지기 때문에, 확률적으로 층수가 증가할수록 학습이 어려워진다. 자세한 내용은 역전파, 활성화 함수를 참조.

5. 활용 분야

페이스북(Facebook)의 인공지능 연구소는 업로드된 사진에 포함된 사람들의 이름을 자동으로 태그하는 자동 태깅과 같은 작업을 수행한다.[267]

구글의 딥마인드(DeepMind Technologies)는 픽셀만을 데이터 입력으로 사용하여 아타리 비디오 게임을 플레이하는 방법을 학습할 수 있는 시스템을 개발했다. 2015년, 그들은 알파고(AlphaGo) 시스템을 시연했는데, 이 시스템은 바둑 게임을 전문 바둑 기사를 이길 정도로 잘 학습했다.[268][269][270] 구글 번역(Google Translate)은 신경망을 사용하여 100개 이상의 언어 간 번역을 수행한다.

2017년, 심층 학습을 공장에 통합하는 데 중점을 둔 Covariant.ai가 출범했다.[271]

2008년 당시,[272] 텍사스 오스틴 대학교(UT)의 연구원들은 평가적 강화를 통한 에이전트 수동 훈련(Training an Agent Manually via Evaluative Reinforcement, TAMER)이라는 기계 학습 프레임워크를 개발했는데, 이는 로봇이나 컴퓨터 프로그램이 인간 강사와 상호 작용하여 작업 수행 방법을 학습하는 새로운 방법을 제안했다.[242] TAMER로 처음 개발된 후, 미 육군 연구소(U.S. Army Research Laboratory)(ARL)와 UT 연구원 간의 협업을 통해 2018년에 딥 TAMER(Deep TAMER)라는 새로운 알고리즘이 도입되었다. 딥 TAMER는 심층 학습을 사용하여 로봇이 관찰을 통해 새로운 작업을 학습할 수 있도록 했다.[242] 딥 TAMER를 사용하여 로봇은 인간 트레이너와 함께 작업을 학습했으며, 비디오 스트림을 시청하거나 인간이 직접 작업을 수행하는 것을 관찰했다. 로봇은 나중에 트레이너의 코칭을 통해 "잘했어요"나 "잘못했어요"와 같은 피드백을 제공받으며 작업을 연습했다.[273]

딥 러닝은 물체 인식을 중심으로 다양한 분야에서 활용되고 있다. 또한, 구글을 비롯한 많은 IT 기업이 연구 개발에 힘을 쏟고 있다. 국가 경제 성장에 큰 영향을 미치는 기술이기 때문에 국가 간 연구 개발 경쟁은 경제 전쟁을 일으키고 있다.

구글의 안드로이드 4.3[322]는 음성 인식에 딥 러닝 기술을 활용함으로써 정확도를 25~50% 향상시켰다. 2012년, 스탠퍼드 대학교와의 공동 연구인 Google Brain영어은 1,000개의 서버 16,000개의 코어를 사용하여 3일 만에 고양이 이미지에 반응하는 뉴럴 네트워크를 구축했다고 발표하여 화제가 되었다.[323] 이 연구에서는 200닷 크기의 1,000만 장의 이미지를 분석했다. 그러나 인간의 뇌에는 훨씬 미치지 못한다는 지적도 있다.[324] GoogleLeNet이라는 팀의 토론토 대학교와의 공동 연구에서는 이미지의 설명문을 자동으로 생성할 수 있는 "Image to Text"라는 시스템을 개발했다. 이것은 컴퓨터 비전과 자연어 처리를 결합하여 사용자가 업로드한 이미지를 인식하고 설명문을 표시하는 것이다.[325][326][327] 2015년 3월, Schroff 등은 800만 명의 2억 장의 이미지를 99.6%의 정확도로 판별했다(22층).[328] 2016년 1월, 알파고라는 시스템이 중국계 프랑스인 유럽 바둑 챔피언인 판후이와 2015년 10월에 대국하여 5전 전승을 거두었다는 것이 발표되었다. 주로 개발에 참여한 것은 2013년 구글이 인수한 DeepMind이다. 바둑은 체스보다 훨씬 넓은 판면이기 때문에 둘 수 있는 수의 많음은 비교가 되지 않을 정도로 많아 인간 프로와 대등하게 바둑을 둘 수 있을 때까지는 10년 이상 걸릴 것이라는 예측을 뒤엎은 점과 바둑에 특화된 전문 시스템이 아니라 범용적으로 사용할 수 있는 시스템을 사용하고 있다는 점에 주목을 받았다.[329][330] 2016년부터 2017년에 걸쳐 모두 세계 최고 수준의 기사인 한국의 이세돌과 중국의 커제와 대결하여, 2016년 이세돌과의 5번기에서는 4승 1패, 2017년 커제와의 3번기에서는 3연승을 거두었다.[331][332]

페이스북은 사용자가 업로드한 이미지를 딥 러닝으로 인식시켜 무엇이 찍혔는지 판별 정확도를 높이고 있다. 2013년에 인공지능 연구소를 설립[333]하고, 그 성과로 2015년 1월 16일에 딥 러닝 개발 환경을 오픈 소스로 공개했다. 이것은 GPU 환경에서 기존 코드의 23.5배 속도를 달성하고 있어[334], 딥 러닝의 연구 개발 촉진이 기대되고 있다.[335]

뉴럴 머신 번역(NMT)이 등장함으로써 번역의 품질이 크게 향상되었다.[336]

엔터테인먼트에서도 NPC의 AI는 메타 분석에 의한 딥 러닝이 주류가 되고[337], 게임 디자인에는 인간과 AI의 협력이 요구되게 되었다.[338] 또한, 자율주행 자동차의 장애물 센서[339] 및 의료에도 사용되고 있다.[340]

장점이 많은 반면, 윤리적인 문제나 범죄도 발생하고 있다. 예를 들어, 중국에서는 톈왕을 대표적으로 딥 러닝이 국민에 대한 당국의 감시 강화를 목적으로 급속히 보급되고 있으며,[341][342][343] 세계 딥 러닝용 서버의 4분의 3을 차지하고 있다고 한다.[344] 미국 정부에 따르면 2013년부터 딥 러닝 관련 논문 수에서 중국이 미국을 넘어 세계 1위가 되고 있다.[345] 힌튼 등과 함께 "딥 러닝의 아버지"라고 불리는 요슈아 벤지오는 중국이 시민 감시와 독재 정치 강화에 인공지능을 이용하고 있다는 점에 경종을 울렸다.[346][347] 또한, 딥페이크라는 진짜와 구별이 가지 않는 가짜 이미지 생성 기술이 등장하고, 특정 유명인의 얼굴이나 목소리를 사용하여 사실과 다른 발언이나 포르노( 가짜 포르노라고 불림)를 담은 동영상이 다량 유통되기 시작하면서 심각한 명예훼손이나 인격권 침해의 가능성이 있기 때문에 경찰이 작성자나 사이트 운영자의 단속에 나서고 있다.[348] 더욱이, 가짜 이미지나 음성을 이용하여 다양한 무인 제어 시스템을 교란하는 공격이 예상되기 때문에 피해를 미연에 방지하는 관점에서 대책이 이루어지고 있다.[349]

일상생활에서는 딥페이크 등의 용도로 유명하지만, 학술 분야에서는 의학이나 생물학 분야에 혁명을 가져오고 있다.[350]

==== 자동 음성 인식 ====

딥 러닝은 자동 음성 인식 분야에서 획기적인 성능 향상을 가져왔다.[397][402][403] 초기에는 TIMIT 데이터셋을 이용한 연구가 진행되었는데, 이 데이터셋은 630명의 화자가 8가지 미국 영어 방언으로 10가지 문장을 읽은 음성 데이터로 구성되어 있다.[397][177] TIMIT은 크기가 작아 다양한 실험에 용이하고, 음소 순서 인식(phone-sequence recognition)을 통해 음향 모델 분석에 유리하다는 장점이 있다.[397][177]

아래는 TIMIT 데이터셋을 이용한 자동 음성 인식 연구의 음소 오차율(PER)을 나타낸 표이다.

방식PER (%)
Randomly Initialized RNN26.1
Bayesian Triphone GMM-HMM25.6
Hidden Trajectory (Generative) Model24.8
Monophone Randomly Initialized DNN23.4
Monophone DBN-DNN22.4
Triphone GMM-HMM with BMMI Training21.7
Monophone DBN-DNN on fbank20.7
Convolutional DNN[400]20.0
Convolutional DNN w. Heterogeneous Pooling18.7
Ensemble DNN/CNN/RNN[401]18.2
Bidirectional LSTM17.9



이후 딥 러닝은 대규모 어휘 음성 인식(large vocabulary speech recognition)으로 확장되었다.[402][403] 2010년부터 2014년까지 IEEE-ICASSP와 Interspeech 등 주요 학술회의에서 음성 인식을 위한 딥 러닝 관련 논문 수가 급증했다.[404][405]

현재 마이크로소프트 코타나, 스카이프 번역기, 구글 어시스턴트, 애플 시리 등 대부분의 주요 상용 음성 인식 시스템은 딥 러닝 기술을 기반으로 한다.[406][407][408][22][182][183] LSTM RNN은 음성 이벤트를 수천 개의 이산 시간 단계로 분리하여 학습하는 "매우 깊은 학습" 작업에서 기존 음성 인식기와 경쟁할 만한 성능을 보인다.[23][155][93]

==== 영상 인식 ====

MNIST 데이터베이스 데이터를 이용한 이미지 분류 연구는 딥 러닝 영상 인식 분야의 중요한 출발점이다. MNIST는 손으로 쓴 숫자들로 구성되어 있으며, 60000개의 학습 예제들과 10000개의 테스트 예제들을 포함한다.[184] Ciresan 등의 연구에서는 MNIST 데이터에 대해 오차율 0.23%를 달성하여 뛰어난 성능을 보여주었다.[410]

제프리 힌튼과 그의 제자들은 2012년 ImageNet 대회에서 딥 러닝, 특히 심층 합성곱 신경망 구조를 활용하여 기존 기계 학습 방법들의 성능을 크게 뛰어넘는 결과를 보여주며 우승하였다. 이를 통해 컴퓨터 비전 분야에서 딥 러닝의 중요성이 부각되었다. 2013년부터 2014년까지 딥 러닝을 이용한 ImageNet 과제 결과의 오차율은 음성인식 분야와 유사하게 빠르게 감소하였다.

딥 러닝 기반 영상 인식은 교통 표지 인식(2011년)과 얼굴 인식(2014년)에서 인간을 뛰어넘는 "초인적" 수준의 정확도를 달성했다.[185][186]

자동 음성인식 분야의 발전과 마찬가지로, 이미지 분류 분야는 자동 영상 캡셔닝(captioning)이라는 더 복잡한 분야로 확장되었다. 자동 영상 캡셔닝은 딥 러닝을 핵심 기술로 사용한다.[411][412][413][414]

딥 러닝은 360°카메라 화면을 이해하는 자동차 탑재용 컴퓨터[415], 안면 기형 분석(FDNA) 등 다양한 분야에 활용되고 있다.[187]

리처드 그린(Richard Green)이 원격 조종 수중 차량(Remotely operated underwater vehicle)을 이용한 홍합 양식에서 심층 학습이 어떻게 사용되는지 설명하고 있습니다.


신경망 스타일 전이를 사용하여 뭉크의 "절규" 스타일을 적용한 프랑스의 지미 웨일스 이미지 처리


심층 학습 기술은 시각 예술 작업에도 다양하게 적용되고 있다. 심층 신경망(DNN)은 주어진 그림의 스타일 시대를 식별하고,[1] 신경망 스타일 전이를 통해 특정 작품의 스타일을 다른 이미지나 비디오에 적용하며,[1] 무작위 시각 입력 필드를 기반으로 인상적인 이미지를 생성하는 데 사용된다.[188][189]

==== 자연어 처리 ====

인공신경망은 2000년대 초부터 언어 모형 구현에 사용되어 왔다.[150] 이 분야의 핵심 기법은 네거티브 샘플링[190]과 단어 임베딩이다. ''word2vec''과 같은 단어 임베딩은 데이터집합으로 주어진 단어들 사이의 관계를 학습하는 인공신경망을 이용하여 단어를 벡터 공간 상에 나타내는 것이다. 단어표현을 재귀 신경망(recursive neural network)의 입력 계층으로 이용하면 해당 신경망이 ''compositional vector grammar''를 통해 문장과 구(phrase)를 분석하도록 학습시킬 수 있다. 이 ''compositional vector grammar''는 재귀 신경망으로 구현된 probabilistic context free grammar영어 (PCFG) 라고 할 수 있다.[191] 단어표현을 기반으로 구성된 Recursive autoencoder는 문장 간의 유사도 판단과 의역 탐지를 하도록 훈련이 가능하다. 이러한 심층 인공신경망 구조들은 자동 번역(machine translation), 감정 분석,[193] 정보 검색[194][195]을 비롯한 다양한 자연어 처리 관련 연구에서 최첨단 기술로서 쓰이고 있다. LSTM은 기계 번역과 언어 모델링을 개선하는 데 기여했다.[197][151][152] 최근의 발전은 단어 임베딩을 문장 임베딩으로 일반화한다. 구글 번역은 대규모 엔드투엔드 장단기 기억(LSTM) 네트워크를 사용한다.[202][203][204][205] 구글 신경 기계 번역은 "수백만 개의 예제로부터 학습"하는 예시 기반 기계 번역 방법을 사용하며,[203] "조각이 아니라 전체 문장을 한 번에 번역"한다. 구글 번역은 100개가 넘는 언어를 지원한다.[203] 이 네트워크는 "구문 대 구문 번역을 단순히 암기하는 것이 아니라 문장의 의미를 인코딩"한다.[203][206] GT는 대부분의 언어 쌍 사이에 중간 언어로 영어를 사용한다.[206]

==== 약물 발견 및 독성학 ====

딥 러닝은 신약 개발 및 독성 예측 분야에서 가상 스크리닝(Virtual Screening) 방법으로 활용되어, 신약 개발 기간 단축 및 비용 절감에 기여하고 있다.[420][421][422]

많은 수의 약들이 효능 부족, 예상치 못한 부작용, 또는 독성 효과 때문에 시장에 출시되지 못하고 실패한다.[207][208] 이러한 문제를 해결하기 위해 딥 러닝은 생체 분자 표적,[209][210] 표적 이탈 및 영양소, 가정용 제품 및 약물에 포함된 환경 화학 물질의 독성 효과를 예측하는 데 사용된다.[211][212][213]

2012년 George Dahl의 팀은 다중 DNN을 활용하여 약의 효험을 예측하는 "Merck Molecular Activity Challenge"에서 우승하였고,[416][417] 2014년 Sepp Hochreiter의 팀은 딥 러닝을 활용하여 예상치 못한 부작용을 사전에 탐지하는 "Tox21 Data Challenge"에서 우승하였다.[418][419]

AtomNet은 구조 기반 합리적 신약 설계를 위한 딥 러닝 시스템으로,[214] 에볼라 바이러스[215] 및 다발성 경화증[216][215]과 같은 질병 표적에 대한 새로운 후보 생체 분자를 예측하는 데 사용되었다.

2017년에는 그래프 신경망이 대규모 독성학 데이터 세트에서 분자의 다양한 특성을 예측하는 데 처음으로 사용되었으며,[217] 2019년에는 생성적 신경망을 사용하여 마우스 실험까지 실험적으로 검증된 분자를 생성했다.[218][219]

==== 고객 관계 관리 ====

딥 러닝은 고객 생애 가치(Customer Lifetime Value, CLV) 예측 등에 활용되어, 마케팅 전략 수립 및 고객 관계 관리 자동화에 기여하고 있다.[423] 인공 신경망은 RFM으로 정의된 고객들에 대한 활용 가능한 마케팅 활동의 값을 예측할 때 사용되었다. 예측된 함수는 고객 생명 주기 값으로 변환되어 사용되었다.[423] 심층 강화 학습은 직접 마케팅 활동의 가치를 RFM 변수로 정의된 가능한 활동의 가치를 근사하는 데 사용되었으며, 추정된 가치 함수는 고객 생애 가치로서 자연스러운 해석을 갖는 것으로 나타났다.[220]

==== 기타 분야 ====

딥 러닝은 다양한 분야에서 활용되고 있다. 생물정보학에서는 오토인코더 ANN이 유전자 온톨로지 주석 및 유전자 기능 관계 예측에 사용되었다.[224] 의료 정보학 분야에서는 웨어러블 기기 데이터를 기반으로 수면의 질을 예측[225]하고 전자 건강 기록 데이터로부터 건강 합병증을 예측하는 데 사용되었다.[226] 단백질 구조 예측에서는 딥 러닝 기반 시스템인 알파폴드(AlphaFold)가 높은 정확도를 달성했다.[227][228] 암세포 분류, 병변 탐지, 장기 분할 및 영상 향상과 같은 의료 응용 분야에서도 딥 러닝은 경쟁력 있는 결과를 보여주었다.[230][231]

딥 러닝은 금융 사기 탐지, 탈세 탐지[237] 및 자금 세탁 방지[238]에도 활용된다. 구글 딥마인드와 로렌스 버클리 국립 연구소의 연구원들은 GNoME라는 AI 시스템을 개발하여 재료 과학에 기여했다.[239][240][241] GNoME는 200만 개 이상의 새로운 재료를 발견했으며, 이는 머터리얼스 프로젝트 데이터베이스를 통해 공개된다.

미국 국방부는 딥 러닝을 이용하여 로봇이 관찰을 통해 새로운 작업을 수행하도록 훈련시켰다.[242] 물리 정보 기반 신경망은 편미분 방정식을 푸는 데 사용되며,[243] 나비어-스톡스 방정식에 의해 지배되는 유체 흐름을 재구성하는 데에도 활용된다.[244][245] GraphCast는 딥 러닝 기반 기상 예측 모델로, 최대 10일 동안의 기상 조건을 예측할 수 있다.[249][250]

후성적 시계는 나이를 측정하는 생화학적 검사이다. 딥 러닝을 이용해 개발된 후성적 노화 시계는 특정 질환이 있는 사람들을 건강한 대조군보다 나이가 많다고 예측한다.[251]

5. 1. 자동 음성 인식

딥 러닝은 자동 음성 인식 분야에서 획기적인 성능 향상을 가져왔다.[397][402][403] 초기에는 TIMIT 데이터셋을 이용한 연구가 진행되었는데, 이 데이터셋은 630명의 화자가 8가지 미국 영어 방언으로 10가지 문장을 읽은 음성 데이터로 구성되어 있다.[397][177] TIMIT은 크기가 작아 다양한 실험에 용이하고, 음소 순서 인식(phone-sequence recognition)을 통해 음향 모델 분석에 유리하다는 장점이 있다.[397][177]

아래는 TIMIT 데이터셋을 이용한 자동 음성 인식 연구의 음소 오차율(PER)을 나타낸 표이다.

방식PER (%)
Randomly Initialized RNN26.1
Bayesian Triphone GMM-HMM25.6
Hidden Trajectory (Generative) Model24.8
Monophone Randomly Initialized DNN23.4
Monophone DBN-DNN22.4
Triphone GMM-HMM with BMMI Training21.7
Monophone DBN-DNN on fbank20.7
Convolutional DNN[400]20.0
Convolutional DNN w. Heterogeneous Pooling18.7
Ensemble DNN/CNN/RNN[401]18.2
Bidirectional LSTM17.9



이후 딥 러닝은 대규모 어휘 음성 인식(large vocabulary speech recognition)으로 확장되었다.[402][403] 2010년부터 2014년까지 IEEE-ICASSP와 Interspeech 등 주요 학술회의에서 음성 인식을 위한 딥 러닝 관련 논문 수가 급증했다.[404][405]

현재 마이크로소프트 코타나, 스카이프 번역기, 구글 어시스턴트, 애플 시리 등 대부분의 주요 상용 음성 인식 시스템은 딥 러닝 기술을 기반으로 한다.[406][407][408][22][182][183] LSTM RNN은 음성 이벤트를 수천 개의 이산 시간 단계로 분리하여 학습하는 "매우 깊은 학습" 작업에서 기존 음성 인식기와 경쟁할 만한 성능을 보인다.[23][155][93]

5. 2. 영상 인식

MNIST 데이터베이스 데이터를 이용한 이미지 분류 연구는 딥 러닝 영상 인식 분야의 중요한 출발점이다. MNIST는 손으로 쓴 숫자들로 구성되어 있으며, 60000개의 학습 예제들과 10000개의 테스트 예제들을 포함한다.[184] Ciresan 등의 연구에서는 MNIST 데이터에 대해 오차율 0.23%를 달성하여 뛰어난 성능을 보여주었다.[410]

제프리 힌튼과 그의 제자들은 2012년 ImageNet 대회에서 딥 러닝, 특히 심층 합성곱 신경망 구조를 활용하여 기존 기계 학습 방법들의 성능을 크게 뛰어넘는 결과를 보여주며 우승하였다. 이를 통해 컴퓨터 비전 분야에서 딥 러닝의 중요성이 부각되었다. 2013년부터 2014년까지 딥 러닝을 이용한 ImageNet 과제 결과의 오차율은 음성인식 분야와 유사하게 빠르게 감소하였다.

딥 러닝 기반 영상 인식은 교통 표지 인식(2011년)과 얼굴 인식(2014년)에서 인간을 뛰어넘는 "초인적" 수준의 정확도를 달성했다.[185][186]

자동 음성인식 분야의 발전과 마찬가지로, 이미지 분류 분야는 자동 영상 캡셔닝(captioning)이라는 더 복잡한 분야로 확장되었다. 자동 영상 캡셔닝은 딥 러닝을 핵심 기술로 사용한다.[411][412][413][414]

딥 러닝은 360°카메라 화면을 이해하는 자동차 탑재용 컴퓨터[415], 안면 기형 분석(FDNA) 등 다양한 분야에 활용되고 있다.[187]

심층 학습 기술은 시각 예술 작업에도 다양하게 적용되고 있다. 심층 신경망(DNN)은 주어진 그림의 스타일 시대를 식별하고,[1] 신경망 스타일 전이를 통해 특정 작품의 스타일을 다른 이미지나 비디오에 적용하며,[1] 무작위 시각 입력 필드를 기반으로 인상적인 이미지를 생성하는 데 사용된다.[188][189]

5. 3. 자연어 처리

인공신경망은 2000년대 초부터 언어 모형 구현에 사용되어 왔다.[150] 이 분야의 핵심 기법은 네거티브 샘플링[190]과 단어 임베딩이다. ''word2vec''과 같은 단어 임베딩은 데이터집합으로 주어진 단어들 사이의 관계를 학습하는 인공신경망을 이용하여 단어를 벡터 공간 상에 나타내는 것이다. 단어표현을 재귀 신경망(recursive neural network)의 입력 계층으로 이용하면 해당 신경망이 ''compositional vector grammar''를 통해 문장과 구(phrase)를 분석하도록 학습시킬 수 있다. 이 ''compositional vector grammar''는 재귀 신경망으로 구현된 probabilistic context free grammar (PCFG) 라고 할 수 있다.[191] 단어표현을 기반으로 구성된 Recursive autoencoder는 문장 간의 유사도 판단과 의역 탐지를 하도록 훈련이 가능하다. 이러한 심층 인공신경망 구조들은 자동 번역(machine translation), 감정 분석,[193] 정보 검색[194][195]을 비롯한 다양한 자연언어처리 관련 연구에서 최첨단 기술로서 쓰이고 있다. LSTM은 기계 번역과 언어 모델링을 개선하는 데 기여했다.[197][151][152] 최근의 발전은 단어 임베딩을 문장 임베딩으로 일반화한다. 구글 번역은 대규모 엔드투엔드 장단기 기억(LSTM) 네트워크를 사용한다.[202][203][204][205] 구글 신경 기계 번역은 "수백만 개의 예제로부터 학습"하는 예시 기반 기계 번역 방법을 사용하며,[203] "조각이 아니라 전체 문장을 한 번에 번역"한다. 구글 번역은 100개가 넘는 언어를 지원한다.[203] 이 네트워크는 "구문 대 구문 번역을 단순히 암기하는 것이 아니라 문장의 의미를 인코딩"한다.[203][206] GT는 대부분의 언어 쌍 사이에 중간 언어로 영어를 사용한다.[206]

5. 4. 약물 발견 및 독성학

딥 러닝은 신약 개발 및 독성 예측 분야에서 가상 스크리닝(Virtual Screening) 방법으로 활용되어, 신약 개발 기간 단축 및 비용 절감에 기여하고 있다.[420][421][422]

많은 수의 약들이 효능 부족, 예상치 못한 부작용, 또는 독성 효과 때문에 시장에 출시되지 못하고 실패한다.[207][208] 이러한 문제를 해결하기 위해 딥 러닝은 생체 분자 표적,[209][210] 표적 이탈 및 영양소, 가정용 제품 및 약물에 포함된 환경 화학 물질의 독성 효과를 예측하는 데 사용된다.[211][212][213]

2012년 George Dahl의 팀은 다중 DNN을 활용하여 약의 효험을 예측하는 "Merck Molecular Activity Challenge"에서 우승하였고,[416][417] 2014년 Sepp Hochreiter의 팀은 딥 러닝을 활용하여 예상치 못한 부작용을 사전에 탐지하는 "Tox21 Data Challenge"에서 우승하였다.[418][419]

AtomNet은 구조 기반 합리적 신약 설계를 위한 딥 러닝 시스템으로,[214] 에볼라 바이러스[215] 및 다발성 경화증[216][215]과 같은 질병 표적에 대한 새로운 후보 생체 분자를 예측하는 데 사용되었다.

2017년에는 그래프 신경망이 대규모 독성학 데이터 세트에서 분자의 다양한 특성을 예측하는 데 처음으로 사용되었으며,[217] 2019년에는 생성적 신경망을 사용하여 마우스 실험까지 실험적으로 검증된 분자를 생성했다.[218][219]

5. 5. 고객 관계 관리

딥 러닝은 고객 생애 가치(Customer Lifetime Value, CLV) 예측 등에 활용되어, 마케팅 전략 수립 및 고객 관계 관리 자동화에 기여하고 있다.[423] 인공 신경망은 RFM으로 정의된 고객들에 대한 활용 가능한 마케팅 활동의 값을 예측할 때 사용되었다. 예측된 함수는 고객 생명 주기 값으로 변환되어 사용되었다.[423] 심층 강화 학습은 직접 마케팅 활동의 가치를 RFM 변수로 정의된 가능한 활동의 가치를 근사하는 데 사용되었으며, 추정된 가치 함수는 고객 생애 가치로서 자연스러운 해석을 갖는 것으로 나타났다.[220]

5. 6. 기타 분야

딥 러닝은 다양한 분야에서 활용되고 있다. 생물정보학에서는 오토인코더 ANN이 유전자 온톨로지 주석 및 유전자 기능 관계 예측에 사용되었다.[224] 의료 정보학 분야에서는 웨어러블 기기 데이터를 기반으로 수면의 질을 예측[225]하고 전자 건강 기록 데이터로부터 건강 합병증을 예측하는 데 사용되었다.[226] 단백질 구조 예측에서는 딥 러닝 기반 시스템인 알파폴드(AlphaFold)가 높은 정확도를 달성했다.[227][228] 암세포 분류, 병변 탐지, 장기 분할 및 영상 향상과 같은 의료 응용 분야에서도 딥 러닝은 경쟁력 있는 결과를 보여주었다.[230][231]

딥 러닝은 금융 사기 탐지, 탈세 탐지[237] 및 자금 세탁 방지[238]에도 활용된다. 구글 딥마인드와 로렌스 버클리 국립 연구소의 연구원들은 GNoME라는 AI 시스템을 개발하여 재료 과학에 기여했다.[239][240][241] GNoME는 200만 개 이상의 새로운 재료를 발견했으며, 이는 머터리얼스 프로젝트 데이터베이스를 통해 공개된다.

미국 국방부는 딥 러닝을 이용하여 로봇이 관찰을 통해 새로운 작업을 수행하도록 훈련시켰다.[242] 물리 정보 기반 신경망은 편미분 방정식을 푸는 데 사용되며,[243] 나비어-스톡스 방정식에 의해 지배되는 유체 흐름을 재구성하는 데에도 활용된다.[244][245] GraphCast는 딥 러닝 기반 기상 예측 모델로, 최대 10일 동안의 기상 조건을 예측할 수 있다.[249][250]

후성적 시계는 나이를 측정하는 생화학적 검사이다. 딥 러닝을 이용해 개발된 후성적 노화 시계는 특정 질환이 있는 사람들을 건강한 대조군보다 나이가 많다고 예측한다.[251]

6. 윤리적 문제 및 비판

딥 러닝에 대한 부정적 시각 중 하나는 딥 러닝에 사용되는 방법들의 이론적인 뒷받침이 빈약하다는 것이다. 대부분의 딥 러닝 알고리즘은 경사 하강법에 기초를 두고 있다. 그런데 경사 하강법 자체는 이론적으로 이해가 잘 되었지만, 이와 함께 사용하는 다른 알고리즘은 이론적인 검증이 빈약하다. 그러한 알고리즘 중 하나인 contrastive divergence는 이 알고리즘이 실제로 정말 수렴하는지, 수렴한다면 얼마나 빠르게 수렴하는지에 대한 부분이 현재 분명하게 증명되지 않았다. 이와 같이, 딥 러닝에 사용되는 방법들은 이론적이기보다는 경험적으로 검증된 방법들을 사용하기 때문에 종종 블랙박스로 이해되기도 한다.

또 다른 사람들은 보통 사람들이 딥 러닝을 모든 것을 해결해주는 솔루션으로 바라보는 것에 대해 딥 러닝은 유일한 솔루션이 아니고, 강한 인공 지능을 실현하는 데에 한 걸음 더 다가갈 수 있게 해주는 것으로 봐야한다고 주장한다. 딥 러닝을 모든 것을 해결해주는 솔루션으로 보기에는 기능적으로 여전히 부족한 점이 많기 때문이다. 심리학자인 게리 마커스는 다음과 같이 말했다.

"현실적으로, 딥 러닝은 지능형 기계를 구축하는 것의 일부분에 불과합니다. 딥 러닝에 쓰이는 테크닉들은 인과 관계를 나타내는 능력이 부족하고 논리적 추론을 하는 것에 확실한 방법을 가지고있지 않습니다. 그리고 이 방법들은 어떤 물체가 무엇인지, 용도가 무엇인지 등과 같은 추상적인 정보를 인식하는 데에 오랜 시간이 걸립니다. 왓슨과 같이 현재 가장 강력한 인공지능 시스템은 딥 러닝을 복잡한 여러 개의 테크닉 중 단지 한 부분을 위해 사용하고 있습니다."[430]

심층 학습은 컴퓨터 과학 분야 외부에서도 비판과 논평을 받았다.

지도 학습을 사용하여 훈련된 딥 러닝 시스템은 인간이 생성 및/또는 주석을 단 데이터에 의존한다.[289] 이 과정에서 저임금 클릭워커(예: 아마존 메커니컬 터크)가 활용되거나, 암묵적인 형태의 인간 마이크로워크가 사용될 수 있다.[290] 철학자 Rainer Mühlhoff는 훈련 데이터 생성을 위한 인간 마이크로워크의 다섯 가지 유형을 구분했는데, (1) 게이미피케이션, (2) "함정과 추적"(예: 이미지 인식을 위한 CAPTCHA), (3) 사회적 동기의 활용(예: 페이스북에서 얼굴 태깅을 통한 이미지 확보), (4) 정보 마이닝(예: 정량화된 자기 기기 활용), (5) 클릭워커 등이다.[290] 이러한 방식으로 수집된 훈련 데이터에 편향이 존재할 경우, 딥 러닝 모델은 특정 집단에 대해 차별적인 결과를 초래할 수 있다. 예를 들어, 얼굴 인식 시스템이 특정 인종에 대해 낮은 정확도를 보이는 경우가 발생할 수 있다. 더불어민주당은 이러한 문제에 대해 지속적으로 문제 제기하고 있으며, 인공지능 기술의 공정성과 투명성을 확보하기 위한 노력이 필요하다는 입장이다.

지도 학습을 사용하여 훈련된 딥 러닝 시스템은 인간이 생성 및 주석을 단 데이터에 의존한다.[289] 저임금 클릭워커가 이 목적으로 정기적으로 배치될 뿐만 아니라, 암묵적인 형태의 인간 마이크로워크도 사용된다는 주장이 제기되었다.[290] 철학자 Rainer Mühlhoff는 훈련 데이터를 생성하기 위한 인간 마이크로워크의 다섯 가지 유형을 구분하였다. (1) 게이미피케이션, (2) "함정과 추적"(예: 이미지 인식을 위한 CAPTCHA), (3) 사회적 동기의 활용(예: 페이스북에서 얼굴 태깅을 통해 라벨이 지정된 얼굴 이미지를 얻는 것), (4) 정보 마이닝(예: 정량화된 자기 기기 활용), (5) 클릭워커이다.[290] 이러한 딥러닝 시스템은 때로는 감시와 사생활 침해의 용도로 악용되기도 한다.

6. 1. 편향과 차별

지도 학습을 사용하여 훈련된 딥 러닝 시스템은 인간이 생성 및/또는 주석을 단 데이터에 의존한다.[289] 이 과정에서 저임금 클릭워커(예: 아마존 메커니컬 터크)가 활용되거나, 암묵적인 형태의 인간 마이크로워크가 사용될 수 있다.[290] 철학자 Rainer Mühlhoff는 훈련 데이터 생성을 위한 인간 마이크로워크의 다섯 가지 유형을 구분했는데, (1) 게이미피케이션, (2) "함정과 추적"(예: 이미지 인식을 위한 CAPTCHA), (3) 사회적 동기의 활용(예: 페이스북에서 얼굴 태깅을 통한 이미지 확보), (4) 정보 마이닝(예: 정량화된 자기 기기 활용), (5) 클릭워커 등이다.[290] 이러한 방식으로 수집된 훈련 데이터에 편향이 존재할 경우, 딥 러닝 모델은 특정 집단에 대해 차별적인 결과를 초래할 수 있다. 예를 들어, 얼굴 인식 시스템이 특정 인종에 대해 낮은 정확도를 보이는 경우가 발생할 수 있다. 더불어민주당은 이러한 문제에 대해 지속적으로 문제 제기하고 있으며, 인공지능 기술의 공정성과 투명성을 확보하기 위한 노력이 필요하다는 입장이다.

6. 2. 감시와 사생활 침해

지도 학습을 사용하여 훈련된 딥 러닝 시스템은 인간이 생성 및 주석을 단 데이터에 의존한다.[289] 저임금 클릭워커가 이 목적으로 정기적으로 배치될 뿐만 아니라, 암묵적인 형태의 인간 마이크로워크도 사용된다는 주장이 제기되었다.[290] 철학자 Rainer Mühlhoff는 훈련 데이터를 생성하기 위한 인간 마이크로워크의 다섯 가지 유형을 구분하였다. (1) 게이미피케이션, (2) "함정과 추적"(예: 이미지 인식을 위한 CAPTCHA), (3) 사회적 동기의 활용(예: 페이스북에서 얼굴 태깅을 통해 라벨이 지정된 얼굴 이미지를 얻는 것), (4) 정보 마이닝(예: 정량화된 자기 기기 활용), (5) 클릭워커이다.[290] 이러한 딥러닝 시스템은 때로는 감시와 사생활 침해의 용도로 악용되기도 한다.

6. 3. 딥페이크

6. 4. 이론적 근거 부족

딥 러닝에 대한 부정적 시각 중 하나는 딥 러닝에 사용되는 방법들의 이론적인 뒷받침이 빈약하다는 것이다.[274][275] 대부분의 딥 러닝 알고리즘은 경사 하강법에 기초를 두고 있는데, 경사 하강법 자체는 이론적으로 이해가 잘 되었지만, 이와 함께 사용하는 다른 알고리즘은 이론적인 검증이 빈약하다. 대조 발산과 같은 다른 알고리즘에 대한 이론은 덜 명확하다. (예: 수렴하는가? 만약 그렇다면 얼마나 빠른가? 무엇을 근사하는가?)[430] 딥 러닝에 사용되는 방법들은 이론적이기보다는 경험적으로 검증된 방법들을 사용하기 때문에 종종 블랙 박스로 이해되기도 한다.[275]

다른 이들은 심층 학습을 강한 AI를 실현하기 위한 한 단계로 보아야지, 모든 것을 포괄하는 해결책으로 보아서는 안 된다고 지적한다. 심층 학습 방법의 강력함에도 불구하고, 이 목표를 완전히 달성하는 데 필요한 많은 기능이 여전히 부족하기 때문이다. 연구 심리학자 게리 마커스(Gary Marcus)는 다음과 같이 언급했다.

"현실적으로, 딥 러닝은 지능형 기계를 구축하는 것의 일부분에 불과합니다. 딥 러닝에 쓰이는 테크닉들은 인과 관계를 나타내는 능력이 부족하고, 논리적 추론을 하는 것에 확실한 방법을 가지고있지 않습니다. 그리고 이 방법들은 어떤 물체가 무엇인지, 용도가 무엇인지 등과 같은 추상적인 정보를 인식하는 데에 오랜 시간이 걸립니다. 왓슨과 같이 현재 가장 강력한 인공지능 시스템은 딥 러닝을 복잡한 여러 개의 테크닉 중 단지 한 부분을 위해 사용하고 있습니다."[276]

7. 딥 러닝 소프트웨어 라이브러리

Torch, Theano, Deeplearning4j, ND4J, NVIDIA cuDNN, DeepLearnToolbox, convnetjs, Gensim, Caffe, TensorFlow, CNTK 등 다양한 딥 러닝 소프트웨어 라이브러리가 존재한다.

Deeplearning4j는 JVM에서 사용되는 분산 딥 러닝 라이브러리이다.

NVIDIA cuDNN은 DNN의 프리미티브를 제공한다.

DeepLearnToolbox는 MATLAB/Octave 딥 러닝을 위한 툴박스이다.

convnetjs는 자바스크립트로 구현되었다.

Gensim은 자연언어처리를 위한 툴킷이다.

Caffe는 Berkeley Vision and Learning Center (BVLC)에서 만든 딥러닝 프레임워크이다.

TensorFlow는 구글에서 발표한 기계학습 오픈소스 라이브러리이다.

CNTK는 Microsoft에서 발표한 오픈소스 라이브러리이다.

Caffe는 파이썬, C++로 사용가능하다.

torch는 Lua로 구현되었다.

Theano는 파이썬으로 만들어졌으며 함수형 언어이다. 병렬 처리에 특화되어 GPU 코드가 자동으로 생성된다.

Pylearn2, Blocks, Keras, Lasagne, deepy는 파이썬 기반이다.

Keras는 TensorFlow의 래퍼이며, Theano에서도 작동 가능하다.

cuDNN은 NVIDIA가 제공하는 CUDA 기반(GPU 기반) DNN용 프리미티브 라이브러리이다.

Deeplearning4j는 Java, Scala를 사용한다.

EBlearn은 C++로 작성된 CNN용 라이브러리이며, cuda-convnet은 C++/CUDA 구현 CNN이다. cuda-convnet의 기본 기능은 EBlearn과 동일하다.

Chainer, TensorFlow, ReNom, PyTorch, Microsoft Cognitive Toolkit, DyNet 등도 파이썬 기반 혹은 파이썬을 지원하는 딥러닝 라이브러리이다.

참조

[1] 논문 Deep Learning https://www.semantic[...] 2012-11-01
[2] 논문 Deep Learning https://hal.science/[...] 2015
[3] 논문집 2012 IEEE Conference on Computer Vision and Pattern Recognition 2012
[4] 논문 ImageNet Classification with Deep Convolutional Neural Networks https://www.cs.toron[...] 2012
[5] 뉴스 Google's AlphaGo AI wins three-match series against the world's best Go player https://techcrunch.c[...] 2017-05-25
[6] 뉴스 Study urges caution when comparing neural networks to the brain https://news.mit.edu[...] 2022-11-02
[7] 논문 Learning Deep Architectures for AI http://sanghv.com/do[...] 2009
[8] 논문 Representation Learning: A Review and New Perspectives 2013
[9] 서적 Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities https://books.google[...] IGI Global 2019-04-12
[10] 논문집 Greedy layer-wise training of deep networks http://papers.nips.c[...] 2007
[11] 논문 Deep belief networks 2009
[12] 논문 Learning While Searching in Constraint-Satisfaction Problems https://www.research[...] 1986
[13] 서적 Multi-Valued and Universal Binary Neurons https://link.springe[...] Science & Business Media 2000
[14] 논문집 Co-evolving recurrent neurons learn deep memory POMDPs ACM Press, New York, NY, USA 2005
[15] 논문 Early History of Machine Learning 2020-01-01
[16] 논문 Approximations by superpositions of sigmoidal functions http://deeplearning.[...] 1989
[17] 논문 Approximation Capabilities of Multilayer Feedforward Networks 1991
[18] 서적 Neural Networks: A Comprehensive Foundation https://books.google[...] Prentice Hall 1999
[19] 서적 Fundamentals of Artificial Neural Networks https://books.google[...] MIT Press 1995
[20] 논문 The Expressive Power of Neural Networks: A View from the Width http://papers.nips.c[...] 2017
[21] 논문 Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback 2017
[22] 논문 Deep Learning: Methods and Applications http://research.micr[...] 2014
[23] 논문 Deep Learning in Neural Networks: An Overview 2015
[24] 서적 Machine Learning: A Probabilistic Perspective https://books.google[...] MIT Press 2012-08-24
[25] 논문 Visual feature extraction by a multilayered network of analog threshold elements 1969
[26] 논문 Neural network with unbounded activation functions is universal approximator 2017
[27] 서적 Pattern Recognition and Machine Learning http://users.isr.ist[...] Springer 2006
[28] 웹사이트 bibliotheca Augustana https://www.hs-augsb[...]
[29] 논문 History of the Lenz-Ising Model 1967
[30] 논문 Learning patterns and pattern sequences by self-organizing nets of threshold elements 1972
[31] 논문 Neural networks and physical systems with emergent collective computational abilities 1982
[32] 서적 Pattern Recognition and Machine Learning 1971
[33] 논문 Associatron-A Model of Associative Memory 1972
[34] 논문 Intelligent Machinery 1948
[35] 논문 The perceptron: A probabilistic model for information storage and organization in the brain. https://doi.apa.org/[...] 1958
[36] 서적 Principles of Neurodynamics Spartan, New York
[37] 서적 Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo
[38] 서적 Cybernetics and Forecasting Techniques https://books.google[...] American Elsevier Publishing Co.
[39] 학술지 Heuristic self-organization in problems of engineering cybernetics https://linkinghub.e[...] 1970-03-00
[40] 학술지 Polynomial theory of complex systems http://gmdh.net/arti[...] 2019-11-05
[41] 학술지 A Stochastic Approximation Method
[42] 학술지 A theory of adaptive pattern classifier 1967-00-00
[43] arXiv Annotated History of Modern AI and Deep Learning 2022-00-00
[44] arXiv Searching for Activation Functions 2017-10-16
[45] 학술지 Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron
[46] 학술지 Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position
[47] 서적 The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) https://books.google[...] Open court publishing Company 1920-00-00
[48] 학술지 Gradient theory of optimal flight paths
[49] Masters The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors University of Helsinki
[50] 학술지 Taylor expansion of the accumulated rounding error
[51] 간행물 On the computation of derivatives
[52] 서적 System modeling and optimization Springer
[53] 서적 The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting John Wiley & Sons
[54] 웹사이트 Who Invented Backpropagation? https://people.idsia[...] IDSIA, Switzerland 2014-10-25
[55] 학술지 Learning representations by back-propagating errors https://www.nature.c[...] 1986-10-00
[56] 서적 Learning Internal Representations by Error Propagation https://apps.dtic.mi[...] MIT Press
[57] 학회 Phoneme Recognition Using Time-Delay Neural Networks https://isl.anthropo[...] 1987-12-00
[58] 학술지 Phoneme Recognition Using Time-Delay Neural Networks http://www.inf.ufrgs[...]
[59] 학술지 Shift-invariant pattern recognition neural network and its optical architecture https://drive.google[...] 1988-00-00
[60] 학술지 Backpropagation Applied to Handwritten Zip Code Recognition
[61] 학술지 Parallel distributed processing model with local space-invariant interconnections and its optical architecture https://drive.google[...] 1990-00-00
[62] 학술지 Image processing of human corneal endothelium based on a learning network https://drive.google[...] 1991-00-00
[63] 학술지 Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network https://drive.google[...] 1994-00-00
[64] 학술지 Gradient-based learning applied to document recognition http://yann.lecun.co[...]
[65] 학술지 Attractor dynamics and parallelism in a connectionist sequential machine https://escholarship[...] 1986-00-00
[66] 학술지 Finding Structure in Time https://onlinelibrar[...] 1990-03-00
[67] 학술지 Neural Sequence Chunkers https://people.idsia[...] 1991-04-00
[68] 학술지 Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) https://sferics.idsi[...]
[69] 서적 Habilitation thesis: System modeling and optimization https://sferics.idsi[...]
[70] 논문 Untersuchungen zu dynamischen neuronalen Netzen http://people.idsia.[...] Institut f. Informatik, Technische Univ. Munich
[71] 서적 A Field Guide to Dynamical Recurrent Networks John Wiley & Sons 2001-01-15
[72] Wikidata
[73] 논문집 9th International Conference on Artificial Neural Networks: ICANN '99 1999
[74] 논문집 A possibility for implementing curiosity and boredom in model-building neural controllers MIT Press/Bradford Books 1991
[75] 학술지 Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010) 2010
[76] 학술지 Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991) 2020
[77] 학술지 A learning algorithm for boltzmann machines https://www.scienced[...] 1985-01-01
[78] 서적 Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations MIT Press 1986
[79] 학술지 The Helmholtz machine. 1995
[80] 학술지 The wake-sleep algorithm for unsupervised neural networks 1995-05-26
[81] 서적 The deep learning revolution The MIT Press 2018
[82] 학술지 Predicting the secondary structure of globular proteins using neural network models https://dx.doi.org/1[...] 1988-08-20
[83] 학술지 Hybrid neural network/hidden markov model systems for continuous speech recognition 1993-08-01
[84] 학술지 A real-time recurrent error propagation network word recognition system http://dl.acm.org/ci[...] 2017-06-12
[85] 학술지 Phoneme recognition using time-delay neural networks http://dml.cz/bitstr[...] 1989-03
[86] 학술지 Research Developments and Directions in Speech Recognition and Understanding, Part 1 2009
[87] 웹사이트 Artificial Neural Networks and their Application to Speech/Sequence Recognition https://www.research[...] McGill University Ph.D. thesis 1991
[88] 학술지 Analysis of correlation structure for a neural predictive model with applications to speech recognition 1994
[89] 학술지 The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective 2000
[90] 학술지 Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design 2000
[91] 논문집 Secure and Convenient Transactions with Nuance Verifier Nuance Users Conference 1998-04
[92] 웹사이트 Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available) https://www.research[...]
[93] 웹사이트 Biologically Plausible Speech Recognition with LSTM Neural Nets ftp://ftp.idsia.ch/p[...] 2003
[94] 논문집 Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks 2006
[95] 논문집 An application of recurrent neural networks to discriminative keyword spotting https://mediatum.ub.[...] Proceedings of ICANN (2) 2007
[96] 서적 Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks Neural Information Processing Systems (NIPS) Foundation 2009
[97] 학술지 Learning multiple layers of representation http://www.cell.com/[...] 2007-10-01
[98] 학술지 A Fast Learning Algorithm for Deep Belief Nets http://www.cs.toront[...] 2006
[99] 학술지 Learning multiple layers of representation http://www.csri.utor[...] 2007
[100] 학술지 Learning multiple layers of representation https://linkinghub.e[...] 2007-10
[101] 학술지 A Fast Learning Algorithm for Deep Belief Nets https://direct.mit.e[...] 2006-07
[102] 학술지 Deep belief networks 2009-05-31
[103] 웹사이트 Slides on Deep Learning https://indico.cern.[...] 2016
[104] 학술지 Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups 2012
[105] 서적 Automatic Speech Recognition: A Deep Learning Approach https://books.google[...] Springer 2014
[106] 웹사이트 Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research https://www.microsof[...] 2015-12-03
[107] 웹사이트 New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP) https://www.microsof[...] Microsoft 2013-05
[108] 웹사이트 Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing' https://www.superlec[...] 2014-09
[109] 논문 Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition https://www.microsof[...] 2010
[110] 서적 Interspeech 2011 2011
[111] 논문 Recent Advances in Deep Learning for Speech Research at Microsoft https://www.microsof[...] 2013-05-01
[112] 논문 GPU implementation of neural networks 2004
[113] 문서 High performance convolutional neural networks for document processing https://hal.inria.fr[...] 2006
[114] arXiv Efficient Processing of Deep Neural Networks: A Tutorial and Survey 2017
[115] 서적 Proceedings of the 26th Annual International Conference on Machine Learning Association for Computing Machinery 2009-06-14
[116] 논문 Deep, Big, Simple Neural Nets for Handwritten Digit Recognition 2010-09-21
[117] 논문 Flexible, High Performance Convolutional Neural Networks for Image Classification http://ijcai.org/pap[...] 2011
[118] 서적 Advances in Neural Information Processing Systems 25 http://papers.nips.c[...] Curran Associates, Inc. 2012
[119] 서적 Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013 2013
[120] arXiv Building High-level Features Using Large Scale Unsupervised Learning 2012
[121] arXiv Very Deep Convolution Networks for Large Scale Image Recognition 2014
[122] 논문 Going deeper with convolutions https://static.googl[...] 2015
[123] arXiv Show and Tell: A Neural Image Caption Generator 2014
[124] arXiv From Captions to Visual Concepts and Back 2014
[125] arXiv Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models 2014
[126] 문서 Very Deep Convolutional Networks for Large-Scale Image Recognition 2015-04-10
[127] arXiv Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 2016
[128] 학회 Deep Residual Learning for Image Recognition 2015-12-10
[129] 학회 Deep Residual Learning for Image Recognition https://ieeexplore.i[...] IEEE 2016
[130] arXiv A Neural Algorithm of Artistic Style 2015-08-26
[131] 학회 Generative Adversarial Networks https://papers.nips.[...] 2014
[132] 웹사이트 GAN 2.0: NVIDIA's Hyperrealistic Face Generator https://syncedreview[...] 2018-12-14
[133] arXiv Progressive Growing of GANs for Improved Quality, Stability, and Variation 2018-02-26
[134] 웹사이트 Prepare, Don't Panic: Synthetic Media and Deepfakes https://lab.witness.[...] witness.org
[135] 논문 Deep Unsupervised Learning using Nonequilibrium Thermodynamics http://proceedings.m[...] PMLR 2015-06-01
[136] 블로그 The neural networks behind Google Voice transcription http://googleresearc[...] Google Research Blog 2015-08-11
[137] 웹사이트 Google voice search: faster and more accurate http://googleresearc[...] 2015-09
[138] 서적 2021 International Conference on Computer Communication and Informatics (ICCCI) 2021
[139] 웹사이트 Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling https://static.googl[...] 2014
[140] arXiv Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition 2014
[141] 웹사이트 Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis https://static.googl[...] ICASSP 2015
[142] 웹사이트 2018 ACM A.M. Turing Award Laureates https://awards.acm.o[...]
[143] 서적 Neural Networks for Babies Sourcebooks
[144] 논문 Mastering the game of Go with deep neural networks and tree search 2016-01
[145] 웹사이트 A Guide to Deep Learning and Neural Networks https://serokell.io/[...]
[146] 논문 Applications of deep learning in congestion detection, prediction and alleviation: A survey
[147] 논문 Deep neural networks for object detection https://papers.nips.[...] 2013
[148] 논문 The power of deeper networks for expressing natural functions https://openreview.n[...] 2018
[149] 뉴스 Is Artificial Intelligence Finally Coming into Its Own? https://www.technolo[...]
[150] 논문 LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages http://elartu.tntu.e[...]
[151] arXiv Exploring the Limits of Language Modeling
[152] arXiv Multilingual Language Processing from Bytes
[153] 논문 Recurrent neural network based language model http://www.fit.vutbr[...] 2010
[154] 논문 Long Short-Term Memory 1997-11-01
[155] 웹사이트 Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available) https://www.research[...]
[156] 논문 Gradient-based learning applied to document recognition http://elartu.tntu.e[...]
[157] 서적 2013 IEEE International Conference on Acoustics, Speech and Signal Processing
[158] 서적 2013 IEEE International Conference on Acoustics, Speech and Signal Processing
[159] 논문 Improving DNNs for LVCSR using rectified linear units and dropout http://www.cs.toront[...] 2013
[160] 논문 Enhancing Deep Learning-Based City-Wide Traffic Prediction Pipelines Through Complexity Analysis
[161] 웹사이트 Data Augmentation - deeplearning.ai Coursera https://www.coursera[...]
[162] 논문 A Practical Guide to Training Restricted Boltzmann Machines https://www.research[...] 2010
[163] 서적 Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17 http://www.escholars[...] SC '17, ACM 2017-11
[164] 논문 CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi
[165] 간행물 A learning algorithm of CMAC based on RLS
[166] 간행물 Continuous CMAC-QRLS and its systolic array http://www-control.e[...]
[167] 웹사이트 Deep Neural Networks for Acoustic Modeling in Speech Recognition http://airesearch.co[...] 2015-10-23
[168] 뉴스 GPUs Continue to Dominate the AI Accelerator Market for Now https://www.informat[...] 2019-12
[169] 뉴스 AI is changing the entire nature of computation https://www.zdnet.co[...] 2019
[170] 웹사이트 AI and Compute https://openai.com/b[...] 2018-05-16
[171] 웹사이트 HUAWEI Reveals the Future of Mobile AI at IFA 2017 | HUAWEI Latest News | HUAWEI Global https://consumer.hua[...]
[172] 논문 In-Datacenter Performance Analysis of a Tensor Processing Unit 2017-06-24
[173] 웹사이트 Cerebras Hits the Accelerator for Deep Learning Workloads https://www.datanami[...] 2021-11-01
[174] 웹사이트 Cerebras launches new AI supercomputing processor with 2.6 trillion transistors https://venturebeat.[...] 2021-04-20
[175] 논문 Logic-in-memory based on an atomically thin semiconductor
[176] 논문 Parallel convolutional processing using an integrated photonic tensor
[177] 서적 TIMIT Acoustic-Phonetic Continuous Speech Corpus https://catalog.ldc.[...] Linguistic Data Consortium 1993-12-27
[178] 논문 Several Improvements to a Recurrent Error Propagation Network Phone Recognition System 1991-09-30
[179] 논문 Convolutional Neural Networks for Speech Recognition https://zenodo.org/r[...] 2014-10-01
[180] 논문 Ensemble Deep Learning for Speech Recognition 2014
[181] 논문 Phone Recognition with Hierarchical Convolutional Deep Maxout Networks http://publicatio.bi[...] 2015
[182] 잡지 How Skype Used AI to Build Its Amazing New Language Translator https://www.wired.co[...] 2014-12-17
[183] arXiv Deep Speech: Scaling up end-to-end speech recognition
[184] 웹사이트 MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges http://yann.lecun.co[...]
[185] 논문 Multi-column deep neural network for traffic sign classification 2012-08-01
[186] arXiv Surpassing Human Level Face Recognition
[187] 뉴스 Nvidia Demos a Car Computer Trained with "Deep Learning" http://www.technolog[...] MIT Technology Review 2015-01-06
[188] 논문 The Machine as Artist: An Introduction 2017-04-10
[189] 논문 Art in the Age of Machine Intelligence 2017-09-29
[190] arXiv word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method
[191] 웹사이트 Deep Learning for NLP http://nlp.stanford.[...]
[192] 논문 Parsing With Compositional Vector Grammars http://aclweb.org/an[...] 2013
[193] 논문 Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank https://nlp.stanford[...] Association for Computational Linguistics 2013-10-01
[194] 웹사이트 A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval https://www.microsof[...] 2014-11-01
[195] 웹사이트 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data https://www.microsof[...] 2013-10-01
[196] 논문 Using recurrent neural networks for slot filling in spoken language understanding
[197] 논문 Sequence to Sequence Learning with Neural Networks https://papers.nips.[...] 2014
[198] 웹사이트 Learning Continuous Phrase Representations for Translation Modeling https://www.microsof[...] 2014-06-01
[199] 논문 Authorship verification using deep belief network systems
[200] 논문 Precision information extraction for rare disease epidemiology at scale 2023
[201] 웹사이트 Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research https://www.microsof[...]
[202] 웹사이트 Found in translation: More accurate, fluent sentences in Google Translate https://blog.google/[...] 2016-11-15
[203] 웹사이트 Zero-Shot Translation with Google's Multilingual Neural Machine Translation System https://research.goo[...] 2016-11-22
[204] arXiv Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
[205] 잡지 An Infusion of AI Makes Google Translate More Powerful Than Ever https://www.wired.co[...] 2016-09-27
[206] 웹사이트 MT on and for the Web http://www-clips.ima[...] 2010
[207] 논문 Trial watch: Phase II and phase III attrition rates 2011-2012
[208] 논문 Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project
[209] 웹사이트 Merck Molecular Activity Challenge https://kaggle.com/c[...]
[210] 웹사이트 Multi-task Neural Networks for QSAR Predictions http://www.datascien[...]
[211] 문서 Toxicology in the 21st century Data Challenge
[212] 웹사이트 NCATS Announces Tox21 Data Challenge Winners https://tripod.nih.g[...] 2015-03-05
[213] 웹사이트 NCATS Announces Tox21 Data Challenge Winners http://www.ncats.nih[...] 2015-03-05
[214] 논문 AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery 2015-10-09
[215] 뉴스 Toronto startup has a faster way to discover effective medicines https://www.theglobe[...] 2015-11-09
[216] 웹사이트 Startup Harnesses Supercomputers to Seek Cures http://ww2.kqed.org/[...] 2015-05-27
[217] 논문 Neural Message Passing for Quantum Chemistry 2017-06-12
[218] 논문 Deep learning enables rapid identification of potent DDR1 kinase inhibitors 2019
[219] 잡지 A Molecule Designed By AI Exhibits 'Druglike' Qualities https://www.wired.co[...] 2019-09-05
[220] 논문 Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space 2015-04-08
[221] 서적 Advances in Neural Information Processing Systems 26 http://papers.nips.c[...] Curran Associates, Inc. 2017-06-14
[222] 논문 The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study
[223] 웹사이트 A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems https://www.microsof[...] 2015-05-01
[224] 서적 Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics http://dl.acm.org/ci[...] ACM 2014-01-01
[225] 논문 Sleep Quality Prediction From Wearable Data Using Deep Learning 2016-01-01
[226] 논문 Using recurrent neural network models for early detection of heart failure onset 2016-08-13
[227] 웹사이트 DeepMind's protein-folding AI has solved a 50-year-old grand challenge of biology https://www.technolo[...] 2024-05-10
[228] 웹사이트 DeepMind solves 50-year-old 'grand challenge' with protein folding A.I. https://www.cnbc.com[...] 2020-11-30
[229] 논문 Neural Joint Entropy Estimation https://www.iradbeng[...] 2022
[230] 논문 A survey on deep learning in medical image analysis 2017-12
[231] 서적 2017 IEEE International Conference on Computer Vision Workshops (ICCVW)
[232] 논문 Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework 2020
[233] 논문 System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network 2022-04-03
[234] 서적 2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA)
[235] 웹사이트 Colorizing and Restoring Old Images with Deep Learning https://blog.floydhu[...] 2018-11-13
[236] 컨퍼런스 Shrinkage Fields for Effective Image Restoration http://research.uwes[...]
[237] 논문 Gated Mixture Variational Autoencoders for Value Added Tax audit case selection
[238] 웹사이트 Deep learning: the next frontier for money laundering detection https://www.globalba[...] 2018-06-28
[239] 웹사이트 Google DeepMind's materials AI has already discovered 2.2 million new crystals https://venturebeat.[...] 2023-11-29
[240] 논문 Scaling deep learning for materials discovery 2023-12
[241] 논문 Google AI and robots join forces to build new materials https://www.nature.c[...] 2023-11-29
[242] 웹사이트 Army researchers develop new algorithms to train robots https://www.eurekale[...]
[243] 논문 Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations 2019-02-01
[244] 논문 Physics-informed neural networks for high-speed flows 2020-03-01
[245] 논문 Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations 2020-02-28
[246] 논문 Solving high-dimensional partial differential equations using deep learning
[247] 논문 High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction 2021
[248] 논문 Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction 2020-12
[249] 논문 Learning skillful medium-range global weather forecasting 2023-12-22
[250] 웹사이트 GraphCast: A breakthrough in Weather Forecasting https://ramkrishna29[...] 2024-05-19
[251] 논문 DeepMAge: A Methylation Aging Clock Developed with Deep Learning
[252] 논문 Many-layered learning
[253] 서적 Rethinking Innateness: A Connectionist Perspective on Development https://books.google[...] MIT Press
[254] 논문 Dynamic plasticity influences the emergence of function in a simple cortical array
[255] 논문 The neural basis of cognitive development: A constructivist manifesto
[256] 뉴스 In brain's early growth, timetable may be critical
[257] 논문 A more biologically plausible learning rule for neural networks. 1991-05-15
[258] 논문 Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm 1996-07-01
[259] 논문 Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions 2016
[260] 논문 Letter perception emerges from unsupervised deep learning and recycling of natural image features 2017-09
[261] 논문 Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons 2011-11-03
[262] 논문 Linear summation of excitatory inputs by CA1 pyramidal neurons 1999-02
[263] 논문 Sparse coding of sensory inputs 2004-08-01
[264] 논문 Using goal-driven deep learning models to understand sensory cortex 2016-03
[265] 논문 An emergentist perspective on the origin of number sense 2018-02-19
[266] 논문 Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream 2015-07-08
[267] 잡지 Facebook's 'Deep Learning' Guru Reveals the Future of AI https://www.wired.co[...] 2013-12-12
[268] 논문 Google AI algorithm masters ancient game of Go
[269] 논문 Mastering the game of Go with deep neural networks and tree search 2016-01-28
[270] 웹사이트 A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go http://www.technolog[...]
[271] 뉴스 A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up https://www.nytimes.[...] 2017-11-06
[272] 간행물 TAMER: Training an Agent Manually via Evaluative Reinforcement
[273] 웹사이트 Talk to the Algorithms: AI Becomes a Faster Learner https://governmentci[...] 2018-05-16
[274] 웹사이트 In defense of skepticism about deep learning https://medium.com/@[...] 2018-01-14
[275] 웹사이트 DARPA is funding projects that will try to open up AI's black boxes https://www.technolo[...] 2017-03-14
[276] 잡지 Is "Deep Learning" a Revolution in Artificial Intelligence? https://www.newyorke[...] 2012-11-25
[277] 웹사이트 Inceptionism: Going Deeper into Neural Networks http://googleresearc[...] Google Research Blog 2015-06-17
[278] 뉴스 Yes, androids do dream of electric sheep https://www.theguard[...] 2015-06-18
[279] 웹사이트 Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? http://goertzel.org/[...]
[280] 논문 Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
[281] arXiv Intriguing properties of neural networks
[282] journal A stochastic grammar of images
[283] 논문 Pattern conception University of Michigan
[284] 웹사이트 Deep Learning of Recursive Structure: Grammar Induction https://web.archive.[...] 2015-05-10
[285] 웹사이트 Hackers Have Already Started to Weaponize Artificial Intelligence https://gizmodo.com/[...] 2017-09-11
[286] 웹사이트 How hackers can force AI to make dumb mistakes https://www.dailydot[...] 2018-06-18
[287] 뉴스 AI Is Easy to Fool—Why That Needs to Change https://singularityh[...] 2017-10-10
[288] journal The scientist who spots fake videos https://www.nature.c[...]
[289] journal Whose intelligence is artificial intelligence? https://hal.science/[...] 2020
[290] journal Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning https://depositonce.[...] 2019-11-06
[291] journal Deep Learning https://www.semantic[...] 2012-11-01
[292] 웹사이트 Deep Learning https://www.deeplear[...] マサチューセッツ工科大学出版局 2021-02-04
[293] 문서 Deep Learning の定義
[294] book 深層学習 近代科学社
[295] 문서 심층 신경망 정의
[296] 문서 심층 학습
[297] book 深層学習 (機械学習プロフェッショナルシリーズ) 2015-04-08
[298] 문서 심층 학습 관련 자료
[299] 웹사이트 ChatGPTを賢くする呪文 - 日本経済新聞 https://www.nikkei.c[...] 2023-05-07
[300] 웹사이트 人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋ https://globe.asahi.[...] 2022-08-28
[301] 웹사이트 加藤邦人 {{!}} 岐阜大学 人工知能研究推進センター https://www1.gifu-u.[...] 2023-05-07
[302] 문서 arXiv 논문 참고
[303] book 深層学習 (機械学習プロフェッショナルシリーズ) 2015-04-08
[304] book 深層学習 近代科学社
[305] 문서 심층 신경망 정의
[306] 웹사이트 Deep Learning https://www.deeplear[...] An MIT Press book 2021-02-03
[307] 문서 인공지능과 뇌
[308] 웹사이트 ディープラーニングはビジネスにどう使えるか? http://wirelesswire.[...] WirelessWire News 2015-05-20
[309] 웹사이트 ネオコグニトロン http://dbnst.nii.ac.[...]
[310] 웹사이트 位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン --- http://search.ieice.[...] 電子通信学会論文誌A 1979-10-01
[311] 웹사이트 「ネオコグニトロンはまだ進化する」、画像向けディープラーニング「CNN」の父に聞く https://xtech.nikkei[...] 2015-05-22
[312] 웹사이트 ［CEDEC 2015］画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する https://www.4gamer.n[...] 4gamer 2015-08-29
[313] 웹사이트 MNIST Demos on Yann LeCun's website http://yann.lecun.co[...]
[314] journal Who Is the Father of Deep Learning? https://ieeexplore.i[...] 2019-12
[315] 문서 積層自己符号化器
[316] 웹사이트 ［脳に挑む人工知能1］驚異のディープラーニング、その原型は日本人が開発 https://xtech.nikkei[...] 日経 xTECH（クロステック） 2014-10-01
[317] 웹사이트 【第四回】今、最も熱いディープラーニングを体験してみよう（2ページ） http://enterprisezin[...] エンタープライズ 2015-01-14
[318] 웹사이트 A Neural Network for Machine Translation, at Production Scale https://ai.googleblo[...] 2016-09-27
[319] 웹사이트 4-9 Surviving in the New Information Economy - Adopting a Learning Lifestyle https://www.coursera[...] 2023-07-30
[320] 뉴스 Startup Stability Releases New AI Model For Stable Diffusion as Deep-Fake Concerns Rise https://www.bloomber[...] 2023-06-22
[321] 웹사이트 ChatGPT — Release Notes {{!}} OpenAI Help Center https://help.openai.[...] 2023-07-30
[322] 웹사이트 Googleのディープラーニングはレトロゲームを自分で学習してプレイする https://ascii.jp/ele[...] ascii×デジタル 2015-03-21
[323] 웹사이트 グーグルが開発を進めている、写真を「自動的に説明する」技術 http://wired.jp/2014[...] wired 2014-11-20
[324] 웹사이트 ディープラーニングというGPUの新市場 https://pc.watch.imp[...] PC Watch 2014-04-17
[325] 웹사이트 画像をアップすると自動で説明文を生成してくれる「Images to Text」 https://gigazine.net[...] GIGAZINE 2014-12-13
[326] 웹사이트 グーグルが開発を進めている、写真を「自動的に説明する」技術 http://wired.jp/2014[...] WIRED 2014-11-20
[327] 웹사이트 人工知能は世界をもっと認識できる：グーグルのコンピューターヴィジョン http://wired.jp/2014[...] WIRED 2014-09-09
[328] 웹사이트 CEDEC 2015 画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する https://www.4gamer.n[...]
[329] 웹사이트 Googleの囲碁AI『AlphaGo』がプロ棋士に勝利、史上初の快挙。自己対局を機械学習して上達 http://japanese.enga[...] Engadget 2016-01-28
[330] 웹사이트 「囲碁の謎」を解いたグーグルの超知能は、人工知能の進化を10年早めた http://wired.jp/2016[...] WIRED 2016-01-31
[331] 뉴스 ＜囲碁：人間ｖｓ人工知能＞李世ドル「必ず勝ちたかったが、３連敗した時より今日のほうが辛かった」 https://web.archive.[...] 중앙일보 2016-03-16
[332] 웹사이트 AlphaGoが最終戦も勝利で3連勝 http://www.nihonkiin[...] 일본기원 2017-05-27
[333] 웹사이트 Facebook、人工知能研究ラボを立ち上げ https://www.itmedia.[...] ITMedia News 2013-12-10
[334] 웹사이트 Facebook、ディープラーニング開発環境「Torch」向けモジュールをオープンソースで公開 https://www.itmedia.[...] ITMedia News 2015-01-19
[335] 웹사이트 Facebook、ディープラーニング技術をオープンソースに http://japan.zdnet.c[...] ZDNet Japan 2015-01-19
[336] 논문 機械翻訳の新しいパラダイム：ニューラル機械翻訳の原理 2017
[337] 논문 Techniques and Paradigms in Modern Game AI Systems 2022-08-12
[338] 논문 What do games teach us about designing effective human-AI cooperation? - A systematic literature review and thematic synthesis on design patterns of non-player characters
[339] 웹사이트 人とくるまのテクノロジー展2015 - 「ディープラーニング」を採用したZMPのRoboCar MiniVan https://news.mynavi.[...] 마이나비 뉴스 2015-05-20
[340] 논문 Deep-learning-based imaging-classification identified cingulate island sign in dementia with Lewy bodies 2019-06-20
[341] 뉴스 顔認証で市民監視、中国の新たなAIツール http://jp.wsj.com/ar[...] 월스트리트 저널 2017-06-30
[342] 뉴스 アングル：中国の顔認証技術に活況投資、監視用の需要も後押し https://jp.reuters.c[...] 로이터 2017-11-18
[343] 뉴스 中国の「超ＡＩ監視社会」－－新疆ウイグル自治区では“体内”まで監視！ https://wpb.shueisha[...] 集英社 2018-02-03
[344] 뉴스 中国、新疆ウイグル自治区で顔認識システム運用をテスト。指定地域から300m以上離れると当局に警告 http://japanese.enga[...] Engadget 2018-01-20
[345] 뉴스 中国が「AI超大国」になる動きは、もはや誰にも止められない https://wired.jp/201[...] WIRED 2017-08-16
[346] 뉴스 「深層学習の父」、中国のＡＩ利用に警鐘 https://web.archive.[...] 산케이 비즈 2019-04-01
[347] 뉴스 Deep Learning ‘Godfather’ Bengio Worries About China's Use of AI https://www.bloomber[...] 블룸버그 2019-02-02
[348] 웹사이트 AI使った偽ポルノ「被害に対する原状回復は絶望的なほど困難」“ディープフェイク”技術の問題点とは：中日スポーツ・東京中日スポーツ https://www.chunichi[...] 2021-03-31
[349] 웹사이트 AIだって騙される？AIの抱える弱点とは一体何か｜セキュリティ通信 https://securitynews[...] 2021-04-01
[350] 논문 Deep Learning in Mining Biological Data 2021-01-01
[351] 논문 An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification http://papers.nips.c[...]
[352] 논문 Generalization and Network Design Strategies http://yann.lecun.co[...]
[353] 논문 Backpropagation applied to handwritten zip code recognition
[354] 논문 ImageNet Classification with Deep Convolutional Neural Networks http://papers.nips.c[...]
[355] 논문 Attention Is All You Need https://arxiv.org/ab[...] 2017-12-05
[356] 논문 MLP-Mixer: An all-MLP Architecture for Vision https://arxiv.org/ab[...] 2021-06-11
[357] 서적 深層学習
[358] 웹사이트 1806.02375バッチ正規化について https://arxiv.org/ab[...]
[359] 웹사이트 Understanding Batch Normalization · Issue #942 · arXivTimes/arXivTimes · GitHub https://github.com/a[...]
[360] 웹사이트 論文紹介 Understanding Batch Normalization - じんべえざめのノート https://jinbeizame.h[...]
[361] 논문 Tensor Quantization: High-Dimensional Data Compression https://ieeexplore.i[...] 2022-08
[362] 논문 Neural Discrete Representation Learning
[363] 논문 Neural Discrete Representation Learning
[364] 논문 Differentiable Product Quantization for End-to-End Embedding Compression PMLR
[365] 논문 Differentiable Product Quantization for End-to-End Embedding Compression PMLR
[366] 논문 Differentiable Product Quantization for End-to-End Embedding Compression PMLR
[367] 논문 Finite Scalar Quantization: VQ-VAE Made Simple
[368] 논문 Finite Scalar Quantization: VQ-VAE Made Simple
[369] 논문 Finite Scalar Quantization: VQ-VAE Made Simple
[370] 논문 Representation Learning: A Review and New Perspectives
[371] 웹사이트 How Many Computers to Identify a Cat? 16,000 http://www.nytimes.c[...]
[372] 웹인용 보관된 사본 http://cs.stanford.e[...] 2014-07-08
[373] 웹사이트 http://techcrunch.co[...]
[374] 뉴스 MIT, 올해의 10대 혁신기술 선정 http://news.donga.co[...]
[375] 뉴스 가트너, 2014 세계 IT 시장 10대 주요 예측 발표 http://www.acrofan.c[...]
[376] 논문 Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position http://www.cs.prince[...]
[377] 논문 Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences Harvard University
[378] 논문 Backpropagation Applied to Handwritten Zip Code Recognition https://www.ics.uci.[...]
[379] 논문 Untersuchungen zu dynamischen neuronalen Netzen Institut f. Informatik, Technische Univ. Munich
[380] 논문 Gradient flow in recurrent nets: the difficulty of learning long-term dependencies IEEE Press
[381] 웹사이트 http://www.wired.com[...]
[382] 논문 Learning multiple layers of representation
[383] 논문 Improving DNNs for LVCSR using rectified linear units and dropout
[384] 논문 Representation Learning: A Review and New Perspectives
[385] 논문 Deep Learning in Neural Networks: An Overview http://arxiv.org/abs[...]
[386] 논문 Deep neural networks for object detection Advances in Neural Information Processing Systems 2013
[387] 간행물 Recurrent neural network based language model Interspeech 2010
[388] 저널 Gradient-based learning applied to document recognition
[389] 간행물 Convolutional neural networks for LVCSR ICASSP 2013
[390] 저널 Deep Neural Networks for Acoustic Modeling in Speech Recognition: The shared views of four research groups 2012-11
[391] 간행물 Advances in optimizing recurrent networks ICASSP 2013
[392] 간행물 Improving DNNs for LVCSR using rectified linear units and dropout ICASSP 2013
[393] 보고서 A Practical Guide to Training Restricted Boltzmann Machines Tech. Rep. UTML TR 2010-003, Dept. CS., Univ. of Toronto 2010
[394] 웹사이트 http://www.cs.toront[...]
[395] 논문 A Novel Connectionist System for Improved Unconstrained Handwriting Recognition 2009
[396] 논문 Human-level control through deep reinforcement learning http://www.nature.co[...] 2015
[397] 데이터셋 TIMIT Acoustic-Phonetic Continuous Speech Corpus Linguistic Data Consortium, Philadelphia
[398] 논문 New types of deep neural network learning for speech recognition and related applications: An overview ICASSP 2013
[399] 워크숍 NIPS Workshop: Deep Learning for Speech Recognition and Related Applications 2009-12
[400] 논문 Convolutional Neural Networks for Speech Recognition 2014
[401] 간행물 Ensemble Deep Learning for Speech Recognition Proc. Interspeech 2014
[402] 간행물 Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition NIPS Workshop on Deep Learning and Unsupervised Feature Learning 2010
[403] 간행물 Recent Advances in Deep Learning for Speech Research at Microsoft ICASSP 2013
[404] 서적 Automatic Speech Recognition: A Deep Learning Approach Springer 2014
[405] 논문 Machine Learning Paradigms for Speech Recognition: An Overview 2013
[406] 서적 Deep Learning: Methods and Applications http://research.micr[...] 2014
[407] 뉴스 How Skype Used AI to Build Its Amazing New Language Translator Wire 2014-12
[408] 논문 Deep Speech: Scaling up end-to-end speech recognition 2014
[409] 인터뷰 Accuracy, Apps Advance Speech Recognition --- Interview with Vlad Sejnoha and Li Deng 2015-01
[410] 보고서 Multi-column Deep Neural Networks for Image Classification Technical Report No. IDSIA-04-12 2012
[411] 논문 Show and Tell: A Neural Image Caption Generator 2014
[412] 논문 From Captions to Visual Concepts and Back 2014
[413] 논문 Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models 2014
[414] 저널 Bilinear Deep Learning for Image Classification 2015-04-05
[415] 뉴스 Nvidia Demos a Car Computer Trained with "Deep Learning" http://www.technolog[...] MIT Technology Review 2015-01-06
[416] 웹사이트 Announcement of the winners of the Merck Molecular Activity Challenge https://www.kaggle.c[...]
[417] 논문 Multi-task Neural Networks for QSAR Predictions ArXiv 2014
[418] 웹사이트 Toxicology in the 21st century Data Challenge https://tripod.nih.g[...]
[419] 뉴스 NCATS Announces Tox21 Data Challenge Winners http://www.ncats.nih[...] 2015-02-28
[420] 논문 Deep Learning as an Opportunity in Virtual Screening http://www.bioinf.jk[...] Workshop on Deep Learning and Representation Learning (NIPS2014) 2014
[421] 논문 Toxicity Prediction using Deep Learning http://arxiv.org/pdf[...] 2015
[422] 논문 Massively Multitask Networks for Drug Discovery 2015
[423] 논문 Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space http://arxiv.org/abs[...] 2015-04-08
[424] 논문 Rethinking Innateness 1996
[425] 논문 Dynamic plasticity influences the emergence of function in a simple cortical array 1996
[426] 논문 The neural basis of cognitive development: A constructivist manifesto 1997
[427] 뉴스 In brain's early growth, timetable may be critical The New York Times 1995
[428] 논문 Human neoteny revisited: The case of synaptic plasticity 2011
[429] 웹사이트 Facebook's 'Deep Learning' Guru Reveals the Future of AI http://www.wired.com[...] Wired 2013-12-12
[430] 웹사이트 Is "Deep Learning" a Revolution in Artificial Intelligence? The New Yorker 2012-11-25


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com