맨위로가기

LeNet

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

LeNet은 1980년대 후반 얀 르쿤이 개발한 초기 컨볼루션 신경망(CNN)으로, 필기체 숫자 인식을 위해 설계되었다. LeNet-1, LeNet-4, LeNet-5 등 여러 버전이 있으며, CNN의 기본 구조인 합성곱 계층, 풀링 계층, 완전 연결 계층을 포함한다. LeNet-5는 7개의 층으로 구성되었으며, 필기체 숫자 인식 및 수표 판독 등 다양한 분야에 적용되었다. LeNet의 개발은 딥러닝 발전에 중요한 영향을 미쳤으며, 이후 CNN 연구의 기반이 되었다.

더 읽어볼만한 페이지

  • 인공신경망 - 인공 뉴런
    인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다.
  • 인공신경망 - 퍼셉트론
    퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.
LeNet
개요
다양한 CNN 아키텍처 비교
다양한 CNN 아키텍처 비교
유형합성곱 신경망
개발자얀 르쿤
개발일1988년
구조
계층입력
합성곱 계층
풀링 계층
완전 연결 계층
활성화 함수시그모이드 함수
손실 함수평균 제곱 오차
학습 알고리즘역전파 알고리즘
사용 예시
응용 분야필기 숫자 인식
이미지 분류

2. 개발 역사

LeNet은 초기 합성곱 신경망 중 하나로, 딥러닝 개발을 촉진했다. 1988년 이후, 오랜 연구와 여러 차례의 성공을 거쳐 이 선구적인 연구는 LeNet-5로 명명되었다.

얀 르쿤(2018년)


LeNet-5 개발 이전의 LeNet 개발 역사는 다음과 같이 요약될 수 있다.

LeNet 개발 역사
연도주요 내용
1988년얀 르쿤이 AT&T 벨 연구소 합류, 필기체 우편 번호 인식을 위한 신경망 설계 (컨볼루션 커널은 수작업 설계).[3]
1989년얀 르쿤 등, 역전파 알고리즘 최초 실용화, LeNet-1 제안.[9] 신경망 자유 매개변수 최소화가 일반화 능력 향상 증명.[4]
1990년역전파 네트워크를 필기체 숫자 인식에 적용 (오류율 1%, 거부율 9%).[5]
1994년MNIST 데이터베이스 개발, LeNet-4 개발.[6]
1995년LeNet-5 개발, 필기체 문자 인식에서 다른 모델보다 우수한 성능 입증.[7]
1998년신경망 실제 응용 사례 (온라인 필기체 문자 인식, 수표 판독) 제시.[8]


2. 1. 1980년대 후반: LeNet-1의 등장

1988년, 르쿤은 로렌스 D. 재켈이 이끄는 AT&T 벨 연구소(AT&T Bell Laboratories)의 홀름델에 있는 적응형 시스템 연구 부서에 합류했다. 같은 해, 르쿤 외 연구진은 필기체 우편 번호를 인식하는 신경망 설계를 발표했다. 하지만, 그 컨볼루션 커널은 수작업으로 설계되었다.[3]

1989년, 얀 르쿤 외 연구진은 벨 연구소에서 처음으로 역전파 알고리즘을 실제 응용 분야에 적용했으며, 과제 도메인의 제약 조건을 제공함으로써 네트워크 일반화 능력을 크게 향상시킬 수 있다고 믿었다. 그는 역전파 알고리즘으로 훈련된 컨볼루션 신경망을 결합하여 필기체 숫자를 읽도록 했고, 이를 미국 우체국(US Postal Service)에서 제공하는 필기체 우편 번호 식별에 성공적으로 적용했다. 이것이 나중에 '''LeNet-1'''이라고 불리게 된 프로토타입이었다.[9] 같은 해, 르쿤은 다른 논문에서 작은 필기체 숫자 인식 문제를 설명했으며, 문제가 선형적으로 분리 가능하더라도 단층 네트워크는 일반화 능력이 떨어지는 것을 보였다. 다층의 제약된 네트워크에서 이동 불변 특징 감지기를 사용했을 때, 모델은 매우 좋은 성능을 보였다. 그는 이러한 결과가 신경망의 자유 매개변수 수를 최소화하면 신경망의 일반화 능력을 향상시킬 수 있음을 증명했다고 믿었다.[4]

2. 2. 1990년대 초중반: LeNet-4, LeNet-5의 발전

1990년, 얀 르쿤과 동료 연구자들은 최소한의 전처리만으로 필기체 숫자 인식에 역전파 네트워크를 적용한 연구 결과를 발표했다. 이들은 신중하게 설계된 제약적인 모델을 사용했으며, 미국 우정청에서 제공한 우편 번호 디지털 데이터에 대한 테스트 결과 모델의 오류율은 1%, 거부율은 약 9%를 기록했다.[5]

1994년에는 MNIST 데이터베이스가 개발되었고, 기존의 LeNet-1은 너무 작아 이를 기반으로 새로운 '''LeNet-4'''가 훈련되었다.[6]

1995년, AT&T 벨 연구소는 '''LeNet-5'''를 소개하고 필기체 문자 인식에 대한 다양한 방법을 비교하는 논문을 발표했다. 비교 결과 LeNet-5가 다른 모델보다 성능이 우수했다.[7]

1990년대 초중반 LeNet-4, LeNet-5 발전 연대표
연도사건
1990년필기체 숫자 인식에 역전파 네트워크 적용 연구 발표 (오류율 1%, 거부율 9%).[5]
1994년MNIST 데이터베이스 개발 및 LeNet-4 훈련.[6]
1995년AT&T 벨 연구소에서 LeNet-5 소개. 필기체 문자 인식에서 다른 모델보다 우수한 성능 입증.[7]


2. 3. 1990년대 후반: 상용화 및 학계의 주목

1998년, 얀 르쿤, 레옹 보투, 요슈아 벤지오, 패트릭 하프너는 온라인 필기체 문자 인식 시스템 두 개와 하루에 수백만 개의 수표를 읽을 수 있는 모델 등 신경망의 실제 응용 사례를 제시했다.[8]

이 연구는 큰 성공을 거두어 학자들의 신경망 연구에 대한 관심을 불러일으켰다. 오늘날 최고의 성능을 보이는 신경망의 아키텍처는 LeNet의 아키텍처와 같지 않지만, 이 네트워크는 많은 신경망 아키텍처의 시작점이 되었고 이 분야에 영감을 주었다.

LeNet-5 개발 및 상용화
연도내용
1989년얀 르쿤 외 연구진이 LeNet의 원래 형태(LeNet-1)를 제안[9], 신경망에서 자유 매개변수 수를 최소화하면 신경망의 일반화 능력을 향상시킬 수 있음을 증명.[4]
1990년필기체 숫자 인식에 LeNet-1에 대한 역전파 적용.[5]
1994년MNIST 데이터베이스 및 LeNet-4 개발[6]
1995년LeNet-5 개발, 다양한 방법이 필기체 문자 인식에 적용되어 표준 필기체 숫자 인식 벤치마크와 비교됨. 결과는 합성곱 신경망이 다른 모든 모델보다 성능이 우수함을 보여줌.[7]
1998년실제 응용 사례 (온라인 필기체 문자 인식 시스템, 수표 판독기 등) 제시.[1]


2. 4. 연대표

LeNet 개발 연대표
1988년얀 르쿤이 AT&T 벨 연구소의 적응형 시스템 연구 부서에 합류.[3] 같은 해, 르쿤 외 연구진은 필기체 우편 번호를 인식하는 신경망 설계를 발표했지만, 컨볼루션 커널은 수작업으로 설계됨.[3]
1989년얀 르쿤 외 연구진이 역전파 알고리즘을 실제 응용 분야에 처음으로 적용하고, LeNet의 초기 형태(LeNet-1)를 제안.[9] 얀 르쿤은 신경망의 자유 매개변수 수를 최소화하면 일반화 능력이 향상될 수 있음을 증명.[4]
1990년필기체 숫자 인식에 LeNet-1에 대한 역전파 적용. 오류율 1%, 거부율 약 9% 달성.[5]
1994년MNIST 데이터베이스 및 LeNet-4 개발.[6]
1995년LeNet-5 개발. 필기체 문자 인식에 대한 다양한 방법들을 비교한 결과, 컨볼루션 신경망이 다른 모델들보다 우수한 성능을 보임.[7]
1998년얀 르쿤, 레온 보투, 요슈아 벤지오, 패트릭 하프너가 신경망의 실제 응용 사례(온라인 필기체 문자 인식 시스템, 수표 인식 모델 등)를 제시.[8]


3. 구조

LeNet은 초기 컨볼루션 신경망의 대표 주자로, 컨볼루션 계층, 풀링 계층, 완전 연결 계층 등 컨볼루션 신경망의 기본 단위를 갖추고 있어 이후 컨볼루션 신경망 개발의 기반을 마련했다.[9]

LeNet과 AlexNet의 컨볼루션, 풀링, 완전 연결 계층 비교


LeNet의 주요 특징은 다음과 같다.[9]

  • 모든 컨볼루션 계층은 컨볼루션, 풀링 및 비선형 활성화 함수의 세 부분으로 구성된다.
  • 컨볼루션을 사용하여 공간적 특징을 추출한다(컨볼루션은 원래 수용 필드라고 불렸다).
  • 서브샘플링을 위해 평균 풀링 계층을 사용한다.
  • 활성화 함수로 tanh를 사용한다.
  • 분류를 위한 마지막 계층으로 완전 연결 계층을 사용한다.
  • 계산 복잡성을 줄이기 위해 계층 간 희소 연결을 사용한다.


LeNet-5는 7개의 층으로 구성되며, 입력(32x32 픽셀) 외에 모든 계층은 학습 가능한 매개변수를 갖는다.[9]

  • C1 층: 6개의 5x5 크기 컨볼루션 커널로 구성된 컨볼루션 레이어이다. 28x28 크기의 특징 맵을 생성하여 입력 이미지의 정보가 컨볼루션 커널의 경계를 벗어나는 것을 방지한다.
  • S2 층: 14x14 크기의 특징 맵 6개를 출력하는 서브샘플링/풀링 레이어이다. C1의 해당 특징 맵에 있는 2x2 이웃에 연결된다.
  • C3 층: 16개의 5x5 컨볼루션 커널이 있는 컨볼루션 레이어이다. S2의 특징 맵 일부 또는 전체를 입력으로 받는다.
  • S4 층: S2와 유사하게 2x2 크기로 풀링하여 5x5 크기의 특징 맵 16개를 출력한다.
  • C5 층: 120개의 5x5 크기 컨볼루션 커널을 포함하는 컨볼루션 레이어이다. S4의 16개 특성 맵 모두에서 5x5 이웃에 연결되어 1x1 크기의 출력을 갖는다. S4와 C5는 완전히 연결되지만, 입력 크기가 커지면 출력도 커지므로 완전 연결 계층 대신 컨볼루션 계층으로 표시한다.
  • F6 층: C5에 완전히 연결되어 84개의 특성 맵을 출력한다.

3. 1. LeNet-1

LeNet-1은 3개의 은닉층(H1-H3)과 출력층으로 구성된 초기 컨볼루션 신경망 모델이다.[9] 1256개의 유닛, 64660개의 연결, 9760개의 독립적인 파라미터를 가진다.

층설명
H1 (컨볼루션)16x16 크기의 입력을 받아 5x5 커널을 사용하여 12x8x8 크기의 특징 맵을 생성한다.
H2 (컨볼루션)12x8x8 크기의 특징 맵을 받아 5x5 커널을 사용하여 12x4x4 크기의 특징 맵을 생성한다.
H3H2에 완전 연결된 30개의 유닛으로 구성된다.
출력H3에 완전 연결된 10개의 유닛으로, 0부터 9까지의 숫자를 나타낸다.



LeNet-1은 미국 우체국의 손으로 쓴 우편 번호에서 디지털화된 9298개의 흑백 이미지를 사용했다.[10] 훈련에는 7291개, 테스트에는 2007개의 이미지가 사용되었으며, 훈련은 썬 워크스테이션에서 3일이 소요되었다.

이전 모델(1988년)과 비교했을 때 LeNet-1은 입력 이미지의 골격화 과정을 제거하고, 컨볼루션 커널을 역전파를 통해 자동으로 학습하도록 개선되었다.[3]

개선된 LeNet-1 버전은 4개의 은닉층(H1-H4)과 출력층을 가지며, 28x28 픽셀 이미지를 입력으로 받는다.[11]

층설명
H1 (컨볼루션)28x28 크기의 입력을 받아 5x5 커널을 사용하여 4x24x24 크기의 특징 맵을 생성한다. 이 층은 104개의 학습 가능한 파라미터(커널 100개, 바이어스 4개)를 가진다.
H2 (풀링)4x24x24 크기의 특징 맵을 2x2 평균 풀링을 통해 4x12x12 크기로 줄인다.
H3 (컨볼루션)4x12x12 크기의 특징 맵을 받아 5x5 커널을 사용하여 12x8x8 크기의 특징 맵을 생성한다. 일부 커널은 1개 또는 2개의 특징 맵에서 입력을 받는다.
H4 (풀링)12x8x8 크기의 특징 맵을 2x2 평균 풀링을 통해 12x4x4 크기로 줄인다.
출력H4에 완전 연결된 10개의 유닛으로, 0부터 9까지의 숫자를 나타낸다.



이 버전은 4635개의 유닛, 98442개의 연결, 2578개의 학습 가능한 파라미터를 가지며, 이전 CNN[12]보다 학습 가능한 파라미터가 4배 더 많았다. 이후 최적의 뇌 손상 기법으로 최적화되었다.[13] 1회의 순방향 패스에는 약 14만 번의 곱셈-덧셈 연산이 필요하다.[6]

3. 2. LeNet-4



LeNet-4는 MNIST 데이터베이스에 맞게 설계된 LeNet-1의 확장판이다. 컨볼루션 계층에 더 많은 특징 맵을 포함하고 있으며, 마지막 컨볼루션 계층과 출력 유닛 모두에 완전히 연결된 추가적인 은닉 유닛 계층을 가지고 있다. LeNet-4는 2개의 컨볼루션, 2개의 평균 풀링 및 2개의 완전 연결 계층으로 구성되어 있으며, 약 17,000개의 훈련 가능한 매개변수를 가진다.[9]

1회의 순방향 패스에는 약 260,000회의 곱셈-덧셈 연산이 필요하다.

3. 3. LeNet-5

LeNet-5는 딥러닝 개발을 촉진한 초기 합성곱 신경망 중 하나이다. 1988년 이후 오랜 연구와 여러 차례의 성공을 거쳐 이 선구적인 연구는 LeNet-5로 명명되었다. LeNet-5는 7개의 층으로 구성되어 있으며, 컨볼루션 레이어, 풀링 계층, 완전 연결 계층 등 컨볼루션 신경망의 기본 단위를 가지고 있어, 이후 컨볼루션 신경망 개발의 기반을 마련하였다.[9]

LeNet-5 아키텍처 블록 다이어그램


LeNet-5 아키텍처 (상세)


LeNet-5의 구조는 다음과 같다. (입력층은 제외)

  • C1 층: 5x5 크기의 6개 컨볼루션 커널로 구성된 컨볼루션 레이어이다. 특징 매핑의 크기는 28x28로, 입력 이미지(32x32 픽셀)의 정보가 컨볼루션 커널의 경계를 벗어나는 것을 방지한다.
  • S2 층: 14x14 크기의 특징 맵 6개를 출력하는 서브샘플링/풀링 레이어이다. 각 특징 맵의 각 셀은 C1의 해당 특징 맵에 있는 2x2 이웃에 연결된다.
  • C3 층: 16개의 5x5 컨볼루션 커널이 있는 컨볼루션 레이어이다. 처음 6개의 C3 특징 맵의 입력은 S2에 있는 3개의 특징 맵의 각 연속 하위 집합이고, 다음 6개의 특징 맵은 4개의 연속적인 하위 집합, 다음 3개는 S2에서 나온 4개의 불연속적인 하위 집합을 입력으로 받는다. 마지막 특징 맵은 S2의 모든 특징 맵을 입력으로 받는다.
  • S4 층: 크기가 2x2이고 출력이 16개의 5x5 특징 맵인 S2와 유사한 풀링 레이어이다.
  • C5 층: 5x5 크기의 컨볼루션 커널 120개를 포함하는 컨볼루션 레이어이다. 각 셀은 S4의 16개 특성 맵 모두에서 5x5 이웃에 연결된다. S4의 특성 맵 크기가 5x5이므로 C5의 출력 크기는 1x1이다. 따라서 S4와 C5는 완전히 연결된다. C5는 완전 연결 레이어 대신 컨벌루션 레이어로 표시되는데, 이는 LeNet-5 입력이 더 커지고 구조가 변경되지 않으면 출력 크기가 1x1보다 커지기 때문이다.
  • F6 층: C5에 완전히 연결되어 84개의 특성 맵이 출력된다.


LeNet-5는 얀 르쿤 등이 벨 연구소에서 역전파 알고리즘을 실용화하고, 합성곱 신경망과 결합하여 손으로 쓴 숫자를 읽는 데 성공하면서 개발되었다. 미국 우정청의 손으로 쓴 우편 번호 식별에 적용되어 1%의 오류율과 9%의 거부율을 달성했다.[20]

LeNet-5는 MNIST 데이터셋에 대해 약 20 에포크 동안 훈련되었으며, 단일 200 MHz R10000 프로세서를 사용하는 실리콘 그래픽스 오리진 2000 서버에서 2~3일의 CPU 시간이 소요되었다.[1]

3. 4. 핵심 구성 요소

LeNet은 컨볼루션 신경망의 기본 구성 요소인 컨볼루션 계층, 풀링 계층, 완전 연결 계층을 갖추고 있어, 이후 컨볼루션 신경망 개발의 토대가 되었다.[9][26]

LeNet-5는 입력층을 제외한 7개의 층으로 구성되며, 각 층에는 학습 가능한 매개변수가 있다.

  • C1 (컨볼루션 계층): 6개의 5x5 크기 컨볼루션 커널을 사용하여 28x28 크기의 특징 맵 6개를 생성한다. 이는 입력 이미지 정보가 커널 경계를 벗어나지 않도록 한다.
  • S2 (풀링 계층): C1의 특징 맵을 2x2 크기로 평균 풀링하여 14x14 크기의 특징 맵 6개를 만든다.
  • C3 (컨볼루션 계층): 16개의 5x5 크기 컨볼루션 커널을 사용하며, S2의 특징 맵 일부 또는 전체를 입력받아 10x10 크기의 특징 맵 16개를 생성한다.
  • 처음 6개는 S2의 3개 특징 맵의 연속적인 하위 집합을 입력받는다.
  • 다음 6개는 S2의 4개 특징 맵의 연속적인 하위 집합을,
  • 다음 3개는 S2의 4개 특징 맵의 불연속적인 하위 집합을 입력받는다.
  • 마지막 1개는 S2의 모든 특징 맵을 입력으로 받는다.
  • S4 (풀링 계층): S2와 마찬가지로 2x2 크기로 평균 풀링하여 5x5 크기의 특징 맵 16개를 생성한다.
  • C5 (컨볼루션 계층): 120개의 5x5 크기 컨볼루션 커널을 사용한다. S4의 모든 특징 맵(5x5 크기)과 연결되어 1x1 크기의 출력을 만든다. S4와 C5는 완전히 연결되어 있지만, 입력 크기가 커지면 출력 크기도 커지기 때문에 C5는 완전 연결 계층이 아닌 컨볼루션 계층으로 표시한다.
  • F6 (완전 연결 계층): C5와 완전히 연결되어 84개의 특징 맵을 출력한다.[9]


LeNet의 주요 특징은 다음과 같다.[9]

  • 컨볼루션 계층은 컨볼루션, 풀링, 비선형 활성화 함수의 세 가지 요소로 구성된다.
  • 공간적 특징 추출을 위해 컨볼루션(수용 필드)을 활용한다.
  • 서브샘플링을 위해 평균 풀링 계층을 사용한다.
  • 활성화 함수로 tanh를 사용한다.
  • 분류를 위해 마지막 계층에 완전 연결 계층을 둔다.
  • 계산 복잡성을 줄이기 위해 계층 간 희소 연결을 적용한다.

4. 응용

LeNet은 간단한 숫자 이미지 인식을 위해 만들어졌기 때문에 이 분야에서 가장 고전적으로 응용되었다. 1998년 얀 르쿤, 레온 보투, 요슈아 벤지오, 패트릭 하프너는 LeNet을 활용한 다양한 방법들을 리뷰하고, 표준 손글씨 숫자를 사용한 벤치마크 결과를 발표했다. LeNet은 다른 모든 모델들보다 우수한 성능을 보였으며, 온라인 손글씨 문자 인식 시스템, 하루에 수백만 개의 수표를 읽을 수 있는 모델 등, 신경망의 실용적인 응용 사례를 제시했다.[21]

이러한 연구는 큰 성공을 거두어, 신경망 연구에 대한 학자들의 관심을 불러일으켰다. 비록 현재 가장 성능이 높은 신경망 아키텍처는 LeNet과 같지 않지만, LeNet은 다수의 신경망 아키텍처의 출발점이 되었고, 이 분야에 큰 영감을 주었다.

4. 1. 필기체 숫자 인식

얀 르쿤 등은 1989년에 LeNet-1을 개발했다. 논문 ''필기 우편번호 인식에 적용된 역전파(Backpropagation Applied to Handwritten Zip Code Recognition)''[9]는 이러한 제약 조건을 네트워크 아키텍처를 통해 역전파 네트워크에 통합할 수 있는 방법을 보여주었다. 이는 미국 우정청에서 제공하는 필기 우편번호 숫자 인식에 성공적으로 적용되었다.[9]

1990년, 손으로 쓴 숫자 인식에 역전파 네트워크를 적용한 것에 대해 다시 언급한 논문에서는 데이터에 최소한의 전처리만 행했고, 모델은 이 태스크를 위해 신중하게 설계되었으며, 매우 제약이 많은 것이었다. 입력 데이터는 숫자를 포함하는 이미지였고, 미국 우정청이 제공하는 우편 번호 디지털 데이터로 테스트한 결과, 모델의 오류율은 단 1%, 거부율은 약 9%였다.[20]

4. 2. 수표 판독

얀 르쿤 등은 1989년에 LeNet-1을 개발했다. ''필기 우편번호 인식에 적용된 역전파(Backpropagation Applied to Handwritten Zip Code Recognition)''[9]는 이러한 제약 조건을 네트워크 아키텍처를 통해 역전파 네트워크에 통합할 수 있는 방법을 보여주었으며, 이는 미국 우체국에서 제공하는 필기 우편번호 숫자 인식에 성공적으로 적용되었다.[9]

LeNet-1 개발 이후, 실시간 응용 프로그램 시연을 위해 초당 1,250만 번의 곱셈-덧셈 연산을 수행하는 AT&T DSP-32C 디지털 신호 프로세서[14]에 신경망을 로드했다. 초당 10개의 숫자를 정규화하고 분류하거나, 초당 30개의 정규화된 숫자를 분류할 수 있었다. 그 직후, 연구 그룹은 NCR(1991년 AT&T에 인수됨)의 개발 그룹 및 제품 그룹과 협력하기 시작했다. 그 결과 DSP-32C에 LeNet이 탑재되어 수표의 숫자 금액을 읽을 수 있는 ATM 기기가 개발되었다. 이후 NCR은 은행 백 오피스의 대형 수표 판독기에 유사한 시스템을 배치했다.[15]

5. 개발 분석

LeNet-5는 초기 합성곱 신경망(CNN) 중 하나로, 딥러닝 개발을 촉진했다. 1988년 이후 오랜 연구와 여러 차례의 성공을 거쳐 이 선구적인 연구는 LeNet-5로 명명되었다.

5. 1. CNN의 출현

LeNet-5는 CNN의 출현을 알리고, CNN의 기본 구성 요소를 정의했다.[1] 하지만 당시에는 GPU와 같은 하드웨어 부족과 SVM 등 다른 알고리즘들이 LeNet과 유사하거나 더 나은 성능을 보여 널리 사용되지 못했다.

1989년, 벨 연구소의 얀 르쿤 등은 역전파 알고리즘을 처음으로 실용화하여, 손으로 쓴 숫자를 읽는 데 적용했다. 이것이 LeNet 신경망의 원형이 되었다.[18] 같은 해, 얀 르쿤은 작은 손글씨 숫자 인식 문제에서 다층의 제약된 네트워크에서 시프트 불변 특징 검출기를 사용함으로써 모델이 매우 좋은 성능을 발휘함을 보였다.[19]

1990년에는 최소한의 전처리만 거친 데이터를 사용한 모델이 손으로 쓴 우편 번호 인식에서 오류율 1%, 거부율 약 9%의 성능을 기록했다.[20]

1998년, 얀 르쿤, 레온 보투, 요슈아 벤지오, 패트릭 하프너는 LeNet이 다른 모델들보다 우수함을 보이고, 신경망의 실용적인 응용 사례를 제시했다.[21]

이 연구는 신경망 연구에 대한 학자들의 관심을 불러일으켰고, LeNet은 다수의 신경망 아키텍처의 출발점이 되었다.

2012년 AlexNet의 성공 이후, CNN은 컴퓨터 비전 분야에서 최고의 선택이 되었으며, R-CNN 시리즈와 같은 다양한 유형의 CNN이 만들어졌다. 오늘날 CNN 모델은 LeNet과는 상당히 다르지만, 모두 LeNet을 기반으로 개발되었다.

5. 2. 한계와 극복

LeNet-5는 CNN의 기본 구성 요소를 정의하며 CNN의 출현을 알렸다.[1] 하지만 당시에는 GPU와 같은 하드웨어의 부족과 SVM 등 다른 알고리즘들이 LeNet과 유사하거나 더 나은 성능을 보여 널리 사용되지 못했다.

2012년 AlexNet의 성공 이후, CNN은 컴퓨터 비전 분야에서 최고의 선택이 되었고, R-CNN 시리즈와 같은 다양한 유형의 CNN이 만들어졌다. 오늘날 CNN 모델은 LeNet과는 많이 다르지만, 모두 LeNet을 기반으로 개발되었다.

LeNet-5를 모방하고 단 하나의 합성곱 층으로 구성된 3층 트리 아키텍처는 CIFAR-10 데이터 세트에서 유사한 성공률을 달성했다.[16] LeNet 아키텍처의 필터 수를 늘리면 오류율이 멱법칙적으로 감소한다. 이러한 결과는 얕은 네트워크가 딥 러닝 아키텍처와 동일한 성능을 달성할 수 있음을 나타낸다.[17]

5. 3. 현대적 의의

LeNet-5는 합성곱 신경망(CNN)의 등장을 알리고, CNN의 기본 구성 요소를 정의했다는 점에서 중요한 의미를 갖는다.[1] 하지만 발표 당시에는 그래픽 처리 장치(GPU)와 같은 하드웨어의 부족으로 널리 사용되지 못했고, 서포트 벡터 머신 등 다른 알고리즘들이 LeNet과 비슷하거나 더 나은 성능을 보이기도 했다.

2012년 AlexNet의 성공 이후, CNN은 컴퓨터 비전 분야에서 가장 널리 사용되는 모델이 되었으며, R-CNN 시리즈와 같이 다양한 유형의 CNN이 제안되었다. 현재 사용되는 CNN 모델들은 LeNet과는 구조적으로 많이 다르지만, 모두 LeNet을 기반으로 개발되었다는 점에서 LeNet의 선구자적 역할을 확인할 수 있다.

LeNet 아키텍처의 필터 수를 늘리면 오류율이 멱법칙적으로 감소한다는 연구 결과는, 얕은 네트워크도 딥 러닝 아키텍처와 비슷한 성능을 낼 수 있음을 보여준다.[17] 이는 딥러닝 초기 연구의 중요한 발견 중 하나로 평가받는다.

참조

[1] 논문 Gradient-based learning applied to document recognition http://yann.lecun.co[...] 1998
[2] 서적 Dive into deep learning Cambridge University Press 2024
[3] 논문 Neural Network Recognizer for Hand-Written Zip Code Digits https://proceedings.[...] Morgan-Kaufmann 1988
[4] 논문 Generalization and network design strategies http://yann.lecun.co[...] Department of Computer Science, University of Toronto 1989-06
[5] 논문 Handwritten digit recognition with a back-propagation network http://yann.lecun.co[...] 1990-06
[6] 서적 Proceedings of the 12th IAPR International Conference on Pattern Recognition (Cat. No.94CH3440-5) IEEE Comput. Soc. Press 1994
[7] 논문 Learning algorithms for classification: A comparison on handwritten digit recognition 1995
[8] 논문 Gradient-based learning applied to document recognition http://yann.lecun.co[...] 1998
[9] 논문 Backpropagation Applied to Handwritten Zip Code Recognition 1989-12
[10] 논문 A framework for object recognition in a visually complex environment and its application to locating address blocks on mail pieces http://link.springer[...] 1988
[11] 서적 '[1990] Proceedings. 10th International Conference on Pattern Recognition' IEEE Comput. Soc. Press 1990
[12] 서적 Neurocomputing Springer 1990
[13] 논문 Optimal Brain Damage https://proceedings.[...] Morgan-Kaufmann 1989
[14] 논문 The DSP32C: AT&Ts second generation floating point digital signal processor https://ieeexplore.i[...] 1988-12
[15] AV media Convolutional Network Demo from 1989 https://www.youtube.[...] 2014-06-02
[16] 논문 Learning on tree architectures outperforms a convolutional feedforward network 2023-01-30
[17] 논문 Efficient shallow learning as an alternative to deep learning 2023-04-20
[18] 논문 Backpropagation Applied to Handwritten Zip Code Recognition 1989-12
[19] 논문 Generalization and network design strategies http://yann.lecun.co[...] Department of Computer Science, University of Toronto 1989-06
[20] 논문 Handwritten digit recognition with a back-propagation network http://yann.lecun.co[...] 1990-06
[21] 논문 Gradient-based learning applied to document recognition http://yann.lecun.co[...] 1998
[22] 논문 Backpropagation Applied to Handwritten Zip Code Recognition 1989-12
[23] 논문 Generalization and network design strategies http://yann.lecun.co[...] Department of Computer Science, University of Toronto 1989-06
[24] 논문 Handwritten digit recognition with a back-propagation network http://yann.lecun.co[...] 1990-06
[25] 논문 Gradient-based learning applied to document recognition http://yann.lecun.co[...] 1998
[26] 논문 Backpropagation Applied to Handwritten Zip Code Recognition 1989-12
[27] 논문 Backpropagation Applied to Handwritten Zip Code Recognition 1989-12
[28] 논문 Gradient-based learning applied to document recognition http://yann.lecun.co[...] 1998


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com