기계 학습
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
기계 학습은 컴퓨터가 명시적인 프로그래밍 없이 데이터로부터 학습하여 작업을 수행하도록 하는 인공 지능의 한 분야이다. 1950년대에 처음 등장했으며, 톰 M. 미첼은 기계 학습을 "경험 E에 대해 작업 T와 성능 측정 P에 관하여, 컴퓨터 프로그램은 P로 측정한 T의 작업에서의 성능이 경험 E와 함께 향상될 때 학습한다"라고 정의했다. 기계 학습은 계산 통계학, 수리 최적화, 데이터 마이닝 등과 관련이 있으며, 지도 학습, 비지도 학습, 강화 학습 등 다양한 접근 방식을 포함한다. 최근에는 딥러닝 기술의 발전과 함께 다양한 분야에 응용되고 있지만, 데이터 편향, 블랙 박스 문제, 윤리적 문제 등의 한계점도 존재한다.
더 읽어볼만한 페이지
- 통계학에 관한 - 비지도 학습
비지도 학습은 레이블이 없는 데이터를 통해 패턴을 발견하고 데이터 구조를 파악하는 것을 목표로 하며, 주성분 분석, 군집 분석, 차원 축소 등의 방법을 사용한다. - 통계학에 관한 - 회귀 분석
회귀 분석은 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하고 분석하는 통계적 기법으로, 최소 제곱법 개발 이후 골턴의 연구로 '회귀' 용어가 도입되어 다양한 분야에서 예측 및 인과 관계 분석에 활용된다. - 사이버네틱스 - 진화 알고리즘
진화 알고리즘은 생물학적 진화 과정을 모방하여 적합도에 따라 개체를 선택하고 교차 및 돌연변이 연산을 반복하며 최적의 해를 찾아가는 계산 기술이다. - 사이버네틱스 - AI 안전
AI 안전은 인공지능 시스템의 부정적 결과를 줄이기 위한 연구 및 정책 분야로, 시스템 강건성 확보, 가치 정렬, 사이버 보안, 제도 개선 등을 포함하며 현재와 미래의 위험을 관리하기 위한 국제 협력과 거버넌스를 강조한다. - 학습 - 연결주의
연결주의는 정신 현상을 단순한 단위들의 네트워크로 설명하는 인공지능 및 인지과학의 접근 방식이며, 뇌의 뉴런을 모방한 인공 신경망을 기반으로 학습을 통해 지식을 습득하고 다양한 분야에 응용된다. - 학습 - 능력
능력은 일 수행에 필요한 지식, 기술, 태도를 포괄하는 개념으로, 기술적 기능뿐 아니라 의사소통, 문제 해결 등의 다양한 역량을 포함하며, 개인의 성장과 사회 발전에 필수적인 요소이다.
기계 학습 | |
---|---|
개요 | |
분야 | 인공지능의 하위 분야 |
정의 | 명시적으로 프로그램되지 않고 경험을 통해 자동으로 개선되는 알고리즘을 연구하는 분야 |
설명 | "명시적으로 프로그램되지 않고"라는 정의는 1959년 "기계 학습"이라는 용어를 만든 아서 사무엘이 처음 사용한 것으로 알려져 있지만, 그의 논문에서는 정확히 일치하는 문구는 찾을 수 없으며, 이후에 나타난 의역일 수 있다. |
관련 분야 | 패턴 인식과 밀접하게 관련되어 있으며, 두 분야를 같은 분야의 두 측면으로 보는 견해도 있다. |
연결성 | 데이터 마이닝 및 통계학과 관련되어 있음 |
문제 | |
주요 문제 | 분류 클러스터링 회귀 이상 탐지 연관 규칙 강화 학습 구조화 예측 특징 공학 표현 학습 온라인 학습 준지도 학습 비지도 학습 순위 학습 문법 획득 |
지도 학습 | |
하위 유형 | 분류 및 회귀 |
주요 알고리즘 | 결정 트리 앙상블 (배깅, 부스팅, 랜덤 포레스트) k-NN 선형 회귀 나이브 베이즈 뉴럴 네트워크 로지스틱 회귀 퍼셉트론 관련 벡터 머신 (RVM) 서포트 벡터 머신 (SVM) |
클러스터링 | |
주요 알고리즘 | BIRCH 계층적 군집화 k-평균 EM DBSCAN OPTICS 평균 이동 |
차원 축소 | |
주요 알고리즘 | 요인 분석 CCA ICA LDA NMF PCA t-SNE |
구조적 예측 | |
주요 알고리즘 | 그래프 모형 베이즈 네트워크 CRF HMM |
이상 탐지 | |
주요 알고리즘 | k-NN 국소 특이점 요인 |
신경망 | |
주요 알고리즘 | 오토인코더 딥 러닝 DeepDream 다층 퍼셉트론 RNN LSTM GRU 제한된 볼츠만 머신 SOM CNN |
강화 학습 | |
주요 알고리즘 | TD 학습 Q 학습 SARSA |
이론 | |
주요 개념 | 편향-분산 트레이드오프 계산 학습 이론 경험적 위험 최소화 오컴 학습 PAC 학습 통계적 학습 이론 VC 이론 |
학회/저널 | |
주요 학회 및 저널 | NIPS ICML ML JMLR ArXiv:cs.LG |
2. 정의
1959년, 아서 사무엘은 기계 학습을 "기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야"라고 정의하였다.[5][6] "머신러닝"이라는 용어 자체도 IBM 직원이자 컴퓨터 게임과 인공지능 분야의 선구자였던 아서 사무엘이 같은 해에 만들었다.[161] 이 시기에는 "자기 학습 컴퓨터"라는 용어도 함께 사용되었다.[7][8]
톰 M. 미첼은 기계 학습 분야에서 연구되는 알고리즘에 대해 다음과 같이 더 공식적이며 널리 인용되는 정의를 제시했다: "컴퓨터 프로그램이 어떤 작업 클래스 T와 성능 척도 P에 관하여 경험 E로부터 ''학습''한다는 것은, P로 측정한 T 내 작업의 성능이 경험 E에 따라 개선되는 것을 말한다."[15][158] 이 정의는 기계 학습을 인지적으로 정의하기보다는 근본적으로 작동적 정의를 따른다. 이는 앨런 튜링이 그의 논문 "계산 기계와 지능"에서 "기계가 생각할 수 있는가?"라는 질문 대신 "기계가 우리(사고하는 존재로서)가 할 수 있는 일을 할 수 있는가?"라는 질문으로 대체한 접근 방식과 유사하다.[16]
미첼의 정의에서 각 요소는 다음과 같은 의미를 가진다.
- '''작업 (T)''': 프로그램이 해결해야 할 과제를 의미한다. 예를 들어, 매출 예측 작업이라면 "내일의 매출 예측"과 같은 구체적인 목표를 가리킨다.
- '''경험 (E)''': 프로그램에 주어지는 데이터를 의미하며, 이를 '''훈련 데이터''' 또는 '''학습 데이터'''라고 부른다. 매출 예측의 경우, 과거의 매출 기록 등이 훈련 데이터가 될 수 있다. 이 훈련 데이터를 사용하여 프로그램의 성능을 개선하는 과정을 "프로그램을 '''훈련'''시킨다" 또는 '''학습'''시킨다"라고 표현한다. 훈련에 사용되는 전체 데이터 집합은 '''데이터셋'''(데이터 집합)이라고 한다.
- '''성능 척도 (P)''': 프로그램이 작업을 얼마나 잘 수행했는지를 측정하는 지표이다. 매출 예측 예시에서는 실제 매출과 예측값 사이의 오차 등이 성능 척도가 될 수 있다.
기계 학습은 다음과 같은 분야와 밀접하게 연관되어 있다.
- 계산 통계학: 컴퓨터를 이용한 예측에 중점을 두는 분야이다.
- 수리 최적화: 주어진 조건 하에서 최적의 해를 찾는 데 초점을 맞춘 분야이다.
- 데이터 마이닝: 주로 비지도 학습에서의 탐색적 데이터 분석에 중점을 두는 분야이다.[160] 기계 학습과 패턴 인식은 종종 같은 분야의 다른 측면으로 간주되기도 한다.[159]
3. 역사
"머신러닝"이라는 용어는 1959년 IBM 직원이자 컴퓨터 게임과 인공지능 분야의 선구자인 아서 사무엘에 의해 만들어졌다.[5][6] 이 시기에는 "자기 학습 컴퓨터"라는 동의어도 사용되었다.[7][8]
최초의 머신러닝 모델 중 하나는 1950년대에 아서 사무엘이 체커 게임에서 각 편의 승리 확률을 계산하는 프로그램을 개발하면서 등장했다.[9] 하지만 머신러닝의 역사는 인간의 인지 과정을 이해하려는 오랜 노력과 맞닿아 있다. 1949년, 캐나다의 심리학자 도널드 헵은 그의 저서 ''행동의 조직''에서 뉴런 간의 특정 상호작용으로 형성되는 이론적 신경 구조인 헵의 학습 규칙을 제시했다.[10] 헵의 이론은 인공 뉴런들이 정보를 전달하는 방식, 즉 현대 AI와 머신러닝 알고리즘의 기초를 마련하는 데 기여했다.[9] 또한 논리학자 월터 피츠와 워렌 매컬럭 같은 인지 시스템 연구자들은 인간의 사고 과정을 모방하는 초기 신경망 수학 모델을 제안하며 현대 머신러닝 기술 발전에 영향을 주었다.[9]
1960년대 초, 레이시온은 천공 테이프 메모리를 사용하는 실험적인 "학습 기계"인 사이버트론을 개발했다. 이 기계는 초보적인 강화 학습 원리를 이용하여 소나 신호, 심전도 및 음성 패턴을 분석했다. 사이버트론은 인간 조작자(교사)에 의해 반복적으로 "훈련"되어 패턴을 인식하도록 학습했으며, 잘못된 결정을 내렸을 때 이를 재평가하도록 하는 "실수" 버튼을 갖추고 있었다.[11] 1960년대 머신러닝 연구의 대표적인 저작으로는 닐슨(Nilsson)의 『Learning Machines』가 있으며, 주로 패턴 분류를 위한 머신러닝을 다루었다.[12] 패턴 인식에 대한 관심은 1970년대까지 이어졌으며, 이는 두다(Duda)와 하트(Hart)의 1973년 연구에서도 확인된다.[13] 1981년에는 인공 신경망을 훈련시켜 컴퓨터 터미널에서 40개의 문자(알파벳 26자, 숫자 10개, 특수 기호 4개)를 인식하게 하는 전략에 대한 보고서가 제출되기도 했다.[14]
과학적 연구 분야로서 기계 학습은 인공 지능(AI) 연구에서 파생되었다. AI 학문 초기 단계에서 일부 연구자들은 기계가 데이터를 통해 학습하는 방식에 관심을 가졌다. 이들은 다양한 기호적 방법과 당시 "인공 신경망"이라 불리던 초기 모델들(주로 퍼셉트론과 다른 모델들, 이후 통계학의 일반화 선형 모델로 재발견됨)을 사용하여 문제에 접근했다.[19] 확률적 추론 역시 특히 자동 의료 진단 분야에서 활용되었다.[20]
그러나 논리 중심의 지식 기반 접근 방식이 부상하면서 AI와 머신러닝 사이에 간극이 생기기 시작했다. 확률적 시스템은 데이터 수집 및 표현의 이론적, 실제적 문제에 부딪혔다.[20] 1980년대에는 전문가 시스템이 AI 분야를 주도하게 되었고, 통계적 접근은 상대적으로 주목받지 못했다.[21] 기호/지식 기반 학습 연구는 AI 내에서 귀납 논리 프로그래밍(ILP) 등으로 이어졌지만, 통계적 연구 흐름은 패턴 인식이나 정보 검색과 같이 AI 분야 외부에서 명맥을 유지했다.[20] 신경망 연구 역시 AI와 컴퓨터 과학 주류에서 잠시 멀어졌으나, 존 호프필드, 데이비드 루멜하트, 제프리 힌턴 등을 포함한 다른 분야 연구자들이 "연결주의"라는 이름으로 연구를 지속했다. 이들의 주요 성과는 1980년대 중반 역전파 알고리즘의 재발견이었다.[20]
독자적인 분야로 재정립되고 인정받기 시작한 기계 학습(ML)은 1990년대에 들어 본격적으로 발전했다. 이 시기 ML은 AI 달성이라는 거대 목표에서 벗어나, 실용적인 문제를 해결하는 방향으로 목표를 전환했다. 또한 AI로부터 물려받은 기호적 접근 방식에서 벗어나 통계학, 퍼지 논리, 확률 이론 등에서 차용한 방법과 모델에 더 중점을 두게 되었다.[21]
4. 일반화
기계 학습에서 일반화(Generalization)는 훈련 이후 새롭게 들어온 데이터를 정확히 처리할 수 있는 능력을 의미한다.
기계 학습 알고리즘 및 그 성능에 대한 분석은 이론 컴퓨터 과학의 한 분야인 계산 학습 이론(Computational Learning Theoryeng)에서 다룬다. 훈련에 사용되는 데이터는 유한하며, 미래는 불확실하기 때문에 학습 이론은 일반적으로 알고리즘의 성능을 완벽하게 보장하기 어렵다. 대신 성능에 대한 확률적인 범위를 제공하는데, 예를 들어 바실리 호프딩(Wassily Hoeffding)의 호프딩 부등식(Hoeffding's inequality) 등이 통계적 학습 이론의 일부로 활용된다.[162]
계산 학습 이론은 학습 과정의 시간 복잡도와 실현 가능성에 대해서도 연구한다. 이 분야에서는 다항 시간 안에 계산이 완료되는 것을 실현 가능한 것으로 간주한다.
다양한 학습 알고리즘의 일반화 특성을 규명하는 것은 현재 활발히 연구되고 있는 주제이며, 특히 심층 학습 알고리즘에 대한 연구가 활발하다.
기계 학습은 사용하는 용어는 다르지만 통계학 및 통계적 추론과 많은 유사점을 가지고 있다.
5. 다른 분야와의 관계
기계 학습은 특정 분야에 국한되지 않고 여러 학문 분야와 깊은 연관성을 맺으며 발전해왔다. 주요 관련 분야는 다음과 같다.
- 인공 지능: 기계 학습은 전통적으로 인공 지능 연구의 한 분야로 시작되었으며, 지능적인 시스템을 구현하기 위한 핵심 기술로 연구되고 있다.
- 데이터 마이닝: 유사한 기법을 많이 공유하지만, 기계 학습은 주로 훈련 데이터를 기반으로 한 예측에, 데이터 마이닝은 데이터 속에서 이전에 알려지지 않았던 새로운 패턴이나 지식을 발견하는 데 더 중점을 둔다는 점에서 목표의 차이가 있다. 두 분야는 서로의 기법을 활용하기도 한다.
- 통계학: 많은 기계 학습 모델과 기법이 통계학적 원리에 기반하고 있으며, 데이터를 분석하고 해석하는 데 통계학적 방법론을 활용한다. 다만 통계학은 주로 표본 데이터로부터 모집단에 대한 추론을 이끌어내는 데 초점을 맞추는 반면, 기계 학습은 일반화 가능한 예측 성능 자체에 더 집중하는 경향이 있다.
- 최적화: 많은 기계 학습 문제는 훈련 데이터에 대한 모델의 예측 오차를 나타내는 손실 함수를 정의하고, 이 함수의 값을 최소화하는 최적화 문제로 귀결된다. 경사 하강법과 같은 다양한 최적화 알고리즘이 모델 학습 과정에서 핵심적인 역할을 수행한다.[22]
- 통계 물리학: 복잡하고 무질서한 시스템을 분석하는 통계 물리학의 방법론과 기법들이 심층 신경망과 같은 대규모 기계 학습 모델의 특성을 이해하거나 의료 진단과 같은 문제에 응용되기도 한다.
5. 1. 인공 지능
[18]기계 학습은 과학적 연구로서 인공 지능(AI) 탐구에서 시작되었다. 인공 지능 학문 초기 단계에서 일부 연구자들은 기계가 데이터를 통해 학습하는 방식에 관심을 가졌다. 이들은 다양한 기호적 방법과 초기 "인공 신경망" (주로 퍼셉트론과 다른 모델들로, 이후 통계학의 일반화 선형 모델로 밝혀짐)을 사용하여 문제에 접근했다.[19] 확률적 추론 역시 특히 자동 의료 진단 분야에서 활용되었다.[20]
그러나 점차 논리적이고 지식 기반의 접근 방식이 강조되면서 인공 지능과 기계 학습 사이에 간극이 생기기 시작했다. 확률적 시스템은 데이터 확보와 표현의 이론적, 실제적 문제에 부딪혔다.[20] 1980년대에는 전문가 시스템이 인공 지능 분야를 주도하게 되었고, 통계적 접근은 상대적으로 주목받지 못했다.[21] 기호/지식 기반 학습 연구는 귀납 논리 프로그래밍(ILP) 등으로 이어지며 인공 지능 내에서 지속되었지만, 통계적 방법론에 기반한 연구는 패턴 인식이나 정보 검색과 같은 인공 지능 외부 분야에서 주로 다루어졌다.[20] 인공 신경망 연구 역시 인공 지능 및 컴퓨터 과학계에서 잠시 멀어졌다가, 존 호프필드, 데이비드 루멜하트, 제프리 힌턴 등 다른 분야 연구자들에 의해 "연결주의"라는 이름으로 AI/컴퓨터 과학 분야 외부에서 명맥을 이어갔다. 이들의 중요한 성과는 1980년대 중반 역전파 알고리즘의 재발견이었다.[20]
기계 학습은 1990년대에 들어서면서 독자적인 분야로 재정립되고 인정받기 시작했다. 이 시기 기계 학습은 인공 지능 구현이라는 거대 목표 대신, 현실적인 문제 해결에 집중하는 방향으로 목표를 수정했다. 또한 인공 지능으로부터 이어받은 기호적 접근 방식에서 벗어나, 통계학, 퍼지 논리, 확률 이론 등에서 발전된 방법과 모델을 적극적으로 도입하고 활용하는 방향으로 나아갔다.[21]
5. 2. 데이터 마이닝
기계 학습과 데이터 마이닝은 종종 같은 방법을 사용하며 상당히 중첩되는 분야이다. 그러나 두 분야는 목표에서 차이가 있다.- 기계 학습은 훈련 데이터를 통해 학습된 알려진 속성을 기반으로 예측하는 데 초점을 맞춘다.
- 데이터 마이닝은 데이터에서 이전에 알려지지 않았던 속성을 발견하는 데 집중한다. 이는 데이터베이스의 지식 발견 분석 절차에 해당한다.
이처럼 데이터 마이닝은 기계 학습 기법을 사용하지만 목적이 다른 경우가 많고, 반대로 기계 학습도 데이터 마이닝 기법을 비지도 학습으로 활용하거나 학습자의 정확성을 높이기 위한 전처리 과정으로 사용한다. 두 연구 분야는 학회나 학술지가 다른 경우가 많지만, ECML PKDD와 같이 공동으로 다루는 경우도 있다.
두 분야가 혼동되는 주된 이유는 기본적인 전제 차이에서 비롯된다. 기계 학습은 기존 지식을 얼마나 잘 재생성하는지로 성능을 평가하는 반면, 데이터 마이닝은 이전에 알려지지 않았던 새로운 지식을 발견하는 것을 중요하게 여긴다. 따라서 기존 지식으로 평가할 경우, 지도 기법이 비지도 기법보다 더 좋은 결과를 내기 쉽다. 하지만 일반적인 데이터 마이닝 상황에서는 훈련 데이터를 미리 준비하기 어렵기 때문에 지도 기법을 사용하기 어려운 경우가 많다.
5. 3. 통계학
기계 학습과 통계학은 방법론 측면에서 밀접하게 관련된 분야이지만, 주된 목표는 다르다. 통계학은 표본으로부터 모집단에 대한 추론을 이끌어내는 데 중점을 두는 반면, 기계 학습은 일반화할 수 있는 예측 패턴을 찾는 데 집중한다.[23] 마이클 조던과 같은 연구자는 기계 학습의 아이디어가 방법론적 원리부터 이론적 도구에 이르기까지 통계학에서 오랜 역사를 가지고 있다고 지적하기도 했다.[24] 그는 이 전체 분야를 포괄하는 용어로 데이터 과학을 제안하기도 했다.[24]전통적인 통계 분석에서는 연구 데이터 세트에 가장 적합한 모델을 분석 전에 미리 선택해야 하는 경우가 많다. 또한, 이전의 경험이나 이론적 중요성에 따라 특정 변수만을 분석에 포함시킨다. 반면, 기계 학습은 사전에 정해진 모델 구조에 의존하지 않는다. 대신, 데이터 자체에서 드러나는 패턴을 감지하여 모델을 형성한다. 모델 훈련에 더 많은 변수(입력)를 사용할수록 최종 모델의 예측 정확도가 높아지는 경향이 있다.[25]
통계학자 리오 브라이먼은 통계적 모델링 접근법을 데이터 모델과 알고리즘 모델의 두 가지 패러다임으로 구분했다.[26] 여기서 '알고리즘 모델'은 랜덤 포레스트와 같은 기계 학습 알고리즘을 가리킨다.
일부 통계학자들은 기계 학습의 방법론을 받아들여 "통계적 학습"(statistical learning영어)이라고 부르는 융합된 분야를 만들기도 했다.[27]
5. 4. 최적화
많은 기계 학습 기법은 데이터에 대한 모델 출력의 오차를 정의하고, 이 오차를 최소화하도록 모델의 매개변수를 업데이트(학습)하는 방식으로 이루어진다. 오차를 계산하는 함수를 손실 함수라고 부르는데, 이 손실 함수를 최소화하는 과정은 응용 수학의 수리적 최적화 분야에서 다루는 최적화 문제와 동일하다.예를 들어, 인공 신경망의 학습에는 손실 함수를 미분하여 기울기를 구하고 이를 이용해 매개변수를 조정하는 경사 하강법(확률적 경사 하강법 등)이 자주 사용된다. 경사 하강법과 같은 최적화 방법이 실제로 가장 좋은 해답(최적해)을 찾아가는지 여부는 수리적 최적화 이론을 통해 분석하고 연구된다.
또한, 어떤 최적화 방법을 선택하는지에 따라 인공 신경망과 같은 기계 학습 모델이 갖추어야 하는 조건이나 제약이 달라질 수 있다. 경사 하강법을 사용하기 위해서는 모델을 구성하는 모든 연속적인 함수가 미분 가능해야 하는데, 이는 신경망 학습 과정에서 중요한 역전파 알고리즘을 적용하기 위한 필수적인 조건이다. 이러한 조건은 특히 생성 모델이 데이터를 만들어내는 샘플링 방식 등에 영향을 주기도 한다.
5. 5. 통계 물리학
무질서 시스템의 깊이 있는 물리학에서 파생된 분석 및 계산 기법은 기계 학습을 포함한 대규모 문제로 확장될 수 있으며, 예를 들어 심층 신경망의 가중치 공간을 분석하는 데 사용될 수 있다.[28] 또한 통계 물리학은 의료 진단 분야에서도 응용되고 있다.[29]6. 이론
이론 컴퓨터 과학의 한 갈래인 계산 학습 이론은 기계 학습 알고리즘과 그 성능을 분석하는 분야이다.[162] 학습자의 핵심 목표는 경험으로부터 일반화하는 것인데,[30][31] 이는 학습 데이터 세트를 경험한 후 새롭고 보이지 않는 예제나 과제에 대해 정확하게 수행하는 학습 기계의 능력을 의미한다. 훈련 예제는 일반적으로 알려지지 않은 확률 분포에서 나오며, 학습자는 이 분포를 대표하는 일반적인 모델을 구축하여 새로운 경우에 대해 충분히 정확한 예측을 생성해야 한다.
훈련 데이터는 유한하고 미래는 불확실하기 때문에, 학습 이론은 일반적으로 알고리즘의 성능을 완벽하게 보장하지 못한다. 대신 성능에 대한 확률적 경계를 제공하는 경우가 많으며, 확률적 근사 정확 학습(PAC, Probably Approximately Correct learning) 모델이 대표적이다. 편향-분산 분해는 일반화 오류를 정량화하는 한 가지 방법이다. 일반화 성능을 최적화하려면 가설의 복잡성이 데이터 기저 함수의 복잡성과 일치해야 한다. 가설이 함수보다 덜 복잡하면 모델이 데이터에 과소 적합된 것이고, 반대로 가설이 너무 복잡하면 모델이 과적합되기 쉬워 일반화 성능이 저하된다.[32]
성능 경계 외에도 학습 이론가들은 학습의 시간 복잡도와 실행 가능성을 연구한다. 계산 학습 이론에서 계산은 다항 시간 내에 수행될 수 있을 때 실행 가능한 것으로 간주한다. 특정 함수 클래스가 다항 시간에 학습될 수 있음을 보이는 긍정적 결과와, 특정 클래스는 다항 시간에 학습될 수 없음을 보이는 부정적 결과 연구가 진행된다. 다양한 학습 알고리즘, 특히 심층 학습 알고리즘의 일반화 특성을 규명하는 것은 활발히 연구되는 주제이다. 기계 학습은 다른 용어를 사용하지만 통계적 추론과도 많은 유사점을 가진다.
'''통계적 기계 학습'''(Statistical Machine Learning)은 기계 학습 중 데이터의 확률적인 생성 규칙을 학습하는 것을 의미한다.[163] 통계학이 모집단과 표본, 그리고 그 안에 존재하는 확률분포에 주목하는 것처럼, 통계적 기계 학습에서는 데이터가 모집단에서 확률적으로 얻어진다고 가정한다. 데이터의 생성 과정을 확률 분포를 사용하여 모델링하고, 실제 데이터를 기반으로 모델 자체 또는 모델 선택 과정을 학습한다. 이러한 모델은 모집단으로부터 데이터를 생성한다고 해석할 수 있어 생성 모델(Generative Model) 또는 통계 모델이라고도 불린다.[164] 표본을 기반으로 모집단의 파라미터를 추정하거나 선택하는 것은 통계학에서 오랫동안 연구되어 온 주제이며, 통계적 기계 학습은 이러한 통계학 이론을 적용하여 학습의 수렴이나 일반화 성능과 같은 문제들을 다룬다. 통계적 기계 학습의 예로는 뉴럴 네트워크 기반의 생성 모델, 예를 들어 자기 회귀형 생성 네트워크, 변분 오토인코더(VAE), 생성적 적대 신경망(GAN) 등이 있다.
많은 기계 학습 기법은 데이터에 대한 모델 출력의 오차를 정의하고, 이 오차를 최소화하도록 모델의 매개변수를 업데이트(학습)한다. 오차를 계산하는 함수인 손실 함수를 최소화하는 문제는 응용 수학의 수리적 최적화 분야에서 다루는 최적화 문제이다. 예를 들어 인공 신경망에서는 손실 함수에 대해 미분을 수행하는 경사 하강법(확률적 경사 하강법 등)을 사용하여 학습하는 경우가 많다. 사용되는 최적화 방법이 최적해로 수렴하는지 여부는 수리적 최적화 이론을 통해 연구되며, 최적화 방법에 따라 모델에 부과되는 제약 조건도 달라진다. 예를 들어 경사 하강법을 사용하려면 모델 내 모든 함수가 미분 가능해야 한다는 제약(역전파 가능성)이 따른다.
7. 접근 방법별 알고리즘
기계 학습의 접근 방식은 학습 시스템에 주어지는 신호 또는 피드백의 성격에 따라 전통적으로 다음과 같은 세 가지 주요 범주로 나뉜다.
- 지도 학습 (Supervised learningeng): 컴퓨터에 '교사' 역할을 하는 데이터, 즉 예시 입력과 그에 해당하는 정답(원하는 출력)을 함께 제공하여 학습시킨다. 목표는 입력과 출력 사이의 일반적인 규칙이나 함수를 학습하는 것이다.
- 비지도 학습 (Unsupervised learningeng): 학습 알고리즘에 정답(레이블)이 주어지지 않는다. 알고리즘은 입력 데이터 자체에서 숨겨진 구조나 패턴을 스스로 찾아야 한다. 이는 데이터의 숨겨진 패턴을 발견하는 것 자체가 목표일 수도 있고(군집 분석), 데이터를 더 유용하게 표현하는 방법을 배우는 수단(특징 학습)일 수도 있다.
- 강화 학습 (Reinforcement learningeng): 컴퓨터 프로그램(에이전트)이 특정 목표(예: 자동차 운전 또는 상대방과의 게임)를 달성하기 위해 동적인 환경과 상호작용하며 학습한다. 프로그램은 문제 공간을 탐색하면서 자신의 행동에 대한 보상과 같은 피드백을 받고, 이 보상을 최대화하는 방향으로 행동 방식을 학습한다.[30]
이 세 가지 주요 범주 외에도 준지도 학습, 심층 학습, 토픽 모델링, 메타러닝 등 다양한 접근 방식이 있으며[46], 때로는 하나의 시스템에서 여러 접근 방식을 조합하여 사용하기도 한다.
각 알고리즘은 저마다의 장단점을 가지며, 모든 문제 상황에 완벽하게 들어맞는 단 하나의 만능 알고리즘은 존재하지 않는다.[33][34][35]
7. 1. 지도 학습

지도 학습 알고리즘은 입력과 원하는 출력 모두를 포함하는 데이터 집합의 수학적 모델을 구축한다.[36] 훈련 데이터로 알려진 이 데이터는 일련의 훈련 예제로 구성된다. 각 훈련 예제에는 하나 이상의 입력과 원하는 출력(감독 신호라고도 함)이 있다. 수학적 모델에서 각 훈련 예제는 배열 또는 벡터(때로는 특징 벡터라고 함)로 표현되고, 훈련 데이터는 행렬로 표현된다. 목적 함수의 반복적인 최적화를 통해 지도 학습 알고리즘은 새로운 입력과 관련된 출력을 예측하는 데 사용할 수 있는 함수를 학습한다.[37] 최적의 함수를 통해 알고리즘은 훈련 데이터의 일부가 아니었던 입력에 대해 출력을 올바르게 결정할 수 있다. 시간이 지남에 따라 출력 또는 예측의 정확도를 향상시키는 알고리즘은 해당 작업을 수행하도록 학습했다고 본다.[15]
지도 학습 알고리즘의 유형에는 능동 학습, 분류 및 회귀 분석이 포함된다.[38] 분류 알고리즘은 출력이 제한된 값 집합으로 제한되는 경우에 사용되고, 회귀 알고리즘은 출력이 범위 내에서 임의의 숫자 값을 가질 수 있는 경우에 사용된다. 예를 들어, 이메일을 필터링하는 분류 알고리즘의 경우 입력은 수신 이메일이고 출력은 이메일을 저장할 폴더의 이름이다. 회귀의 예로는 사람의 키 또는 미래의 온도를 예측하는 것이 있다.[39]
유사도 학습은 회귀와 분류와 밀접하게 관련된 지도 기계 학습 분야이지만, 목표는 두 개체가 얼마나 유사하거나 관련되어 있는지 측정하는 유사도 함수를 사용하여 예제로부터 학습하는 것이다. 이는 순위 매기기, 추천 시스템, 시각적 신원 추적, 얼굴 확인 및 화자 확인에 응용된다.
7. 2. 비지도 학습
비지도 학습 알고리즘은 레이블이 지정되거나 분류 또는 범주화되지 않은 데이터에서 구조를 찾는 데 사용된다. 피드백에 반응하는 대신, 비지도 학습 알고리즘은 데이터의 공통점을 식별하고 각각의 새로운 데이터에 이러한 공통점의 존재 여부에 따라 반응한다. 비지도 기계 학습의 중심적인 응용 분야는 군집화, 차원 축소,[4] 및 밀도 추정이다.[40]군집 분석은 관측값 집합을 부분집합(군집이라고 함)으로 할당하여 동일한 군집 내의 관측값이 하나 이상의 미리 지정된 기준에 따라 유사하고, 다른 군집에서 추출된 관측값은 유사하지 않도록 하는 것이다. 서로 다른 군집화 기법은 데이터의 구조에 대해 서로 다른 가정을 하며, 종종 어떤 ''유사성 측정값''으로 정의되고, 예를 들어 ''내부 압축성''(동일한 군집의 구성원 간 유사성)이나 ''분리''(군집 간 차이)로 평가된다. 다른 방법은 ''추정된 밀도''와 ''그래프 연결성''을 기반으로 한다.
자가 지도 학습이라고 하는 특수한 유형의 비지도 학습에는 데이터 자체에서 감독 신호를 생성하여 모델을 훈련하는 것이 포함된다.[41][42] 비지도 학습은 입력만(레이블 없는 예시)으로 모델을 구성하는 방식이며, 데이터 마이닝과 자기 부호화기 등과 관련이 있다.
7. 3. 준지도 학습
준지도 학습은 레이블이 없는 훈련 데이터를 사용하는 비지도 학습과 완전히 레이블이 지정된 훈련 데이터를 사용하는 지도 학습의 중간에 해당한다. 훈련 데이터 중 일부에만 레이블이 있고 나머지는 레이블이 없는 경우, 즉 레이블이 있는 데이터와 없는 데이터를 모두 사용하여 학습하는 방식이다. 많은 기계 학습 연구자들은 적은 양의 레이블된 데이터와 많은 양의 레이블 없는 데이터를 함께 사용하면 학습 정확도를 크게 높일 수 있다는 것을 발견했다.7. 4. 강화 학습
강화 학습은 소프트웨어 에이전트가 누적된 보상을 최대화하기 위해 주어진 환경 속에서 어떤 행동을 취해야 하는지를 다루는 기계 학습의 한 분야이다. 에이전트는 주변 환경을 관찰하고, 특정 행동을 취하며, 그 결과로 환경으로부터 보상이라는 형태의 피드백을 받아 학습한다. 이 과정에서 에이전트의 행동은 환경에 영향을 미치게 된다. 대표적인 강화 학습 알고리즘으로는 Q-러닝이 있다.
강화 학습은 그 범용성 덕분에 게임 이론, 제어 이론, 운영 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 군집 지능, 통계학, 유전 알고리즘 등 다양한 분야에서 연구되고 있다.
강화 학습 문제에서 환경은 보통 마르코프 의사 결정 과정(MDP)으로 모델링된다. 많은 강화 학습 알고리즘은 동적 계획법 기법을 활용한다.[44] 특히 강화 학습 알고리즘은 환경(MDP)의 정확한 수학적 모델을 미리 알지 못해도 작동할 수 있다는 장점이 있어, 현실 세계처럼 환경 모델을 정확히 알기 어려운 문제에 효과적으로 적용될 수 있다. 예를 들어, 자율 주행 차량 제어나 사람과 게임을 하는 인공지능 개발 등에 활용된다.
7. 5. 차원 축소
차원 축소는 주요 변수들의 집합을 얻음으로써 고려 중인 확률 변수의 수를 줄이는 과정이다.[45] 다시 말해, 특징 집합의 차원, 즉 "특징의 수"를 줄이는 과정이다. 대부분의 차원 축소 기법은 특징 제거 또는 특징 추출로 간주될 수 있다. 차원 축소의 인기 있는 방법 중 하나는 주성분 분석(PCA)이다. PCA는 고차원 데이터(예: 3D)를 더 작은 공간(예: 2D)으로 변경하는 것을 포함한다.다양체 가설은 고차원 데이터 집합이 저차원 다양체에 놓여 있다고 제안하며, 많은 차원 축소 기법이 이 가정을 하여 다양체 학습 및 다양체 규제 영역으로 이어진다.
7. 6. 기타 유형
기존의 지도 학습, 비지도 학습, 강화 학습이라는 3가지 주요 범주에 명확하게 들어맞지 않거나, 때로는 여러 접근 방식을 함께 사용하는 기계 학습 기법들도 개발되었다. 예를 들어, 토픽 모델링, 메타러닝 등이 있다.[46]'''자기 학습'''
1982년에 '크로스바 적응 배열'(CAA, crossbar adaptive array)이라는 자기 학습 신경망과 함께 소개된 기계 학습 패러다임이다.[47] 이 방식은 외부로부터 보상을 받거나 교사의 조언 없이 스스로 학습하는 것이 특징이다. CAA 자기 학습 알고리즘은 행동 결정과 그 결과로 나타나는 상황에 대한 감정(느낌)을 모두 계산하며, 이는 인지와 감정 간의 상호작용을 통해 이루어진다.[48]
자기 학습 알고리즘은 반복될 때마다 다음과 같은 과정을 통해 메모리 행렬 W = ||w(a,s)||를 업데이트한다.
# 현재 상황 's'에서 행동 'a'를 수행한다.
# 행동의 결과로 새로운 상황 's''을 맞이한다.
# 새로운 상황 's''에 대한 감정 'v(s')'을 계산한다.
# 계산된 감정을 이용해 크로스바 메모리를 업데이트한다: 'w'(a,s) = w(a,s) + v(s')'
이 시스템은 오직 '상황'이라는 입력과 '행동'이라는 출력만을 가진다. 외부 환경으로부터 별도의 강화 신호나 조언을 받지 않는다. 대신, 결과 상황에 대한 '감정'이 학습 신호로 사용된다. CAA는 행동을 수행하는 '행동 환경'과 초기 감정을 설정하는 '유전 환경'이라는 두 가지 환경 속에서 작동한다. 유전 환경으로부터 게놈 벡터를 한 번 받아 초기 감정을 설정한 후, 목표를 추구하며 바람직한 상황과 그렇지 않은 상황이 섞인 환경 속에서 학습을 진행한다.[49]
'''특징 학습'''
특징 학습(Feature learning) 또는 표현 학습(Representation learning)은 입력 데이터로부터 더 나은 표현(feature)을 자동으로 발견하는 것을 목표로 하는 학습 알고리즘들을 말한다.[50] 고전적인 예로는 주성분 분석이나 군집 분석이 있다. 특징 학습 알고리즘은 입력 정보를 최대한 보존하면서도, 분류나 예측 같은 후속 작업을 더 쉽게 수행할 수 있도록 데이터를 변환하는 전처리 단계로 자주 사용된다. 이를 통해 기계는 스스로 특징을 학습하고 특정 작업을 수행할 수 있게 되어, 사람이 직접 특징을 설계하는 특징 공학의 필요성을 줄여준다.
특징 학습은 지도 방식과 비지도 방식으로 나눌 수 있다.
- 지도 특징 학습: 레이블(정답)이 있는 데이터를 사용하여 특징을 학습한다. 예로는 인공 신경망, 다층 퍼셉트론, 지도 사전 학습 등이 있다.
- 비지도 특징 학습: 레이블이 없는 데이터를 사용하여 특징을 학습한다. 예로는 사전 학습, 독립 성분 분석, 오토인코더, 행렬 인수분해[51] 및 다양한 형태의 군집화가 있다.[52][53][54]
다양한 하위 접근 방식이 존재한다.
- 다양체 학습: 학습된 표현이 저차원 공간에 놓이도록 제약을 가한다.
- 희소 코딩: 학습된 표현이 희소(sparse)하도록, 즉 표현에 0이 많도록 제약을 가한다.
- 다중 선형 부분 공간 학습: 고차원 데이터를 벡터로 변환하지 않고 텐서 형태 그대로 사용하여 저차원 표현을 학습한다.[55]
- 심층 학습: 여러 계층의 표현(특징)을 학습하며, 상위 계층의 추상적인 특징은 하위 계층의 특징을 기반으로 정의된다. 지능적인 기계는 관찰된 데이터를 설명하는 근본적인 변화 요인을 분리해내는 표현을 학습하는 기계라고도 주장된다.[56]
특징 학습은 이미지, 비디오, 센서 데이터와 같이 복잡한 실제 데이터를 기계 학습 알고리즘이 처리하기 쉬운 형태로 변환하기 위해 고안되었다. 사람이 직접 이러한 데이터의 특징을 정의하기 어렵기 때문에, 알고리즘이 스스로 특징을 발견하도록 하는 것이다.
'''희소 사전 학습'''
희소 사전 학습(Sparse dictionary learning)은 특징 학습의 한 방법으로, 훈련 데이터를 기저 함수(basis function)들의 선형 결합으로 표현하되, 이 결합이 희소 행렬(sparse matrix), 즉 대부분의 요소가 0인 행렬이 되도록 하는 방식이다. 이 문제는 수학적으로 매우 어려운 NP-난해 문제에 속하며, 근사 해를 구하는 것도 쉽지 않다.[57] 널리 사용되는 휴리스틱 방법으로는 k-SVD 알고리즘이 있다.
희소 사전 학습은 다양한 분야에 응용된다. 예를 들어, 분류 문제에서는 각 클래스별로 사전을 미리 구성해두고, 새로운 데이터가 들어왔을 때 어떤 클래스의 사전으로 가장 희소하게 표현되는지를 보고 해당 클래스로 분류한다. 이미지 잡음 제거(image de-noising)에도 사용되는데, 깨끗한 이미지 조각은 이미지 사전으로 희소하게 표현될 수 있지만, 잡음은 그렇지 않다는 원리를 이용한다.[58]
'''이상 탐지'''
데이터 마이닝 분야에서 이상 탐지(anomaly detection) 또는 이상치 탐지(outlier detection)는 데이터의 대다수와 확연히 달라 의심스러운 데이터 항목, 이벤트, 또는 관측치를 식별하는 기술이다.[59] 일반적으로 이러한 이상 항목들은 은행 사기, 구조적 결함, 의학적 문제, 텍스트 오류 등과 같은 문제를 나타내는 경우가 많다. 이상치는 이상값(outlier), 새로운 사례(novelty), 잡음(noise), 편차(deviation), 예외(exception) 등 다양한 용어로 불린다.[60]
특히, 시스템 오용이나 네트워크 침입 탐지 같은 분야에서는 단순히 드문 객체뿐만 아니라, 예상치 못한 활동의 급증이나 급감 같은 패턴이 중요한 이상 신호가 될 수 있다. 이러한 패턴은 '드문 객체'라는 통계적 정의에 바로 부합하지 않을 수 있으며, 많은 비지도 이상 탐지 방법들은 데이터를 적절히 집계하지 않으면 이를 놓칠 수 있다. 대신, 군집 분석 알고리즘이 이러한 패턴에 의해 형성된 미소 군집(micro-cluster)을 감지하는 데 사용될 수 있다.[61]
이상 탐지 기술은 크게 세 가지 범주로 나뉜다.[62]
- 비지도 이상 탐지: 레이블이 없는 데이터셋에서 대부분의 데이터가 정상이라고 가정하고, 이들과 가장 잘 맞지 않는 데이터를 이상치로 탐지한다.
- 지도 이상 탐지: "정상"과 "비정상"으로 레이블된 데이터셋을 사용하여 분류기를 훈련시킨다. 일반적인 분류 문제와 달리 데이터가 매우 불균형하다는 특징이 있다.
- 준지도 이상 탐지: 정상 데이터셋을 사용하여 정상적인 행동 모델을 구축한 후, 새로운 데이터가 이 모델에서 생성될 가능성이 얼마나 낮은지를 평가하여 이상 여부를 판단한다.
'''로봇 학습'''
로봇 학습(Robot learning)은 로봇이 스스로 기술을 습득하거나 환경에 적응하도록 하는 분야로, 다양한 기계 학습 방법에서 영감을 받았다. 여기에는 지도 학습, 강화 학습[63][64], 그리고 메타러닝 등이 포함된다.
'''연관 규칙 학습'''
연관 규칙 학습(Association rule learning)은 대규모 데이터베이스 내에서 변수들 사이의 흥미로운 관계를 발견하는 규칙 기반 기계 학습 방법이다. "흥미도(interestingness)"라는 척도를 사용하여 데이터 속에서 강력한 규칙을 식별하는 것을 목표로 한다.[65]
규칙 기반 기계 학습은 지식을 저장, 조작, 적용하기 위해 명시적인 "규칙"을 식별, 학습 또는 발전시키는 모든 기계 학습 방법을 포괄하는 용어이다. 이 접근법의 핵심은 시스템이 학습한 지식을 나타내는 관계형 규칙들의 집합을 식별하고 활용하는 것이다. 이는 예측을 위해 모든 데이터에 적용될 수 있는 단일 모델을 찾는 다른 기계 학습 알고리즘들과 대조된다.[66] 규칙 기반 기계 학습에는 학습 분류기 시스템, 연관 규칙 학습, 인공 면역 시스템 등이 포함된다.
라케시 아그라왈, 토마슈 이밀린스키, 아룬 스와미는 슈퍼마켓의 판매 시점 시스템(POS) 데이터에서 상품 간의 규칙성을 발견하기 위해 연관 규칙 개념을 도입했다.[67] 예를 들어, {양파, 감자} ⇒ {햄버거} 와 같은 규칙은 고객이 양파와 감자를 함께 구매할 경우 햄버거 고기도 구매할 가능성이 높다는 것을 의미한다. 이러한 정보는 판촉 가격 책정이나 제품 배치 같은 마케팅 활동에 활용될 수 있다. 연관 규칙은 장바구니 분석 외에도 웹 사용량 마이닝, 침입 탐지, 연속 생산, 생물 정보학 등 다양한 분야에서 응용된다. 시퀀스 마이닝과 달리, 연관 규칙 학습은 일반적으로 항목들의 순서를 고려하지 않는다.
학습 분류기 시스템(LCS)은 규칙 기반 기계 학습 알고리즘의 한 종류로, 보통 유전 알고리즘과 같은 발견 구성 요소와 지도 학습, 강화 학습, 비지도 학습 중 하나를 수행하는 학습 구성 요소를 결합한다. 이 시스템은 특정 상황에 맞는 규칙들의 집합을 식별하여 예측에 사용한다.[68]
귀납 논리 프로그래밍(ILP)은 논리 프로그래밍을 사용하여 규칙을 학습하는 접근 방식이다. 입력 예제, 배경 지식, 가설을 모두 논리 프로그램 형태로 표현한다. 알려진 배경 지식과 예제들이 주어지면, ILP 시스템은 모든 긍정 예제는 포함하고 부정 예제는 포함하지 않는 가설 논리 프로그램을 생성한다. 귀납 프로그래밍은 이와 관련된 분야로, 논리 프로그래밍뿐만 아니라 함수형 프로그래밍 등 다양한 프로그래밍 언어를 사용하여 가설을 표현하는 것을 고려한다.
ILP는 특히 생물 정보학 및 자연어 처리 분야에서 유용하게 사용된다. 고든 플롯킨과 에후드 샤피로는 논리적 틀 안에서 귀납적 기계 학습의 초기 이론적 기반을 마련했다.[69][70][71] 샤피로는 1981년에 첫 구현체(모델 추론 시스템)를 만들었는데, 이는 긍정 및 부정 예제로부터 논리 프로그램을 귀납적으로 추론하는 Prolog 프로그램이었다.[72] 여기서 '귀납적'이라는 용어는 관찰된 사실을 설명하는 이론을 제안하는 철학적 귀납을 의미하며, 수학적 귀납과는 다르다.
8. 주제별 알고리즘
기계 학습 알고리즘은 다양한 주제에 따라 분류될 수 있다.
- '''선수 지식'''
- * 베이즈 이론
- '''모형화'''
- * 인공 신경망
- * 결정 트리 학습
- * 유전 알고리즘
- * 유전자 프로그래밍
- * 가우스 과정 회귀
- * 선형 분별 분석
- * K-최근접 이웃 알고리즘
- * 퍼셉트론
- * 방사 기저 함수 네트워크
- * 서포트 벡터 머신
- '''모수 추정 알고리즘'''
- * 동적 프로그래밍
- * 기댓값 최대화 알고리즘
- '''근사 추론 기법'''
- * 몬테 카를로 방법
- * 아다부스트
=== 특징 학습 ===
여러 학습 알고리즘은 학습 과정에서 주어진 입력 데이터로부터 더 나은 표현(representation)을 찾아내는 것을 목표로 한다.[50] 이를 '''특징 학습'''(feature learning) 또는 '''표현 학습'''(representation learning)이라고 부른다. 고전적인 예로는 주성분 분석과 군집 분석이 있다. 특징 학습 알고리즘은 입력 정보를 보존하면서도, 후속 작업(예: 분류, 예측)에 더 유용하도록 데이터를 변환하는 전처리 단계로 활용된다. 이 기술은 아직 알려지지 않은 데이터 생성 분포에서 나온 입력을 재구성하는 데 도움을 주지만, 해당 분포에서 나타날 가능성이 낮은 구성까지 반드시 충실하게 반영하지는 않는다. 이는 수동 특징 공학을 대체하며, 기계가 특징을 학습하여 특정 작업을 수행할 수 있도록 한다.
특징 학습은 지도 학습 방식과 비지도 학습 방식으로 나눌 수 있다.
- '''지도 특징 학습''': 레이블(정답)이 있는 입력 데이터를 사용하여 특징을 학습한다. 예로는 인공 신경망, 다층 퍼셉트론, 지도 사전 학습 등이 있다.
- '''비지도 특징 학습''': 레이블이 없는 입력 데이터로 특징을 학습한다. 예로는 사전 학습, 독립 성분 분석, 오토인코더, 행렬 분해, 다양한 형태의 군집화 등이 있다.[51][52][53][54]
다양한 특징 학습 기법들이 존재한다.
- 다양체 학습 알고리즘은 학습된 표현이 저차원이라는 제약 조건 하에서 특징 학습을 수행한다.
- 희소 코딩 알고리즘은 학습된 표현이 희소(sparse), 즉 수학적 모델에서 0의 값이 많다는 제약 조건 하에서 특징 학습을 수행한다.
- 다중 선형 부분 공간 학습 알고리즘은 고차원 벡터로 변환하지 않고 다차원 데이터의 텐서 표현에서 직접 저차원 표현을 학습하는 것을 목표로 한다.[55]
- 심층 학습 알고리즘은 여러 수준의 표현 또는 특징 계층 구조를 발견하며, 더 높은 수준의 추상적인 특징은 더 낮은 수준의 특징을 기반으로 정의되거나 생성된다. 지능적인 기계는 관찰된 데이터를 설명하는 근본적인 변화 요인을 분리하는 표현을 학습하는 기계라고 주장되기도 한다.[56]
특징 학습은 분류와 같은 기계 학습 작업에 수학적, 계산적으로 다루기 쉬운 입력이 필요하다는 점에서 동기를 얻는다. 이미지, 비디오, 센서 데이터와 같은 실제 데이터는 특정 특징을 알고리즘으로 직접 정의하기 어렵기 때문에, 대안은 명시적인 알고리즘에 의존하지 않고, 데이터를 통해 이러한 특징이나 표현을 발견하는 것이다.
=== 희소 사전 학습 ===
'''희소 사전 학습'''(Sparse dictionary learning)은 훈련 데이터를 기저 함수(basis function)들의 선형 결합으로 표현하되, 이 결합이 희소 행렬(sparse matrix) 형태를 가진다고 가정하는 특징 학습 방법이다. 이 문제는 강하게 NP-난해(strongly NP-hard)하며 근사적으로 해결하기도 어렵다.[57] 희소 사전 학습을 위한 널리 사용되는 휴리스틱 방법으로는 k-SVD 알고리즘이 있다.
희소 사전 학습은 다양한 분야에 적용되어 왔다.
9. 모델
'''머신러닝 모델'''은 주어진 데이터셋으로 "훈련"된 후 새로운 데이터에 대한 예측 또는 분류에 사용될 수 있는 일종의 수학적 모델이다. 훈련 중에 학습 알고리즘은 모델의 내부 매개변수를 반복적으로 조정하여 예측 오류를 최소화한다.[73] 넓은 의미에서 "모델"이라는 용어는 일반적인 모델의 종류와 관련 학습 알고리즘부터 모든 내부 매개변수가 조정된 완전히 훈련된 모델까지 여러 수준의 구체성을 나타낼 수 있다.[74]
머신러닝 시스템에는 다양한 유형의 모델이 사용되고 연구되었으며, 작업에 가장 적합한 모델을 선택하는 것을 모델 선택이라고 한다. 주요 모델 유형은 다음과 같다.
- 인공 신경망: 생물학적 신경망에서 영감을 받아 만들어진 모델로, 여러 계층의 인공 뉴런으로 구성되어 복잡한 패턴을 학습할 수 있다. 심층 학습은 특히 여러 은닉층을 가진 신경망을 의미한다.
- 결정 트리 학습법: 데이터를 분류하거나 예측하기 위해 결정 트리 구조를 사용하는 모델이다. ID3나 랜덤 포레스트 등이 있다.
- 서포트 벡터 머신 (SVM): 주로 분류나 회귀에 사용되는 지도 학습 기법이다. 데이터를 구분하는 최적의 경계면을 찾는다.
- 회귀 분석: 변수 간의 관계를 모델링하여 연속적인 값을 예측하는 데 사용된다. 선형 회귀 분석, 로지스틱 회귀 분석 등이 있다.
- 베이즈 네트워크: 확률 변수 간의 조건부 독립 관계를 유향 비순환 그래프(DAG)로 표현하여 확률적 추론을 수행하는 확률론적 그래픽 모델이다.
- 가우스 과정 회귀: 확률 과정의 일종인 가우시안 과정을 이용한 회귀 모델로, 베이즈적 접근 방식을 따른다.
- 유전 알고리즘: 자연 선택과 유전 원리를 모방하여 최적의 해를 탐색하는 탐색 알고리즘이다. 유전자 프로그래밍은 이를 확장하여 프로그램을 진화시키는 기법이다.
- 연관 규칙 학습: 대규모 데이터베이스에서 변수 간의 흥미로운 관계(규칙)를 발견하는 기법이다.
- 클러스터링: 레이블이 없는 데이터를 유사성에 기반하여 여러 그룹(클러스터)으로 나누는 비지도 학습 기법이다.
- 표현 학습: 데이터의 유용한 특징이나 표현을 자동으로 학습하는 기법으로, 주성분 분석, 클러스터 분석, 다양체 학습, 희소 부호화 등이 포함된다.
- 기타 모델: 이 외에도 선형 분별 분석, K-최근접 이웃 알고리즘, 퍼셉트론, 방사 기저 함수 네트워크, 귀납 논리 프로그래밍 (ILP), 익스트림 러닝 머신 (ELM) 등 다양한 모델이 존재한다.
9. 1. 인공 신경망
인공신경망(artificial neural network, ANN)은 기계 학습과 인지과학 분야에서 생물학적 신경망 구조에서 영감을 받아 개발된 통계적 학습 알고리즘이다.[63][64] 이는 시냅스 결합을 통해 네트워크를 형성한 인공 뉴런(노드)들이 학습을 통해 시냅스 결합 강도를 조절함으로써 문제 해결 능력을 갖추게 되는 모델을 포괄적으로 지칭한다. 인공신경망, 또는 결합주의 시스템은 동물의 뇌를 구성하는 생물학적 신경망을 모방한 컴퓨팅 시스템으로 이해할 수 있다. 이러한 시스템은 특정 작업 수행 규칙을 직접 프로그래밍하는 대신, 주어진 예시 데이터를 학습하여 작업을 수행하는 능력을 키운다.
인공신경망의 학습 방식에는 정답(교사 신호)을 입력받아 최적화하는 교사 학습과 정답 없이 데이터 자체의 패턴을 학습하는 비교사 학습이 있다. 명확한 정답이 존재하는 문제에는 교사 학습이, 데이터 클러스터링과 같은 작업에는 비교사 학습이 주로 활용된다.
ANN은 생물학적 뇌의 뉴런을 느슨하게 모델링한 연결된 단위, 즉 "인공 뉴런"들의 집합을 기반으로 한다. 생물학적 뇌의 시냅스처럼, 각 연결(엣지)은 인공 뉴런 간에 정보("신호")를 전달하는 역할을 한다. 신호를 수신한 인공 뉴런은 이를 처리한 후, 연결된 다른 인공 뉴런으로 신호를 전달할 수 있다. 일반적인 ANN 구현에서 인공 뉴런 간 신호는 실수 값이며, 각 인공 뉴런의 출력은 입력 신호들의 합에 특정 비선형 함수를 적용하여 계산된다. 인공 뉴런과 엣지에는 학습 과정에서 조정되는 가중치가 부여되는데, 이는 신호의 강도를 조절하는 역할을 한다. 인공 뉴런은 특정 임계값을 가질 수 있으며, 입력 신호의 합이 이 임계값을 넘어야만 신호를 다음 뉴런으로 전달하기도 한다. 일반적으로 인공 뉴런들은 여러 개의 층(layer)으로 구성되며, 각 층은 입력 데이터에 대해 서로 다른 종류의 변환을 수행한다. 신호는 첫 번째 층인 입력 층에서 시작하여 여러 중간 층(은닉층)을 거쳐 최종적으로 출력 층으로 전달된다.
ANN 접근법의 초기 목표는 인간의 뇌처럼 사고하고 문제를 해결하는 시스템을 만드는 것이었으나, 시간이 흐르면서 특정 작업 수행 능력 향상에 초점을 맞추게 되어 생물학적 유사성과는 다소 거리가 멀어졌다. 인공 신경망은 기존의 규칙 기반 프로그래밍 방식으로는 해결하기 어려웠던 컴퓨터 비전, 음성 인식, 기계 번역, 소셜 네트워크 필터링, 보드 게임 및 비디오 게임 플레이, 의료 진단 등 다양한 분야의 문제 해결에 성공적으로 적용되고 있다.
심층 학습은 여러 개의 은닉층(hidden layer)을 가진 인공 신경망을 의미한다. 이 접근 방식은 인간의 뇌가 빛이나 소리와 같은 감각 정보를 처리하여 시각이나 청각 정보로 변환하는 과정을 모방하려는 시도에서 비롯되었다. 특히 컴퓨터 비전과 음성 인식 분야에서 심층 학습은 뛰어난 성능을 보여주며 성공적인 응용 사례를 만들어내고 있다.[75]
9. 2. 결정 트리

결정 트리 학습법은 항목에 대한 관찰 결과(가지)에서 해당 항목의 목표 값(잎)에 대한 결론을 도출하기 위해 결정 트리를 예측 모델로 사용하는 방법이다. 이는 통계, 데이터 마이닝, 기계 학습 분야에서 널리 사용되는 예측 모델링 접근 방식 중 하나이다.
결정 트리는 목표 변수의 성격에 따라 두 가지 주요 유형으로 나뉜다.
- '''분류 트리''': 목표 변수가 이산적인 값(예: 예/아니오, A/B/C)을 가질 때 사용된다. 트리 구조에서 잎(leaf)은 클래스 레이블을 나타내고, 가지(branch)는 해당 클래스 레이블로 이어지는 특징들의 논리적 결합을 나타낸다.
- '''회귀 트리''': 목표 변수가 연속적인 값(일반적으로 실수)을 가질 때 사용된다.
의사결정 분석에서는 결정 트리를 사용하여 의사결정과 그 과정을 시각적이고 명확하게 표현할 수 있다. 데이터 마이닝에서는 데이터를 설명하는 데 사용되며, 특히 분류 트리는 의사결정을 위한 입력 자료로 활용될 수 있다.
대표적인 결정 트리 학습 알고리즘으로는 ID3와 랜덤 포레스트 등이 있다.
9. 3. 서포트 벡터 머신
서포트 벡터 머신(SVM, Support-Vector Machine) 또는 서포트 벡터 네트워크라고도 알려져 있으며, 분류와 회귀에 사용되는 여러 관련 지도 학습 방법들의 집합이다. 각각 두 가지 범주 중 하나에 속하는 것으로 표시된 훈련 예제 집합이 주어지면, SVM 훈련 알고리즘은 새로운 예제가 어떤 범주에 속하는지 예측하는 모델을 만든다.[76]SVM 훈련 알고리즘은 기본적으로 비확률적, 이진, 선형 분류기이다. 하지만 플랫 스케일링과 같은 방법을 사용하여 SVM을 확률적 분류 설정에서도 사용할 수 있다. 선형 분류를 수행하는 것 외에도, SVM은 이른바 커널 트릭을 사용하여 입력을 고차원 특징 공간으로 암시적으로 매핑함으로써 효율적으로 비선형 분류를 수행할 수 있다는 장점이 있다.
9. 4. 회귀 분석
회귀 분석은 입력 변수와 그에 따른 특징 사이의 관계를 추정하기 위한 다양한 통계적 방법들을 아우른다. 가장 일반적인 형태는 선형 회귀 분석인데, 이는 주어진 데이터에 가장 잘 맞는 직선 하나를 수학적 기준(예: 최소 제곱법)에 따라 그리는 방법이다. 최소 제곱법은 종종 규제 기법을 사용하여 과적합과 편향을 줄이는 방식으로 확장되기도 하며, 릿지 회귀가 그 예이다. 비선형 문제를 다룰 때는 다항 회귀 분석(예: 마이크로소프트 엑셀의 추세선 맞추기 기능[77]), 로지스틱 회귀 분석(주로 통계적 분류에 사용됨), 또는 커널 회귀 분석(입력 변수를 더 높은 차원의 공간으로 암시적으로 매핑하는 커널 트릭을 이용해 비선형성을 도입함)과 같은 모델들이 사용된다.
9. 5. 베이즈 네트워크
thumb베이즈 네트워크(Bayesian network)는 믿음 네트워크(belief network) 또는 방향성 비순환 그래프 모델(directed acyclic graphical model)이라고도 불리는 확률적 그래프 모델의 한 종류이다. 이 모델은 여러 확률 변수들과 그들 사이의 조건부 독립성 관계를 방향성 비순환 그래프(DAG)를 사용하여 나타낸다.
예를 들어, 베이즈 네트워크는 특정 질병과 그로 인해 나타나는 증상들 사이의 확률적 관계를 표현하는 데 사용될 수 있다. 어떤 증상이 관찰되었을 때, 이 네트워크를 활용하여 다양한 질병이 실제로 존재할 확률을 계산할 수 있다. 베이즈 네트워크를 이용한 추론과 학습을 효율적으로 수행하는 알고리즘들이 존재한다.
시간에 따라 순서대로 변화하는 변수들을 모델링하는 경우, 예를 들어 음성 신호나 단백질 서열 분석 등에 사용되는 베이즈 네트워크를 동적 베이즈 네트워크(dynamic Bayesian network)라고 부른다. 또한, 불확실한 상황에서의 의사결정 문제를 나타내고 해결하기 위해 베이즈 네트워크를 확장한 모델로는 영향 다이어그램(influence diagram)이 있다.
9. 6. 가우시안 과정
가우시안 과정은 과정 내 모든 유한한 확률 변수 집합이 다변량 정규 분포를 가지는 확률 과정이다. 이는 각 점 쌍이 위치에 따라 서로 어떻게 관련되는지 모델링하는 미리 정의된 공분산 함수 또는 커널에 의존한다.
관측된 점 집합 또는 입력-출력 예가 주어지면, 입력 데이터의 함수로서 새로운 점의 (관측되지 않은) 출력 분포는 관측된 점과 해당 점과 새로운 관측되지 않은 점 사이의 공분산을 살펴봄으로써 직접 계산할 수 있다.
가우시안 과정은 베이지안 최적화에서 초매개변수 최적화를 수행하는 데 사용되는 인기 있는 대리 모델이다.
9. 7. 유전 알고리즘
유전 알고리즘(GA)은 탐색 알고리즘 및 휴리스틱 기법으로, 자연 선택 과정을 모방하여 돌연변이와 교차와 같은 방법을 사용하여 주어진 문제에 대한 좋은 해결책을 찾기 위해 새로운 유전형을 생성한다. 기계 학습에서 유전 알고리즘은 1980년대와 1990년대에 사용되었다.[79][80] 반대로, 기계 학습 기법은 유전 알고리즘과 진화 알고리즘의 성능을 향상시키는 데 사용되었다.[81]9. 8. 신념 함수
신념 함수 이론(eng), 또는 증거 이론(eng) 또는 덤스터-셰이퍼 이론(eng, DST)으로도 알려진 이 이론은 불확실성을 다루는 일반적인 틀이다. 확률, 가능성 및 불확실 확률 이론과 같은 다른 틀과의 연관성이 이해되고 있다.이 이론은 일종의 학습자로 생각할 수 있으며, 증거를 결합하는 방식(예: 덤스터의 결합 규칙)은 pmf 기반 베이지안 접근 방식이 확률을 결합하는 방식과 유사한 몇 가지 속성을 가진다. 그러나 무지와 불확실성 정량화를 통합하는 측면에서 베이지안 접근 방식과 비교할 때 신념 함수에는 여러 주의 사항이 있다.
기계 학습 영역에서 신념 함수 접근 방식은 일반적으로 다양한 앙상블 방법의 융합 접근 방식을 활용한다. 이를 통해 학습자의 결정 경계 문제, 낮은 표본 문제, 그리고 표준 기계 학습 방식으로는 해결하기 어려운 모호한 클래스 문제를 더 잘 처리할 수 있다.[3][6] 하지만 이러한 알고리즘의 계산 복잡도는 명제(클래스)의 수에 따라 증가하며, 다른 기계 학습 접근 방식에 비해 계산 시간이 훨씬 더 오래 걸릴 수 있다.
10. 모델 훈련
일반적으로 기계 학습 모델이 정확한 예측을 수행하기 위해서는 상당한 양의 신뢰할 수 있는 데이터가 필요하다. 기계 학습 모델을 훈련시킬 때, 개발자는 크고 대표성 있는 데이터 표본을 확보하는 것을 목표로 해야 한다. 훈련에 사용되는 데이터는 텍스트 말뭉치, 이미지 모음, 센서 데이터, 혹은 서비스 사용자로부터 수집된 데이터 등 매우 다양할 수 있다.
모델 훈련 과정에서는 과적합 문제에 유의해야 한다. 이는 모델이 훈련 데이터에만 지나치게 최적화되어 새로운 데이터에 대해서는 예측 성능이 떨어지는 현상을 말한다. 또한, 편향되거나 충분히 검토되지 않은 데이터로 훈련된 모델은 왜곡되거나 사회적으로 원치 않는 예측 결과를 내놓을 수 있다. 이러한 편향된 모델은 사회에 해로운 영향을 미치거나 기존의 부정적인 편견을 더욱 강화시킬 위험이 있다. 데이터가 훈련에 적합하게 준비되지 않았을 경우 알고리즘 편향이 발생할 수 있다. 이러한 문제들 때문에 기계 학습 윤리는 점차 중요한 연구 분야로 자리 잡고 있으며, 실제 기계 학습 엔지니어링 팀 내에서도 중요한 고려 사항이 되고 있다.
분산 학습은 분산 인공 지능의 한 형태로, 기계 학습 모델 훈련 과정을 여러 기기에 분산시키는 방식이다. 이 방식은 사용자 데이터를 중앙 서버로 전송할 필요가 없어 개인 정보를 효과적으로 보호할 수 있다는 장점이 있다. 또한, 여러 기기에서 동시에 훈련을 진행하므로 전체적인 훈련 효율성도 높일 수 있다. 예를 들어, 구글 키보드(Gboard)는 사용자의 검색 기록을 구글 서버로 보내지 않고, 각 사용자의 휴대전화 자체에서 분산 학습을 통해 검색어 예측 모델을 훈련시킨다.[82]
11. 응용 분야
기계 학습은 다양한 분야에서 활용되고 있으며, 주요 응용 분야는 다음과 같다.
- 농업
- 해부학
- 적응형 웹사이트
- 감성 컴퓨팅
- 천문학
- 자동 의사 결정
- 은행 업무
- 행동주의 심리학
- 생물 정보학
- 뇌-컴퓨터 인터페이스
- 화학 정보학
- 시민 과학
- 기후 과학
- 컴퓨터 네트워크
- 컴퓨터 비전
- 신용카드 사기 적발
- 데이터 품질 관리
- DNA 서열 분류
- 경제학
- 금융 시장 분석[83] 및 금융 공학
- 일반 게임 플레이 및 전략 게임 플레이
- 필기 인식 및 음성 인식
- 의료 및 의료 진단
- 정보 검색
- 보험
- 인터넷 사기 적발
- 지식 그래프 임베딩
- 언어학
- 머신러닝 제어
- 기계 지각
- 기계 번역
- 마케팅
- 자연어 처리 및 자연어 이해
- 온라인 광고
- 최적화
- 추천 시스템
- 로봇 보행
- 검색 엔진
- 감정 분석 (의견 마이닝)
- 시퀀스 마이닝
- 소프트웨어 공학
- 구조물 건강 모니터링
- 통사적 패턴 인식
- 통신
- 정리 증명
- 시계열 예측
- 단층 촬영 재구성[84]
- 사용자 행동 분석
- 재판[167][168]
구체적인 응용 사례는 다음과 같다.
2006년, 미디어 서비스 제공업체인 넷플릭스(Netflix)는 사용자의 선호도를 더 잘 예측하고 기존의 Cinematch 영화 추천 알고리즘의 정확도를 최소 10% 향상시키는 프로그램을 찾기 위해 첫 번째 "넷플릭스상"(Netflix Prize) 대회를 개최했다. AT&T 랩스(AT&T Labs)-Research의 연구원들과 Big Chaos 및 Pragmatic Theory 팀으로 구성된 합동 팀은 2009년에 100만달러의 대상을 수상하기 위해 앙상블 모델을 구축했다.[85][169][170] 상금이 수여된 직후, 넷플릭스는 시청자의 평점이 시청 패턴을 나타내는 가장 좋은 지표가 아니라는 점을 인지하고 추천 엔진을 변경했다.[86]
2010년 월스트리트 저널은 Rebellion Research사가 금융 위기를 예측하기 위해 기계 학습을 사용한 사례를 보도했다.[87]
2012년, 썬 마이크로시스템즈(Sun Microsystems)의 공동 설립자인 비노드 코슬라(Vinod Khosla)는 향후 20년 안에 자동화된 기계 학습 의료 진단 소프트웨어로 인해 의사의 80%가 일자리를 잃을 것이라고 예측하기도 했다.[88]
2014년에는 미술사 분야에서 회화를 연구하기 위해 기계 학습 알고리즘이 적용되어, 이전에는 알려지지 않았던 예술가들 간의 영향을 밝혀내는 데 활용되었다는 보고가 있었다.[89]
2019년 슈프링거 네이처(Springer Nature)는 기계 학습을 사용하여 생성된 최초의 연구 서적을 출판했다.[90]
2020년에는 기계 학습 기술을 사용하여 COVID-19 진단을 돕고 치료제 개발을 지원했다.[91]
최근 기계 학습은 여행객의 친환경 행동 예측,[92] 사용자와 휴대폰의 상호 작용을 기반으로 한 스마트폰 성능 및 열적 거동 최적화[93][94][95] 등 다양한 분야에 적용되고 있다. 올바르게 적용될 경우, 기계 학습 알고리즘(MLAs)은 다양한 회사 특성을 활용하여 과적합 없이 주식 수익률을 예측할 수 있다. 효과적인 특징 공학을 사용하고 예측을 결합함으로써, MLAs는 OLS와 같은 기본적인 선형 기법으로 얻은 결과를 훨씬 능가하는 결과를 생성할 수 있다.[96]
또한 기계 학습의 발전은 양자화학 분야로 확장되어, 새로운 알고리즘을 통해 화학 반응에 대한 용매 효과를 예측할 수 있게 되었으며, 이는 화학자들이 최적의 결과를 얻기 위한 실험 조건을 조정하는 새로운 도구를 제공한다.[97]
기계 학습은 대규모 및 소규모 재난에서 대피 결정 과정을 조사하고 예측하는 데 유용한 도구가 되고 있다. 산불과 허리케인 발생 시 가구주가 대피할지 여부와 시기를 예측하기 위해 다양한 해결책이 테스트되었으며,[98][99][100] 건물 화재 시 사전 대피 결정 예측에도 활용되고 있다.[101][102]
12. 한계
기계 학습은 일부 분야에서 혁신적인 변화를 가져왔지만, 여러 이유로 기대되는 결과를 제공하지 못하는 경우가 많다.[103][104][105] 주요 원인으로는 적절한 데이터 부족, 데이터 접근의 어려움, 데이터 편향, 개인 정보 보호 문제, 부적절한 작업 및 알고리즘 선택, 잘못된 도구와 인력 활용, 자원 부족, 평가의 어려움 등이 꼽힌다.[106]
"블랙 박스 이론"은 기계 학습의 또 다른 중요한 과제를 제기한다. 이는 알고리즘의 작동 원리나 결과 도출 과정이 완전히 불투명하여, 알고리즘을 만든 개발자조차 기계가 데이터에서 어떤 패턴을 추출했는지 확인하기 어려운 상황을 의미한다.[107] 미국 상원의 선출 위원회는 개인의 삶에 중대한 영향을 미칠 수 있는 이러한 "지능 시스템"이 스스로 내린 결정에 대해 "완전하고 만족스러운 설명"을 제공하지 못한다면 용납될 수 없다고 지적했다.[107]
실제 사례로, 2018년 우버(Uber)의 자율 주행차가 보행자를 제대로 감지하지 못해 충돌 사고를 일으켜 보행자가 사망하는 비극적인 사건이 발생했다.[108] 또한, IBM 왓슨 시스템을 의료 분야에 적용하려는 시도는 수년간 수십억 달러를 투자했음에도 불구하고 뚜렷한 성과를 내지 못했다.[109][110] 마이크로소프트의 빙 챗(Bing Chat) 챗봇은 사용자에게 적대적이거나 공격적인 반응을 보이는 문제로 보고되기도 했다.[111]
기계 학습은 체계적인 검토와 관련된 증거를 갱신하고, 증가하는 생물 의학 문헌으로 인한 검토자의 부담을 줄이는 전략으로 활용되기도 한다. 훈련 세트를 통해 성능이 개선되었지만, 연구 결과 자체에 필요한 민감도를 해치지 않으면서 작업 부담을 충분히 줄일 만큼 발전하지는 못했다.[112]
학습 과정에서 기계가 "잘못된 교훈을 배우는" 경우도 발생할 수 있다. 예를 들어, 갈색 말과 검은 고양이 사진만으로 훈련된 이미지 분류기는 모든 갈색 물체를 말로 판단할 가능성이 있다. 현실 세계의 예로, 현재의 이미지 분류기는 인간과 달리 그림의 구성 요소 간 공간적 관계보다는, 인간이 인지하지 못하는 픽셀 간의 특정 관계를 학습하여 객체를 판단하는 경향이 있다. 이러한 픽셀 패턴은 실제 객체 이미지와 상관관계가 있지만, 합법적인 이미지에서 이 패턴을 약간만 수정하면 시스템이 잘못 분류하게 만드는 "적대적" 이미지가 생성될 수 있다.[115][116]
적대적 취약성은 비선형 시스템이나 비패턴적인 작은 변화에서도 발생할 수 있다. 일부 시스템에서는 의도적으로 선택된 단 하나의 픽셀만 변경해도 전체 출력이 바뀔 수 있다.[117] 이처럼 기계 학습 모델은 적대적 기계 학습을 통한 조작이나 회피 공격에 취약한 경우가 많다.[118]
연구에 따르면, 제3자가 개발하거나 훈련하는 분류 모델(예: 스팸 메일 분류)에 백도어가 탐지되지 않게 심어질 수 있다. 이러한 백도어는 데이터나 소프트웨어의 투명성이 보장되거나, 화이트박스 접근이 가능한 경우를 포함하여 모든 입력에 대한 분류 결과를 변경할 수 있다.[119][120][121]
13. 설명 가능성
설명 가능한 AI(XAI), 해석 가능한 AI, 또는 설명 가능한 기계 학습(XML)은 인간이 인공지능(AI)이 내린 결정이나 예측을 이해할 수 있도록 하는 인공지능(AI)을 말한다.[113] 이는 기계 학습의 "블랙 박스" 개념과 대비된다. 블랙 박스 모델에서는 설계자조차 AI가 특정 결정을 내린 이유를 설명하기 어렵다.[114] XAI는 AI 시스템 사용자의 이해를 돕고 오해를 줄여, 사용자가 작업을 더 효과적으로 수행하도록 지원하는 것을 목표로 한다. XAI는 설명받을 권리라는 사회적 권리를 실현하는 방법이 될 수도 있다.
14. 과적합
과적합은 학습 모델이 훈련 과정에서 주어진 데이터에만 지나치게 최적화되어, 마치 잘못되고 지나치게 복잡한 이론에 매달리는 것과 같은 상태를 의미한다. 이렇게 되면 모델이 학습 데이터는 매우 잘 설명하지만, 실제 예측이나 새로운 데이터에 대해서는 성능이 떨어지는 문제가 발생한다.
많은 학습 시스템에서는 모델이 훈련 데이터에 얼마나 잘 맞는지를 평가하여 보상을 주는 동시에, 모델의 복잡성이 불필요하게 커지는 것을 막기 위해 복잡성에 따라 일종의 페널티를 부여하는 방식을 사용한다. 이를 통해 과적합을 줄이고 모델이 새로운 데이터에 대해서도 좋은 성능을 내도록(일반화 성능을 높이도록) 유도한다.
15. 윤리
인공지능 윤리의 한 측면으로, 생성형 AI 모델을 훈련하는 데 사용되는 데이터셋에 포함된 저작물에 대한 저작권 및 데이터 윤리 문제가 지적되고 있다. 기계 학습으로 훈련된 AI 서비스가 확산되면서, 훈련 데이터셋에 저작물이 사용되는 것에 대해 출판사와 창작자들을 중심으로 우려가 커지고 있으며, 일부 AI 서비스 제공업체를 상대로 소송이 제기되기도 했다.[182]
데이터의 무단 이용에 대응하기 위한 기술 개발도 이루어지고 있다. 이미지의 경우, Nightshade와 같이 기계 학습 모델에는 악영향을 주지만 사람의 눈으로는 감지하기 어려운 노이즈를 이미지에 추가하는 기법 등이 연구되고 있다.[183]
데이터셋 저작권 침해 문제와 관련하여 세계 최초의 판결로 주목받은 사건은 2024년 9월 선고된 “크네슈케 대 LAION 사건”이다. 이 판결은 독일 국내법뿐만 아니라 유럽 연합의 저작권법인 DSM 저작권 지침 및 AI를 직접 규제하는 AI 법의 해석까지 다루었다는 점에서 국제적인 관심을 끌었다. 해당 사건에서 법원은 데이터셋 제공업체인 LAION의 스크래핑 행위를 적법하다고 판단했으며, 원고인 사진작가의 청구는 기각되었다.[184][185][186]
15. 1. 편향
다양한 기계 학습 방법은 서로 다른 데이터 편향의 영향을 받을 수 있다. 예를 들어, 기존 고객 데이터로만 학습된 기계 학습 시스템은 훈련 데이터에 포함되지 않은 새로운 고객 그룹의 요구를 예측하지 못할 수 있다. 특히 인간이 만든 데이터로 학습될 때, 기계 학습은 사회에 이미 존재하는 고정관념이나 무의식적인 편향을 그대로 학습할 위험이 크다.[124]이렇게 편향된 방식으로 수집된 데이터 세트로 학습된 시스템은 사용 과정에서 학습된 편향을 그대로 드러내는데, 이를 알고리즘 편향이라고 한다. 이는 기존의 사회·문화적 편견을 디지털 기술을 통해 더욱 공고히 하는 결과를 낳을 수 있다.[125] 대표적인 사례로, 1988년 영국의 인종평등위원회는 세인트 조지 의과대학이 과거 입학 담당자들의 데이터를 학습한 컴퓨터 프로그램을 이용해 여성 또는 유럽계 이름이 아닌 지원자 약 60명의 입학을 거부했다는 사실을 밝혀냈다.[124] 또한, 인종차별적인 채용 정책을 가진 회사의 데이터를 학습한 기계 학습 시스템은 과거 합격자와의 유사성을 기준으로 지원자를 평가함으로써 기존의 차별적 편향을 그대로 답습하고 강화할 수 있다.[126][127] 예측 치안 회사 지오리티카의 예측 알고리즘 역시 과거 범죄 데이터를 학습한 결과, "저소득층 및 소수 민족 거주 지역에서 과도한 경찰 활동이 불균형적으로 나타나는" 문제를 보였다.[128]
미국의 탐사보도 기관인 프로퍼블리카가 수행한 실험에서는, 재범 위험 예측 알고리즘이 흑인 피고인을 백인 피고인보다 두 배나 더 자주 '고위험군'으로 잘못 분류하는 경향을 보였다.[128] 2015년에는 구글 포토가 흑인 부부 사진에 '고릴라'라는 태그를 자동으로 붙여 큰 논란이 되었다. 구글은 이후 해당 레이블을 삭제했지만, 2023년 현재까지도 구글 포토는 고릴라 자체를 인식하지 못하도록 조치한 상태이다.[136] 이처럼 비백인 인종을 제대로 인식하지 못하거나 부정확하게 분류하는 문제는 다른 많은 시스템에서도 유사하게 발견되고 있다.[137]
인간의 언어 자체가 편향을 포함하고 있기 때문에, 방대한 언어 텍스트 말뭉치로 학습하는 언어 모델 역시 인간과 유사한 편향을 학습하게 된다.[131][132][133][134] 2016년 마이크로소프트가 트위터 사용자들과의 대화를 통해 학습하도록 설계한 챗봇 Tay는 공개된 지 얼마 지나지 않아 인종차별적이고 성차별적인 발언을 학습하여 논란 끝에 운영이 중단되기도 했다.[135]
이러한 기계 학습의 편향 문제는 단순히 기술적 오류를 넘어 사회적 차별을 심화시킬 수 있다는 점에서 심각하게 다뤄진다. 시스템 개발 및 운영 과정에서 책임감 있는 데이터 수집과 알고리즘 규칙에 대한 투명한 문서화가 중요하게 강조된다. 일부 연구자들은 AI 분야 자체의 다양성 부족, 즉 소수 집단의 참여와 대표성 부족이 편향 문제에 취약하게 만드는 한 원인이라고 지적하기도 한다.[129] 실제로 2021년 컴퓨팅 연구 협회(CRA)의 조사에 따르면, 전 세계 여러 대학의 AI 전공 교수진 중 여성 비율은 16.1%에 불과했다.[130] 또한 미국 내 신규 AI 박사 학위 취득자 중 백인이 45%, 아시아계가 22.4%를 차지한 반면, 히스패닉계는 3.2%, 흑인은 2.4%에 그쳐 AI 분야의 인적 구성 다양성이 부족함을 보여준다.[130]
이러한 문제들로 인해 기계 학습 기술이 사회 여러 분야에 효과적으로 도입되고 신뢰를 얻기까지는 더 많은 시간이 소요될 수 있다.[138] 기계 학습의 공정성 확보, 즉 편향을 줄이고 인류에게 이로운 방향으로 기술을 활용하려는 노력과 우려는 리페이페이와 같은 인공지능 과학자들을 중심으로 점점 더 목소리가 커지고 있다. 리페이페이는 "AI에는 인공적인 것이 없다. 그것은 사람들에게서 영감을 받고, 사람들에 의해 만들어지며, 가장 중요한 것은 사람들에게 영향을 미친다. 그것은 우리가 이제 막 이해하기 시작한 강력한 도구이며, 그것은 엄청난 책임이다."라고 강조하며 기술 발전과 함께 따르는 윤리적 책임의 중요성을 역설했다.[139]
15. 2. 재정적 인센티브
의료 전문가들 사이에서는 기계 학습 시스템이 공익보다는 수익 창출을 목적으로 설계되었을 수 있다는 우려가 제기된다. 특히 미국과 같이 의료 서비스 개선과 이윤 증대 사이의 윤리적 딜레마가 존재하는 곳에서는 이러한 우려가 더욱 크다. 예를 들어, 알고리즘이 환자에게 불필요한 검사나 의약품을 추천하도록 설계되어, 알고리즘의 독점적 소유주가 이익을 얻을 수 있다는 것이다. 의료 분야에서 기계 학습은 전문가에게 환자의 진단, 치료 및 회복 경로 계획을 위한 추가적인 도구를 제공할 잠재력을 가지고 있지만, 이러한 재정적 이해관계에 따른 편향성을 완화하는 것이 중요하다.[140]16. 하드웨어
2010년대 이후 기계 학습 알고리즘과 컴퓨터 하드웨어의 발전은 여러 층의 비선형 은닉 유닛(hidden unit)으로 구성된 심층 신경망을 보다 효율적으로 훈련하는 것을 가능하게 했다.[141] 2019년에 이르러, 종종 AI 연산에 특화된 개선 사항이 적용된 그래픽 처리 장치(GPU)가 대규모 상용 클라우드 AI 훈련 환경에서 중앙 처리 장치(CPU)를 대체하며 주요 수단이 되었다.[142] 이러한 기술 발전과 함께 요구되는 컴퓨팅 성능 또한 폭발적으로 증가했다. 오픈AI의 분석에 따르면, AlexNet(2012)부터 알파제로(2017)에 이르기까지 주요 딥러닝 프로젝트에 필요한 하드웨어 연산량은 30만 배 증가했으며, 이는 평균 3.4개월마다 두 배씩 증가하는 추세를 보였다.[143][144]
16. 1. 뉴로모픽 컴퓨팅
Neuromorphic computingeng은 생물학적 신경망의 구조와 기능을 모방하도록 설계된 컴퓨팅 시스템의 한 종류이다. 이러한 시스템은 기존 하드웨어에서 소프트웨어 기반 시뮬레이션을 통해 구현되거나 특수한 하드웨어 아키텍처를 통해 구현될 수 있다.[145]Physical neural networkeng은 메모리스터와 같이 전기적으로 조절 가능한 재료를 사용하여 화학적 시냅스 (chemical synapse)의 기능을 모방하는 특정 유형의 뉴로모픽 하드웨어이다. "물리적 신경망"이라는 용어는 소프트웨어 기반 구현과 달리 계산에 물리적 하드웨어를 사용한다는 점을 강조한다. 이는 조절 가능한 저항을 가진 재료를 사용하여 신경 시냅스를 복제하는 인공 신경망을 광범위하게 지칭한다.[146][147]
16. 2. 임베디드 머신 러닝
임베디드 머신러닝(Embedded machine learning)은 웨어러블 컴퓨터, 에지 디바이스, 마이크로컨트롤러 등과 같이 제한된 컴퓨팅 자원을 가진 임베디드 시스템에 모델을 배포하는 기계 학습의 하위 분야이다.[148][149][150] 이러한 기기에서 모델을 직접 실행하면 클라우드 서버로 데이터를 전송하고 저장하여 추가 처리할 필요가 없어진다. 이는 데이터 유출, 개인 정보 유출, 지적 재산권 침해, 개인 데이터 및 기업 기밀 도난 위험을 줄이는 데 도움이 된다. 임베디드 머신러닝은 하드웨어 가속, 근사 컴퓨팅, 모델 최적화 등 다양한 기술을 통해 구현될 수 있다.[151][152][153][154][155] 일반적인 모델 최적화 기술에는 가지치기, 양자화, 지식 증류, 저차원 분해, 네트워크 아키텍처 검색, 매개변수 공유 등이 있다.17. 소프트웨어
다양한 기계 학습 알고리즘을 포함하는 소프트웨어 제품군에는 다음과 같은 것들이 있다.
- 아마존 머신 러닝(Amazon Machine Learning)
- Angoss KnowledgeSTUDIO
- Apache Mahout
- Apache Spark MLlib
- Apache SystemML
- 애저 머신 러닝(Azure Machine Learning)
- Caffe
- Deeplearning4j
- DeepSpeed
- ELKI
- Google Prediction API
- Google Cloud Vertex AI
- Google JAX
- IBM SPSS Modeler
- IBM 왓슨 스튜디오(IBM Watson Studio)
- Infer.NET
- 주바투스(Jubatus)
- Keras
- KNIME
- Kubeflow
- KXEN Modeler
- LightGBM
- LIONsolver
- Mallet
- 매스매티카(Mathematica)
- 매트랩(MATLAB)
- MCMLL
- Microsoft Cognitive Toolkit
- ML.NET
- mlpack
- mlpy
- MOA
- MXNet
- 뉴럴 디자이너(Neural Designer)
- 뉴로솔루션즈(NeuroSolutions)
- 오픈CV(OpenCV)
- OpenNN
- Oracle AI Platform Cloud Service
- 오라클 데이터 마이닝(Oracle Data Mining)
- Orange
- pandas
- 폴리아날리스트(PolyAnalyst)
- PyTorch
- 래피드마이너(RapidMiner)
- RCASE
- ROOT (ROOT를 사용한 TMVA)
- SAS
- SAS Enterprise Miner
- scikit-learn
- SequenceL
- Shogun
- 스플렁크(Splunk)
- STATISTICA 데이터 마이너(Data Miner)
- TensorFlow
- Torch
- Weka
- XGBoost
- Yooreeka
데이터로봇(DataRobot)사는[212] 여러 기법을 병렬 계산하여 비교하는 방법을 제공한다.[213]
18. 학술지
- 머신러닝 리서치 저널 (Journal of Machine Learning Research)
- 머신러닝 (Machine Learning)
- 네이처 머신 인텔리전스 (Nature Machine Intelligence)
- 뉴럴 컴퓨테이션 (Neural Computation)
- IEEE 패턴 분석 및 머신 인텔리전스 트랜잭션 (IEEE Transactions on Pattern Analysis and Machine Intelligence)
19. 학회
기계 학습 분야의 주요 학회와 학술지는 다음과 같다.
학회
- AAAI 인공지능 학술대회
- 계산언어학회 (ACL)
- 유럽 기계학습 및 지식 발견 원리와 실제 학술대회 (ECML PKDD)
- 생물정보학 및 생물통계학을 위한 계산 지능 방법 국제 학술대회 (CIBB)
- 국제 기계학습 학술대회 (ICML)
- 국제 학습 표현 학술대회 (ICLR)
- 국제 지능형 로봇 시스템 학술대회 (IROS)
- 지식 발견 및 데이터 마이닝 학술대회 (KDD)
- 신경정보처리시스템 학술대회 (NeurIPS)
학술지
- ''머신러닝''
- ''머신러닝 연구 저널''
- ''신경 계산''
참조
[1]
웹사이트
What is Machine Learning?
https://www.ibm.com/[...]
2021-09-22
[2]
논문
Voronoi-Based Multi-Robot Autonomous Exploration in Unknown Environments via Deep Reinforcement Learning
2020
[3]
논문
Application of Machine Learning Algorithms in Plant Breeding: Predicting Yield From Hyperspectral Reflectance in Soybean?
[4]
논문
Data Mining and Statistics: What's the connection?
[5]
논문
Some Studies in Machine Learning Using the Game of Checkers
1959
[6]
간행물
Glossary of terms
[7]
뉴스
How the Computer Got Its Revenge on the Soviet Union
https://web.archive.[...]
2015-04-09
[8]
논문
The Impact of Automation On Public Administration
https://journals.sag[...]
1964-09-01
[9]
웹사이트
History and Evolution of Machine Learning: A Timeline
https://www.techtarg[...]
[10]
논문
The Mind and Donald O. Hebb
https://www.jstor.or[...]
1993
[11]
뉴스
Science: The Goof Button
Time (magazine)
1961-08-18
[12]
서적
Learning Machines
McGraw Hill
[13]
서적
Pattern Recognition and Scene Analysis
Wiley Interscience
[14]
간행물
Teaching space: A representation concept for adaptive pattern classification
https://web.cs.umass[...]
Computer and Information Science Department, University of Massachusetts at Amherst, MA
[15]
서적
Machine Learning
McGraw Hill
[16]
논문
The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence
Kluwer
[17]
웹사이트
Introduction to AI Part 1
https://edzion.com/2[...]
2020-12-08
[18]
논문
An Empirical Science Research on Bioinformatics in Machine Learning
2020-02
[19]
서적
SUGI 19: proceedings of the Nineteenth Annual SAS Users Group International Conference
SAS Institute
[20]
서적
AIMA
[21]
논문
The changing science of machine learning
[22]
백과사전
Improving First and Second-Order Methods by Modeling Uncertainty
https://books.google[...]
MIT Press
[23]
논문
Statistics versus Machine Learning
[24]
웹사이트
statistics and machine learning
https://www.reddit.c[...]
reddit
2014-09-10
[25]
논문
Algorithms to Measure Surgeon Performance and Anticipate Clinical Outcomes in Robotic Surgery
[26]
논문
Breiman: Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)
http://projecteuclid[...]
2001-08
[27]
서적
An Introduction to Statistical Learning
http://www-bcf.usc.e[...]
Springer
[28]
논문
Statistical Physics for Medical Diagnostics: Learning, Inference, and Optimization Algorithms
2020-11-17
[29]
논문
Statistical physics of medical diagnostics: Study of a probabilistic model
2018-03-16
[30]
서적
Pattern Recognition and Machine Learning
Springer
[31]
서적
Foundations of Machine Learning
MIT Press
2012
[32]
서적
Introduction to Machine Learning
https://archive.org/[...]
The MIT Press
[33]
논문
Machine learning: Trends, perspectives, and prospects
2015-07-17
[34]
서적
Machine Learning in Radiation Oncology
2015
[35]
논문
Assessing the potential of machine learning methods to study the removal of pharmaceuticals from wastewater using biochar or activated carbon
2022-06
[36]
서적
Artificial Intelligence: A Modern Approach
Prentice Hall
2010
[37]
서적
Foundations of Machine Learning
The MIT Press
2012
[38]
서적
Introduction to Machine Learning
https://books.google[...]
MIT Press
2018-11-25
[39]
웹사이트
Lecture 2 Notes: Supervised Learning
https://www.cs.corne[...]
2024-07-01
[40]
서적
Computer Science Handbook, Second Edition (Section VII: Intelligent Systems)
Chapman & Hall/CRC Press LLC
[41]
학회발표논문
Self-Supervised Learning of Pretext-Invariant Representations
https://openaccess.t[...]
IEEE
2020
[42]
학술지
A Survey on Contrastive Self-Supervised Learning
2021-03-00
[43]
웹사이트
Weak Supervision: The New Programming Paradigm for Machine Learning
https://hazyresearch[...]
2019-06-06
[44]
서적
Reinforcement Learning
[45]
학술지
Nonlinear Dimensionality Reduction by Locally Linear Embedding
https://science.scie[...]
2000-12-22
[46]
서적
Metalearning: Applications to Data Mining
Springer Science+Business Media
[47]
서적
A self-learning system using secondary reinforcement
North-Holland
[48]
간행물
Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981.
[49]
학술지
Self-learning agents: A connectionist theory of emotion based on crossbar value judgment.
[50]
학술지
Representation Learning: A Review and New Perspectives
[51]
학회발표논문
Maximum-Margin Matrix Factorization
[52]
학회발표논문
An analysis of single-layer networks in unsupervised feature learning
http://machinelearni[...]
2018-11-25
[53]
학회발표논문
Visual categorization with bags of keypoints
https://www.cs.cmu.e[...]
2019-08-29
[54]
서적
Speech and Language Processing
Pearson Education International
[55]
학술지
A Survey of Multilinear Subspace Learning for Tensor Data
http://www.dsp.utoro[...]
2015-09-04
[56]
서적
Learning Deep Architectures for AI
https://books.google[...]
Now Publishers Inc.
2016-02-15
[57]
학술지
On the Computational Intractability of Exact and Approximate Dictionary Learning
[58]
학술지
K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation
http://sites.fas.har[...]
[59]
백과사전
Outlier Detection
Springer New York
2017
[60]
학술지
A Survey of Outlier Detection Methodologies
http://eprints.white[...]
2018-11-25
[61]
학술지
Data mining for network intrusion detection
https://www-users.cs[...]
2023-03-26
[62]
학술지
Anomaly detection: A survey
[63]
학술지
Learning efficient haptic shape exploration with a rigid tactile sensor array
[64]
서적
Attention-Based Robot Learning of Haptic Interaction
Springer International Publishing
2020
[65]
서적
Discovery, analysis, and presentation of strong rules
AAAI/MIT Press
[66]
학술지
Functional Network Construction in Arabidopsis Using Rule-Based Machine Learning on Large-Scale Data Sets
2011-09-01
[67]
학회발표논문
Proceedings of the 1993 ACM SIGMOD international conference on Management of data - SIGMOD '93
[68]
학술지
Learning Classifier Systems: A Complete Introduction, Review, and Roadmap
2009-09-22
[69]
논문
Automatic Methods of Inductive Inference
https://www.era.lib.[...]
University of Edinburgh
[70]
논문
Inductive inference of theories from facts
http://ftp.cs.yale.e[...]
Yale University, Department of Computer Science
[71]
서적
Algorithmic program debugging
MIT Press
1983
[72]
논문
The model inference system
http://dl.acm.org/ci[...]
Morgan Kaufmann Publishers Inc.
1981
[73]
서적
The hundred-page machine learning book
Andriy Burkov
2019
[74]
서적
Artificial intelligence: a modern approach
Pearson
2021
[75]
논문
Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
http://citeseerx.ist[...]
Proceedings of the 26th Annual International Conference on Machine Learning
2009
[76]
논문
Support-vector networks
1995
[77]
웹사이트
Tutorial: Polynomial Regression in Excel
https://facultystaff[...]
2017-01-22
[78]
웹사이트
examples
http://scikit-learn.[...]
[79]
논문
Genetic algorithms and machine learning
https://deepblue.lib[...]
1988
[80]
논문
Machine Learning, Neural and Statistical Classification
1994
[81]
논문
Evolutionary Computation Meets Machine Learning: A Survey
2011
[82]
웹사이트
Federated Learning: Collaborative Machine Learning without Centralized Training Data
http://ai.googleblog[...]
2017-04-06
[83]
웹사이트
Machine Learning
https://www.cfainsti[...]
2020-01-13
[84]
논문
Image Reconstruction Using Supervised Learning in Wearable Electrical Impedance Tomography of the Thorax
2023
[85]
웹사이트
BelKor Home Page
https://web.archive.[...]
[86]
웹사이트
The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1)
http://techblog.netf[...]
2012-04-06
[87]
뉴스
Letting the Machines Decide
https://www.wsj.com/[...]
The Wall Street Journal
2010-07-13
[88]
웹사이트
Do We Need Doctors or Algorithms?
https://techcrunch.c[...]
Tech Crunch
2012-01-10
[89]
웹사이트
When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed
https://medium.com/t[...]
[90]
웹사이트
The first AI-generated textbook shows what robot writers are actually good at
https://www.theverge[...]
2019-04-10
[91]
논문
Artificial Intelligence (AI) applications for COVID-19 pandemic
2020-07-01
[92]
논문
Application of machine learning to predict visitors' green behavior in marine protected areas: evidence from Cyprus
2021-03-10
[93]
논문
User Interaction Aware Reinforcement Learning for Power and Thermal Efficiency of CPU-GPU Mobile MPSoCs
http://repository.es[...]
2020-06-15
[94]
뉴스
Smartphones get smarter with Essex innovation
https://www.business[...]
[95]
뉴스
Future smartphones 'will prolong their own battery life by monitoring owners' behaviour'
https://inews.co.uk/[...]
2020-07-21
[96]
논문
Machine Learning for Stock Selection
https://www.tandfonl[...]
2019-07-01
[97]
논문
Machine learning from quantum chemistry to predict experimental solvent effects on reaction rates
https://xlink.rsc.or[...]
2024
[98]
논문
Predicting Hurricane Evacuation Decisions with Interpretable Machine Learning Methods
2024-02-01
[99]
논문
8 - AI for large-scale evacuation modeling: promises and challenges
https://www.scienced[...]
Woodhead Publishing
2024-01-01
[100]
논문
Predicting and Assessing Wildfire Evacuation Decision-Making Using Machine Learning: Findings from the 2019 Kincade Fire
https://doi.org/10.1[...]
2023-03-01
[101]
논문
A machine learning based study on pedestrian movement dynamics under emergency evacuation
https://www.scienced[...]
2019-06-01
[102]
논문
Modelling and interpreting pre-evacuation decision-making using machine learning
https://www.scienced[...]
2020-05-01
[103]
뉴스
Why Machine Learning Models Often Fail to Learn: QuickTake Q&A
https://www.bloomber[...]
2016-11-10
[104]
뉴스
The First Wave of Corporate AI Is Doomed to Fail
https://hbr.org/2017[...]
2017-04-18
[105]
뉴스
Why the A.I. euphoria is doomed to fail
https://venturebeat.[...]
2016-09-18
[106]
웹사이트
9 Reasons why your machine learning project will fail
https://www.kdnugget[...]
2018-08-20
[107]
간행물
Transparency and Intelligibility
https://www.jstor.or[...]
Royal United Services Institute (RUSI)
2018-01-01
[108]
뉴스
Why Uber's self-driving car killed a pedestrian
https://www.economis[...]
2018-05-29
[109]
뉴스
IBM's Watson recommended 'unsafe and incorrect' cancer treatments – STAT
https://www.statnews[...]
2018-07-25
[110]
뉴스
IBM Has a Watson Dilemma
https://www.wsj.com/[...]
2018-08-11
[111]
웹사이트
How Microsoft's experiment in artificial intelligence tech backfired
https://www.npr.org/[...]
2023-02-27
[112]
논문
Comparison of a traditional systematic review approach with review-of-reviews and semi-automation as strategies to update the evidence
2020-01-01
[113]
논문
Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead
2019-01-01
[114]
논문
Crop yield prediction via explainable AI and interpretable machine learning: Dangers of black box models for evaluating climate change impacts on crop yield
2023-01-01
[115]
뉴스
Single pixel change fools AI programs
https://www.bbc.com/[...]
2017-11-03
[116]
뉴스
AI Has a Hallucination Problem That's Proving Tough to Fix
https://www.wired.co[...]
2018-01-01
[117]
arXiv
Towards deep learning models resistant to adversarial attacks
2019-09-04
[118]
웹사이트
Adversarial Machine Learning – CLTC UC Berkeley Center for Long-Term Cybersecurity
https://cltc.berkele[...]
[119]
뉴스
Machine-learning models vulnerable to undetectable backdoors
https://www.theregis[...]
[120]
뉴스
Undetectable Backdoors Plantable In Any Machine-Learning Algorithm
https://spectrum.iee[...]
2022-05-10
[121]
arXiv
Planting Undetectable Backdoors in Machine Learning Models
2022-04-14
[122]
논문
A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection
https://ai.stanford.[...]
1995-01-01
[123]
논문
Performance Evaluation Metrics for Software Fault Prediction Studies
http://www.uni-obuda[...]
2012-01-01
[124]
논문
Racist in the Machine
2016-01-01
[125]
웹사이트
The Ethics of Artificial Intelligence
http://www.nickbostr[...]
2011-01-01
[126]
웹사이트
The fight against racist algorithms
https://theoutline.c[...]
[127]
웹사이트
Machine learning is racist because the internet is racist
https://theoutline.c[...]
[128]
논문
Algorithms, Platforms, and Ethnic Bias: An Integrative Essay
https://brie.berkele[...]
2018-01-01
[129]
논문
AI 'fairness' research held back by lack of diversity
https://www.nature.c[...]
2023-03-30
[130]
논문
Artificial Intelligence Index Report 2021
https://aiindex.stan[...]
[131]
논문
Semantics derived automatically from language corpora contain human-like biases
2017-04-14
[132]
논문
An algorithm for L1 nearest neighbor search via monotonic embedding
http://papers.nips.c[...]
Curran Associates, Inc.
2016-01-01
[133]
arXiv
Assessing Gender Bias in Machine Translation – A Case Study with Google Translate
2019-03-11
[134]
웹사이트
Language necessarily contains human biases, and so will machines trained on language corpora
https://freedom-to-t[...]
2016-08-24
[135]
뉴스
Why Microsoft Accidentally Unleashed a Neo-Nazi Sexbot
https://www.technolo[...]
2016-03-24
[136]
뉴스
Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech
https://www.theverge[...]
2018-01-12
[137]
뉴스
Opinion {{!}} Artificial Intelligence's White Guy Problem
https://www.nytimes.[...]
2016-06-25
[138]
뉴스
Microsoft: AI Isn't Yet Adaptable Enough to Help Businesses
https://www.technolo[...]
2017-03-30
[139]
뉴스
Fei-Fei Li's Quest to Make Machines Better for Humanity
https://www.wired.co[...]
2018-11-13
[140]
논문
Implementing Machine Learning in Health Care—Addressing Ethical Challenges
2018-01-01
[141]
웹사이트
Deep Neural Networks for Acoustic Modeling in Speech Recognition
http://airesearch.co[...]
2015-10-23
[142]
뉴스
GPUs Continue to Dominate the AI Accelerator Market for Now
https://www.informat[...]
2020-06-11
[143]
뉴스
AI is changing the entire nature of compute
https://www.zdnet.co[...]
2020-06-11
[144]
웹사이트
AI and Compute
https://openai.com/b[...]
2020-06-11
[145]
웹사이트
What is neuromorphic computing? Everything you need to know about how it is changing the future of computing
https://www.zdnet.co[...]
2024-11-21
[146]
웹사이트
Cornell & NTT's Physical Neural Networks: A "Radical Alternative for Implementing Deep Neural Networks" That Enables Arbitrary Physical Systems Training
https://syncedreview[...]
2021-10-12
[147]
뉴스
Nano-spaghetti to solve neural network power consumption
https://www.theregis[...]
2021-10-12
[148]
간행물
Extending the battery lifetime of wearable sensors with embedded machine learning
https://research-inf[...]
2022-01-17
[149]
웹사이트
A Beginner's Guide To Machine learning For Embedded Systems
https://analyticsind[...]
2022-01-17
[150]
웹사이트
Google, Purdue & Harvard U's Open-Source Framework for TinyML Achieves up to 75x Speedups on FPGAs
https://syncedreview[...]
2022-01-17
[151]
간행물
ESP4ML: Platform-Based Design of Systems-on-Chip for Embedded Machine Learning
https://ieeexplore.i[...]
2022-01-17
[152]
웹사이트
Towards Deep Learning using TensorFlow Lite on RISC-V
https://edge.seas.ha[...]
2022-01-17
[153]
간행물
Approximate Computing Methods for Embedded Machine Learning
https://ieeexplore.i[...]
2022-01-17
[154]
웹사이트
dblp: TensorFlow Eager: A Multi-Stage, Python-Embedded DSL for Machine Learning.
https://dblp.org/rec[...]
2022-01-17
[155]
저널
Machine Learning in Resource-Scarce Embedded Systems, FPGAs, and End-Devices: A Survey
2019-11-05
[156]
웹사이트
Machine Learning textbook
https://www.cs.cmu.e[...]
2020-05-28
[157]
서적
The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer
Kluwer
[158]
서적
Machine Learning
McGraw Hill
[159]
위키
bishop2006
[160]
저널
Data Mining and Statistics: What's the connection?
[161]
저널
Some Studies in Machine Learning Using the Game of Checkers
1959
[162]
서적
統計的学習理論
講談社
[163]
간행물
統計的機械学習理論と ボルツマン機械学習
https://www.r-ccs.ri[...]
山形大学
[164]
Youtube
統計的機械学習入門
https://www.youtube.[...]
NII
[165]
일반텍스트
[166]
서적
Learning Deep Architectures for AI
https://books.google[...]
Now Publishers Inc.
[167]
웹사이트
Machine Learning Tool from Everlaw Finds Legal Evidence
https://www.deeplear[...]
2023-12-09
[168]
웹사이트
How We Analyzed the COMPAS Recidivism Algorithm
https://www.propubli[...]
2023-12-09
[169]
일반텍스트
[170]
웹사이트
BelKor Home Page
http://www2.research[...]
[171]
서적
(추가 정보 필요)
[172]
서적
(추가 정보 필요)
[173]
서적
(추가 정보 필요)
[174]
서적
(추가 정보 필요)
[175]
서적
(추가 정보 필요)
[176]
書籍
分析とは?
[177]
書籍
分析の具体例
[178]
書籍
分析の具体例
[179]
書籍
対処の具体例
[180]
書籍
対処の具体例
[181]
書籍
対処の具体例
[182]
법원자료
NYT v. Microsoft, OpenAI
https://nytco-assets[...]
2023-12-27
[183]
보고서
Nightshade: A Defensive Tool For Artists Against AI Art Generators
https://amt-lab.org/[...]
AMT Lab, Carnegie Mellon University
[184]
웹사이트
To Scrape or Not to Scrape? First Court Decision on the EU Copyright Exception for Text and Data Mining in Germany
https://www.mofo.com[...]
Morrison & Foerster LLP. (法律事務所)
2024-11-09
[185]
웹사이트
AIトレーニングデータは著作権保護対象外?:ドイツにおける初の判決が示唆するポストAIの世界とアメリカとの違い
https://openlegalcom[...]
2024-11-09
[186]
웹사이트
2024 WIPO IP Judges Forum Informal Case Summary – Hamburg Regional Court, Germany [2024]: Robert Kneschke v. LAION e.V., Case No. 310 O 227/23
https://www.wipo.int[...]
WIPO
2024-11-09
[187]
법률
Directive (EU) 2019/790 of the European Parliament and of the Council of 17 April 2019 on copyright and related rights in the Digital Single Market and amending Directives 96/9/EC and 2001/29/EC (Text with EEA relevance.)
https://eur-lex.euro[...]
2019-04-17
[188]
웹사이트
生成AIに関する各国の対応について
https://www.bunka.go[...]
文化庁
2024-01-10
[189]
웹사이트
Proposal for a Regulation laying down harmonised rules on artificial intelligence
https://digital-stra[...]
EU
2024-01-10
[190]
웹사이트
「人工知能に関する調和の取れたルールを定める規則の提案」 (欧州委員会(2021年4月21日)) 本文・付属書(仮訳)
https://www.soumu.go[...]
総務省
2023-01-10
[191]
웹사이트
Amendments adopted by the European Parliament on 14 June 2023 on the proposal for a regulation of the European Parliament and of the Council on laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD))(1)
https://www.europarl[...]
2024-01-10
[192]
뉴스
EU、AIを包括的に規制する法案で政治合意、生成型AIも規制対象に
https://www.jetro.go[...]
2023-12-13
[193]
웹사이트
Europe within reach of landmark AI rules after nod from EU countries
https://www.reuters.[...]
2024-02-16
[194]
뉴스
AI companies have all kinds of arguments against paying for copyrighted content
https://www.theverge[...]
2023-11-05
[195]
서적
e Adobe Inc. Comments on the U.S. Copyright Office Notice of Inquiry and Request for Comments on Artificial Intelligence and Copyright
https://www.document[...]
Adobe
2023-10-30
[196]
서적
Artificial Intelligence and Copyright
https://www.document[...]
Google
2023-10-30
[197]
뉴스
アーティストの作品でAI訓練 「無断で複製された」米国で集団提訴
https://www.asahi.co[...]
[198]
웹사이트
第9回 ミッドジャーニーなど画像生成AIを巡る著作権訴訟でクリエーターらの訴えが概ね棄却される
https://rp.kddi-rese[...]
KDDI総合研究所
2023-11-30
[199]
법원자료
Andersen et al. v. Stability AI Ltd.
https://storage.cour[...]
[200]
웹사이트
U.S. Will Not Recognize Copyrights for AI-Generated Images
https://www.deeplear[...]
2023-03-08
[201]
웹사이트
Microsoft Commits to Cover Copyright Violation Costs for GenAI Services
https://www.deeplear[...]
2023-09-13
[202]
웹사이트
https://wired.jp/art[...]
[203]
웹사이트
Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence
https://www.whitehou[...]
2023-10-30
[204]
웹사이트
Problematic White House AI Policy, Parked Cruise Robotaxis, and more
https://www.deeplear[...]
2023-11-01
[205]
웹사이트
OpenAIが著作権侵害で法的請求が発生した場合にユーザーを守り発生費用を全額支払う「著作権シールド」を発表 - GIGAZINE
https://gigazine.net[...]
2023-11-07
[206]
웹사이트
著作権法
https://laws.e-gov.g[...]
[207]
웹사이트
デジタル化・ネットワーク化の進展に対応した 柔軟な権利制限規定に関する基本的な考え方
https://www.bunka.go[...]
[208]
웹사이트
令和5年度 著作権セミナー AIと著作権
https://www.bunka.go[...]
[209]
논문
情報解析と著作権──「機械学習パラダイス」としての日本
人工知能学会
[210]
논문
AI生成物・機械学習と著作権法
https://jpaa-patent.[...]
日本弁理士会
[211]
웹사이트
ビデオコピライトFAQ|一般社団法人日本映像ソフト協会
https://www.jva-net.[...]
一般社団法人日本映像ソフト協会
2024-02-11
[212]
text
[213]
웹사이트
DataRobot
https://www.datarobo[...]
[214]
웹인용
Machine Learning textbook
http://www.cs.cmu.ed[...]
2020-05-28
[215]
harvnb
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com