다중 작업 학습

3. 수학적 접근

다중 작업 학습(Multi-task learning, MTL)은 여러 관련된 작업을 동시에 학습하여 각 작업의 성능을 향상시키는 기계 학습 방법이다. 이 섹션에서는 다중 작업 학습에 대한 수학적 접근 방법을 설명한다.

MTL 문제는 재생 커널을 갖는 벡터 값 함수의 완비 내적 공간인 RKHSvv의 맥락에서 나타낼 수 있다. 특히, 최근에는 분리 가능한 커널을 통해 작업 구조를 식별할 수 있는 경우에 초점을 맞추고 있다.^[7]

커널은 특징 공간의 표현을 유도하고 작업 전반에 걸쳐 출력을 구조화한다. 여기서 입력 공간과 작업 $\backslash \{1,...,T\backslash \}$에 대한 별도의 커널로 분해되는 ''분리 가능한 커널''을 선택하면, 스칼라 구성 요소 $f\_t$ 및 $f\_s$와 관련된 커널은 $\backslash gamma((x\_i,t),(x\_j,s\; ))\; =\; k(x\_i,x\_j)k\_T(s,t)=k(x\_i,x\_j)A\_\{s,t\}$로 주어진다. 벡터 값 함수 $f\backslash in\; \backslash mathcal\; H$의 경우 $\backslash Gamma(x\_i,x\_j)=k(x\_i,x\_j)A$로 쓸 수 있으며, 여기서 k는 스칼라 재생 커널이고 A는 대칭 양의 준-정부호 $T\backslash times\; T$ 행렬이다.

이러한 분해 속성은 입력 특징 공간 표현이 작업에 따라 달라지지 않음을 의미한다. 즉, 입력 커널과 작업 커널 간의 상호 작용이 없다. 작업의 구조는 A에 의해서만 표현된다.

분리 가능한 경우 표현 정리는 $f(x)=\backslash sum\; \_\{i=1\}\; ^N\; k(x,x\_i)Ac\_i$로 축소된다. 훈련 데이터에 대한 모델 출력은 KCA이며, 여기서 K는 항목 $K\_\{i,j\}=k(x\_i,x\_j)$를 갖는 $n\; \backslash times\; n$ 경험적 커널 행렬이고 C는 행 $c\_i$의 $n\; \backslash times\; T$ 행렬이다.

분리 가능한 커널을 사용하면 다음 식을 얻을 수 있다.

:$$\backslash min\; \_\{C\backslash in\; \backslash mathbb\{R\}^\{n\backslash times\; T\}\}\; V(Y,KCA)\; +\; \backslash lambda\; tr(KCAC^\{\backslash top\})$$

여기서 V는 L을 Y와 KCA에 항목별로 적용한 (가중) 평균이다. (가중치는 $Y\_i^t$가 누락된 관측치인 경우 0이다).

위 식의 두 번째 항은 다음과 같이 유도할 수 있다.

:$\backslash begin\{align\}$

\|f\|^2_\mathcal{H} &= \left\langle \sum _{i=1} ^n k(\cdot,x_i)Ac_i, \sum _{j=1} ^n k(\cdot ,x_j)Ac_j \right\rangle_{\mathcal H }

\\

&= \sum _{i,j=1} ^n \langle k(\cdot,x_i)A c_i, k(\cdot ,x_j)Ac_j\rangle_{\mathcal H } & \text{(쌍선형성)}

\\

&= \sum _{i,j=1} ^n \langle k(x_i,x_j)A c_i, c_j\rangle_{\mathbb R^T } & \text{(재생 속성)}

\\

&= \sum _{i,j=1} ^n k(x_i,x_j) c_i^\top A c_j=tr(KCAC^\top )

\end{align}

MTL 패러다임에서는 일부 또는 모든 작업 간에 정보를 공유할 수 있다. 작업 관련성의 구조에 따라 작업 간에 정보를 선택적으로 공유할 수 있다. 예를 들어, 작업은 그룹화되거나 계층 구조로 존재하거나, 어떤 일반적인 척도에 따라 관련될 수 있다. 각 작업을 모델링하는 파라미터 벡터가 일부 기본 요소의 선형 결합이라고 가정할 때, 이 기본 요소 측면에서의 유사성은 작업의 관련성을 나타낼 수 있다.^[9]

3. 1. 벡터 값 함수 재생 커널 힐베르트 공간 (RKHSvv)

3. 1. 1. RKHSvv 개념

3. 1. 2. 분리 가능한 커널

3. 1. 3. 알려진 작업 구조

3. 1. 4. 작업 구조와 함께 학습

4. 소프트웨어

• https://www.public.asu.edu/~jye02/Software/MALSAR/index.html The Multi-Task Learning via Structural Regularization Package
• https://web.archive.org/web/20131224113826/http://klcl.pku.edu.cn/member/sunxu/code.htm Online Multi-Task Learning Toolkit (OMT): 조건부 무작위장 모델과 확률적 경사 하강 훈련(C#, .NET) 기반의 범용 온라인 다중 작업 학습 툴킷이다.

5. 참고 문헌

Multi-target prediction: A unifying view on problems and methods|다중 대상 예측: 문제와 방법에 대한 통합적 관점^영어 빌럼 바게만, 크리스토프 뎀프친스키, 아이케 휠러마이어 https://arxiv.org/abs/1809.02352v1

참조

_[1] 논문 A model of inductive bias learning" Journal of Artificial Intelligence Research http://www-2.cs.cmu.[...] 2000
_[2] 논문 Is learning the n-th thing any easier than learning the first? http://citeseer.ist.[...] MIT Press 1996
_[3] 간행물 Multi-task learning http://www.cs.cornel[...] 1997
_[4] 문서 Multi-Task Learning as Multi-Objective Optimization https://proceedings.[...] 2018
_[5] 논문 Rule-injection hints as a means of improving network performance and learning time 1990
_[6] 간행물 Learning from hints in neural networks 1990
_[7] ArXiv Convex Learning of Multiple Tasks and their Structure 2015
_[8] 문서 Exploiting Unrelated Tasks in Multi-Task Learning http://jmlr.csail.mi[...] 2012
_[9] 문서 Learning Task Grouping and Overlap in Multi-Task Learning http://icml.cc/2012/[...] 2012
_[10] 문서 A Convex Feature Learning Formulation for Latent Task Structure Discovery http://icml.cc/2012/[...] 2012
_[11] ArXiv Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data 2018
_[12] 문서 Hierarchical Regularization Cascade for Joint Learning http://www.cs.huji.a[...] 2013
_[13] 서적 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
_[14] 웹사이트 Deep Learning Overview https://www.mit.edu/[...] 2019-08-26
_[15] 논문 Group online adaptive learning http://rdcu.be/uFSv 2017-08
_[16] 간행물 Learning the Pareto Front with Hypernetworks https://proceedings.[...] 2020-07-13
_[17] 간행물 Learning output kernels with block coordinate descent. http://machinelearni[...] 2011
_[18] 간행물 Clustered multi-task learning: A convex formulation 2009
_[19] 문서 MALSAR: Multi-tAsk Learning via StructurAl Regularization http://www.public.as[...] 2012
_[20] 문서 Regularized multi–task learning https://web.archive.[...] 2004
_[21] 간행물 Learning multiple tasks with kernel methods http://jmlr.org/pape[...]
_[22] 간행물 Convex multi-task feature learning
_[23] 문서 Integrating low-rank and group-sparse structures for robust multi-task learning https://www.academia[...] 2011
_[24] 문서 An accelerated gradient method for trace norm minimization http://www.machinele[...] 2009
_[25] 간행물 A framework for learning predictive structures from multiple tasks and unlabeled data http://www.jmlr.org/[...]
_[26] 문서 A convex formulation for learning shared structures from multiple tasks http://leitang.net/p[...] 2009
_[27] 문서 Learning incoherent sparse and low-rank patterns from multiple tasks https://www.ncbi.nlm[...] 2010
_[28] 문서 Clustered multi-task learning: A convex formulation https://hal-ensmp.ar[...] 2008
_[29] 문서 Clustered multi-task learning via alternating structure optimization http://papers.nips.c[...] 2011
_[30] 논문 A model of inductive bias learning" Journal of Artificial Intelligence Research http://www-2.cs.cmu.[...] 2000
_[31] 논문 Is learning the n-th thing any easier than learning the first? http://citeseer.ist.[...] MIT Press 1996
_[32] 저널 Multi-task learning http://www.cs.cornel[...] 1997
_[33] 논문 Rule-injection hints as a means of improving network performance and learning time 1990
_[34] 저널 Learning from hints in neural networks 1990
_[35] ArXiv 인용 Convex Learning of Multiple Tasks and their Structure 2015
_[36] 논문 Exploiting Unrelated Tasks in Multi-Task Learning http://jmlr.csail.mi[...] 2012