아다마르 곱

1. 개요

아다마르 곱은 같은 크기의 두 행렬에서 각 요소별로 곱셈을 수행하는 연산이다. 두 행렬의 아다마르 곱은 교환, 결합, 분배 법칙을 따르며, 모든 성분이 1인 행렬은 아다마르 곱의 항등원 역할을 한다. 아다마르 곱은 슈어-오펜하임 부등식과 같은 중요한 성질을 가지며, JPEG 압축, 이미지 처리, 기계 학습, 통계 분석 등 다양한 분야에 응용된다. 프로그래밍 언어에서는 다양한 방식으로 구현되며, MATLAB, 줄리아, 파이썬, C++, GAUSS, 포트란 등에서 지원된다.

2. 정의

환의 성분을 갖는, 같은 크기 $m\backslash times\; n$의 두 행렬 $M,\; N\backslash in\backslash operatorname\{Mat\}(m,n;R)$이 주어졌을 때, $M$과 $N$의 아다마르 곱은 다음과 같이 정의된다.

:$M\backslash bigcirc\; N$
=\begin{pmatrix}
M_{11}N_{11}&M_{12}N_{12}&\dotsm&M_{1n}N_{1n}\\
M_{21}N_{21}&M_{22}N_{22}&&M_{2n}N_{2n}\\
\vdots&&\ddots&\vdots\\
M_{m1}N_{m1}&M_{m2}N_{m2}&\dotsm&M_{mn}N_{mn}
\end{pmatrix}\in\operatorname{Mat}(m,n;R)


즉, 두 행렬의 아다마르 곱은 각 성분별 곱으로 정의된다. 아다마르 곱은 $A\; \backslash odot\; B$ (또는 $A\; \backslash circ\; B$)로 표기하며, $(A\; \backslash odot\; B)\_\{ij\}\; =\; (A)\_\{ij\}\; (B)\_\{ij\}$와 같이 나타낼 수 있다.

크기가 다른 두 행렬에 대해서는 아다마르 곱이 정의되지 않는다.

2.1. 예시

2 × 3 행렬 두 개의 아다마르 곱은 다음과 같다.

:$$
\begin{bmatrix}
2 & 3 & 1 \\
0 & 8 & -2
\end{bmatrix} \circ \begin{bmatrix}
3 & 1 & 4 \\
7 & 9 & 5
\end{bmatrix} = \begin{bmatrix}
2 \times 3 & 3 \times 1 & 1 \times 4 \\
0 \times 7 & 8 \times 9 & -2 \times 5
\end{bmatrix} = \begin{bmatrix}
6 & 3 & 4 \\
0 & 72 & -10
\end{bmatrix}


3 × 3 행렬 A = (a_i,j)와 3 × 3 행렬 B = (b_i,j)의 아다마르 곱은 다음과 같다.

:$$
\begin{bmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33} \end{bmatrix} \circ
\begin{bmatrix} b_{11} & b_{12} & b_{13}\\ b_{21} & b_{22} & b_{23}\\ b_{31} & b_{32} & b_{33} \end{bmatrix} =
\begin{bmatrix} a_{11}\, b_{11} & a_{12}\, b_{12} & a_{13}\, b_{13}\\ a_{21}\, b_{21} & a_{22}\, b_{22} & a_{23}\, b_{23}\\ a_{31}\, b_{31} & a_{32}\, b_{32} & a_{33}\, b_{33} \end{bmatrix}

3. 성질

아다마르 곱은 교환 법칙, 결합 법칙, 덧셈에 대한 분배 법칙을 만족한다. 즉, 임의의 행렬 $A,\; B,\; C$와 스칼라 $k$에 대해 다음이 성립한다.

:$A\; \backslash odot\; B\; =\; B\; \backslash odot\; A$
:$A\; \backslash odot\; (B\; \backslash odot\; C)\; =\; (A\; \backslash odot\; B)\; \backslash odot\; C$
:$A\; \backslash odot\; (B\; +\; C)\; =\; A\; \backslash odot\; B\; +\; A\; \backslash odot\; C$
:$\backslash left(kA\backslash right)\; \backslash odot\; B\; =\; A\; \backslash odot\; \backslash left(kB\backslash right)\; =\; k\backslash left(A\; \backslash odot\; B\backslash right)$
:$A\; \backslash odot\; 0\; =\; 0\; \backslash odot\; A\; =\; 0$

모든 성분이 1인 행렬은 아다마르 곱의 항등원이 된다. 이는 주 대각선의 요소만 1인 일반 행렬 곱셈에서의 항등 행렬과는 다르다. 행렬의 모든 성분이 가역원이라면, 아다마르 곱에 대한 역원을 갖는다.

두 대칭 행렬의 아다마르 곱은 대칭 행렬이 된다. 두 복소수 에르미트 행렬의 아다마르 곱은 에르미트 행렬이 된다. 아다마르 곱은 크로네커 곱의 주요 부분 행렬이다.

3.1. 슈어-오펜하임 부등식

두 양의 준정부호 에르미트 행렬$M,N\backslash in\backslash operatorname\{Mat\}(n,n;\backslash mathbb\; C)$이 주어졌을 때, 슈어-오펜하임 부등식(Schur–Oppenheim inequality^영어)에 따르면 다음이 성립한다.
* $M\backslash bigcirc\; N$은 역시 양의 준정부호 에르미트 행렬이다.
* $\backslash det\; (M\backslash bigcirc\; N)\backslash ge\; \backslash left(\backslash prod\_\{i=1\}^n\backslash prod\_\{j=1\}^nM\_\{ij\}\backslash right)\backslash det\; N\backslash ge\backslash det\; (MN)$

두 양의 반정부호 행렬의 아다마르 곱은 양의 반정부호 행렬이다. 이는 러시아 수학자 이사히 슈어의 이름을 딴 슈어 곱 정리로 알려져 있다. 두 양의 반정부호 행렬 $A$와 $B$에 대해, 아다마르 곱의 행렬식이 각 행렬의 행렬식의 곱보다 크거나 같다는 것도 알려져 있다.
:$\backslash det(A\; \backslash circ\; B)\; \backslash ge\; \backslash det(A)\; \backslash det(B)$

3.2. 벡터와의 관계

벡터 x와 y, 그리고 이 벡터들을 주 대각선으로 하는 해당 대각 행렬 및 에 대해 다음 항등식이 성립한다.

:$$\backslash mathbf\{x\}^*\; (A\; \backslash odot\; B)\backslash mathbf\{y\}\; =\; \backslash operatorname\{tr\}\backslash left(\{D\}\_\backslash mathbf\{x\}^*\; A\; \{D\}\_\backslash mathbf\{y\}\; \{B\}^\backslash mathsf\{T\}\backslash right)$$

여기서 는 의 켤레 전치를 나타낸다. 특히, 1의 벡터를 사용하면, 아다마르 곱의 모든 요소의 합이 의 대각합임을 보여준다. 여기서 위첨자 T는 전치 행렬을 나타낸다. 즉,

:$\backslash operatorname\{tr\}\backslash left(AB^\{\backslash mathsf\; T\}\backslash right)\; =\; \backslash mathbf\{1\}^\backslash mathsf\{T\}\backslash left(A\backslash odot\; B\backslash right)\backslash mathbf\{1\}$이다.

정사각 행렬 및 에 대한 관련 결과는 아다마르 곱의 행 합이 의 대각 요소라는 것이다.

:$$\backslash sum\_i\; (A\; \backslash odot\; B)\_\{ij\}\; =\; \backslash left(B^\backslash mathsf\{T\}\; A\backslash right)\_\{jj\}\; =\; \backslash left(AB^\backslash mathsf\{T\}\backslash right)\_\{ii\}.$$

마찬가지로,

:$$\backslash left(\backslash mathbf\{y\}\backslash mathbf\{x\}^*\backslash right)\; \backslash odot\; A\; =\; \{D\}\_\backslash mathbf\{y\}\; A\; \{D\}\_\backslash mathbf\{x\}^*$$

또한 아다마르 행렬-벡터 곱은 다음과 같이 표현할 수 있다:

:$$(A\; \backslash odot\; B)\; \backslash mathbf\{y\}\; =\; \backslash operatorname\{diag\}\backslash left(\; A\; D\_\backslash mathbf\{y\}\; B^\backslash mathsf\{T\}\; \backslash right)$$

여기서 $\backslash operatorname\{diag\}(M)$은 행렬 의 대각선에서 형성된 벡터이다.

두 벡터 $\backslash mathbf\; a$와 $\backslash mathbf\; b$의 아다마르 곱은 다른 벡터에 의한 한 벡터의 해당 대각 행렬의 행렬 곱셈과 동일하다.

:$$\backslash mathbf\; a\; \backslash odot\; \backslash mathbf\; b\; =\; D\; \_\{\backslash mathbf\; a\}\; \backslash mathbf\; b\; =\; D\; \_\{\backslash mathbf\; b\}\; \backslash mathbf\; a$$

벡터를 대각 행렬로 변환하는 $\backslash operatorname\{diag\}$ 연산자(operator)는 아다마르 곱을 사용하여 다음과 같이 표현할 수 있다.

:$$\backslash operatorname\{diag\}(\backslash mathbf\{a\})\; =\; (\backslash mathbf\{a\}\; \backslash mathbf\{1\}^T)\; \backslash odot\; I$$

여기서 $\backslash mathbf\{1\}$은 요소가 $1$인 상수 벡터이고 $I$는 항등 행렬이다.

3.3. 다른 연산과의 관계

* 아다마르 곱은 (가환환에서 작업할 때) 교환 가능하고 결합적이며 덧셈에 대해 분배적이다. 즉, A, B, C가 동일한 크기의 행렬이고 k가 스칼라일 경우:
:: $$\backslash begin\{align\}$$
A \odot B &= B \odot A, \\
A \odot (B \odot C) &= (A \odot B) \odot C, \\
A \odot (B + C) &= A \odot B + A \odot C, \\
\left(kA\right) \odot B &= A \odot \left(kB\right) = k\left(A \odot B\right), \\
A \odot 0 &= 0 \odot A = 0.
\end{align}
* 두 행렬의 아다마르 곱에 대한 항등 행렬은 모든 요소가 1인 행렬이다. 이는 주 대각선의 요소만 1인 일반 행렬 곱셈에서의 항등 행렬과 다르다. 또한 아다마르 곱에서 행렬은 요소 중 0이 아닌 경우에만 역행렬을 갖는다.
* 벡터 $\backslash mathbf\{x\}$와 $\backslash mathbf\{y\}$ 및 이러한 벡터를 주 대각선으로 하는 해당 대각 행렬 $D\_\backslash mathbf\{x\}$ 및 $D\_\backslash mathbf\{y\}$에 대해 다음 항등식이 성립한다.
:: $$\backslash mathbf\{x\}^*\; (A\; \backslash odot\; B)\backslash mathbf\{y\}\; =\; \backslash operatorname\{tr\}\backslash left(\{D\}\_\backslash mathbf\{x\}^*\; A\; \{D\}\_\backslash mathbf\{y\}\; \{B\}^\backslash mathsf\{T\}\backslash right),$$
: 여기서 $\backslash mathbf\{x\}^*$는 $\backslash mathbf\{x\}$의 켤레 전치를 나타낸다. 특히, 1의 벡터를 사용하여, 이는 아다마르 곱의 모든 요소의 합이 $AB^\backslash mathsf\{T\}$의 대각합임을 보여준다. 여기서 위첨자 T는 전치 행렬을 나타낸다. 즉,
:: $\backslash operatorname\{tr\}\backslash left(AB^\{\backslash mathsf\; T\}\backslash right)\; =\; \backslash mathbf\{1\}^\backslash mathsf\{T\}\backslash left(A\backslash odot\; B\backslash right)\backslash mathbf\{1\}$이다.
: 정사각 행렬 $A$ 및 $B$에 대한 관련 결과는 아다마르 곱의 행 합이 $AB^\backslash mathsf\{T\}$의 대각 요소라는 것이다.
:: $$\backslash sum\_i\; (A\; \backslash odot\; B)\_\{ij\}\; =\; \backslash left(B^\backslash mathsf\{T\}\; A\backslash right)\_\{jj\}\; =\; \backslash left(AB^\backslash mathsf\{T\}\backslash right)\_\{ii\}.$$
: 마찬가지로,
:: $$\backslash left(\backslash mathbf\{y\}\backslash mathbf\{x\}^*\backslash right)\; \backslash odot\; A\; =\; \{D\}\_\backslash mathbf\{y\}\; A\; \{D\}\_\backslash mathbf\{x\}^*$$
: 또한 아다마르 행렬-벡터 곱은 다음과 같이 표현할 수 있다:
:: $$(A\; \backslash odot\; B)\; \backslash mathbf\{y\}\; =\; \backslash operatorname\{diag\}\backslash left(\; A\; D\_\backslash mathbf\{y\}\; B^\backslash mathsf\{T\}\; \backslash right)$$
: 여기서 $\backslash operatorname\{diag\}(M)$은 행렬 $M$의 대각선에서 형성된 벡터이다.
* 아다마르 곱은 크로네커 곱의 주요 부분 행렬이다.
* $D$와 $E$가 대각 행렬이면
:: $$\backslash begin\{align\}$$
D (A \odot B) E &= (D A E) \odot B = (D A) \odot (B E) \\
&= (AE) \odot (D B) = A \odot (D B E).
\end{align}
* 두 벡터 $\backslash mathbf\{a\}$와 $\backslash mathbf\{b\}$의 아다마르 곱은 다른 벡터에 의한 한 벡터의 해당 대각 행렬의 행렬 곱셈과 동일하다.
:: $$\backslash mathbf\{a\}\; \backslash odot\; \backslash mathbf\{b\}\; =\; D\; \_\{\backslash mathbf\{a\}\}\; \backslash mathbf\{b\}\; =\; D\; \_\{\backslash mathbf\{b\}\}\; \backslash mathbf\{a\}$$
* 벡터를 대각 행렬로 변환하는 연산자 $\backslash operatorname\{diag\}$는 아다마르 곱을 사용하여 다음과 같이 표현할 수 있다.
:: $$\backslash operatorname\{diag\}(\backslash mathbf\{a\})\; =\; (\backslash mathbf\{a\}\; \backslash mathbf\{1\}^T)\; \backslash odot\; I$$
: 여기서 $\backslash mathbf\{1\}$은 요소가 $1$인 상수 벡터이고 $I$는 항등 행렬이다.

아다마르 곱과 다른 행렬 곱 연산자와의 관계는 다음과 같다.

* 만약 $\backslash otimes$가 크로네커 곱이고, $A$가 $C$와, $B$가 $D$와 같은 차원을 가진다고 가정하면, 다음이 성립한다.
:: $$(A\; \backslash otimes\; B)\; \backslash odot\; (C\; \backslash otimes\; D)\; =\; (A\; \backslash odot\; C)\; \backslash otimes\; (B\; \backslash odot\; D)\; .$$

* 만약 $\backslash bull$이 페이스-분할 곱이라면, 다음이 성립한다.
:: $$(A\; \backslash bull\; B)\; \backslash odot\; (C\; \backslash bull\; D)\; =\; (A\; \backslash odot\; C)\; \backslash bull\; (B\; \backslash odot\; D).$$

* 만약 $\backslash ast$가 열별 카트리-라오 곱이라면, 다음이 성립한다.
:: $$(A\; \backslash bull\; B)(C\; \backslash ast\; D)\; =\; (A\; C)\; \backslash odot\; (B\; D).$$

4. 프로그래밍 언어에서의 구현

MATLAB에서 아다마르 곱은 "점 곱"으로 표시되며, `a .* b` 또는 `times(a, b)` 함수 호출로 나타낸다. `a .^ b` 및 `a ./ b`와 같은 유사한 점 연산자도 사용 가능하다.

줄리아는 MATLAB과 유사하게 아다마르 곱을 `a .* b`로 표시하며, "브로드캐스트 곱셈"이라고 한다. 다른 연산자도 요소별로 정의되어, 아다마르 거듭제곱은 `a .^ b`를 사용한다.

파이썬은 기본 배열 지원이 없어 표기법이 일관되지 않다. NumPy 수치 라이브러리는 아다마르 곱을 `a*b` 또는 `a.multiply(b)`로 해석하고, 행렬 곱은 `a@b` 또는 `a.matmul(b)`를 사용한다. SymPy 기호 라이브러리에서는 `array` 객체의 곱셈이 `a*b` 또는 `a@b`로 행렬 곱을 생성하며, 아다마르 곱은 `a.multiply_elementwise(b)` 메서드 호출을 통해 얻을 수 있다.

C++에서는 Eigen 라이브러리가 `Matrix` 클래스에 대한 `cwiseProduct` 멤버 함수(`a.cwiseProduct(b)`)를 제공하며, Armadillo 라이브러리는 연산자 `%`를 사용해 `a % b`로 표현한다. (`a * b`는 행렬 곱)

GAUSS와 HP Prime에서는 이 연산을 배열 곱셈이라고 한다.

포트란, R, APL, J 및 울프람 언어 (Mathematica)에서 곱셈 연산자 `*` 또는 `×`는 아다마르 곱을 적용한다. 반면 행렬 곱은 각각 `matmul`, `%*%`, `+.×`, `+/ .*` 및 `.`을 사용하여 작성한다. R 패키지 [https://cran.r-project.org/web/packages/matrixcalc/matrixcalc.pdf matrixcalc]는 숫자 행렬 또는 벡터의 아다마르 곱에 대한 함수 `hadamard.prod()`를 제공한다.

5. 응용

아다마르 곱은 JPEG와 같은 손실 압축 알고리즘에 사용된다. 디코딩 단계는 항목별 곱셈, 즉 아다마르 곱을 포함한다.

이미지 처리에서 아다마르 연산자는 이미지 영역을 향상시키거나, 억제하거나, 마스킹하는 데 사용할 수 있다. 하나의 행렬은 원본 이미지를 나타내고, 다른 행렬은 가중치 또는 마스킹 행렬 역할을 한다.

이는 기계 학습 문헌에서 GRU 또는 LSTM과 같은 순환 신경망의 아키텍처를 설명하는 데 사용된다.

또한 임의 벡터와 행렬의 통계적 특성을 연구하는 데 사용된다.

6. 역사

"아다마르 곱"이라는 용어는 자크 아다마르의 이름을 딴 것이다.

이사이 슈어는 1911년에 $\backslash det\; (M\backslash bigcirc\; N)\backslash ge\; \backslash det\; (MN)$을 증명하였으며, Alexander Oppenheim^영어(1903~1997)이 1930년에 이를 개량하였다.