맨위로가기

초차원 컴퓨팅

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

초차원 컴퓨팅(Hyperdimensional Computing, HDC)은 고차원 기호 표현을 활용하여 연산을 수행하는 컴퓨팅 방식이다. HDC는 벡터 기호 아키텍처(VSA)를 발전시킨 모델로, 데이터를 고차원 공간의 하이퍼벡터로 표현하고, 덧셈, 곱셈, 순열 등의 연산을 통해 정보를 처리한다. HDC는 이미지 인식, 추론 문제 해결, 생체 신호 처리 등 다양한 분야에 적용될 수 있으며, 특히 인 메모리 컴퓨팅 시스템에 적합하여 성능 향상과 오류 내성에 강점을 보인다. 한국에서는 멤리스터 기반 뉴로모픽 컴퓨팅 연구와 저전력 AI 반도체 개발을 중심으로 HDC 관련 연구가 활발히 진행되고 있다.

더 읽어볼만한 페이지

  • 딥 러닝 - 질의 응답
    질의응답 시스템은 자연어 질문을 이해하고 답변을 생성하며, 질문 유형과 사용 기술에 따라 분류되고, 읽기 이해 기반 또는 사전 지식 기반으로 작동하며, 대규모 언어 모델과 다양한 아키텍처 발전에 힘입어 복잡한 질문에 대한 답변과 다양한 분야에 활용이 가능해졌다.
  • 딥 러닝 - 딥페이크
    딥페이크는 인공지능 기술을 활용하여 영상이나 이미지를 조작, 합성하여 실제와 구별하기 어렵게 만드는 기술이며, 가짜 뉴스, 명예훼손, 신원 위장 등 다양한 문제점을 야기한다.
  • 인공신경망 - 인공 뉴런
    인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다.
  • 인공신경망 - 퍼셉트론
    퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.
초차원 컴퓨팅
초차원 컴퓨팅
유형컴퓨팅 패러다임
접근 방식신경망
인지 컴퓨팅
영감인간 두뇌의 작동 방식
사용 사례패턴 인식
기계 학습
인공 지능
신호 처리
주요 개념
초차원 공간고차원 공간 (일반적으로 1000차원 이상)
초평면초차원 공간에서의 평면
항목초차원 공간에서 정보를 표현하는 벡터
묶기벡터를 결합하는 작업 (덧셈 또는 곱셈)
유사성벡터 간의 유사성 측정 (예: 코사인 유사도)
홀로그래피 축소작은 정보 조각을 사용하여 전체 정보를 재구성하는 기술
응용 분야
패턴 인식이미지, 음성, 텍스트 등의 패턴 인식
기계 학습분류, 회귀, 군집화 등의 기계 학습 작업
인공 지능로봇 제어, 자연어 처리, 의사 결정 등의 인공 지능 시스템
신호 처리음성 인식, 이미지 처리, 통신 시스템 등의 신호 처리
장점
견고성노이즈와 오류에 강함
병렬 처리대규모 병렬 처리에 적합
적응성새로운 데이터에 쉽게 적응
에너지 효율성기존 컴퓨팅 방식보다 에너지 효율적임
단점
높은 계산 복잡도고차원 공간에서 계산 수행의 어려움
하드웨어 요구 사항특수 하드웨어 필요
같이 보기
관련 기술신경망
인지 컴퓨팅
뇌 모방 컴퓨팅

2. 역사

벡터 기호 아키텍처(Vector Symbolic Architecture, VSA)는 관계 설정과 같은 연산을 지원하기 위해 고차원 기호 표현에 대한 체계적인 접근 방식을 제공했다. 초기 예시로는 홀로그램 축소 표현(Holographic Reduced Representation), 이진 스패터 코드(Binary Spatter Code), 덧셈항의 매트릭스 바인딩(Matrix Binding of Additive Terms) 등이 있다. 초차원 컴퓨팅(Hyperdimensional Computing, HDC)은 특히 하드웨어 효율성을 강조하면서 이러한 VSA 모델들을 발전시켰다.[8][3]

2018년, 에릭 와이스(Eric Weiss)는 이미지를 하이퍼벡터로 완전히 표현하는 방법을 제시했다. 이 벡터에는 색상, 위치, 크기 등의 속성을 포함하여 이미지의 모든 객체에 대한 정보가 포함될 수 있다.[7][2]

2023년, 아바스 라히미(Abbas Rahimi)와 동료 연구자들은 신경망과 HDC를 결합하여 레이븐 매트릭스 문제를 해결하는 방법을 발표했다.[7][2] 같은 해, 마이크 헤데스(Mike Heddes)를 비롯한 연구진은 기바르기스(Givargis), 니콜라우(Nicolau), 베이덴바움(Veidenbaum) 교수의 지도 아래 PyTorch를 기반으로 하는 [https://torchhd.readthedocs.io/en/stable/index.html# 하이퍼 차원 컴퓨팅 라이브러리]를 개발했다.[5]

3. 프로세스

데이터는 인코딩 함수 φ : X → H에 따라 입력 공간(X)에서 희소(sparse)한 고차원(HD) 공간(H)으로 매핑된다.[8][3] HD 공간에서 데이터는 HD 표현으로 나타나며, 이는 노이즈나 하드웨어 오류로 인해 일부 손상될 수 있는 데이터 구조에 저장된다.[8][3] 그러나 노이즈가 있거나 손상된 HD 표현이라도 여전히 학습, 분류 등의 후속 작업을 위해 사용될 수 있다.[8][3] 또한, 필요한 경우 HD 표현을 디코딩하여 원본 입력 데이터를 복구하는 것도 가능하다.[8][3] 일반적으로 HD 공간 H는 범위가 제한된 정수(-v ~ v) 값들로 표현된다.[8][3]

이러한 과정은 초파리의 후각 시스템이 수행하는 학습 과정과 유사하다. 초파리의 경우, 냄새 수용체 뉴런으로부터 입력받은 약 50차원의 벡터 정보를 약 2,000차원의 HD 표현으로 변환하여 처리하는 것으로 알려져 있다.[8][3]

4. 연산

초차원 컴퓨팅(HDC)은 잘 정의된 벡터 공간 연산을 사용하여 여러 하이퍼벡터를 새로운 하이퍼벡터로 결합할 수 있다. 하이퍼벡터에 대한 군, 환, 체는 덧셈, 곱셈, 순열, 매핑 및 역 연산을 기본으로 하는 컴퓨팅 구조를 형성한다.[9][4] 모든 계산 작업은 고차원 공간에서 각 요소별(element-wise) 덧셈이나 내적과 같은 간단한 연산을 통해 수행된다.[8][3]

주요 연산은 다음과 같다.


  • 덧셈 (번들링): 여러 개념을 나타내는 하이퍼벡터들을 결합하여 새로운 하이퍼벡터를 생성한다. 이 연산은 함수 ⊕ : H × H → H로 표현되며, 입력된 두 하이퍼벡터와 유사한(가까운) 결과 하이퍼벡터를 만든다.[8][3] 예를 들어, "색깔은 빨강이다"를 나타내는 벡터와 "모양은 원이다"를 나타내는 벡터를 더하면, "빨간색 원"이라는 복합적인 개념을 나타내는 벡터가 생성된다.

  • 곱셈 (바인딩): 두 하이퍼벡터를 묶어(결합하여) 순서가 있는 정보나 관계를 표현하는 새로운 하이퍼벡터를 생성한다. 이 연산은 함수 ⊗ : H × H → H로 표현된다. 예를 들어, '모양(SHAPE)' 벡터와 '원(CIRCLE)' 벡터를 곱셈(바인딩) 연산하면 "모양은 원이다"라는 관계를 나타내는 벡터가 생성된다. 이 결과 벡터는 원래의 '모양' 벡터 및 '원' 벡터와는 거리가 멀고 거의 직교(유사 직교)하는 특징을 가진다. 중요한 점은, 결합된 벡터로부터 원래의 구성 요소 정보를 복구할 수 있다는 것이다 (예: 결과 벡터를 이용해 "모양이 원인가?"라는 질문에 답할 수 있다).[8][3]

  • 순열: 하이퍼벡터 내부 요소들의 순서를 재배열하는 연산이다. 예를 들어, (''x'', ''y'', ''z'') 값을 갖는 3차원 벡터에 순열 연산을 적용하여 (''y'', ''z'', ''x'')로 바꿀 수 있다. 이 연산은 순서 정보를 인코딩하는 데 유용하다. 예를 들어, 여러 사건 A와 B를 나타내는 하이퍼벡터를 단순히 덧셈으로 결합하면 사건 발생 순서 정보가 사라진다. 하지만 덧셈 연산과 순열 연산을 함께 사용하면, 각 사건의 순서 정보를 보존하면서 하나의 벡터로 표현할 수 있다. 저장된 순서 정보는 역순열 연산을 통해 다시 복구할 수 있다.

5. 직교성

고차원 공간에서는 직교하는 벡터를 쉽게 가정할 수 있다. 하지만 벡터가 '''유사 직교'''(nearly orthogonal)하도록 허용하면, 고차원 공간에서 표현 가능한 서로 다른 벡터의 수는 훨씬 더 많아진다.[7][2]

초차원 컴퓨팅(HDC)은 객체나 관찰을 단일 상수가 아닌, 여러 차원에 걸쳐 나타나는 값의 패턴으로 표현하는 분산 표현 개념을 사용한다.[8][3]

6. 모델 투명성

HDC 대수는 인공 신경망과 달리 시스템이 결정을 내리는 방법과 이유에 대한 논리를 설명할 수 있다. 물리적 세계의 객체는 하이퍼벡터로 매핑되어 HDC 대수로 처리될 수 있다.[7][2]

7. 성능

초차원 컴퓨팅(HDC)은 단일 칩에서 데이터를 계산하고 보관하여 데이터 전송 지연을 방지하는 "인 메모리 컴퓨팅 시스템"에 적합하다. 아날로그 장치는 저전압에서 작동하여 에너지 효율적이지만, 오류를 발생시키는 노이즈가 발생하기 쉽다. HDC는 이러한 오류를 허용할 수 있다.[7][2]

지금까지 다양한 연구팀에서 저전력 HDC 하드웨어 가속기를 개발해오고 있다.[8][3]

나노 규모의 멤리스터 장치를 활용하여 계산을 수행할 수 있다. 인 메모리 초차원 컴퓨팅 시스템은 주변 디지털 CMOS 회로와 함께 두 개의 멤리스터 크로스바 엔진을 이용하여 연산을 구현할 수 있다. 아날로그 인 메모리 컴퓨팅을 수행하는 760,000개의 상변화 메모리 장치를 사용한 실험에서는 소프트웨어 구현에 필적하는 정확도를 달성했다.[9][4]

8. 오류 내성

HDC는 개별 비트 오류(0이 1로 바뀌거나 그 반대)와 같이 오류 수정 메커니즘으로 놓칠 수 있는 오류에 강한 특성을 보인다.[7][2] 이러한 오류가 발생하더라도 결과 벡터는 여전히 정답 벡터와 유사한 값을 유지하여 추론 과정에 큰 영향을 미치지 않는다.[7][2] 따라서 HDC는 오류 수정 기능을 생략할 수 있으며, 이를 통해 컴퓨팅 비용을 최대 25%까지 절감할 수 있다.[7][2] HDC는 이미 기존 컴퓨팅 방식보다 오류에 강한 것으로 알려진 인공 신경망과 비교했을 때도 최소 10배 이상 높은 오류 허용성을 가진다.[7][2]

9. 응용

초차원 컴퓨팅(HDC)은 그 독특한 연산 방식으로 인해 다양한 분야에서 응용 가능성을 보여주고 있다. 대표적인 응용 분야로는 이미지 인식, 추론, 생체 신호 처리, 자연어 처리, 로봇 공학 등이 있다.[8][3]

이미지 인식 분야에서는 딥 러닝과 유사하게 이미지 분류 작업에 활용될 수 있으며[7], 추론 문제 해결, 특히 레이븐 지능검사와 같은 시각적 패턴 추론에서 기존 인공 신경망이나 기호 논리 기반 접근 방식보다 우수한 성능이나 효율성을 보이기도 했다.[7][2] 이 외에도 생체 신호 분석, 자연어 이해, 로봇 제어 등 다양한 영역에서 초차원 컴퓨팅의 적용 가능성이 탐색되고 있다.[8][3]

9. 1. 이미지 인식

HDC 알고리즘은 이미지 분류와 같이 딥 러닝에서 오랫동안 연구된 작업을 모방할 수 있다.[7]

예를 들어, 레이블이 있는 손글씨 숫자 데이터셋을 분류하는 경우를 생각해 보자. 먼저 각 이미지의 특징을 추출하는 알고리즘을 사용하여 이미지마다 고유한 하이퍼벡터를 생성한다. 그 다음, 특정 숫자(예: 숫자 '0')에 대한 프로토타입 하이퍼벡터를 만들기 위해, '0'으로 레이블된 모든 이미지의 하이퍼벡터를 더한다. 이 과정을 다른 모든 숫자에 대해서도 반복한다.[7]

새로운, 레이블이 없는 이미지를 분류해야 할 때는, 이전과 동일한 방식으로 해당 이미지의 하이퍼벡터를 생성한다. 그리고 이 하이퍼벡터를 미리 만들어 둔 각 숫자의 프로토타입 하이퍼벡터들과 비교한다. 이 비교를 통해 새로운 이미지가 어떤 숫자와 가장 유사한지 식별할 수 있다.[7]

수학적으로 표현하면, 레이블된 예제 집합 S = \{(x_{i}, y_{i})\}_{i=1}^N, \ {\scriptstyle\text{where}} \ x_{i} \in X \ {\scriptstyle\text{and}} \ y_{i} \in \{c_{i}\}_{i=1}^K (여기서 y_i는 x_i의 클래스 레이블)가 주어졌다고 가정한다.[8] 주어진 쿼리 이미지 x_q \in X에 대해, 가장 유사한 프로토타입(클래스) k^*는 다음 수식을 통해 찾을 수 있다: k^* = \underset{k \in \{1,...,K\}}{\operatorname{argmax}} \ \rho(\phi(x_{q}), \phi(c_{k})). 여기서 \phi(x)는 입력 x를 하이퍼벡터로 변환하는 함수이고, \rho는 두 하이퍼벡터 간의 유사도를 측정하는 함수이다. 유사도 측정 함수 \rho로는 일반적으로 내적(dot product)을 사용한다.[8]

9. 2. 추론

초차원 벡터(하이퍼벡터)는 추론 문제 해결에도 활용될 수 있다. 대표적인 예로 레이븐 지능검사(Raven's Progressive Matrices)가 있는데, 이는 여러 이미지로 구성된 그리드에서 규칙성을 찾아 빈칸에 들어갈 가장 적합한 이미지를 선택하는 방식의 테스트이다.[7][2]

이 문제를 해결하기 위해, 먼저 개별 객체와 그 속성을 나타내는 초차원 벡터 사전을 구축한다. 각 테스트 이미지에 대해 인공 신경망은 이미지 내 객체와 속성을 가장 잘 설명하는 이진 초차원 벡터(값이 +1 또는 -1)를 생성한다. 이 벡터는 미리 정의된 사전 내 벡터들과 최대한 유사하게 만들어진다.[7][2]

다른 접근 방식으로는 각 이미지 안의 객체 수와 해당 특성에 대한 확률 분포를 생성하는 방법이 있다. 이 확률 분포는 문제의 맥락과 후보 이미지가 가질 수 있는 특징들을 나타낸다. 이 분포 역시 초차원 벡터로 변환된 후, 초차원 벡터 연산(대수)을 통해 빈칸에 들어갈 가능성이 가장 높은 후보 이미지를 예측하는 데 사용된다.[7][2]

이러한 초차원 컴퓨팅 기반 접근 방식은 한 문제 세트에서 88%의 정확도를 달성했는데, 이는 61%의 정확도를 보인 인공 신경망 단독 처리 방식을 능가하는 성능이다. 또한 3x3 크기의 그리드 문제에서는, 관련된 규칙의 복잡성 때문에 기호 논리를 이용한 추론 방식보다 250배 더 빠른 속도를 보여주었다.[7][2]

9. 3. 기타 응용 분야

초차원 컴퓨팅(HDC)의 다른 응용 분야로는 생체 신호 처리, 자연어 처리, 로봇 공학 등이 있다.[8][3]

참조

[1] 간행물 Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework 2021-10-01
[2] 웹사이트 A New Approach to Computation Reimagines Artificial Intelligence https://www.quantama[...] 2023-04-13
[3] 학술지 A Theoretical Perspective on Hyperdimensional Computing https://redwood.berk[...] 2021-10-05
[4] 학술지 In-memory hyperdimensional computing https://www.nature.c[...] 2020-06
[5] arXiv Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures 2022-05-18
[6] 인용 Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework http://arxiv.org/abs[...] 2021-10-01
[7] 웹인용 A New Approach to Computation Reimagines Artificial Intelligence https://www.quantama[...]
[8] 저널 인용 https://redwood.berk[...]
[9] 저널 인용 https://www.nature.c[...]


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com