센서 융합

1. 개요

센서 융합은 여러 센서에서 수집된 데이터를 결합하여 단일 센서로는 얻을 수 없는 정보를 제공하는 기술이다. 센서 융합은 중앙 집중형, 분산형, 중복, 보완, 협력 등의 다양한 방식으로 분류할 수 있으며, 데이터, 특징, 결정 레벨과 같은 정보 추상화 수준에 따라 융합을 수행할 수 있다. 센서 융합 알고리즘에는 칼만 필터, 베이즈 네트워크 등이 있으며, 가속도계, 라이다, GPS 등 다양한 센서가 융합에 사용된다. 센서 융합은 GPS/INS, 교통 상태 파악, 자율 주행, 초분광 영상 처리 등 다양한 분야에 활용된다.

2. 센서 융합의 종류

2.1. 중앙 집중형 vs 분산형

센서 융합에서 중앙 집중형과 분산형은 데이터 융합이 발생하는 위치를 의미한다. 중앙 집중형 융합에서는 클라이언트가 모든 데이터를 중앙 위치로 전송하고, 중앙 위치의 어떤 개체가 데이터를 상관시키고 융합하는 역할을 한다. 분산형 융합에서는 클라이언트가 데이터 융합에 대한 모든 책임을 진다. "이 경우, 모든 센서 또는 플랫폼은 의사 결정에서 어느 정도 자율성을 가진 지능형 자산으로 간주될 수 있다."

중앙 집중형 및 분산형 시스템의 여러 조합이 존재한다.

센서 구성의 또 다른 분류는 센서 간의 정보 흐름의 조정과 관련이 있다. 이러한 메커니즘은 갈등이나 의견 불일치를 해결하고 동적 감지 전략을 개발할 수 있는 방법을 제공한다. 각 노드가 동일한 속성에 대한 독립적인 측정을 제공하는 경우 센서는 중복(또는 경쟁) 구성에 있다. 이 구성은 여러 노드의 정보를 비교할 때 오류 수정에 사용할 수 있다. 중복 전략은 투표 절차에서 높은 수준의 융합과 함께 자주 사용된다. 보완적 구성은 여러 정보 소스가 동일한 기능에 대해 서로 다른 정보를 제공할 때 발생한다. 이 전략은 의사 결정 알고리즘 내에서 원시 데이터 수준에서 정보를 융합하는 데 사용된다. 보완적 기능은 일반적으로 신경망, 은닉 마르코프 모델, 서포트 벡터 머신, 클러스터링 방법 및 기타 기술을 사용한 동작 인식 작업에 적용된다. 협력 센서 융합은 여러 독립 센서에서 추출한 정보를 사용하여 단일 센서에서는 사용할 수 없는 정보를 제공한다. 예를 들어, 신체 분절에 연결된 센서는 분절 간의 각도를 감지하는 데 사용된다. 협력 센서 전략은 단일 노드에서는 얻을 수 없는 정보를 제공한다. 협력 정보 융합은 동작 인식, 보행 분석, 동작 분석,에 사용할 수 있다.

2.2. 정보 흐름 조정 방식

2.3. 정보 추상화 수준

2.4. 융합 레벨

센서 융합은 일반적으로 사용되는 여러 범주 또는 수준이 있다.

* 레벨 0 – 데이터 정렬
* 레벨 1 – 개체 평가 (예: 신호/특징/객체). 추적 및 객체 감지/인식/식별
* 레벨 2 – 상황 평가
* 레벨 3 – 영향 평가
* 레벨 4 – 프로세스 개선 (즉, 센서 관리)
* 레벨 5 – 사용자 개선

센서 융합 수준은 융합 알고리즘에 사용되는 정보의 종류에 따라 정의할 수도 있다. 센서 융합은 다양한 소스에서 제공되는 원시 데이터, 외삽된 특징, 또는 개별 노드에서 내린 결정까지 융합하여 수행할 수 있다.

* 데이터 레벨 – 데이터 레벨(또는 초기) 융합은 여러 소스의 원시 데이터를 융합하고 가장 낮은 추상화 수준에서 융합 기술을 나타내는 것을 목표로 한다. 이는 많은 응용 분야에서 가장 일반적인 센서 융합 기술이다. 데이터 레벨 융합 알고리즘은 일반적으로 보다 정확하고 종합적인 판독을 달성하기 위해 여러 동종 센서 데이터를 결합하는 것을 목표로 한다. 데이터 레벨 정보 융합은 의사 결정 절차를 늦추는 큰 입력 공간을 생성하는 경향이 있으며, 불완전한 측정을 처리할 수 없는 경우가 있다.
* 특징 레벨 – 특징 레벨에서는 각 감지 노드에서 온보드로 계산된 정보를 융합 알고리즘에 활용한다. 이 절차는 데이터 레벨 융합에 비해 더 작은 정보 공간을 생성하며, 계산 부하 측면에서 유리하다. 가장 효율적인 특징 세트를 선택하는 것이 방법 설계의 주요 측면이 되어야 한다.
* 결정 레벨 – 결정 레벨(또는 후기) 융합은 여러 노드의 개별적인 결정에 의해 생성된 일련의 가설에서 가설을 선택하는 절차이다. 이는 가장 높은 추상화 수준이며, 예비 데이터 또는 특징 레벨 처리를 통해 이미 정교화된 정보를 사용한다. 결정 융합의 주요 목표는 노드의 데이터가 특징을 추출하여 사전 처리되는 동안 메타 레벨 분류기를 사용하는 것이다. 통신 대역폭 및 향상된 결정 정확도 확보와 이기종 센서 결합이 가능하다.

3. 센서 융합 알고리즘

센서 융합은 칼만 필터, 베이즈 네트워크, Dempster-Shafer 이론, 합성곱 신경망, 가우시안 과정 등 다양한 방법과 알고리즘을 포함하는 용어이다.

4. 센서 예시

센서 융합에 사용되는 센서의 예시는 다음과 같다.

* 가속도계
* 플래시 라이다
* GPS
* 자기계
* MEMS
* 위상배열
* 레이더
* 초장기선 간섭 관측법 (평방킬로미터 간섭계 등)
* 지진계
* 소나
* 소노부이
* 프로페셔널 비디오 카메라
* 전자 지원 측정 (ESM)
* 적외선/열화상 카메라
* 스캐닝 LIDAR

센서 목록에서 더 많은 센서를 확인할 수 있다.

5. 센서 융합 응용 분야

센서 융합의 한 가지 응용 분야는 GPS/INS로, 여기서 위성 항법 시스템 및 관성 항법 시스템 데이터는 다양한 방법을 사용하여 융합된다. 예를 들어 확장 칼만 필터가 사용되는데, 이는 저가형 센서를 사용하여 항공기의 자세를 결정하는 데 유용하다. 데이터 융합 접근 방식을 사용하여 도로변에서 수집된 음향, 이미지 및 센서 데이터를 통해 교통 상태(저속 교통, 교통 체증, 중간 흐름)를 결정하는 것도 센서 융합의 또 다른 예이다. 자율 주행 분야에서는 센서 융합을 사용하여 보완적인 센서의 중복 정보를 결합하여 환경에 대한 보다 정확하고 신뢰할 수 있는 표현을 얻는다.

엄밀히 말해 전용 센서 융합 방식은 아니지만, 현대의 합성곱 신경망 기반 방식은 여러 채널의 센서 데이터(수백 개의 밴드를 가진 초분광 영상 등)를 동시에 처리하고 관련 정보를 융합하여 분류 결과를 생성할 수 있다.

6. 관련 계산 예시

두 개의 독립적인 센서 측정으로부터 얻은 두 개의 추정치를 각각 x₁ 및 x₂로 표시하고, 잡음의 분산을 각각 σ₁² 및 σ₂²로 표시한다. 결합된 추정치 x₃을 얻는 한 가지 방법은 역분산 가중을 적용하는 것이다. 이는 프레이저-포터 고정 간격 평활기 내에서도 사용된다.

: x₃ = σ₃² (σ₁^-2x₁ + σ₂^-2x₂) ,

여기서 σ₃² = (σ₁^-2 + σ₂^-2)^-1는 결합된 추정치의 분산이다. 융합된 결과는 단순히 각 측정값의 정보량에 의해 가중된 두 측정값의 선형 결합임을 알 수 있다.

x가 확률 변수인 경우를 주목할 필요가 있다. 추정치 x₁과 x₂는 공통적인 공정 잡음을 통해 상관 관계가 있을 것이며, 이는 추정치 x₃가 보수성을 잃게 할 것이다.

두 개의 측정을 융합하는 또 다른 (동등한) 방법은 최적 칼만 필터를 사용하는 것이다. 데이터가 1차 시스템에 의해 생성된다고 가정하고, P_k가 필터의 리카티 방정식의 해를 나타낸다고 가정한다. 이득 계산 내에서 크라머 공식을 적용하여 필터 이득이 다음과 같이 주어진다는 것을 알 수 있다.

: L_k = [ (σ₂²P_k) / (σ₂²P_k + σ₁²P_k + σ₁²σ₂²) , (σ₁²P_k) / (σ₂²P_k + σ₁²P_k + σ₁²σ₂²) ].

검토 결과, 첫 번째 측정이 잡음이 없는 경우 필터는 두 번째 측정을 무시하고 그 반대의 경우도 마찬가지이다. 즉, 결합된 추정치는 측정 품질에 따라 가중된다.