센서 융합

3. 센서 융합 알고리즘

센서 융합은 칼만 필터^[3], 베이즈 네트워크, Dempster-Shafer 이론, 합성곱 신경망, 가우시안 과정^[4][5] 등 다양한 방법과 알고리즘을 포함하는 용어이다.

4. 센서 예시

센서 융합에 사용되는 센서의 예시는 다음과 같다.

• 가속도계
• 플래시 라이다
• GPS
• 자기계
• MEMS
• 위상배열
• 레이더
• 초장기선 간섭 관측법 (평방킬로미터 간섭계 등)
• 지진계
• 소나
• 소노부이
• 프로페셔널 비디오 카메라
• 전자 지원 측정 (ESM)
• 적외선/열화상 카메라
• 스캐닝 LIDAR

5. 센서 융합 응용 분야

센서 융합의 한 가지 응용 분야는 GPS/INS로, 여기서 위성 항법 시스템 및 관성 항법 시스템 데이터는 다양한 방법을 사용하여 융합된다.^[33] 예를 들어 확장 칼만 필터가 사용되는데, 이는 저가형 센서를 사용하여 항공기의 자세를 결정하는 데 유용하다.^[33] 데이터 융합 접근 방식을 사용하여 도로변에서 수집된 음향, 이미지 및 센서 데이터를 통해 교통 상태(저속 교통, 교통 체증, 중간 흐름)를 결정하는 것도 센서 융합의 또 다른 예이다.^[34] 자율 주행 분야에서는 센서 융합을 사용하여 보완적인 센서의 중복 정보를 결합하여 환경에 대한 보다 정확하고 신뢰할 수 있는 표현을 얻는다.^[35]

엄밀히 말해 전용 센서 융합 방식은 아니지만, 현대의 합성곱 신경망 기반 방식은 여러 채널의 센서 데이터(수백 개의 밴드를 가진 초분광 영상 등^[36])를 동시에 처리하고 관련 정보를 융합하여 분류 결과를 생성할 수 있다.

6. 관련 계산 예시

두 개의 독립적인 센서 측정으로부터 얻은 두 개의 추정치를 각각 x₁ 및 x₂로 표시하고, 잡음의 분산을 각각 σ₁² 및 σ₂²로 표시한다. 결합된 추정치 x₃을 얻는 한 가지 방법은 역분산 가중을 적용하는 것이다. 이는 프레이저-포터 고정 간격 평활기 내에서도 사용된다.^[6]

: x₃ = σ₃² (σ₁^-2x₁ + σ₂^-2x₂) ,

여기서 σ₃² = (σ₁^-2 + σ₂^-2)^-1는 결합된 추정치의 분산이다. 융합된 결과는 단순히 각 측정값의 정보량에 의해 가중된 두 측정값의 선형 결합임을 알 수 있다.

x가 확률 변수인 경우를 주목할 필요가 있다. 추정치 x₁과 x₂는 공통적인 공정 잡음을 통해 상관 관계가 있을 것이며, 이는 추정치 x₃가 보수성을 잃게 할 것이다.^[7]

두 개의 측정을 융합하는 또 다른 (동등한) 방법은 최적 칼만 필터를 사용하는 것이다. 데이터가 1차 시스템에 의해 생성된다고 가정하고, P_k가 필터의 리카티 방정식의 해를 나타낸다고 가정한다. 이득 계산 내에서 크라머 공식을 적용하여 필터 이득이 다음과 같이 주어진다는 것을 알 수 있다.

: L_k = [ (σ₂²P_k) / (σ₂²P_k + σ₁²P_k + σ₁²σ₂²) , (σ₁²P_k) / (σ₂²P_k + σ₁²P_k + σ₁²σ₂²) ].

검토 결과, 첫 번째 측정이 잡음이 없는 경우 필터는 두 번째 측정을 무시하고 그 반대의 경우도 마찬가지이다. 즉, 결합된 추정치는 측정 품질에 따라 가중된다.

참조

_[1] 서적 Sensor Fusion in Time-Triggered Systems, PhD Thesis https://mobile.aau.a[...] Vienna University of Technology
_[2] 논문 Multi-focus image fusion for visual sensor networks in DCT domain
_[3] 논문 A Survey on Multisensor Fusion and Consensus Filtering for Sensor Networks 2015
_[4] 논문 Bayesian inference of multi-sensors impedance cardiography for detection of aortic dissection https://doi.org/10.1[...] 2021-01-01
_[5] 논문 Bayesian Uncertainty Quantification with Multi-Fidelity Data and Gaussian Processes for Impedance Cardiography of Aortic Dissection 2019-12-31
_[6] 서적 Stochastic Models, Estimating, and Control Academic Press
_[7] 서적 The Dark Side of Decentralized Target Tracking : Unknown Correlations and Communication Constraints https://urn.kb.se/re[...] Linköping University Electronic Press 2023-12-15
_[8] 웹사이트 Multi-sensor management for information fusion: issues and approaches http://www.elsevier.[...] Information Fusion
_[9] 논문 Sensor Models and Multisensor Integration
_[10] 서적 eMaintenance: Essential Electronic Tools for Efficiency Academic Press
_[11] 서적 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012)
_[12] 서적 Proceedings of the 10th EAI International Conference on Body Area Networks
_[13] 논문 Gait based biometric personal authentication by using MEMS inertial sensors
_[14] 논문 IMU-Based Gait Recognition Using Convolutional Neural Networks and Multi-Sensor Fusion
_[15] 논문 A Method for Extracting Temporal Parameters Based on Hidden Markov Models in Body Sensor Networks With Inertial Sensors http://www.eecs.berk[...]
_[16] 논문 Inertial BSN-Based Characterization and Automatic UPDRS Evaluation of the Gait Task of Parkinsonians
_[17] 논문 Evaluation of accelerometer based multi-sensor versus single-sensor activity recognition systems
_[18] 논문 Personalized Multilayer Daily Life Profiling Through Context Enabled Activity Classification and Motion Reconstruction: An Integrated System Approach
_[19] 논문 A Novel Adaptive, Real-Time Algorithm to Detect Gait Events From Wearable Sensors
_[20] 논문 Quantitative assessment of dual gait analysis based on inertial sensors with body sensor network
_[21] 논문 Step Sequence and Direction Detection of Four Square Step Test http://irep.ntu.ac.u[...]
_[22] 문서 Rethinking JDL Data Fusion Levels http://www.infofusio[...]
_[23] 문서 Level 5: User Refinement to aid the Fusion Process Proceedings of the SPIE, Vol. 5099. 2003
_[24] 간행물 Revisiting the JDL data fusion model II
_[25] 간행물 Sensor, user, mission (SUM) resource management and their interaction with level 2/3 fusion http://www.iut-amien[...] 2006
_[26] 웹사이트 Harnessing the full power of sensor fusion - http://defensesystem[...] 2024-04-03
_[27] 간행물 Revisiting the JDL model for information Exploitation 2013
_[28] 논문 Multi-sensor fusion in body sensor networks: State-of-the-art and research challenges
_[29] 논문 An overview of performance trade-off mechanisms in routing protocol for green wireless sensor networks
_[30] 논문 A survey of depth and inertial sensor fusion for human action recognition
_[31] 서적 Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems - CHI '16
_[32] 서적 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG)
_[33] 논문 Flight Test Evaluation of Sensor Fusion Algorithms for Attitude Estimation 2012-07
_[34] 간행물 Information Fusion Based Learning for Frugal Traffic State Sensing
_[35] 논문 Stabilization and Validation of 3D Object Position Using Multimodal Sensor Fusion and Semantic Segmentation 2020-02-18
_[36] 논문 A Hyperspectral Image Classification Framework with Spatial Pixel Pair Features 2017-10-23
_[37] 논문 Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition https://zenodo.org/r[...]
_[38] 논문 Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition https://zenodo.org/r[...]