경사지향 히스토그램

3. 알고리즘 구현

경사지향 히스토그램(HOG) 특징을 추출하는 알고리즘은 일반적으로 다음과 같은 단계로 구현된다.

# 기울기 계산: 이미지의 각 픽셀에서 수평 및 수직 방향의 밝기 변화율(기울기)을 계산한다. 이를 통해 이미지 내 객체의 윤곽선과 질감 정보를 파악할 수 있다.

# 방향성 구간화 (Orientation Binning): 이미지를 작은 영역인 '셀(cell)' 단위로 나누고, 각 셀 내부 픽셀들의 기울기 방향과 크기를 바탕으로 방향성 히스토그램을 생성한다. 이는 특정 영역의 주요 기울기 방향 분포를 나타낸다.

# 디스크립터 블록 (Descriptor Blocks): 여러 개의 셀을 묶어 '블록(block)'이라는 더 큰 영역을 구성한다. 이는 조명 변화나 약간의 형태 변형에 덜 민감한 특징을 만들기 위함이다.

# 블록 정규화 (Block normalization): 각 블록 내의 셀 히스토그램 정보를 정규화하여 조명이나 대비 변화의 영향을 줄인다. 정규화된 블록들의 정보를 모두 연결하여 최종 HOG 특징 벡터를 완성한다.

각 단계에 대한 자세한 구현 방식과 파라미터 설정은 이어지는 하위 섹션에서 설명한다.

3. 1. 기울기 계산

3. 2. 방향성 구간화 (Orientation Binning)

3. 3. 디스크립터 블록 (Descriptor Blocks)

• R-HOG 블록: 보통 정사각형 격자 형태로 배열되며, 블록 하나에 포함되는 셀의 수, 셀 하나의 크기(픽셀 수), 그리고 셀 히스토그램의 채널(방향 빈) 수라는 세 가지 주요 설정값으로 특징지어진다. Dalal과 Triggs의 사람 검출 실험에서는 블록당 4개의 8x8 픽셀 셀(즉, 블록 크기는 16x16 픽셀)을 사용하고, 9개의 방향 빈(채널)을 가진 히스토그램을 사용하는 것이 가장 좋은 성능을 보였다. 또한, 블록의 중심 픽셀에 더 높은 가중치를 주고 가장자리 픽셀에는 낮은 가중치를 주는 가우시안 공간 창(Gaussian spatial window)을 적용하면 성능이 약간 향상될 수 있다는 점도 발견되었다. 이는 히스토그램을 만들기 전에 적용된다. R-HOG 블록은 스케일 불변 특징 변환 (SIFT) 디스크립터와 외형적으로 비슷해 보일 수 있다. 하지만 R-HOG는 이미지 전체에 걸쳐 조밀한 격자(grid) 형태로, 특정 방향으로 정렬하지 않고 단일 크기(scale)에서 계산된다. 반면 SIFT는 이미지 내의 특정 지점(키포인트)에서만 계산되며, 크기 변화에 불변하고 계산된 방향에 맞춰 회전시킨다는 차이가 있다. 또한 R-HOG 블록들은 여러 개가 함께 사용되어 공간적인 형태 정보를 담아내는 반면, SIFT 디스크립터는 각각 독립적으로 사용되는 경향이 있다.

• C-HOG 블록: 중심 셀이 하나인 형태와, 중심 셀이 여러 각도 영역으로 나뉜 형태의 두 가지 변형이 있다. C-HOG 블록은 각도 빈(angular bin)과 반경 빈(radial bin)의 수, 중심 빈의 반지름, 그리고 추가되는 반경 빈의 확장 비율이라는 네 가지 설정값으로 정의된다. Dalal과 Triggs의 연구에 따르면, C-HOG의 두 변형은 성능 차이가 크지 않았으며, 각도 빈 4개, 중심 빈 반지름 4픽셀, 확장 비율 2를 사용하는 2개의 반경 빈 구성이 가장 좋은 성능을 보였다. R-HOG와 달리 C-HOG 블록에서는 가우시안 가중치를 사용하는 것이 성능 향상에 별다른 이점을 주지 못했다. C-HOG 블록은 모양 컨텍스트 (Shape Context) 디스크립터와 유사해 보일 수 있다. 하지만 C-HOG는 여러 방향 정보를 담는 히스토그램을 사용하는 반면, 모양 컨텍스트는 단순히 엣지(edge)의 존재 유무만을 사용한다는 점에서 중요한 차이가 있다.^[6]

3. 4. 블록 정규화 (Block normalization)

• L2-노름: $f\; =\; \{v\; \backslash over\; \backslash sqrt\{\backslash |v\backslash |^2\_2+e^2\}\}$
• L2-hys: L2-노름을 적용한 후, 벡터 $v$의 최대값을 0.2로 제한하는 클리핑(clipping) 과정을 거치고, 다시 정규화한다.^[7]
• L1-노름: $f\; =\; \{v\; \backslash over\; (\backslash |v\backslash |\_1+e)\}$
• L1-sqrt: $f\; =\; \backslash sqrt\{v\; \backslash over\; (\backslash |v\backslash |\_1+e)\}$

4. 객체 인식 (Object recognition)

경사지향 히스토그램(HOG) 디스크립터는 기계 학습 알고리즘에 특징으로 제공하여 객체 인식에 사용할 수 있다. Dalal과 Triggs는 HOG 디스크립터를 서포트 벡터 머신(SVM)의 특징으로 사용했지만,^[9] HOG 디스크립터는 특정 기계 학습 알고리즘에 얽매이지 않는다.

5. 성능

달랄(Navneet Dalal)과 트리그스(Bill Triggs)는 최초의 인간 감지 실험에서 자신들이 개발한 R-HOG 및 C-HOG 디스크립터 블록의 성능을 기존의 다른 방식들과 비교했다. 비교 대상은 일반화된 하르 웨이블릿, PCA-SIFT 디스크립터, 모양 컨텍스트 디스크립터였다.

• 일반화된 하르 웨이블릿: 방향성을 가진 하르 웨이블릿의 한 종류로, 2001년 모한(Mohan), 파파게오르기우(Papageorgiou), 포지오(Poggio)가 자신들의 객체 감지 실험에 사용했다.
• PCA-SIFT: SIFT 디스크립터와 유사하지만, 정규화된 그래디언트 패치에 주성분 분석(PCA)을 적용하는 점이 다르다. 2004년 Ke와 Sukthankar가 처음 제안했으며, 일반 SIFT보다 성능이 우수하다고 주장되었다.
• 모양 컨텍스트: C-HOG 블록과 유사하게 원형 빈(bin)을 사용하지만, 방향 정보 없이 에지(edge)의 존재 유무만을 기반으로 투표를 집계한다. 2001년 벨로지에(Belongie), 말릭(Malik), 푸지차(Puzicha)가 처음 사용했다.

MIT 데이터 세트에서는 C-HOG와 R-HOG 모두 10⁻⁴ 오탐률에서 감지 누락률이 거의 0에 가까웠다. INRIA 데이터 세트에서는 동일한 오탐률 조건에서 약 0.1의 감지 누락률을 보였다.

반면, 일반화된 하르 웨이블릿은 MIT 데이터 세트에서 약 0.01, INRIA 데이터 세트에서 약 0.3의 누락률을 기록하여 HOG 다음으로 좋은 성능을 보였다. PCA-SIFT와 모양 컨텍스트 디스크립터는 두 데이터 세트 모두에서 상대적으로 낮은 성능을 보였는데, MIT 데이터 세트에서는 약 0.1, INRIA 데이터 세트에서는 약 0.5의 누락률을 기록했다 (모두 10⁻⁴ 오탐률 기준).

6. 추가 개발

파스칼 시각 객체 클래스 2006 워크숍에서 나브닛 달랄(eng)과 빌 트리그스(eng)는 기존 사람 탐지에 사용되던 경사지향 히스토그램(HOG) 기술을 자동차, 버스, 자전거와 같은 다른 시각적 객체 및 개, 고양이, 소와 같은 동물 이미지에 적용한 결과를 발표했다. 이 연구에는 각 객체 유형에 대한 최적의 블록 구성 및 정규화 매개변수 값도 포함됐다. 오토바이를 탐지하는 데 HOG를 성공적으로 적용한 사례도 제시됐다.^[10]

같은 해 ECCV 2006에서 달랄과 트리그스는 코델리아 슈미드(eng)와 협력하여 영화 및 비디오 속 인물 탐지에 HOG 기술을 적용하는 연구 결과를 발표했다. 이들은 개별 비디오 프레임에서 추출한 HOG 특징과 함께, 연속된 두 프레임 사이의 움직임 정보를 담은 내부 모션 히스토그램(IMH, Internal Motion Histograms)이라는 새로운 특징 기술을 결합했다. IMH는 연속된 두 프레임 간의 광학 흐름 벡터장 기울기 크기를 계산하여 생성되며, 정지 이미지에서 HOG 특징을 계산하는 방식과 유사하게 처리된다. 두 개의 대규모 영화 데이터셋을 이용한 실험 결과, HOG와 IMH를 결합한 방식은 $10^\{-4\}$의 오탐률(false positive rate)에서 약 0.1의 미탐률(miss rate)을 보여 기존 방식보다 향상된 성능을 보였다.^[11]

또한 2006년 지능형 차량 심포지엄에서는 F. 수아드(fra), A. 라코토마몬지(fra), A. 벤스르하르(fra)가 HOG 디스크립터를 기반으로 한 완전한 보행자 탐지 시스템을 소개했다. 이 시스템은 두 대의 적외선 카메라를 사용하는데, 적외선 영상에서 사람이 주변 배경보다 밝게 나타나는 특성을 이용한다. 먼저 영상 전체에서 사람이 있을 가능성이 높은 관심 영역(ROI, Region of Interest)을 찾은 다음, 이 영역에서 추출한 HOG 특징을 서포트 벡터 머신(SVM) 분류기에 입력하여 보행자 존재 여부를 최종 판단한다. 보행자가 탐지되면, 스테레오 비전 기술을 이용해 실제 3차원 공간에서의 위치를 추정한다.^[12]

같은 해 IEEE CVPR 2006에서는 치앙 주(eng), 샤이 아비단(eng), 메이-첸 예(eng), 켕 팅 청(eng)이 HOG 디스크립터 방법을 사용하여 사람 탐지 속도를 크게 높이는 알고리즘을 발표했다. 그들의 방법은 HOG 디스크립터를 얼굴 탐지에 매우 성공적으로 적용된 캐스케이드 분류기 알고리즘과 결합하여 사용한다. 또한, 균일한 크기의 블록에 의존하는 대신 크기, 위치 및 종횡비가 다른 블록을 도입했다. 사람 탐지에 가장 적합한 블록을 격리하기 위해 AdaBoost 알고리즘을 적용하여 캐스케이드에 포함할 블록을 선택했다. 실험에서 그들의 알고리즘은 원래 달라와 트리그스 알고리즘과 비슷한 성능을 달성했지만 최대 70배 더 빠른 속도로 작동했다. 2006년 미쓰비시 전기 연구소는 이 알고리즘에 대해 출원 번호 20070237387로 미국 특허를 신청했다.^[13]

2010년 IEEE ICIP에서는 루이 후(eng), 마크 바나드(eng), 존 콜로모스(eng)가 HOG 디스크립터를 스케치 기반 이미지 검색(SBIR, Sketch Based Image Retrieval)에 사용하기 위해 확장한 기울기 필드 HOG(GF-HOG, Gradient Field HOG)를 소개했다. 캐니 에지 검출기에서 지배적인 응답으로부터 라플라시안 평활화 제약 조건 하에 조밀한 방향 필드가 외삽되었고, 이 필드에 대해 HOG가 계산되었다. 결과적인 기울기 필드 HOG(GF-HOG) 디스크립터는 스케치 또는 이미지 에지 맵에서 로컬 공간 구조를 캡처했다. 이를 통해 디스크립터를 자유형 스케치 모양으로 검색 가능한 콘텐츠 기반 이미지 검색 시스템 내에서 사용할 수 있었다.^[14] GF-HOG 적응은 SBIR 작업에서 스케일 불변 특징 변환(SIFT), 강력한 특징 가속화(SURF), HOG와 같은 기존 기울기 히스토그램 디스크립터보다 약 15% 더 나은 성능을 보였다.^[15]

같은 해, 마틴 크루크한스(eng)는 3D 포인트 클라우드를 위한 HOG 디스크립터의 개선 사항인 방향성 잔차 히스토그램(HOR, Histogram of Oriented Residuals)을 소개했다.^[16] 이미지 기울기 대신 점(픽셀)과 평면 간의 거리, 즉 잔차를 사용하여 포인트 클라우드에서 로컬 영역을 특징지었다. 그의 방향 잔차 히스토그램 디스크립터(HOR)는 3D 포인트 클라우드의 객체 탐지 작업에 성공적으로 사용되었다.^[17]

참조

_[1] 웹사이트 Method of and apparatus for pattern recognition http://www.google.co[...]
_[2] 웹사이트 Orientation Histograms for Hand Gesture Recognition http://www.merl.com/[...]
_[3] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[4] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[5] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[6] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[7] 논문 Distinctive image features from scale-invariant keypoints. http://www.cs.ubc.ca[...] IJCV 2004
_[8] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[9] 웹사이트 Histograms of Oriented Gradients for Human Detection http://lear.inrialpe[...]
_[10] 웹사이트 Object Detection using Histograms of Oriented Gradients http://www.pascal-ne[...] 2007-12-10
_[11] 웹사이트 Human Detection Using Oriented Histograms of Flow and Appearance http://www.acemedia.[...] 2007-12-10
_[12] 웹사이트 Pedestrian Detection using Infrared images and Histograms of Oriented Gradients http://www.ce.unipr.[...]
_[13] 웹사이트 Fast Human Detection Using a Cascade of Histograms of Oriented Gradients http://seaboy.tistor[...]
_[14] 웹사이트 Gradient Field Descriptor for Sketch based Image Retrieval and Localisation http://personal.ee.s[...]
_[15] 웹사이트 A Performance Evaluation of the Gradient Field HOG Descriptor for Sketch based Image Retrieval http://personal.ee.s[...]
_[16] 웹사이트 Ein Detektor für Ornamente auf Gebäudefassaden auf Basis des "histogram-of-oriented-gradients"-Operators http://www.ikg.uni-b[...]
_[17] 웹사이트 Semantic 3D Octree Maps based on Conditional Random Fields http://www.uni-koble[...]