내용 기반 이미지 검색

3. 기술 발전

이미지 메타 검색은 사람이 직접 이미지에 주석을 달아 키워드나 메타데이터를 데이터베이스에 입력해야 하므로 시간이 오래 걸리고, 이미지 설명에 필요한 키워드를 모두 담지 못할 수 있다. 키워드 이미지 검색의 효과를 평가하는 것은 주관적이며 명확하게 정의되지 않았다. 마찬가지로 내용 기반 이미지 검색(CBIR) 시스템도 성공을 정의하는 데 비슷한 어려움을 겪고 있다.^[2] 키워드는 쿼리 범위를 미리 정해진 기준으로 제한하며, 내용 자체를 사용하는 것보다 신뢰성이 떨어진다.^[8]

메타데이터 기반 시스템의 근본적인 한계와 효율적인 이미지 검색의 광범위한 활용 가능성 때문에 내용 기반 이미지 검색(CBIR)에 대한 관심이 높아졌다. 이미지에 대한 텍스트 정보는 기존 기술로 쉽게 검색할 수 있지만, 데이터베이스의 각 이미지를 사람이 직접 설명해야 한다. 이는 매우 큰 데이터베이스나 감시 카메라에서 생성된 이미지처럼 자동으로 생성되는 이미지에는 비현실적일 수 있다. 또한 설명에 다른 동의어를 사용하는 이미지를 놓칠 수도 있다. "동물"의 하위 클래스로 "고양이"와 같은 의미론적 클래스로 이미지를 분류하는 시스템은 오분류 문제를 피할 수 있지만, "고양이"일 수 있지만 "동물"로만 분류된 이미지를 찾기 위해 사용자가 더 많은 노력을 기울여야 한다. 이미지를 분류하기 위해 많은 표준이 개발되었지만, 모든 표준은 여전히 확장성과 오분류 문제에 직면해 있다.^[2]

초기 CBIR 시스템은 이미지의 색상, 질감, 모양 속성을 기반으로 데이터베이스를 검색하기 위해 개발되었다. 이러한 시스템이 개발된 후, 사용자 친화적인 인터페이스의 필요성이 분명해졌다. 따라서 CBIR 분야의 노력은 검색을 수행하는 사용자의 요구를 충족시키려는 인간 중심 설계가 포함되기 시작했다. 이는 일반적으로 설명적 의미론을 허용할 수 있는 쿼리 방법, 사용자 피드백을 포함할 수 있는 쿼리, 기계 학습을 포함할 수 있는 시스템 및 사용자 만족도 수준을 이해할 수 있는 시스템을 포함한다.^[1]

4. 기술

이미지 메타 검색은 사람이 직접 이미지에 키워드나 메타데이터를 입력해야 해서 시간이 오래 걸리고, 원하는 키워드를 모두 담기 어렵다는 단점이 있다.^[2] 내용 기반 이미지 검색(CBIR)은 이러한 메타데이터 기반 시스템의 한계와 효율적인 이미지 검색의 필요성 때문에 많은 관심을 받게 되었다. 이미지에 대한 텍스트 정보는 기존 기술로 쉽게 검색할 수 있지만, 데이터베이스의 모든 이미지를 사람이 직접 설명하는 것은 매우 큰 데이터베이스나 감시 카메라처럼 자동으로 생성되는 이미지에는 비현실적이다. 또한, 설명에 사용된 단어와 다른 동의어를 사용하는 이미지는 놓칠 수도 있다.^[2]

초기 CBIR 시스템은 이미지의 색상, 질감, 모양 같은 속성을 기반으로 데이터베이스를 검색하도록 개발되었다. 이후 사용자 친화적인 인터페이스의 필요성이 커지면서, CBIR 분야는 사용자의 요구를 고려한 인간 중심 설계로 발전하기 시작했다. 여기에는 설명적인 의미를 담을 수 있는 질의 방법, 사용자 피드백을 반영하는 질의, 기계 학습을 활용하는 시스템, 그리고 사용자 만족도를 파악할 수 있는 시스템 등이 포함된다.^[1]

하지만 2006년 기준으로 픽셀 콘텐츠를 기반으로 이미지를 검색하는 문제는 여전히 해결되지 않은 과제로 남아있다.^[1] CBIR 시스템은 다양한 질의 기법과 구현 방식을 통해 사용자의 검색 의도를 파악하려고 노력한다.

4. 1. 예시 기반 질의 (Query By Example, QBE)

• 기존 이미지를 사용자가 제공하거나 무작위로 선택할 수 있다.
• 사용자가 찾고 있는 이미지의 대략적인 형태, 예를 들어 색상 덩어리나 일반적인 모양을 그린다.^[10]

4. 2. 의미 기반 검색 (Semantic Retrieval)

4. 3. 관련 피드백 (Relevance Feedback)

4. 4. 반복/기계 학습 (Iterative/Machine Learning)

4. 5. 기타 질의 방법

5. 내용 비교: 이미지 거리 측정

내용 기반 이미지 검색에서 두 이미지를 비교하는 가장 일반적인 방법은 이미지 거리 측정을 사용하는 것이다. 이미지 거리 측정은 색상, 질감, 모양 등 다양한 차원에서 두 이미지의 유사성을 비교한다. 거리가 0이면 고려된 차원에서 쿼리와 정확히 일치함을, 0보다 큰 값은 이미지 간의 다양한 유사성 정도를 나타낸다. 검색 결과는 쿼리된 이미지와의 거리에 따라 정렬될 수 있다.^[10] 많은 이미지 거리 측정(유사성 모델)이 개발되었다.^[14]

5. 1. 색상 (Color)

5. 2. 질감 (Texture)

• 동시 발생 행렬
• Laws 텍스처 에너지
• 웨이블릿 변환
• 직교 변환 (이산 체비쇼프 모멘트)

5. 3. 모양 (Shape)

• 푸리에 변환
• 모멘트 불변량

6. 취약성, 공격 및 방어

다른 컴퓨터 비전 작업과 마찬가지로, 인식 및 탐지와 같은 최근의 신경망 기반 검색 알고리즘은 후보 및 쿼리 공격 모두에 적대적 공격에 취약하다.^[17] 인간에게 감지할 수 없는 작은 교란만으로도 검색된 순위가 크게 변경될 수 있다는 것이 밝혀졌다. 또한, 모델에 구애받지 않는 전이 가능한 적대적 예시도 가능하며, 이는 기본 구현에 접근할 필요 없이 딥 랭킹 시스템에 대한 블랙 박스 적대적 공격을 가능하게 한다.^[17][18]

반대로, 이러한 공격에 대한 저항은 Madry 방어와 같은 적대적 방어를 통해 개선될 수 있다.^[19]

7. 이미지 검색 평가

정밀도와 재현율의 관점에서 이미지 검색의 척도를 정의할 수 있다. 하지만 다른 방법들도 고려되고 있다.^[20]

8. CBIR 시스템의 다양한 기술 동시 활용

CBIR 시스템에서 여러 기법, 예를 들어 픽셀 클러스터 인덱싱, 히스토그램 교차 및 이산 웨이블릿 변환 방법을 동시에 채택하여 이미지를 검색한다.^[21]

9. 응용 분야

내용 기반 이미지 검색(CBIR) 기술은 다음과 같은 다양한 분야에서 활용되고 있다.^[2]

• 건축 및 엔지니어링 설계
• 미술품 컬렉션
• 범죄 예방
• 지리 정보 및 원격 감지 시스템
• 지적 재산
• 의료 진단
• 군사
• 사진 보관소
• 소매 카탈로그
• 노출 감지 필터^[22]
• 얼굴 찾기
• 섬유 산업^[23]

다음은 실험적인 시스템들이다.^[2]

10. 관련 연구 및 상용 시스템

최초의 상용 내용 기반 이미지 검색(CBIR) 시스템은 IBM에서 개발한 QBIC (Query By Image Content, 이미지 내용 기반 쿼리)이다.^[4][5]

CBIR의 잠재적 사용 사례는 다음과 같다.^[2]

• 건축 및 엔지니어링 설계
• 미술품 컬렉션
• 범죄 예방
• 지리 정보 및 원격 감지 시스템
• 지적 재산
• 의료 진단
• 군사
• 사진 보관소
• 소매 카탈로그
• 노출 감지 필터^[22]
• 얼굴 찾기
• 섬유 산업^[23]

• IBM의 QBIC
• Virage의 VIR 이미지 엔진
• Excalibur의 Image RetrievalWare
• VisualSEEk 및 WebSEEk
• Netra
• MARS
• Vhoto
• Pixolution

• MIT의 Photobook
• 컬럼비아 대학교의 WebSEEk
• 카네기 멜론 대학교의 Informedia
• iSearch - PICT

참조

_[1] 기타 Content-based Multimedia Information Retrieval: State of the Art and Challenges http://www.ugmode.co[...]
_[2] 웹사이트 Content-based Image Retrieval http://www.jisc.ac.u[...] University of Northumbria at Newcastle 2014-03-10
_[3] 논문 Database architecture for content-based image retrieval International Society for Optics and Photonics 1992-04
_[4] 논문 Query by image and video content: the QBIC system
_[5] 논문 Image Retrieval: Current Techniques, Promising Directions, and Open Issues 1999
_[6] 논문 Using complex networks towards information retrieval and diagnostics in multidimensional imaging 2015
_[7] 웹사이트 The true story of BLOBs http://www.cvalde.ne[...]
_[8] 간행물 Search Images / Object Design Inc - Bargain of the year Stock Discussion Forums (Aug. 6, 1996) https://www.siliconi[...] 1996-04-29
_[9] 웹사이트 Query-by-Example https://www.ibm.com/[...]
_[10] 서적 Computer Vision Prentice Hall
_[11] 논문 Image Retrieval: Ideas, Influences, and Trends of the New Age http://infolab.stanf[...]
_[12] 웹사이트 Iterative Technique for Content-Based Image Retrieval using Multiple SVM Ensembles http://iris.sel.eesc[...] Federal University of Parana(Brazil) 2014-03-11
_[13] 웹사이트 Image Retrieval Using Visual Attention http://mayron.net/li[...] Mayron.net 2012-10-18
_[14] 서적 Fundamental Media Understanding
_[15] 논문 Textural Features Corresponding to Visual Perception
_[16] 서적 Advances in Multilingual and Multimodal Information Retrieval https://pure.rug.nl/[...]
_[17] arXiv Adversarial Ranking Attack and Defense
_[18] arXiv Universal Perturbation Attack Against Image Retrieval
_[19] arXiv Towards Deep Learning Models Resistant to Adversarial Attacks 2017-06-19
_[20] 웹사이트 Features for Image Retrieval: An Experimental Comparison http://thomas.desela[...] RWTH Aachen University 2014-03-11
_[21] 웹사이트 Integrating Pixel Cluster Indexing, Histogram Intersection and Discrete Wavelet Transform Methods for Color Images Content Based Image Retrieval System http://www.ijcee.org[...] 2010
_[22] 논문 System for Screening Objectionable Images
_[23] conference User interfaces for content-based image retrieval IET 1996