맨위로가기

초해상도

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

초해상도는 광학 기기의 해상도 한계를 넘어 이미지의 세부 사항을 향상시키는 기술이다. 이는 회절 한계를 우회하거나, 이미지의 통계적 처리를 통해 객체 세부 사항을 추론하는 방식으로 작동한다. 초해상도 기술은 광학/회절 초해상도와 기하/이미지 처리 초해상도로 나뉘며, 앨리어싱을 활용하여 고주파 성분을 재구성하기도 한다.

초해상도 기술은 TV, 반도체 노광 장치, 이미징 레이더, 천문학, 자기 공명 영상 등 다양한 분야에서 활용되며, 최근에는 딥러닝 기반의 연구도 활발히 진행되고 있다. 2009년 이후, 일본 가전 제조사들은 이 기술을 활용하여 DVD 영상이나 디지털 방송 영상을 풀HD로 변환하는 TV를 출시했으며, 2020년 현재 많은 4K TV에 업 컨버트 기능으로 탑재되어 있다.

더 읽어볼만한 페이지

  • 영상 - 회색조
    회색조는 픽셀의 밝기만을 사용하여 이미지를 표현하는 단일 채널 이미지 형식으로, 픽셀 밝기는 0부터 1 또는 0%에서 100% 사이의 값으로 표현되며 컬러 이미지를 회색조로 변환하는 방법으로는 비색법을 이용하여 휘도를 유지하거나 색상 채널에 가중치를 적용하는 방법 등이 있다.
  • 영상 - 동영상
    동영상은 움직이는 그림이나 영상을 기록하고 재생하는 기술 또는 결과물로, 애니메이션에서 시작하여 동영상 공유 서비스의 등장으로 대중화되었으며, 다양한 파일 포맷과 코덱, 비디오그래피 기술 등을 활용하여 제작된다.
  • 컴퓨터 비전 - 합성곱 신경망
    합성곱 신경망(CNN)은 이미지, 영상 등 시각 데이터 처리에 특화된 인공 신경망으로, 합성곱층, 풀링층, 완전 연결층으로 구성되어 특징 추출, 차원 축소, 최종 분류 또는 예측을 수행하며 이미지 인식, 영상 분석, 자연어 처리 등 다양한 분야에 응용된다.
  • 컴퓨터 비전 - 광학 흐름
    광학 흐름은 비디오나 이미지에서 보이는 객체, 표면, 엣지의 움직임 패턴을 나타내며, 움직임 예측, 비디오 압축, 장면 구조 추정, 로봇 내비게이션 등 다양한 분야에 활용되는 중요한 기술이다.
  • 영상 처리 - 컴퓨터 비전
    컴퓨터 비전은 디지털 이미지나 비디오로부터 고차원적 이해를 얻는 학제적 연구 분야로, 인간 시각 시스템 자동화 및 인공 시스템 이론 연구를 목표로 하며, 딥러닝 기술 발전으로 다양한 분야에 응용되고 있다.
  • 영상 처리 - 워터마크
    워터마크는 종이 제조 시 두께 차이를 이용해 만들어지는 표식으로, 위조 방지를 위해 지폐나 여권 등에 사용되며 댄디 롤 등의 제작 기법을 통해 만들어지고 컴퓨터 프린터 인쇄 기술로도 활용된다.
초해상도
개요
유형이미지 처리 기술
분야의료 영상
천문학
보안 감시
현미경
디지털 카메라
기본 원리
목표이미지 해상도 향상
방법다중 저해상도 이미지 결합
이미지 복원 알고리즘 사용
기술 종류
단일 이미지 초해상도 (Single-Image Super-Resolution, SISR)단일 저해상도 이미지에서 고해상도 이미지 추정
다중 이미지 초해상도 (Multi-Image Super-Resolution)여러 저해상도 이미지에서 고해상도 이미지 추정
응용 분야
의료 영상진단 정확도 향상
천문학천체 관측 성능 향상
보안 감시식별 정확도 향상
현미경세포 구조 분석 정확도 향상
디지털 카메라이미지 품질 향상
과제 및 한계
계산 복잡성실시간 처리 어려움
이미지 품질알고리즘 성능에 따라 품질 좌우
데이터 의존성학습 데이터 부족 시 성능 저하
관련 기술
이미지 보간 (Image Interpolation)픽셀 사이의 값을 추정하여 이미지 크기 확대
이미지 복원 (Image Restoration)손상된 이미지를 복구하여 품질 향상
딥 러닝 (Deep Learning)신경망을 사용하여 이미지 특징 학습 및 초해상도 성능 향상

2. 역사

초해상도 기술 자체는 2000년 이전부터 연구되어 왔지만, 일반 소비자가 사용하는 영상 기기에 본격적으로 적용되기 시작한 것은 2000년대 중반부터이다. 이는 평면 TV 화면의 대형화 경쟁과 가격 하락, 표준 해상도(SD)급 영상 콘텐츠의 보급, 반도체 기술의 발전 등이 복합적으로 작용한 결과이다. 초기 연구나 업무용 활용은 주로 실시간 처리에 중점을 두었으며, 기존 영상을 오랜 시간에 걸쳐 고해상도로 변환하는 비실시간 처리 연구는 상대적으로 발표가 적은 편이다.

3. 기본 개념

초해상도 기술은 회절 한계와 같은 물리 법칙 및 정보 이론에 의해 부과된 한계 내에서 이미지의 세부 정보를 최대한 복원하거나 향상시키는 것을 목표로 한다.[3][4][5][6] 이러한 한계를 근본적으로 깨는 것이 아니라, 주어진 정보 내에서 최적의 결과를 얻으려는 접근 방식이다.

초해상도라는 용어는 때때로 표준 해상도 한계 내에서 통계적 처리를 통해 객체의 세부 사항을 추론하는 기술에도 사용된다. 예를 들어, 여러 노출을 평균화하여 잡음 속에서 신호를 추출하는 경우, 이는 대상 객체가 변하지 않았다는 가정(정보)을 활용하여 해상도를 높이는 방식이다.

또한, '해상도'와 '위치 파악'은 구분될 필요가 있다. 진정한 의미의 해상도는 여러 대상을 구별하는 능력을 의미하지만, 초해상도 기술 중에는 단일 객체의 위치를 이미지의 픽셀 크기보다 더 정밀하게 파악하는 '고정밀 위치 파악' 절차도 포함된다. 이 역시 넓은 의미에서 초해상도로 불린다.[10]

현실적으로 "초해상도"는 기업의 제품 홍보 등에서 기존 비디오를 더 높은 해상도로 변환하는 업스케일링과 유사한 의미로 사용되기도 한다. 입력 신호의 해상도가 디스플레이 해상도보다 낮을 때, 부족한 화소를 보간하여 채우는 기술을 지칭하는 경우가 많다. 예를 들어, 표준 해상도(SD) 영상이나 원세그 방송을 고해상도(HD) TV로 볼 때, 초해상도 기능은 화소를 보간하여 더 선명하게 보이도록 돕는다. 해상도가 낮은 휴대폰 동영상의 픽셀 수를 늘리는 데도 사용된다.

그러나 초해상도 기술은 주로 이름처럼 해상도, 즉 픽셀 수 증가에 초점을 맞춘다. 색 심도, 다이내믹 레인지, 동영상의 프레임 속도 등 이미지 품질을 결정하는 다른 요소들은 일반적으로 직접 다루지 않는다.

3. 1. 광학적 한계

광학 기기가 물리적인 물체의 세밀한 부분을 이미지로 재현하는 데에는 물리 법칙에 의해 정해진 한계가 존재한다. 이는 파동 광학의 회절 방정식[3] 또는 양자역학에서 광자에 대한 불확정성 원리[4]를 통해 설명될 수 있다. 정보를 전달하는 양은 이 경계를 넘어 증가할 수 없지만, 한계 바깥의 정보 묶음(패킷)을 한계 안쪽의 정보 묶음과 교환하거나 다중화하는 것은 가능하다.[5] 따라서 초해상도 기술은 회절 한계를 "깨뜨리는" 것이 아니라 "우회하는" 방식으로 작동한다. 분자 수준에서 전자기적 교란을 감지하는 새로운 방법들(소위 근접 전계에서의 탐지)[6] 역시 맥스웰 방정식과 완전히 부합한다.

회절 한계는 공간 주파수 영역에서 간결하게 표현될 수 있다. 푸리에 광학에서는 빛의 분포를 다양한 간격, 즉 기술적으로 공간 주파수 범위를 가지는 여러 격자 모양의 빛 패턴이 겹쳐진 것으로 설명한다. 일반적으로 회절 이론은 특정 상한선, 즉 '컷오프 공간 주파수'보다 더 세밀한 패턴 요소는 광학 이미지로 전달되지 않아 해상되지 않는다고 가르친다. 그러나 실제로 회절 이론이 설정하는 것은 고정된 상한선이라기보다는 정보를 전달할 수 있는 통과 대역의 '너비'이다. 컷오프 공간 주파수를 초과하는 공간 주파수 대역을 그 안쪽의 대역과 교환하는 것은 물리 법칙을 위반하지 않으며, 이는 암시야 현미경과 같은 기술에서 오랫동안 구현되어 왔다. 여러 대역의 정보를 중첩하여 사용하는 경우에도 정보 이론의 규칙은 깨지지 않으며,[7][8][9] 수신된 이미지에서 각 정보를 분리해내기 위해서는 여러 번의 노출 동안 대상 물체가 변하지 않았다는 가정, 즉 객체 불변성이 필요하다. 이는 한 종류의 불확실성을 다른 종류의 불확실성으로 대체하는 것을 의미한다.

3. 2. 정보 이론적 한계

초해상도와 관련된 몇몇 아이디어는 근본적인 문제를 제기하므로, 관련 물리적 및 정보 이론적 원리를 먼저 살펴볼 필요가 있다.

  • '''회절 한계''': 광학 기기가 이미지로 재현할 수 있는 물리적 객체의 세부 사항에는 물리 법칙에 의해 규정된 한계가 있다. 이는 파동 광학의 회절 방정식[3] 또는 양자역학에서 광자에 대한 불확정성 원리[4]로 설명된다. 정보 전송은 이 경계를 넘어 증가할 수 없지만, 한계 밖의 정보를 내부에 있는 정보와 교환(또는 다중화)하는 것은 가능하다.[5] 이는 회절 한계를 "깨는" 것이 아니라 "우회하는" 것으로 이해할 수 있다. 분자 수준에서 전자기적 교란을 탐지하는 새로운 절차(소위 근접 전계에서)[6]는 맥스웰 방정식과 완전히 일치한다.
  • '''공간 주파수 영역''': 회절 한계는 공간 주파수 영역에서 명확하게 표현된다. 푸리에 광학에서 빛 분포는 다양한 간격 너비, 즉 기술적으로 공간 주파수 범위의 일련의 격자 빛 패턴의 중첩으로 표현된다. 일반적으로 회절 이론은 패턴 요소가 광학 이미지로 전송되지 않아 해상되지 않는 상한, 즉 컷오프 공간 주파수를 규정한다고 알려져 있다. 그러나 실제로는 고정된 상한이 아닌 통과 대역의 너비를 규정한다. 컷오프 공간 주파수를 초과하는 공간 주파수 대역을 그 내부 대역과 교환해도 물리 법칙은 깨지지 않으며, 이는 암시야 현미경에서 오랫동안 구현되어 왔다. 여러 대역을 중첩할 때 정보 이론 규칙도 깨지지 않으며,[7][8][9] 수신된 이미지에서 이를 분리하려면 여러 노출 동안 객체가 변하지 않았다는 가정, 즉 한 종류의 불확실성을 다른 종류로 대체한다는 가정이 필요하다.
  • '''정보''': 초해상도라는 용어가 표준 해상도 한계 내에서 이미지의 통계적 처리를 통해 객체 세부 사항을 추론하는 기술, 예를 들어 여러 노출의 평균화에 사용될 때, 이는 한 종류의 정보(잡음에서 신호 추출)를 다른 종류의 정보(대상 객체가 변하지 않았다는 가정)로 교환하는 것을 포함한다.
  • '''해상도 및 위치 파악''': 진정한 해상도는 대상, 예를 들어 별이나 스펙트럼 선이 단일인지 이중인지 구별하는 것을 의미하며, 일반적으로 이미지에서 분리 가능한 피크가 필요하다. 대상이 단일인 것으로 알려진 경우, 이미지 광 분포의 중심(무게 중심)을 찾아 이미지 폭보다 더 높은 정밀도로 해당 위치를 결정할 수 있다. 이 과정에 대해 ''초고해상도''라는 단어가 제안되었지만[10] 널리 사용되지 않았으며, 이러한 고정밀 위치 파악 절차는 일반적으로 초해상도라고 한다.


현재 초해상도로 분류되는 영상 형성 및 감지 장치의 성능을 향상시키는 기술적 성과는 물리 법칙과 정보 이론에 의해 부과된 한계 내에서 최대한 활용하는 방식으로 이루어진다. 만약 대상이 특별한 편광 또는 파장 특성을 갖지 않는 경우, 두 가지 편광 상태 또는 중첩되지 않는 파장 영역을 사용하여 대상 세부 정보를 인코딩할 수 있다. 하나는 컷오프 한계 내의 공간 주파수 대역에서, 다른 하나는 그 너머에서 사용되며, 두 정보 모두 일반적인 통과 대역 전송을 사용하지만, 확장된 해상도로 대상 구조를 재구성하기 위해 별도로 디코딩된다.

4. 기술 종류

초해상도 기술은 크게 두 가지 접근 방식으로 나눌 수 있다.

첫 번째는 광학 시스템 자체의 물리적 한계인 회절 한계를 넘어서거나 우회하여 더 높은 해상도를 얻으려는 광학/회절 초해상도 방식이다. 이는 빛의 물리적 특성을 이용하거나 소멸파 감지, 특수한 조명 및 감지 방식 등을 통해 구현된다.

두 번째는 이미 획득된 저해상도 이미지나 영상 데이터를 영상 처리 기법을 통해 분석하고 보간하여 고해상도 결과물을 만들어내는 기하/이미지 처리 초해상도 방식이다. 이는 여러 장의 이미지를 활용하거나 이미지 내의 패턴 분석, 통계적 추론 등 다양한 알고리즘을 통해 이루어진다. 흔히 영상 기기에서 비디오 업스케일링과 유사한 의미로 사용되는 해상도 보간 기술들이 이 범주에 속하는 경우가 많다.

4. 1. 광학/회절 초해상도

광학 기기가 물리적 대상의 세부 사항을 이미지로 재현하는 데에는 회절 한계라는 근본적인 물리 법칙상의 제약이 따른다. 이는 파동 광학의 회절 현상[3] 또는 양자역학에서의 불확정성 원리[4]로 설명될 수 있다. 푸리에 광학의 관점에서 보면, 빛의 분포는 다양한 간격(즉, 공간 주파수)을 가진 격자 패턴들의 중첩으로 표현될 수 있다. 전통적인 회절 이론에 따르면, 특정 공간 주파수(컷오프 주파수)보다 높은 주파수의 패턴 정보는 광학계를 통과하지 못해 이미지에서 해상되지 않는다. 하지만 실제 회절 이론이 규정하는 것은 전달 가능한 공간 주파수 '대역폭'의 크기이지, 그 대역의 '위치'가 아니다[5]. 따라서 이 대역폭 내에서 정보를 교환하거나 다중화하는 방식으로 회절 한계를 직접적으로 깨는 것이 아니라 "우회"하는 것이 가능하다.

현재 초해상도 기술로 분류되는 여러 방법들은 이러한 물리 법칙과 정보 이론의 한계 내에서 최대한의 성능을 끌어내는 방식으로 작동한다. 주요 접근 방식은 다음과 같다.

  • 공간 주파수 대역 대체: 회절에 의해 허용된 고정된 대역폭을 공간 주파수 스펙트럼 내에서 이동시키는 방식이다. 즉, 일반적인 이미징 시스템에서는 전달되지 않는 고주파수 정보를 회절 한계 내의 저주파수 대역 정보와 교환하여 이미지를 형성한다. 암시야 현미경[7][8][9]이나 구경 합성이 이 원리를 이용하는 대표적인 예시다.

  • 다중 공간 주파수 대역 (구조화 조명):

초해상도 "구조화 조명" 기술은 모아레 무늬와 관련이 있다. 대상의 미세한 구조(윗줄)는 회절 한계를 넘어 직접 관찰하기 어렵다. 여기에 분해 가능한 다른 패턴(두 번째 줄)을 인위적으로 겹치면, 그 결과(세 번째 줄) 나타나는 모아레 무늬는 회절 한계 내에 있어 이미지로 포착된다. 이 모아레 무늬를 분석하면 원래 관찰 불가능했던 미세 구조의 정보를 얻을 수 있다(아랫줄).


일반적인 광학 장치의 통과 대역을 사용하여 이미지를 형성하되, 대상에 알려진 패턴의 빛(예: 간섭 무늬)을 인위적으로 비춘다[8][1]. 이 패턴은 광학계의 통과 대역 밖에 있어도 무방하다. 이렇게 하면 이미지에는 대상과 조명 패턴의 상호작용으로 인해 발생하는 새로운 성분, 예를 들어 모아레 무늬가 나타난다. 이 모아레 성분에는 일반적인 조명 방식으로는 얻을 수 없는 대상의 미세한 세부 정보가 포함되어 있다. 여러 패턴의 조명을 사용하여 얻은 이미지들을 처리하여 이 "초해상" 정보를 분리하고 재구성할 수 있다. 구조화 조명 현미경(SIM)이 이 방식을 사용한다.

  • 근접장 전자기 교란 탐지: 대부분의 초해상도 기술이 광학 시스템을 통해 형성된 원거리장(far-field) 이미지를 다루는 것과 달리, 광원으로부터 극도로 가까운 거리(근접장, near-field)에서 전자기장의 교란을 직접 감지하는 방식도 있다[6]. 이는 맥스웰 방정식과 완전히 일치하는 원리이며, 전파되지 않고 표면 근처에 국한되는 소멸파 정보를 활용하여 전통적인 회절 한계를 훨씬 뛰어넘는 해상도를 달성할 수 있다. 관련 기술로는 주사 근접장 광학 현미경(SNOM)이나 초렌즈(superlens) 개발 등이 있다.

4. 2. 기하/이미지 처리 초해상도

획득 또는 전송 중에 노이즈가 낀 단일 이미지(왼쪽)와 비교하여, 여러 개의 개별적으로 얻은 이미지를 적절히 조합하면 신호 대 잡음비가 향상됩니다(오른쪽). 이는 그러한 세부 사항을 드러내기 위한 영상 처리의 고유 해상도 내에서만 달성할 수 있습니다.


이미지가 노이즈에 의해 열화된 경우, 여러 번 노출하여 얻은 이미지를 평균 내는 방식을 통해 회절 한계 내에서도 더 많은 세부 정보를 얻을 수 있다. 이는 이미지의 신호 대 잡음비를 향상시키는 원리에 기반한다.

정지 이미지나 동영상의 각 프레임에 대해 개별적으로 처리하는 프레임 내 처리 방식도 있다. 이는 단순히 윤곽 보정이나 점 노이즈 제거 등을 수행하는 것으로, 동영상의 시간축 정보는 활용하지 않는다. 하지만 단순한 선형 필터 적용은 이미지를 뭉개뜨릴 수 있으므로, 이미지 내 영역을 세밀하게 변화하는 텍스처 부분, 텍스처의 윤곽 부분, 변화가 적은 평탄한 부분 등으로 나누어 각각 다른 처리를 적용하기도 한다. 예를 들어, 텍스처 부분에는 화질 개선 처리를, 윤곽 부분에는 에지 강조 처리를, 평탄한 부분은 그대로 두는 방식으로 원근감을 높일 수 있다.

동영상의 경우, 현재 처리 대상 프레임뿐만 아니라 그 이전 및 이후 프레임의 정보를 함께 활용하는 프레임 간 처리 방식이 사용될 수 있다. 이를 통해 대상 프레임의 노이즈를 효과적으로 제거하고 휘도 정보를 크게 향상시킬 수 있다. 다만, 프레임 간에는 여러 물체가 복잡하게 움직이므로, 이를 고려한 처리가 필요하며 상당한 연산 능력과 메모리가 요구된다.

단일 광원의 위치를 파악할 때는 빛이 여러 인접 픽셀에 걸쳐 분포된 형태의 "무게 중심"(중심점)을 계산하여, 감지기 픽셀의 크기보다 훨씬 더 정밀하게 위치를 결정할 수 있다. 이 기술은 모든 빛이 단일 광원에서 나왔다는 전제가 필요하다. 초해상도 현미경 기술 중 하나인 확률적 광학 재구성 현미경(STORM)은 이 원리를 이용하여 분자에 부착된 형광 표지를 통해 나노미터 수준의 거리 정보를 얻는다.[11] 이는 인간의 시각적 초시력에서도 나타나는 기본 메커니즘 중 하나이다.[11]
베이즈 추론과 같은 통계적 방법을 사용하기도 한다. 회절 한계 때문에 직접 관찰하기 어려운 객체의 특징이, 관찰 가능한 다른 특징과 연관되어 있다고 알려진 경우, 사용 가능한 이미지 데이터를 바탕으로 전체 객체의 존재나 세부 정보를 추론하는 방식이다.[12] 고전적인 예로, 이미지의 퍼짐 정도를 분석하여 관측 대상이 단일 별인지 아니면 매우 가까이 붙어 있는 이중 별인지 해상도 한계보다 더 정밀하게 판단하는 것을 들 수 있다.[13] 이 접근법은 객체가 해석 함수라고 가정하고, 알려진 일부 정보를 바탕으로 주파수 영역에서 이미지를 외삽하는 형태로 구현될 수 있다. 하지만 실제 디지털 이미징 시스템에 항상 존재하는 노이즈로 인해 적용에 한계가 있다. 그럼에도 불구하고 레이더, 천문학, 현미경, 자기 공명 영상(MRI) 등 다양한 분야에서 응용되고 있다.[14] 최근에는 기존의 베이즈 추론 기반 초해상도 방법보다 훨씬 빠르게 계산할 수 있는 알고리즘도 제안되었다.[15]

5. 앨리어싱

두 특징 모두 3픽셀에 걸쳐 있지만 양이 다르기 때문에 픽셀 차원보다 정밀하게 위치를 파악할 수 있다.


기하학적 초해상도 재구성 알고리즘은 입력된 저해상도 이미지가 앨리어싱을 포함하도록 의도적으로 언더샘플링된 경우에만 가능하다. 앨리어싱 현상 덕분에, 원래 이미지(재구성하려는 고해상도 이미지)의 고주파수 성분이 관찰된 각 저해상도 이미지의 저주파수 성분에 섞여 들어가게 된다.

만약 충분한 수의 저해상도 관찰 이미지가 있고, 각 이미지들이 서로 약간씩 다른 위치(서브 픽셀 단위의 이동, 즉 위상 차이)에서 촬영되었다면, 이 위상 정보를 활용하여 저주파수 성분에 섞여 들어간 고주파수 성분(앨리어싱된 성분)을 원래의 저주파수 성분과 분리해낼 수 있다. 이를 통해 전체 해상도 이미지를 정확하게 재구성하는 것이 가능해진다.[16]

실제로 초해상도 기술에서 항상 주파수 영역에서의 접근 방식을 사용하는 것은 아니지만, 공간 영역에서의 접근 방식(예: 시프트-앤-애드 융합[17])을 사용할 때에도 앨리어싱의 존재는 초해상도 재구성을 위해 필수적인 조건이다.

6. 기술 구현

기하학적 초해상도 재구성 알고리즘은 입력된 저해상도 이미지가 앨리어싱을 포함하도록 의도적으로 언더샘플링되었을 때 가능하다. 이 앨리어싱 현상 덕분에, 재구성하려는 이미지의 고주파수 성분이 각 저해상도 이미지의 저주파수 성분에 포함되게 된다. 충분한 수의 저해상도 이미지가 있고, 각 이미지 간에 위상 차이(장면이 서브 픽셀 단위로 이동한 경우)가 존재하면, 이 위상 정보를 활용하여 앨리어싱된 고주파수 성분을 원래의 저주파수 성분과 분리할 수 있다. 이를 통해 전체 해상도 이미지를 정확하게 재구성하는 것이 가능하다.[16]

실제 구현에서는 주파수 기반 접근 방식보다는 공간적 접근 방식(예: 시프트-더하기 융합[17])이 주로 사용되지만, 어떤 방식이든 앨리어싱의 존재는 초해상도 재구성에 필수적인 조건이다.

초해상도 기술에는 단일 프레임 방식과 다중 프레임 방식이 있다.


  • 다중 프레임 초해상도(Multi-frame SR): 동일한 장면을 촬영한 여러 장의 저해상도 이미지 사이의 미세한 서브 픽셀 이동 정보를 활용한다. 여러 저해상도 이미지의 정보를 통합하여 더 높은 해상도의 이미지를 생성하며, 이를 통해 원본 장면을 더 상세하게 표현할 수 있다.
  • 단일 프레임 초해상도(Single-frame SR): 한 장의 저해상도 이미지만을 사용하여 흐림 현상 없이 이미지를 확대하는 것을 목표로 한다. 이 방식은 저해상도 이미지 내부의 다른 부분이나, 관련 없는 외부 이미지 데이터베이스 등을 참조하여 고해상도 이미지가 어떻게 보일지 추측하는 방식으로 작동한다.


초해상도 알고리즘은 처리 방식에 따라 주파수 도메인 방식과 공간 도메인 방식으로 분류할 수도 있다. 초기 초해상도 기술은 주로 회색조 이미지에서 효과적이었으나[18], 연구가 진행되면서 컬러 카메라 이미지에도 적용 가능한 방법들이 개발되었다.[17] 최근에는 3차원(3D) 데이터에 대한 초해상도 기술의 활용 가능성도 입증되고 있다.[19]

7. 현재 상황 및 응용 분야

초해상도 기술은 이론 연구를 넘어 다양한 산업 및 연구 분야에서 활발하게 응용되며 발전하고 있다. 주요 응용 분야로는 텔레비전과 같은 가전 제품에서의 영상 화질 개선, 반도체 제조 공정의 핵심인 반도체 노광 장치에서의 해상도 향상, 이미징 레이더의 성능 개선 등을 들 수 있다.

또한 천문학 분야의 관측 데이터 분석이나 자기 공명 영상법(MRI)과 같은 의료 영상 분야에서도 기존의 기술적 한계를 넘어서는 결과물을 얻기 위해 초해상도 기술이 중요한 역할을 하고 있다. 최근에는 인공지능 기술, 특히 딥러닝을 기반으로 한 초해상도 기법 연구가 활발하게 이루어지면서 더욱 발전된 성능을 보여줄 것으로 기대된다.

7. 1. 가전 제품

2009년 기준으로, 일본의 가전 제조사들은 DVD 영상(720×480 화소)이나 일본 지상파 디지털 텔레비전 방송(1440×1080 화소)을 풀HD(1920×1080 화소) 해상도로 높이는 초해상도 기술을 탑재한 텔레비전을 판매하기 시작했다。 당시에는 향후 풀HD 해상도를 4K 해상도(4096×2160 또는 3840×2160 화소)로 변환하는 제품 개발 계획도 있었다。

2020년 현재, 소니(SONY)의 "BRAVIA"[25]나 파나소닉(Panasonic)의 "VIERA"[26]와 같은 다수의 4K TV 제품에 초해상도 기술이 "업 컨버트 기능" 등의 이름으로 탑재되어 있다. 이는 해상도가 낮은 영상을 TV 화면 해상도에 맞춰 보정하여 보여주는 기술이다.

7. 2. 반도체 노광 장치

반도체 노광 장치 (스테퍼)에서는 광원의 파장에 따라 최소 선폭이 결정된다. 이 한계를 극복하기 위해 위상 시프트 마스크나 변형 조명 등의 초해상 기술이 사용된다.

7. 3. 이미징 레이더

이미징 레이더 분야에서는 압축 센싱에 기반한 알고리즘이 유효하다고 여겨지며, 이를 통해 도플러 레이더의 통상적인 해상도 한계를 넘는 초해상도 영상을 얻는 것이 가능하다. 이 응용 분야를 위해 SAMV (알고리즘)[27]와 같은 최신 기술이 개발되고 있다.

7. 4. 기타 분야

또한, 천문학 분야에서는 압축 센싱에 의한 희소 모델링이 유효하다고 여겨져 초장기선 전파 간섭계(VLBI)의 분해능 한계를 넘는 초해상도 영상을 얻을 수 있다. 자기 공명 영상법(MRI)에서도 마찬가지로 비조화 해석(Non-harmonic analysis|NHAeng)에 의한 초해상도 개발이 진행되고 있다.

7. 5. 딥러닝 기반 연구

초해상도 기술에 심층 합성곱 네트워크를 사용하는 유망한 연구가 진행되고 있다.[20] 예를 들어, 꽃가루 입자의 20배 배율 현미경 이미지를 1500배 배율의 주사 전자 현미경 이미지 수준으로 변환하는 연구가 시연되기도 했다.[21] 이러한 딥러닝 기반 초해상도 기술은 이미지의 정보 내용을 시각적으로 향상시킬 수 있지만, 새롭게 생성된 세부 특징이 반드시 원본 이미지에 실제로 존재했던 정보라고 보장할 수는 없다. 따라서 심층 합성곱 업스케일러는 입력 이미지의 정보가 불분명하거나 모호할 경우, 분석이나 진단과 같은 정밀함이 요구되는 응용 분야에 사용하는 데 신중해야 한다.[22][23] 특히, 이 기술은 실제로는 없는 이미지 특징을 만들어내는 환각(hallucination) 현상을 일으킬 수 있으며, 이는 의료 영상 분석 등 안전이 중요한 분야에서 심각한 문제를 야기할 수 있다.[24]

참조

[1] 논문 Multiple Emitter Location and Signal Parameter Estimation 1986-03
[2] 학술지 Iterative Sparse Asymptotic Minimum Variance Based Approaches for Array Processing https://qilin-zhang.[...]
[3] 서적 Principles of Optics Cambridge Univ. Press
[4] 서적 Quantum Optics Oxford
[5] 서적 Optical Superresolution Springer
[6] 학술지 Near-field optics: microscopy, spectroscopy, and surface modification beyond the diffraction limit
[7] 논문 Optical systems with resolving power exceeding the classical limit
[8] 학술지 Super-resolution through illumination by diffraction-born evanescent waves https://aip.scitatio[...] 1995-06-26
[9] 논문 Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy
[10] 논문 Information capacity and resolution in an optical system
[11] 학술지 Optical superresolution and visual hyperacuity
[12] 논문 Resolving power and decision making
[13] 논문 Resolving power and information
[14] 문서 D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, P. M. Parizel, and J. Sijbers, "Super-Resolution for Multislice Diffusion Tensor Imaging", Magnetic Resonance in Medicine, (2012)
[15] 논문 Fast single image super-resolution using a new analytical solution for ''\ell_2-\ell_2'' problems https://arxiv.org/ab[...]
[16] 서적 An Introduction to Super-Resolution Imaging http://www.crcpress.[...] CRC Press
[17] 학술지 Fast and Robust Multi-frame Super-resolution http://users.soe.ucs[...] 2004-10
[18] 문서
[19] 컨퍼런스 LidarBoost: Depth Superresolution for ToF 3D Shape Scanning https://ai.stanford.[...]
[20] Arxiv Perceptual Losses for Real-Time Style Transfer and Super-Resolution 2016-03-26
[21] 학술지 A neural lens for super-resolution biological imaging 2019-06-18
[22] 컨퍼런스 The perception-distortion tradeoff
[23] 웹사이트 The AI Tools Making Images Look Better https://www.quantama[...] 2023-08-23
[24] 컨퍼런스 Medical Image Computing and Computer Assisted Intervention – MICCAI 2018 2018
[25] 웹사이트 高精細 {{!}} ブラビアの高画質機能 {{!}} テレビ ブラビア {{!}} ソニー https://www.sony.jp/[...] 2020-01-25
[26] 웹사이트 目の前にあるかのような臨場感 {{!}} 4Kダブルチューナー内蔵 液晶テレビ GX855シリーズ {{!}} 商品一覧 {{!}} テレビ ビエラ {{!}} 東京2020オリンピック・パラリンピック公式テレビ {{!}} Panasonic https://panasonic.jp[...] 2020-01-25
[27] 학술지 Iterative Sparse Asymptotic Minimum Variance Based Approaches for Array Processing https://qilin-zhang.[...] IEEE


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com