이미지 스케일링

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

이미지 스케일링은 이미지의 크기를 조절하는 기술로, 나이퀴스트 표본화 정리의 관점에서 이미지 리샘플링 또는 재구축의 한 형태로 해석될 수 있다. 다운샘플링은 안티 에일리어싱 필터를 적용하여 에일리어싱을 방지하고, 업샘플링은 재구성 필터를 사용한다. 이미지 스케일링은 최근접 이웃 보간법, 쌍선형 보간법, 쌍3차 보간법, 싱크 리샘플링, 밉맵, 픽셀 아트 스케일링 알고리즘, 딥러닝 기반 방법 등 다양한 알고리즘을 통해 구현된다. 웹 브라우저, 이미지 편집기, 비디오 등 다양한 분야에서 사용되며, 실시간 렌더링 기술을 통해 비디오 게임에서도 활용된다.

더 읽어볼만한 페이지

영상 처리 - 컴퓨터 비전
컴퓨터 비전은 디지털 이미지나 비디오로부터 고차원적 이해를 얻는 학제적 연구 분야로, 인간 시각 시스템 자동화 및 인공 시스템 이론 연구를 목표로 하며, 딥러닝 기술 발전으로 다양한 분야에 응용되고 있다.
영상 처리 - 워터마크
워터마크는 종이 제조 시 두께 차이를 이용해 만들어지는 표식으로, 위조 방지를 위해 지폐나 여권 등에 사용되며 댄디 롤 등의 제작 기법을 통해 만들어지고 컴퓨터 프린터 인쇄 기술로도 활용된다.

이미지 스케일링
이미지 스케일링
픽셀 스케일링을 보여주는 그림
종류	디지털 이미지 처리
목적	이미지 크기 조정
관련 항목	화질, 해상도 향상 기술

2. 수학적 원리

이미지 스케일링은 나이퀴스트-섀넌 표본화 정리의 관점에서 이미지 리샘플링 또는 이미지 재구성과 같은 형식으로 해석될 수 있다.

업샘플링의 경우, 안티 에일리어싱 필터 대신 재구성 필터가 사용된다. 더 정교한 업스케일링은 이 문제를 역문제로 취급하여, 축소되었을 때 입력 이미지처럼 보이는 그럴듯한 이미지를 생성하는 문제를 해결한다. 정규화 항이 있는 최적화 기법, 예시를 통한 기계 학습 등 다양한 기술이 적용되어 왔다.

2. 1. 다운샘플링 (Downsampling)

이미지 스케일링은 나이퀴스트 표본화 정리의 관점에서 이미지 리샘플링 또는 이미지 재구축의 한 형태로 해석될 수 있다. 이 정리에 따르면, 고해상도 원본에서 더 작은 이미지로 다운샘플링하려면 에일리어싱 아티팩트를 방지하기 위해 적절한 2D 안티 에일리어싱 필터를 적용한 후에만 수행할 수 있다. 이미지는 더 작은 이미지에서 전달할 수 있는 정보로 축소된다.

2. 2. 업샘플링 (Upsampling)

나이키스트-섀넌 표본화 정리에 따르면, 고해상도 원본 이미지를 더 작은 이미지로 다운샘플링하려면 에일리어싱 아티팩트를 방지하기 위해 적절한 2D 안티 에일리어싱 필터를 적용해야 한다. 업샘플링의 경우에는 안티 에일리어싱 필터 대신 재구성 필터가 사용된다.

더 정교한 업스케일링은 이 문제를 역문제로 취급하여, 축소되었을 때 입력 이미지처럼 보이는 그럴듯한 이미지를 생성하는 문제를 해결한다. 정규화 항이 있는 최적화 기법, 예시를 통한 기계 학습 등 다양한 기술이 적용되어 왔다.

3. 알고리즘

이미지 크기는 다양한 알고리즘을 통해 조절할 수 있다.

최근접 이웃 보간법 (Nearest-neighbor Interpolation): 가장 간단한 방법으로, 출력 픽셀을 원본에서 가장 가까운 픽셀로 대체한다. 픽셀 아트처럼 선명한 경계를 가진 이미지에는 효과적이지만, 부드러운 이미지에는 계단 현상을 유발할 수 있다.
쌍선형 보간법 (Bilinear Interpolation): 픽셀 색상 값을 보간법하여 연속적인 전환을 만든다. 연속적인 톤의 이미지에는 적합하지만, 선명한 가장자리의 대비를 감소시켜 선화에는 부적합할 수 있다. 쌍3차 보간법은 더 나은 결과를 제공하지만 계산 비용이 높다.
싱크 및 란초스 리샘플링 (Sinc and Lanczos Resampling): 싱크 리샘플링은 이론적으로 완벽한 재구성을 제공하지만, 실제 이미지에는 한계가 있다. 란초스 리샘플링은 싱크 방식의 근사치로 더 나은 결과를 제공한다. 바이큐빅 보간법은 란초스 리샘플링의 계산 효율적인 대안으로 간주될 수 있다.
박스 샘플링 (Box Sampling): 대상 픽셀을 원본 이미지의 박스로 간주하고, 박스 내 모든 픽셀을 샘플링한다. 모든 입력 픽셀이 출력에 기여하지만, 최적화가 어렵다는 단점이 있다.
밉맵 (Mipmap): 미리 스케일링된 다운스케일 사본을 사용한다. 빠르고 최적화가 용이하며 OpenGL 등에서 표준으로 사용되지만, 이미지 메모리를 더 많이 사용한다.
푸리에 변환 방법 (Fourier-transform Methods): 주파수 영역에서 0의 성분을 채우는 방식으로, 링잉 현상과 경계 번짐 현상이 발생할 수 있다.
엣지 지향 보간 (Edge-directed Interpolation): 스케일링 후 이미지의 가장자리를 보존하는 데 중점을 둔다. NEDI, EGGI, ICBI, DCCI 등의 알고리즘이 있다.
픽셀 아트 스케일링 알고리즘 (Pixel-art Scaling Algorithms): 픽셀 아트 그래픽 처리에 특화된 알고리즘으로, hqx, xBR, Scale2x 등이 있다. 에뮬레이터나 2D 게임 엔진 등에 사용된다.
벡터화 (Vectorization): 그래픽의 해상도 독립적인 벡터 표현을 생성한 후, 원하는 해상도로 래스터화한다. 어도비 일러스트레이터, 잉크스케이프 등에서 사용된다.
딥러닝 기반 방법 (Deep Convolutional Neural Networks): 기계 학습을 사용하여 상세한 이미지를 생성한다. waifu2x 등이 대표적이다.

3. 1. 최근접 이웃 보간법 (Nearest-neighbor Interpolation)

최근접 이웃 보간법(Nearest-neighbor Interpolation)은 이미지 크기를 늘리는 간단한 방법 중 하나로, 출력 이미지의 모든 픽셀을 원본 이미지에서 가장 가까운 픽셀로 대체한다. 업스케일링을 할 때, 이는 동일한 색상의 여러 픽셀이 나타나게 됨을 의미한다.

이러한 방식은 픽셀 아트와 같이 부드러운 가장자리가 거의 없는 이미지에서 선명한 세부 묘사를 유지하는 데 효과적이다. 하지만 이전에 부드러웠던 이미지에는 자글거림을 유발할 수 있다.

최근접 이웃에서 '최근접'은 반드시 수학적으로 가장 가까울 필요는 없다. 일반적인 구현 방법 중 하나는 항상 0으로 반올림하는 것인데, 이 방식을 사용하면 아티팩트(artifact)가 적게 발생하고 계산 속도가 더 빨라진다.

3. 2. 쌍선형 보간법 (Bilinear Interpolation)

쌍선형 보간법은 픽셀 색상 값을 보간법을 통해 보간하여 원본 자료가 불연속적인 전환을 갖는 경우에도 출력에 연속적인 전환을 도입한다. 이는 연속적인 톤의 이미지에는 바람직하지만, 이 알고리즘은 대비(선명한 가장자리)를 감소시켜 선화에는 바람직하지 않을 수 있다. 쌍3차 보간법은 계산 비용이 증가하지만 훨씬 더 나은 결과를 얻는다.

3. 3. 싱크 및 란초스 리샘플링 (Sinc and Lanczos Resampling)

싱크 리샘플링은 이론적으로 완벽하게 대역 제한된 신호에 대해 가능한 최고의 재구성을 제공한다. 실제로는, 싱크 리샘플링의 기본 가정이 실제 디지털 이미지에 의해 완전히 충족되지 않는다. 싱크 방식의 근사치인 란초스 리샘플링이 더 나은 결과를 제공한다. 바이큐빅 보간법은 란초스 리샘플링에 대한 계산 효율적인 근사치로 간주될 수 있다.^[1]

3. 4. 박스 샘플링 (Box Sampling)

쌍선형, 쌍삼차 및 관련 알고리즘의 한 가지 약점은 특정 수의 픽셀을 샘플링한다는 것이다. 모든 바이 샘플링 알고리즘에서 2회 이상 등 특정 임계값 이하로 다운 스케일링을 수행하면 알고리즘이 인접하지 않은 픽셀을 샘플링하기 때문에 데이터가 손실되어 거친 결과가 발생한다.

이 문제의 간단한 해결책은 박스 샘플링이다. 이는 대상 픽셀을 원본 이미지의 박스로 간주하고, 박스 내의 모든 픽셀을 샘플링하는 것이다. 이를 통해 모든 입력 픽셀이 출력에 기여하도록 보장된다. 이 알고리즘의 주요 약점은 최적화가 어렵다는 것이다.

3. 5. 밉맵 (Mipmap)

밉맵은 미리 스케일링된 다운스케일 사본 집합이다. 다운스케일링 시에는 바이선형 스케일링의 유용한 임계값 이하로 스케일링되지 않도록 가장 가까운 상위 밉맵을 원본으로 사용한다. 이 알고리즘은 빠르고 최적화하기 쉽다. OpenGL과 같은 많은 프레임워크에서 표준으로 사용된다. 단점은 이미지 메모리를 더 많이 사용한다는 점인데, 표준 구현에서는 정확히 1/3 더 사용한다.

3. 6. 푸리에 변환 방법 (Fourier-transform Methods)

푸리에 변환을 기반으로 하는 단순한 보간법은 주파수 영역에 0의 성분을 채워 넣는데, 부드러운 윈도우 기반 접근 방식을 사용하면 링잉 현상을 줄일 수 있습니다. 이러한 방법은 세부 사항을 잘 보존하거나 복구하지만, 링잉 현상과 왼쪽 경계에서 오른쪽 경계로의 내용이 순환적으로 번지는 현상(그리고 그 반대로도)이 두드러집니다.

이미지 스케일링은 나이퀴스트 표본화 정리의 관점에서 이미지 리샘플링 또는 이미지 재구축의 한 형태로 해석될 수 있습니다. 이 정리에 따르면, 고해상도 원본에서 더 작은 이미지로 다운샘플링하려면 에일리어싱 아티팩트를 방지하기 위해 적절한 2D 안티 에일리어싱 필터를 적용한 후에만 수행할 수 있습니다. 이미지는 더 작은 이미지에서 전달할 수 있는 정보로 축소됩니다. 업샘플링의 경우에는 재구성 필터가 안티 에일리어싱 필터를 대체합니다.

더 정교한 업스케일링 접근 방식은 이 문제를 역문제로 취급하여, 축소되었을 때 입력 이미지처럼 보이는 그럴듯한 이미지를 생성하는 질문을 해결합니다. 정규화 항이 있는 최적화 기법, 예시를 통한 기계 학습의 사용 등 다양한 기술이 적용되어 왔습니다.

3. 7. 엣지 지향 보간 (Edge-directed Interpolation)

가장자리 지향 보간 알고리즘은 계단 현상을 유발할 수 있는 다른 알고리즘과 달리, 스케일링 후 이미지의 가장자리를 보존하는 것을 목표로 한다.

이러한 작업을 위한 알고리즘의 예로는 New Edge-Directed Interpolation (NEDI),^[1] Edge-Guided Image Interpolation (EGGI),^[3] 반복적 곡률 기반 보간 (ICBI),^[4] 방향성 큐빅 컨볼루션 보간 (DCCI)이 있다. 2013년 분석에 따르면 DCCI는 일련의 테스트 이미지에서 최대 신호 대 잡음비 및 구조적 유사성에서 최고의 점수를 받았다.^[5]

3. 8. 픽셀 아트 스케일링 알고리즘 (Pixel-art Scaling Algorithms)

픽셀 아트 그래픽은 일반적으로 해상도가 낮고, 제한된 색상 팔레트를 사용하여 개별 픽셀을 신중하게 배치해야 한다. 이는 개별 픽셀 수준까지 해상도가 거의 없는 복잡한 모양을 정의하기 위해 양식화된 시각적 신호에 의존하는 그래픽을 생성한다. 이 때문에 픽셀 아트 스케일링은 특히 어려운 문제가 된다.

전통적인 스케일링 알고리즘은 지각적 신호를 고려하지 않으므로, 픽셀 아트 그래픽을 처리하기 위해 특수 알고리즘^[8]이 개발되었다.

일반적인 응용 분야는 4세대 및 그 이전 비디오 게임을 아케이드 에뮬레이터 및 콘솔 에뮬레이터에서 더 나은 모습으로 보이게 하는 것이다. 많은 알고리즘이 초당 60 프레임으로 작은 입력 이미지에 대해 실시간으로 실행되도록 설계되었다.

빠른 하드웨어에서는 이러한 알고리즘이 게임 및 기타 실시간 이미지 처리에 적합하다. 이러한 알고리즘은 흐림을 최소화하면서 선명하고 또렷한 그래픽을 제공한다. 스케일링 아트 알고리즘은 HqMAME 및 DOSBox와 같은 광범위한 에뮬레이터뿐만 아니라 ScummVM과 같은 2D 게임 엔진 및 게임 엔진 재현에 구현되었다.

이러한 필터는 현재 Xbox Live, 버추얼 콘솔, PSN의 상업용 에뮬레이터에서 사용되어 고전적인 저해상도 게임이 현대적인 HD 디스플레이에서 시각적으로 더 매력적으로 보이도록 한다. 최근 출시된 게임 중 이러한 필터를 통합한 게임으로는 ''소닉 얼티밋 제네시스 컬렉션'', ''캐슬바니아: 드라큘라 X 크로니클스'', ''악마성 드라큘라 X: 월하의 야상곡'', ''악마성 드라큘라 X 피의 윤무''가 있다.

3. 9. 벡터화 (Vectorization)

벡터 추출 또는 벡터화는 다른 접근 방식을 제공한다. 벡터화는 먼저 크기를 조정할 그래픽의 해상도에 독립적인 벡터 표현을 생성한다. 그런 다음 해상도에 독립적인 버전을 원하는 해상도로 래스터 이미지로 렌더링한다. 이 기술은 어도비 일러스트레이터, 라이브 트레이스, 잉크스케이프에서 사용된다.^[6] 스케일러블 벡터 그래픽스는 단순한 기하학적 이미지에 적합하지만, 사진은 복잡하기 때문에 벡터화에 적합하지 않다.

3. 10. 딥러닝 기반 방법 (Deep Convolutional Neural Networks)

이 방법은 기계 학습을 사용하여 사진이나 복잡한 그림과 같이 더 상세한 이미지를 얻는 방법이다. 이 방법을 사용하는 프로그램에는 waifu2x, Imglarger, NeuralEnhance가 있다.^[1]

에블린 드 모건의 인광과 헤스페루스 세부 사항을 사용하여 노이즈 감소와 함께 기존 방식과 waifu2x 업스케일링을 시연한다. [전체 크기를 보려면 이미지를 클릭하세요]

마이헤리티지 포토 인핸서와 같은 AI 기반 소프트웨어를 사용하면 원본에 없는 역사적 사진에 디테일과 선명도를 추가할 수 있다.^[1]

4. 응용 분야

이미지 스케일링은 웹 브라우저^[7]^[20], 이미지 편집기, 이미지 및 파일 뷰어, 소프트웨어 확대기, 디지털 줌, 썸네일 이미지 생성 과정, 스크린이나 프린터를 통한 이미지 출력 등 다양한 분야에서 활용된다. 또한, 비디오 게임의 실시간 스케일링 기술과 홈 시어터용 이미지 확대에도 사용된다.

4. 1. 일반적인 응용

이미지 스케일링은 웹 브라우저,^[7]^[20] 이미지 편집기, 이미지 및 파일 뷰어, 소프트웨어 확대기, 디지털 줌, 썸네일 이미지 생성 과정, 그리고 스크린이나 프린터를 통해 이미지를 출력할 때 등에서 사용된다.

4. 2. 비디오

이 응용 프로그램은 DVD 플레이어와 같은 PAL 해상도 콘텐츠에서 HDTV 지원 출력 장치용 홈 시어터의 이미지 확대이다. 업스케일링은 실시간으로 수행되며, 출력 신호는 저장되지 않는다.

4. 3. 실시간 스케일링

여러 회사에서 비디오 게임에서 화면에 그려지는 경우와 같이 실시간 렌더링에서 비디오 프레임을 업스케일링하는 기술을 개발했다. Nvidia의 딥 러닝 슈퍼 샘플링(DLSS)은 딥 러닝을 사용하여 저해상도 이미지를 고해상도 컴퓨터 모니터에 표시할 수 있도록 업샘플링한다.^[9] AMD의 FidelityFX 슈퍼 해상도 1.0 (FSR)은 머신 러닝을 사용하지 않고, 대신 기존 셰이딩 유닛에서 공간적 업스케일링을 달성하기 위해 전통적인 수동 알고리즘을 사용한다. FSR 2.0은 다시 수동으로 조정된 알고리즘으로 시간적 업스케일링을 활용한다. FSR 표준화된 프리셋은 적용되지 않으며, ''도타 2''와 같은 일부 타이틀은 해상도 슬라이더를 제공한다.^[10] 다른 기술로는 Intel XeSS와 Nvidia Image Scaler (NIS)가 있다.^[11]^[12]

이 애플리케이션은 DVD 플레이어 등 PAL 해상도 콘텐츠에서 HDTV 지원 출력 장치로의 홈 시어터용 이미지 확대에 사용된다. 업스케일링은 실시간으로 실행되며, 출력 신호는 저장되지 않는다.

참조

_[1] 웹사이트 Edge-Directed Interpolation http://chiranjivi.tr[...] 2016-02-19
_[2] 간행물 NEW EDGE DIRECTED INTERPOLATION http://www.csee.wvu.[...] 2016-02-14
_[3] 간행물 An Edge-Guided Image Interpolation Algorithm via Directional Filtering and Data Fusion
_[4] 웹사이트 Image Zooming Using Directional Cubic Convolution Interpolation http://www.mathworks[...] 2015-09-13
_[5] arXiv Performance evaluation of edge-directed interpolation methods for noise-free images
_[6] 간행물 Depixelizing Pixel Art http://research.micr[...] 2015-09-01
_[7] 문서 Analysis of image scaling algorithms used by popular web browsers http://www.entropymi[...]
_[8] 웹사이트 Pixel Scalers http://www.datagenet[...] 2016-02-19
_[9] 웹사이트 NVIDIA DLSS: Your Questions, Answered https://www.nvidia.c[...] 2021-10-13
_[10] 웹사이트 Valve's Dota 2 Adds AMD FidelityFX Super Resolution - Phoronix https://www.phoronix[...] 2021-10-13
_[11] 웹사이트 Intel shows off its answer to Nvidia's DLSS, coming to Arc GPUs in 2022 https://www.theverge[...] 2021-08-19
_[12] 웹사이트 What Is Nvidia Image Scaling? Upscaling Tech, Explained https://www.digitalt[...] 2021-11-16
_[13] 웹사이트 Edge-Directed Interpolation http://chiranjivi.tr[...] 2016-02-19
_[14] 간행물 NEW EDGE DIRECTED INTERPOLATION http://www.csee.wvu.[...]
_[15] 간행물 An Edge-Guided Image Interpolation Algorithm via Directional Filtering and Data Fusion
_[16] 간행물 Enlargement of Image Based Upon Interpolation Techniques http://www.ijarcce.c[...] 2013-12
_[17] 웹사이트 Image Zooming Using Directional Cubic Convolution Interpolation http://www.mathworks[...] 2015-09-13
_[18] arXiv Performance evaluation of edge-directed interpolation methods for noise-free images
_[19] 간행물 Depixelizing Pixel Art http://research.micr[...]
_[20] 문서 Analysis of image scaling algorithms used by popular web browsers http://www.entropymi[...]
_[21] 웹사이트 Pixel Scalers http://www.datagenet[...] 2016-02-19

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com