베이어 필터

3. 디모자이킹 (Demosaicing)

베이어 필터 카메라의 RAW 출력은 ''베이어 패턴'' 이미지라고 한다. 각 픽셀은 세 가지 색상 중 하나만 기록하도록 필터링되므로, 각 픽셀의 데이터는 자체적으로 적색, 녹색 및 청색 값을 모두 지정할 수 없다. 풀 컬러 이미지를 얻기 위해 다양한 디모자이킹 알고리즘을 사용하여 각 픽셀에 대한 완전한 적색, 녹색 및 청색 값 집합을 보간한다. 이러한 알고리즘은 특정 픽셀의 값을 추정하기 위해 해당 색상의 주변 픽셀을 사용한다.^[6]

다양한 알고리즘은 다양한 양의 컴퓨팅 성능을 필요로 하며, 그 결과 최종 이미지의 품질이 달라진다. 이는 카메라 내에서 JPEG 또는 TIFF 이미지를 생성하거나, 센서에서 직접 RAW 데이터를 사용하여 카메라 외부에서 수행할 수 있다. 카메라 프로세서의 처리 능력이 제한되어 있기 때문에, 많은 사진 작가들은 개인용 컴퓨터에서 이러한 작업을 수동으로 수행하는 것을 선호한다. 카메라가 저렴할수록 이러한 기능에 영향을 미칠 수 있는 기회가 줄어든다. 전문 카메라에서는 이미지 보정 기능이 완전히 없거나, 끌 수 있다. RAW 형식으로 기록하면 디모자이킹 알고리즘을 수동으로 선택하고 변환 매개변수를 제어할 수 있으며, 이는 소비자 사진뿐만 아니라 다양한 기술 및 측광 문제를 해결하는 데에도 사용된다.^[7]

디모자이킹은 주변 픽셀의 색상 값을 보간하는 간단한 방법부터, 이미지 영역의 색상이 일정하다는 가정 하에 색상 채널 간 상관관계를 이용하는 방법, 고대비 가장자리를 따라 보간하는 방법 등 다양한 방식으로 수행될 수 있다.

3. 1. 디모자이킹 방법

4. 베이어 필터의 한계 및 문제점

베이어 필터는 디지털 센서의 해상도 한계에 가까운 섬세한 표현을 가진 이미지에서 모아레 현상이나 위색(False color)과 같은 문제를 일으킬 수 있다.^[6] 이러한 문제는 디모자이킹 알고리즘이 이미지를 처리하는 과정에서 발생한다.

디지털 센서의 해상도 한계에 가까운 작은 규모의 디테일을 가진 이미지는 디모자이킹 알고리즘에 문제를 일으켜 모델과 다르게 보이는 결과를 생성할 수 있다. 가장 흔한 현상은 반복적인 패턴에서 나타나는 모아레이며, 색상 아티팩트 또는 비현실적인 미로 모양으로 배열된 픽셀로 나타날 수 있다.

4. 1. 모아레 (Moire) 현상

4. 2. 위색 (False color)

이러한 위색을 방지하기 위해 부드러운 색조 전환 보간이 디모자이싱 과정에서 사용될 수 있다. 또한, 디모자이싱 후에 위색을 제거하는 알고리즘도 존재하는데, 이들은 빨간색 및 파란색 색상 평면을 보간하는 데 더 강력한 알고리즘을 사용하여 위색을 제거한다.

4. 3. 지퍼링 (Zippering) 현상

지퍼링(Zippering)은 CFA 디모자이싱의 또 다른 부작용으로, 주로 가장자리에서 발생하며 지퍼 효과로 알려져 있다. 간단히 말해서, 지퍼링은 가장자리를 따라 켜짐/꺼짐 패턴으로 발생하는 가장자리 흐림 현상의 또 다른 이름이다. 이 효과는 디모자이싱 알고리즘이 가장자리를 따라 픽셀 값을 평균화할 때, 특히 빨간색과 파란색 평면에서 발생하여 특징적인 흐림 현상을 발생시킨다.

이 효과를 방지하는 가장 좋은 방법은 이미지 가장자리를 가로지르는 것이 아니라 따라 보간하는 다양한 알고리즘을 사용하는 것이다. 패턴 인식 보간, 적응형 색 평면 보간 및 방향 가중 보간은 모두 이미지에서 감지된 가장자리를 따라 보간하여 지퍼링을 방지하려고 시도한다.

4. 4. 안티앨리어싱 필터 (Anti-aliasing Filter)

디지털 센서의 해상도 한계에 가까운 작은 크기의 디테일을 가진 이미지는 디모자이킹 알고리즘에 문제를 일으켜 모델과 다르게 보이는 결과를 생성할 수 있다. 가장 흔한 모아레 현상은 반복적인 패턴, 색상 아티팩트 또는 비현실적인 미로 모양으로 배열된 픽셀로 나타날 수 있다.

지퍼링 현상은 CFA 디모자이싱의 또 다른 부작용으로, 주로 가장자리에서 발생하며 지퍼 효과로 알려져 있다. 지퍼링은 가장자리를 따라 켜짐/꺼짐 패턴으로 발생하는 가장자리 흐림 현상의 또 다른 이름이다. 이 효과는 디모자이싱 알고리즘이 가장자리를 따라 픽셀 값을 평균화할 때, 특히 빨간색과 파란색 평면에서 발생하여 특징적인 흐림 현상을 발생시킨다. 이 효과를 방지하는 가장 좋은 방법은 이미지 가장자리를 가로지르는 것이 아니라 따라 보간하는 다양한 알고리즘을 사용하는 것이다. 패턴 인식 보간, 적응형 색 평면 보간 및 방향 가중 보간은 모두 이미지에서 감지된 가장자리를 따라 보간하여 지퍼링을 방지하려고 시도한다.

그러나 각 포토사이트에서 모든 색상을 캡처하고 구별할 수 있는 이론적으로 완벽한 센서조차도 모아레 및 기타 인공물이 여전히 나타날 수 있다. 이것은 그렇지 않으면 연속적인 신호를 불연속적인 간격 또는 위치에서 샘플링하는 모든 시스템의 불가피한 결과이다. 이러한 이유로 대부분의 사진 디지털 센서는 광학 로우패스 필터(OLPF) 또는 안티앨리어싱(AA) 필터를 사용한다. 이것은 일반적으로 센서 바로 앞에 있는 얇은 레이어이며, 센서의 해상도보다 미세한 잠재적으로 문제가 있는 세부 사항을 효과적으로 흐리게 하여 작동한다.

5. 베이어 필터의 변형 및 발전

브라이스 베이어가 1976년에 출원한 특허(미국 특허 번호 3,971,065^[6])에서 녹색 감광 소자는 ''휘도 감지 소자'', 적색 및 청색 감광 소자는 ''색차 감지 소자''라고 불렸다. 사람의 눈의 생리를 모방하기 위해 녹색 소자를 적색 또는 청색 소자보다 두 배 더 많이 사용했다. 베이어는 특허 등록 당시 청록-자홍-노랑 조합도 제안했지만, 당시에는 필요한 염료가 없어 실용적이지 않았다.

베이어 필터는 소비자용 디지털 카메라에 널리 사용되지만, CYGM 필터(시안, 노랑, 녹색, 자홍색)와 RGBE 필터(빨강, 녹색, 파랑, 에메랄드)처럼 디모자이싱이 필요한 다른 필터들도 있다. 포베온 X3 센서나 3CCD 방식은 디모자이싱이 필요하지 않다.

베이어 필터의 한계를 극복하고 이미지 품질을 향상시키기 위해 다음과 같은 다양한 변형 기술들이 개발 및 적용되고 있다.

• 팬크로매틱 셀 (Panchromatic cells): 이스만 코닥은 이미지 센서의 빛 감도를 높이기 위해 일부 팬크로매틱(전색성) 셀을 사용하는 컬러 필터 패턴을 발표했다.^[8]
• 후지필름 EXR 컬러 필터 배열: CCD(슈퍼 CCD)와 CMOS(BSI CMOS)에 적용되며, 인접한 두 포토사이트를 병합하여 빛에 더 민감하게 만들거나, 두 개의 다른 노출을 기록하여 더 넓은 다이나믹 레인지를 가진 이미지를 생성한다.^[2]
• 후지필름 X-Trans 필터: 후지필름 X 시리즈 카메라에 사용되며, 색 모아레에 대한 저항력이 우수하여 로우패스 필터 없이 제작될 수 있다.^[13]
• 쿼드 베이어 (Quad Bayer): 소니가 개발했으며, 인접한 2x2 픽셀이 동일한 색상을 가진다. 밝기에 따라 신호 처리를 통해 해상도를 조절하거나 단일 촬영 HDR을 구현할 수 있다.^[16][17][18] 삼성전자는 테트라셀, 옴니비전은 4-셀,^[17][19] 퀄컴은 쿼드 CFA(QCFA)로 부른다.^[20]
• Nonacell: 삼성전자가 삼성 갤럭시 S20 울트라에 탑재했으며, 인접한 3x3 픽셀이 동일한 색상을 가지는 구조이다.^[22]

5. 1. CYGM 및 RGBE 필터

5. 2. 팬크로매틱 셀 (Panchromatic cells)

이스만 코닥(Eastman Kodak)은 2007년에 이미지 센서의 빛 감도를 높이기 위해 일부 팬크로매틱(panchromatic, 전색성) 셀을 사용하는 컬러 필터 패턴을 발표했다.^[8] 팬크로매틱 셀은 가시광선의 모든 파장에 민감하게 반응하여 더 많은 빛을 수집한다. 코닥은 여러 패턴을 제시했지만, 베이어 필터의 2×2 단위만큼 작은 반복 단위를 가진 패턴은 없었다.

5. 3. 후지필름 EXR 컬러 필터 배열

후지필름의 EXR 컬러 필터 배열은 CCD(슈퍼 CCD)와 CMOS(BSI CMOS) 모두에서 제조된다. 슈퍼 CCD와 마찬가지로 필터 자체는 45도 회전한다. 기존의 베이어 필터 설계와는 달리, 항상 동일한 색상을 감지하는 두 개의 인접한 포토사이트가 있다. 이러한 유형의 배열의 주요 이유는 두 개의 인접한 포토사이트를 병합하여 센서 자체를 빛에 더 "민감하게" 만들 수 있는 비닝에 기여하기 위해서이다. 또 다른 이유는 센서가 두 개의 다른 노출을 기록한 다음 병합하여 더 넓은 다이나믹 레인지를 가진 이미지를 생성하기 위해서이다. 기본 회로는 센서의 대체 행에서 정보를 가져오는 두 개의 판독 채널을 가지고 있다. 그 결과 각 포토사이트의 절반에 대해 서로 다른 노출 시간을 가진 두 개의 인터리브된 센서처럼 작동할 수 있다. 포토사이트의 절반은 의도적으로 노출 부족을 겪을 수 있으므로 장면의 더 밝은 영역을 완전히 캡처할 수 있다. 이렇게 유지된 하이라이트 정보는 '전체' 노출을 기록하는 센서의 다른 절반의 출력과 혼합될 수 있으며, 이 또한 유사한 색상의 포토사이트 간의 근접 간격을 활용한다.^[2]

5. 4. 후지필름 X-Trans 필터

후지필름 X 시리즈 카메라에 사용되는 후지필름 X-Trans CMOS 센서는 베이어 필터보다 색 모아레에 대한 저항력이 더 우수하여 로우패스 필터 없이 제작될 수 있다.^[13] 이는 센서를 사용하는 카메라가 동일한 메가픽셀 수로 더 높은 해상도를 달성할 수 있게 해준다. 또한, 새로운 디자인은 각 라인에 빨강, 파랑 및 녹색 픽셀을 배치하여 가색 발생을 줄인다고 한다. 이러한 픽셀의 배열은 또한 필름과 유사한 입자를 제공한다고 한다.

하지만, X-Trans 센서의 맞춤형 패턴은 어도비 포토샵 라이트룸(Adobe Photoshop Lightroom)과 같은 타사 RAW 처리 소프트웨어에서 완벽하게 지원되지 않을 수 있다는 단점이 있었으며, 이 소프트웨어에서 개선 사항을 추가하는 데 여러 해가 걸렸다.^[14][15]

5. 5. 쿼드 베이어 (Quad Bayer)

소니(Sony)는 쿼드 베이어 컬러 필터 어레이를 개발했다. 쿼드 베이어는 베이어 필터와 유사하지만, 인접한 2x2 픽셀이 동일한 색상을 가진다는 특징이 있다. 4x4 패턴은 파란색 4개, 빨간색 4개, 녹색 8개로 구성된다.^[16] 어두운 환경에서는 신호 처리를 통해 각 2x2 그룹의 데이터를 결합하여 더 큰 픽셀처럼 작동한다. 반면, 밝은 환경에서는 신호 처리를 통해 쿼드 베이어를 기존의 베이어 필터로 변환하여 더 높은 해상도를 얻을 수 있다.^[17] 쿼드 베이어의 픽셀은 장시간 통합 및 단시간 통합 방식으로 작동하여 단일 촬영 HDR을 구현하고 블렌딩 문제를 줄일 수 있다.^[18]

삼성전자에서는 쿼드 베이어를 테트라셀(Tetracell)로, 옴니비전(OmniVision)에서는 4-셀로,^[17][19] 퀄컴(Qualcomm)에서는 쿼드 CFA(QCFA)로 부른다.^[20]

2019년 3월 26일, 화웨이 P30 시리즈는 파란색 4개, 빨간색 4개, 노란색 8개로 구성된 4x4 패턴의 RYYB 쿼드 베이어를 사용한다고 발표했다.^[21] 노란색 픽셀은 더 많은 빛을 받아들여 저조도 성능을 향상시키는 역할을 한다.

5. 6. Nonacell

2020년 2월 12일, 삼성전자는 삼성 갤럭시 S20 울트라에 Nonacell CFA를 탑재했다고 발표했다.^[22] Nonacell CFA는 베이어 필터와 유사하지만, 인접한 3x3 픽셀이 동일한 색상을 가지는 구조이다. 6x6 패턴은 파란색 9개, 빨간색 9개, 녹색 18개로 구성된다.^[22]

참조

_[1] 웹사이트 Adding L* to RGBG http://jeffmatherpho[...] 2011-02-18
_[2] 웹사이트 Sony announce 3 new digital cameras http://www.dpreview.[...]
_[3] 서적 Advanced Digital Photography https://books.google[...] Media Publishing
_[4] 서적 Digitale Kameratechnik: Technik digitaler Kameras in Theorie und Praxis https://books.google[...] Springer 2016-09-23
_[5] 간행물 Ultra-high-sensitivity color imaging via a transparent diffractive-filter array and computational optics 2015-10-29
_[6] 웹사이트 Patent US3971065 - Color imaging array - Google Patents https://patents.goog[...] 2013-04-23
_[7] 간행물 Use of spectral characteristics of DSLR cameras with Bayer filter sensors
_[8] 웹사이트 Color Filter Array 2.0 http://johncompton.1[...] 2011-02-25
_[9] 웹사이트 US patent publication 20070145273 "High-sensitivity infrared color camera" http://appft1.uspto.[...]
_[10] 웹사이트 US Patent Application 20070024879 "Processing color and panchromatic pixels" http://appft1.uspto.[...]
_[11] 서적 1989 Proceedings of the IEEE Custom Integrated Circuits Conference
_[12] 웹사이트 Image-capturing apparatus http://appft1.uspto.[...] 2017-02-22
_[13] 웹사이트 Fujifilm X-Trans sensor technology http://www.fujifilm.[...] 2012-03-15
_[14] 웹사이트 Adobe's Fujifilm X-Trans sensor processing tested https://www.dpreview[...] 2016-10-20
_[15] 웹사이트 Adobe Improves X-Trans Processing in Lightroom CC Update: Promises More to Come http://blog.thomasfi[...] Thomas Fitzgerald Photography Blog 2016-10-20
_[16] 웹사이트 Sony Releases Stacked CMOS Image Sensor for Smartphones with Industry's Highest 48 Effective Megapixels http://www.sony.net/[...] 2019-08-16
_[17] 웹사이트 How Tetracell delivers crystal clear photos day and night {{!}} Samsung Semiconductor Global Website https://www.samsung.[...] 2019-08-16
_[18] 웹사이트 IMX294CJK {{!}} Sony Semiconductor Solutions https://www.sony-sem[...] 2019-08-16
_[19] 웹사이트 'Product Releases {{!}} News & Events {{!}} OmniVision' https://www.ovt.com/[...] 2019-08-16
_[20] 특허 Quad color filter array camera sensor configurations
_[21] 웹사이트 'Part 4: Non-Bayer CFA, Phase Detection Autofocus (PDAF) {{!}} TechInsights' https://techinsights[...] 2019-08-16
_[22] 웹사이트 Samsung's 108Mp ISOCELL Bright HM1 Delivers Brighter Ultra-High-Res Images with Industry-First Nonacell Technology https://news.samsung[...] 2020-02-14