JPEG XT

1. 개요

JPEG XT는 "정보기술 – 연속톤 정지 이미지의 확장 가능한 압축 및 코딩"으로 명명된 JPEG 표준의 확장이다. ISO/IEC 18477 표준으로, 핵심 코딩 시스템, 고 동적 범위 이미지 코딩, 박스 파일 형식, 적합성 테스트, 레퍼런스 소프트웨어, IDR 정수 코딩, HDR 부동 소수점 코딩, 무손실 및 준 무손실 코딩, 알파 채널 코딩 등 여러 파트로 구성된다. JPEG-HDR은 JPEG 파일 내에 HDR 이미지를 저장하기 위해 개발된 돌비 JPEG-HDR 형식을 기반으로 하며, JPEG XT Part 3 박스 파일 형식과 유사하다. 또한, JPEG XT 및 JPEG-LS에 대한 참조 소프트웨어 구현이 제공된다.

2. JPEG XT 표준

JPEG XT는 돌비의 JPEG-HDR 형식을 기반으로 한 HDR 이미징 구현(파트 2)을 포함한다. 이는 파트 7 프로필 A에서 정의한 RGBE 이미지 형식을 사용하며, 정수 및 부동 소수점 샘플을 모두 지원한다. 파일 형식은 파트 3을 기반으로 하지만, 독점적인 텍스트 기반 메타데이터 구문을 사용한다.

JPEG XT는 파트 8에서 무손실 코딩을 지원한다. 이는 파트 7 프로필 C를 기반으로 한 정수 및 부동 소수점 코딩의 확장으로, 스케일 가능한 손실 압축에서 무손실 압축을 가능하게 한다. 10비트 및 12비트 정밀도의 경우, 무손실 정수-정수 DCT가 사용되며, 이는 각 회전 공간을 세 개의 전단(JPEG2000의 웨이블릿 변환과 유사)으로 대체한다. 16비트 정밀도의 경우, 손실 고정 소수점 DCT 근사가 표준에서 지정되며 디코더에서 구현해야 한다. 이를 통해 인코더는 코딩 오류를 예측하여 향상된 레이어에 저장할 수 있어, 무손실 재구성이 가능하다. 향상된 레이어의 오류 잔차는 압축되지 않거나 무손실 정수-정수 DCT로 압축될 수 있다. 파트 8의 압축 및 이미지 품질 성능은 PNG와 유사하다.

파트 9에서는 투명 이미지 및 임의 모양 이미지의 손실 및 무손실 코딩을 위한 알파 채널 확장을 제공한다. 이는 정수 또는 부동 소수점 정밀도로 인코딩된 불투명도(투명도) 레이어와 내용이 알파로 사전 곱해졌는지, 또는 배경색과 사전 곱해지고 블렌딩되었는지 지정하는 메타데이터를 사용한다.

향후에는 개인 정보 보호 및 보안 확장 기능이 추가될 예정이다. 이를 통해 개인 이미지 영역(또는 전체 이미지)을 낮은 해상도로 인코딩하고, 개인 복호화 키를 가진 사람에게만 전체 해상도 이미지를 복원하는 디지털 암호화된 향상된 레이어를 사용할 수 있게 된다. 키가 없는 사람에게는 공개 영역만 표시된다.

2.1. 핵심 구성 요소

JPEG 표준은 공식적으로 '정보기술 – 연속톤 정지 이미지의 확장 가능한 압축 및 코딩'으로 명명되며, ISO/IEC 18477은 다음과 같은 부분으로 구성된다.

표준의 핵심 파트 1은 현재 일반적으로 사용되는 JPEG 사양(ISO/IEC 10918-1(기본 형식), 10918-5 JPEG 파일 교환 형식(JFIF), 10918-6(인쇄 응용 프로그램) 등)을 정의한다. 이는 JPEG 코딩 모드를 베이스라인, 순차 및 프로그레시브 허프만으로 제한하며, YCbCr 크로마 서브샘플링을 사용하는 Rec. 601 색 공간 변환의 JFIF 정의를 포함한다. 이 사양은 독일의 토마스 리히터, 벨기에의 팀 브루일란츠와 피터 셸켄스, 스위스-이란 엔지니어 투라지 에브라히미가 작성했다.

파트 3 박스 파일 형식은 JFIF와 하위 호환되는 확장 가능한 형식을 정의한다. 확장은 '박스'(응용 프로그램 마커 11('APP11')으로 태그가 지정된 64KB 청크)를 기반으로 하며, 향상된 데이터 레이어와 이를 8비트 기본 레이어와 결합하여 풀 정밀도 이미지를 형성하는 방법을 설명하는 추가 이진 메타데이터를 포함한다. 파트 3은 JPEG 2000에서 사용되는 ISO 기본 미디어 파일 형식을 기반으로 하며, 유사한 배열은 돌비 랩스의 이전 JPEG-HDR 형식에서도 사용되었으며, 이는 JPEG XT 파트 2에서 표준화되었다.

파트 7은 풀 정밀도 이미지와 감마 보정 톤 매핑된 8비트 기본 이미지 레이어에서 향상된 이미지 레이어를 생성하는 부동 소수점 HDR 코딩 도구를 포함한다. 이러한 도구는 여러 사진 노출을 사용한 고 다이내믹 레인지 이미징과 선형 16비트 정수 정밀도를 초과하는 컴퓨터 생성 이미지에 사용된다.

HDR 이미지를 재구성하기 위한 세 가지 주요 알고리즘(프로필 A, B, C)을 정의한다. 프로필 A는 기본 레이어의 역 톤 매핑에 공통 로그 스케일 팩터를 사용한다. 프로필 B는 공통 노출 값으로 스케일링된 분할기 이미지 확장 레이어를 사용한다. 프로필 C는 A와 유사하지만 구성 요소별 스케일링 팩터와 조각별 선형 함수를 사용하여 무손실 인코딩을 허용하는 로그 공간을 사용한다. 프로필 A는 Radiance RGBE 이미지 형식을 기반으로 하고 프로필 B는 [http://www.xdepth.com XDepth] 형식([http://www.trellis-mgmt.com Trellis Management]의)을 기반으로 한다.

프로필 D는 향상된 이미지를 생성하지 않는 간단한 알고리즘을 사용한다. 향상된 레이어는 이산 코사인 변환(DCT) 전송 계수의 확장된 정밀도를 저장하는 데 사용되며, 비 감마 전송 함수가 적용되어 다이내믹 레인지를 12비트로 늘린다. 레거시 디코더가 새로운 EOTF 곡선을 이해하지 못하고 채도가 낮은 색상을 생성하기 때문에 하위 호환성은 제한된다. 프로필 D는 참조 소프트웨어에서 구현되지 않았다.

JPEG XT는 또한 다양한 프로필의 여러 요소를 코드 스트림에서 혼합하여 모든 프로필에서 확장된 DCT 정밀도와 무손실 인코딩을 허용한다('전체 프로필').

파트 6(중간 다이내믹 레인지(IDR) 이미지의 정수 코딩)은 RAW 이미지 형식 센서 데이터에 전형적인 9~16비트 정수 샘플을 코딩하기 위한 확장이며, 코딩 도구는 파트 7 프로필 C와 동일하다.

파트 2는 돌비 랩스의 JPEG-HDR 형식을 기반으로 한 HDR 이미징 구현을 정의한다. 파트 7 프로필 A에서 정의한 RGBE 이미지 형식을 사용하며 정수 및 부동 소수점 샘플을 모두 지원한다. 파일 형식은 파트 3을 기반으로 하지만 독점적인 텍스트 기반 메타데이터 구문을 사용한다.

파트 8 무손실 코딩은 파트 7 프로필 C를 기반으로 한 정수 및 부동 소수점 코딩의 확장으로, 스케일 가능한 손실 압축에서 무손실 압축을 허용한다. 10비트 및 12비트 정밀도의 경우, 각 회전 공간을 세 개의 전단(JPEG2000의 웨이블릿 변환과 유사)으로 대체하는 무손실 정수-정수 DCT가 사용된다. 16비트 정밀도의 경우, 손실 고정 소수점 DCT 근사가 표준에서 지정되며 디코더에서 구현해야 한다. 이를 통해 인코더가 코딩 오류를 예측하여 향상된 레이어에 저장할 수 있으므로 무손실 재구성이 가능합니다. 향상된 레이어의 오류 잔차는 압축되지 않거나 무손실 정수-정수 DCT로 압축될 수 있다. 파트 8의 압축 및 이미지 품질 성능은 PNG와 유사하다.

파트 9 알파 채널 확장은 투명 이미지와 임의 모양 이미지의 손실 및 무손실 코딩을 허용한다. 정수 또는 부동 소수점 정밀도로 인코딩된 불투명도(투명도) 레이어와 내용이 알파로 사전 곱해졌는지, 또는 배경색과 사전 곱해지고 블렌딩되었는지 지정하는 메타데이터를 사용한다.

향후 개인 정보 보호 및 보안 확장을 통해 개인 이미지 영역(또는 전체 이미지)을 낮은 해상도로 인코딩하고, 개인 복호화 키를 가진 사람에게만 전체 해상도 이미지를 복원하는 디지털 암호화된 향상된 레이어를 사용할 수 있다. 키가 없는 사람에게는 공개 영역만 표시된다.

2.2. 추가 구성 요소

JPEG 표준은 공식적으로 '정보기술 – 연속톤 정지 이미지의 확장 가능한 압축 및 코딩' (ISO/IEC 18477)으로 불리며, 여러 파트로 구성된다.

파트 1은 현재 일반적으로 사용되는 JPEG 사양(ISO/IEC 10918-1, 10918-5 JFIF, 10918-6)을 정의한다. JPEG 코딩 모드를 베이스라인, 순차 및 프로그레시브 허프만으로 제한하며, YCbCr 크로마 서브샘플링을 사용하는 Rec. 601 색 공간 변환의 JFIF 정의를 포함한다. 이 사양은 토마스 리히터, 팀 브루일란츠, 피터 셸켄스, 투라지 에브라히미가 작성했다.

파트 3 박스 파일 형식은 JFIF와 하위 호환되는 확장 가능한 형식을 정의한다. '박스'(응용 프로그램 마커 11(APP11)로 태그된 64KB 청크) 기반으로, 향상된 데이터 레이어와 이를 8비트 기본 레이어와 결합하여 풀 정밀도 이미지를 형성하는 방법을 설명하는 추가 이진 메타데이터를 포함한다. JPEG 2000에서 사용되는 ISO 기본 미디어 파일 형식을 기반으로 하며, 유사한 배열은 JPEG-HDR 형식(돌비 랩스)에서도 사용되었으며, JPEG XT 파트 2에서 표준화되었다.

파트 7은 풀 정밀도 이미지와 감마 보정 톤 매핑된 8비트 기본 이미지 레이어에서 향상된 이미지 레이어를 생성하는 부동 소수점 HDR 코딩 도구를 포함한다. 여러 사진 노출을 사용한 고 다이내믹 레인지 이미징과 선형 16비트 정수 정밀도를 초과하는 컴퓨터 생성 이미지에 사용된다.

HDR 이미지 재구성을 위한 세 가지 주요 알고리즘(프로필 A, B, C)을 정의한다. 프로필 A는 기본 레이어의 역 톤 매핑에 공통 로그 스케일 팩터를 사용한다. 프로필 B는 공통 노출 값으로 스케일링된 분할기 이미지 확장 레이어를 사용한다. 프로필 C는 A와 유사하지만 구성 요소별 스케일링 팩터와 조각별 선형 함수를 사용하여 무손실 인코딩을 허용하는 로그 공간을 사용한다. 프로필 A는 Radiance RGBE 이미지 형식, 프로필 B는 [http://www.xdepth.com XDepth] 형식([http://www.trellis-mgmt.com Trellis Management]) 기반이다.

프로필 D는 향상된 이미지를 생성하지 않는 간단한 알고리즘이다. 향상된 레이어는 이산 코사인 변환(DCT) 전송 계수의 확장된 정밀도를 저장하는 데 사용되며, 비 감마 전송 함수가 적용되어 다이내믹 레인지를 12비트로 늘린다. 레거시 디코더가 새로운 EOTF 곡선을 이해하지 못하고 채도가 낮은 색상을 생성하기 때문에 하위 호환성은 제한된다. 프로필 D는 참조 소프트웨어에서 구현되지 않았다.

JPEG XT는 다양한 프로필의 여러 요소를 코드 스트림에서 혼합하여 모든 프로필에서 확장된 DCT 정밀도와 무손실 인코딩을 허용한다('전체 프로필').

파트 6 (IDR 이미지의 정수 코딩)은 RAW 이미지 형식 센서 데이터에 전형적인 9~16비트 정수 샘플 코딩을 위한 확장이며, 코딩 도구는 파트 7 프로필 C와 동일하다.

파트 2는 돌비의 JPEG-HDR 형식을 기반으로 한 HDR 이미징 구현을 정의한다. 파트 7 프로필 A에서 정의한 RGBE 이미지 형식을 사용하며 정수 및 부동 소수점 샘플을 모두 지원한다. 파일 형식은 파트 3을 기반으로 하지만 독점적인 텍스트 기반 메타데이터 구문을 사용한다.

파트 8 무손실 코딩은 파트 7 프로필 C 기반 정수 및 부동 소수점 코딩의 확장으로, 스케일 가능한 손실 압축에서 무손실 압축을 허용한다. 10비트 및 12비트 정밀도는 무손실 정수-정수 DCT(각 회전 공간을 세 개의 전단(JPEG2000의 웨이블릿 변환과 유사)으로 대체)를 사용한다. 16비트 정밀도는 손실 고정 소수점 DCT 근사가 표준에서 지정되며 디코더에서 구현해야 한다. 이를 통해 인코더가 코딩 오류를 예측하여 향상된 레이어에 저장, 무손실 재구성이 가능하다. 향상된 레이어의 오류 잔차는 압축되지 않거나 무손실 정수-정수 DCT로 압축될 수 있다. 파트 8의 압축 및 이미지 품질 성능은 PNG와 유사하다.

파트 9 알파 채널 확장은 투명/임의 모양 이미지의 손실 및 무손실 코딩을 허용한다. 정수/부동 소수점 정밀도로 인코딩된 불투명도(투명도) 레이어와 내용이 알파로 사전 곱해졌는지, 배경색과 사전 곱해지고 블렌딩되었는지 지정하는 메타데이터를 사용한다.

향후 개인 정보 보호 및 보안 확장을 통해 개인 이미지 영역(또는 전체 이미지)을 낮은 해상도로 인코딩하고, 개인 복호화 키를 가진 사람에게만 전체 해상도 이미지를 복원하는 디지털 암호화된 향상된 레이어를 사용할 수 있다. 키가 없는 사람에게는 공개 영역만 표시된다.

3. JPEG-HDR

돌비 JPEG-HDR 형식은 2005년 BrightSide Technologies의 그렉 워드(Greg Ward)와 월트 디즈니 애니메이션 스튜디오의 메리앤 시몬스(Maryann Simmons)가 표준 JPEG 파일 내에 HDR 이미지를 저장하기 위해 개발한 것이다. BrightSide Technologies는 2007년 돌비 래버러토리스에 인수되었다.

이미지 인코딩은 워드가 제작한 Radiance 렌더러에서 사용되는 2계층 RGBE 이미지 형식을 기반으로 한다. 파일 크기를 줄이기 위해 먼저 이미지를 톤 매핑된 버전으로 변환한 다음, 동일한 JPEG/JFIF 파일의 APP11 마커에 재구성 승수 이미지를 저장한다. 일반적인 뷰어 소프트웨어는 승수 이미지를 무시하여, 모든 사람이 표준 다이내믹 레인지와 색상 영역으로 표현된 이미지의 톤 매핑된 버전을 볼 수 있게 한다.

JPEG-HDR 파일 형식은 JPEG XT Part 3 박스 파일 형식과 유사하지만 텍스트 기반 메타데이터를 사용한다.

JPEG-HDR을 지원하는 프로그램으로는 그렉 워드의 Photosphere와 pfstools가 있다.

4. 참조 소프트웨어 (libjpeg)

libjpeg은 ISO/IEC Joint Photography Experts Group, 공동 사진 전문가 그룹이 기본 JPEG (ISO/IEC 10918-1 및 18477-1) 및 JPEG XT 확장 (ISO/IEC 18477 파트 2 및 6-9), 그리고 JPEG-LS (ISO/IEC 14495)에 대한 참조 소프트웨어 구현을 유지 관리한다. JPEG-LS, 산술 코딩 및 mozjpeg와 유사한 계층적 프로그레시브 코더가 없는 축소된 버전은 ISO 라이선스 하에 사용할 수 있다. ICIP Grand Challenge의 참가자로서, 저자는 "JPEG on steroids"로 알려진 몇 가지 기존 JPEG 최적화 기술도 라이브러리에 포함시켰다.

소프트웨어 JPEG-HDR 인코더는 돌비 랩스(Dolby Labs)에서 제공하며, JPEG XT 파트 7 프로파일 B 소프트웨어는 XDepth/Trellis Management에서 제공하고, 나머지 모든 부분의 구현은 슈투트가르트 대학교에서 제공했다.

5. 더 읽어보기

* http://www.anyhere.com/gward/papers/cic05.pdf JPEG-HDR: JPEG의 하위 호환, 고 다이내믹 레인지 확장 (pdf)
* 쿵켈, 티모; 라인하르트, 에릭 (2010). 《제7회 그래픽 및 시각화 응용 지각 심포지엄 회보》. Apgv '10. ACM. 17–24쪽.