JPEG XS

3. 응용 분야

JPEG XS는 프레임 버퍼 압축이나 AR(증강 현실), VR(가상 현실) 애플리케이션과 같은 새로운 응용 분야에서 활용될 수 있다.^[14]

3. 1. 비디오 링크 및 IP 네트워크를 통한 전송

영상 스트림 전송과 관련된 문제는 대역폭 제한이 동일하게 적용되는 고해상도 스트림의 저장 및 검색이다. 예를 들어, 비디오 카메라는 SSD 드라이브나 SD 카드와 같은 내부 저장 장치를 사용하여 대용량 이미지 스트림을 보관하지만, 이러한 저장 장치의 최대 데이터 전송 속도는 제한되어 있으며 압축되지 않은 비디오 처리량보다 훨씬 낮다.

JPEG XS는 RAW 베이어/CFA 이미지의 직접 압축을 위한 내장 지원 기능을 갖추고 있다. 이 변환은 RAW 베이어 패턴 이미지를 가져와 각 구성 요소가 해상도의 1/4만 갖는 4-구성 요소 이미지로 샘플을 상관 제거한다.^[15] 즉, 추가 처리 및 압축할 총 샘플 수는 동일하게 유지되지만 값은 고전적인 다중 구성 요소 변환과 유사하게 상관 제거된다.

이러한 변환을 피하면 정보 손실을 방지하고 이 처리 단계를 카메라 외부에서 수행할 수 있다. 이는 제작 단계에서 베이어 콘텐츠의 디모자이킹을 캡처 시점부터 연기할 수 있기 때문에 유리하다. 디모자이킹 프로세스는 되돌릴 수 없으며 보간 알고리즘의 선택 또는 노이즈 감소 수준과 같은 특정 선택을 미리 해야 한다. 또한, 디모자이킹 프로세스는 전력을 많이 소비할 수 있으며 추가적인 지연 시간과 복잡성을 유발한다. JPEG XS를 사용하면 이 단계를 카메라 밖으로 밀어낼 수 있으며, 더 나은 품질을 얻을 수 있는 더 진보된 알고리즘을 사용할 수 있다.

3. 2. 실시간 비디오 저장 및 재생

3. 3. 센서 압축

3. 4. 기타 응용 분야

4. 표준

JPEG XS는 ISO/IEC 21122 표준군으로 정의되는 코덱 시스템이다.

4. 1. JPEG XS (ISO/IEC 21122)

파트 1 (ISO/IEC 21122-1)은 JPEG XS의 핵심 코딩 시스템을 설명한다. 이 표준은 연속적인 톤의 디지털 이미지를 재구성하는 디코딩 프로세스와 코드스트림 구문을 정의한다.
파트 2 (ISO/IEC 21122-2)는 JPEG XS의 다양한 응용 분야와 사용 사례를 위한 프로필, 레벨 및 하위 레벨을 정의한다. 이를 통해 상호 운용성을 보장하고 구현 복잡성을 줄인다.
파트 3 (ISO/IEC 21122-3)은 JPEG XS 코드스트림의 전송 및 컨테이너 형식을 지정한다. 메타데이터 반입을 정의하여 전송, 편집 및 표현을 용이하게 한다.
파트 4 (ISO/IEC 21122-4)는 적합성 테스트 및 버퍼 모델 검증을 제공하는 JPEG XS의 지원 표준이다.
파트 5 (ISO/IEC 21122-5)는 JPEG XS 파트 1 디코더의 참조 소프트웨어 구현과 예시적인 인코더 구현을 제공한다.

5개 파트 모두의 2판은 2022년에 출판될 예정이며, 4:2:0 콘텐츠, RAW Bayer/CFA 콘텐츠 및 수학적 무손실 압축을 지원한다.

4. 2. RFC9134 - RTP Payload Format for ISO/IEC 21122 (JPEG XS)

4. 3. MPEG-TS for JPEG XS

4. 4. VSF TR-07 and TR-08

4. 5. NMOS with JPEG XS

4. 6. JPEG XS in IPMX

5. 기술 개요

JPEG XS는 프레임 버퍼 없이 작동하는 이산 웨이블릿 변환 기반의 정지 영상 코덱이다.^[27] 일반적인 인코더는 다음과 같은 단계를 거친다.^[28]

• 구성 요소 업스케일링 및 선택적 구성 요소 디코릴레이션: 입력 데이터의 DC 게인을 제거하고 20비트 정밀도로 업스케일링한다. 선택적으로 JPEG 2000 RCT와 유사한 다중 구성 요소 생성을 적용하여 루마 채널과 두 개의 크로마 채널을 생성한다.
• 웨이블릿 변환: 5/3 도브시 웨이블릿 필터를 사용하여 공간적 상관 관계를 제거한다. 수평 방향으로는 5단계, 수직 방향으로는 0~2번의 변환을 수행하여 지연 시간을 최소화한다.
• 사전 양자화: 웨이블릿 필터의 출력을 부호-크기 표현으로 변환하고, 데드 존 양자화기를 통해 16비트 정밀도로 사전 양자화한다.
• 비트 전송률 제어 및 양자화: 각 양자화 설정의 비트 전송률을 결정한 후, 데드 존 양자화기 또는 데이터 종속 균일 양자화기를 사용하여 데이터를 양자화한다.
• 엔트로피 코딩: 양자화된 데이터에 대해 최소한의 엔트로피 부호화를 수행한다. 최대 4번의 패스로 진행되며, 유의성 코딩, 비트플레인 카운트 코딩, 데이터 코딩, 부호 코딩 등의 단계를 거친다.
• 코드 스트림 패킹: 엔트로피 코딩된 데이터와 이미지 메타데이터를 비트 스트림(바이트 단위)으로 묶는다. 이 스트림을 코드 스트림이라고 하며, JPEG 마커 및 마커 세그먼트 구문을 기반으로 한다.^[29]

JPEG XS는 준수 디코더가 디코딩된 이미지 영역(공간 영역)에서 지원해야 하는 필수 처리량의 하한을 나타내는 레벨을 정의한다. 다음 표는 JPEG XS에 정의된 레벨을 보여준다.

JPEG XS는 준수 디코더가 인코딩된 이미지 영역에서 지원해야 하는 필수 처리량의 하한을 나타내기 위해 하위 레벨을 정의한다. 각 하위 레벨은 최대 허용 샘플링 그리드 점 수에 대한 인코딩된 이미지의 최대 비트 수를 나타내는 공칭 픽셀당 비트(Nbpp) 값으로 정의된다.

다음 표는 기존 하위 레벨과 해당 공칭 bpp 값을 나열한다.

5. 1. 핵심 코딩

• '''구성 요소 업스케일링 및 선택적 구성 요소 디코릴레이션:''' 첫 번째 단계에서 입력 데이터의 DC 게인이 제거되고 20비트 정밀도로 업스케일링된다. 선택적으로 JPEG 2000 RCT와 동일한 다중 구성 요소 생성이 적용된다. 이 변환은 RGB에서 YUV로의 무손실 근사 변환으로, 하나의 루마 채널과 두 개의 크로마 채널을 생성한다.

• '''웨이블릿 변환:''' 입력 데이터는 5/3 도브시 웨이블릿 필터에 의해 공간적으로 상관 관계가 해제된다. 수평 방향으로는 5단계 변환이 수행되지만, 수직 방향으로는 0~2번의 변환만 실행된다. 이 비대칭 필터를 사용하는 이유는 지연 시간을 최소화하기 위해서이다.

• '''사전 양자화''': 웨이블릿 필터의 출력은 부호-크기 표현으로 변환되고 데드 존 양자화기에 의해 16비트 정밀도로 사전 양자화된다.

• '''비트 전송률 제어 및 양자화''': 인코더는 비정규적 프로세스^[28]에 의해 각 가능한 양자화 설정의 비트 전송률을 결정한 다음, 데드 존 양자화기 또는 데이터 종속 균일 양자화기를 사용하여 데이터를 양자화한다.

• '''엔트로피 코딩:''' JPEG XS는 양자화된 데이터에 대해 최소한의 엔트로피 부호화를 사용하며, 이는 양자화된 웨이블릿 계수의 수평선에 대해 최대 4번의 패스로 진행된다. 단계는 다음과 같다.

• '''유의성 코딩''': (선택 사항) 첫 번째 패스에서 32개의 연속적인 웨이블릿 계수의 유의성이 단일 비트로 코딩된다.
• '''비트플레인 카운트 코딩''': 두 번째 패스에서 각 4개의 계수 그룹, 소위 "비트플레인 카운트"의 0이 아닌 비트플레인 수는 골롬 부호화 유형 코드를 통해 엔트로피 코딩된다. 이 단계는 선택적으로 이전 행의 비트플레인 카운트를 예측(차분 펄스 부호 변조)의 소스로 사용한 다음 예측 차이만 인코딩할 수 있다.
• '''데이터 코딩''': 세 번째 패스는 추가 코딩 없이 원시 비트플레인 값을 코드 스트림에 삽입한다.
• '''부호 코딩''': 마지막 선택적 코딩 패스에서 0이 아닌 모든 계수의 부호 비트가 코드 스트림에 삽입된다. 이 코딩 패스가 없으면 부호 비트는 모든 계수에 대한 데이터 코딩 패스에 포함된다.

• '''코드 스트림 패킹''': 모든 엔트로피 코딩된 데이터는 필요한 모든 이미지 메타데이터와 함께 비트의 선형 스트림(바이트 배수로 그룹화됨)으로 패킹된다. 이 일련의 바이트를 코드 스트림이라고 하며, 코드 스트림의 상위 수준 구문은 일반적인 JPEG 마커 및 마커 세그먼트 구문을 기반으로 한다.^[29]

5. 2. 프로필, 레벨 및 하위 레벨

JPEG XS는 또한 준수 디코더가 디코딩된 이미지 영역(공간 영역이라고도 함)에서 지원해야 하는 필수 처리량의 하한을 나타내는 레벨을 정의한다. 다음 표는 JPEG XS에 정의된 레벨을 보여준다. 최댓값은 샘플링 그리드의 맥락에서 주어지므로, 각 픽셀은 하나 이상의 구성 요소 값을 나타내는 픽셀당 값을 참조한다. 그러나 베이어 데이터의 경우 JPEG XS는 베이어 패턴을 4개 구성 요소의 인터리브 그리드로 내부적으로 해석한다. 즉, 베이어 이미지를 나타내는 데 필요한 샘플링 그리드 점의 수는 베이어 샘플 점의 총 개수보다 4배 적다. 2x2(4개) 베이어 값의 각 그룹은 4개의 구성 요소를 가진 하나의 샘플링 그리드 점으로 해석된다. 따라서 센서 해상도는 각 너비, 높이 및 샘플링 그리드 점의 양을 계산하기 위해 4로 나누어야 한다. 이러한 이유로 모든 레벨은 이중 이름을 갖는다. 각 레벨의 전체 사양은 표준을 참조해야 한다.

레벨 개념과 유사하게, JPEG XS는 준수 디코더가 인코딩된 이미지 영역에서 지원해야 하는 필수 처리량의 하한을 나타내기 위해 하위 레벨을 정의한다. 각 하위 레벨은 선택한 준수 레벨에 따라 최대 허용 샘플링 그리드 점 수에 대한 인코딩된 이미지의 최대 비트 수를 나타내는 공칭 픽셀당 비트(Nbpp) 값으로 정의된다. 따라서 특정 레벨 및 하위 레벨을 준수하는 디코더는 Nbpp에서 파생된 다음 제약 조건을 준수해야 한다.

• 바이트 단위의 최대 코드 스트림 크기(SOC에서 EOC까지, 모든 마커 포함)는 $S\_\{sl,max\}=\backslash bigg\backslash lfloor\; \backslash frac\{L\_\{max\}\backslash times\; N\_\{bpp\}\}\{8\}\; \backslash bigg\backslash rfloor$이다.
• 초당 최대 허용 인코딩 처리량은 $R\_\{t,max\}=R\_\{s,max\}\; \backslash times\; N\_\{bpp\}$이다.

6. 역사

JPEG 위원회는 2016년 고성능, 저복잡도 이미지 코딩 표준에 대한 공개 제안과 함께 표준화 활동을 시작했다. 가장 성능이 뛰어난 후보 기술은 intoPIX와 프라운호퍼 IIS에서 나왔으며, 새로운 표준의 기반을 형성했다. 최초의 구현은 2018년 4월 NAB 쇼에서 시연되었으며, 그해 말 국제 방송 컨벤션에서도 시연되었다.^[25] XS는 2019년 CES에서도 발표되었다. JPEG XS는 합동 사진 전문가 그룹에 의해 ISO/IEC 21122로 공식 표준화되었으며, 2019년에 첫 번째 판이 발행되었다. 2022년에는 두 번째 판이 발행되어,^[26] 원시 CFA 베이어 콘텐츠의 직접 압축, 무손실 압축 및 4:2:0 색상 서브샘플링 지원이 추가되었다. 현재 JPEG 위원회는 XS의 추가 개선 작업을 활발히 진행하고 있으며, 2024년에는 세 번째 판이 발행되어 웨이블릿 영역에서 시간적 상관 제거 기술인 시간 차분 코딩(TDC)에 대한 지원을 추가했다.

7. 특허 및 RAND

JPEG XS는 특허 기술을 포함하고 있으며, 이는 JPEG XS 특허 포트폴리오 라이선스(JPEG XS PPL)를 통해 라이선스된다. 이 라이선스 풀은 ISO/IEC 21122 JPEG XS 비디오 코딩 표준을 구현하기 위한 라이선스 제공자가 소유한 필수 특허를 포함하며, RAND 조건으로 제공된다.^[30]

참조

_[1] 문서 https://www.iana.org[...] 2022-03
_[2] 뉴스 JPEG XS - the new low complexity codec standard for professional video production https://www.iis.frau[...] 2019-01-09
_[3] 웹사이트 Overview of JPEG XS https://jpeg.org/jpe[...] 2019-07-31
_[4] 뉴스 Le JPEG XS, futur standard de compression pour la réalité virtuelle https://geeko.lesoir[...] 2018-04-19
_[5] 뉴스 Le nouveau standard JPEG XS est belge https://geeko.lesoir[...] 2019-01-10
_[6] 논문 "JPEG-XS -- A High-Quality Mezzanine Image Codec for Video Over IP," in SMPTE Motion Imaging Journal, vol. 127, no. 9, pp. 39-49, Oct. 2018 https://web.archive.[...] 2018-10
_[7] 웹사이트 Les belges d'intoPIX révolutionnent la compression d'image et de vidéo avec la nouvelle norme JPEG XS https://www.tinynews[...] 2019-01-10
_[8] 간행물 A new JPEG format for virtual reality, drones and self-driving cars https://actu.epfl.ch[...] 2018-09-04
_[9] 웹사이트 Introduction to JPEG XS https://www.ibc.org/[...]
_[10] 웹사이트 JPEG White paper: JPEG XS, a new standard for visually lossless low-latency lightweight image coding system http://ds.jpeg.org/w[...]
_[11] 서적 2017 IEEE International Symposium on Multimedia (ISM) 2017-12
_[12] 논문 "Bayer CFA Pattern Compression With JPEG XS," in IEEE Transactions on Image Processing, vol. 30, pp. 6557-6569, 2021 https://ieeexplore.i[...] 2021
_[13] 웹사이트 ISO/IEC 21122-2:2019 https://www.iso.org/[...] 2021-09-07
_[14] 웹사이트 ISO/IEC JTC 1/SC29/WG1 N100633, REQ "Use Cases and Requirements for JPEG XS v3.2" https://ds.jpeg.org/[...]
_[15] 간행물 Bayer CFA Pattern Compression With JPEG XS 2021
_[16] IETF RTP Payload Format for ISO/IEC 21122 (JPEG XS)
_[17] IETF RTP: A Transport Protocol for Real-Time Applications
_[18] 웹사이트 ISO/IEC 13818-1:2022 https://www.iso.org/[...]
_[19] 웹사이트 ISO/IEC 13818-1:2022/Amd 1:2023 https://www.iso.org/[...]
_[20] 문서 TR-07: Transport of JPEG XS Video in MPEG-2 TS over IP https://vsf.tv/downl[...]
_[21] 문서 TR-08: Transport of JPEG XS Video in ST 2110-22 https://vsf.tv/downl[...]
_[22] 문서 AMWA BCP-006-01: NMOS With JPEG XS https://specs.amwa.t[...]
_[23] 문서 TR-10-8:2023-Internet Protocol Media Experience (IPMX): NMOS Requirements - DRAFT https://vsf.tv/downl[...]
_[24] 문서 TR-10-11:2023-Internet Protocol Media Experience (IPMX): Constant Bit-Rate Compressed Video - DRAFT https://vsf.tv/downl[...]
_[25] 웹사이트 JPEG XS, le nouveau standard de compression made in UCLouvain https://uclouvain.be[...]
_[26] 논문 "JPEG XS--A New Standard for Visually Lossless Low-Latency Lightweight Image Coding," in Proceedings of the IEEE https://dial.uclouva[...]
_[27] 웹사이트 ISO/IEC 21122-1:2019 https://www.iso.org/[...] 2021-09-07
_[28] 간행물 JPEG XS—A New Standard for Visually Lossless Low-Latency Lightweight Image Coding https://ieeexplore.i[...] 2021-09
_[29] 웹사이트 codestream-parser https://github.com/t[...] 2022-06-16
_[30] 웹사이트 JPEG XS Patent Pool https://www.jpegxspo[...]
_[31] 뉴스 JPEG XS - the new low complexity codec standard for professional video production https://www.iis.frau[...] 2019-01-09
_[32] 웹인용 Overview of JPEG XS https://jpeg.org/jpe[...] 2019-07-31
_[33] 뉴스 Le JPEG XS, futur standard de compression pour la réalité virtuelle https://geeko.lesoir[...] 2018-04-19
_[34] 뉴스 Le nouveau standard JPEG XS est belge https://geeko.lesoir[...] 2019-01-10
_[35] 논문 "JPEG-XS -- A High-Quality Mezzanine Image Codec for Video Over IP," in SMPTE Motion Imaging Journal, vol. 127, no. 9, pp. 39-49, Oct. 2018 https://web.archive.[...] 2018-10
_[36] 웹인용 Les belges d'intoPIX révolutionnent la compression d'image et de vidéo avec la nouvelle norme JPEG XS https://www.tinynews[...] 2019-01-10
_[37] 인용 A new JPEG format for virtual reality, drones and self-driving cars https://actu.epfl.ch[...] 2018-09-04
_[38] 웹인용 Introduction to JPEG XS https://www.ibc.org/[...]
_[39] 논문 JPEG XS--A New Standard for Visually Lossless Low-Latency Lightweight Image Coding https://dial.uclouva[...] IEEE