비디오 품질

3. 객관적 비디오 품질

객관적 비디오 품질 모델은 인간 관찰자가 비디오 품질을 평가하는 주관적 비디오 품질 평가 결과를 근사하는 수학 모델이다.^[1] 이러한 모델은 네트워크 패킷 손실률, 비디오 코딩 매개변수 등 다양한 변수를 고려하여 주관적 품질 평가 결과를 예측한다. 모델은 소프트웨어 또는 전자 하드웨어로 구현된 복잡한 알고리즘일 수도 있다.

디지털 비디오 시스템은 아날로그 시스템을 거의 완전히 대체했으며, 이에 따라 품질 평가 방법도 변경되었다. 디지털 비디오 처리 및 전송 시스템의 성능은 입력 비디오 신호의 특성, 인코딩 및 전송 설정, 채널 충실도 또는 네트워크 등 많은 요소에 따라 달라질 수 있다.

3. 1. 용어

3. 2. 객관적 비디오 품질 모델 분류

• '''전체 참조 방법 (FR):''' 원본 비디오 신호와 수신된 비디오 신호를 비교하여 품질 차이를 계산한다.
• '''축소 참조 방법 (RR):''' 두 비디오의 일부 특징을 추출하여 비교함으로써 품질 점수를 제공한다.
• '''무참조 방법 (NR):''' 원본 신호에 대한 참조 없이 왜곡된 비디오의 품질을 평가한다.
• '''픽셀 기반 방법 (NR-P):''' 신호의 디코딩된 표현을 사용하여 픽셀 정보를 기반으로 품질을 분석한다.
• '''파라미터/비트스트림 방법 (NR-B):''' MPEG-TS 패킷 헤더, 동영상 벡터 및 양자화 매개변수와 같은 전송 컨테이너 및/또는 비디오 비트스트림에서 추출된 기능을 사용한다.
• '''하이브리드 방법 (하이브리드 NR-P-B):''' 비트스트림에서 추출한 매개변수와 디코딩된 비디오 신호를 결합한다.

3. 2. 1. 전체 참조 방법 (FR)

3. 2. 2. 축소 참조 방법 (RR)

3. 2. 3. 무참조 방법 (NR)

• 픽셀 기반 방법 (NR-P): 픽셀 기반 모델은 신호의 디코딩된 표현을 사용하여 픽셀 정보를 기반으로 품질을 분석한다. 이 중 일부는 흐림 또는 기타 코딩 인공물과 같은 특정 저하 유형만 평가한다.
• 파라미터/비트스트림 방법 (NR-B): 이러한 모델은 MPEG-TS 패킷 헤더, 동영상 벡터 및 양자화 매개변수와 같은 전송 컨테이너 및/또는 비디오 비트스트림에서 추출된 기능을 사용한다. 원래 신호에 접근할 수 없으며 비디오의 디코딩이 필요하지 않아 효율성이 향상된다. NR-P 모델과 달리 최종 디코딩된 신호에 접근할 수 없다. 어떤 경우에는 비트스트림 기반 메트릭의 예측 정확도가 참조 없이 전체 참조에 도달할 수 있다.^[6]
• 하이브리드 방법 (하이브리드 NR-P-B): 하이브리드 모델은 비트스트림에서 추출한 매개변수와 디코딩된 비디오 신호를 결합한다.^[7] 따라서 NR-P 및 NR-B 모델의 혼합이다.

3. 3. 화질 모델을 이용한 비디오 품질 추정

3. 4. 비디오 품질 아티팩트

• '''공간적 아티팩트:''' 블러링, 블로킹, 링잉, 색상 번짐, 계단 노이즈 등이 있다.
• '''시간적 아티팩트:''' 플리커링, 모스키토 노이즈, 플로팅, 저키니스 등이 있다.

3. 4. 1. 공간적

• '''블러링(Blurring)''' — 일반적으로 날카로운 가장자리에서 발생하는 고주파수 이미지 세부 정보 손실의 결과이다.
• '''블로킹(Blocking)''' — 블록 크기가 8, 16 또는 32인 이미지의 내부 표현 때문에 여러 알고리즘에 의해 발생한다. 특정 매개변수를 사용하면 블록 내부의 픽셀을 평균화하여 블록을 구별할 수 있다.
• '''링잉(Ringing)''' — 에코 또는 고스팅이라고도 하며, 날카로운 가장자리 근처에 "후광", 띠 또는 "고스트" 형태로 나타난다.
• '''색상 번짐''' — 이미지에서 한 색상의 가장자리가 의도치 않게 다른 색상으로 번지거나 겹칠 때 발생한다.
• '''계단 노이즈''' — 대각선 또는 곡선 가장자리를 따라 나타나는 블로킹의 특수한 경우이다. 부드럽게 렌더링되기보다는 계단 모양으로 나타난다.

3. 4. 2. 시간적

• '''플리커링(Flickering)'''은 일반적으로 시간 차원에서 밝기나 색상이 자주 변하는 현상이다. 세분화된 플리커링과 거친 플리커링으로 구분하기도 한다.
• '''모스키토 노이즈'''는 플리커링의 변형으로, 고주파수 콘텐츠(전경과 배경 사이 또는 딱딱한 가장자리 사이의 날카로운 전환) 주변에 흐릿함 및/또는 반짝임으로 나타난다.
• '''플로팅(Floating)'''은 주변 영역은 정지된 상태로 유지되는 동안 특정 영역에서 환영적인 움직임을 나타낸다. 시각적으로 이러한 영역은 주변 배경 위에 떠 있는 것처럼 보인다.
• '''저키니스(Jerkiness)''' 또는 저더(judder)는 프레임 샘플링으로 인해 움직임이 고르지 않거나 흔들리는 것처럼 인식되는 현상이다. 24 fps 영화를 30 또는 60 fps 비디오 형식으로 변환할 때 발생하는 경우가 많다.

3. 5. 비디오 품질 지표 예시

3. 6. 훈련 및 성능 평가

3. 7. 객관적 모델의 활용

4. 주관적 비디오 품질

ITU-R 권고 [http://www.itu.int/rec/R-REC-BT.500/en BT.500] 및 ITU-T 권고 [https://www.itu.int/rec/T-REC-P.910/en P.910]에는 주관적 비디오 품질 측정 절차가 설명되어 있다.^[1] 이러한 테스트에서는 비디오 시퀀스를 시청자 그룹에게 보여준다. 각 비디오 시퀀스의 품질은 시청자의 의견을 기록하고 평균 의견 점수로 평균화하여 평가한다. 테스트 절차는 어떤 종류의 시스템을 테스트하느냐에 따라 달라질 수 있다.

5. 비디오 품질 평가 도구

FFmpeg, MSU VQMT, EPFL VQMT, OpenVQ, Elecard, AviSynth, VQ Probe, vmaf.dev 등 다양한 도구가 있다.

참조

_[1] 웹사이트 Objective video quality assessment methods for Video assistant refereeing (VAR) System https://www.diva-por[...]
_[2] 서적 Speech quality of VoIP : assessment and prediction Wiley 2006
_[3] 서적 Assessment and Prediction of Speech Quality in Telecommunications Springer US 2000
_[4] 서적 Quality of Experience Springer, Cham 2014
_[5] 논문 No-reference image and video quality assessment: a classification and review of recent approaches 2014-08-14
_[6] arXiv A Subjective Dataset for Multi-Screen Video Streaming Applications 2023
_[7] 논문 Real-time Objective Quality Assessment based on Coding Parameters Extracted from H.264/AVC Bitstream https://www.research[...]
_[8] 논문 Image quality assessment: from error visibility to structural similarity 2004-04-01
_[9] 논문 Motion Tuned Spatio-Temporal Quality Assessment of Natural Videos 2010-02-01
_[10] 간행물 vmaf: Perceptual video quality assessment based on multi-method fusion https://github.com/N[...] Netflix, Inc. 2017-07-14
_[11] 웹사이트 Description of Video Quality Metric (VQM) Software - ITS https://its.ntia.gov[...] 2023-07-12
_[12] 논문 Reduced-reference video quality assessment using a static video pattern 2016-07
_[13] 논문 Video Quality Assessment by Reduced Reference Spatio-Temporal Entropic Differencing 2013-04-04
_[14] 논문 Multi-Model Standard for Bitstream-, Pixel-Based and Hybrid Video Quality Assessment of UHD/4K: ITU-T P.1204 https://ieeexplore.i[...] 2020
_[15] 논문 Making a "Completely Blind" Image Quality Analyzer 2013-03
_[16] 서적 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR) 2011-11-09
_[17] 논문 Blind Prediction of Natural Video Quality 2014-03
_[18] 논문 Visual quality assessment: recent developments, coding applications and future trends 2013
_[19] 웹사이트 Toward A Practical Perceptual Video Quality Metric 2016-06-06
_[20] 웹사이트 VMAF: The Journey Continues https://medium.com/n[...] 2018-10-26
_[21] 웹사이트 Per-Scene Adaptation: Going Beyond Bitrate https://bitmovin.com[...] 2018-01-05
_[22] 논문 Quantified PQoS assessment based on fast estimation of the spatial and temporal activity level 2007-09-01