프레임 레이트

3. 영화 및 비디오

영화 및 비디오 분야에서 사용되는 프레임 레이트는 영상의 품질과 부드러움에 큰 영향을 미친다. 주요 프레임 레이트 표준은 다음과 같다.

• 60i (59.94i): NTSC 텔레비전 표준으로, DVD, 가정용 캠코더, 방송 신호에 사용된다. (60i 필드 = 29.97 프레임)
• 50i (25 프레임): PAL, SECAM 텔레비전 표준이다.
• 30p (30 프레임): 비월 주사 방식이 아닌 포맷으로, 1980년대 뮤직 비디오 산업에서 처음 사용되었다.
• 24p (24 프레임): 비월 주사 방식이 아닌 포맷으로, 비디오 신호를 필름으로 전송하는 데 사용된다.
• 25p (25 프레임): 50i PAL 텔레비전 표준에서 파생되었다.
• 60p (60 프레임): 고성능 HDTV 시스템에 사용되는 순차 주사 방식 포맷이다.
• 120p (120 프레임): 초고선명 텔레비전(UHDTV) 표준(Recommendation ITU-R BT.2020)이다.
• 300p (300 프레임): 스포츠 영상 등 움직임이 많은 영상을 위해 연구 중이며, HEVC 코덱의 상한 프레임 레이트이다.

4. 컴퓨터 게임

컴퓨터 비디오 게임에서 프레임 레이트는 중요한 역할을 한다. 영화와 달리 게임은 실시간으로 렌더링되기 때문이다. 초당 60프레임은 오랫동안 부드러운 애니메이션 게임 플레이를 위한 "최적" 프레임 속도로 여겨져 왔다.^[19] 그러나 하드웨어 성능, 표시되는 그래픽의 복잡도, 사용자에게 느껴지는 반응 시간 등 다양한 요소에 따라 달라지며, 플레이 중에도 프레임 레이트가 바뀌는 경우가 많다. 최초의 1인칭 슈팅 게임으로 여겨지는 《3D Monster Maze》은 초당 6프레임밖에 표시하지 못했다.

일부 게임은 그래픽 요소뿐 아니라 물체 간의 충돌 감지, 물리 엔진, 심지어 인공지능, 네트워크 요소 등 게임의 많은 요소가 프레임 레이트와 연동되어 동작한다.

6세대 비디오 게임 콘솔 이전, PAL 시장을 위해 설계된 비디오 게임은 50Hz 출력이기 때문에 설계상 더 낮은 프레임 속도를 가졌다. 이는 레이싱이나 격투 게임과 같은 빠르게 진행되는 게임의 실행 속도를 눈에 띄게 느리게 만들었다.^[20]

기술 혁신이 진행되면서 각 기기에서 60fps 이상의 동영상 제작 및 재생이 가능해지고 있다. iPhone 13 Pro 등의 화면에서 120fps를 지원한다.

5. 프레임 레이트 업 컨버전

프레임 레이트 업 컨버전(Frame Rate Up-Conversion, FRC)은 두 개의 연속적인 프레임 사이에 하나 이상의 중간 프레임을 합성하여 비디오 시퀀스의 시간 해상도를 높이는 과정이다. 낮은 프레임 레이트는 앨리어싱을 유발하고, 갑작스러운 움직임 아티팩트를 발생시키며, 비디오 품질을 저하시킨다. 결과적으로 시간 해상도는 비디오 품질에 영향을 미치는 중요한 요소이다. FRC 알고리즘은 시각적 품질 향상, 비디오 압축 및 슬로우 모션 비디오 생성 등 다양한 응용 분야에서 널리 사용된다.

6. 관련 기술 및 동향

MPEG4/AVC 등에서는 이론적으로 30fps, 60fps 제작이 가능하지만, 대응 기기와의 NTSC 호환 등을 무시한 사양이 된다. 기술 혁신이 진행되면서 각 기기에서 60fps 이상의 동영상 제작 및 재생이 가능해지고 있다. iPhone 13 Pro 등에서는 더욱 현실에 가까운 120fps 프레임 레이트로 화면을 조작할 수 있게 되어, 주로 게임용으로 사용된다.

프레임 레이트 업 컨버전(FRC)은 두 개의 연속적인 프레임 사이에 하나 이상의 중간 프레임을 합성하여 비디오 시퀀스의 시간 해상도를 높이는 과정이다. 낮은 프레임 레이트는 앨리어싱을 유발하고, 갑작스러운 움직임 아티팩트를 발생시키며, 비디오 품질을 저하시키기 때문에 시간 해상도는 비디오 품질에 영향을 미치는 중요한 요소이다. FRC 알고리즘은 시각적 품질 향상, 비디오 압축 및 슬로우 모션 비디오 생성 등 다양한 응용 분야에서 널리 사용된다.

대부분의 FRC 기법은 광학 흐름 또는 커널 기반^[21][22]과 픽셀 환각 기반 기법으로 분류할 수 있다.^[23][24]

• 흐름 기반 방식: 두 입력 프레임 간의 예측된 광학 흐름을 선형적으로 결합하여 대상 중간 프레임에서 입력 프레임으로의 흐름을 근사화한다. 또한, 더 정확한 이미지 워핑을 위해 흐름 반전(투영)을 제안하며, 흐름 투영 계층을 통해 장면의 피사계 심도에 따라 겹치는 흐름 벡터에 서로 다른 가중치를 부여하는 알고리즘도 있다.
• 픽셀 환각 기반 방법: 변형 컨볼루션(deformable convolution)을 사용하여 옵티컬 플로우를 오프셋 벡터로 대체하여 중앙 프레임 생성기를 생성한다. 변형 컨볼루션을 사용하여 중간 프레임을 특징 영역에서 보간하는 알고리즘도 있다. 그러나 이러한 방법은 플로우 기반 FRC 방법과 달리 픽셀을 직접 환각하기 때문에, 빠르게 움직이는 객체가 존재할 경우 예측된 프레임이 모션 블러(흐릿함)이 나타나는 경향이 있다.

참조

_[1] 웹사이트 What is Frame Rate and Why is it Important to PC Gaming? https://www.nvidia.c[...] 2019-12-03
_[2] 서적 Restoration of motion picture film https://books.google[...] Butterworth-Heinemann
_[3] 간행물 Humans perceive flicker artefacts at 500 Hz
_[4] 학술지 Detecting meaning in RSVP at 13 ms per picture https://dspace.mit.e[...] 2013-12-28
_[5] 학술지 Conservation of temporal information by perceptual systems
_[6] 서적 The Oxford Handbook of Film Music Studies Oxford University Press
_[7] 서적 Silent Clowns https://archive.org/[...] Knopf
_[8] 서적 Seductive cinema: the art of silent film https://archive.org/[...] Knopf
_[9] 학술지 Silent Films: What Was the Right Speed? http://www.cinemaweb[...] 2012-05-02
_[10] 서적 Early cinema: space, frame, narrative BFI Publishing
_[11] 간행물 How 24 FPS Became Standard https://www.youtube.[...] 2017-03-31
_[12] 웹사이트 What Are Ones, Twos, and Threes in Animation? https://www.lifewire[...] Lifewire 2018-08-08
_[13] 서적 Timing for animation https://books.google[...] Elsevier/Focal Press 2018-08-08
_[14] 웹사이트 Shot on threes (ones, twos, etc.) https://www.animenew[...]
_[15] 웹사이트 CLIP STUDIO PAINT アニメーション機能の使い方 https://www.youtube.[...] 2016-02-12
_[16] 간행물 High Frame-Rate Television http://downloads.bbc[...] BBC White Paper WHP 169 2008-09
_[17] 간행물 James Cameron's 'Avatar' sequels will stick to 48 frames per second https://www.engadget[...] 2017-04-15
_[18] 웹사이트 What is Frame Rate and Why is it Important to PC Gaming? https://www.hp.com/u[...] 2021-08-05
_[19] 뉴스 I used to be a frame rate snob but owning a Steam Deck has made me realise the error of my ways https://www.pcgamer.[...] 2024-10-01
_[20] 웹사이트 PlayStation Classic review: the games are great but the emulation is really poor https://www.eurogame[...] 2024-10-01
_[21] 학술대회 Video frame interpolation via adaptive separable convolution ICCV
_[22] 학술대회 Super slomo: High quality estimation of multiple intermediate frames for video interpolation ICCV
_[23] 학술대회 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) IEEE
_[24] 학술지 Channel Attention is All You Need for Video Frame Interpolation AAAI
_[25] 웹사이트 動画のフレームレート（fps）の使い分けは？ https://digitalcamer[...] 富士フイルム 2022-01-03
_[26] 웹사이트 『THE FIRST SLAM DUNK』井上雄彦監督と試行錯誤した演出家が明かす、山王戦の没入感「桜木らしく見せるのもテーマ」｜最新の映画ニュースならMOVIE WALKER PRESS https://moviewalker.[...] 2024-12-01
_[27] 웹사이트 フレームレート（fps）とは？動画別のおすすめ設定を解説 https://canon.jp/bus[...] 2022-03-14
_[28] 웹사이트 4K高画質処理 {{!}} ブルーレイ・DVDレコーダー https://panasonic.jp[...] 2024-09-05
_[29] 웹사이트 第２回 アニメの「コマ打ち」とは何か――井上俊之が語る「コマ打ち」の特性 https://www.filmart.[...] 2024-11-21