맨위로가기

움직임 예측

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

움직임 예측은 컴퓨터 비전 및 이미지 처리 분야에서 두 이미지 또는 비디오 프레임 간의 움직임을 추정하는 기술을 의미하며, 광학 흐름, 영상 정합, 스테레오 대응과 관련이 있다. 움직임 예측은 픽셀 기반(직접 방법)과 특징 기반(간접 방법)으로 분류되며, 블록 정합 알고리즘, 위상 상관 관계, 코너 검출 등이 사용된다. 아핀 움직임 추정은 움직임을 아핀 변환으로 모델링하여 움직임을 추정한다. 움직임 예측은 비디오 코딩에서 움직임 보상에 활용되어 비디오 압축의 핵심적인 역할을 하며, 3차원 재구성 및 SLAM(동시적 위치 추정 및 지도 작성) 등 다양한 분야에 응용된다.

더 읽어볼만한 페이지

  • 운동 (물리학) - 운동량
    운동량은 물체의 질량과 속도의 곱으로 정의되는 벡터량으로, 외부 힘이 작용하지 않는 계에서는 보존되며, 충돌, 충격량, 질량 변화, 상대론, 해석역학, 전자기학, 양자역학 등 다양한 역학 분야에서 중요한 물리량으로 다뤄진다.
  • 운동 (물리학) - 탄성 충돌
    탄성 충돌은 두 물체가 충돌할 때 운동 에너지의 손실 없이 운동량이 보존되는 현상이며, 1차원, 상대론적, 2차원 충돌 등 다양한 형태로 분석된다.
  • 토막글 틀에 과도한 변수를 사용한 문서 - 전향
    전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다.
  • 토막글 틀에 과도한 변수를 사용한 문서 - 포토마스크
    포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다.
  • 토론 이름공간 토막글 - 전향
    전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다.
  • 토론 이름공간 토막글 - 포토마스크
    포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다.
움직임 예측
개요
분야비디오 압축
설명비디오 시퀀스에서 프레임 간의 움직임을 추정하는 프로세스
방법
블록 기반 움직임 추정 (Block-based motion estimation)블록 정합 알고리즘 (Block-matching algorithm)
계층적 움직임 추정 (Hierarchical motion estimation)
화소 기반 움직임 추정 (Pixel-based motion estimation)광학 흐름 (Optical flow)
차분 방법 (Differential method)
위상 상관 (Phase correlation)
응용
비디오 코덱MPEG
H.264/AVC
H.265/HEVC
기타 응용비디오 안정화 (Video stabilization)
객체 추적 (Object tracking)
동작 인식 (Gesture recognition)

2. 관련 용어

움직임 예측이라는 용어와 '''광학 흐름'''이라는 용어는 대개 상호 교환적으로 사용된다. 이는 또한 '''영상 정합''' 및 '''스테레오 대응'''과 개념적으로 관련이 있다.[1] 사실, 이 모든 용어는 두 이미지 또는 비디오 프레임 간의 대응점 찾기 과정을 지칭한다. 실제 장면이나 객체의 두 관점(이미지 또는 프레임)에서 서로 일치하는 점은 "일반적으로" 해당 장면 또는 객체의 동일한 점이다. 움직임 예측을 수행하기 전에, 두 이미지 점이 얼마나 유사한지에 대한 측정값인 일치 메트릭을 정의해야 한다.

3. 알고리즘

움직임 벡터를 찾는 방법은 크게 픽셀 기반 방법("직접 방법")과 특징 기반 방법("간접 방법")으로 분류할 수 있다. 이와 관련하여 상반된 두 진영에서 논쟁이 벌어졌고, 각 진영은 자신의 주장을 뒷받침하는 논문을 발표했다.[4][5]

H.264/MPEG-4 AVC 표준에서는 ''움직임 벡터''를 다음과 같이 정의한다.

> 움직임 벡터: 디코딩된 그림(프레임)의 좌표에서 참조 그림(프레임)의 좌표까지의 오프셋을 제공하는 인터 예측에 사용되는 2차원 벡터.[2][3]

움직임 예측을 수행하기 위해서는 두 이미지 점이 얼마나 유사한지를 나타내는 척도인 일치 메트릭을 정의해야 한다. 일치 메트릭의 선택은 일반적으로 최종적으로 추정된 움직임이 사용되는 목적, 그리고 추정 과정의 최적화 전략과 관련이 있다.

3. 1. 직접 방법 (Direct Methods)


  • 블록 정합 알고리즘
  • 위상 상관 관계 및 주파수 도메인 방법
  • 픽셀 재귀 알고리즘
  • 광학 흐름

3. 2. 간접 방법 (Indirect Methods)

간접적인 방법은 코너 검출과 같은 특징을 사용하여 프레임 간에 일치하는 특징을 비교하며, RANSAC와 같은 통계적 함수를 적용한다.[4][5] 통계적 함수의 목적은 실제 움직임에 해당하지 않는 일치를 제거하는 것이다.

3. 3. 분류에 대한 추가 설명

거의 모든 움직임 예측 방법은 일종의 매칭 기준 정의를 필요로 한다. 주요 차이점은 다음과 같다.

  • 특징 기반 방법: 먼저 지역 이미지 영역을 요약한 다음 요약을 비교한다.
  • 블록 기반 움직임 및 필터 기반 움직임: 먼저 각 픽셀을 비교한 다음(예: 차이 제곱) 지역 이미지 영역에 대해 요약한다.
  • 새로운 유형의 매칭 기준: 먼저 모든 픽셀 위치에 대해 지역 이미지 영역을 요약하고(예: 라플라스 변환과 같은 특징 변환), 각 요약된 픽셀을 비교한 다음 지역 이미지 영역에 대해 다시 요약한다.[6]


일부 매칭 기준은 좋은 매칭 점수를 생성하지만, 실제로는 서로 대응하지 않는 점을 제외하는 기능이 있다. 반면 다른 매칭 기준에는 이러한 기능이 없을 수 있다.[13]

4. 아핀 움직임 추정 (Affine Motion Estimation)

아핀 모션 추정은 컴퓨터 비전 및 이미지 처리에 사용되는 기술이다. 이는 움직임을 아핀 변환(이동 + 회전 + 확대/축소)으로 모델링할 수 있다고 가정하며, 이는 선형 변환 다음에 이동이 수행되는 방식이다.

5. 응용 분야

움직임 예측 및 보상 기술은 다음과 같은 다양한 분야에서 활용된다.


  • 비디오 코딩: 모션 보상은 움직임 벡터를 이미지에 적용하여 다음 이미지로의 변환을 합성하는 것이다.[7] 모션 추정과 보상은 비디오 압축의 중요한 부분이다.
  • SLAM: 움직이는 카메라의 이미지들을 사용하여 장면의 3D 모델을 재구성한다.[9][16]

5. 1. 비디오 코딩 (Video Coding)

모션 보상은 움직임 벡터를 이미지에 적용하여 다음 이미지로의 변환을 합성하는 것이다.[7] 코딩은 블록 단위로 실행되기 때문에 이산 코사인 변환(DCT) 기반의 Video coding format|비디오 코딩 형식영어에 가장 쉽게 적용할 수 있다.[15]

시간적 중복성을 활용하는 방법으로서, 모션 추정과 보상은 비디오 압축의 중요한 부분이다. 최신 HEVC를 포함하여 MPEG 시리즈와 같은 거의 모든 비디오 코딩 표준은 블록 기반 모션 추정과 보상을 사용한다.

5. 2. 3차원 재구성 (3D Reconstruction)

SLAM에서는, 움직이는 카메라의 이미지들을 사용하여 장면의 3D 모델을 재구성한다.[9][16]

5. 3. 기타 응용 분야

모션 보간을 사용한 비디오 프레임

참조

[1] 서적 Computer Vision and Robotics https://books.google[...] Nova Publishers
[2] 웹사이트 Latest working draft of H.264/MPEG-4 AVC http://www.stewe.org[...] 2008-02-29
[3] 웹사이트 Latest working draft of H.264/MPEG-4 AVC on hhi.fraunhofer.de. http://www.hhi.fraun[...]
[4] 논문 Feature Based Methods for Structure and Motion Estimation https://www.robots.o[...] 1999
[5] 논문 About Direct Methods https://web.archive.[...] 1999
[6] 논문 Motion Estimation Based on Mutual Information and Adaptive Multi-scale Thresholding https://ieeexplore.i[...] 2016-03
[7] 서적 Motion Estimation Algorithms for Video Compression https://books.google[...] Springer Science & Business Media 2012-12-06
[8] 서적 Understanding Digital Cinema: A Professional Handbook https://books.google[...] Taylor & Francis 2005
[9] 논문 Dense visual SLAM for RGB-D cameras http://citeseerx.ist[...] 2013
[10] 서적 Computer Vision and Robotics https://books.google[...] Nova Publishers
[11] 논문 Feature Based Methods for Structure and Motion Estimation https://www.robots.o[...] 1999
[12] 논문 About Direct Methods https://web.archive.[...] 1999
[13] 논문 Motion Estimation Based on Mutual Information and Adaptive Multi-scale Thresholding https://ieeexplore.i[...] 2016-03
[14] 서적 Motion Estimation Algorithms for Video Compression https://books.google[...] Springer Science & Business Media 2012-12-06
[15] 서적 Understanding Digital Cinema: A Professional Handbook https://books.google[...] Taylor & Francis 2005
[16] 논문 Dense visual SLAM for RGB-D cameras http://citeseerx.ist[...] 2013


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com