모션 캡처
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
모션 캡처는 물체의 움직임을 디지털 데이터로 변환하는 기술로, CG 영상의 현실감을 높이기 위해 개발되었다. 1970년대 생체역학 연구에서 시작하여 1980년대부터 영화, 비디오 게임 등으로 활용되었으며, 센서 부착 방식에서 마커리스 방식으로 발전했다. 광학식, 관성 센서식, 기계식, 자기식 등 다양한 캡처 방식이 있으며, 비디오 방식도 사용된다. 모션 캡처는 비디오 게임, 영화, 로봇 공학, 의료, 가상현실 등 다양한 분야에 응용되며, 실시간 애니메이션 제작, 비용 절감, 물리적 정확성 재현 등의 장점을 갖지만, 장비 및 소프트웨어 비용, 공간 제약, 물리 법칙에 따른 제한 등의 단점도 있다. 관련 기술로는 얼굴 모션 캡처, 3차원 자세 추정, 무선 주파수 위치 시스템 등이 있다.
더 읽어볼만한 페이지
- 컴퓨터 애니메이션 - 트랜스포머 프라임
사이버트론 멸망 후 지구에서 옵티머스 프라임이 이끄는 오토봇이 메가트론의 디셉티콘과 인간 조직 M.E.C.H.에 맞서 싸우며 에너존 확보와 사이버트론의 비밀을 두고 갈등하는 미국 애니메이션 시리즈이다. - 컴퓨터 애니메이션 - 또봇: 대도시의 영웅들
또봇: 대도시의 영웅들은 영실업과 레트로봇이 제작한 3D 로봇 애니메이션으로, 또봇들과 파일럿들이 악당에 맞서 싸우며 성장하는 이야기를 그리고 있으며, 시즌 1에서는 또봇 X, Y, Z가 카사장 일당에, 시즌 2에서는 대온과 또봇 A가 닥터 M에, 시즌 3에서는 젤리피쉬 갱단에 맞선다. - 3차원 컴퓨터 그래픽스 - 픽셀 셰이더
픽셀 셰이더는 렌더링 과정에서 픽셀의 색상을 계산하여 최종 모습을 결정하며, 텍스처, 빛, 그림자 등의 시각 효과를 구현하고, 다양한 언어로 프로그래밍되며, 그래픽 카드 및 칩셋은 지원하는 버전을 가진다. - 3차원 컴퓨터 그래픽스 - 엔비디아 RTX
엔비디아 RTX는 레이 트레이싱, AI 통합, CUDA를 포함한 엔비디아의 기술로, 지포스 RTX 및 RTX 시리즈 GPU에서 텐서 코어를 활용하여 DLSS와 같은 AI 기반 기술로 이미지 품질을 향상시키고 현실감 있는 그래픽을 구현하는 데 기여한다.
| 모션 캡처 |
|---|
2. 역사
모션 캡처는 1970년대 생체역학 연구에서 광도계 분석으로 시작되었으며, 1980년대에는 텔레비전, 영화, 비디오 게임 등으로 활용 범위가 확대되었다. 20세기 이후 배우는 각 관절 근처에 마커를 착용하여 마커 사이의 위치나 각도로 움직임을 식별했고, 음향, 관성, LED, 자기 또는 반사 마커를 조합하여 원하는 운동의 주파수 속도의 최소 두 배 이상으로 추적하였다. 공간 분해능(해상도)과 시간 분해능(해상도)이 개발되었고, 대부분의 현대 시스템은 배경에서 배우의 관절 각을 수학적 실루엣에 맞추어 계산하게 되었다.
모션 캡처는 크게 광학식, 관성식, 기계식, 자기식, 비디오 방식 시스템으로 분류할 수 있다. 각 시스템은 장단점을 가지고 있으며, 활용 분야와 환경에 따라 적합한 시스템을 선택해야 한다.
캡처 기술에는 광학식, 관성 센서식, 기계식, 자기식 등이 있으며, 각각 장점과 단점이 있다. 광학식은 이미지식, 적외선식 등 여러 기법으로 분류할 수 있다. 대부분의 경우, 물체에 부착하는 마커와 이를 감지하는 트래커를 조합하여 캡처하므로, 동일한 방식이라면 마커의 수가 정밀도의 한 요인이 된다. 트래커는 초당 추적할 수 있는 프레임 수가 정밀도에 영향을 미친다. 또한 트래커는 설치가 필요한 경우, 시스템의 사용 가능한 범위를 제한한다.
3. 방법 및 시스템
3. 1. 광학 시스템
광학 시스템은 이미지 센서에서 캡처한 데이터를 사용하여, 보정된 두 대 이상의 카메라에서 대상의 3D 위치를 삼각측량하여 겹치는 투영을 제공한다. 데이터 획득은 원래 연기자에게 부착된 특수 마커를 사용하여 구현되었지만, 최근의 시스템은 각각 동적으로 식별된 표면 기능을 추적함으로써 정확한 데이터를 생성할 수 있게 되었다. 많은 수의 배우들을 추적하거나, 캡처 영역을 확대하는 것은 카메라의 수를 늘리는 것으로 해결되었다. 최신 하이브리드 시스템은 관성 센서와 광학 센서를 결합하여 폐색을 줄이고, 사용자 수를 증가시키며, 데이터를 수동으로 정리하지 않고도 추적 기능을 개선한다.[35]
광학 시스템의 중요한 부분인 수중 카메라는 방수 하우징을 가지고 있다. 이 하우징은 부식과 염소에 강한 마감 처리가 되어 있어 수영장 및 풀장에서 사용하기에 적합하다. 카메라는 산업용 고속 카메라(적외선 카메라로도 사용 가능)와 적외선 수중 카메라(전형적인 IR 광선 대신 시안색 스트로보 광선을 사용하여 수중에서의 광선 감쇠를 최소화) 두 가지 유형이 있으며, LED 광선 또는 이미지 프로세싱 옵션이 있는 고속 카메라가 제공된다.
광학식은 여러 대의 카메라와 반사 마커를 트래커로 사용하여 촬영 및 측정 공간 주변에 카메라를 설치하여 사용한다. 이 때문에 비교적 넓은 범위가 필요하며, 전용 스튜디오나 대학·연구기관에서 사용하는 경우가 많다. 또한 마커가 가려지는 경우에는 소프트웨어적으로 자동 보정이 이루어지는 경우가 많다.
; 키넥트
: Xbox 360의 주변 기기로 해외에서 출시된 키넥트는 RGB 카메라, 깊이 센서, 멀티 어레이 마이크 및 전용 소프트웨어를 작동시키는 프로세서를 내장한 센서를 사용하여 플레이어의 위치와 움직임, 목소리, 얼굴을 인식한다. 모션 캡처 시에 착용하는 특수한 수트(마커)와 마커 검출 시에 사용하는 트래커가 불필요하며, 피사체를 비추는 것만으로 사람에서 키넥트까지의 거리를 측정하고, 그 사람의 크기와 골격의 다양한 움직임을 검출, 그리고 게임 중의 캐릭터와 플레이어의 움직임을 합성하여 조작하는 형태이다.
: 수트나 트래커가 불필요하면서도 1만 엔대1만 엔대일본어로 저렴하며, 전용 시스템 정도의 정밀도는 나오지 않지만 실용 수준의 성능이 확보되어 있어, 연구 분야에서는 예산이 적은 경우 대체품으로 이용되고 있다.
3. 1. 1. 패시브 마커
패시브 마커 시스템은 카메라 렌즈 근처에서 생성되는 빛을 반사하기 위해 역반사 물질로 덮인 마커를 사용한다. 마커의 중심은 포착된 2차원 영상 내의 위치로 추정된다. 각 픽셀의 흑백 값은 가우스 중심을 찾음으로써 부분 픽셀 정확도를 제공한다.[36] 알려진 위치에 마커가 부착된 물체를 사용하여 카메라를 보정하고 각 카메라의 렌즈 변형을 측정한다. 보정된 카메라 두 대가 마커를 인식하면 3차원 고정 장치를 얻을 수 있다. 일반적으로 시스템은 약 2-48개의 카메라로 구성되며, 마커 교환을 줄이기 위해 300개 이상의 카메라 시스템도 존재한다. 포착 대상과 여러 대상 주변을 완전하게 포착하려면 추가 카메라가 필요하다.[36]
공급 업체는 마커 교환 문제를 줄이기 위해 소프트웨어를 제한한다. 액티브 마커 시스템이나 마그네틱 시스템과 달리, 패시브 마커 시스템은 사용자가 전선이나 전자 장비를 착용할 필요가 없다.[36] 대신, 수백 개의 고무공에 반사 테이프를 부착하여 주기적으로 교체한다. 마커는 일반적으로 피부에 직접 부착하거나 모션 캡처용으로 특별히 고안된 전신 스판덱스 수트에 접착된다. 패시브 마커 시스템은 분해능을 낮추고 10000fps까지 추적할 수 있는 관심 영역을 추적하는 경우를 제외하면, 약 120~160fps의 프레임 속도로 대량의 마커를 캡처할 수 있다.[36]
3. 1. 2. 액티브 마커
액티브 마커 시스템은 마커 자체가 빛을 발산하는 방식이다. 외부에서 빛을 반사하는 대신, 마커에 전원을 공급하여 스스로 빛을 내게 한다. 역제곱 법칙에 따라 거리가 두 배가 되면 전력이 4분의 1로 감소하므로, 캡처 거리와 볼륨을 늘릴 수 있다.[1] 또한 신호 대 잡음비를 높여 마커의 흔들림을 줄이고 측정 분해능(해상도)을 높일 수 있다. 보정된 공간 내에서는 0.1mm까지 정밀한 측정이 가능하다.[2]
컬러 LED 마커를 사용하면 각 색상을 신체의 특정 지점에 할당하여 위치를 찾을 수 있다.[3] 1980년대 초기의 액티브 마커 시스템 중 하나는 회전 거울과 유색 유리 반사 마커를 갖춘 하이브리드 수동-능동 모션 캡처 시스템이었다.[4]
액티브 마커 시스템은 한 번에 하나의 LED를 매우 빠르게 점등하거나, 소프트웨어를 통해 여러 LED를 식별하여 위치를 삼각측량한다. 이는 천체 항법과 유사하다.[5] 시간이 지남에 따라 여러 마커를 추적하고 진폭 또는 펄스 폭을 변조하여 마커 ID를 제공하는 방식으로 더욱 발전했다. 12 메가픽셀 공간 해상도 변조 시스템은 4 메가픽셀 광학 시스템보다 더 미세한 움직임을 포착할 수 있다.[6] 고유한 마커 ID는 마커 교체를 줄이고, 온보드 프로세싱 및 무선 동기화를 갖춘 LED는 고속 전자 셔터 덕분에 직사광선에서도 야외 모션 캡처를 가능하게 한다.[7]
3. 1. 3. 마커리스 (Markerless)
컴퓨터 비전 분야의 새로운 기술과 연구는 마커리스 모션 캡처 방식의 급속한 발전을 이끌고 있다. 스탠퍼드 대학교, 메릴랜드 대학교, MIT, 막스 플랑크 연구소 등에서 개발된 마커리스 시스템은 추적을 위해 대상이 특수 장비를 착용할 필요가 없다.[37] 특수한 컴퓨터 알고리즘은 여러 개의 광학 입력 스트림을 분석하여 사람의 형태를 식별하고, 이를 구성 요소로 분해하여 추적할 수 있도록 설계되었다.
전통적으로 마커가 없는 광학 모션 추적은 항공기, 발사체, 미사일, 인공위성을 포함한 다양한 물체를 추적하는 데 사용된다. 이러한 광학 모션 추적 응용 프로그램 중 다수는 실외에서 발생하며, 서로 다른 렌즈와 카메라 구성을 필요로 한다. 따라서 추적되는 대상의 고해상도 이미지는 단순히 모션 데이터보다 더 많은 정보를 제공할 수 있다. 우주왕복선 챌린저호의 치명적인 발사에 대한 미국 항공 우주국(NASA)의 장거리 추적 시스템에서 얻은 이미지는 사고 원인에 대한 중요한 증거를 제공했다. 광학 추적 시스템은 또한 레이더에 비해 물체가 충분한 빛을 반사하거나 방출해야 한다는 단점이 있음에도 불구하고 알려진 우주선과 우주 파편을 식별하는 데 사용된다.[37]
광학 추적 시스템은 일반적으로 세 가지 하위 시스템, 즉 광학 이미징 시스템, 기계식 추적 플랫폼 및 추적 컴퓨터로 구성된다.
| 시스템 구성 요소 | 설명 |
|---|---|
| 광학 이미징 시스템 | 대상 영역에서 나오는 빛을 추적 컴퓨터가 처리할 수 있는 디지털 이미지로 변환한다. 표준 디지털 카메라부터 산꼭대기 천문 망원경까지 다양하게 구성될 수 있으며, 사양에 따라 추적 시스템의 유효 범위가 결정된다. |
| 기계식 추적 플랫폼 | 광학 이미징 시스템을 잡아주고 항상 추적 중인 대상을 가리키도록 조작한다. 광학 이미징 시스템과 결합하여 속도가 빠르게 변하는 대상에 대한 추적 시스템의 잠금 유지 능력을 결정한다. |
| 추적 컴퓨터 | 광학 이미징 시스템에서 이미지를 캡처하고, 이미지에서 대상을 추출하여 위치를 계산하며, 기계식 추적 플랫폼을 제어하여 대상을 추적한다. |
추적 컴퓨터는 높은 프레임 속도로 이미지를 캡처하고, 이미지 처리 소프트웨어를 통해 대상 이미지를 배경에서 추출하여 위치를 계산해야 한다. 또한, 컨트롤러를 설계하여 추적 플랫폼을 제어해야 한다.
이러한 시스템을 실행하는 소프트웨어는 해당 하드웨어 구성 요소에 맞게 사용자 지정된다. 이러한 소프트웨어의 한 예는 OpticTracker로, 비행기 및 위성과 같이 먼 거리에서 움직이는 물체를 추적하기 위해 컴퓨터화된 망원경을 제어한다.
키넥트와 같은 RGB-D 카메라는 색상 이미지와 깊이 이미지를 모두 캡처한다. 두 이미지를 융합하여 3D 컬러 복셀을 캡처할 수 있으며, 이를 통해 3D 인체 동작과 인체 표면을 실시간으로 모션 캡처할 수 있다.
단일 뷰 카메라를 사용하기 때문에 캡처된 동작은 일반적으로 노이즈가 많다. 이러한 노이즈가 많은 동작을 레이지 러닝[38] 및 가우시안 모델과 같은 방법을 사용하여 더 높은 품질로 자동 재구성하기 위해 기계 학습 기술이 제안되었다.[39] 이러한 방법은 인체공학적 평가와 같은 심각한 응용 분야에 충분히 정확한 동작을 생성한다.[40]
광학식은 여러 대의 카메라와 반사 마커를 트래커로 사용하여 촬영 및 측정 공간 주변에 카메라를 설치하여 사용한다. 이 때문에 비교적 넓은 범위가 필요하며, 전용 스튜디오나 대학·연구기관에서 사용하는 경우가 많다. 또한 마커가 가려지는 경우에는 소프트웨어적으로 자동 보정이 이루어지는 경우가 많다.
; 키넥트
: Xbox 360의 주변 기기로 해외에서 출시된 키넥트는 RGB 카메라, 깊이 센서, 멀티 어레이 마이크, 그리고 전용 소프트웨어를 작동시키는 프로세서를 내장한 센서를 사용함으로써, 플레이어의 위치와 움직임, 목소리, 얼굴을 인식하는 것이 가능하게 되었다. 모션 캡처 시에 착용하는 특수한 수트(마커)와 마커 검출 시에 사용하는 트래커가 불필요하며, 피사체를 비추는 것만으로 사람에서 키넥트까지의 거리를 측정하고, 그 사람의 크기와 골격의 다양한 움직임을 검출, 그리고 게임 중의 캐릭터와 플레이어의 움직임을 합성하여 조작하는 형태이다.
: 수트나 트래커가 불필요하면서도 1만 엔대[1]로 저렴하며, 전용 시스템 정도의 정밀도는 나오지 않지만 실용 수준의 성능이 확보되어 있어, 연구 분야에서는 예산이 적은 경우 대체품으로 이용되고 있다.
3. 2. 관성 시스템
관성 모션 캡처[41] 기술은 소형 관성 센서, 생체역학 모델 및 센서 융합 알고리즘을 기반으로 한다.[42] 관성 센서의 모션 데이터는 종종 컴퓨터로 무선 전송되어 기록되거나 표시된다. 대부분의 관성 시스템은 자이로스코프, 자력계 및 가속도계의 조합을 포함하는 관성 측정 장치(IMU)를 사용하여 회전 속도를 측정한다. 이러한 회전은 소프트웨어에서 골격으로 변환된다. 광학 마커와 마찬가지로 IMU 센서가 많을수록 데이터가 더 자연스러워진다. 상대적인 움직임에는 외부 카메라, 이미터 또는 마커가 필요하지 않지만, 원하는 경우 사용자의 절대 위치를 제공하려면 필요하다. 관성 모션 캡처 시스템은 실시간으로 인간의 6자유도 전신 동작을 캡처하며, 자기 방위 센서를 포함하는 경우 제한된 방향 정보를 제공할 수 있지만, 이는 해상도가 훨씬 낮고 전자기 잡음의 영향을 받기 쉽다. 관성 시스템을 사용하면 좁은 공간을 포함한 다양한 환경에서의 캡처, 솔빙 불필요, 휴대성 및 넓은 캡처 영역 등의 장점이 있다. 단점으로는 낮은 위치 정확도와 시간이 지남에 따라 복합될 수 있는 위치 드리프트가 있다. 이러한 시스템은 Wii 컨트롤러와 유사하지만 더 민감하고 해상도와 업데이트 속도가 더 높다. 지면 방향을 1도 이내로 정확하게 측정할 수 있다. 관성 시스템은 빠른 파이프라인을 통해 간편하게 설정할 수 있어 게임 개발자들 사이에서 인기가 높아지고 있다.[10] 현재 다양한 제조업체에서 다양한 종류의 수트를 제공하고 있으며, 기본 가격은 1천달러에서 8만달러에 이른다.자이로스코프 센서(각속도계), 가속도계로 구성된 관성 센서를 신체 각 부위에 장착하여, 움직임으로 측정된 정보를 역산하여 위치 및 자세를 구하는 방식이다. 센서 방향 측정을 위해 여기에 지자기 센서를 추가하기도 한다. 마커 위치를 직접 측정할 수 있는 광학식에 비해 절대 위치 정확도가 낮다는 점과, 시간 경과에 따라 오차가 축적되기 쉽다는 단점이 있다. 그러나 외부 카메라 등이 필요 없고 옥외 이용 등 측정 장소에 대한 자유도가 높다.
3. 3. 기계식 시스템
기계식 모션 캡처 시스템은 신체 관절 각도를 직접 추적하며, 센서가 신체에 부착되는 방식 때문에 종종 외골격 모션 캡처 시스템이라고 불린다. 연기자는 골격과 유사한 구조를 신체에 부착하고, 움직임에 따라 관절로 연결된 기계 부품도 함께 움직이면서 연기자의 상대적인 움직임을 측정한다. 기계식 모션 캡처 시스템은 실시간으로 작동하며, 비교적 저렴하고, 가림 현상에 영향을 받지 않으며, 무선(비연결) 시스템으로 캡처 볼륨에 제한이 없다. 일반적으로 관절로 연결된 직선형 금속 또는 플라스틱 막대 구조로, 신체의 관절에서 가변 저항기로 연결되어 있다. 이러한 슈트는 일반적으로 2500만달러에서 7500만달러 사이이며, 외부 절대 위치 결정 시스템이 추가된다. 일부 슈트는 제한적인 힘 피드백 또는 햅틱 입력을 제공한다.[1]기계식 시스템은 가변저항, 인코더와 같은 기계적으로 회전각이나 변위를 측정하는 센서를 이용하여 각 관절각 등을 계측한다. 신체에 장착할 때는 각 센서를 강체 링크로 지지하는 외골격 형태가 되므로, 움직임의 기록만을 목적으로 하는 장치보다는 파워드 슈트의 내부에서 사용되는 경우가 많다.[1]
3. 4. 자기식 시스템
자기식 시스템은 송신기와 각 수신기에 있는 세 개의 직교 코일의 상대적인 자기 플럭스를 계산하여 위치와 방향을 계산한다.[43] 세 개의 코일의 전압 또는 전류의 상대적인 세기는 이러한 시스템이 추적 볼륨을 세밀하게 매핑하여 범위와 방향을 모두 계산할 수 있게 한다. 센서 출력은 6DOF이며, 이는 광학 시스템에서 필요한 마커 수의 3분의 2로 얻은 유용한 결과를 제공한다. 예를 들어 팔꿈치 위치와 각도를 얻기 위해서는 위 팔과 아래 팔에 각각 하나씩의 센서만 부착하면 된다. 마커는 비금속 물체에 의해 가려지지 않지만, 환경 내의 금속 물체(예: 철근, 콘크리트의 강철 보강 막대, 배선)나 모니터, 조명, 케이블, 컴퓨터와 같은 전기적 소스에 의한 자기 및 전기적 간섭을 받기 쉽다. 이러한 간섭은 자기장에 영향을 미친다. 센서 응답은 비선형적이며, 특히 캡처 영역의 가장자리에 가깝다. 센서의 배선은 극단적인 성능 움직임을 방해하는 경향이 있다.[43] 자기 시스템을 사용하면 모션 캡처 세션의 결과를 실시간으로 모니터링할 수 있다.[43] 자기 시스템의 캡처 볼륨은 광학 시스템보다 훨씬 작다. 자기 시스템에는 교류(AC) 및 직류(DC) 시스템 간의 구별이 있다. DC 시스템은 사각 펄스를 사용하고, AC 시스템은 사인파 펄스를 사용한다.자기식 시스템은 수신기(자기 센서)를 장착하고, 송신기(자력 발생 장치)에서 자기장을 보내는 방식으로 작동한다. 수신기 내에서는 3축 방향으로 직교하는 코일로 감지한 자력선을 바탕으로 송신기 위치 및 자세를 구한다. 광학식 마커에 비해 가려질 걱정이 없고, 하나의 수신기로 위치와 자세를 합쳐 6자유도의 정보를 얻을 수 있기 때문에 장착 수가 3분의 2로 줄어든다. 그러나 금속이나 전기 제품이 가까이 있는 경우에는 자기장의 영향을 받기 쉽고, 또한 계측 가능한 범위가 좁다는 단점이 있다.
3. 5. 비디오 방식
비디오 카메라로 촬영된 영상을 분석하여 3D 모션 파일로 변환하는 기술이다. 매치 무브 등의 영상 분석 기술의 발전에 의해 실현된 방식으로, 설비가 적게 든다는 장점이 있다.; 키넥트
: Xbox 360의 주변 기기로 해외에서 출시된 키넥트는 RGB 카메라, 깊이 센서, 멀티 어레이 마이크, 그리고 전용 소프트웨어를 작동시키는 프로세서를 내장한 센서를 사용함으로써, 플레이어의 위치와 움직임, 목소리, 얼굴을 인식하는 것이 가능하게 되었다. 모션 캡처 시에 착용하는 특수한 수트(마커)와 마커 검출 시에 사용하는 트래커가 불필요하며, 피사체를 비추는 것만으로 사람에서 키넥트까지의 거리를 측정하고, 그 사람의 크기와 골격의 다양한 움직임을 검출, 그리고 게임 중의 캐릭터와 플레이어의 움직임을 합성하여 조작하는 형태이다.
: 수트나 트래커가 불필요하면서도 10000JPY대[1]로 저렴하며, 전용 시스템 정도의 정밀도는 나오지 않지만 실용 수준의 성능이 확보되어 있어, 연구 분야에서는 예산이 적은 경우 대체품으로 이용되고 있다.
4. 응용 분야
모션 캡처는 비디오 게임, 영화, 동작 캡처뿐만 아니라 로봇 개발, 의료, VR/AR 등 다양한 분야에 적용된다.[21] 퍼듀 대학교는 로봇 개발 분야에서 이 기술을 연구에 활용하고 있다.
- '''비디오 게임:''' 운동선수, 무술가 등 실제 사람의 움직임을 캡처하여 게임 캐릭터의 애니메이션을 제작한다.
- '''영화:''' 배우의 연기를 디지털 캐릭터에 적용하거나, 골룸, 미이라, 킹콩 등과 같이 완전히 CGI로 만들어진 캐릭터의 움직임을 만든다.
- '''로봇 공학:''' ROS 프레임워크와 통합되는 오픈 소스 드라이버를 제공하여 로봇을 효과적으로 테스트할 수 있도록 한다.
- '''의료:''' 보행 분석을 통해 임상의는 여러 생체 역학적 요인에 걸쳐 인간의 움직임을 평가할 수 있다.
- '''VR/AR:''' 사용자의 손 동작을 캡처하여 디지털 콘텐츠와 실시간으로 상호 작용할 수 있게 한다.
4. 1. 비디오 게임
비디오 게임은 운동선수, 무술가 등 실제 사람의 움직임을 캡처하여 게임 캐릭터의 애니메이션을 제작하는 데 모션 캡처를 자주 사용한다.[13][14] 1988년 Martech의 비디오 게임 ''Vixen''의 2D 플레이어 캐릭터 애니메이션(모델 Corinne Russell이 수행)에 초기 형태의 모션 캡처가 사용되었고,[15] Magical Company의 2D 아케이드 격투 게임 ''Last Apostle Puppet Show''에서도 사용되었다.[16] 이후 모션 캡처는 세가 모델 아케이드 게임 ''Virtua Fighter'' (1993)[17][18] 와 ''Virtua Fighter 2'' (1994)의 3D 캐릭터 모델 애니메이션에 사용되었다.[19] 1995년 중반, 개발사/퍼블리셔 Acclaim Entertainment는 본사에 자체 모션 캡처 스튜디오를 구축했다.[14] 남코의 1995년 아케이드 게임 ''Soul Edge''는 모션 캡처를 위해 수동 광학 시스템 마커를 사용했다.[20] Naughty Dog의 Crash Bandicoot, Insomniac Games의 Spyro the Dragon, Rare의 Dinosaur Planet과 같이 애니메이션을 기반으로 한 게임에서도 운동선수를 사용했다.4. 2. 영화
모션 캡처는 영화에서 CGI 효과를 구현하는 데 사용된다. 이 기술은 배우의 연기를 디지털 캐릭터에 적용하거나, 골룸, 미이라, 킹콩, ''캐리비안의 해적''의 데비 존스, ''아바타''의 나비 등과 같이 완전히 CGI로 만들어진 캐릭터의 움직임을 만드는 데 활용된다.[24] ''호빗: 뜻밖의 여정''에서는 거대 고블린, 돌 트롤, 오크, 고블린, 스마우그 등의 캐릭터 제작에 사용되었다.''배트맨 3 - 포에버''(1995)는 시각 효과를 위해 모션 캡처를 부분적으로 사용한 사례이다.[22] 워너 브라더스는 아케이드 게임 회사인 아클레임 엔터테인먼트로부터 이 기술을 확보하여 영화 제작에 활용했다.[23]
''스타워즈 에피소드 1: 보이지 않는 위험''(1999)은 자 자 빙크스와 같이 모션 캡처로 제작된 주요 캐릭터를 포함한 최초의 장편 영화였다. 인도-미국 합작 영화 ''신밧드: 안개의 베일 너머''(2000)는 주로 이 기술을 사용한 최초의 장편 영화였으나, 제한적으로 개봉되었다. ''파이널 판타지: 더 스피릿츠 위딘''(2001)은 모션 캡처로 제작되어 널리 개봉된 최초의 영화였지만, 흥행에는 실패했다. ''토탈 리콜''은 엑스레이 스캐너와 해골 장면에 이 기술을 사용한 바 있다.
''반지의 제왕: 두 개의 탑''은 실시간 모션 캡처 시스템을 활용한 최초의 장편 영화였다. 배우 앤디 서키스의 연기가 실시간으로 골룸/스미골의 컴퓨터 생성 이미지에 반영되었다.[24]
2006년 아카데미 장편 애니메이션상 후보작 중 ''몬스터 하우스''와 수상작 ''해피 피트''는 모션 캡처를 사용했다. 반면 디즈니·픽사의 ''카''는 이 기술을 사용하지 않았으며, 픽사의 ''라따뚜이'' 엔딩 크레딧에는 "100% 진정한 애니메이션 – 모션 캡처 없음!"이라는 문구가 표시되었다.
2001년 이후, 모션 캡처는 포토 리얼리즘 수준의 디지털 캐릭터 모델로 실사 영화의 모습을 구현하는 데 널리 사용되었다. ''폴라 익스프레스''는 톰 행크스가 여러 디지털 캐릭터를 연기하는 데 이 기술을 사용했다. ''베오울프''는 배우들의 동작과 외모를 기반으로 디지털 캐릭터를 만들었다. 제임스 카메론의 ''아바타''는 나비족을 만드는 데 이 기술을 활용했다. 월트 디즈니 컴퍼니는 로버트 저메키스의 ''크리스마스 캐럴'' 제작에 이 기술을 사용했다.
모션 캡처 애니메이션으로 제작된 TV 시리즈로는 캐나다의 ''라플락'', 네덜란드의 ''스프로크스붐''과 Cafe de Wereldnl , 영국의 ''Headcases'' 등이 있다.
4. 3. 로봇 공학
모션 캡처는 로봇 개발 분야에서 퍼듀 대학교가 이 기술을 연구에 활용하는 사례처럼, 비디오 게임, 영화, 동작 캡처뿐만 아니라 다양한 분야에 적용된다.[21]실내 위치 추적은 광학 모션 캡처 시스템의 또 다른 응용 분야이다. 로봇 연구자들은 제어, 추정, 인식 알고리즘과 하드웨어를 개발하고 평가할 때 종종 모션 캡처 시스템을 사용한다. 실외 공간에서는 위성 항법 시스템(GNSS)과 실시간 운동학(RTK)을 함께 사용하여 센티미터 단위의 정확도를 얻을 수 있다. 그러나 위성과의 가시선이 없는 경우, 즉 실내 환경에서는 이러한 정확도가 크게 감소한다. 상업용 광학 모션 캡처 시스템을 판매하는 대부분의 공급업체는 널리 사용되는 로봇 운영 체제(ROS) 프레임워크와 통합되는 접근 가능한 오픈 소스 드라이버를 제공하여 연구자와 개발자가 개발 중에 로봇을 효과적으로 테스트할 수 있도록 한다.
항공 로봇 연구 분야에서도 모션 캡처 시스템은 위치 추정에 널리 사용된다. 공역 사용에 대한 규제는 무인 항공 시스템(UAS)을 사용하여 실외 실험을 수행할 수 있는 정도를 제한한다. 실내 테스트는 이러한 제약을 우회할 수 있다. 전 세계 많은 연구소와 기관에서 이러한 목적으로 실내 모션 캡처 공간을 구축했다.
퍼듀 대학교는 퍼듀 UAS 연구 및 테스트(PURT) 시설 내에 세계 최대 규모의 실내 모션 캡처 시스템을 보유하고 있다. PURT는 UAS 연구에 전념하고 있으며, 60대의 모션 캡처 카메라를 사용하여 약 16990107.96L3의 추적 공간을 제공한다.[21] 광학 모션 캡처 시스템은 밀리미터 정확도로 공간 내의 대상을 추적할 수 있어 대상의 실제 위치, 즉 연구 개발의 "지상 진실" 기준선을 효과적으로 제공한다. 그런 다음 다른 센서와 알고리즘에서 파생된 결과를 지상 진실 데이터와 비교하여 성능을 평가할 수 있다.
4. 4. 의료
보행 분석은 임상 의학에서 모션 캡처를 활용하는 한 분야이다. 이 기술을 통해 임상의는 여러 생체 역학적 요인에 걸쳐 인간의 움직임을 평가할 수 있으며, 종종 이 정보를 분석 소프트웨어로 실시간 스트리밍한다.자세 감지는 수술 후 회복이나 부상 후 재활 중인 환자에게 도움을 줄 수 있는 혁신적인 사용 사례이다. 이러한 접근 방식은 지속적인 모니터링, 실시간 안내 및 환자 결과를 향상시키기 위한 개별 맞춤형 프로그램을 가능하게 한다.[26]
일부 물리 치료 클리닉에서는 환자의 진행 상황을 정량화하는 객관적인 방법으로 모션 캡처를 활용한다.[27]
하뉴 유즈루는 와세다 대학교 졸업 논문에서 몸에 부착된 31개의 센서에서 제공된 데이터를 사용하여 점프를 분석, 피겨 스케이팅 채점 시스템을 개선하고 스케이터가 점프 기술을 향상시키는 데 도움이 되도록 기술의 사용을 평가했다.[31][32] 2021년 3월에 논문 요약이 학술지에 게재되었다.[33]
4. 5. 가상현실 (VR) / 증강현실 (AR)
가상 현실과 증강 현실 제공업체는 사용자의 손 동작을 캡처하여 디지털 콘텐츠와 실시간으로 상호 작용할 수 있게 한다. uSens와 Gestigon과 같은 업체가 대표적이다. 이는 훈련 시뮬레이션, 시각적 인식 테스트 또는 3D 환경에서 가상 둘러보기를 수행하는 데 유용하다.[26] 모션 캡처 기술은 디지털 인형극 시스템에 자주 사용되어 컴퓨터로 생성된 캐릭터를 실시간으로 제어하기도 한다.4. 6. 기타
모션 캡처는 비디오 게임, 영화 등 다양한 분야에 적용된다. 로봇 개발 분야에서 퍼듀 대학교가 이 기술을 연구에 활용하는 사례도 있다.5. 장단점
모션 캡처는 기존 애니메이션 기술에 비해 실시간으로 자연스럽고 품질 높은 영상을 제공한다는 장점이 있다. 1970년대와 1980년대 생물역학 연구에서 광도계 분석으로 시작된 모션 캡처는 텔레비전, 영화, 비디오 게임 등으로 확대되었다. 20세기 이후에는 배우가 각 관절 근처에 마커를 착용하여 움직임을 식별하며, 음향, 관성, LED, 자기, 반사 마커 등의 조합을 사용한다.
캡처 기술에는 광학식, 관성 센서식, 기계식, 자기식 등이 있으며 각각 장단점이 있다. 광학식은 이미지식, 적외선식 등 여러 기법으로 나뉜다. 대부분 물체에 부착하는 마커와 이를 감지하는 트래커를 조합하여 캡처하므로, 같은 방식이라면 마커 수가 정밀도의 한 요인이 된다. 트래커가 초당 추적할 수 있는 프레임 수도 정밀도에 영향을 준다.
5. 1. 장점
모션 캡처는 기존 컴퓨터 애니메이션에 비해 다음과 같은 여러 장점을 가진다.- 짧은 지연 시간으로 거의 실시간에 가까운 결과를 얻을 수 있다. 엔터테인먼트 분야에서 이는 키 프레임 기반 애니메이션의 비용을 줄일 수 있다.[10]
- 작업량은 기존 기술을 사용할 때와 같은 정도로 성능의 복잡성이나 길이에 따라 달라지지 않는다. 이를 통해 다양한 스타일이나 전달 방식을 사용하여 많은 테스트를 수행할 수 있으며, 배우의 재능에 의해서만 제한되는 뚜렷한 개성을 부여할 수 있다.
- 2차 동작과 같은 복잡한 움직임과 현실적인 물리적 상호 작용, 무게, 힘의 교환 등을 물리적으로 정확한 방식으로 쉽게 재현할 수 있다.[11]
- 주어진 시간 내에 생성할 수 있는 애니메이션 데이터의 양은 기존 애니메이션 기술에 비해 매우 많다. 이는 비용 효율성과 제작 기한 준수에 모두 기여한다.[12]
- 무료 소프트웨어 및 타사 솔루션의 잠재력은 비용을 절감한다.
5. 2. 단점
- 데이터를 얻고 처리하려면 특정 하드웨어와 특수 소프트웨어 프로그램이 필요하다.[10]
- 필요한 소프트웨어, 장비 및 인건비는 소규모 제작에 과도하게 비쌀 수 있다.[10]
- 캡처 시스템은 카메라 시야각이나 자기 왜곡에 따라 작동하는 공간에 대한 특정 요구 사항이 있을 수 있다.[10]
- 문제가 발생하면 데이터를 조작하기보다 장면을 다시 촬영하는 것이 더 쉬울 수 있다. 테이크를 다시 해야 하는지 결정하기 위해 데이터의 실시간 보기를 허용하는 시스템은 거의 없다.[10]
- 초기 결과는 데이터 추가 편집 없이 캡처 볼륨 내에서 수행할 수 있는 것으로 제한된다.[10]
- 물리학 법칙을 따르지 않는 움직임은 캡처할 수 없다.[10]
- 예상과 후속 동작, 보조 모션에 대한 강조 추가 또는 변형 및 신장 애니메이션 기술과 같이 캐릭터의 모양을 조작하는 것과 같은 전통적인 애니메이션 기술은 나중에 추가해야 한다.[10]
- 컴퓨터 모델의 비율이 캡처 대상과 다르면 인공물이 발생할 수 있다. 예를 들어, 만화 캐릭터가 크고 과도하게 큰 손을 가지고 있다면, 인간 연기자가 신체 움직임에 주의를 기울이지 않으면 손이 캐릭터의 몸과 교차할 수 있다.[10]
6. 관련 기술
얼굴 모션 캡처는 배우의 얼굴 표정과 움직임을 더 정밀하게 캡처하는 기술이다. '퍼포먼스 캡처'라고도 불리며, 더 높은 수준의 감정 표현을 위해 얼굴의 복잡한 움직임을 기록하는 데 사용된다.[44] 얼굴 캡처는 기존 모션 캡처 데이터, 블렌드 셰이프 기반 솔루션, 배우 얼굴의 실제 토폴로지(위상) 캡처, 독점 시스템 등 여러 방식으로 나뉜다. 주요 기술로는 여러 각도에서 얼굴 표정을 캡처하는 다중 카메라 배열 방식, 그리고 광원이나 카메라 위치 변화에 따른 밝기 변화를 이용해 표면 법선을 계산하는 광선 배열 방식 등이 있다. 이러한 기술은 카메라 해상도, 보이는 물체의 크기, 카메라 수에 따라 해상도가 결정되며, 최근에는 프레임 속도를 높이고 광학 흐름을 이용하여 배우의 표정을 3D 메쉬로 만들거나 다른 컴퓨터 생성 얼굴에 적용하는 연구가 진행되고 있다.
3차원(3D) 자세 추정은 이미지나 깊이 맵으로부터 배우의 자세를 재구성하는 기술이다.[45]
무선 주파수(RF) 위치 시스템은 레이더와 같은 구형 기술보다 더 높은 정밀도를 제공하는 무선 주파수 장치를 사용한다. 빛의 속도는 1나노초(10억 분의 1초)당 30cm이므로, 10기가헤르츠(초당 10억 사이클) 무선 주파수 신호는 약 3cm의 정확도를 가진다. 2015년 매사추세츠 공과대학교 연구원들은 무선 주파수 신호로 움직임을 추적하는 시스템을 개발했다.[44]
참조
[1]
논문
Temporal Control and Hand Movement Efficiency in Skilled Music Performance
[2]
논문
Simultaneous inference for misaligned multivariate functional data
[3]
학술자료
A Stereoscopic Fibroscope for Camera Motion and 3-D Depth Recovery During Minimally Invasive Surgery
http://www.sciweaver[...]
proc ICRA 2009
[4]
논문
Simultaneous tracking and balancing of humanoid robots for imitating human motion capture data
https://pdfs.semanti[...]
IEEE
[5]
웹사이트
Motion Capture Actors: Body Movement Tells the Story
http://www.nycasting[...]
2014-07-03
[6]
웹사이트
Growth In Performance Capture Helping Gaming Actors Weather Slump
http://www.backstage[...]
Backstage Magazine
2013-02-22
[7]
웹사이트
Andy Serkis: why won't Oscars go ape over motion-capture acting?
https://www.theguard[...]
The Guardian
2011-08-12
[8]
웹사이트
When will a motion capture actor win an Oscar?
https://www.wired.co[...]
Wired magazine
2012-01-24
[9]
논문
A real time system for robust 3D voxel reconstruction of human motions
https://www.research[...]
IEEE
[10]
웹사이트
Xsens MVN Animate – Products
https://www.xsens.co[...]
2019-01-22
[11]
간행물
The Next Generation 1996 Lexicon A to Z: Motion Capture
Imagine Media
1996-03-01
[12]
간행물
Motion Capture
Imagine Media
1995-10-01
[13]
웹사이트
Anatomy of an MMORPG
http://radoff.com/bl[...]
2009-11-30
[14]
간행물
Hooray for Hollywood! Acclaim Studios
IDG
1995-07-01
[15]
간행물
Martech Games - The Personality People
https://issuu.com/mi[...]
[16]
웹사이트
Pre-Street Fighter II Fighting Games
http://www.hardcoreg[...]
2021-11-26
[17]
간행물
Sega Saturn exclusive! Virtua Fighter: fighting in the third dimension
https://retrocdn.net[...]
Future plc
1994-12-15
[18]
간행물
Virtua Fighter
Emap International Limited
1995-10-01
[19]
웹사이트
Yu Suzuki Recalls Using Military Tech to Make Virtua Fighter 2
http://www.gamasutra[...]
2014-10-23
[20]
웹사이트
History of Motion Capture
http://www.motioncap[...]
Motioncapturesociety.com
2013-08-10
[21]
웹사이트
Purdue's Home for Drone Systems Engineering
https://engineering.[...]
2023-09-18
[22]
간행물
Coin-Op News: Acclaim technology tapped for "Batman" movie
https://archive.org/[...]
1994-10-01
[23]
간행물
Acclaim Stakes its Claim
https://archive.org/[...]
1995-01-01
[24]
웹사이트
Gollum Actor: How New Motion-Capture Tech Improved The Hobbit
https://www.wired.co[...]
2012-07-12
[25]
웹사이트
INTERVIEW: Storymind Entertainment Talks About Upcoming 'My Eyes On You'
https://www.thatmome[...]
2017-10-29
[26]
웹사이트
AI-based pose detection for physical rehabilitation software
https://www.abtosoft[...]
[27]
웹사이트
Markerless Motion Capture {{!}} EuMotus
https://www.eumotus.[...]
2018-10-12
[28]
웹사이트
This facial recognition software lets you be Octodad
http://www.polygon.c[...]
2014-06-30
[29]
웹사이트
Turn Your Human Face Into A Video Game Character
http://kotaku.com/tu[...]
2013-12-27
[30]
웹사이트
Put your (digital) game face on
https://www.fxguide.[...]
2016-04-24
[31]
웹사이트
羽生結弦"動いたこと"は卒論完成 24時間テレビにリモート出演 (Yuzuru Hanyu completes graduation thesis on "moving things" and appears remotely on TV 24 hours a day)
https://www.sponichi[...]
2023-09-02
[32]
웹사이트
羽生結弦が卒業論文を公開 24時間テレビに出演 (Yuzuru Hanyu publishes graduation thesis and appears on 24-hour TV)
https://www.nikkansp[...]
2023-09-02
[33]
논문
無線・慣性センサー式モーションキャプチャシステムのフィギュアスケートでの利活用に関するフィージビリティスタディ (A feasibility study on the use of wireless and inertial sensor motion capture systems in figure skating)
https://waseda.repo.[...]
Waseda University
2021-03-18
[34]
논문
A benchmark for the evaluation of RGB-D SLAM systems
http://jsturm.de/pub[...]
IEEE
[35]
논문
Computer-assisted hand rehabilitation assessment using an optical motion capture system
http://dx.doi.org/10[...]
IEEE
2012-11-01
[36]
저널
Motion Capture: Optical Systems
Imagine Media
1995-10-01
[37]
저널
Optical tracking of artificial satellites
[38]
저널
Real-Time Posture Reconstruction for Microsoft Kinect
2013-01-01
[39]
저널
Kinect Posture Reconstruction based on a Local Mixture of Gaussian Process Models
http://nrl.northumbr[...]
2016-01-01
[40]
저널
Validation of an Ergonomic Assessment Method using Kinect Data in Real Workplace Conditions
2017-01-01
[41]
웹사이트
Full 6DOF Human Motion Tracking Using Miniature Inertial Sensors
https://web.archive.[...]
2013-04-03
[42]
웹사이트
A history of motion capture
https://web.archive.[...]
2019-01-22
[43]
저널
Motion Capture: Magnetic Systems
Imagine Media
1995-10-01
[44]
웹사이트
MIT researchers create device that can recognize, track people through walls
https://www.nydailyn[...]
2015-11-01
[45]
논문
Accurate 3d pose estimation from a single depth image
http://www-oldurls.i[...]
IEEE
[46]
저널
Temporal Control and Hand Movement Efficiency in Skilled Music Performance
[47]
뉴스
블록버스터 영화 속, 캐릭터들의 CG 비포&애프터
http://cine21.com/ne[...]
2019-02-18
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com