인텔 리얼센스
1. 개요
인텔 리얼센스는 인텔이 개발한 하드웨어 및 소프트웨어 제품군으로, 깊이 추적, 제스처 및 얼굴 인식, 시선 추적 등의 기술을 활용한다. 2013년 '퍼셉추얼 컴퓨팅'이라는 브랜드로 시작하여, 2014년 인텔 리얼센스로 명칭을 변경했다. 인텔 리얼센스 그룹은 구조광 3D 스캐너, 스테레오 뎁스, 위치 추적 기술 등을 지원하며, D400 시리즈를 포함한 다양한 제품군을 제공한다.
| 종류 | 제품 라인 |
|---|---|
| 산업 분야 | 인공지능 카메라 깊이 인식 3D 재구성 |
| 설립일 | 2015년 |
| 본사 위치 | 미국캘리포니아주샌타클래라 |
| 제품 | Intel RealSense |
| 모회사 | 인텔 |
| 웹사이트 | Intel RealSense 공식 웹사이트 |
| 개발사 | Intel RealSense |
|---|---|
| 제조사 | 인텔 |
| 종류 | 카메라 기술 |
-
포인팅 장치 -
플레이스테이션 무브
플레이스테이션 무브는 소니에서 2010년에 출시한 플레이스테이션 3, 4용 모션 컨트롤러로, 아이토이 기술을 발전시켜 플레이스테이션 아이 카메라를 통해 사용자의 움직임을 감지하여 게임 내 상호작용을 가능하게 하며, 내비게이션 컨트롤러와 액세서리, 플레이스테이션 VR과 함께 가상현실 몰입감을 높이는 데 기여한다. -
포인팅 장치 -
라이트 건
라이트 건은 디스플레이의 위치를 감지하는 입력 장치로, 게임에서 목표물을 조준하는 데 사용되며, 광전 효과를 이용한 초기 방식부터 다양한 기술이 개발되어 왔고, 아케이드 게임과 가정용 게임기를 통해 발전해 왔으나, 기술적 한계와 폭력성 논란 등의 문제점과 함께 최근에는 VR 기술과의 융합을 모색하고 있다. -
C++ 라이브러리 -
D-Bus
D-Bus는 2002년에 시작된 프로세스 간 통신 시스템으로, 시스템 버스와 세션 버스를 통해 정보 공유, 모듈성, 권한 격리를 제공하며, 일대일 요청-응답 및 발행/구독 통신 방식을 지원한다. -
C++ 라이브러리 -
Botan
Botan은 다양한 암호화 알고리즘을 지원하는 암호화 라이브러리이며, RSA, ElGamal, AES, SHA-256 등 널리 사용되는 알고리즘을 포함하여 공개키 암호화, 공개키 서명, 키 교환, 블록 사이퍼, 스트림 사이퍼, 해시 함수 등을 제공한다. -
게임 컨트롤러 -
게임패드
게임패드는 비디오 게임 조작을 위해 사용되는 입력 장치이며, 십자키와 버튼 조합을 시작으로 아날로그 스틱, 터치패드, 햅틱 피드백 등의 기능이 추가되어 PC, 모바일 등 다양한 플랫폼에서 활용된다. -
게임 컨트롤러 -
키넥트
키넥트는 마이크로소프트에서 개발한 동작 인식 장치로, 적외선 프로젝터와 센서를 사용하여 사용자의 움직임과 음성을 인식하며, Xbox용으로 출시되어 큰 인기를 얻었지만 개인정보 보호 문제 등으로 판매가 부진하여 생산이 중단되었고, 다양한 분야에서 활용되며 기술적 가치를 인정받아 클라우드 기반 Azure Kinect로 이어졌으나 단종되었다.
2. 역사
인텔은 2013년부터 깊이 추적, 제스처 인식, 얼굴 인식, 시선 추적 및 기타 기술을 활용하는 하드웨어 및 소프트웨어를 "Perceptual Computing"이라는 브랜드로 생산하기 시작했다. 인텔에 따르면, 이러한 기술에 대한 연구는 "[컴퓨터]를 더욱 인간적으로 만드는 감각 입력"에 초점을 맞추고 있었다. 2014년 말까지 기존의 2D 카메라 대신 Perceptual Computing을 지원할 수 있는 3D 카메라를 포함할 계획이었다.
2014년에 인텔은 퍼셉추얼 컴퓨팅 기술 라인을 인텔 리얼센스(Intel RealSense)로 브랜드를 변경했다. 인텔 리얼센스 그룹은 코드화된 광 뎁스, 스테레오 뎁스 및 위치 추적을 포함한 여러 뎁스 및 추적 기술을 지원한다.
리얼센스 플랫폼 기반 애플리케이션 부족 문제를 해결하고 소프트웨어 개발자들 사이에서 플랫폼을 홍보하기 위해 2014년 "인텔 리얼센스 앱 챌린지"를 개최하여 우승자에게 거액의 상금을 수여했다.
2.1. 퍼셉추얼 컴퓨팅 시대 (2013-2014)
인텔은 2013년 '퍼셉추얼 컴퓨팅'(Perceptual Computing)이라는 브랜드로 깊이 추적, 제스처 인식, 얼굴 인식, 시선 추적 및 기타 기술을 활용하는 하드웨어 및 소프트웨어를 생산하기 시작했다. 인텔에 따르면 기술에 대한 연구의 대부분은 인간과 더 비슷하게 만드는 것에 초점을 맞추고 있다고 한다. 인텔은 2014년 말까지 기존의 2D 카메라가 아닌 퍼셉추얼 컴퓨팅을 지원할 수 있는 3D 카메라를 포함하기를 희망했다.
2013년에 인텔은 "Intel Ultimate Coder Challenge: Going Perceptual"이라는 이름으로 퍼셉추얼 컴퓨팅 기술의 기능을 강조하는 소프트웨어를 만들기 위해 7개 팀이 참여하는 대회를 진행했다.
2014년에 인텔은 퍼셉추얼 컴퓨팅 기술 라인의 브랜드를 인텔 리얼센스로 변경했다.
인텔 리얼센스 그룹은 코딩된 조명 깊이, 스테레오 깊이 및 위치 추적을 포함한 다양한 깊이 및 추적 기술을 지원한다.
리얼센스 플랫폼을 기반으로 구축된 애플리케이션의 부족 문제를 해결하고 소프트웨어 개발자들 사이에서 플랫폼을 홍보하기 위해 인텔은 2014년에 "인텔 리얼센스 앱 챌린지"(Intel RealSense App Challenge)를 개최하고, 우승자에게 거액의 상금을 수여했다.
2.2. 리얼센스 브랜드 출범 (2014-현재)
인텔은 2013년 '퍼셉추얼 컴퓨팅'(Perceptual Computing)이라는 브랜드로 깊이 추적, 제스처, 얼굴 인식, 시선 추적 및 기타 기술을 활용하는 하드웨어 및 소프트웨어를 생산하기 시작했다. 인텔에 따르면 기술에 대한 연구의 대부분은 더 인간과 비슷하게 만드는 것이라고 한다. 인텔은 2014년 말까지 기존의 2D 카메라가 아닌 지각 컴퓨팅을 지원할 수 있는 3D 카메라를 포함하기를 희망했다.
2013년에 인텔은 "Intel Ultimate Coder Challenge: Going Perceptual"이라는 이름으로 퍼셉추얼 컴퓨팅 기술의 기능을 강조하는 소프트웨어를 만들기 위해 7개 팀이 참여하는 대회를 진행했다.
2014년에 인텔은 퍼셉추얼 컴퓨팅 기술 라인의 브랜드를 인텔 리얼센스로 변경했다.
인텔 리얼센스 그룹은 코딩된 조명 깊이, 스테레오 깊이 및 위치 추적을 포함한 다양한 깊이 및 추적 기술을 지원한다.
리얼센스 플랫폼을 기반으로 구축된 애플리케이션의 부족 문제를 해결하고 소프트웨어 개발자들 사이에서 플랫폼을 홍보하기 위해 인텔은 2014년에 "인텔 리얼센스 앱 챌린지"(Intel RealSense App Challenge)를 조직했다. 우승자에게는 거액의 상금이 수여됐다.
3. 기술
인텔 리얼센스 비전 프로세서 D4 시리즈는 28nm(나노미터) 공정 기술을 기반으로 실시간 스테레오 깊이 데이터를 계산하는 비전 프로세서이다. 이전보다 더 정확하고 더 먼 거리의 깊이 인식을 가능하게 하는 깊이 알고리즘을 사용한다. 이 제품군에는 리얼센스 비전 프로세서 D4와 리얼센스 비전 프로세서 D4m 두 가지 제품이 있다.
인텔 리얼센스 뎁스 모듈 D400 시리즈는 장치와 기계에 3D를 쉽게 통합할 수 있도록 설계되었다. 2018년에 D415 및 D435도 출시했다. 이 두 카메라는 모두 리얼센스 비전 프로세서 D4와 카메라 센서를 갖추고 있으며, 크로스 플랫폼 및 오픈 소스 인텔 리얼센스 SDK 2.0을 지원한다. 인텔 D415는 보다 정확한 측정을 위해 설계되었다.
3.1. 깊이 측정 기술
이 카메라는 데스크톱 또는 노트북 컴퓨터에 부착할 수 있는 독립형 카메라이다. 자연스러운 제스처 기반 상호 작용, 얼굴 인식, 몰입형 화상 회의 및 협업, 게임 및 학습, 3D 스캔에 사용하도록 설계되었다. 노트북 컴퓨터에 내장하는 버전도 있었다.
스냅샷(Snapshot)은 태블릿 컴퓨터와 스마트폰에 내장될 수 있는 카메라 시스템이다. 사진 촬영, 사후 초점 재조정, 거리 측정, 심도 사진 필터 적용 등이 이 시스템의 사용 목적이다. 초점 재조정 기능은 리얼센스 스냅샷이 넓은 피사계 심도로 사진을 촬영하여 처음에는 전체 사진이 초점이 맞춰진 상태로, 소프트웨어에서 거리에 따라 이미지의 일부를 선택적으로 흐리게 처리한다는 점에서 플레놉틱 카메라와 다르다. 델 델 베뉴(Dell Venue) 8 및 10 7000 시리즈 안드로이드 태블릿에 이 카메라가 장착되어 있다.
마이크로소프트 서피스 또는 HP 스펙터 X2와 같은 유사한 태블릿에 장착되는 후면 카메라이다. 증강 현실 응용 프로그램, 콘텐츠 제작 및 객체 스캔에 사용된다. 깊이 정확도는 밀리미터 단위이며, 범위는 최대 6m이다. R200은 스테레오 카메라로 실내뿐만 아니라 실외에서도 정확한 깊이를 얻을 수 있다.
3.2. 셔터 방식
인텔 리얼센스 심도 카메라 D415, D435, D455는 액티브 적외선(IR) 스테레오 심도 기술을 사용한다. D415와 D435 카메라는 롤링 셔터를 사용하는 반면, D455 카메라는 글로벌 셔터를 사용한다.
D400, D410, D415는 롤링 셔터 이미지 센서 기술을 사용하고, D420, D430은 글로벌 셔터 이미지 센서 기술을 사용한다.
4. 제품군
2018년 1월, 인텔은 새로운 리얼센스 D400 제품군을 출시했다. 이 제품군에는 인텔 리얼센스 비전 프로세서 D4, 인텔 리얼센스 심도 모듈 D400 시리즈, 그리고 바로 사용 가능한 두 종류의 심도 카메라인 인텔 리얼센스 심도 카메라 D435 및 D415가 포함된다.
인텔 리얼센스 뎁스 모듈 D400 시리즈는 장치와 기계에 3D를 쉽게 통합할 수 있도록 설계되었다. D415 및 D435는 모두 리얼센스 비전 프로세서 D4와 카메라 센서를 갖추고 있으며, 크로스 플랫폼 및 오픈 소스 인텔 리얼센스 SDK 2.0을 지원한다. 인텔 D415는 보다 정확한 측정을 위해 설계되었다.
과거 에이수스, HP, 델, 레노버, 에이서 등에서 제작한 여러 랩톱 및 태블릿 컴퓨터에 인텔 리얼센스 심도 카메라(F200, R200 및 SR300)가 탑재되었다. 또한, 레이저와 크리에이티브는 인텔 리얼센스 카메라를 내장한 소비자용 독립형 웹캠을 출시했는데, 레이저 스타게이저와 크리에이티브 블래스터X 센즈3D가 그것이다.
4.1. D400 시리즈 (2018~)
2018년 1월, 인텔은 새로운 인텔 리얼센스 D400 제품군을 출시했다. 이 제품군에는 다음이 포함된다.
* 인텔 리얼센스 비전 프로세서 D4
* 인텔 리얼센스 심도 모듈 D400 시리즈
* 바로 사용 가능한 두 종류의 심도 카메라: 인텔 리얼센스 심도 카메라 D435 및 D415
인텔 리얼센스 비전 프로세서 D4 시리즈는 28nanometer영어(nm) 공정 기술을 기반으로 실시간 스테레오 깊이 데이터를 계산하는 비전 프로세서이다. 이전보다 더 정확하고 더 먼 거리의 깊이 인식을 가능하게 하는 깊이 알고리즘을 사용한다. 리얼센스 비전 프로세서 D4와 리얼센스 비전 프로세서 D4m 두 가지 제품이 있다.
인텔 리얼센스 뎁스 모듈 D400 시리즈는 장치와 기계에 3D를 쉽게 통합할 수 있도록 설계되었다. 2018년에 출시된 D415 및 D435는 모두 리얼센스 비전 프로세서 D4와 카메라 센서를 갖추고 있으며, 크로스 플랫폼 및 오픈 소스 인텔 리얼센스 SDK 2.0을 지원한다. 인텔 D415는 보다 정확한 측정을 위해 설계되었다.
4.2. 이전 세대
과거 인텔 리얼센스 심도 카메라(F200, R200 및 SR300)는 에이수스, HP, 델, 레노버, 에이서가 제작한 여러 랩톱 및 태블릿 컴퓨터에 탑재되었다. 또한, 레이저(Razer)와 크리에이티브(Creative)는 인텔 리얼센스 카메라를 내장한 소비자용 독립형 웹캠을 출시했는데, 레이저 스타게이저(Razer Stargazer)와 크리에이티브 블래스터X 센즈3D(Creative BlasterX Senz3D)가 그것이다.
이 카메라는 데스크톱 또는 노트북 컴퓨터에 부착할 수 있는 독립형 카메라로, 자연스러운 제스처 기반 상호 작용, 얼굴 인식, 몰입형 화상 회의 및 협업, 게임 및 학습, 3D 스캔에 사용하도록 설계되었다. 노트북 컴퓨터에 내장하는 버전도 있었다.
스냅샷(Snapshot)은 태블릿 컴퓨터와 스마트폰에 내장될 수 있는 카메라 시스템이다. 사진 촬영, 사후 초점 재조정, 거리 측정, 심도 사진 필터 적용 등이 이 시스템의 사용 목적이다. 초점 재조정 기능은 리얼센스 스냅샷이 넓은 피사계 심도로 사진을 촬영하여 처음에는 전체 사진이 초점이 맞춰진 상태로, 소프트웨어에서 거리에 따라 이미지의 일부를 선택적으로 흐리게 처리한다는 점에서 플레놉틱 카메라와 다르다. 델 델 베뉴 8 및 10 7000 시리즈 안드로이드 태블릿에 이 카메라가 장착되어 있다.
R200은 마이크로소프트 서피스 또는 HP 스펙터 X2와 같은 유사한 태블릿에 장착되는 후면 카메라이다. 이 카메라는 증강 현실 응용 프로그램, 콘텐츠 제작 및 객체 스캔에 사용된다. 깊이 정확도는 밀리미터 단위이며, 범위는 최대 6m이다. R200은 스테레오 카메라로 실내뿐만 아니라 실외에서도 정확한 깊이를 얻을 수 있다.
5. 반응
2015년 초, PC 월드의 마크 해치먼은 리얼센스가 해당 기능을 활용할 소프트웨어에 의해 크게 정의될 활성화 기술이라고 결론 내렸다. 그는 기사 작성 당시 이 기술이 새로운 것이었고 그러한 소프트웨어가 없다는 점을 지적했다.
6. 기술 사양
인텔 리얼센스 기술 사양은 다음과 같다.
인텔 리얼센스 뎁스 카메라 D415, D435 및 D455 사양
| D415 | D435 | D455 | |
|---|---|---|---|
| 사용 환경 | 실내/실외 | ||
| 심도 기술 | 액티브 적외선(IR) 스테레오 | ||
| IR 프로젝터 및 좌/우 카메라 유형 | 표준 | 광각 | |
| 셔터 유형 | 롤링 | 글로벌 | |
| 이미지 센서 모듈 | OV2740 (OV02740-H34A-Z) | OV9782 (OV09782-GA4A) | |
| 이미지 센서 기술 | PureCel HDR | OmniPixel3-GS | |
| 이미지 센서 크기 | 약 2.54cm, 3855μm × 2919μm | 약 2.54cm, 3896μm × 2453μm | |
| 이미지 센서 픽셀 크기 | 1.4μm × 1.4μm | 3μm × 3μm | |
| 비전 프로세서 보드 | 리얼센스 비전 프로세서 D4 | ||
| 심도 센서 모듈 | 리얼센스 모듈 D415 | 리얼센스 모듈 D430 + RGB 카메라 | 리얼센스 모듈 D450 |
| HD 심도 시야각 | H: 65°±2 V: 40°±1 D: 72°±2 | H: 87°±3 V: 58°±1 D: 95°±3 | |
| VGA 심도 시야각 | H: 50°±2 V: 40°±1 D: 61°±2 | H: 75°±3 V: 62°±1 D: 89°±3 | |
| 심도 해상도 및 프레임 속도 | 최대 1280px × 720px @ 90fps | ||
| 최대 해상도에서 최소 심도 거리 | 45cm | 28cm | 52cm |
| 심도 정확도 | 2m에서 <2% | 4m에서 <2% | |
| 이상 및 최대 범위 | 0.5m ~ 3m | 0.3m ~ 3m | 0.6m ~ 6m |
| RGB 해상도, 프레임 속도 및 화면 비율 | 1920px × 1080px @ 30fps (16:9) | 1280px × 800px @ 30fps (8:5) | |
| RGB 시야각 | H: 69.4° V: 42.5° D: 77.0° | H: 91.2° V: 65.5° D: 100.6° | |
| RGB 렌즈 왜곡 | ≤1.5% | ||
| 장치 치수 | 99mm × 20mm × 23mm | 90mm × 25mm × 25mm | 124mm × 26mm × 29mm |
| 커넥터 | USB Type-C 3.1 Gen 1 | ||
| 장착 메커니즘 | 하나의 1/4-20UNC 나사산 장착 지점 | ||
| 두 개의 M3 나사산 장착 지점 | 두 개의 M4 나사산 장착 지점 | ||
인텔 리얼센스 비전 프로세서 D4 시리즈 사양
(별도로 사용할 수 없으며, 리얼센스 뎁스 카메라 시리즈의 기초로만 사용됨)
| 리얼센스 비전 프로세서 D4 | 리얼센스 비전 프로세서 D4M | |
|---|---|---|
| 심도 기술 | 스테레오 | |
| 폼 팩터 | ASIC BGA | |
| 패키지 크기 | 6.4mm x 6.4mm x 1mm | 4.7mm x 3.8mm x 0.55mm |
| 프로세스 기술 | 28nm | |
| 심도 최대 처리량 | 36.6 MP/sec (848×480@90fps) | |
| 심도 스트림 출력 해상도 | 최대 1280×720 | 최대 720×720 |
| 심도 스트림 출력 프레임 속도 | 최대 90fps | |
| RGB 센서 최대 해상도 및 최대 프레임 속도 | 1920×1080, 최대 60fps | 720×720, 최대 30fps |
| IR 프로젝터 제어 | 예 | |
| 호스트 인터페이스 | USB 3.0 | 2x MIPI |
| 멀티 카메라 지원 | 예, 최대 5개 | 최대 30fps |
| I/O | 5x MIPI CSI-2, 5x I2C, 1x SPI, GPIO, 타이머 | 2x MIPI 1x I2C, 1x SPI, GPIO, 타이머 |
인텔 스테레오 심도 모듈 SKU 사양
(별도로 사용할 수 없으며, 리얼센스 뎁스 카메라 시리즈의 기초로만 사용됨)
| D400 | D410 | D415 | D420 | D430 | |
|---|---|---|---|---|---|
| 심도 기술 | 수동 IR 스테레오 | 액티브 IR 스테레오 | 액티브 IR 스테레오 | 수동 IR 스테레오 | 액티브 IR 스테레오 |
| 이미지 센서 기술 | 롤링 셔터 | 롤링 셔터 | 롤링 셔터 | 글로벌 셔터 | 글로벌 셔터 |
| 심도 FOV(HD 16:9의 HxV) | 63.4degx 40.4deg | 63.4degx 40.4deg | 63.4degx 40.4deg | 85.2degx 58deg | 85.2degx 58deg |
| RGB 프레임 속도 및 해상도 | 최대 60FPS | ||||
| 심도 해상도 | 최대 1280x720 | ||||
| 심도 프레임 속도 | 최대 90fps | ||||
| 범위 | 0.16m-10m+ | 0.16m-10m+ | 0.16m-10m+ | 0.11m-10m+ | 0.11m-10m+ |