얼굴 인식 시스템

1. 개요

얼굴 인식 시스템은 사람의 얼굴을 컴퓨터가 인식하도록 하는 기술로, 1960년대에 연구가 시작되었다. 초기에는 인간이 얼굴 특징을 좌표로 지정해야 했지만, 기술 발전으로 1990년대에는 자동 얼굴 인식 시스템이 개발되었다. 이 기술은 소셜 미디어, 신원 확인, 의료, 정부 서비스, 보안 등 다양한 분야에 활용되며, 특히 스마트폰, ATM, 공항 출입국 심사 등에 적용된다. 그러나 프라이버시 침해, 데이터 보호 문제, 기술적 불완전성, 차별 등의 윤리적, 사회적 문제도 제기되며, 샌프란시스코 등 일부 도시에서는 사용을 금지하는 등 규제가 이루어지고 있다. 안면 인식 방지 기술 또한 개발되고 있다.

2. 역사

얼굴 인식 기술의 역사는 1960년대 우디 블레드소(Woody Bledsoe), 헬렌 찬 울프(Helen Chan Wolf), 찰스 비슨(Charles Bisson)의 선구적인 연구로 시작되었다. 이들은 컴퓨터가 사람 얼굴을 인식하도록 가르치는 연구를 진행했으며, 초기 얼굴 인식 프로젝트는 "인간-기계"라고 불렸다. 사람이 그래픽 태블릿을 사용하여 얼굴 특징의 좌표를 정확히 지정하면, 컴퓨터가 이를 바탕으로 거리를 계산하여 얼굴을 인식하는 방식이었다.

1970년, 카나데 타케오(Takeo Kanade)는 인간의 개입 없이 얼굴 특징을 자동 추출하고 거리 비율을 계산하는 시스템을 공개 시연했다. 1977년에는 얼굴 인식 기술에 관한 최초의 상세한 책을 출판하며 이 분야의 발전에 기여했다.

1990년대에는 주성분 분석(principal component analysis)(PCA)을 기반으로 한 고유얼굴(Eigenface) 방법이 개발되었다. 매튜 터크(Matthew Turk)와 알렉스 펜틀랜드(Alex Pentland)가 개발한 이 방법은 얼굴 인식에 필요한 데이터 양을 크게 줄였다. 이후 선형 판별 분석(linear discriminant analysis)(LDA)을 사용한 피셔얼굴(Fisherface)이 개발되어 PCA 특징 기반 얼굴 인식의 성능을 더욱 향상시켰다.

1990년대 후반에는 탄성 묶음 그래프 매칭(Elastic Bunch Graph Matching)을 활용한 보훔 시스템이 개발되었다. 크리스토프 폰 데어 말스부르크(Christoph von der Malsburg)와 그의 연구팀이 개발한 이 시스템은 가보 필터(Gabor filter)를 사용하여 얼굴 특징을 기록하고, 얼굴 구조의 정규격자(regular grid)를 계산하여 특징을 연결했다. 이 시스템은 ZN-Face로 상업화되어 독일 은행과 공항 등에서 사용되었다.

2001년에는 폴 비올라(Paul Viola)와 마이클 존스가 비올라-존스 객체 검출 프레임워크(Viola–Jones object detection framework)를 개발하여 실시간 얼굴 검출이 가능해졌다. 이들은 하르 특징(Haar-like feature)과 아다부스트(AdaBoost)를 결합하여 최초의 실시간 정면 보기 얼굴 검출기를 개발했다.

2010년대 이후, 딥 러닝 기반 얼굴 인식 기술이 등장하여 정확도가 크게 향상되었다.

2022년 러시아-우크라이나 전쟁에서 우크라이나는 클리어뷰 AI(Clearview AI) 얼굴 인식 소프트웨어를 사용하여 사망한 러시아 군인을 식별하고, 그 가족에게 연락하는 심리전을 펼쳤다.

3. 기술

자동 얼굴 인식 기술은 1960년대 우디 블레드소(Woody Bledsoe), 헬렌 찬 울프(Helen Chan Wolf), 찰스 비슨(Charles Bisson)이 개척했다. 이들의 초기 연구는 컴퓨터가 사람 얼굴을 인식하도록 가르치는 데 초점을 맞췄다. 초기 얼굴 인식 프로젝트는 "인간-기계"라고 불렸는데, 컴퓨터가 인식하기 전에 사람이 먼저 그래픽 태블릿을 사용하여 눈동자 중심, 눈의 안쪽과 바깥쪽 모서리, 헤어라인의 미망인의 봉우리(widows peak) 등 얼굴 특징 좌표를 정확히 지정해야 했기 때문이다. 이 좌표를 바탕으로 입과 눈의 너비를 포함한 20개의 거리를 계산했고, 이 거리 데이터베이스를 구축해 컴퓨터가 자동으로 각 사진의 거리를 비교하고 가장 가까운 기록을 가능한 일치 항목으로 반환했다.

1970년, 카나데 타케오(Takeo Kanade)는 턱과 같은 해부학적 특징을 찾고 인간 개입 없이 얼굴 특징 사이의 거리 비율을 계산하는 얼굴 일치 시스템을 공개 시연했다. 그러나 이 시스템은 항상 얼굴 특징을 안정적으로 식별하지는 못했다. 그럼에도 이 주제에 대한 관심은 커져, 1977년 카나데는 얼굴 인식 기술에 관한 최초의 상세한 책을 출판했다.

1993년, 방위고등연구계획국(DARPA)과 육군연구소(ARL)는 FERET 얼굴 인식 기술 프로그램을 설립하여 실생활 환경에서 자동 얼굴 인식 기능을 개발하고, 보안, 정보, 법 집행 담당자 업무를 지원하고자 했다. FERET 테스트 결과, 기존 자동 얼굴 인식 시스템 성능은 다양했지만, 통제된 환경에서 촬영된 정지 이미지의 얼굴은 실용적으로 인식할 수 있었다. 이 테스트를 통해 비전 코퍼레이션(Vision Corporation), 미로스(Miros Inc), 비이세이지 테크놀로지(Viisage Technology)와 같은 미국 회사들이 탄생했다.

1993년 FERET 얼굴 인식 공급업체 테스트 이후, 서버지니아주와 뉴멕시코주의 자동차등록국(DMV) 사무소는 자동 얼굴 인식 시스템을 사용해 여러 운전 면허 취득을 방지하기 시작했다. 당시 미국의 운전면허증은 일반적으로 인정되는 사진 신분증이었고, DMV 사무소는 기술 업그레이드를 통해 디지털 신분증 사진 데이터베이스를 구축하고 있었다. 이를 통해 DMV는 얼굴 인식 시스템을 사용해 새 운전 면허 사진을 기존 데이터베이스와 비교할 수 있었다. DMV 사무소는 자동 얼굴 인식 기술의 초기 주요 시장 중 하나가 되었고, 미국 시민에게 얼굴 인식을 표준 식별 방법으로 소개했다. 1990년대 미국 교도소 수감자 수 증가로 인해, 미국 주들은 디지털 생체 인식 데이터베이스를 통합한 자동화된 신원 확인 시스템을 구축했으며, 여기에는 얼굴 인식이 포함되기도 했다. 1999년, 미네소타주는 비전닉스(Visionics)의 FaceIT를 머그샷 예약 시스템에 통합해 범죄자를 추적했다.

1990년대까지 얼굴 인식 시스템은 주로 사람 얼굴의 사진 초상화를 사용해 개발되었다. 이후 주성분 분석(principal component analysis)(PCA)을 통해 이미지에서 얼굴을 안정적으로 찾는 연구가 활발해졌다. PCA 얼굴 검출 방법은 고유얼굴(Eigenface)로도 알려져 있으며, 매튜 터크(Matthew Turk)와 알렉스 펜틀랜드가 개발했다. 이들은 카루넨-뢰브 정리(Karhunen–Loève theorem)과 요인 분석(factor analysis)을 결합해 선형 모델을 개발했다. 고유얼굴은 사람 얼굴의 전역적이고 직교(orthogonal)적인 특징을 기반으로 결정되며, 사람 얼굴은 여러 개 고유얼굴의 가중(weighted) 조합으로 계산된다. 이 방법은 처리해야 하는 데이터 양을 크게 줄였다. 1994년, 펜틀랜드는 고유 눈, 고유 입, 고유 코를 포함한 고유얼굴 특징을 정의해 얼굴 인식에서 PCA 사용을 발전시켰다. 1997년에는 선형 판별 분석(linear discriminant analysis)(LDA)을 사용해 피셔얼굴(Fisherface)을 생성함으로써 PCA 고유얼굴 얼굴 인식 방법이 개선되었다.

1990년대 후반, 가보 필터(Gabor filter)를 사용해 얼굴 특징을 기록하고 얼굴 구조의 정규격자(regular grid)를 계산하는 보훔 시스템이 등장했다. 크리스토프 폰 데어 말스부르크(Christoph von der Malsburg)와 보훔 대학교(University of Bochum) 연구팀은 1990년대 중반 탄성 묶음 그래프 매칭(Elastic Bunch Graph Matching)을 개발해 피부 분할을 통해 이미지에서 얼굴을 추출했다. 1997년까지 말스부르크가 개발한 얼굴 검출 방법은 시장의 다른 시스템보다 성능이 뛰어났다. "보훔 시스템"은 ZN-Face로 상업적으로 판매되었으며, 콧수염, 수염, 헤어스타일 변경, 안경, 선글라스와 같은 식별 장애물을 통과할 수 있었다.

2001년, 폴 비올라(Paul Viola)와 마이클 존스는 비올라-존스 객체 검출 프레임워크(Viola–Jones object detection framework)를 통해 비디오 영상에서 실시간 얼굴 검출을 가능하게 했다. 이들은 하르 특징(Haar-like feature) 접근 방식과 얼굴 검출 방법을 결합해 최초의 실시간 정면 보기 얼굴 검출기인 아다부스트(AdaBoost)를 출시했다. 2015년까지 비올라-존스 알고리즘은 휴대용 장치와 임베디드 시스템에서 소형 저전력 검출기를 사용해 구현되었다. 이는 얼굴 인식 시스템 응용 분야를 넓혔을 뿐만 아니라 사용자 인터페이스와 화상 회의의 새로운 기능을 지원했다.

최근 우크라이나는 미국 기반 클리어뷰 AI(Clearview AI) 얼굴 인식 소프트웨어를 사용해 사망한 러시아 군인을 식별하고 있다. 8,600건의 검색을 통해 582명 러시아 군인 가족을 확인하고, 이들에게 연락해 러시아 활동에 대한 인식을 높이고 있다. 이는 심리전의 한 형태로 볼 수 있으며, 5개 정부 부처 약 340명 우크라이나 정부 관리가 이 기술을 사용하고 있다. 클리어뷰 AI 얼굴 인식 데이터베이스는 정부 기관에만 제공된다. 러시아는 이 기술을 반전 활동가를 찾는 데 사용하고 있으며, 이는 새로운 윤리적 문제를 제기한다.

얼굴 인식은 컴퓨팅 분야에서 어려운 패턴 인식 문제이다. 얼굴 인식 시스템은 3차원적이며 조명과 표정에 따라 모습이 변하는 사람 얼굴을 2차원 이미지를 기반으로 식별해야 한다. 이를 위해 얼굴 인식 시스템은 네 단계를 거친다. 첫째, 얼굴 검출을 통해 이미지 배경에서 얼굴을 분할한다. 둘째, 분할된 얼굴 이미지를 정렬하여 얼굴의 자세, 이미지 크기, 조명 및 명암을 고려한다. 셋째, 얼굴 특징 추출을 통해 눈, 코, 입과 같은 특징을 정확하게 찾아 측정한다. 넷째, 설정된 얼굴의 특징 벡터를 얼굴 데이터베이스와 비교한다.

2016년, 남아프리카 공화국 요하네스버그시는 자동 번호판 인식 및 얼굴 인식 기능이 포함된 스마트 CCTV 카메라를 도입한다고 발표했다.

얼굴 인식 알고리즘은 얼굴 이미지에서 두드러진 특징을 추출해 식별한다. 예를 들어 얼굴 부위의 상대적 위치나 크기, 눈, 코, 광대뼈, 턱 형태를 특징으로 이용한다. 이러한 특징을 사용해 일치하는 특징이 있는 이미지를 검색한다. 다른 알고리즘은 다수 얼굴 이미지에서 표준화된 데이터를 만들고, 개별 얼굴 이미지는 그 표준 데이터와 차이만 압축해 얼굴 인식에 필요한 데이터만 남긴다.

인식 알고리즘은 외관상 특징을 직접 기하학적으로 비교하는 방법과, 이미지를 통계적으로 수치화해 그 수치를 템플릿과 비교하는 방법으로 분류할 수 있다. 주요 얼굴 인식 알고리즘에는 주성분 분석을 사용한 고유얼굴, 선형 판별 분석, 탄성 붕치 그래프 매칭, 숨겨진 마르코프 모델, 뉴런 동기 부여에 의한 다이나믹 링크 매칭 등이 있다.

3.1. 전통적인 방법

얼굴 인식 알고리즘은 피사체의 얼굴 이미지에서 랜드마크나 특징을 추출하여 얼굴의 특징을 식별한다. 예를 들어, 알고리즘은 눈, 코, 광대뼈, 턱의 상대적 위치, 크기 및/또는 모양을 분석할 수 있다. 그런 다음 이러한 특징을 사용하여 일치하는 특징이 있는 다른 이미지를 검색한다.

다른 알고리즘은 얼굴 이미지 갤러리를 정규화한 다음 얼굴 데이터를 압축하여 얼굴 인식에 유용한 이미지 데이터만 저장한다. 그런 다음 프로브 이미지를 얼굴 데이터와 비교한다. 초기 성공적인 시스템 중 하나는 눈에 띄는 얼굴 특징 집합에 적용된 템플릿 매칭 기법을 기반으로 하며, 일종의 압축된 얼굴 표현을 제공한다.

인식 알고리즘은 크게 두 가지 주요 접근 방식으로 나눌 수 있다. 하나는 기하학적 접근 방식으로, 얼굴의 구별되는 특징을 분석한다. 다른 하나는 광도 측정 접근 방식으로, 이미지를 값으로 추출하고 템플릿과 값을 비교하여 분산을 제거하는 통계적 접근 방식이다.

널리 사용되는 인식 알고리즘에는 고유얼굴(eigenface)을 사용하는 주성분 분석, 선형 판별 분석, 탄성 번치 그래프 매칭(Fisherface 알고리즘 사용), 은닉 마르코프 모델, 텐서 표현을 사용하는 다중 선형 부분 공간 학습, 그리고 신경망에서 영감을 받은 동적 링크 매칭이 있다.

3.2. 3차원 인식

3차원 얼굴 인식 기술은 3D 센서를 사용하여 얼굴의 형태에 대한 정보를 캡처한다. 그런 다음 이 정보를 사용하여 눈窩 윤곽, 코, 턱과 같은 얼굴 표면의 독특한 특징을 식별한다.

3차원 얼굴 인식의 장점 중 하나는 다른 기술과 달리 조명 변화의 영향을 받지 않는다는 것이다. 또한 측면과 같이 다양한 각도에서 얼굴을 식별할 수 있다. 얼굴의 3차원 데이터 지점은 얼굴 인식의 정확도를 크게 향상시킨다. 3차원 얼굴 인식 연구는 얼굴에 구조화된 광을 투사하는 정교한 센서의 개발로 가능해졌다. 3차원 매칭 기술은 표정에 민감하므로, 테크니온의 연구원들은 측정 기하학의 도구를 적용하여 표정을 등거리 변환으로 처리했다.

얼굴의 3차원 이미지를 캡처하는 새로운 방법은 서로 다른 각도를 향하는 세 개의 추적 카메라를 사용한다. 하나의 카메라는 피사체의 정면을, 두 번째 카메라는 측면을, 세 번째 카메라는 각도를 향하게 된다. 이 모든 카메라는 실시간으로 피사체의 얼굴을 추적하고 얼굴을 감지하고 인식할 수 있도록 함께 작동한다.

최근 새로운 트렌드로, 보이지 않는 부분까지 고려하여 정확성을 달성하려는 3차원 얼굴 인식이 있다. 이 기법에서는 3차원 센서를 사용하여 얼굴의 입체적인 정보를 얻는다. 거기에서 안와, 코, 턱의 윤곽 등 두드러진 특징을 추출하여 사용한다.

3차원 얼굴 인식의 장점은 다른 기법에 비해 이미지의 밝기에 영향을 받지 않는다는 점이다. 또한 다양한 각도의 얼굴 이미지라도 인식할 수 있다.

3차원 얼굴 인식도 표정 변화에는 약하다. 이스라엘 공과대학교에서는 표정 변화를 등거리 사상으로 파악하는 기법을 연구하고 있다.

3.3. 열화상 인식

얼굴 인식을 위한 또 다른 방법으로 열화상 카메라를 사용하는 것이 있다. 이 방법을 사용하면 카메라가 머리 형태만 감지하고, 안경, 모자, 화장과 같은 부착물은 무시한다. 기존 카메라와 달리 열화상 카메라는 플래시를 사용하지 않고도 저조도 및 야간 조건에서도 얼굴 이미지를 캡처할 수 있으며, 카메라 위치도 노출되지 않는다. 그러나 얼굴 인식에 사용되는 열화상 이미지 데이터베이스는 제한적이다. 2004년부터 열 얼굴 이미지 데이터베이스를 구축하려는 노력이 있었으며, 2016년에는 IIITD-PSE 및 노트르담 열 얼굴 데이터베이스 등 여러 데이터베이스가 존재했다. 현재 열 얼굴 인식 시스템은 야외 환경에서 촬영된 열 이미지에서 얼굴을 안정적으로 감지하는 데는 어려움이 있다.

2018년, 미 육군 연구소(ARL) 연구원들은 열화상 카메라로 얻은 얼굴 이미지를 기존 카메라로 캡처한 데이터베이스의 얼굴 이미지와 일치시키는 기술을 개발했다. 이 방법은 서로 다른 두 이미징 방식에서 얼굴 인식을 연결하기 때문에 교차 스펙트럼 합성 방법으로 알려져 있으며, 여러 얼굴 영역과 세부 사항을 분석하여 단일 이미지를 합성한다. 이 방법은 특정 열 이미지를 해당 가시 얼굴 이미지에 매핑하는 비선형 회귀 모델과 잠재 투영을 이미지 공간으로 다시 투영하는 최적화 문제로 구성된다. ARL 과학자들은 이 방법이 전역 정보(전체 얼굴 특징)와 지역 정보(눈, 코, 입 특징)를 결합하여 작동한다고 밝혔다. ARL에서 수행한 성능 테스트에 따르면 다중 영역 교차 스펙트럼 합성 모델은 기준 방법보다 약 30%, 최첨단 방법보다 약 5% 성능이 향상되었다.

3.4. 피부 결 분석

최근에는 피부의 외관 세부 사항을 얼굴 인식에 응용하는 경향이 있다. 이미지에서 주름과 기미를 특정하여 수치화하는 것이다. 이를 피부 결 분석(Skin texture analysis)이라고 하며, 얼굴 인식에 이용했을 때 기존의 20%~25% 인식률이 향상되었다는 보고도 있다.

4. 응용 분야

얼굴 인식 시스템은 다양한 분야에 응용되고 있다.

룩서리(Looksery)는 2014년에 실시간 비디오에 증강현실을 적용한 얼굴 수정 앱을 출시했으며, 이후 스냅챗에 인수되어 랜드마크 렌즈 기능의 기반이 되었다. 페이스북의 딥페이스(DeepFace)는 97%의 정확도를 가진 심층 학습 얼굴 인식 시스템이다. 틱톡(TikTok)은 얼굴 인식을 사용하여 연령, 성별, 민족을 식별했다는 소송에 대해 92의 합의금을 지불했다.

안드로이드 4.0 "아이스크림 샌드위치"는 스마트폰 잠금 해제 수단으로 얼굴 인식 기능을 추가했다. 애플은 아이폰 X부터 Face ID를 도입하여 아이폰 잠금 해제, 애플 페이(Apple Pay) 인증 등에 활용하고 있다. Face ID는 적외선 조명 시스템을 사용하여 얼굴을 인식한다.

얼굴 인식 알고리즘은 일부 질병을 진단하는 데 도움을 줄 수 있다. FDNA는 약 5,000가지 질병에 대한 데이터베이스를 개발했으며, 그중 1,500가지는 안면 인식 알고리즘으로 감지할 수 있다고 주장했다.

인도에서는 백신 접종을 원하는 사람들의 신원을 확인하는 데, 메갈라야 주에서는 연금 수령자의 신원을 확인하는 데 얼굴 인식 기술(FRT)이 사용될 것이라고 발표했다. 멕시코 정부는 부정투표를 막기 위해 얼굴 인식 소프트웨어를 도입했다.

영국 경찰은 공공 행사에서 실시간 얼굴 인식 기술을 사용하고 있으며, 미국 국무부는 대규모 얼굴 인식 시스템을 운영하고 있다. 연방수사국(FBI)은 이 시스템을 수사 도구로 활용한다. 중국은 "톈왕(天網)" 프로젝트를 통해 전국적인 폐쇄회로텔레비전(CCTV) 감시 네트워크를 구축하고 얼굴 인식 기술을 활용하고 있다.

미국 기업 3VR(현재 Identiv)은 소매업체에 얼굴 인식 시스템과 서비스를 제공하기 시작했다. 라이트에이드(Rite Aid)는 여러 업체의 안면 인식 영상 감시 시스템 및 구성 요소를 배치했다. 호주 소비자 단체인 초이스(Choice)는 호주의 Kmart, Bunnings, The Good Guys에서 얼굴 인식 기술이 사용되고 있다고 보고했다. 마루젠 준쿠도 서점 전 매장에 얼굴 인식 시스템을 이용한 절도 방지 시스템이 도입되었다.

2001년 슈퍼볼 XXXV에서 경찰은 잠재적 범죄자와 테러리스트를 찾기 위해 얼굴 인식 소프트웨어를 사용했다. 테일러 스위프트는 2018년 한 콘서트에서 알려진 스토커들을 식별하기 위해 얼굴 인식 기술을 사용했다. 맨체스터 시티는 팬들을 위한 초고속 차선에 얼굴 인식 시스템을 배치했다. 2019년, 호주와 뉴질랜드의 카지노는 절도를 방지하기 위해 얼굴 인식을 도입했다. 2020년에는 미국의 COVID-19 범유행 중에 미식축구 경기장이 다가오는 경기를 위해 비접촉식 입장 과정을 위한 얼굴 인식 시스템 설치를 발표했다.

미디어 회사들은 사진과 비디오의 추적, 정리 및 보관을 간소화하기 위해 얼굴 인식 기술을 사용하기 시작했다.

다음은 이미지 관리 소프트웨어에 내장된 얼굴 인식 시스템의 예시이다.

4.1. 소셜 미디어

페이스북은 딥페이스(DeepFace)라는 심층 학습 얼굴 인식 시스템을 사용하여 디지털 이미지에서 사람의 얼굴을 식별한다. 이 시스템은 97%의 정확도를 가진다고 알려져 있는데, 이는 FBI의 차세대 신원 확인(Next Generation Identification) 시스템의 정확도(85%)보다 높은 수치이다.

스냅챗은 룩서리(Looksery)를 인수하여 랜드마크 렌즈 기능을 만들었다. 스냅챗 필터 애플리케이션은 얼굴 인식 기술을 사용하여 이미지에서 식별된 얼굴 특징을 바탕으로 3D 메시 마스크를 얼굴 위에 겹쳐서 보여준다.

틱톡(TikTok)은 사용자 비디오와 알고리즘에서 안면 인식을 사용하여 연령, 성별, 민족을 식별했다는 소송에 대해 92의 합의금을 지불했다.

4.2. 신원 확인

얼굴 인식은 스마트폰 잠금 해제, 금융 서비스, 전자 상거래 등에서 본인 확인 수단으로 널리 활용되고 있다. 안드로이드 4.0 "아이스크림 샌드위치"는 스마트폰 전면 카메라를 사용하여 기기를 잠금 해제하는 수단으로 얼굴 인식 기능을 추가했다. 애플의 Face ID는 적외선 조명 시스템을 사용하여 얼굴을 인식하며, 모자, 안경, 수염 등 외모 변화에도 대응한다.

애플은 아이폰 X에 Touch ID를 계승하는 생체 인증 시스템인 Face ID를 도입했다. Face ID는 "로미오" 모듈에서 3만 개가 넘는 적외선 점을 얼굴에 투사하고, "줄리엣" 모듈이 패턴을 읽어 중앙 처리 장치(CPU)의 로컬 "시큐어 인클레이브"로 전송하여 얼굴 일치 여부를 확인한다. 얼굴 패턴은 애플이 접근할 수 없으며, 눈을 감은 상태에서는 작동하지 않아 무단 접근을 방지한다.

아이폰 X는 2017년부터 페이스 ID(Face ID)라는 얼굴 인식 시스템을 채택하여, 사용자 얼굴을 기기에 등록하고 내장 카메라로 얼굴을 식별하여 아이폰 잠금 해제, 애플 온라인 스토어 구매, 애플 페이(Apple Pay) 인증 등에 사용한다. 현재는 대부분의 안드로이드 스마트폰도 얼굴 인식을 채택하고 있다.

이 외에도 ATM 보안, 인터넷 사이트 로그인 등 다양한 활용 방법이 개발되고 있다.

4.3. 의료

얼굴 인식 알고리즘은 코, 뺨 및 얼굴의 다른 부분의 특징을 사용하여 일부 질병을 진단하는 데 도움을 줄 수 있다. 개발된 데이터 세트를 기반으로 기계 학습은 얼굴 치수만을 기반으로 유전적 이상을 식별하는 데 사용되었다. 안면 인식 기술(FRT)은 수술 절차 전에 환자를 확인하는 데에도 사용되었다.

2022년 3월, 포브스(Forbes)의 한 발표에 따르면, AI 개발 회사인 FDNA는 10년 동안 유전학자들과 협력하여 약 5,000가지 질병에 대한 데이터베이스를 개발했으며, 그중 1,500가지는 안면 인식 알고리즘으로 감지할 수 있다고 주장했다.

의료 과실을 방지하기 위해 안면 인식 시스템을 도입하여 진찰권에 내장된 얼굴 사진과 함께 본인 확인을 하는 병원도 있다. 진찰권을 잊어버린 경우에도 안면 인식 시스템을 이용하여 접수받을 수 있다.

4.4. 정부 서비스

인도에서는 백신 접종을 원하는 사람들의 신원을 확인하는 데 아다르(Aadhaar)와 함께 안면 인식 기술을 사용할 것이라고 국립보건당국 수장인 R.S. 샤르마 박사가 인터뷰에서 밝혔다. 10개의 인권 및 디지털 권리 단체와 150명이 넘는 개인이 인터넷 자유 재단(Internet Freedom Foundation)의 성명서에 서명하여 중앙 정부의 백신 접종 운영 과정에 안면 인식 기술이 배치되는 것에 대한 우려를 제기했다. 이들은 필수적인 안전 장치가 포함된 적절한 법률 없이 오류가 발생하기 쉬운 시스템을 구현하면 시민들이 필수 서비스를 이용할 수 없게 되며, 이러한 미검증 기술을 인도의 백신 접종 계획과 연결하면 백신 접종 시스템에서 사람들이 배제될 것이라고 경고했다.

2021년 7월, 메갈라야 주 정부는 "연금 수급자 생존 증명 확인" 모바일 애플리케이션을 사용하여 디지털 생존 증명서를 발급하기 위해 연금 수령자의 신원을 확인하는 데 안면 인식 기술(FRT)이 사용될 것이라고 발표했다. 법대생인 제이드 제레미아 릉도는 관련 당국에 법적 통지문을 보내 "개인 데이터 처리를 규제하는 기반 법률 없이 애플리케이션이 출시되었으며, 따라서 법적 근거가 없고 정부는 데이터를 처리할 권한이 없다"고 강조했다.

2000년 대통령 선거에서 멕시코 정부는 부정투표를 막기 위해 안면 인식 소프트웨어를 도입했다. 이는 일부 개인이 여러 이름으로 등록하여 중복 투표를 시도했기 때문이다.

4.5. 보안

공항, 항만, 국경 등에서 출입국 관리 및 테러 용의자 감시에 얼굴 인식 시스템이 활용된다. 영국 경찰은 2015년부터 공공 행사에서 실시간 얼굴 인식 기술을 시험해 왔으며, 런던경찰청은 2020년부터 정기적으로 사용하고 있다. 2017년 5월에는 사우스웨일즈 경찰이 차량에 장착된 자동 얼굴 인식(AFR) 시스템을 사용하여 용의자를 체포하기도 했다. 그러나 2018년 보고서에 따르면 이 시스템의 정확도는 최대 98%까지 낮았다. 2020년 8월 잉글랜드 및 웨일즈 항소법원은 사우스웨일즈 경찰의 얼굴 인식 시스템 사용 방식이 인권을 침해했다고 판결했다.

미국 국무부는 운전면허 사진을 주로 활용하여 1억 1700만 명의 미국 성인 데이터베이스를 보유한 대규모 얼굴 인식 시스템을 운영하고 있다. 연방수사국(FBI)은 이 시스템을 수사 도구로 활용하며, 샌디에이고와 로스앤젤레스에서는 경찰이 체포 사진을 통해 인물을 식별하는 데 사용했다. 메릴랜드주에서는 운전면허 사진과 비교하는 방식으로 얼굴 인식을 사용해왔으며, 이는 프레디 그레이 사망 사건 이후 시위대를 체포하는 데 활용되어 논란이 되기도 했다. 미국 세관 및 국경 보호청은 미국 공항에 "생체 인식 얼굴 스캐너"를 배치하여 출입국 절차에 활용하고 있다.

중국은 "톈왕(天網)" 프로젝트를 통해 전국적인 폐쇄회로텔레비전(CCTV) 감시 네트워크를 구축하고 얼굴 인식 기술을 활용하고 있다. 2017년 칭다오 국제 맥주 축제에서는 얼굴 인식 장비를 통해 25명의 지명 수배자를 식별했으며, 2018년 정저우와 베이징의 경찰은 스마트 안경을 활용하여 용의자를 식별했다. 중국은 신장 위구르 자치구에 얼굴 인식 기술을 배치하여 위구르족 공동체를 감시한다는 비판을 국제사회로 부터 받고 있다.

4.6. 소매점

미국 기업 3VR(현재 Identiv)은 2007년 초부터 소매업체에 얼굴 인식 시스템과 서비스를 제공하기 시작한 공급업체의 한 예이다. 2012년, 이 회사는 "고객 대기 시간 단축을 위한 체류 및 대기열 분석", "직원의 개인화된 고객 인사를 용이하게 하는 얼굴 감시 분석", "판매 시점(POS) 데이터와 얼굴 인식을 결합하여 로열티 프로그램을 만드는 기능"과 같은 이점을 광고했다. 2018년, 미국 소매협회(National Retail Federation) 손실예방연구위원회(Loss Prevention Research Council)는 안면 인식 기술을 평가할 가치가 있는 "유망한 새로운 도구"라고 불렀다.

2020년 7월, 로이터(Reuters) 통신은 2010년대에 미국 내 일부 약국 체인인 라이트에이드(Rite Aid)가 FaceFirst, DeepCam LLC 등 여러 업체의 안면 인식 영상 감시 시스템 및 구성 요소를 배치했다고 보도했다. 라이트에이드의 자산보호 부사장 캐시 랭글리(Cathy Langley)는 이 시스템을 "특징 일치(feature matching)"라고 언급하며, 이 시스템 사용으로 회사 매장의 폭력 및 조직 범죄가 감소했고, 전 자산보호 부사장 밥 오베로슬러(Bob Oberosler)는 직원 안전 향상과 법 집행 기관 개입 필요성 감소를 강조했다. 로이터 통신의 보도 이후, 라이트에이드는 안면 인식 소프트웨어 사용을 중단하고 카메라를 껐다고 밝혔다.

미국 소매협회 손실예방연구위원회의 리드 헤이즈(Read Hayes) 이사에 따르면, 라이트에이드의 감시 프로그램은 소매업계에서 가장 크거나 그중 하나였다. 홈디포, 메나즈(Menards), 월마트, 세븐일레븐 등 다른 미국 소매업체들도 대규모 안면 인식 기술 시범 프로그램 또는 배치에 참여하고 있다.

로이터 통신의 조사에 따르면, 유색인종(Person of color)이 가장 큰 인종 또는 민족 집단을 구성하는 지역의 라이트에이드 매장은 안면 인식 기술이 설치될 가능성이 세 배나 높았다. 이는 미국의 오랜 인종 차별과 인종 프로파일링과 관련된 우려를 제기한다. 라이트에이드는 위치 선정이 각 매장의 절도 이력, 지역 및 전국 범죄 데이터, 현장 인프라를 기반으로 한 "데이터 중심적"이었다고 밝혔다.

2022년 6월, 호주 소비자 단체인 초이스(Choice)는 호주의 Kmart, Bunnings, The Good Guys에서 얼굴 인식 기술이 사용되고 있다고 보고했다. The Good Guys는 호주 정보 커미셔너 사무소에 대한 초이스의 법적 문제 제기가 진행되는 동안 해당 기술의 사용을 중단했지만, Bunnings는 계속해서 기술을 사용했고, Kmart는 기술 시험을 유지했다.

전국 약 100개 매장을 운영하는 마루젠 준쿠도 서점 전 매장에 얼굴 인식 시스템을 이용한 절도 방지 시스템이 도입되었다. 절도를 저질렀을 가능성이 있는 고객의 얼굴 데이터를 데이터베이스에 등록하여, 매장에 방문하면 감지한다. 매장 내에는 "방범 카메라 작동 중"이라고 고지하고 있지만, 얼굴 인식 기능이 있다는 사실은 고지하지 않았다. 이에 대해 프라이버시 문제 전문 변호사인 모리 료지는 "특정 개인을 추적하는 기능을 가진 얼굴 인식 시스템의 초상권 및 프라이버시 침해 정도가 더 크며, 양자는 구별할 필요가 있다. 얼굴 인식 시스템을 채택하고 있다는 것을 명기하고, 싫다고 느낀 사람은 해당 매장을 이용하지 않도록 하는 등 투명성을 확보하는 것이 중요하다"고 언급했다. 마루젠 준쿠도는 이후 표시 변경을 검토한다는 의견을 표명했다.

4.7. 기타

2001년 1월에 열린 슈퍼볼 XXXV 미식축구 챔피언십 경기에서 플로리다주 탬파베이 경찰은 잠재적 범죄자와 테러리스트를 찾기 위해 얼굴 인식 소프트웨어를 사용했다. 그 결과, 경미한 범죄 기록이 있는 19명이 잠재적으로 확인되었다.

미국의 팝 음악과 컨트리 음악 스타인 테일러 스위프트는 2018년 한 콘서트에서 은밀하게 얼굴 인식 기술을 사용했다. 카메라는 티켓 부스 근처의 키오스크에 내장되어 있었고, 알려진 스토커들을 식별하기 위해 콘서트 참석자들을 입장 시 스캔했다.

2019년 8월 18일, 더 타임스는 UAE 소유의 맨체스터 시티가 텍사스에 본사를 둔 회사인 Blink Identity를 고용하여 운전자 프로그램에 얼굴 인식 시스템을 배치했다고 보도했다. 이 클럽은 에티하드 스타디움에서 팬들을 위한 초고속 차선 하나를 계획했다. 그러나 시민 단체들은 이 기술의 도입에 대해 경고하며, 이것이 "대규모 감시 도구의 정상화" 위험을 초래할 것이라고 말했다.

2019년, 호주와 뉴질랜드의 카지노는 절도를 방지하기 위해 얼굴 인식을 도입했으며, 시드니 스타 카지노의 대표는 고객에게 바에 다시 오신 것을 환영하는 등 '고객 서비스'도 제공할 것이라고 말했다.

2020년 8월, 미국의 COVID-19 범유행 중에 뉴욕과 로스앤젤레스의 미식축구 경기장은 다가오는 경기를 위해 얼굴 인식 시스템 설치를 발표했다. 그 목적은 입장 과정을 가능한 한 비접촉식으로 만드는 것이다. 플로리다주 올랜도 근처의 디즈니의 매직킹덤 또한 팬데믹 동안 비접촉식 경험을 만들기 위해 얼굴 인식 기술 테스트를 발표했다.

미디어 회사들은 사진과 비디오의 추적, 정리 및 보관을 간소화하기 위해 얼굴 인식 기술을 사용하기 시작했다.

다음은 이미지 관리 소프트웨어에 내장된 얼굴 인식 시스템의 예시이다.

5. 장단점

얼굴 인식 시스템은 다른 생체 인식 시스템에 비해 피험자의 협조 없이 대량 식별을 할 수 있다는 장점이 있어, 공항, 경기장 등 공공장소에서 보안 및 감시 목적으로 유용하게 사용될 수 있다. 그러나 여러 한계점과 문제점도 안고 있다.

장점:
* 비접촉식 인증: 지문 인식이나 홍채 인식과 달리 사용자의 직접적인 접촉 없이 인증 가능하다.

기술적 한계:
* 낮은 해상도 및 촬영 각도: 이미지 해상도가 낮거나 얼굴이 정면을 향하고 있지 않으면 인식률이 떨어진다.
* 표정 변화: 웃음, 찡그림 등 얼굴 표정 변화는 시스템의 효율성을 저하시킨다.
* 얼굴 가려짐: 선글라스, 마스크, 머리카락 등으로 얼굴 일부가 가려지면 인식률이 낮아진다.
* 피부색 및 인종 편향: 훈련 데이터 부족으로 인해 어두운 피부색이나 특정 인종에 대한 인식률이 낮을 수 있다. 이는 타인종 효과와 관련이 있다.
* 장애: 다운증후군과 같은 특정 장애를 가진 사람들을 식별하는 데 어려움을 겪을 수 있다.

사회적 문제:
* 낮은 신뢰도: 오인식 및 거부율이 높아, 실제 활용 시 기대만큼의 성능을 발휘하지 못하는 경우가 많다.
* 프라이버시 침해 우려: 공공장소에서의 무분별한 얼굴 정보 수집은 개인 정보 침해 및 감시 사회에 대한 우려를 낳는다.

실제 사례:
* 런던 뉴엄구의 시스템은 범죄자를 단 한 명도 인식하지 못했다.
* 플로리다 주 탬파의 실험도 실망스러운 결과를 얻었다.
* 보스턴 로건 국제공항 시스템은 2년간의 테스트 후 폐쇄되었다.

이러한 문제점들로 인해 얼굴 인식 시스템의 도입과 활용에는 신중한 접근이 필요하다.

5.1. 다른 생체 인식 시스템과의 비교

얼굴 인식 시스템은 다른 생체 인식 시스템에 비해 피험자의 협조 없이 대량 식별을 수행할 수 있다는 장점이 있다. 공항, 복합 영화관 등 공공장소에 설치된 시스템은 사람들이 인지하지 못하는 사이에도 군중 속에서 개인을 식별할 수 있다.

그러나 얼굴 인식은 다른 생체 인식 기술에 비해 신뢰성과 효율성이 낮을 수 있다. 조명, 표정, 자세, 노이즈 등 다양한 요인에 의해 얼굴 인식 시스템의 성능이 영향을 받는다. 특히 오인식률과 거부율이 높아, 철도 및 공항 보안, 법 집행 등에서 얼굴 인식 소프트웨어의 효과나 편향에 대한 의문이 제기되기도 한다.

반면, 지문, 홍채, 음성 등을 이용한 인증에서는 피험자의 협조가 필수적이므로, 얼굴 인식 시스템과 같은 활용은 불가능하다.

5.2. 단점

얼굴 인식 시스템은 여러 요인으로 인해 인식률이 저하될 수 있다.

* 낮은 해상도 및 촬영 각도: 저해상도 이미지는 얼굴 인식을 어렵게 만들며, 정면이 아닌 얼굴 각도(특히 측면)는 인식률을 크게 떨어뜨린다. 카네기 멜론 로보틱스 연구소의 랄프 그로스(Ralph Gross)는 얼굴 인식은 정면과 20도 각도까지는 비교적 정확하지만, 측면으로 갈수록 문제가 발생한다고 설명했다.
* 표정 변화: 큰 미소와 같은 표정 변화는 시스템의 효율성을 떨어뜨릴 수 있다. 예를 들어, 캐나다는 2009년에 여권 사진에서 중성적인 표정만 허용했다.
* 얼굴 가려짐: 선글라스 착용, 긴 머리카락, 기타 물체로 얼굴 일부가 가려지는 경우에도 인식률이 낮아진다.
* 피부색: 어두운 피부색은 밝은 피부색보다 인식률이 낮은 경향이 있다. 연구에 따르면, 18세에서 30세 사이의 흑인 여성의 경우 일관되게 가장 낮은 정확도를 보였다. 이는 훈련 데이터 세트에서 밝은 피부색을 가진 사람들이 과대 대표되어 어두운 피부색을 가진 사람들의 오류율이 높아지기 때문이다. 일반적인 이미지 압축 방법(예: JPEG)도 어두운 피부색을 가진 사람들의 성능을 불균형적으로 저하시키는 것으로 나타났다.
* 타인종 효과: 안면 인식 시스템은 유럽 중심적이지 않은 얼굴 특징을 가진 개인을 식별할 때 정확도가 낮은 경우가 많다. 타인종 효과로 인해 시스템이 훈련 데이터에서 과대 대표되는 인종에 대해서는 성능이 더 우수하지만, 과소 대표되는 집단에 대해서는 정확도가 낮아진다.
* 장애: 얼굴 인식 기술은 다운증후군 환자와 같이 장애인을 식별할 때 상당한 어려움에 직면한다. 안면 표정 인식 기술은 종종 지적 장애인의 감정 상태를 정확하게 해석하는 데 실패하기도 한다.
* 데이터 세트 불일치: 연구자들이 사용하는 데이터 세트가 다양하고, 때로는 특정 인종(주로 백인 남성)에 편향되어 있어 보편적인 정확도를 확보하기 어렵다.

이러한 문제점들로 인해, 시스템의 실제 성능은 광고되는 것만큼 높지 않을 수 있다. 예를 들어, 런던 뉴엄구의 시스템은 범죄자를 단 한 명도 인식하지 못했고, 플로리다 주 탬파의 실험도 실망스러운 결과를 얻었다. 보스턴 로건 국제공항 시스템은 2년간의 테스트 후 폐쇄되었다.

6. 윤리적, 사회적 문제

얼굴 인식 시스템은 여러 윤리적, 사회적 문제를 야기한다.

시민 권리 단체와 프라이버시 운동가들은 감시 기술로 인해 개인 정보 보호가 침해될 수 있다고 우려한다. 얼굴 인식은 개인 식별뿐만 아니라 다른 개인 데이터(사진, 블로그, 소셜 미디어, 인터넷 이용 행태, 여행 패턴 등)를 찾는 데에도 사용될 수 있기 때문이다. 이는 마케팅 담당자, 정부 기관 등이 개인 정보를 비밀리에 수집하여 일상적인 프라이버시를 침해할 수 있다는 문제를 야기한다. 또한, 소비자는 자신의 데이터가 어떻게 사용되는지 모르거나 동의하지 않을 수 있다.

2016년 러시아 회사 NtechLab의 FindFace 얼굴 인식 시스템은 프라이버시 스캔들을 일으켰다. 페이스북의 DeepFace는 생체 정보 프라이버시 법(BIPA) 위반으로 소송 대상이 되었다. EU의 개인정보보호규정(GDPR)에 따르면, 생체 데이터 처리는 민감한 정보이며, 안면 인식 데이터는 민감한 개인정보에 해당한다. 스웨덴에서는 GDPR 위반으로 학교에 과징금이 부과된 사례가 있다. 미국에서는 일리노이주, 캘리포니아주 등에서 생체 데이터 보호법이 시행되고 있다. 2020년 3월, 클리어뷰 AI는 생체 데이터 불법 수집 및 판매 혐의로 집단 소송을 당했다.

얼굴 인식 기술은 유색인종에게 정확도가 낮다는 비판을 받는다. 조이 불라무위니와 팀닛 게브루의 연구에 따르면, 상용 얼굴 인식 시스템에서 유색 여성의 성별 인식 오류율이 높게 나타났다. 훈련 데이터 세트가 밝은 피부색 남성에게 치우쳐 있었기 때문이다. 그러나 다른 연구에서는 일부 상용 소프트웨어의 경우 흑인에 대한 오류율이 더 낮게 나타나기도 했다.

전문가들은 얼굴 인식 시스템이 오히려 시민들에게 피해를 줄 수 있다고 우려한다. 불완전한 기술로 인해 오차 범위가 크기 때문에 체포 증거로 사용되어서는 안 된다는 것이다. 법 집행 분야에서 인종적 편향 테스트 요건 규정이 없어 사용에 결함이 있을 수 있다. 미국 국립표준기술원(NIST) 테스트 결과, 현재 어떤 FRT 시스템도 100% 정확도를 가지지 못한다는 결론이 나왔다.

얼굴 인식 알고리즘은 어두운 피부색을 가진 사람들에게서 성능이 떨어지는 경향이 있다. 이는 훈련 데이터에서 밝은 피부색 사람들이 과대표되기 때문이다. 일반적인 이미지 압축 방법도 어두운 피부색 사람들의 성능을 저하시킨다. 안면 인식 시스템은 유럽 중심적이지 않은 얼굴 특징을 가진 사람들을 식별할 때 정확도가 낮은 경우가 많다. 타인종 효과로 알려진 이러한 편향은 훈련 데이터에서 과대표되는 집단에 대해서는 성능이 좋지만, 과소대표되는 집단에 대해서는 정확도가 낮아진다.

이러한 문제들로 인해 일부 지역에서는 얼굴 인식 기술 사용을 금지하거나 규제하고 있다. 2019년 5월, 캘리포니아주 샌프란시스코는 미국 주요 도시 중 처음으로 얼굴 인식 소프트웨어 사용을 금지했다. 매사추세츠주 섬머빌과 캘리포니아주 오클랜드(Oakland, California)도 정부의 얼굴 인식 기술 사용을 금지했다. 미국 시민 자유 연합(American Civil Liberties Union, ACLU)은 감시 기술의 투명성을 위해 캠페인을 벌이고 있다. 조지 플로이드 시위(George Floyd protests) 이후 매사추세츠주 보스턴(Boston)을 비롯한 여러 도시에서 시 정부의 얼굴 인식 사용이 금지되었다.

얼굴 인식 기술 금지 지역은 다음과 같다.

인디애나주 웨스트 라파예트 시의회도 얼굴 인식 감시 기술 금지 조례를 통과시켰다. 매사추세츠주에서는 주 경찰 개혁법이 시행될 예정이었으나 주지사가 거부했다. 대신 사법 영장 요구, 수색 수행 직원 제한, 데이터 기록 등의 규정이 마련되었다. 일부 경찰서는 얼굴 인식 기술 금지 조치를 피해왔다는 보고도 있다. 2020년 1월, 유럽 연합은 얼굴 인식 기술 사용 일시 중지를 제안했지만 철회했다.

6.1. 프라이버시 침해

전자프런티어재단(Electronic Frontier Foundation), 빅브라더 워치(Big Brother Watch), 미국시민자유연맹(ACLU) 등 시민 권리 단체와 프라이버시 운동가들은 감시 기술의 사용으로 인해 개인 정보 보호가 침해되고 있다는 우려를 표명하고 있다. 얼굴 인식은 개인을 식별하는 데만 사용되는 것이 아니라, 개인과 관련된 다른 개인 데이터(예: 개인이 등장하는 다른 사진, 블로그 게시물, 소셜 미디어 프로필, 인터넷 이용 행태, 여행 패턴)를 찾아내는 데에도 사용될 수 있다. 어느 시점에서든 누가 자신의 행방과 함께 있는 사람들에 대한 정보에 접근할 수 있을지에 대한 우려가 제기되었다. 또한, 개인은 얼굴을 가리지 않는 한 얼굴 인식 추적을 피하거나 막을 수 있는 능력이 제한적이다. 이는 마케팅 담당자, 정부 기관, 또는 무작위의 낯선 사람이라도 얼굴 인식 시스템에 포착된 모든 개인의 신원과 관련된 개인 정보를 비밀리에 수집할 수 있도록 함으로써 일상적인 프라이버시의 역학을 근본적으로 바꾼다. 소비자는 자신의 데이터가 어떤 용도로 사용되는지 이해하지 못하거나 인식하지 못할 수 있으며, 이로 인해 자신의 개인 정보가 공유되는 방식에 동의할 수 없게 된다.

2016년, 러시아 회사 NtechLab은 FindFace 얼굴 인식 시스템을 출시하면서 국제 언론에서 프라이버시 스캔들을 일으켰다. 페이스북의 DeepFace는 생체 정보 프라이버시 법(Biometric Information Privacy Act)에 따라 여러 집단 소송의 대상이 되었으며, 페이스북이 2008년 생체 정보 프라이버시 법(BIPA)을 직접 위반하여 정보에 입각한 동의를 얻지 않고 사용자의 얼굴 인식 데이터를 수집하고 저장하고 있다고 주장하고 있다.

6.2. 데이터 보호

EU의 2016년 개인정보보호규정(GDPR, General Data Protection Regulation) 제9조(1)항에 따르면, "자연인을 고유하게 식별하는" 목적으로 생체 데이터를 처리하는 것은 민감한 정보이며, 이러한 방식으로 처리된 안면 인식 데이터는 민감한 개인정보가 된다. 2019년 9월, 스웨덴 데이터 보호청(DPA)은 수업 중 출석 확인을 위해 안면 인식 기술을 사용한 학교에 대해 GDPR 위반으로 최초의 과징금을 부과했다. 학교는 학생들의 생체 데이터를 불법 수집하고, 영향 평가를 완료하지 않았으며, DPA에 시범 사업을 알리지 않았다. 19000EUR의 벌금이 부과되었다.

미국에서는 여러 주가 생체 데이터의 개인 정보 보호를 위한 법률을 통과시켰다. 예를 들어, 일리노이주 생체정보보호법(BIPA, Biometric Information Privacy Act)과 캘리포니아 소비자 개인정보보호법(CCPA, California Consumer Privacy Act)이 있다. 2020년 3월, 캘리포니아 주민들은 클리어뷰 AI(Clearview AI)를 상대로 집단 소송을 제기하여, 이 회사가 온라인에서 생체 데이터를 불법 수집하고 안면 인식 기술을 사용하여 생체 데이터 데이터베이스를 구축하여 기업과 경찰에 판매했다고 주장했다.

6.3. 불완전한 기술

얼굴 인식 기술은 유색인종에게 정확도가 낮다는 주장이 제기되어 논란이 되고 있다. 조이 불라무위니(MIT 미디어랩)와 팀닛 게브루(마이크로소프트 리서치)의 연구에 따르면, 세 가지 상용 얼굴 인식 시스템에서 유색 여성의 성별 인식 오류율은 23.8%에서 36%였던 반면, 밝은 피부색의 남성은 0.0%에서 1.6%로 나타났다. 남성 식별 정확도(91.9%)는 여성(79.4%)보다 높았으며, 어떤 시스템도 성별의 비이진적 이해를 수용하지 않았다. 또한, 상용 얼굴 인식 모델 훈련에 사용된 데이터 세트는 더 넓은 인구 집단을 대표하지 못하고 밝은 피부색의 남성에게 치우쳐 있었다. 그러나 다른 연구에서는 전국 경찰서에 판매되는 여러 상용 얼굴 인식 소프트웨어의 경우 백인보다 흑인에 대한 오류 비일치율이 더 낮은 것으로 나타났다.

전문가들은 얼굴 인식 시스템이 경찰이 보호하려는 시민들에게 오히려 피해를 줄 수 있다고 우려한다. 이는 불완전한 생체 인식 기술로 간주되며, 조지타운 대학교 클레어 가르비 연구원의 연구에서는 "과학계에서 누군가를 긍정적으로 식별한다는 데 대한 합의는 없다"고 결론 내렸다. 법률 전문가와 얼굴 인식 소프트웨어 회사 모두 이 기술의 오차 범위가 매우 크기 때문에 사건의 일부만 제공해야 하며, 개인의 체포로 이어질 수 있는 증거는 제공해서는 안 된다고 말한다. 법 집행 분야에서 얼굴 인식 기술 회사를 규제하는 인종적 편향 테스트 요건 규정이 없어 사용 채택에 심각한 결함이 있을 수 있다. 법 집행 기관에 자체적으로 판매하는 회사인 CyberExtruder는 자체 소프트웨어의 편향에 대한 테스트나 연구를 수행하지 않았다고 밝혔다. CyberExtruder는 일부 피부색은 현재 기술의 한계로 인해 소프트웨어가 인식하기 더 어렵다는 점을 지적했다. CyberExtruder의 수석 소프트웨어 엔지니어인 블레이크 센프트너는 "매우 어두운 피부색을 가진 개인이 얼굴 인식을 통해 높은 유의성으로 식별하기 어려운 것처럼, 매우 창백한 피부색을 가진 개인도 마찬가지"라고 말했다.

미국 국립표준기술원(NIST)은 FRT 시스템 1:1 검증 및 1:다 식별에 대한 광범위한 테스트를 수행했다. 또한 다양한 인구 통계 집단에 걸친 FRT의 정확도 차이에 대해서도 테스트했다. 독립적인 연구 결과 현재 어떤 FRT 시스템도 100% 정확도를 가지고 있지 않다는 결론이 나왔다.

6.4. 차별

연구에 따르면 얼굴 인식 알고리즘은 어두운 피부색을 가진 사람들보다 밝은 피부색을 가진 사람들에게서 더 나은 성능을 보이는 경향이 있다. 이러한 차이는 주로 훈련 데이터 세트에서 밝은 피부색을 가진 사람들이 과대표되어 어두운 피부색을 가진 사람들의 오류율이 높아지기 때문이다. 예를 들어, 2018년 한 연구에서는 주요 상용 성별 분류 모델(얼굴 인식 모델임)이 어두운 피부색을 가진 사람들의 경우 밝은 피부색을 가진 사람들에 비해 최대 7배까지 오류율이 높다는 것을 발견했다.

JPEG 크로마 서브샘플링과 같은 일반적인 이미지 압축 방법은 어두운 피부색을 가진 사람들의 성능을 불균형적으로 저하시키는 것으로 나타났다. 이러한 방법은 색상 정보를 부적절하게 나타내어 알고리즘이 어두운 피부색을 가진 사람들을 정확하게 인식하는 능력에 악영향을 미친다.

안면 인식 시스템은 유럽 중심적이지 않은 얼굴 특징을 가진 개인을 식별할 때 정확도가 낮은 경우가 많다. 타인종 효과로 알려진 이러한 편향은 시스템이 훈련 데이터에서 과대표되는 인종 또는 민족 집단에 대해서는 성능이 더 우수하지만, 과소대표되는 집단에 대해서는 정확도가 낮아지는 경우 발생한다. 과대표되는 집단은 일반적으로 모델이 개발되는 지역에서 인구가 더 많은 집단이다. 예를 들어, 아시아 문화권에서 개발된 모델은 개발자의 훈련 데이터 세트에서 과대표됨에 따라 유럽 중심적 얼굴 특징보다 아시아계 얼굴 특징에 대해 일반적으로 성능이 더 우수하다. 유럽 중심적 문화권에서 개발된 모델에서는 그 반대의 현상이 관찰된다.

타인종 효과는 기계에만 국한되지 않는다. 인간 또한 자신과 다른 인종 또는 민족 집단의 얼굴을 인식하는 데 어려움을 겪는다. 이는 훈련 데이터 세트에 내재된 인간의 편향이 영속되는 한 예이다.

6.5. 금지 및 규제

2019년 5월, 캘리포니아주 샌프란시스코는 미국 주요 도시 중 처음으로 경찰 및 기타 지방 정부 기관의 얼굴 인식 소프트웨어 사용을 금지했다. 샌프란시스코 감독관인 애런 페스킨(Aaron Peskin)은 기관이 샌프란시스코 감독 위원회(San Francisco Board of Supervisors)의 승인을 받아야 감시 기술을 구매할 수 있도록 하는 규정을 도입했다. 이 규정은 또한 기관이 새로운 감시 기술의 예정된 용도를 공개적으로 공개하도록 요구한다. 2019년 6월, 매사추세츠주 섬머빌은 미국 동부 해안에서 처음으로 정부의 얼굴 감시 소프트웨어 사용을 금지한 도시가 되었다. 특히 경찰 수사 및 시정 감시에 있어서 말이다. 2019년 7월, 캘리포니아주 오클랜드(Oakland, California)는 시 부서의 얼굴 인식 기술 사용을 금지했다.

미국 시민 자유 연합(American Civil Liberties Union, ACLU)("ACLU")은 미국 전역에서 감시 기술의 투명성을 위해 캠페인을 벌였고 샌프란시스코와 섬머빌의 얼굴 인식 소프트웨어 금지 조치를 모두 지지했다.

조지 플로이드 시위(George Floyd protests) 기간 동안 매사추세츠주 보스턴(Boston)에서 시 정부의 얼굴 인식 사용이 금지되었다. 2020년 6월 10일 기준으로, 다음 지역에서 시정부 사용이 금지되었다.

인디애나주 웨스트 라파예트 시의회는 얼굴 인식 감시 기술을 금지하는 조례를 통과시켰다.

매사추세츠주에서는 주 경찰 개혁법(경찰 개혁 법)이 2021년 7월에 시행될 예정이었다. 입법부가 통과시킨 금지 조치는 찰리 베이커(Charlie Baker) 주지사에 의해 거부되었다. 대신 이 법은 사법 영장을 요구하고, 수색을 수행할 수 있는 직원을 제한하며, 기술 사용 방법에 대한 데이터를 기록하고, 향후 규정에 대한 권고안을 제시할 위원회를 설립한다.

2024년 보고서에 따르면 샌프란시스코 경찰국(San Francisco Police Department)을 포함한 일부 경찰서는 각 도시에서 제정된 얼굴 인식 기술 금지 조치를 피해 왔다고 밝혔다.

2020년 1월, 유럽 연합은 공공장소에서의 얼굴 인식 기술 사용을 일시 중지하는 모라토리엄을 제안했지만, 곧 철회했다.

7. 안면 인식 방지 기술

안면 인식 기술 방지 기술은 사생활 연구원들과 빅데이터 기업 간의 경쟁 속에서 개발되고 있다. 빅데이터 기업들은 합성곱 AI 기술을 사용하여 점점 더 정교한 안면 인식 모델을 만들고 있다. 안면 인식을 차단하는 해결책은 최신 소프트웨어나 다른 유형의 안면 인식 모델에는 효과가 없을 수 있다.

안면 인식 차단의 예시로는 CVDazzle 메이크업 및 헤어컷 시스템, 일본 국립 정보학 연구소에서 개발한 '프라이버시 바이저' 안경, 적대적 기계 학습을 이용한 패턴 생성 등이 있다.

* CVDazzle: 특정 안면 인식 알고리즘에 대응하도록 설계되었으며, 제작자들은 오래전부터 시대에 뒤떨어졌다고 언급한다.
* 프라이버시 바이저: 근적외선을 사용하여 안면 인식 소프트웨어가 인식할 수 없도록 만든다. 최신 버전은 티타늄 프레임, 반사 소재, 각도와 패턴을 사용하여 빛을 흡수하고 반사시켜 안면 인식 기술을 방해하는 마스크를 사용한다. 그러나 적외선 안면 인식을 방지하는 데 사용되며 일반 이미지의 AI 안면 인식에는 효과가 없다.
* 적대적 기계 학습: 기존 안면 인식 소프트웨어를 혼란스럽게 하는 새로운 인쇄 패턴을 만들어낸다.

CVDazzle로 알려진 특정 헤어컷과 메이크업 패턴은 사용된 알고리즘이 얼굴을 감지하지 못하도록 하여 안면 인식 시스템으로부터 보호하는 데 효과가 있을 수 있다. 우연히도, 주갈로스에서 인기 있는 메이크업 스타일도 안면 인식으로부터 보호할 수 있다.

전염성 바이러스로부터 보호하기 위해 착용하는 마스크는 안면 인식 시스템의 정확도를 낮출 수 있다. 2020년 NIST 연구에서는 마스크를 착용한 개인에 대한 실패율이 5~50% 사이임을 발견했다. 그러나 마스크를 쓴 얼굴의 안면 인식은 점점 더 신뢰할 수 있게 되고 있다.

인간 사용자에게는 정상적으로 보이지만 안면 인식 시스템을 속일 수 있는 이미지에 난독화를 적용하는 방법도 있다. ANU의 'Camera Adversaria' 카메라 앱과 시카고 대학교의 Fawkes 이미지 은폐 소프트웨어 알고리즘이 그 예시이다. 그러나 2021년에는 Fawkes 난독화 알고리즘이 이미 마이크로소프트 애저에 의해 특별히 공격을 받아 효과가 낮아졌다.