공정성

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사적 배경 및 맥락
3. 공정성 논쟁 및 한계
4. 편향의 유형
5. 공정성 기준
6. 편향 완화 전략
7. 한국 사회와 공정성
참조

1. 개요

공정성은 기계 학습 분야에서 2016년 이후 활발히 연구되는 주제로, 알고리즘의 편향 문제를 다룬다. 미국 COMPAS 소프트웨어의 인종차별 논란이 연구의 촉매제가 되었으며, IBM, 구글, 페이스북 등 기술 기업들이 관련 도구와 지침을 개발했다. 그러나 알고리즘 의사결정의 공정성 문제는 역사적으로 민권 운동과 1964년 민권법 통과 이후에도 논의되었으며, 언어, 성별, 정치적 편향 등 다양한 유형의 편향이 존재한다. 집단 공정성, 개인 공정성, 인과 관계 기반 측정, 사회후생함수 등 다양한 공정성 기준이 제시되었으며, 데이터 전처리, 학습 중 최적화, 후처리 등 편향 완화 전략이 연구되고 있다.

더 읽어볼만한 페이지

정보 윤리 - 알고리즘 편향
알고리즘 편향은 데이터 수집 및 설계, 사용 방식 등 다양한 단계에서 특정 집단에 불리한 결과를 초래하는 체계적인 오류로, 인종, 성별 등 민감한 속성에 따라 불공정성을 야기하며, 투명하고 책임감 있는 개발과 지속적인 연구 및 규제가 요구된다.
정보 윤리 - 가능성의 평등
컴퓨팅과 사회 - 알고리즘 편향
알고리즘 편향은 데이터 수집 및 설계, 사용 방식 등 다양한 단계에서 특정 집단에 불리한 결과를 초래하는 체계적인 오류로, 인종, 성별 등 민감한 속성에 따라 불공정성을 야기하며, 투명하고 책임감 있는 개발과 지속적인 연구 및 규제가 요구된다.
컴퓨팅과 사회 - 디지털 권리
디지털 권리는 인터넷 사용과 관련된 인권을 보호하고 증진하기 위한 개념이며, 인터넷 접근성을 보장하고 디지털 환경에서의 인권 보호를 위해 노력한다.
편향 - 알고리즘 편향
알고리즘 편향은 데이터 수집 및 설계, 사용 방식 등 다양한 단계에서 특정 집단에 불리한 결과를 초래하는 체계적인 오류로, 인종, 성별 등 민감한 속성에 따라 불공정성을 야기하며, 투명하고 책임감 있는 개발과 지속적인 연구 및 규제가 요구된다.
편향 - 젠더 이분법
젠더 이분법은 사회 구성원을 남성과 여성으로 엄격히 나누는 시스템으로, 생물학적 성을 기반으로 하지만 간성인의 존재로 인해 한계를 드러내며, 가부장적 규범 강화, 성소수자 차별, 다양한 젠더 정체성 배제 등의 문제를 야기하여 비판받는다.

공정성
지도
개요
설명	알고리즘 편향 측정은 알고리즘이 편향을 보이는 정도를 정량적으로 평가하는 과정이다.
목적	알고리즘의 공정성을 확보하고, 차별을 방지하기 위해 수행된다.
관련 분야	기계 학습 인공지능 사회적 영향
측정 방법
편향 종류 식별	알고리즘이 특정 그룹에 불리하게 작용하는 편향의 종류를 분석한다.
주요 변수 선택	측정에 사용할 종속변수와 독립변수를 정의한다.
측정 지표 선정	균등 기회 인구 통계 패리티 예측적 동등성 등의 공정성 측정 지표를 선택한다.
데이터 수집 및 전처리	알고리즘의 편향을 측정하기 위한 데이터를 수집하고 전처리 과정을 거친다.
알고리즘 실행 및 결과 분석	데이터셋을 사용하여 알고리즘을 실행하고 결과를 분석한다.
편향 정도 평가	선택한 측정 지표를 기반으로 알고리즘의 편향 정도를 수치화하여 평가한다.
개선 방안 마련	편향을 줄이기 위한 알고리즘 수정 및 재학습 전략을 수립한다.
주요 편향 종류
데이터 편향	훈련 데이터셋이 특정 그룹에 편향되어 알고리즘 결과가 왜곡되는 경우이다.
샘플링 편향	데이터셋의 샘플링 과정에서 오류가 발생하여 특정 그룹의 데이터가 과다 또는 과소 대표되는 경우이다.
알고리즘 편향	알고리즘 설계 자체가 특정 그룹에 유리하게 작동하도록 만들어진 경우이다.
인지 편향	알고리즘 개발자나 사용자의 주관적인 판단이 알고리즘에 반영되어 편향이 발생하는 경우이다.
측정 지표
인구 통계 패리티	각 그룹의 예측 결과가 전체 인구 분포와 유사해야 한다. 그룹별 결과 차이가 없어야 한다.
균등 기회	각 그룹에서 참 양성률과 거짓 양성률이 같아야 한다. 긍정적 결과에 대한 기회가 균등해야 한다.
예측적 동등성	각 그룹에서 예측이 정확해야 한다. 예측의 질이 그룹에 따라 차이가 없어야 한다.
윤리적 고려 사항
공정성 보장	알고리즘이 사회적 약자에게 불이익을 주지 않도록 공정성을 확보해야 한다.
책임성 확보	알고리즘의 편향으로 인한 결과에 대한 책임 소재를 명확히 해야 한다.
투명성 확보	알고리즘의 작동 방식과 편향 측정 과정을 투명하게 공개해야 한다.
개인 정보 보호	개인 정보 침해를 방지하고 정보보호 원칙을 준수해야 한다.
도전 과제
완벽한 공정성 달성	완벽하게 공정한 알고리즘을 만드는 것은 매우 어렵다.
편향 측정의 어려움	편향을 정확하게 측정하고 판단하는 것은 복잡하고 어렵다.
사회적 맥락 고려	편향은 사회적, 문화적 맥락에 따라 다르게 나타날 수 있다는 점을 고려해야 한다.
데이터 부족	특정 그룹에 대한 데이터 부족으로 인한 편향이 발생할 수 있다.

2. 역사적 배경 및 맥락

기계 학습에서의 공정성에 대한 논의는 비교적 최근의 주제이다. 2016년 이후로 이 주제에 대한 연구가 급증하였다.^[1] 이러한 증가는 미국 법원에서 재범 가능성을 예측하는 데 널리 사용되는 COMPAS 소프트웨어가 인종적으로 편향되어 있다고 주장한 프로퍼블리카(ProPublica)의 보고서에 부분적으로 기인한다.^[15] 초기 연구는 공정성의 정의, 편향의 기원과 유형, 편향 감소 방법에 초점을 맞추었다.^[2]^[3]

최근 몇 년 동안 IBM(IBM), 구글(Google), 페이스북(Facebook) 등의 기술 회사들은 기계 학습에서 편향(bias)을 감지하고 줄이는 도구와 설명서를 개발하기 시작했다.^[4]^[5]^[6]^[7]^[8] 그러나 비평가들은 회사의 노력이 불충분하다고 주장하며, 도구 사용이 선택 사항이고 직원들이 거의 사용하지 않는다고 보고했다.^[9]

결정 과정에서 공정성과 차별 검증에 대한 정량적 논의는 기계 학습 공정성 논쟁보다 수십 년 앞선다.^[10] 1960년대 중반과 1970년대 미국의 민권 운동(civil rights movement)과 1964년 민권법 통과의 결과로 과학계에서 활발한 논의가 이루어졌다. 1970년대 말, 서로 다른 공정성 개념으로 인해 논쟁이 사라졌다.

3. 공정성 논쟁 및 한계

알고리즘 의사결정을 법률 시스템에 사용하는 것은 면밀한 검토가 필요한 영역이다. 2014년 당시 미국 법무장관 에릭 홀더는 "위험 평가" 방법이 피고의 통제 범위를 벗어나는 요소에 과도하게 초점을 맞출 수 있다는 우려를 제기했다.^[14] 2016년 프로퍼블리카의 COMPAS에 대한 보고서는 흑인 피고가 백인 피고보다 잘못된 고위험군으로 분류될 가능성이 거의 두 배나 높다고 주장했으며, 백인 피고에 대해서는 반대의 실수를 저질렀다고 주장했다.^[15] COMPAS 제작자인 Northepointe Inc.는 이 보고서에 대해 자사의 도구는 공정하며 프로퍼블리카가 통계적 오류를 저질렀다고 반박했지만,^[16] 프로퍼블리카는 이를 다시 반박했다.^[17]

인종 및 성별 편향은 이미지 인식 알고리즘에서도 확인되었다. 카메라의 얼굴 및 움직임 감지 기능은 비백인 피험자의 얼굴 표정을 무시하거나 잘못 분류하는 것으로 나타났다.^[18] 2015년 구글은 구글 포토가 흑인 부부를 고릴라로 잘못 분류한 것에 대해 사과했다. 마찬가지로 플리커의 자동 태그 기능은 일부 흑인들을 "유인원"과 "동물"로 분류하는 것으로 나타났다.^[19] AI 알고리즘이 심사한 2016년 국제 미인 대회는 밝은 피부를 가진 사람들에게 편향되어 있는 것으로 나타났는데, 이는 훈련 데이터의 편향 때문일 가능성이 높다.^[20] 2018년 세 가지 상용 성별 분류 알고리즘에 대한 연구에 따르면 세 가지 알고리즘 모두 밝은 피부색 남성을 분류할 때 가장 정확했고, 어두운 피부색 여성을 분류할 때 가장 부정확했다.^[21] 2020년 트위터의 이미지 자르기 도구는 밝은 피부색 얼굴을 선호하는 것으로 나타났다.^[22] 2022년 텍스트-이미지 모델 DALL-E 2의 제작자들은 생성된 이미지가 성별이나 인종과 같은 특성에 따라 상당히 고정관념에 기반한다고 설명했다.^[23]^[24]

편향된 것으로 나타난 기계 학습 알고리즘이 사용되는 다른 영역으로는 구직 및 대출 신청이 있다. 아마존은 "여성"이라는 단어를 포함하는 이력서에 불이익을 주는 등 성차별적인 구직 신청 검토 소프트웨어를 사용했다.^[25] 2019년 애플의 새로운 애플 카드에 대한 신용카드 한도 결정 알고리즘은 재정을 공유하는 부부의 경우에도 남성에게 여성보다 훨씬 높은 한도를 제공했다.^[26] 2021년 더 마크업의 보고서에 따르면 미국에서 사용되는 주택 담보 대출 승인 알고리즘은 비백인 신청자를 거부할 가능성이 더 높은 것으로 나타났다.^[27]

최근 연구들은 기계 학습에서 공정성에 대한 현재 상황의 여러 한계점을 강조하고 있으며, 특히 AI의 실생활 응용이 끊임없이 증가하는 가운데 현실적으로 달성 가능한 수준에 대해서는 더욱 그러하다.^[28]^[29]^[30]

4. 편향의 유형

편향에는 다음과 같은 유형들이 있다.

유형	설명
언어 편향	질의 언어와 관련된 통계적 표본 추출 편향이다. 현재 대규모 언어 모델은 주로 영어 데이터로 훈련되어 영미권의 견해를 제시하는 경향이 있어,^[11] 비영어권 관점을 축소하거나 무시할 수 있다.
성별 편향	모델이 한 성별에 대해 불공정하게 편향된 결과를 생성하는 경향이다. 주로 학습 데이터에서 발생하며, 전통적인 성 역할에 기반하여 역할을 할당하는 경우가 많다. 예를 들어 간호사, 비서는 여성, 엔지니어, CEO는 남성과 연관시키는 경우가 있다.^[12]
정치적 편향	알고리즘이 특정 정치적 견해, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 의미한다. 언어 모델 또한 훈련 데이터에 포함된 다양한 정치적 의견과 보도에 따라 특정 이념이나 견해에 치우친 응답을 생성할 수 있다.^[13]

4. 1. 언어 편향

언어 편향은 질의의 언어와 관련된 일종의 통계적 표본 추출 편향이다.^[11] 현재의 대규모 언어 모델은 주로 영어 데이터로 훈련되었기 때문에 영미권의 견해를 제시하는 경향이 있다.^[11] 이는 비영어권의 관점을 축소하거나 무시할 수 있다.

예를 들어 "자유주의란 무엇인가?"라는 질문에 대해, 영어 중심 데이터로 훈련된 ChatGPT는 영미권의 관점에서 자유주의를 설명하며 인권과 평등의 측면을 강조한다. 반면 베트남의 주요 관점인 "개인 및 경제 생활에 대한 국가 개입에 반대"나 중국의 주요 관점인 "정부 권력의 제한"과 같은 측면은 빠져 있다. 마찬가지로 일본어, 한국어, 프랑스어, 독일어 말뭉치에 포함된 다른 정치적 관점들도 ChatGPT의 응답에는 없다. 다국어 챗봇을 표방하는 ChatGPT는 사실상 비영어권의 관점에 대해 대부분 '눈이 멀어' 있다.^[11]

4. 2. 성별 편향

성별 편향은 모델이 한 성별에 대해 불공정하게 편향된 결과를 생성하는 경향을 말한다. 이러한 편향은 일반적으로 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 종종 전통적인 성 역할과 특성을 기반으로 역할과 특성을 할당하는데, 간호사나 비서를 주로 여성과 연관시키고, 엔지니어나 CEO를 남성과 연관시키는 경우가 있다.^[12]

4. 3. 정치적 편향

정치적 편향은 알고리즘이 특정 정치적 견해, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 말한다. 언어 모델 또한 정치적 편향을 보일 수 있다. 훈련 데이터에는 광범위한 정치적 의견과 보도가 포함되어 있기 때문에, 모델은 데이터에서 해당 견해의 빈도에 따라 특정 정치 이념이나 견해에 치우친 응답을 생성할 수 있다.^[13]

5. 공정성 기준

분류 문제에서 알고리즘은 알려진 특성( $X$ )으로부터 목표 변수인 이산적인 특성( $Y$ )을 예측하는 함수를 학습한다. 여기서 $A$ 는 성별, 민족, 성적 지향 등 민감한 특성으로, $X$ 에 포함되거나 암묵적으로 변환된 이산적인 확률 변수이다. 분류기의 예측은 $R$ 로 나타낸다.^[67]

주어진 분류기가 공정한지, 즉 예측이 민감한 변수의 영향을 받지 않는지 판단하기 위해 세 가지 주요 평가 기준이 정의된다.^[67]

5. 1. 집단 공정성 기준

통계적 분류 문제에서 알고리즘은 알려진 특징

X

에서 이산적인 특성

Y

(목표 변수)를 예측하는 함수를 학습한다.

A

는 민감한 특성(성별, 인종, 성적 지향 등)으로 간주하는,

X

에 포함되어 있거나 암시적으로 인코딩된 특정 특성을 나타내는 이산적인 확률 변수로 모델링한다. 마지막으로

R

은 분류기의 예측을 나타낸다.^[31]

주어진 분류기가 공정한지, 즉 예측이 이러한 민감한 변수 중 일부의 영향을 받지 않는지를 평가하기 위한 세 가지 주요 기준은 다음과 같다.^[67]

독립성 (Independence): 민감한 특징 A가 예측 R과 통계적으로 독립인 경우.
분리성 (Separation): 민감한 특징 A가 목표 값 Y가 주어졌을 때 예측 R과 통계적으로 독립적인 경우.
충분성 (Sufficiency): 민감한 특징 A가 예측값 R이 주어졌을 때 목표값 Y와 통계적으로 독립인 경우.

이 세 가지 기준은 특정한 경우를 제외하고 동시에 만족되기 어렵다.^[33]^[34]

집단 공정성 기준의 수학적 정의
기준	수학적 표현	설명
독립성	R \bot A 또는 $P(R = r\>\ A = a) = P(R = r\ \|\ A = b) \quad \forall r \in R \quad \forall a,b \in A$	민감한 특징 A에 대한 서로 다른 그룹에 속한 사람들에 대해 각 타겟 클래스의 분류율이 동일.
분리성	R \bot A\>\ Y 또는 $P(R = r\ \|\ Y = q, A = a) = P(R = r\ \|\ Y = q, A = b) \quad \forall r \in R \quad q \in Y \quad \forall a,b \in A$	결정 R이 민감한 속성 A에 대한 모든 의존성이 실제 목표 변수 Y의 실제 의존성에 의해 정당화.
충분성	Y \bot A\>\ R 또는 $P(Y = q\ \|\ R = r, A = a) = P(Y = q\ \|\ R = r, A = b) \quad \forall q \in Y \quad r \in R \quad \forall a,b \in A$	같은 그룹에 속할 것이라고 예측된 두 개체에 대해, 민감한 특징이 다르더라도 실제로 각 그룹에 속할 확률이 동일.

다음 기준은 '''독립성''', '''분리성''', '''충분성'''의 세 가지 주요 정의의 측정으로 이해할 수 있다.

이 절에서의 정의는 대상의 다양한 확률 분포에 대한 예측 결과

R

에 초점을 맞춘다. 이들은 가장 단순하고 가장 직접적인 공정성의 설명이다.

'''인구 통계적 패리티'''(demographic parity) ('''통계적 패리티'''(parity), '''승인 비율 패리티'''(acceptance rate parity), 또는 '''비교 분석'''(benchmarking)이라고도 불림): 보호 및 비보호 집단에서 대상이 긍정적 평가로 할당될 확률이 동일하다면, 분류기는 이 정의를 만족한다. 이는 다음 식을 만족하는 경우이다.

:

P(R = +\ |\ A = a) = P(R = +\ |\ A = b) \quad \forall a,b \in A

'''전체 정확도 균등''' (overall accuracy equality): 보호 및 비보호 집단에서 개체가 동일한 예측 정확도를 갖는다면, 분류기는 이 정의를 만족한다. 이는 하나의 분류에서 개체의 확률이 승인되는 것이다. 이는 다음 식을 만족하는 경우이다.

:

P(R = Y\ |\ A = a) = P(R = Y\ |\ A = b) \quad \forall a,b \in A

'''검사 공정성'''(test-fairness) ('''교정'''(calibration) 또는 '''조건부 빈도 일치'''(matching conditional frequencies)라고도 불림): 특정 개인이 보호 집단 또는 비보호 집단 중 어느 하나에 속할 때, 동일한 예측 확률 점수 $S$ 를 갖는 개인들이 동일한 양성 분류에서 분류될 확률을 갖는다면, 분류기는 이 기준을 충족한다.

:

P(Y = +\ |\ S = s,A = a) = P(Y = +\ |\ S = s,A = b) \quad \forall s \in S \quad \forall a,b \in A

5. 2. 개인 공정성 기준

개인 공정성은 "유사한 개인은 유사한 대우를 받아야 한다"는 원칙을 따른다.^[39]^[40]^[35]^[41]

개인 공정성 개념에는 '''무지에 의한 공정성'''(Fairness Through Unawareness|페어니스 스루 언어웨어니스^영어, '''FTU''') 또는 ''맹목성''이 있다. FTU는 (자동화된) 의사 결정을 할 때 성별, 인종, 나이 등 민감한 특징을 명시적으로 사용하지 않도록 규정한다. 민감한 속성 값만 다른 두 개인이 동일한 결과를 받기 때문에 이는 개인적 공정성 개념으로 볼 수 있다.^[72]^[73]^[68]^[74]

그러나 FTU는 의사 결정 과정에 사용되는 민감한 속성과 비민감한 속성 간의 상관관계를 고려하지 않는다는 단점이 있다. 예를 들어, 성별을 기준으로 차별하려는 의도를 가진 에이전트는 성별에 대한 대리 변수를 모델에 도입하고, FTU 규정을 준수하면서 성별 정보를 효과적으로 사용할 수 있다.

개인적 공정성에 대한 가장 일반적인 개념은 2012년 신시아 드워크와 공동 연구자들의 연구에서 소개된^[42]^[75] '''인식을 통한 공정성'''(Fairness Through Awareness|페어니스 스루 어웨어니스^영어, '''FTA''')이다. FTA는 특징을 입력으로 받는 의사 결정 맵이 "유사한 개인을 유사하게 매핑"할 수 있도록 구축되어야 한다는 원칙을 리프시츠 조건으로 표현한다. FTA는 특정 상황에서 어떤 개인이 '유사한'지를 평가하기 위해 적절한 목표 관련 거리 측정 기준을 선택하는 것이 중요함을 강조한다.

5. 3. 인과 관계 기반 측정

기계 학습 모델의 편향을 평가하기 위해 인과 모델을 활용하는 접근 방식이 연구되고 있다. 이러한 접근 방식은 동일한 관측 데이터 분포가 변수 간의 서로 다른 인과 관계를 숨길 수 있으며, 결과가 어떤 편향의 영향을 받는지에 대한 해석이 다를 수 있다는 사실에 기반한다.^[31]

Kusner 등^[44]은 반사실적 사고를 사용하여, 어떤 개인에 대해 민감한 속성이 변경된 반사실적 시나리오에서 결과가 변경되지 않는 경우 의사 결정 과정을 '''반사실적으로 공정하다'''고 정의한다. 이는 수학적으로 다음과 같이 표현된다.

:

P(R_{A\leftarrow a}=1 \mid A=a,X=x) = P(R_{A\leftarrow b}=1 \mid A=a,X=x),\quad\forall a,b;

즉, 민감한 속성

A=a

및 기타 특징

X=x

를 가진 개인과

A = b

인 동일한 개인은 동일한 결과를 얻을 확률이 같아야 한다. 여기서

\hat{R}_{A\leftarrow a}

는 민감한 속성

A

가

A=a

로 고정된 시나리오에서의 반사실적 확률 변수

R

를 나타낸다.

기계 학습 모델은 종종 과거의 결정에 따라 달라지는 데이터를 기반으로 훈련된다.^[45] Mishler 등^[46]은 반사실적 동등한 확률에 대한 공식을 제안했다.

:

P(R=1 \mid Y^0=0, A=a) = P(R=1 \mid Y^0=0, A=b) \wedge P(R=0 \mid Y^1=1, A=a) = P(R=0 \mid Y^1=1, A=b),\quad\forall a,b;

여기서

R

은 확률 변수,

Y^x

는 결정

x

가 내려졌을 때의 결과,

A

는 민감한 특징이다.

Plecko와 Bareinboim^[47]은 공정성의 인과 분석을 위한 통합 프레임워크를 제안하며, '''표준 공정성 모델'''을 제시했다. 이 모델은 다음 네 가지 유형의 변수로 구성된다.

민감한 속성 ( $A$ )
목표 변수 ( $Y$ )
$A$ 와 $Y$ 사이의 ''매개 변수'' ( $W$ ): 결과에 대한 민감한 속성의 가능한 ''간접적 효과''
$A$ 와 ''공통 원인''을 공유할 수 있는 변수 ( $Z$ ): 결과에 대한 민감한 속성의 가능한 ''허위'' 효과

이 프레임워크 내에서 민감한 속성이 결과에 미칠 수 있는 가능한 효과를 분류할 수 있다. 또한, 이러한 효과가 측정되는 세분성(효과의 평균을 계산하는 데 사용되는 조건 변수)은 공정성 평가의 "개인 대 그룹" 측면과 관련이 있다.

분류 문제에서 알고리즘은 알려진 특성

X

로부터 목표 변수인 이산적인 특성

Y

를 예측하는 함수를 학습한다.

A

를, 포함된 몇몇 특성을 변환하거나 또는 민감한 특성(성별, 민족, 성적 지향 등)으로

X

에서 '암묵적'으로 변환하는 이산적인 확률 변수로 한다. 마지막으로, 분류기의 예측을

R

로 나타낸다.

주어진 분류기가 공정한지 판단하기 위해 세 가지 주요 평가 기준이 정의된다.^[67] 인과적 공정성은 자원 할당이 공정한 개인적 처리 수용에 공정한지에 대한 존중을 지닌, 특성의 어떤 조합에서만 다른 두 개의 유사한 개인 이용자 또는 애플리케이션의 것에 의한 빈도를 측정한다.^[76]

5. 4. 사회후생함수

일부 학자들은 알고리즘의 공정성을 사회후생함수의 관점에서 정의하는 것을 제안했다. 이들은 사회후생함수를 사용하면 알고리즘 설계자가 알고리즘의 영향을 받는 사람들에게 미치는 이점 측면에서 공정성과 예측 정확도를 고려할 수 있다고 주장한다. 또한 설계자가 원칙적인 방식으로 효율성과 형평성을 균형을 맞출 수 있도록 한다.^[37] 센딜 뮬라이나탄은 알고리즘 설계자는 사회후생함수를 사용하여 불리한 집단에 대한 절대적 이득을 인식해야 한다고 말했다. 예를 들어, 한 연구에 따르면, 순수한 인간의 판단이 아닌 의사결정 알고리즘을 구속 전 피의자 구금에 사용하면 범죄율을 일정하게 유지하는 동시에 흑인, 히스패닉계, 그리고 전체적으로 소수 인종의 구금률을 줄일 수 있었다.^[38]

6. 편향 완화 전략

기계 학습 알고리즘에 공정성을 적용하는 방법에는 데이터 전처리, 훈련 중 최적화, 결과 후처리 등 세 가지가 있다.

6. 1. 전처리 (Preprocessing)

데이터셋 자체의 편향을 수정하는 방법이다. 불공정한 결정을 초래할 수 있는 정보를 제거하고, 가능한 한 데이터를 적게 변경하려고 시도한다. 중간 표현을 사용하거나 재가중치(reweighing) 기법을 적용할 수 있다.^[48]^[49]

데이터셋

D

가 편향되지 않았다면 민감 변수

A

와 목표 변수

Y

는 통계적으로 독립적이며, 결합 분포의 확률은 다음과 같이 확률의 곱이 된다.

P_{exp}(A = a \wedge Y = +) = P(A = a) \times P(Y = +) = \frac

\times \frac

그러나 실제로는 데이터셋이 편향되었고 변수가 통계적으로 독립적이지 않으므로 관찰된 확률은 다음과 같다.

P_{obs}(A = a \wedge Y = +) = \frac

편향을 보정하기 위해 소프트웨어는 가중치를 추가하는데, 선호되는 객체에는 더 낮은 가중치를, 선호되지 않는 객체에는 더 높은 가중치를 부여한다. 각

X \in D

에 대해 다음을 얻는다.

W(X) = \frac{P_{exp}(A = X(A) \wedge Y = X(Y))}{P_{obs}(A = X(A) \wedge Y = X(Y))}

각

X

에 가중치

W(X)

가 연관되어 있을 때, 그룹

A = a

에 대한 가중 차별을 다음과 같이 계산한다.

disc_{A = a}(D) = \frac{\sum W(X) X \in \{X\in D| X(A) \neq a, X(Y) = +\}}{\sum W(X) X \in \{X \in D | X(A) \neq a \}} - \frac{\sum W(X) X \in \{X\in D| X(A) = a, X(Y) = +\}}{\sum W(X) X \in \{X \in D | X(A) = a \}}

재가중치 부여 후에는 이 가중 차별이 0이 됨을 보일 수 있다.

6. 2. 처리 중 (Inprocessing)

훈련 시간에 알고리즘의 최적화 목표에 제약 조건을 추가하여 편향을 수정할 수 있다.^[50]^[78] 이러한 제약 조건은 보호 대상 그룹과 나머지 개인에 대해 특정 척도의 비율을 동일하게 유지함으로써 알고리즘이 공정성을 향상시키도록 강제한다. 예를 들어, 보호 대상 그룹의 개인과 보호 대상 그룹 외부의 개인에 대해 위양성률이 동일하다는 조건을 알고리즘의 목표에 추가할 수 있다.

이 접근 방식에서 사용되는 주요 척도는 위양성률, 위음성률 및 전반적인 오분류율이다. 이러한 제약 조건 중 하나 또는 여러 개를 알고리즘의 목표에 추가할 수 있다. 위음성률의 동일성은 진양성률의 동일성을 의미하므로 이는 기회의 평등을 의미한다. 문제에 제약 조건을 추가한 후에는 다루기 어려워질 수 있으므로, 제약 조건에 대한 완화가 필요할 수 있다.^[79]

두 개의 분류기를 동시에 경사 기반 방법(예: 경사 하강법)을 통해 학습시키는 방법도 있다.^[51]^[80]^[81] 첫 번째 분류기인 '예측기'는 입력값

X

가 주어졌을 때 목표 변수

Y

를 예측하는 작업을 수행하며, 손실 함수

L_{P}(\hat{y},y)

를 최소화하도록 가중치

W

를 수정한다. 두 번째 분류기인 '적대기'는

\hat{Y}

가 주어졌을 때 민감 변수

A

를 예측하는 작업을 수행하며, 손실 함수

L_{A}(\hat{a},a)

를 최소화하도록 가중치

U

를 수정한다.

여기서

\hat{Y}

는 이산형 예측값이 아닌 분류기의 원시 출력값을 참조해야 한다. 예를 들어, 인공 신경망과 분류 문제에서

\hat{Y}

는 소프트맥스 계층의 출력값을 참조할 수 있다.

그런 다음 경사

\nabla_{U}L_{A}

에 따라 각 학습 단계에서

L_{A}

를 최소화하도록

U

를 업데이트하고 다음 식에 따라

W

를 수정한다.

\nabla_{W}L_{P} - proj_{\nabla_{W}L_{A}}\nabla_{W}L_{P} - \alpha \nabla_{W}L_{A}

여기서

\alpha

는 각 시간 단계에서 달라질 수 있는 조정 가능한 초매개변수이다.

^[51]

'예측기'는

L_{P}

를 최소화하려고 시도하는 동시에

L_{A}

를 최대화하려고 시도한다. 그 결과 '적대기'는

\hat{Y}

에서 민감 변수를 예측하는 데 실패한다.

-proj_{\nabla_{W}L_{A}}\nabla_{W}L_{P}

항은 '예측기'가 '적대기'의 손실 함수를 감소시키는 데 도움이 되는 방향으로 이동하는 것을 방지한다.

이 알고리즘을 사용하여 '예측기' 분류 모델을 학습시키면 '적대기' 없이 학습시키는 것에 비해 인구 통계적 동등성이 향상되는 것을 보일 수 있다.

6. 3. 후처리 (Postprocessing)

분류기의 결과를 수정하여 공정성을 달성할 수 있다. 이 방법에서는 각 개인에게 점수를 매기는 분류기를 사용하고, 이 점수를 바탕으로 긍정 또는 부정 결과를 예측한다. 점수가 높으면 긍정적인 결과를, 낮으면 부정적인 결과를 얻을 가능성이 높다. 하지만 '예'라고 판단하는 시점은 임계값을 조정하여 바꿀 수 있다. 임계값을 변경하면 참 양성(True Positive) 및 참 음성(True Negative) 비율 간의 균형이 달라진다.^[52]

점수 함수가 보호 속성과 관련이 없다면, 임계값 선택도 공정하다고 볼 수 있다. 그러나 이러한 분류기는 편향될 수 있으므로, 공정성을 확보하려면 각 보호 그룹에 대해 서로 다른 임계값을 설정해야 할 수 있다.^[52] 이를 위한 한 가지 방법은 다양한 임계값에서 참 양성률을 거짓 음성률에 대해 그래프로 그리는 것이다. 이를 ROC 곡선이라고 한다. 그리고 보호 그룹과 다른 개인의 비율이 같은 임계값을 찾는다.^[52]

분류기에서

P(+|X)

를 인스턴스

X

가 양성 클래스(+)에 속할 확률이라고 하자.

P(+|X)

가 1 또는 0에 가까우면, 인스턴스

X

는 높은 확률로 클래스 + 또는 -에 속한다. 그러나

P(+|X)

가 0.5에 가까우면 분류가 불확실해진다.^[53]

만약

max(P(+|X), 1-P(+|X)) \leq \theta

이고,

0.5 < \theta < 1

인 특정

\theta

가 존재한다면,

X

를 "거부된 인스턴스"라고 한다.

"ROC" 알고리즘은 위 규칙에 따라 거부되지 않은 인스턴스를 분류한다. 거부된 인스턴스의 경우, 불리한 집단에 속하면 양성으로, 그렇지 않으면 음성으로 분류한다.

각 문제에 대한 최적의

\theta

를 찾고, 우세 집단에 대한 차별을 피하기 위해

\theta

의 함수로서 다양한 차별 척도를 최적화할 수 있다.^[53]

7. 한국 사회와 공정성

2021년 한국에서는 AI 챗봇 이루다가 성소수자, 장애인, 여성 등에 대한 혐오 발언을 학습하여 논란이 되었다. 이 사건은 한국 사회에서 AI 윤리와 공정성 문제에 대한 경각심을 불러일으켰다.^[54]

대한민국에서도 채용, 금융, 복지 등 다양한 분야에서 알고리즘 의사 결정이 확대되고 있으며, 이에 따른 공정성 문제가 제기될 수 있다. 특히 한국 사회의 특성상 학연, 지연, 성별 등 민감한 정보가 알고리즘에 반영될 경우 심각한 차별을 야기할 수 있다.

더불어민주당 등 진보 진영에서는 알고리즘 투명성, 차별 금지 등을 강화하는 법제도 개선을 주장하고 있다.

참조

_[1] arXiv Fairness in Machine Learning: A Survey 2020-10-04
_[2] journal The (Im)possibility of fairness: different value systems require different mechanisms for fair decision making https://dl.acm.org/d[...] 2021-04-01
_[3] journal A Survey on Bias and Fairness in Machine Learning https://doi.org/10.1[...] 2021-07-13
_[4] 웹사이트 AI Fairness 360 https://aif360.myblu[...] 2022-11-18
_[5] 웹사이트 IBM AI Fairness 360 open source toolkit adds new functionalities http://www.techrepub[...] Tech Republic 2020-06-04
_[6] 웹사이트 Responsible AI practices https://ai.google/re[...] 2022-11-18
_[7] 문서 Fairness Indicators https://github.com/t[...] tensorflow 2022-11-18
_[8] 웹사이트 How we're using Fairness Flow to help build AI that works better for everyone https://ai.facebook.[...] 2022-11-18
_[9] 웹사이트 AI experts warn Facebook's anti-bias tool is 'completely insufficient' https://venturebeat.[...] 2022-11-18
_[10] conference Proceedings of the Conference on Fairness, Accountability, and Transparency ACM FAT*'19 2019-01-29
_[11] arXiv A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube 2023-05-23
_[12] book Proceedings of the ACM Collective Intelligence Conference Association for Computing Machinery 2023-11-05
_[13] journal Entity-Based Evaluation of Political Bias in Automatic Summarization https://aclanthology[...] Association for Computational Linguistics 2023-12-01
_[14] 웹사이트 Attorney General Eric Holder Speaks at the National Association of Criminal Defense Lawyers 57th Annual Meeting and 13th State Criminal Justice Network Conference https://www.justice.[...] 2022-04-16
_[15] 웹사이트 Machine Bias https://www.propubli[...] 2022-04-16
_[16] journal COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity https://njoselson.gi[...] 2016-01-01
_[17] 웹사이트 Technical Response to Northpointe https://www.propubli[...] 2016-07-29
_[18] magazine Are face-detection cameras racist? http://content.time.[...] 2022-11-18
_[19] 웹사이트 Google says sorry for racist auto-tag in photo app http://www.theguardi[...] 2022-04-16
_[20] 웹사이트 A beauty contest was judged by AI and the robots didn't like dark skin http://www.theguardi[...] 2022-04-16
_[21] conference Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.m[...] 2018-02-01
_[22] 웹사이트 Student proves Twitter algorithm 'bias' toward lighter, slimmer, younger faces http://www.theguardi[...] 2022-11-18
_[23] 문서 openai/dalle-2-preview https://github.com/o[...] OpenAI 2022-11-18
_[24] 웹사이트 No quick fix: How OpenAI's DALL·E 2 illustrated the challenges of bias in AI https://www.nbcnews.[...] 2024-07-23
_[25] 뉴스 Amazon scraps secret AI recruiting tool that showed bias against women https://www.reuters.[...] 2022-11-18
_[26] 뉴스 Apple Card algorithm sparks gender bias allegations against Goldman Sachs https://www.washingt[...] 2022-11-18
_[27] 웹사이트 The Secret Bias Hidden in Mortgage-Approval Algorithms – The Markup https://themarkup.or[...] 2021-08-25
_[28] journal Can We Trust Fair-AI? Association for the Advancement of Artificial Intelligence (AAAI) 2023-06-26
_[29] journal Inherent Limitations of AI Fairness 2022-01-01
_[30] arXiv Fair Enough? A map of the current limitations of the requirements to have "fair" algorithms 2023-01-01
_[31] 웹사이트 Fairness and Machine Learning http://www.fairmlboo[...] 2019-12-15
_[32] book Handbook of Credit Scoring Glenlake Publishing
_[33] journal Fairness in Criminal Justice Risk Assessments: The State of the Art http://journals.sage[...] 2021-02-01
_[34] book Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency ACM 2021-03-03
_[35] book Proceedings of the International Workshop on Software Fairness 2018-01-01
_[36] 논문 Equal Confusion Fairness: Measuring Group-Based Disparities in Automated Decision Systems IEEE 2022-11
_[37] 논문 Welfare-based Fairness through Optimization 2021
_[38] 비디오 Algorithmic Fairness and the Social Welfare Function https://www.youtube.[...] YouTube 2018-06-19
_[39] 논문 Algorithmic Fairness: Choices, Assumptions, and Definitions 2021
_[40] 논문 A clarification of the nuances in the fairness metrics landscape 2022
_[41] 논문 A survey on bias and fairness in machine learning 2021
_[42] 논문 Fairness through awareness 2012
_[43] 논문 Fairness testing: Testing software for discrimination 2017
_[44] 논문 Counterfactual fairness https://proceedings.[...] 2017
_[45] 논문 Counterfactual risk assessments, evaluation, and fairness Association for Computing Machinery 2020-01-27
_[46] 논문 Fairness in Risk Assessment Instruments Association for Computing Machinery 2021-03-01
_[47] 논문 Causal Fairness Analysis 2022
_[48] 웹사이트 Learning Fair Representations https://www.cs.toron[...] 2019-12-01
_[49] 웹사이트 Data preprocessing techniques for classification without discrimination https://link.springe[...] 2019-12-17
_[50] 웹사이트 Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment https://people.mpi-s[...] 2019-12-01
_[51] 웹사이트 Mitigating Unwanted Biases with Adversarial Learning https://arxiv.org/ab[...] 2019-12-17
_[52] 웹사이트 Equality of Opportunity in Supervised Learning https://arxiv.org/ab[...] 2019-12-01
_[53] 웹사이트 Decision Theory for Discrimination-aware Classification http://citeseerx.ist[...] 2019-12-17
_[54] 참고문헌 2020
_[55] 참고문헌
_[56] 참고문헌 2021
_[57] 참고문헌 2021
_[58] 참고문헌
_[59] 참고문헌 2020
_[60] 참고문헌
_[61] 참고문헌
_[62] 참고문헌
_[63] 참고문헌 2021
_[64] 참고문헌 2014
_[65] 참고문헌 2016
_[66] 참고문헌 2016
_[67] 참고문헌 2023
_[68] 참고문헌 2018
_[69] 문서 acceptace의 번역
_[70] 참고문헌 2021
_[71] 논문 2018
_[72] 논문 2021
_[73] 논문 2022
_[74] 논문 2021
_[75] 논문 2012
_[76] 논문 2017
_[77] 논문 2011
_[78] 논문
_[79] 논문 2018
_[80] 논문 2018
_[81] 논문 2019
_[82] 논문 2012

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com