맨위로가기 타임라인 바로가기

알고리즘 편향

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
타임라인 바로가기
목차

1. 개요

알고리즘 편향은 알고리즘이 특정 집단에 불리한 결과를 반복적으로 생성하는 현상을 의미한다. 이는 알고리즘이 데이터를 수집, 처리, 설계하는 과정에서 발생할 수 있으며, 의도적이거나 의도적이지 않을 수 있다. 편향은 기존 편향, 기계 학습 편향, 기술적 제약, 창발적 편향 등 다양한 형태로 나타나며, 상업적 영향, 투표 행동, 성차별, 인종 및 민족 차별, 법 집행, 온라인 혐오 발언, 감시, 성소수자 공동체 및 장애인에 대한 차별 등 광범위한 영향을 미친다. 이러한 문제를 해결하기 위해 기술적 해법, 투명성 및 모니터링, 구제받을 권리, 다양성 및 포용성, 학제간 협업, 규제 등의 해결 방법이 제시되고 있다. 유럽 연합, 미국, 인도 등 여러 국가에서 알고리즘 편향을 규제하기 위한 법률 및 정책을 마련하고 있다.

더 읽어볼만한 페이지

  • 정보 윤리 - 공정성
    공정성은 기계 학습 알고리즘의 편향으로 인한 사회적 불평등 문제 해결을 위한 개념과 방법론으로, 다양한 공정성 기준과 편향 완화 전략이 제시되지만, 기술적 노력과 함께 사회적 논의와 윤리적 고려가 필요하다.
  • 정보 윤리 - 가능성의 평등
  • 컴퓨팅과 사회 - 디지털 권리
    디지털 권리는 인터넷 사용과 관련된 인권을 보호하고 증진하기 위한 개념이며, 인터넷 접근성을 보장하고 디지털 환경에서의 인권 보호를 위해 노력한다.
  • 컴퓨팅과 사회 - 사물인터넷
    사물 인터넷은 센서와 액추에이터를 통해 주변 환경을 감지하고 제어하는 사물들이 인터넷으로 연결되어 정보를 교환하는 네트워크 시스템으로, 효율성과 편의성을 증대시키지만 개인정보 보호 및 보안과 같은 과제도 안고 있다.
  • 편향 - 공정성
    공정성은 기계 학습 알고리즘의 편향으로 인한 사회적 불평등 문제 해결을 위한 개념과 방법론으로, 다양한 공정성 기준과 편향 완화 전략이 제시되지만, 기술적 노력과 함께 사회적 논의와 윤리적 고려가 필요하다.
  • 편향 - 젠더 이분법
    젠더 이분법은 사회 구성원을 남성과 여성으로 엄격히 나누는 시스템으로, 생물학적 성을 기반으로 하지만 간성인의 존재로 인해 한계를 드러내며, 가부장적 규범 강화, 성소수자 차별, 다양한 젠더 정체성 배제 등의 문제를 야기하여 비판받는다.
알고리즘 편향
개요
정의알고리즘 편향은 알고리즘이 체계적이고 반복적으로 불공정한 결과를 생성하는 현상이다.
다른 이름알고리즘 편향
AI 편향
기계 학습 편향
원인편향된 학습 데이터
알고리즘 설계의 오류
사회적 편견의 반영
유형
데이터 편향학습 데이터에 존재하는 편견으로 인해 발생한다.
표본 편향학습 데이터가 전체 모집단을 대표하지 못할 때 발생한다.
측정 편향데이터 측정 과정에서 오류나 불일치가 발생할 때 발생한다.
평가 편향모델 평가 과정에서 평가 지표가 편향되어 있거나 부적절할 때 발생한다.
알고리즘 편향알고리즘 자체가 특정 그룹에 불리하게 설계되어 있을 때 발생한다.
인공지능 편향인공지능 시스템이 특정 집단에 불리하게 작용하는 편향이다.
자동화 편향자동화 시스템에 대한 과도한 의존으로 인해 인간의 판단이 왜곡되는 편향이다.
영향
차별인종 차별
성차별
성적 지향에 따른 차별
기타 차별
불평등 심화사회적 불평등을 심화시킬 수 있다.
부정확한 예측잘못된 의사 결정
비효율적인 자원 배분
문제점
책임 소재 불분명알고리즘의 의사 결정 과정이 복잡하여 책임 소재가 불분명해진다.
투명성 부족알고리즘 작동 방식이 불투명하여 편향성을 파악하기 어렵다.
공정성 문제알고리즘 결과가 공정하지 못하여 사회적 불평등을 심화시킨다.
완화 방법
데이터 품질 개선편향되지 않은 학습 데이터를 수집하고 사용해야 한다.
알고리즘 검토 및 수정알고리즘의 편향성을 검토하고 수정해야 한다.
공정성 평가 도구 사용기계 학습 모델의 공정성을 평가하는 도구를 사용해야 한다.
인간 개입알고리즘의 결정에 대한 인간의 개입이 필요하다.
관련 법규 및 규제인공지능 관련 법규 및 규제가 필요하다.
관련 기술
얼굴 인식 기술얼굴 인식 기술 알고리즘에서 나타나는 편향
소셜 미디어 플랫폼소셜 미디어 플랫폼 알고리즘에서 나타나는 편향
기계 학습기계 학습 알고리즘에서 나타나는 편향
참고 자료
논문Harini Suresh and John Guttag, "A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle"

2. 정의

알고리즘은 정의하기 어렵지만,[235] 일반적으로 프로그램이 데이터를 읽고, 수집하고, 처리하고, 분석하여 출력을 생성하는 방법을 결정하는 명령 목록으로 이해할 수 있다.[236] 컴퓨터 하드웨어의 발전으로 데이터를 처리, 저장, 전송하는 능력이 향상되었다. 이에 따라 기계 학습 및 인공지능과 같은 기술의 설계와 채택이 활발해졌다.[362] 데이터를 분석하고 처리함으로써 알고리즘은 검색 엔진[237], 소셜 미디어 웹사이트,[238] 추천 엔진[239], 온라인 리테일,[240] 온라인 광고[241] 등의 핵심이 된다.[242]

현대 사회과학자들은 하드웨어 및 소프트웨어 애플리케이션에 내장된 알고리즘 프로세스가 정치적, 사회적으로 미치는 영향에 관심을 갖고 알고리즘의 중립성에 대한 근본적인 가정에 의문을 제기한다.[243][244][245][246] 알고리즘 편향은 임의의 사용자 그룹에 다른 사용자 그룹보다 특혜를 부여하는 등 불공정한 결과를 초래하는 체계적이고 반복 가능한 오류를 말한다. 예를 들어, 신용 점수 알고리즘은 관련 재무 기준을 일관되게 평가하는 경우 불공정하지 않게 대출을 거부할 수 있다. 알고리즘이 한 사용자 그룹에는 대출을 추천하지만 거의 동일한 다른 사용자 그룹에는 관련 없는 기준에 따라 대출을 거부하는 경우, 그리고 이러한 행동이 여러 번 반복될 수 있는 경우 알고리즘이 편향된 것으로 설명할 수 있다.[285] 이러한 편향은 의도적이거나 의도적이지 않을 수 있다.

간단한 컴퓨터 프로그램이 의사 결정을 내리는 방법을 보여주는 1969년 다이어그램으로, 매우 간단한 알고리즘을 보여준다.

3. 방법

알고리즘 편향은 다양한 방식으로 발생할 수 있다.

데이터 수집 및 처리 과정뿐만 아니라 알고리즘 설계 자체에서도 편향이 발생할 수 있다.[248] 예를 들어, 학교 배정처럼 자원 할당이나 조사를 결정하는 알고리즘은 신용 점수와 같이 유사한 사용자를 기반으로 위험을 판단할 때 특정 범주를 의도치 않게 차별할 수 있다.[249] 추천 엔진은 사용자를 유사한 사용자와 연결하거나 추론된 마케팅 특성을 활용하는데, 이때 광범위한 민족, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다.

결과에 포함하거나 제외할 항목의 기준을 결정하는 과정에서도 편향이 발생할 수 있다. 예를 들어, 항공편 추천 소프트웨어에서 후원 항공사의 비행 경로를 따르지 않는 항공편을 생략하는 경우, 검색 결과에 예상치 못한 결과가 나타날 수 있다.[248] 또한 알고리즘은 더 큰 데이터 세트를 사용할 수 있을 때 더 확신에 찬 평가를 제공하는 불확실성 편향을 보일 수 있다. 이는 알고리즘 프로세스를 더 큰 표본에 더 가깝게 일치하는 결과로 왜곡하여, 대표성이 적은 모집단의 데이터를 무시할 수 있다.[250]

3. 1. 데이터 수집 및 처리 과정

편향은 여러 방법으로 알고리즘에 도입될 수 있다. 데이터를 수집하는 동안 사람이 설계한 카탈로그 작성 기준에 따라 데이터를 수집, 디지털화, 조정 및 데이터베이스에 입력할 수 있다.[247]



다음으로 프로그래머는 프로그램에서 데이터를 평가하고 분류하는 방법에 대한 우선순위 또는 계층을 할당한다. 이를 위해서는 데이터를 분류하는 방법과 어떤 데이터를 포함하거나 폐기할 것인지에 대한 사람의 결정이 필요하다.[247] 일부 알고리즘은 사람이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수도 있다.[247] 다른 알고리즘은, 예를 들어 유사한 사용자 또는 사용자 그룹의 이전 선택에 따라 정보를 선택하는 방식으로 작동하는데, 인간 사용자와 "연관된" 데이터를 처리할 때 고정관념과 선호도를 강화할 수 있다.[247]

3. 2. 알고리즘 설계 과정

편향은 여러 방법으로 알고리즘에 도입될 수 있다. 데이터 세트를 수집하는 동안 사람이 설계한 분류 기준에 따라 데이터를 수집, 디지털화, 조정 및 데이터베이스에 입력할 수 있다.[247] 프로그래머는 프로그램에서 데이터를 평가하고 분류하는 방법에 대한 우선순위나 계층을 할당하는데, 이를 위해서는 데이터를 어떻게 분류하고 어떤 데이터를 포함하거나 폐기할 것인지에 대한 사람의 결정이 필요하다.[247] 일부 알고리즘은 사람이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수도 있다.[247] 다른 알고리즘은 유사한 사용자나 사용자 그룹의 이전 선택에 따라 정보를 선택하는 방식으로 작동하는데, 이는 인간 사용자와 "연관된" 데이터를 처리할 때 고정관념과 선호도를 강화할 수 있다.[247]

데이터 수집 및 처리 외에도 설계의 결과로 편향성이 나타날 수 있다.[248] 예를 들어, 학교 배정 결정과 같이 자원 할당이나 조사를 결정하는 알고리즘은 유사한 사용자를 기반으로 위험을 결정할 때(신용 점수에서와 같이) 의도치 않게 특정 범주를 차별할 수 있다.[249] 한편, 사용자를 유사한 사용자와 연결하여 작동하거나 추론된 마케팅 특성을 이용하는 추천 엔진은 광범위한 민족, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다. 또 다른 예는 결과에 포함할 항목과 제외할 항목에 대한 기준을 결정하는 데에서 비롯된다. 이러한 기준은 후원하는 항공사의 비행 경로를 따르지 않는 항공편을 생략하는 항공편 추천 소프트웨어와 같이 검색 결과에 예상치 못한 결과를 제시할 수 있다.[248] 또한 알고리즘은 불확실성 편향을 표시하여 더 큰 데이터 세트를 사용할 수 있을 때 더 확신에 찬 평가를 제공할 수 있다. 이는 알고리즘 프로세스를 더 큰 표본과 더 밀접하게 일치하는 결과로 왜곡할 수 있으며, 덜 대표되는 모집단의 데이터를 무시할 수 있다.[250]

3. 3. 기계 학습 과정

편향은 여러 방식으로 알고리즘에 도입될 수 있다. 데이터 세트를 조립하는 동안, 데이터는 사람이 설계한 분류 기준에 따라 수집, 디지털화, 적용 및 데이터베이스에 입력될 수 있다.[16] 프로그래머는 프로그램이 해당 데이터를 평가하고 정렬하는 방법에 대한 우선 순위 또는 계층 구조를 할당하며, 이는 데이터를 어떻게 분류하고 어떤 데이터를 포함하거나 버릴지에 대한 사람의 결정을 필요로 한다.[16]

일부 알고리즘은 사람이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수도 있다.[16] 다른 알고리즘은 유사한 사용자 또는 사용자 그룹의 이전 선택을 기반으로 정보를 선택하는 방식으로 사용자에게 "관련" 데이터를 처리하고 표시함에 따라 고정관념과 선호도를 강화할 수 있다.[16]

4. 역사



알고리즘은 형식적으로 정의하기 어렵지만,[204] 일반적으로 프로그램이 출력을 생성하기 위해 데이터를 읽고, 수집하고, 처리하고, 분석하는 방식을 지시하는 목록으로 이해할 수 있다.[205]

오늘날 사회과학자들은 소프트웨어 응용 프로그램과 하드웨어에 내장된 알고리즘 처리의 정치적, 사회적 영향, 그리고 알고리즘 중립성에 대한 문제 제기에 관여하고 있다.[206] '알고리즘 편향' (algorithmic bias영어)이라는 용어는 다른 집단보다 특정 집단을 임의적으로 우대하는 '불공정한'(unfair영어) 결과를 초래하는 체계적이고 반복적인 '오류'(error영어)를 의미한다. 예를 들어, credit score|신용점수영어 알고리즘은 재정적 범위와 관련된 일관된 측정이라면 불공정하지 않게 할부금을 거절할 수 있다.

조셉 와이젠바움(Joseph Weizenbaum)은 1976년 저서 ''컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)''에서 알고리즘 편향의 가능성을 지적했다.[20]

4. 1. 초기 비평

조셉 와이젠바움(Joseph Weizenbaum)은 1976년 저서 ''컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)''에서 알고리즘 편향의 가능성을 지적했다.[20] 그는 알고리즘이 프로그래머의 편견과 가정을 반영할 수 있다고 주장했다.[20]

와이젠바움은 프로그램이 컴퓨터가 따라야 하는 인간이 만든 규칙들의 순서이며, 이러한 규칙을 일관되게 따르면 프로그램은 "법을 구현"하는 것이라고 설명했다.[20] 즉, 문제를 해결하는 특정 방식을 강제하며, 이는 프로그래머가 세상을 이해하는 방식(상상력, 편견, 기대)에 기반한다.[20]

또한, 와이젠바움은 기계에 입력되는 모든 데이터는 데이터 선택 과정에서 "인간의 의사결정 과정"을 추가로 반영한다고 지적했다.[20] 그는 사용자가 결과 해석 방법을 명확하게 모르는 경우, 기계가 의도하지 않은 결과(unintended consequence)를 낳을 수 있다고 경고했다.[20] 와이젠바움은 이해하지 못하는 컴퓨터 프로그램의 결정을 신뢰하는 것을 동전 던지기로 목적지를 정하는 관광객에 비유하며, 그 과정의 정확성이나 신뢰성을 보장할 수 없다고 강조했다.[20]

4. 2. 현대의 비평과 대응

최근 알고리즘 편향 문제가 사회적으로 큰 주목을 받으면서, 알고리즘의 공정성, 책임성, 투명성(FAT)을 확보하기 위한 연구와 노력이 활발하게 진행되고 있다. 이러한 우려는 구글과 마이크로소프트와 같은 조직에서 공정성, 책임성, 기계 학습의 투명성을 위한 작업 그룹을 만들도록 이끌었다.[33] 구글의 아이디어에는 알고리즘의 결과를 감시하고 부정적인 결과를 초래한다고 판단되는 출력을 제어하거나 제한하기 위해 투표하는 커뮤니티 그룹이 포함되었다.[33]

최근 몇 년 동안 알고리즘의 공정성, 책임성, 투명성(FAT) 연구는 FAccT라는 연례 컨퍼런스를 개최하는 등 자체적인 학제 간 연구 분야로 발전했다.[34] 그러나 비평가들은 많은 FAT 이니셔티브가 연구 대상 시스템을 구축하는 기업의 자금 지원을 받기 때문에 독립적인 감시 기관으로서 효과적으로 기능할 수 없다고 지적한다.[35]

5. 종류

알고리즘 편향에는 여러 종류가 있다.


  • 기존 편향: 사회에 이미 존재하는 편견이 알고리즘에 반영되는 경우이다. 예를 들어, 1981년 영국 국적법에 따라 새로운 영국 시민을 평가하는 프로그램은 "남자는 합법적인 자녀만의 아버지이고, 여자는 합법적이든 아니든 모든 자녀의 어머니이다"라는 법 조항을 그대로 반영했다.[60][37] 이는 법률 자체에 내재된 성차별적 편향이 알고리즘에 그대로 이어진 것이다.
  • 기계 학습 편향: 기계 학습 알고리즘의 출력 결과에서 나타나는 체계적이고 불공정한 차이를 의미한다.
  • 언어 편향: 질문에 사용된 언어와 관련된 통계적 표본 추출 편향의 일종으로, 영어 중심의 데이터로 훈련된 대규모 언어 모델은 영미권의 관점을 주로 제시하고 비영어권의 관점을 과소평가하는 경향이 있다.[40] 예를 들어, "자유주의란 무엇인가?"라는 질문에 ChatGPT는 영미권 관점에서 자유주의를 설명하지만, 베트남이나 중국의 관점은 제대로 반영하지 못할 수 있다.[40]
  • 성별 편향: 특정 성별에 대해 부당하게 편견이 있는 결과를 만드는 경향이다. 대규모 언어 모델은 간호사나 비서는 여성, 엔지니어나 CEO는 남성과 연관시키는 경우가 있는데, 이는 학습 데이터에 나타난 전통적인 성별 규범을 반영한 결과이다.[269][270]
  • 고정관념 편향: 성별, 인종 외에도 연령, 국적, 종교, 직업 등 다양한 고정관념을 강화할 수 있다. 이로 인해 특정 집단을 부당하게 일반화하거나 때로는 해롭거나 경멸적인 방식으로 묘사하는 결과물이 나올 수 있다.[43]
  • 정치적 편향: 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향이다. 언어 모델도 학습 데이터에 포함된 다양한 정치적 의견의 분포에 따라 특정 정치적 이념이나 관점에 치우친 응답을 생성할 수 있다.[45]
  • 기술적 제약: 프로그램, 계산 능력, 설계 등의 제약으로 인해 발생하는 편향이다.[285][60] 예를 들어, 검색 엔진이 한 화면에 3개의 결과만 표시한다면, 상위 3개 결과가 다음 3개 결과보다 우선시될 수 있다.[285][60]
  • 창발적 편향: 알고리즘이 예상치 못한 방식으로 사용되거나 새로운 상황에 적응하지 못해 발생하는 편향이다.[285] 예를 들어, 1990년 미국 의대생을 레지던트로 배치하는 데 사용된 (NRMP) 알고리즘은 부부가 함께 레지던트를 구하는 경우가 늘어난 상황을 반영하지 못해, 여성 지원자들에게 불리하게 작용했다.[285]
  • 상관관계: 데이터 간의 잘못된 상관관계를 학습하여 알고리즘 편향이 발생할 수 있다. 예를 들어, 웹 브라우징 패턴 데이터가 인종이나 성적 취향과 같은 민감한 정보를 나타내는 신호와 일치하는 경우가 있다.[250]
  • 예상하지 못한 사용: 알고리즘은 애초에 예상하지 못한 사용자들에 의해 사용될 때 창발 편향이 발생할 수 있다.[285]
  • 피드백 루프: 알고리즘의 결과가 다시 입력 데이터로 사용되면서 편향이 강화되는 현상이다.[51][52] 예를 들어, 예측 경찰 시스템은 흑인 거주 지역에 더 많은 경찰력을 배치하도록 예측했는데, 이는 경찰차 목격 자체가 범죄 신고로 이어지는 피드백 루프를 발생시켰기 때문이다.[53]

5. 1. 기존 편향

성별 편향은 특정 성별에 대해 부당하게 편견이 있는 결과를 만드는 경향을 말한다. 이러한 편향은 일반적으로 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시키는 경우가 있는데, 이는 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문이다.[269][270]

이러한 모형은 성별과 인종 외에도 연령, 국적, 종교, 직업 등 다양한 고정관념을 강화할 수 있다. 이로 인해 특정 집단을 부당하게 일반화하거나 때로는 해롭거나 경멸적인 방식으로 풍자하는 결과물이 나올 수 있다.[271][20][36]

초기 컴퓨터 프로그램은 인간의 추론과 연역을 모방하도록 설계되었으며, 인간의 논리를 성공적이고 일관되게 재현할 때 기능하는 것으로 간주되었다. 1976년 저서 ''컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)''에서 인공지능 선구자인 조셉 와이젠바움(Joseph Weizenbaum)은 프로그램에 사용된 데이터와 프로그램 코딩 방식 모두에서 편향이 발생할 수 있다고 제안했다.[20]

와이젠바움은 프로그램이 컴퓨터가 따라야 하는 인간이 만든 규칙들의 순서라고 적었다. 이러한 규칙들을 일관되게 따름으로써, 그러한 프로그램은 "법을 구현한다"[20] 즉, 문제를 해결하는 특정 방식을 강제한다. 컴퓨터가 따르는 규칙은 컴퓨터 프로그래머가 이러한 문제를 해결하는 방법에 대한 가정을 기반으로 한다. 즉, 코드에는 프로그래머가 세상이 작동하는 방식에 대한 상상력, 편견 및 기대가 포함될 수 있다.[20] 컴퓨터 프로그램은 이러한 방식으로 편향을 포함할 수 있지만, 와이젠바움은 기계에 입력되는 모든 데이터는 데이터가 선택되는 과정에서 "인간의 의사결정 과정"을 추가적으로 반영한다는 점에도 주목했다.[20]

와이젠바움은 사용자가 결과 해석 방법을 명확하게 알지 못하는 경우 기계가 의도하지 않은 결과(unintended consequence)를 동반하여 좋은 정보를 전달할 수도 있다고 지적했다.[20] 와이젠바움은 사용자가 이해하지 못하는 컴퓨터 프로그램이 내린 결정을 신뢰하는 것을 경고하며, 이러한 믿음을 동전 던지기로 좌우 회전만 하여 호텔 방에 갈 수 있는 관광객에 비유했다. 중요한 것은 관광객은 자신이 목적지에 도착한 방법이나 이유를 이해할 근거가 없으며, 성공적인 도착이라고 해서 프로세스가 정확하거나 신뢰할 수 있다는 것을 의미하지는 않는다.[20]

알고리즘 편향의 초기 사례로 1982년부터 1986년까지 매년 최대 60명의 여성과 소수 민족이 세인트 조지 병원 의과대학 입학을 거부당했다. 이는 새로운 컴퓨터 안내 평가 시스템 구현 때문인데, 이 시스템은 입학 허가의 역사적 추세를 기반으로 "외국어처럼 들리는 이름"을 가진 여성과 남성의 입학을 거부했다.[21]

최근 몇 년 동안 알고리즘이 실제 데이터에 적용된 기계 학습 방법에 점점 더 의존함에 따라 데이터 자체에 내재된 편향으로 인해 알고리즘 편향이 더욱 만연해졌다. 예를 들어, 안면 인식 시스템은 백인보다 소외된 그룹의 개인을 훨씬 더 높은 비율로 잘못 식별하는 것으로 나타났으며, 이는 훈련 데이터 세트의 편향이 배포된 시스템에 어떻게 나타나는지를 보여준다.[22] 조이 부올라미위니(Joy Buolamwini)와 티므닛 게브루(Timnit Gebru)가 2018년에 실시한 연구에 따르면 상업용 안면 인식 기술은 피부색이 어두운 여성을 식별할 때 최대 35%의 오류율을 보였지만, 피부색이 밝은 남성의 경우 1% 미만이었다.[23]

알고리즘 편향은 단순한 기술적 결함이 아니라 종종 역사적 및 사회적 데이터에 내재된 체계적인 불평등을 반영한다. 캐시 오닐(Cathy O'Neil)이 저술한 ''수학 파괴 무기(Weapons of Math Destruction)''(2016)에서처럼 연구자와 비평가들은 이러한 편향이 객관성이라는 명목하에 기존의 사회적 불평등을 증폭시킬 수 있다고 강조한다. 오닐은 신용 평가, 예측 경찰 활동, 교육과 같은 분야에서 불투명한 자동화된 의사 결정 과정이 차별적인 관행을 강화하는 동시에 중립적이거나 과학적인 것처럼 보일 수 있다고 주장한다.[24]

알고리즘의 기존 편향은 근본적인 사회적, 제도적 이데올로기의 결과이다. 이러한 사상은 개별 설계자나 프로그래머의 개인적 편향에 영향을 미치거나 이를 만들어낼 수 있다. 이러한 편견은 명시적이고 의식적인 것일 수도 있고, 암묵적이고 무의식적인 것일 수도 있다.[60][14] 잘못 선택된 입력 데이터 또는 단순히 편향된 출처의 데이터는 기계가 생성하는 결과에 영향을 미칠 것이다.[36] 기존 편향을 소프트웨어에 인코딩하면 사회적 및 제도적 편향이 유지될 수 있으며, 수정하지 않으면 해당 알고리즘의 모든 향후 사용에 복제될 수 있다.[26][31]

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민의 평가를 자동화하기 위해 설계된 영국 국적법 프로그램이 있다.[60] 이 프로그램은 "남자는 합법적인 자녀만의 아버지이고, 여자는 합법적이든 아니든 모든 자녀의 어머니이다"라고 명시한 법률의 원칙을 정확하게 반영했다.[60][37] 특정 논리를 알고리즘 프로세스로 이전하려는 시도에서 BNAP는 영국 국적법의 논리를 알고리즘에 새겼으며, 이는 법률이 폐지되더라도 계속 유지될 것이다.[60]

"레이블 선택 편향"이라고 불리는 또 다른 편향의 원인[38]은 알고리즘을 훈련하는 데 프록시 측정값을 사용할 때 특정 그룹에 대한 편향을 내장하는 경우 발생한다. 예를 들어, 널리 사용되는 알고리즘은 건강 관리 비용을 건강 관리 요구에 대한 프록시로 예측했고, 예측을 사용하여 복잡한 건강 요구가 있는 환자를 돕기 위한 자원을 할당했다. 흑인 환자는 백인 환자만큼 건강이 좋지 않더라도 비용이 더 낮기 때문에 이로 인해 편향이 발생했다.[39] "레이블 선택 편향"에 대한 해결책은 실제 목표(알고리즘이 예측하는 것)를 이상적인 목표(연구원이 알고리즘이 예측하기를 원하는 것)에 더 가깝게 일치시키는 것을 목표로 한다. 따라서 이전 예에서 비용을 예측하는 대신 연구원은 오히려 더 중요한 건강 관리 요구 변수에 집중할 것이다. 목표를 조정하면 프로그램에 선정된 흑인 환자 수가 거의 두 배가 되었다.[38]

5. 2. 기계 학습 편향

머신러닝 편향은 머신러닝 알고리즘의 출력 결과에서 나타나는 체계적이고 불공정한 차이를 의미한다. 이러한 편향은 다양한 방식으로 나타나며, 종종 이러한 알고리즘을 훈련하는 데 사용된 데이터를 반영한다.

알고리즘은 프로그램이 출력을 생성하는 데이터를 어떻게 읽고, 수집하고, 처리하고, 분석하는지를 지시하는 목록으로 일반적으로 이해될 수 있을 것이다.[204][205]

'알고리즘 편향' (algorithmic bias영어)이라는 용어는 다른 집단보다 특정 집단을 임의적으로 우대하는 '불공정한'(unfair영어) 결과를 초래하는 체계적이고 반복적인 '오류'(error영어)를 말한다.[206] 예를 들어, 알고리즘은 재정적 범위와 관련된 일관된 측정이라면 불공정하지 않게 할부금을 거절할 수 있다.

정치적 편향이란 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 말한다. 언어 모델도 정치적 편향을 보일 수 있는데, 학습 데이터에는 다양한 정치적 의견과 범위가 포함되어 있기 때문에 데이터에서 이러한 견해가 얼마나 널리 퍼져 있는지에 따라 모델이 특정 정치적 이념이나 관점에 치우친 응답을 생성할 수 있다.[272]

5. 2. 1. 언어 편향

언어 편향은 질문에 사용된 언어와 관련된 통계적 표본 추출 편향의 일종으로, "저장소에서 사용 가능한 주제와 견해의 실제 범위를 정확하게 나타내지 못하게 하는 체계적인 표본 정보의 편차"를 초래한다.[40] Luo 등의 연구[40]에 따르면, 현재의 대규모 언어 모델은 주로 영어 데이터로 훈련되었기 때문에, 종종 영미권의 견해를 진실로 제시하면서 비영어권의 관점을 체계적으로 과소평가하여 무관하거나 잘못되었거나 노이즈로 간주한다. 예를 들어, "자유주의란 무엇인가?"와 같은 정치 이념에 대해 질문하면, 영어 중심 데이터로 훈련된 ChatGPT는 영미권 관점에서 자유주의를 설명하며 인권과 평등의 측면을 강조하는 반면, 베트남의 주류 관점에서 볼 때 "개인 및 경제 생활에 대한 국가 개입에 반대한다"는 것과 중국의 주류 관점에서 볼 때 "정부 권력의 제한"과 같은 동등하게 타당한 측면은 빠져 있다.[40]

5. 2. 2. 성별 편향

성별 편향은 특정 성별에 대해 부당하게 편견이 있는 결과를 산출하는 경향을 말한다. 이러한 편향은 일반적으로 이러한 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 종종 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문에 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시킬 수 있다.[269][270]

5. 2. 3. 고정관념 편향

대규모 언어 모델은 종종 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문에 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시키는 경향이 있다. 이처럼 특정 성별에 대해 부당하게 편견이 있는 결과를 산출하는 경향을 성별 편향이라고 한다.[269][270]

웹 브라우징 패턴에 대해 수집된 데이터가 인종 또는 성적 취향 등의 민감한 데이터를 나타내는 신호와 일치하는 것처럼, 대규모 데이터 세트를 서로 비교할 때 예측할 수 없는 상관관계가 나타날 수 있다.[250]

알고리즘의 기존 편향은 근본적인 사회적, 제도적 이데올로기의 결과이다. 이러한 사상은 개별 설계자나 프로그래머의 개인적 편향에 영향을 미치거나 이를 만들어낼 수 있다. 이러한 편견은 명시적이고 의식적인 것일 수도 있고, 암묵적이고 무의식적인 것일 수도 있다.[60][14] 잘못 선택된 입력 데이터 또는 단순히 편향된 출처의 데이터는 기계가 생성하는 결과에 영향을 미친다.[36] 기존 편향을 소프트웨어에 인코딩하면 사회적 및 제도적 편향이 유지될 수 있으며, 수정하지 않으면 해당 알고리즘의 모든 향후 사용에 복제될 수 있다.[26][31]

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민의 평가를 자동화하기 위해 설계된 영국 국적법 프로그램이 있다.[60] 이 프로그램은 "남자는 합법적인 자녀만의 아버지이고, 여자는 합법적이든 아니든 모든 자녀의 어머니이다"라고 명시한 법률의 원칙을 정확하게 반영했다.[60][37]

"레이블 선택 편향"은 알고리즘을 훈련하는 데 프록시 측정값을 사용할 때 특정 그룹에 대한 편향을 내장하는 경우 발생한다.[38] 예를 들어, 널리 사용되는 알고리즘은 건강 관리 비용을 건강 관리 요구에 대한 프록시로 예측했고, 예측을 사용하여 복잡한 건강 요구가 있는 환자를 돕기 위한 자원을 할당했다. 흑인 환자는 백인 환자만큼 건강이 좋지 않더라도 비용이 더 낮기 때문에 이로 인해 편향이 발생했다.[39]

성별과 인종을 넘어, 이러한 모델들은 나이, 국적, 종교 또는 직업 등 다양한 범위의 고정관념을 강화할 수 있다. 이는 때때로 유해하거나 경멸적인 방식으로 사람들의 집단을 불공정하게 일반화하거나 캐리커처화하는 결과를 초래할 수 있다.[43]

최근 연구의 초점은 언어의 문법적 특성과 AI 시스템에 내재될 수 있는 실제 세계의 편향 사이의 복잡한 상호 작용에 맞춰져 있으며, 이는 유해한 고정관념과 가정을 영속화할 수 있다. 아이슬란드어로 훈련된 언어 모델에서의 성별 편향에 대한 연구는 여성이 주로 종사하는 직업조차도 직업 용어를 언급할 때 모델이 남성적 문법적 성에 대해 상당한 성향을 보인다는 것을 밝혀냈다.[44]

5. 2. 4. 정치적 편향

정치적 편향은 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것들보다 체계적으로 선호하는 경향을 말한다. 언어 모델 또한 정치적 편향을 보일 수 있다. 훈련 데이터에는 광범위한 정치적 의견과 보도가 포함되어 있기 때문에, 모델은 데이터에서 해당 견해의 빈도에 따라 특정 정치 이념이나 관점으로 기울어지는 응답을 생성할 수 있다.[45]

5. 3. 기술적 제약

기술적 편향은 프로그램, 계산 능력, 설계 또는 기타 시스템 제약으로 인해 발생한다.[285][60] 이러한 편향은 설계상의 제약일 수도 있다. 예를 들어, 한 화면에 3개의 결과만 표시하는 검색 엔진은 항공사 가격 표시에서 상위 3개 결과를 다음 3개보다 약간 더 우선시하는 것으로 이해될 수 있다.[285][60] 또 다른 사례는 결과의 공정한 분배를 위해 무작위성에 의존하는 소프트웨어인데, 난수 생성 방식이 실제로 무작위가 아닌 경우, 예를 들어 목록의 끝이나 시작 부분에 있는 항목으로 선택이 치우침으로써 편향을 유발할 수 있다.[285][60]

탈맥락화 알고리즘은 관련 없는 정보를 사용하여 결과를 정렬한다. 예를 들어, 알파벳 순서로 결과를 정렬하는 항공권 가격 알고리즘은 유나이티드 항공보다 아메리칸 항공에 유리하도록 편향될 수 있다.[285][60] 반대의 경우로, 결과가 수집된 맥락과 다른 맥락에서 평가되는 경우에도 적용될 수 있다. 예를 들어, 얼굴 인식 소프트웨어를 감시 카메라에 사용하지만, 다른 국가나 지역의 원격 직원이 평가하거나 카메라 시야 밖에서 일어나는 일을 인식하지 못하는 비인간 알고리즘에 의해 평가되는 등 중요한 외부 맥락 없이 데이터가 수집될 수 있다. 이로 인해 범죄 현장에 대한 불완전한 이해를 만들 수 있는데, 예를 들어 지나가는 행인을 범죄를 저지른 사람으로 오인할 가능성이 있다.[244][13]



마지막으로, 기술적 편향은 인간의 행동이 동일한 방식으로 작동한다는 가정 하에 의사 결정을 구체적인 단계로 공식화하려고 시도함으로써 발생할 수 있다.[285][60] 예를 들어, 소프트웨어는 배심원의 감정에 미치는 영향을 무시한 채, 피고가 형량 협상을 받아들여야 하는지 여부를 결정하기 위해 데이터 포인트에 가중치를 부여한다. 이러한 형태의 편향의 또 다른 의도하지 않은 결과는 학생이 작성한 텍스트를 온라인에서 찾은 정보와 비교하여 학생의 작품이 표절되었을 확률 점수를 반환하는 표절 탐지 소프트웨어 Turnitin에서 발견되었다. 이 소프트웨어는 긴 텍스트 문자열을 비교하기 때문에 원어민보다 영어가 모국어가 아닌 비원어민을 식별할 가능성이 더 높다. 원어민의 경우, 개별 단어를 변경하거나 표절된 텍스트 문자열을 분리하거나 동의어를 통해 복사된 구절을 모호하게 만들 수 있기 때문이다. 소프트웨어의 기술적 제약으로 인해 원어민은 탐지를 회피하기가 더 쉽기 때문에 Turnitin이 영어가 모국어가 아닌 외국인의 표절을 식별하는 동시에 더 많은 원어민이 탐지를 회피하는 시나리오가 만들어진다.[257][29]

5. 4. 창발적 편향

창발적 편향은 알고리즘이 예상치 못한 방식으로 사용되거나, 새로운 상황에 적응하지 못해 발생하는 편향이다.[285] 예를 들어, 알고리즘이 신약, 의학적 혁신, 새로운 법률, 비즈니스 모델, 변화하는 문화적 규범과 같은 새로운 형태의 지식을 고려하도록 조정되지 않았을 수 있다.[285] 이러한 상황에서는 누가 배제에 대한 책임이 있는지 명확하게 알기 어려워 특정 집단이 기술 발전에서 소외될 수 있다.[256][245]

1990년, 미국 의대생을 레지던트로 배치하는 데 사용된 (NRMP)에서 창발적 편향의 사례가 확인되었다.[285] 이 알고리즘은 부부가 함께 레지던트를 구하는 경우가 거의 없던 시절에 설계되었다. 그러나 더 많은 여성이 의과 대학에 입학하면서, 파트너와 함께 레지던트를 신청하는 학생들 또한 많아졌다. 당시 절차에 따라 각 지원자는 미국 전역의 선호 배치 목록을 제출해야 했고, 병원과 지원자가 모두 배정에 동의하는 방식으로 분류 및 배정이 이루어졌다. 부부가 모두 레지던트를 희망하는 경우, 알고리즘은 높은 점수를 받은 파트너의 위치 선택에 가중치를 두어, 선호도가 높은 학교는 첫 번째 파트너에게, 선호도가 낮은 학교는 두 번째 파트너에게 배정되는 경우가 많았다. 이는 배치 선호도 타협을 위한 분류가 아니었다.[285][274]

5. 4. 1. 상관관계

데이터 간의 잘못된 상관관계를 학습하여 알고리즘 편향이 발생할 수 있다. 예를 들어, 웹 브라우징 패턴 데이터가 인종이나 성적 취향과 같은 민감한 정보를 나타내는 신호와 일치하는 경우가 있다.[250] 특정 행동이나 검색 패턴에 따라 선택하면, 이는 직접적으로 인종이나 성적 지향 데이터를 사용한 차별과 거의 같은 결과를 낳을 수 있다.[250]

다른 예로, 한 분류 프로그램은 폐렴이 없는 천식 환자보다 폐렴이 있는 천식 환자에게 더 낮은 우선순위를 부여했는데, 이는 프로그램 알고리즘이 단순히 생존율만을 비교했기 때문이다. 실제로는 폐렴이 있는 천식 환자가 가장 위험이 크며, 역사적으로 병원에서는 이러한 환자에게 가장 즉각적이고 최선의 치료를 제공해 왔다.[275]

5. 4. 2. 예상하지 못한 사용

알고리즘은 애초에 예상하지 못한 사용자들에 의해 사용될 때 창발 편향이 발생할 수 있다.[285] 예를 들어, 기계는 사용자가 숫자를 읽고, 쓰고, 이해할 수 있기를 요구하거나, 은유적인 인터페이스를 이해하지 못하는 것과 관련될 수 있다.[285] 이러한 배제는 편향적이거나 배타적인 기술이 사회에 더욱 깊숙이 통합됨에 따라 더욱 심화될 수 있다.[256]

배제와는 별개로, 예상치 못한 사용은 최종 사용자가 자신의 지식이 아닌 소프트웨어에 의존하여 발생할 수 있다. 한 예로, 영국에서 컴퓨터 과학자와 이민 변호사가 영국 시민권에 대한 적합성을 평가하기 위해 개념 증명으로 영국 국적법 프로그램을 만들 때, 예상치 못한 사용자 그룹이 알고리즘 편향으로 이어진 사례가 있다. 설계자들은 이민 사무소의 최종 사용자보다 법률 전문 지식에 접근할 수 있었는데, 이들의 소프트웨어 및 이민법에 대한 이해는 미숙했을 가능성이 높다. 질문을 관리하는 담당자는 시민권을 얻는 대안적인 경로를 배제한 채 소프트웨어에 전적으로 의존했으며, 새로운 판례와 법적 해석으로 인해 알고리즘이 구식이 된 후에도 소프트웨어를 사용했다. 이민법에 대해 법적으로 잘 알고 있다고 가정한 사용자를 위해 알고리즘을 설계한 결과, 소프트웨어의 알고리즘은 간접적으로 영국 이민법의 더 광범위한 기준이 아닌 알고리즘이 설정한 매우 좁은 법적 기준에 부합하는 신청자를 선호하는 편향된 결과로 이어졌다.[285]

5. 4. 3. 피드백 루프

피드백 루프(Feedback loop)는 알고리즘의 결과가 다시 입력 데이터로 사용되면서 편향이 강화되는 현상이다.[51][52] 예를 들어, 캘리포니아주 오클랜드에 배치된 예측 경찰 시스템(PredPol) 소프트웨어의 시뮬레이션에서는 대중이 신고한 범죄 데이터를 기반으로 흑인 거주 지역에 경찰력이 증강되는 결과가 나타났다.[53] 이 시뮬레이션은 경찰이 무엇을 하고 있든 간에 경찰차를 목격한 것을 기반으로 대중이 범죄를 신고한다는 것을 보여주었다. 시뮬레이션은 범죄 예측 모델링에서 경찰차 목격을 해석하여 해당 지역에 더 많은 경찰력을 배치하게 만들었다.[51][54][55] 이 시뮬레이션을 수행한 인권 데이터 분석 그룹(Human Rights Data Analysis Group)은 인종 차별이 체포에 영향을 미치는 곳에서는 이러한 피드백 루프가 경찰 업무에서 인종 차별을 강화하고 영속화할 수 있다고 경고했다.[52]

이러한 행동을 보이는 또 다른 잘 알려진 예는 개인이 범죄자가 될 가능성을 결정하는 소프트웨어인 COMPAS이다. 이 소프트웨어는 흑인 개인을 다른 사람들보다 훨씬 더 범죄자로 분류하는 것으로 종종 비판받고 있으며, 개인이 등록된 범죄자가 되는 경우 데이터를 다시 자신에게 입력하여 알고리즘 작동에 쓰이는 데이터 세트가 만든 편향을 더욱 강화한다.

온라인 비디오 또는 뉴스 기사를 추천하는 데 사용되는 추천 시스템과 같이 피드백 루프가 만들어질 수 있다.[56] 사용자가 알고리즘이 제안하는 콘텐츠를 클릭하면 다음 제안 세트에 영향을 미친다.[57] 시간이 지남에 따라 이로 인해 사용자가 필터 버블에 들어가 중요하거나 유용한 콘텐츠를 인식하지 못할 수 있다.[58][59]

6. 영향

알고리즘 편향은 사회 전반에 걸쳐 다양한 영향을 미칠 수 있다. 알고리즘은 일반적으로 데이터를 읽고, 수집하고, 처리하고, 분석하는 방식을 지시하는 목록으로 이해될 수 있다.[205] '알고리즘 편향'이라는 용어는 특정 집단을 임의적으로 우대하는 '불공정한' 결과를 초래하는 체계적이고 반복적인 오류를 의미한다.[206]

알고리즘에 편향이 스며들 수 있는 경로는 여러 가지가 있다. 데이터 집합을 구성할 때, 데이터는 수집, 계량화, 적합화 과정을 거쳐 인위적으로 설계된 분류 범주에 따라 데이터베이스에 편입된다.[207] 프로그래머는 이러한 데이터를 어떻게 평가하고 정렬할 것인지에 대한 우선순위나 계층 구조를 할당하며, 이는 데이터를 범주화하고 포함하거나 제거할 데이터에 대한 인간의 판단을 필요로 한다.[208] 일부 알고리즘은 인간이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편견을 반영할 수 있다.[209]

6. 1. 상업적 영향

아메리칸 항공은 1980년대에 항공편 검색 알고리즘을 만들었는데, 이 소프트웨어는 다양한 항공사의 항공편을 고객에게 제공했지만 가격이나 편의성에 관계없이 자사 항공편을 우선적으로 표시하도록 가중치를 부여했다.[287][285] 미국 의회 증언에서 아메리칸 항공의 사장은 이러한 우대 조치가 경쟁 우위를 확보하기 위한 의도였다고 밝혔다.[287][285]

구글의 창립자들은 1998년 논문에서 "광고의 지원을 받는 검색 엔진은 본질적으로 광고주에게 편향되고 소비자의 요구에서 벗어날 수 있다"고 주장하며, 유료 게재와 관련하여 검색 결과를 투명하게 공개하는 정책을 채택했다.[286] 이들은 이러한 편향이 사용자에 대한 "보이지 않는" 조작이 될 수 있다고 언급했다.[287]

6. 2. 투표 행동

미국과 인도의 부동층 유권자에 대한 일련의 연구에 따르면, 검색 엔진 결과가 투표 결과를 약 20%까지 변화시킬 수 있는 것으로 나타났다.[288] 연구자들은 의도가 있든 없든 알고리즘이 상대 후보의 검색 결과 순위를 높이면 다른 후보자들은 "경쟁할 수단이 없다"고 결론지었다.[288] 투표와 관련된 메시지를 본 페이스북 사용자는 투표할 가능성이 더 높았다. 2010년 페이스북 사용자를 대상으로 한 무작위 시험에 따르면 투표를 장려하는 메시지와 투표한 친구의 이미지를 본 사용자들 사이에서 투표율이 20%(34만 표) 증가한 것으로 나타났다.[289] 법학자 조너선 지트레인은 의도적으로 조작된 경우, 선거에서 "중개자가 사용자에게 서비스를 제공하는 것이 아니라, 의제를 충족시키기 위해 선택적으로 정보를 제시하는" "디지털 게리맨더링" 효과가 발생할 수 있다고 경고했다.[290]

6. 3. 성차별

2016년, 전문 직업 네트워킹 사이트인 링크드인(LinkedIn)에서 여성 이름을 검색했을 때 남성 이름으로 변경할 것을 제안하는 현상이 발견되었다.[291] 예를 들어 "Andrea"(안드레아)를 검색하면 "Andrew"(앤드류)를 찾는지 묻지만, "Andrew"를 검색했을 때는 "Andrea"를 찾는지 묻지 않았다. 링크드인은 이것이 사용자들이 사이트와 상호작용한 것을 분석한 결과라고 설명했다.[291]

2012년에는 백화점 프랜차이즈 타깃이 여성 고객이 임신 사실을 알리지 않았더라도 임신 여부를 예측할 수 있는 데이터를 수집하고, 이 정보를 마케팅 파트너와 공유했다는 사실이 알려졌다.[292] [293] 데이터가 직접 관찰되거나 보고된 것이 아니라 예측된 것이기 때문에, 회사는 해당 고객의 개인정보를 보호할 법적 의무가 없었다.[292]

웹 검색 알고리즘도 편향적이라는 비판을 받는다. 구글 검색 결과는 "레즈비언"과 같은 성 관련 검색어에서 음란물 콘텐츠를 우선적으로 보여줄 수 있다. 이러한 편향은 "여자 운동 선수"와 같이 중립적인 검색에서도 성적인 콘텐츠를 표시하는 데까지 확장된다. 예를 들어 "여자 운동 선수"를 검색하면 "가장 섹시한 25명의 여자 운동 선수" 기사가 첫 페이지 결과로 나타난다.[294] 2017년 구글은 혐오 단체, 인종 차별적 견해, 아동 학대 및 음란물, 기타 불쾌하고 모욕적인 콘텐츠를 노출하는 경우에 검색 결과를 조정했다.[295] 다른 예로는 구직 웹사이트에서 남성 지원자에게 더 높은 임금을 주는 일자리를 보여주는 것이 있다.[296] 연구자들은 또한 기계 번역이 남성 편향적인 경향을 보인다는 사실을 확인했다.[297] 특히 STEM 직종을 포함하여 불균형한 성별 분포와 관련된 분야에서 이러한 현상이 관찰된다.[298] 실제로 현재 기계 번역 시스템은 여성 근로자의 실제 분포를 제대로 반영하지 못한다.[299]

2015년에 아마존닷컴은 여성에게 불리하게 편향되어 있다는 사실을 알고, 입사 지원서를 선별하기 위해 개발한 인공지능 시스템을 중단했다.[300] 이 채용 도구는 모든 여자 대학을 다닌 지원자와 '여성'이라는 단어가 포함된 이력서를 제외했다.[301] 음악 스트리밍 서비스에서도 비슷한 문제가 나타났는데, 2019년 스포티파이에서 사용하는 추천 시스템 알고리즘이 여성 아티스트에 대한 편향이 있는 것으로 밝혀졌다.[302] 스포티파이의 노래 추천에서 여성 아티스트보다 남성 아티스트를 더 많이 추천했다.

6. 4. 인종 및 민족 차별

알고리즘은 의사 결정에서 인종적 편견을 드러내지 않는 방법이라는 비판을 받아왔다.[303][304][305] 과거 특정 인종과 민족이 차별받아온 방식 때문에 데이터에는 숨겨진 편견이 포함될 수 있다.[306] 예를 들어, 흑인은 같은 범죄를 저지른 백인보다 더 긴 형량을 받을 가능성이 높다.[307][308] 이는 잠재적으로 시스템이 데이터의 원래 편견을 증폭시킨다는 것을 의미할 수 있다.

2015년, 구글은 흑인 사용자가 사진 애플리케이션의 이미지 식별 알고리즘이 자신을 고릴라로 식별했다고 불평하자 사과했다.[309] 2010년, 니콘 카메라는 이미지 인식 알고리즘이 아시아계 사용자에게 계속해서 눈을 깜빡이는지를 물어 비판을 받았다.[310] 이러한 사례는 생체 데이터 집합의 편향 때문이다.[309] 생체 데이터는 관찰되거나 추론된 인종적 특징을 포함하여 신체 측면에서 추출되며, 다음 데이터 요소로 전송될 수 있다.[305] 음성 인식 기술은 사용자의 억양에 따라 정확도가 다를 수 있는데, 이는 해당 억양을 사용하는 화자에 대한 학습 데이터가 부족하기 때문일 수 있다.[311]

인종에 대한 생체 데이터는 관찰되지 않고 추론될 수도 있다. 예를 들어, 2012년 연구에 따르면, 일반적으로 흑인과 연관된 이름은 해당 개인의 이름에 대한 경찰 기록이 있는지 여부와 관계없이 체포 기록을 암시하는 검색 결과가 나올 가능성이 더 높았다.[312] 또한 2015년 연구에 따르면, 인종 및 직업 노출 데이터가 예측 알고리즘의 폐 기능 모형에 통합되지 않아 흑인과 아시아인의 폐 기능이 더 떨어진다고 추정한다는 사실을 발견했다.[313][314]

2019년 연구에 따르면, 옵텀에서 판매하는 의료 알고리즘이 아픈 흑인 환자보다 백인 환자를 선호하는 것으로 나타났다. 이 알고리즘은 환자가 향후 의료 시스템에 얼마나 많은 비용을 지불할 것인지를 예측한다. 그러나 흑인 환자는 같은 수의 만성 질환을 앓고 있는 백인 환자보다 연간 약 1800USD의 의료비를 덜 부담했기 때문에, 알고리즘은 백인 환자를 훨씬 더 많은 질병을 앓고 있는 흑인 환자와 향후 비슷한 건강 문제의 위험이 있는 것으로 점수를 매겼다.[315]

2019년 11월 UC 버클리의 연구진이 실시한 연구에 따르면 모기지 알고리즘이 라틴계와 아프리카계 미국인을 차별하는 것으로 나타났는데, 이는 대출 기관이 개인이 대출을 받을 자격이 있는지 판단하기 위해 신원 확인 수단을 사용할 수 있도록 하는 미국 공정 대출법에 근거한 '신용도'에 따라 소수 민족을 차별한 것이다. 이러한 특정 알고리즘은 핀테크 회사에 존재하며 소수 민족을 차별하는 것으로 나타났다.[316]

6. 5. 법 집행 및 법적 절차

알고리즘은 이미 법 체계에서 다양하게 활용되고 있다. 예를 들어, 미국 법원에서는 피고인의 재범 가능성을 평가하기 위해 COMPAS라는 상용 프로그램을 널리 사용하고 있다. 프로퍼블리카는 흑인 피고인의 평균 COMPAS 재범 위험 점수가 백인 피고인보다 훨씬 높으며, 흑인 피고인이 백인 피고인에 비해 '고위험'으로 잘못 분류될 가능성이 두 배나 높다고 주장했다.[317][318]

미국 형사 판결 및 가석방 심의 위원회에서 위험 평가를 사용하는 것이 한 가지 예이다. 판사는 수감자가 범죄를 다시 저지를 위험을 반영하기 위해 알고리즘으로 생성된 점수를 제공받는다.[319] 1920년부터 1970년까지는 범죄자 아버지의 국적이 위험 평가 점수를 매길 때 고려 대상이었다.[320] 오늘날 이 점수는 애리조나, 콜로라도, 델라웨어, 켄터키, 루이지애나, 오클라호마, 버지니아, 워싱턴, 위스콘신 주의 판사들에게 공유된다. 프로퍼블리카의 독립적인 조사에 따르면 이 점수는 80%가 부정확하며, 흑인이 백인보다 77% 더 자주 재범할 위험이 있다고 불균형적으로 왜곡되어 있는 것으로 나타났다.[319]

"위험, 인종 및 재범: 예측 편향 및 이질적인 영향"을 조사하기 위해 시작된 한 연구에 따르면, 2년의 관찰 기간 동안 객관적으로 문서화된 재범 기록이 없음에도 불구하고 흑인 피고인이 백인 피고인보다 더 높은 위험성을 지닌 것으로 잘못 분류될 가능성이 2배(45% 대 23%) 더 높다고 주장한다.[321]

재판 전 구금 상황에서, 한 법률 리뷰 기사는 알고리즘 위험 평가가 안면 차별적이고, 불균등한 대우를 초래하며, 좁게 조정되지 않았다고 주장하며, 이 때문에 인종에 근거한 미국 수정 헌법 제14조 평등보호조항을 위반한다고 주장했다.[322]

6. 6. 온라인 혐오 발언

2017년 페이스북 내부 문서에 따르면, 온라인 혐오 발언을 제거하기 위해 설계된 페이스북 알고리즘은 흑인 어린이보다 백인 남성에게 유리하게 작용하는 것으로 나타났다.[323] 이 알고리즘은 특정 하위 범주가 아닌 광범위한 범주를 보호하도록 설계되어, '무슬림'을 비난하는 게시물은 차단되지만, '급진 무슬림'을 비난하는 게시물은 허용되는 식이었다. 이로 인해 '모든 흑인'이 아닌 흑인 '어린이'를 비난하는 혐오 발언은 허용되고, '모든 백인 남성'은 백인과 남성의 하위 집합으로 간주되지 않아 차단되는 예상치 못한 결과가 발생했다.[323] 페이스북은 또한 광고 구매자가 '유대인 혐오자'를 사용자 범주로 지정하거나, 아프리카계 미국인이 주택 광고를 보지 못하도록 설계할 수 있게 한 것으로 밝혀졌는데, 이는 알고리즘의 의도하지 않은 결과였다.[324]

혐오 발언을 추적하고 차단하는 데 알고리즘이 사용되지만, 일부 알고리즘은 흑인 사용자가 게시한 정보를 혐오 발언으로 표시할 가능성이 1.5배 높고, 아프리카계 미국인 영어로 작성된 경우 2.2배 더 높은 것으로 나타났다.[325] 비방과 욕설이 해당 공동체에 다시 게시된 경우에도 맥락 없이 혐오 발언으로 표시되었다.[326]

6. 7. 감시

감시 카메라 소프트웨어는 정상적인 행동과 비정상적인 행동을 구분하고, 특정 시간에 특정 장소에 누가 속해 있는지 판단하는 알고리즘이 필요하기 때문에 본질적으로 정치적인 것으로 간주될 수 있다.[244] 이러한 알고리즘이 인종별로 얼굴을 인식하는 능력은 훈련 데이터베이스에 있는 이미지의 인종적 다양성에 의해 제한된다. 대부분의 사진이 한 인종 또는 한 성별에 속한다면, 소프트웨어는 해당 인종 또는 성별의 다른 구성원을 더 잘 인식하는 것으로 나타났다.[327] 예를 들어, 2002년에 폐쇄회로텔레비전(CCTV) 이미지에서 개인을 식별하는 데 사용되는 소프트웨어를 분석한 결과, 범죄 데이터베이스에 대해 실행했을 때 편향성의 몇 가지 예가 발견되었다. 이 소프트웨어는 여성보다 남성을, 젊은이보다 노인을 더 자주 식별하고, 백인보다 아시아인, 아프리카계 미국인 및 기타 인종을 더 자주 식별하는 것으로 평가되었다.[256]

2018년의 연구에 따르면, 얼굴 인식 소프트웨어는 밝은 피부(일반적으로 유럽인)의 남성을 가장 정확하게 식별하는 것으로 나타났으며, 밝은 피부의 여성은 정확도가 약간 낮았다. 피부색이 어두운 남성과 여성은 얼굴 인식 소프트웨어가 정확하게 식별할 확률이 현저히 낮았다. 이러한 차이는 이 소프트웨어를 개발하는 데 사용된 데이터 세트에서 피부색이 어두운 참가자가 과소 대표되었기 때문이다.[329][330]

6. 8. 성소수자 공동체에 대한 차별

2011년 게이 데이트 앱 그라인더 사용자들은 안드로이드 스토어의 추천 알고리즘이 그라인더를 성범죄자를 찾는 데 사용되는 앱과 연결하고 있다고 보고했다. 비평가들은 이것이 동성애와 소아성애를 부정확하게 연관시킨다고 지적했다. 작가 마이크 아나니는 디 애틀랜틱에서 이러한 연관성이 동성애자들에게 더욱 낙인을 찍는다고 비판했다.[331] 2009년 온라인 소매 업체 아마존은 알고리즘 변경으로 "성인용 콘텐츠" 블랙리스트에 성 또는 동성애 주제를 다루는 모든 책을 포함하도록 확장하여 57,000권의 책을 목록에서 삭제했다. 여기에는 비평가들의 찬사를 받은 소설 "브로크백 마운틴"도 포함되었다.[332][247][333]

얼굴 인식 기술은 트랜스젠더에게 문제를 일으키는 것으로 나타났다. 2018년 우버가 보안 조치로 구현한 얼굴 인식 소프트웨어 때문에 트랜스젠더 또는 성전환 중인 우버 운전자들이 어려움을 겪었다는 보고가 있었다. 이로 인해 일부 트랜스젠더 우버 운전자들의 계정이 정지되어 요금 손실과 잠재적인 실직으로 이어지기도 했다. 이는 얼굴 인식 소프트웨어가 트랜스젠더 운전자의 얼굴을 인식하는 데 어려움을 겪었기 때문이다.[335] 이 문제에 대한 해결책은 기계 학습 모델의 훈련 세트에 트랜스젠더를 포함하는 것으로 보이지만, 훈련 데이터로 사용하기 위해 수집된 트랜스젠더 유튜브 동영상의 경우 동영상에 포함된 트랜스젠더의 동의를 받지 않아 개인정보 침해 문제가 제기된 사례도 있었다.[336]

2017년 스탠퍼드 대학교에서는 얼굴 이미지를 기반으로 개인의 성적 지향을 감지할 수 있다고 알려진 기계 학습 시스템의 알고리즘을 테스트한 연구가 진행되었다.[337] 이 연구 모델은 게이와 이성애자 남성을 81%, 게이와 이성애자 여성을 74% 정확하게 구분해냈다. 이 연구는 성소수자 공동체의 반발을 불러일으켰는데, 이들은 이 인공지능 시스템이 개인을 자신의 의지에 반하여 "아웃팅"될 위험에 처하게 함으로써 성소수자 개인에게 부정적인 영향을 미칠 수 있다고 우려했다.[338]

6. 9. 장애 차별

알고리즘 공정성은 성별, 인종, 사회경제적 지위 등 다양한 측면을 기준으로 판단되지만, 장애는 종종 고려되지 않는다.[339][340] 이는 AI 시스템과 알고리즘에서 장애인을 더욱 소외시키는 결과를 낳는다.[341][342]

장애는 그 특성이 변화하고 주관적이기 때문에 계산을 통해 해결하기 어렵다. 장애를 정의하고, 설문조사를 통해 관련 데이터를 수집하고, 인식을 확립하는 데 있어 역사적으로 충분한 깊이가 부족하여 정량화 및 계산에 어려움이 있다. 장애의 정의는 오랫동안 논의되어 왔으며, 최근에는 의학적 모델에서 사회적 모델로 변화하고 있다. 사회적 모델은 장애가 신체적 손상이나 건강 상태가 아니라 사람들의 상호 작용과 환경의 장벽 간의 불일치로 인해 발생한다고 본다. 장애는 상황적이거나 일시적일 수 있으며,[343] 지속적으로 변화하는 상태로 간주된다.[344] 장애는 매우 다양하며, 넓은 스펙트럼에 걸쳐 있고, 각 개인에게 고유할 수 있다. 사람들의 정체성은 경험하는 장애 유형, 보조 기술 사용 방법, 지원하는 사람에 따라 달라질 수 있다. 이러한 높은 수준의 다양성은 장애가 나타나는 방식을 매우 개인화한다.

겹치는 정체성과 교차적 경험[345]은 통계 및 데이터 세트에서 제외되는 경우가 많아,[346] 훈련 데이터에서 과소 대표되거나 아예 존재하지 않는다.[347] 따라서 기계 학습 모델은 불평등하게 훈련되고 인공지능 시스템은 더 많은 알고리즘 편견을 지속시킨다.[348] 예를 들어, 음성 제어 기능 및 스마트 AI 비서 훈련에 언어 장애가 있는 사람이 포함되지 않으면 해당 기능을 사용할 수 없거나 적절한 응답을 받을 수 없게 된다.

장애를 둘러싼 고정관념과 낙인이 여전히 존재하기 때문에, 이러한 식별 특성을 드러내는 것은 개인 정보 침해 문제를 야기한다. 장애 정보 공개는 금기시되고 장애인에 대한 차별을 조장할 수 있으므로, 알고리즘 시스템이 상호 작용할 수 있는 명시적인 장애 데이터가 부족하다. 장애인은 장애 상태를 공개할 경우 사회적 지원, 의료 보험 비용, 직장 내 차별 및 기타 기본적인 필수품과 관련하여 추가적인 피해와 위험에 직면하게 된다. 알고리즘은 사회 시스템과 구조에 이미 존재하는 편견을 재현함으로써 이러한 격차를 더욱 악화시키고 있다.[349][350]

6. 10. 구글 검색

사용자가 결과를 자동으로 생성하는 동안, 구글은 성차별적, 인종차별적 자동완성 텍스트를 삭제하지 않았다. 예를 들어, 사피야 노블의 저서 《구글은 어떻게 여성을 차별하는가》에서 "흑인 소녀"를 검색하면 포르노 이미지가 표시되는 사례를 예로 들었다. 구글은 불법으로 간주되지 않는 한 해당 페이지를 삭제할 수 없다고 주장했다.[351]

7. 연구의 장애물

몇몇 문제들이 대규모 알고리즘 편향 연구를 방해하여, 학문적으로 엄격한 연구 적용과 대중의 이해를 늦추고 있다.[243][352][353] 이러한 문제점들은 학문적인 연구와 일반 대중의 이해를 어렵게 만든다.[12][129][130]

일반적으로 알고리즘은 정의하기 어렵지만,[204] 프로그램이 출력을 생성하기 위해 데이터를 읽고, 수집하고, 처리하고, 분석하는 방법을 지시하는 목록으로 이해될 수 있다.[205]

오늘날 사회과학자들은 소프트웨어 응용 프로그램과 하드웨어에 내장된 알고리즘 처리의 정치적, 사회적 영향, 그리고 알고리즘 중립성에 대한 문제 제기 때문에 알고리즘에 관심을 가지고 있다.[206] '알고리즘 편향' ()이라는 용어는 특정 집단을 임의적으로 우대하여 '불공정한'() 결과를 초래하는 체계적이고 반복적인 '오류'()를 의미한다. 예를 들어, 신용점수 알고리즘은 재정적 범위와 관련된 일관된 측정이라면 불공정하지 않게 할부금을 거절할 수 있다.

7. 1. 공정성의 정의

알고리즘 편향에 대한 연구는 공정성 개선에 초점을 맞추고 있지만, 공정성에 대한 합의된 정의는 없다.[243][352][353][131][132] 예를 들어, 공정성을 "결과의 평등"으로 정의하면 모든 사람에게 동일한 결과를 제공하는 시스템을 의미할 수 있지만, "처우의 평등"으로 정의하면 개인 간의 차이를 명시적으로 고려할 수 있다.[354][133] 결과적으로 공정성은 때때로 모델의 정확성과 상충되는 것으로 묘사되며, 이는 사회 복지 우선순위와 이러한 시스템을 설계하는 공급업체의 우선순위 사이에 본질적인 긴장이 있음을 시사한다.[355][134] 이러한 긴장에 대응하여 연구자들은 특정 응용과 상황에 맞춰 정의된 "공정성"과 함께 잠재적으로 편향된 알고리즘을 사용하는 시스템의 설계 및 사용에 더 많은 주의를 기울일 것을 제안했다.[356][135]

7. 2. 복잡성

알고리즘 프로세스는 이를 사용하는 사람들조차 이해하기 어려울 정도로 복잡계이다.[243][357] 대규모 연산은 심지어 이를 만든 사람조차도 이해하지 못할 수 있다.[358] 현대 프로그램의 방법과 프로세스는 코드의 입력 또는 출력의 모든 경우의 수를 알 수 없기 때문에 불분명한 경우가 많다.[256] 사회과학자 브뤼노 라투르는 이러한 과정을 "과학적이고 기술적인 작업이 그 자체의 성공으로 인해 보이지 않게 되는 과정"인 블랙박스화라고 불렀다. 즉, "기계가 효율적으로 작동할 때, 사실 문제가 해결되면 내부 복잡성이 아닌 입력과 출력에만 집중하면 된다. 따라서 역설적으로 과학기술이 성공할수록 더 불투명하고 모호해진다."[359] 다른 사람들은 블랙박스 비유를 비판하며, 현재의 알고리즘은 하나의 블랙박스가 아니라 서로 연결된 알고리즘의 네트워크일 뿐이라고 주장한다.[360]

이러한 복잡성의 예시는 맞춤형 피드백에 대한 입력 범위에서 찾을 수 있다. 소셜 미디어 사이트 페이스북은 2013년에 사용자의 소셜 미디어 게시물 배치 순서를 결정하기 위해 최소 10만 개의 데이터 포인트를 고려했다.[361] 또한 대규모 프로그래머 팀은 서로 상대적으로 고립되어 운영될 수 있으며, 연결된 정교한 알고리즘 내에서 작은 결정의 누적 효과를 인식하지 못할 수 있다.[254] 모든 코드가 독창적인 것은 아니며 다른 라이브러리를 사용할 수 있으므로 데이터 처리와 데이터 입력 시스템 사이에 복잡한 관계가 만들어진다.[362]

기계 학습 및 클릭 수, 사이트 체류 시간 및 기타 지표와 같은 사용자 상호 작용을 기반으로 한 알고리즘의 개인화를 통해 추가적인 복잡성이 발생한다.[363][357] 이러한 개인적인 조정은 알고리즘을 이해하려는 일반적인 시도를 방해할 수 있다. 한 스트리밍 라디오 서비스는 사용자의 행동에 따라 5가지 고유의 음악 선택 알고리즘을 사용한다고 보고했다. 이로 인해 사용자마다 동일한 스트리밍 서비스에 대한 서로 다른 경험을 만들어내며, 이러한 알고리즘의 기능을 이해하기 어렵게 만든다.[243] 기업들은 또한 사용자 반응에 따라 알고리즘을 미세 조정하기 위해 빈번한 A/B 테스트를 실행한다. 예를 들어, 검색 엔진 빙은 하루에 최대 천만 개의 미묘한 서비스 변형을 실행하여 각 사용자 또는 사용자 간에 서로 다른 서비스 경험을 만들 수 있다.[243]

7. 3. 투명성 부족

상업적 알고리즘은 독점적이며 영업 비밀로 취급될 수 있다.[243][357][256] 알고리즘을 영업 비밀로 취급하는 것은 검색 엔진과 같은 기업을 보호하는데, 투명한 알고리즘은 검색 순위 조작 전술을 가능하게 할 수 있기 때문이다.[363] 이 때문에 연구자들이 알고리즘 작동 방식을 알아보기 위해 인터뷰나 분석을 수행하기가 어렵다.[362] 비평가들은 이러한 비밀 유지가 알고리즘 결과물을 생성하거나 처리하는 데 사용되는 비윤리적인 방법을 숨길 수 있다고 지적한다.[363] 변호사이자 활동가인 카타르지나 심이엘레비츠(Katarzyna Szymielewicz)와 같은 다른 비평가들은 투명성 부족이 종종 알고리즘 복잡성의 결과로 위장되어 기업들이 자체 알고리즘 프로세스를 공개하거나 조사하지 못하도록 보호한다고 주장한다.[364]

7. 4. 민감한 범주에 대한 데이터 부족

개인 정보 보호 문제 등으로 인해 인종, 성별 등 민감한 정보에 대한 데이터를 수집하기 어려워 편향 연구에 어려움을 겪고 있다.[365] 차별금지법에 의해 보호되는 개인의 인구 통계와 같은 범주들은 데이터를 수집하고 처리할 때 명시적으로 고려되지 않는 경우가 많기 때문이다.[365] 유비쿼터스 컴퓨팅, 사물 인터넷과 같이 이러한 데이터를 명시적으로 수집할 기회가 거의 없는 경우도 있다.[243] 데이터를 제어하는 쪽에서 평판 상의 이유나 책임 및 보안 위험 증가를 우려하여 이러한 데이터 수집을 원하지 않을 수도 있다.[243] 또한 유럽 연합의 일반 데이터 보호 규정과 관련하여 이러한 데이터가 '특별 범주' 조항(제9조)에 해당하여 잠재적인 수집 및 처리에 더 많은 제한이 따를 수도 있다.[243]

일부 전문가들은 이러한 누락된 민감한 분류를 추정하고 대입하여 편향성을 완화하려고 시도하기도 한다. 예를 들어, 이름으로 민족을 추론하는 시스템을 구축하는 것이다.[366] 그러나 이는 신중하게 수행하지 않으면 다른 형태의 편향성을 유발할 수 있다.[367]

8. 해결 방법

여러 윤리적 AI 정책 가이드라인 연구에서 공정성과 '원치 않는 편견 완화'가 공통적인 관심사로 나타났다.[371] 이러한 문제는 기술적 해결책, 투명성 및 모니터링, 구제 권리 및 감독 강화, 다양성 및 포용성 노력을 함께 사용하여 해결할 수 있다.[150]


  • 기술적 해법: 알고리즘 편향을 찾고 줄이기 위한 기술적 방법이 개발 및 적용되고 있다.
  • 투명성 및 모니터링: AI 윤리 지침은 책임의 중요성을 강조하며, 알고리즘 결과의 해석 가능성을 높이는 방법을 권고한다.
  • 구제받을 권리: 알고리즘 편향 피해에 대한 인권 프레임워크 적용과 명확한 책임 보험 메커니즘이 필요하다.
  • 다양성 및 포용성: 알고리즘 편향 최소화를 위해 다양한 배경을 가진 사람들이 인공지능 시스템 설계에 참여해야 한다.
  • 학제간 협업 및 협력: 알고리즘 편향 해결을 위해 컴퓨터 과학뿐만 아니라 여러 분야의 협력이 필요하다.


8. 1. 기술적 해법

알고리즘 편향을 탐지하고 완화하기 위한 기술적 방법론이 개발 및 적용되고 있다. 이러한 방법론은 일반적으로 알고리즘 내부 프로세스보다는 학습 데이터에 적용되는 도구에 중점을 둔다. 프로그램의 출력과 유용성을 분석하여 혼동 행렬 분석을 포함할 수 있다.[372][373][374][375][376][377][378][379][380]

설명 가능한 AI (XAI) 알고리즘은 알고리즘 또는 학습 모델에서 편향의 존재를 감지하는 방법으로 제안되었다.[381] 기계 학습을 사용하여 편향을 감지하는 것을 "AI 감사 수행"이라고 하며, 여기서 "감사자"는 AI 모델과 학습 데이터를 통과하는 알고리즘이다.[382]

AI 도구(예: 분류기)에 편향이 없는지 확인하는 것은 입력 신호에서 민감한 정보를 제거하는 것보다 더 어렵다. 이 정보는 일반적으로 다른 신호에 내포되어 있기 때문이다. 예를 들어, 지원자의 취미, 스포츠, 재학 중인 학교는 분석에서 제거하더라도 소프트웨어에 성별을 드러낼 수 있다.

이 문제에 대한 해결책은 지능형 에이전트가 대상에 대한 보호 대상 및 민감한 정보를 재구성하는 데 사용될 수 있는 정보를 갖지 않도록 하는 동시에 보호 대상에 대해 완전히 무관심하도록 하는 것이다. 단어 임베딩의 맥락에서 더 간단한 방법이 제안되었는데, 보호된 특성과 상관 관계가 있는 정보를 제거하는 것이다.[383][384]

현재 알고리즘 제작자가 편향성 문제를 제거하고 알고리즘의 기능과 가능한 효과에 대해 (당국 또는 최종 사용자에게) 투명성을 명확히 설명하는 데 도움이 되는 방법론을 지정하는 것을 목표로 하는 새로운 IEEE 표준 초안이 작성되고 있다. 이 프로젝트는 2017년 2월에 승인되었으며 IEEE 컴퓨터 학회에서 공인한 위원회인 소프트웨어 및 시스템 엔지니어링 표준 위원회에서 후원하고 있다. 표준 초안은 2019년 6월에 투표를 위해 제출될 것으로 예상된다.[385][386]

8. 2. 투명성 및 모니터링

AI 윤리 지침은 책임의 필요성을 강조하며, 알고리즘 결과의 해석 가능성을 개선하기 위한 조치를 권고한다.[387] 이러한 해결책에는 기계 학습 알고리즘에서 "이해할 권리"를 고려하고, 결정에 대한 설명이나 검토가 불가능한 경우 기계 학습 알고리즘의 사용을 거부하는 것이 포함된다.[388]

이러한 문제를 해결하기 위해, 편향성 해결뿐만 아니라 설명 가능한 AI를 위한 움직임이 DARPA와 같은 조직 내에서 이미 진행되고 있다.[389] 예를 들어, 프라이스워터하우스쿠퍼스(PwC)는 알고리즘 결과 모니터링을 통해 시스템의 단일 구성 요소가 결과를 왜곡할 경우 해당 요소를 격리하고 시스템 작동을 중단할 수 있도록 시스템을 설계해야 한다고 제안한다.[390]

투명성을 확보하기 위한 초기 접근 방식 중 하나는 알고리즘을 오픈 소스화하는 것이었다.[391] 소스 코드 호스팅 시설을 통해 소프트웨어 코드를 검토하고 개선 사항을 제안할 수 있다. 그러나 기업과 조직이 모든 문서와 코드를 공개하더라도, 정보를 이해할 수 있는 비판적 청중이 없다면 투명성은 확보되지 않는다.[392] 따라서 알고리즘에 대한 책임을 묻기 위해서는 비판적 청중의 역할이 중요하다.[392]

8. 3. 구제받을 권리

토론토 선언은 알고리즘 편향으로 인한 피해에 인권 프레임워크를 적용할 것을 요구한다.[393] 여기에는 알고리즘 설계자의 실사에 대한 기대를 법제화하고, 사적 행위자가 공익을 보호하지 못할 때 책임을 지는 것이 포함되며, 이러한 권리는 복잡하게 얽혀 있는 프로세스 내에서 책임을 결정하는 복잡성으로 인해 가려질 수 있음을 지적한다.[394] 다른 사람들은 명확한 책임 보험 메커니즘의 필요성을 제안한다.[395]

윤리적인 AI에 대한 84개 정책 가이드라인 연구에 따르면, 공정성과 "원치 않는 편향 완화"는 공통적인 우려 사항이었으며, 기술적 해결책, 투명성 및 모니터링, 구제 권리 및 감독 강화, 다양성 및 포용 노력의 조합을 통해 해결되었다.[150]

AI 윤리 지침은 책임의 필요성을 지적하며 결과의 해석력을 향상시키기 위한 조치를 취할 것을 권고한다.[169] 이러한 해결책에는 기계 학습 알고리즘에서 "이해할 권리"를 고려하고 결정을 설명하거나 검토할 수 없는 상황에서는 기계 학습의 배포를 거부하는 것이 포함된다.[170]

8. 4. 다양성 및 포용성

인공지능 시스템 설계가 주로 백인 남성 엔지니어들의 영역이라는 우려 속에서,[396] 많은 학자들은 인공지능 시스템을 설계하는 사람들의 범위를 넓혀 알고리즘 편향을 최소화할 수 있다고 제안했다.[388][371] 예를 들어, 기계 학습 엔지니어 중 여성은 12%에 불과하며,[397] 흑인 인공지능 리더들은 이 분야의 "다양성 위기"를 지적하고 있다.[398] Black in AI, Queer in AI 같은 그룹은 AI 커뮤니티보다 포용적인 공간을 만들고 AI 연구의 궤적을 통제하는 기업의 종종 유해한 욕구에 맞서기 위해 노력하고 있다.[399] 단순한 포용성 노력에 대한 비판은 다양성 프로그램이 중복되는 형태의 불평등을 해결할 수 없으며 알고리즘 설계에 보다 신중한 교차성 렌즈를 적용할 것을 촉구했다.[400][401] 케임브리지 대학교 연구원들은 인종적 다양성을 다루는 것이 인공지능 문화의 "백인성"으로 인해 방해받고 있다고 주장했다.[402]

8. 5. 학제간 협업 및 협력

AI 시스템 개발에서 학제간 통합과 협업은 알고리즘 편향을 해결하는 데 중요한 역할을 할 수 있다. 컴퓨터 과학 이외의 분야에서 얻은 통찰, 전문 지식, 관점을 통합하면 데이터 기반 솔루션이 사회에 미치는 영향을 더 잘 이해할 수 있다.[403] 인공지능 연구에서 이러한 예로는 사회적 영향과 관련된 AI 기반 솔루션을 개발할 때 협업을 촉진하기 위해 제안된 프레임워크인 PACT(Participatory Approach to enable Capabilities in communiTies, 커뮤니티의 역량 강화를 위한 참여적 접근법)가 있다.[403] 이 프레임워크는 AI4SG(AI for Social Good) 프로젝트 작업 시 이해 관계자 참여에 대한 기본 원칙을 식별한다. PACT는 인간 중심의 AI 솔루션 설계에서 탈식민화와 권력 이동 노력의 중요성을 재확인하려고 시도한다. 이와 관련한 학술적 이니셔티브로는 다학제간 협력을 촉진하는 것을 목표로 하는 스탠포드 대학교의 인간 중심 인공지능 연구소(Institute for Human-Centered Artificial Intelligence)가 있다. 이 연구소의 사명은 인간의 조건을 개선하기 위해 인공지능 연구, 교육, 정책 및 실습을 발전시키는 것이다.[404]

외부 전문가 및 다양한 이해 관계자와의 협업을 통해 윤리적이고 포용적이며 책임감 있는 지능형 시스템 개발을 용이하게 한다. 윤리적 고려 사항을 통합하고, 사회적, 문화적 맥락을 이해하고, 인간 중심의 설계를 촉진하고, 기술 전문 지식을 활용하며, 정책 및 법적 고려 사항을 다룬다.[405] AI 시스템의 편향을 효과적으로 완화하고 AI 기술이 공정하고 투명하며 책임감 있게 작동하도록 보장하려면 여러 분야 간의 협업이 필수적이다.

9. 규정

유럽 연합의 일반 데이터 보호 규정(GDPR)은 2018년에 시행된 데이터 보호 제도로, 제22조에서 "프로파일링을 포함한 자동화된 개인 의사 결정"을 다룬다.[406] 이 규정은 개인에게 '중대한' 또는 '법적' 영향을 미치는 자동화된 결정을 '전적으로' 금지한다. 이는 동의, 계약 또는 회원국 법률에 의해 명시적으로 승인되지 않는 한 적용된다. 허용되는 경우에는 휴먼인더루프(human-in-the-loop)에 대한 권리, 도달한 결정에 대한 설명에 대한 구속력이 없는 권리 등의 안전장치를 마련해야 한다.[406] 1970년대 후반부터 프랑스 법률에는 자동화된 결정 규칙과 안전장치가 존재했다.[406]

GDPR은 프로파일링 시스템에서 알고리즘 편향을 다루며, 71조에서 이를 제거할 수 있는 통계적 접근 방식을 직접 다루고 있다.[407] 그러나 이 조항은 구속력이 없다는 문제가 제기된다.[408]

2024년 3월에 시행된 AI 법에서는 생성형 인공지능의 얼굴 인식이나 생체 인증을 통한 개인 특징, 사회경제적 지위의 순위 매김 등 차별적인 이용을 “용납할 수 없는 위험”으로 규정하고 금지하고 있다.

미국은 알고리즘 편향을 통제하는 일반적인 연방법은 없지만, 산업과 업종별로 알고리즘 사용 방법에 따라 다를 수 있는 다양한 주 및 연방법을 통해 이 문제에 접근한다.[410]

2016년 오바마 행정부는 정책 입안자들이 알고리즘에 대한 비판적 평가를 하도록 안내하기 위한 "국가 인공지능 연구개발 전략 계획"을 발표했다.[411] 2017년 뉴욕시는 미국 최초의 알고리즘 책무성 법안을 통과시켰다.[413] 2019년에는 행정명령 13859호에 따라, 연방 정부는 미국의 인공지능(AI) 주도권을 유지하기 위한 포괄적인 전략인 "미국 AI 이니셔티브"를 발표했다.[198] 2023년에는 조 바이든 대통령이 행정명령 14110호에 서명했는데, 이는 인공지능(AI)의 안전하고, 안정적이며, 신뢰할 수 있는 개발 및 사용을 강조한다.[199]

인도는 2018년 개인정보보호법 초안을 제출하여 데이터 처리 및 전송에 대한 표준을 제시하고, 데이터 주체에 대한 차별적 대우를 금지했다.[416]

한국은 알고리즘 편향에 대한 별도의 법률은 없지만, 개인정보 보호법, 정보통신망법 등 관련 법률을 통해 이 문제를 다루고 있다. 더불어민주당은 알고리즘의 투명성과 공정성을 강화하고 차별을 해소하기 위한 정책 마련에 적극적으로 나서고 있다.

9. 1. 유럽

유럽 연합의 일반 데이터 보호 규정(GDPR)은 2018년에 시행된 데이터 보호 제도로, 제22조에서 "프로파일링을 포함한 자동화된 개인 의사 결정"을 다루고 있다.[406] 이 규정은 개인에게 '중대한' 또는 '법적' 영향을 미치는 자동화된 결정을 '전적으로' 금지한다. 이는 동의, 계약 또는 회원국 법률에 의해 명시적으로 승인되지 않는 한 적용된다. 허용되는 경우에는 휴먼인더루프(human-in-the-loop)에 대한 권리, 도달한 결정에 대한 설명에 대한 구속력이 없는 권리 등의 안전장치를 마련해야 한다.[406]

이러한 규정은 새로운 것으로 보이지만, 1995년부터 유럽 전역에 걸쳐 데이터 보호 지침 제15조에 거의 동일한 조항이 존재해 왔다. 1970년대 후반부터 프랑스 법률에는 자동화된 결정 규칙과 안전장치가 존재했다.[406]

GDPR은 프로파일링 시스템에서 알고리즘 편향을 다루며, 71조에서 이를 제거할 수 있는 통계적 접근 방식을 직접 다루고 있다.[407] 71조는 다음과 같이 명시하고 있다.

> 통제자는 프로파일링에 적절한 수학적 또는 통계적 절차를 사용하고, 특히 출신 인종 또는 민족, 정치적 견해, 종교 또는 신념, 노동 조합 가입, 유전적 또는 건강 상태 또는 성적 지향에 근거하여 자연인에 대한 차별적 영향을 방지하는 적절한 기술적 및 조직적 조치를 시행해야 한다.

71조의 설명을 요구할 권리에 구속력이 없는 것과 마찬가지로, 이 조항의 문제는 구속력이 없다는 것이다.[408] 이는 데이터 보호법 이행에 대해 조언한 제29조 작업반에 의해 요구 사항으로 취급되었지만,[407] 실질적인 차원은 불분명하다. 고위험 데이터 프로파일링에 대한 데이터 보호 영향 평가(데이터 보호 내의 다른 선제적 조치와 함께)는 소비자가 불만을 제기하거나 변경을 요청하는 대신 알고리즘을 배포하는 사람들의 행동을 제한하기 때문에 알고리즘 차별 문제를 해결하는 더 나은 방법일 수 있다는 주장이 제기되었다.[409]

2024년 3월에 시행된 AI 법에서는 생성형 인공지능의 얼굴 인식이나 생체 인증을 통한 개인 특징, 사회경제적 지위의 순위 매김 등 차별적인 이용을 “용납할 수 없는 위험”으로 규정하고 금지하고 있다.

9. 2. 미국

미국은 알고리즘 편향을 통제하는 일반적인 연방법은 없지만, 산업과 업종별로 알고리즘 사용 방법에 따라 다를 수 있는 다양한 주 및 연방법을 통해 이 문제에 접근한다.[410] 많은 정책이 자체적으로 시행되거나 연방거래위원회에 의해 통제된다.[410]

2016년 오바마 행정부는 정책 입안자들이 알고리즘에 대한 비판적 평가를 하도록 안내하기 위한 "국가 인공지능 연구개발 전략 계획"을 발표했다.[411] 이 계획은 연구자들에게 "이러한 시스템의 행동과 의사 결정이 투명하고 인간이 쉽게 해석할 수 있도록 설계하여 이러한 편견을 학습하고 반복하는 것이 아니라 포함할 수 있는 편견이 있는지 검사할 수 있도록 설계"할 것을 권장했다. 이 보고서는 지침으로만 활용될 뿐 법적 선례를 만들지는 못했다.[412]

2017년 뉴욕시는 미국 최초의 알고리즘 책무성 법안을 통과시켰다.[413] 2018년 1월 1일에 발효된 이 법안은 "기관 자동화된 의사 결정 시스템에 대한 정보를 대중과 공유하는 방법과 기관 자동 결정 시스템에 의해 사람들이 피해를 입는 사례를 해결하는 방법에 대한 권고 사항을 제공하는 전문 위원회의 구성"을 요구했다.[414] 전문 위원회는 2019년에 추가 규제 조치를 위한 조사 결과와 권장 사항을 제시해야 한다.[415]

2019년 2월 11일, 행정명령 13859호에 따라, 연방 정부는 미국의 인공지능(AI) 주도권을 유지하기 위한 포괄적인 전략인 "미국 AI 이니셔티브"를 발표했다. 이 이니셔티브는 지속적인 AI 연구 개발, 윤리적 기준, 인력 교육 및 중요한 AI 기술 보호의 중요성을 강조한다.[198] 이는 공공 및 민간 부문에서 AI 시스템의 투명성, 책임성 및 혁신을 보장하기 위한 광범위한 노력과 일치한다.

2023년 10월 30일, 조 바이든 대통령은 행정명령 14110호에 서명했는데, 이는 인공지능(AI)의 안전하고, 안정적이며, 신뢰할 수 있는 개발 및 사용을 강조한다. 이 명령은 사기, 차별 및 국가 안보 위협을 포함한 위험을 완화하면서 AI의 잠재력을 활용하기 위한 정부 전반의 조정된 접근 방식을 제시한다. 이 약속의 중요한 부분은 AI가 사회 전체에 혜택을 주도록 하기 위해 부문 간의 책임 있는 혁신과 협력을 증진하는 것이다.[199] 이 명령으로 조 바이든 대통령은 연방 정부에 기업이 AI의 이점을 극대화하고 피해를 최소화하기 위한 모범 사례를 만들 것을 의무화했다.[200]

9. 3. 인도

2018년 7월 31일, 개인정보보호법 초안이 제출되었다.[416][201][232] 이 초안은 데이터의 저장, 처리 및 전송에 대한 표준을 제시한다. 알고리즘이라는 용어는 사용하지 않지만, "수탁자에 의해 수행되는 모든 처리 또는 어떤 종류의 처리로 인한 피해"에 대한 조항을 마련한다. "데이터 주체에 대한 평가적 결정으로 인한 서비스, 혜택 또는 재화의 거부 또는 철회" 또는 "어떠한 차별적 대우"를 데이터의 부적절한 사용으로 인해 발생할 수 있는 피해의 원인으로 정의한다. 또한 "간성(Intersex)"인 사람들을 위한 특별 조항도 마련한다.[417][202]

9. 4. 한국

한국은 알고리즘 편향에 대한 별도의 법률은 없지만, 개인정보 보호법, 정보통신망법 등 관련 법률을 통해 이 문제를 다루고 있다. 또한, 더불어민주당은 알고리즘의 투명성과 공정성을 강화하고 차별을 해소하기 위한 정책 마련에 적극적으로 나서고 있다.

참조

[1] 웹사이트 Patent #US2001021914 https://worldwide.es[...] 2001-09-13
[2] 서적 AI, Ethics, and Discrimination in Business https://link.springe[...] Springer
[3] 논문 A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle https://dl.acm.org/d[...] Association for Computing Machinery 2021-11-04
[4] 웹사이트 What is an Algorithm? – Culture Digitally http://culturedigita[...] 2012-02
[5] 서적 Introduction to Algorithms https://archive.org/[...] MIT Press 2009
[6] 웹사이트 How Google Search Works https://www.google.c[...]
[7] 잡지 Here's How Your Facebook News Feed Actually Works https://time.com/col[...]
[8] 잡지 The Science Behind the Netflix Algorithms That Decide What You'll Watch Next https://www.wired.co[...] 2013-08-07
[9] 웹사이트 Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica https://www.propubli[...] 2016-09-20
[10] 웹사이트 The future of online advertising is big data and algorithms http://theconversati[...] 2017-03-13
[11] 뉴스 How algorithms rule the world https://www.theguard[...] 2013-07-01
[12] 웹사이트 Knowing Algorithms https://static1.squa[...] Media in Transition 8, Cambridge, MA, April 2013
[13] Submitted manuscript Software-sorted geographies http://dro.dur.ac.uk[...] 2016-07
[14] 논문 Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy http://muse.jhu.edu/[...] 2016-04-04
[15] 논문 The Hidden Biases in Big Data https://hbr.org/2013[...] 2013-04-01
[16] 서적 Media Technologies MIT Press
[17] 웹사이트 Algorithmic Accountability: On the Investigation of Black Boxes https://towcenter.or[...]
[18] Submitted manuscript The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today https://mpra.ub.uni-[...] 2011-01-06
[19] 논문 EU regulations on algorithmic decision-making and a "right to explanation"
[20] 서적 Computer Power and Human Reason: From Judgment to Calculation https://archive.org/[...] W.H. Freeman 1976
[21] 논문 A Blot on the Profession http://europepmc.org[...] 1988-03-05
[22] 웹사이트 Perpetual Lineup https://www.law.geor[...]
[23] 웹사이트 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification https://www.media.mi[...]
[24] 서적 Fairness and machine learning: Limitations and opportunities The MIT Press 2023-12-19
[25] 논문 Want Less-Biased Decisions? Use Algorithms https://hbr.org/2018[...] 2018-07-26
[26] 논문 The Enframing of Code 2011-12-02
[27] 웹사이트 The Cathedral of Computation https://www.theatlan[...] 2015-01-15
[28] 논문 Picturing algorithmic surveillance: the politics of facial recognition systems http://nbn-resolving[...] 2004
[29] 논문 Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible 2006-12-21
[30] 웹사이트 A Speculative Post on the Idea of Algorithmic Authority Clay Shirky http://www.shirky.co[...]
[31] 논문 Governing Algorithms: Myth, Mess, and Methods http://revistas.ucm.[...] 2016-01-01
[32] 논문 Power after Hegemony 2016-06-30
[33] 논문 Racist in the Machine 2016-01-01
[34] 웹사이트 ACM FAccT 2021 Registration https://facctconfere[...]
[35] 웹사이트 The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation https://theintercept[...] 2019-12-20
[36] 서적 Software Studies: A Lexicon https://archive.org/[...] MIT Press 2008
[37] 학술지 The British Nationality Act as a Logic Program https://web.stanford[...] 2017-11-18
[38] 웹사이트 To stop algorithmic bias, we first have to define it https://www.brooking[...] 2023-06-27
[39] 뉴스 Researchers Find Racial Bias in Hospital Algorithm https://www.wsj.com/[...] 2023-06-27
[40] 논문 A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube 2023-05-23
[41] 서적 Proceedings of the 16th International Conference on Theory and Practice of Electronic Governance Association for Computing Machinery 2023-11-20
[42] 서적 Proceedings of the ACM Collective Intelligence Conference Association for Computing Machinery 2023-11-05
[43] 논문 Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models 2023-05-29
[44] 학술지 Gendered Grammar or Ingrained Bias? Exploring Gender Bias in Icelandic Language Models https://aclanthology[...] 2024
[45] 학술지 From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models https://aclanthology[...] Association for Computational Linguistics 2023-07-01
[46] 웹사이트 Understanding Gender and Racial Bias in AI https://www.sir.adva[...] 2024-12-11
[47] 학술지 Misguided Artificial Intelligence: How Racial Bias is Built Into Clinical Models https://bhm.scholast[...] 2024-12-11
[48] 웹사이트 Algorithm [draft] [#digitalkeywords] – Culture Digitally http://culturedigita[...] 2017-11-20
[49] 학술지 New physicians: A natural experiment in market organization https://stanford.edu[...] 2017-11-18
[50] 뉴스 Can A.I. Be Taught to Explain Itself? https://www.nytimes.[...] 2017-11-21
[51] 뉴스 Police are using software to predict crime. Is it a 'holy grail' or biased against minorities? https://www.washingt[...] 2016-11-17
[52] 웹사이트 Policing the Future https://www.themarsh[...] 2016-02-03
[53] 학술지 To predict and serve? 2016-10-01
[54] 웹사이트 Predictive policing only amplifies racial bias, study shows https://mic.com/arti[...] 2017-11-25
[55] 웹사이트 FAQs on Predictive Policing and Bias https://hrdag.org/20[...] 2016-10-01
[56] 서적 Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management SCITEPRESS - Science and Technology Publications 2018
[57] 학술지 Gauss's law for networks directly reveals community boundaries 2018-08-09
[58] 웹사이트 Google is finally admitting it has a filter-bubble problem https://qz.com/11945[...] 2019-02-26
[59] 웹사이트 Facebook Is Testing This New Feature to Fight 'Filter Bubbles' http://fortune.com/2[...] 2019-02-26
[60] 학술지 Bias in Computer Systems https://nissenbaum.t[...] 2019-03-10
[61] 웹사이트 The Anatomy of a Search Engine http://www7.scu.edu.[...] 2017-11-18
[62] 학술지 Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms http://www-personal.[...] 2017-11-18
[63] 학술지 The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections 2015-08-18
[64] 학술지 A 61-million-person experiment in social influence and political mobilization 2012-09-13
[65] 학술지 Engineering an Election http://cdn.harvardla[...] 2017-11-19
[66] 웹사이트 How LinkedIn's search engine may reflect a gender bias https://www.seattlet[...] 2016-08-31
[67] 학술지 Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms http://lawdigitalcom[...] 2017-11-18
[68] 뉴스 How Companies Learn Your Secrets https://www.nytimes.[...] 2012-02-16
[69] 학술지 Missed Connections: What Search Engines Say about Women https://safiyaunoble[...] 2012
[70] 뉴스 Google starts flagging offensive content in search results https://www.usatoday[...] 2017-03-16
[71] 웹사이트 Study Suggests Google's Ad-Targeting System May Discriminate https://www.technolo[...] Massachusetts Institute of Technology 2017-11-17
[72] arXiv Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate
[73] 논문 Assessing gender bias in machine translation: A case study with Google Translate
[74] 뉴스 Boffins bash Google Translate for sexism https://www.theregis[...] 2022-04-28
[75] 뉴스 Amazon scraps secret AI recruiting tool that showed bias against women https://www.reuters.[...] 2018-10-09
[76] 웹사이트 Amazon reportedly scraps internal AI recruiting tool that was biased against women https://www.theverge[...] 2018-10-10
[77] 웹사이트 Reflecting on Spotify's Recommender System – SongData https://songdata.ca/[...] 2019-10-01
[78] 논문 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.m[...] 2018-01-21
[79] 서적 Algorithms of Oppression: How Search Engines Reinforce Racism NYU Press 2018-02-20
[80] 서적 The New Media of Surveillance Routledge 2009
[81] 논문 The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges https://www.scienced[...]
[82] 논문 Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past? 1997-09-01
[83] 논문 Racial Disparities in the Criminal Justice System: A Summary 1985-01-01
[84] 뉴스 Google Photos labeled black people 'gorillas' https://www.usatoday[...] 2015-07-01
[85] 잡지 Are Face-Detection Cameras Racist? http://content.time.[...] 2010-01-22
[86] 뉴스 Alexa does not understand your accent https://www.washingt[...]
[87] arXiv Discrimination in Online Ad Delivery 2013-01-28
[88] 논문 Race, ethnicity and lung function: A brief history 2015
[89] 논문 Teaching yourself about structural racism will improve your machine learning 2020-04-01
[90] 뉴스 Racial bias in a medical algorithm favors white patients over sicker black patients https://www.washingt[...] 2019-10-24
[91] 논문 Consumer-Lending Discrimination in the FinTech Era http://www.nber.org/[...] 2019-06-01
[92] 논문 AI generates covertly racist decisions about people based on their dialect
[93] 웹사이트 How We Analyzed the COMPAS Recidivism Algorithm https://www.propubli[...] 2016-05-23
[94] 웹사이트 Commentary: Bad news. Artificial intelligence is biased https://www.channeln[...] 2019-01-12
[95] 웹사이트 Machine Bias — ProPublica https://www.propubli[...] 2016-05-23
[96] 논문 Risk as a Proxy for Race https://scholarship.[...] 2010-09-16
[97] SSRN Risk, Race, & Recidivism: Predictive Bias and Disparate Impact 2016-06-14
[98] 논문 Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race https://scholarship.[...] 2022
[99] 웹사이트 Facebook's Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children — ProPublica https://www.propubli[...] 2017-06-28
[100] 뉴스 Facebook Enabled Advertisers to Reach 'Jew Haters' — ProPublica https://www.propubli[...] 2017-09-14
[101] 학회 The Risk of Racial Bias in Hate Speech Detection https://homes.cs.was[...] Association for Computational Linguistics 2019-07-28
[102] 웹사이트 The algorithms that detect hate speech online are biased against black people https://www.vox.com/[...] 2019-08-15
[103] 논문 Hate speech, censorship, and freedom of speech: The changing policies of reddit
[104] 논문 Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis 2002-12-01
[105] 학회 Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society Association for Computing Machinery 2020-02-07
[106] 웹사이트 Facial Recognition Is Accurate, if You're a White Guy https://www.nytimes.[...] 2018-02-09
[107] 논문 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.m[...] 2018
[108] 웹사이트 The Curious Connection Between Apps for Gay Men and Sex Offenders https://www.theatlan[...] 2011-04-14
[109] 웹사이트 Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.' http://allthingsd.co[...]
[110] 웹사이트 Amazon Apologizes for 'Ham-fisted Cataloging Error' http://allthingsd.co[...]
[111] 뉴스 A 'Sexist' Search Bug Says More About Us Than Facebook https://www.wired.co[...] 2019-02-22
[112] 웹사이트 Some AI just shouldn't exist https://www.vox.com/[...] 2019-04-19
[113] 웹사이트 Some AI just shouldn't exist https://www.vox.com/[...] 2019-04-19
[114] 논문 Deep neural networks are more accurate than humans at detecting sexual orientation from facial images. https://osf.io/zn79k[...] 2017-02-15
[115] 뉴스 LGBT groups denounce 'dangerous' AI that uses your face to guess sexuality https://www.theguard[...] 2017-09-09
[116] 논문 Disability, Intersectionality and Deprivation: An Excluded Agenda https://journals.sag[...] 2011-09-16
[117] 논문 Shifting the discourse on disability: Moving to an inclusive, intersectional focus. 2022-10-20
[118] 웹사이트 Disability, Bias, and AI https://ainowinstitu[...] 2019-11
[119] 웹사이트 Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY https://disabilityis[...]
[120] 웹사이트 Microsoft Design https://www.microsof[...]
[121] 웹사이트 4 Ways To Understand The Diversity Of The Disability Community https://www.forbes.c[...]
[122] 논문 Disability and the problem of lazy intersectionality https://doi.org/10.1[...] 2022-10-12
[123] 웹사이트 Disability Data Report 2021 https://disabilityda[...]
[124] 논문 Fairness of AI for people with disabilities: problem analysis and interdisciplinary collaboration https://doi.org/10.1[...] 2020-03-02
[125] 웹사이트 AI language models show bias against people with disabilities, study finds {{!}} Penn State University https://www.psu.edu/[...]
[126] 웹사이트 How Algorithmic Bias Hurts People With Disabilities https://slate.com/te[...] 2020-02-06
[127] 논문 AI and accessibility https://doi.org/10.1[...] 2020-05-22
[128] 서적 Algorithms of Oppression: How Search Engines Reinforce Racism 2018-02-20
[129] 논문 Fair Enough? A map of the current limitations to the requirements to have "fair" algorithms 2023
[130] 논문 Can We Trust Fair-AI? 2023
[131] 웹사이트 Why it's so damn hard to make AI fair and unbiased https://www.vox.com/[...] 2022-04-19
[132] 웹사이트 Building fairness into AI is crucial – and hard to get right http://theconversati[...] 2024-03-19
[133] 논문 On the (im)possibility of fairness
[134] 논문 Welfare and Distributional Impacts of Fair Classification
[135] 논문 Fairness Through Awareness 2011-11-28
[136] 논문 An Algorithm Audit http://www-personal.[...] 2014
[137] 웹사이트 The Algorithms That Power the Web Are Only Getting More Mysterious https://www.theatlan[...] 2015-09-18
[138] 서적 Pandora's Hope: Essays On the Reality of Science Studies Harvard University Press
[139] 서적 Innovative Methods in Media and Communication Research https://books.google[...] Springer 2016
[140] 웹사이트 EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors https://marketinglan[...] 2013-08-16
[141] 논문 Thinking critically about and researching algorithms http://mural.maynoot[...] 2016-02-25
[142] 논문 The Politics of Search: A Decade Retrospective https://static.googl[...] 2017-11-18
[143] 웹사이트 Black-Boxed Politics https://medium.com/@[...] 2020-02-11
[144] 논문 Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data 2017
[145] 논문 Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities 2009-06
[146] 서적 Proceedings of the Conference on Fairness, Accountability, and Transparency ACM Press 2019
[147] 논문 Blind Justice: Fairness with Encrypted Sensitive Attributes http://proceedings.m[...] 2018
[148] 서적 Social Informatics 2017-09-13
[149] 웹사이트 EU Data Protection Law May End The Unknowable Algorithm – InformationWeek https://www.informat[...] 2017-11-25
[150] 논문 The global landscape of AI ethics guidelines 2019-09-02
[151] 웹사이트 Attacking discrimination with smarter machine learning https://research.goo[...]
[152] arXiv Equality of Opportunity in Supervised Learning
[153] 웹사이트 Microsoft is developing a tool to help engineers catch bias in algorithms https://venturebeat.[...]
[154] 웹사이트 Facebook says it has a tool to detect bias in its artificial intelligence https://qz.com/12685[...] 2018-05-03
[155] Github Pymetrics audit-ai https://github.com/p[...]
[156] 웹사이트 Pymetrics open-sources Audit AI, an algorithm bias detection tool https://venturebeat-[...]
[157] Github Aequitas: Bias and Fairness Audit Toolkit https://github.com/d[...]
[158] 웹사이트 open-sources Audit AI, Aequitas at University of Chicago https://dsapp.uchica[...]
[159] 웹사이트 Mitigating Bias in AI Models https://www.ibm.com/[...]
[160] 논문 An Empirical Study on Algorithmic Bias 2020
[161] 논문 AI can be sexist and racist — it's time to make it fair 2018-07
[162] 학회발표 Right for the right reason: Training agnostic networks. Springer 2018
[163] 학회발표 Biased embeddings from wild data: Measuring, understanding and removing. Springer 2018
[164] 웹사이트 Software & Systems Engineering Standards Committee https://www.computer[...] 2018-04-17
[165] 논문 Algorithmic Bias: Addressing Growing Concerns [Leading Edge] http://eprints.notti[...] 2019-08-01
[166] 웹사이트 P7003 - Algorithmic Bias Considerations https://standards.ie[...] 2018-12-03
[167] 웹사이트 Software & Systems Engineering Standards Committee https://www.computer[...] 2018-04-17
[168] 논문 IEEE CertifAIEd™ – Ontological Specification for Ethical Algorithmic Bias https://engagestanda[...] 2022
[169] 웹사이트 Artificial Intelligence and Machine Learning: Policy Paper https://www.internet[...] 2020-02-11
[170] 웹사이트 White Paper: How to Prevent Discriminatory Outcomes in Machine Learning https://www.weforum.[...] 2020-02-11
[171] 웹사이트 Explainable Artificial Intelligence https://www.darpa.mi[...] 2020-02-11
[172] 웹사이트 The responsible AI framework https://www.pwc.co.u[...] 2020-02-11
[173] 서적 Transparency: The Key to Better Governance? British Academy 2006-09-07
[174] 논문 Transparent to whom? No algorithmic accountability without a critical audience 2019-12-06
[175] 웹사이트 The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems https://www.hrw.org/[...] 2020-02-11
[176] 서적 The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems https://www.accessno[...] Human Rights Watch
[177] 논문 AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations 2018-12-01
[178] 뉴스 Opinion {{!}} Artificial Intelligence's White Guy Problem https://www.nytimes.[...] 2020-02-11
[179] 뉴스 AI Is the Future—But Where Are the Women? https://www.wired.co[...] 2020-02-11
[180] 웹사이트 "We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives https://www.technolo[...] 2020-02-11
[181] 뉴스 Inside the fight to reclaim AI from Big Tech's control https://www.technolo[...] 2021-06-21
[182] 논문 Intersectional AI Is Essential 2019-12-29
[183] 서적 Data Feminism MIT Press 2020
[184] 논문 The Whiteness of AI 2020-08-06
[185] 서적 Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society https://ezpa.library[...] 2023-04-06
[186] 웹사이트 Stanford University launches the Institute for Human-Centered Artificial Intelligence https://news.stanfor[...] 2023-04-06
[187] 서적 Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society 2021-07-21
[188] 논문 Automated Profiling
[189] 논문 Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling http://discovery.ucl[...] 2018
[190] 논문 Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation 2017-05-01
[191] 논문 Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For 2017-05-23
[192] 뉴스 Consumer Data Protection Laws, an Ocean Apart https://www.nytimes.[...] 2017-11-26
[193] 웹사이트 The Administration's Report on the Future of Artificial Intelligence https://obamawhiteho[...] National Archives 2017-11-26
[194] 서적 National Artificial Intelligence Research and Development Strategic Plan https://obamawhiteho[...] US Government 2017-11-26
[195] 웹사이트 New York City Moves to Create Accountability for Algorithms — ProPublica https://www.propubli[...] 2018-07-28
[196] 웹사이트 The New York City Council - File #: Int 1696-2017 http://legistar.coun[...] New York City Council 2018-07-28
[197] 잡지 New York City's Bold, Flawed Attempt to Make Algorithms Accountable https://www.newyorke[...] 2018-07-28
[198] 웹사이트 Maintaining American Leadership in Artificial Intelligence https://www.federalr[...] 2019-02-14
[199] 웹사이트 Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence https://www.federalr[...] 2023-11-01
[200] 웹사이트 VP Kamala Harris Unveils "Safe, Secure & Responsible" AI Guidelines for Federal Agencies https://uk.news.yaho[...] 2024-03-28
[201] 웹사이트 India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR https://www.insuranc[...] 2019-02-26
[202] 웹사이트 The Personal Data Protection Bill, 2018 https://meity.gov.in[...] Ministry of Electronics & Information Technology, Government of India 2022-04-29
[203] 참고문헌
[204] 참고문헌
[205] 참고문헌
[206] 참고문헌
[207] 참고문헌
[208] 참고문헌
[209] 참고문헌
[210] 참고문헌
[211] 논문 2015
[212] 논문 2016
[213] 논문 2018
[214] 논문 2018
[215] 논문 2009
[216] 논문 2021
[217] 논문 1997
[218] 논문 1985
[219] 논문 2016
[220] 논문 2002
[221] 논문 2018
[222] 논문 2013
[223] 논문 2016
[224] 논문 2013
[225] 논문 2014
[226] 논문 2015
[227] 논문 2004
[228] 논문 1999
[229] 논문 2013
[230] 논문 2010
[231] 논문 2013
[232] 논문 2018
[233] 웹사이트 Patent #US2001021914 https://worldwide.es[...] 2001-09-13
[234] 서적 Equity and Access in Algorithms, Mechanisms, and Optimization Association for Computing Machinery 2021-11-04
[235] 웹인용 What is an Algorithm? – Culture Digitally http://culturedigita[...] 2012-02
[236] 서적 Introduction to Algorithms https://archive.org/[...] MIT Press 2009
[237] 웹사이트 How Google Search Works https://www.google.c[...] 2017-11-19
[238] 잡지 Here's How Your Facebook News Feed Actually Works http://time.com/coll[...] 2017-11-19
[239] 잡지 The Science Behind the Netflix Algorithms That Decide What You'll Watch Next https://www.wired.co[...] 2013-08-07
[240] 웹사이트 Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica https://www.propubli[...] 2016-09-20
[241] 웹사이트 The future of online advertising is big data and algorithms http://theconversati[...] 2017-03-13
[242] 뉴스 How algorithms rule the world https://www.theguard[...] 2013-07-01
[243] 웹사이트 Knowing Algorithms https://static1.squa[...] Media in Transition 8, Cambridge, MA, April 2013 2017-11-18
[244] Submitted manuscript Software-sorted geographies http://dro.dur.ac.uk[...] 2016-07
[245] 저널 Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy http://muse.jhu.edu/[...] 2017-11-19
[246] 저널 The Hidden Biases in Big Data https://hbr.org/2013[...] 2013-04-01
[247] 서적 Media Technologies https://archive.org/[...] MIT Press
[248] 웹사이트 Algorithmic Accountability: On the Investigation of Black Boxes https://towcenter.or[...] 2017-11-19
[249] Submitted manuscript The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today https://mpra.ub.uni-[...] 2011-01-06
[250] 저널 EU regulations on algorithmic decision-making and a "right to explanation"
[251] 서적 Computer Power and Human Reason: From Judgment to Calculation https://archive.org/[...] W.H. Freeman 1976
[252] 저널 A Blot on the Profession http://europepmc.org[...] 2017-11-17
[253] 저널 Want Less-Biased Decisions? Use Algorithms https://hbr.org/2018[...] 2018-07-31
[254] 저널 The Enframing of Code 2011-12-02
[255] 웹사이트 The Cathedral of Computation https://www.theatlan[...] 2015-01-15
[256] 저널 Picturing algorithmic surveillance: the politics of facial recognition systems http://nbn-resolving[...] 2017-11-19
[257] 저널 Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible 2006-12-21
[258] 웹사이트 A Speculative Post on the Idea of Algorithmic Authority Clay Shirky http://www.shirky.co[...] 2017-11-20
[259] 저널 Governing Algorithms: Myth, Mess, and Methods http://revistas.ucm.[...] 2016-01-01
[260] 저널 Power after Hegemony 2016-06-30
[261] 저널 Racist in the Machine 2016-01-01
[262] 웹사이트 ACM FAccT 2021 Registration https://facctconfere[...] 2021-11-14
[263] 웹사이트 The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation https://theintercept[...] 2019-12-20
[264] 서적 Software Studies: A Lexicon https://archive.org/[...] MIT Press 2008
[265] 저널 The British Nationality Act as a Logic Program https://web.stanford[...] 2017-11-18
[266] 웹사이트 To stop algorithmic bias, we first have to define it https://www.brooking[...] 2023-06-27
[267] 뉴스 Researchers Find Racial Bias in Hospital Algorithm https://www.wsj.com/[...] 2023-06-27
[268] 인용 A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube 2023-05-23
[269] 서적 Proceedings of the 16th International Conference on Theory and Practice of Electronic Governance Association for Computing Machinery 2023-11-20
[270] 서적 Proceedings of the ACM Collective Intelligence Conference Association for Computing Machinery 2023-11-05
[271] 인용 Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models 2023-05-29
[272] 저널 From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models https://aclanthology[...] Association for Computational Linguistics 2023-07
[273] 웹사이트 Algorithm [draft] [#digitalkeywords] – Culture Digitally http://culturedigita[...] 2014-06-25
[274] 저널 New physicians: A natural experiment in market organization https://stanford.edu[...] 2017-11-18
[275] 뉴스 Can A.I. Be Taught to Explain Itself? https://www.nytimes.[...] 2017-11-21
[276] 뉴스 Police are using software to predict crime. Is it a 'holy grail' or biased against minorities? https://www.washingt[...] 2016-11-17
[277] 웹사이트 Policing the Future https://www.themarsh[...] 2016-02-03
[278] 저널 To predict and serve? 2016-10
[279] 웹사이트 Predictive policing only amplifies racial bias, study shows https://mic.com/arti[...] 2016-10-09
[280] 웹사이트 FAQs on Predictive Policing and Bias https://hrdag.org/20[...] 2016-10-01
[281] 서적 Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management SCITEPRESS - Science and Technology Publications 2018
[282] 저널 Gauss's law for networks directly reveals community boundaries 2018-08-09
[283] 웹인용 Google is finally admitting it has a filter-bubble problem https://qz.com/11945[...] 2018-02-01
[284] 웹인용 Facebook Is Testing This New Feature to Fight 'Filter Bubbles' http://fortune.com/2[...]
[285] 저널 Bias in Computer Systems https://nissenbaum.t[...] 1996-07-01
[286] 웹사이트 The Anatomy of a Search Engine http://www7.scu.edu.[...]
[287] 저널 Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms http://www-personal.[...] 2014-05-22
[288] 저널 The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections 2015-08-18
[289] 저널 A 61-million-person experiment in social influence and political mobilization 2012-09-13
[290] 저널 Engineering an Election http://cdn.harvardla[...] 2014
[291] 웹인용 How LinkedIn's search engine may reflect a gender bias https://www.seattlet[...] 2016-08-31
[292] 저널 Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms http://lawdigitalcom[...] 2014
[293] 뉴스 How Companies Learn Your Secrets https://www.nytimes.[...] 2012-02-16
[294] 저널 Missed Connections: What Search Engines Say about Women https://safiyaunoble[...] 2012
[295] 뉴스 Google starts flagging offensive content in search results https://www.usatoday[...] 2017-03-16
[296] 웹인용 Study Suggests Google's Ad-Targeting System May Discriminate https://www.technolo[...] Massachusetts Institute of Technology
[297] ArXiv Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate
[298] 저널 Assessing gender bias in machine translation: A case study with Google Translate
[299] 뉴스 Boffins bash Google Translate for sexism https://www.theregis[...] 2018-09-10
[300] 뉴스 Amazon scraps secret AI recruiting tool that showed bias against women https://www.reuters.[...] 2018-10-09
[301] 웹인용 Amazon reportedly scraps internal AI recruiting tool that was biased against women https://www.theverge[...] 2018-10-10
[302] 웹인용 Reflecting on Spotify's Recommender System – SongData https://songdata.ca/[...] 2019-10-01
[303] 저널 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.m[...] 2018-01-21
[304] 서적 Algorithms of Oppression: How Search Engines Reinforce Racism NYU Press 2018-02-20
[305] 서적 The New Media of Surveillance Routledge 2009
[306] 저널 The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges https://www.scienced[...]
[307] 저널 Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past? https://archive.org/[...] 1997-09-01
[308] 저널 Racial Disparities in the Criminal Justice System: A Summary 1985-01-01
[309] 뉴스 Google Photos labeled black people 'gorillas' https://www.usatoday[...] 2015-07-01
[310] 잡지 Are Face-Detection Cameras Racist? http://content.time.[...] 2010-01-22
[311] 뉴스 Alexa does not understand your accent https://www.washingt[...]
[312] ArXiv Discrimination in Online Ad Delivery 2013-01-28
[313] 저널 Race, ethnicity and lung function: A brief history 2015
[314] 저널 Teaching yourself about structural racism will improve your machine learning 2020-04-01
[315] 뉴스 Racial bias in a medical algorithm favors white patients over sicker black patients https://www.washingt[...] 2019-10-24
[316] 저널 Consumer-Lending Discrimination in the FinTech Era http://www.nber.org/[...] 2019-06-01
[317] 웹사이트 How We Analyzed the COMPAS Recidivism Algorithm https://www.propubli[...] 2020-06-19
[318] 웹사이트 Commentary: Bad news. Artificial intelligence is biased https://www.channeln[...] 2020-06-19
[319] 웹사이트 Machine Bias — ProPublica https://www.propubli[...] 2017-11-18
[320] 저널 Risk as a Proxy for Race https://scholarship.[...] 2010-09-16
[321] SSRN Risk, Race, & Recidivism: Predictive Bias and Disparate Impact 2016-06-14
[322] 저널 Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race https://scholarship.[...] 2022-01-01
[323] 웹사이트 Facebook's Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children — ProPublica https://www.propubli[...] 2017-11-20
[324] 뉴스 Facebook Enabled Advertisers to Reach 'Jew Haters' — ProPublica https://www.propubli[...] 2017-11-20
[325] 콘퍼런스 The Risk of Racial Bias in Hate Speech Detection https://homes.cs.was[...] Association for Computational Linguistics 2019-07-28
[326] 웹사이트 The algorithms that detect hate speech online are biased against black people https://www.vox.com/[...] 2020-02-19
[327] 저널 Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis 2002-12-01
[328] 서적 Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society Association for Computing Machinery 2020-02-07
[329] 웹사이트 Facial Recognition Is Accurate, if You're a White Guy https://www.nytimes.[...] 2023-08-24
[330] 저널 Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification http://proceedings.m[...] 2018-01-01
[331] 웹사이트 The Curious Connection Between Apps for Gay Men and Sex Offenders https://www.theatlan[...] 2017-11-18
[332] 웹사이트 Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.' http://allthingsd.co[...] 2017-11-22
[333] 웹사이트 Amazon Apologizes for 'Ham-fisted Cataloging Error' http://allthingsd.co[...] 2017-11-22
[334] 뉴스 A 'Sexist' Search Bug Says More About Us Than Facebook https://www.wired.co[...] 2019-02-26
[335] 웹사이트 Some AI just shouldn't exist https://www.vox.com/[...] 2019-04-19
[336] 웹사이트 Some AI just shouldn't exist https://www.vox.com/[...] 2019-12-12
[337] 저널 Deep neural networks are more accurate than humans at detecting sexual orientation from facial images. https://osf.io/zn79k[...] 2017-02-15
[338] 뉴스 LGBT groups denounce 'dangerous' AI that uses your face to guess sexuality https://www.theguard[...] 2019-12-12
[339] 저널 Disability, Intersectionality and Deprivation: An Excluded Agenda https://journals.sag[...] 2011-09-16
[340] 저널 Shifting the discourse on disability: Moving to an inclusive, intersectional focus. 2022-10-20
[341] 웹사이트 Disability, Bias, and AI https://ainowinstitu[...] 2024-01-20
[342] 웹사이트 Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY https://disabilityis[...] 2022-12-02
[343] 웹사이트 Microsoft Design https://www.microsof[...] 2022-12-02
[344] 웹사이트 4 Ways To Understand The Diversity Of The Disability Community https://www.forbes.c[...] 2022-12-02
[345] 저널 Disability and the problem of lazy intersectionality https://doi.org/10.1[...] 2022-10-12
[346] 웹사이트 Disability Data Report 2021 https://disabilityda[...] 2022-12-02
[347] 저널 Fairness of AI for people with disabilities: problem analysis and interdisciplinary collaboration https://doi.org/10.1[...] 2020-03-02
[348] 웹사이트 AI language models show bias against people with disabilities, study finds {{!}} Penn State University https://www.psu.edu/[...] 2022-12-02
[349] 웹사이트 How Algorithmic Bias Hurts People With Disabilities https://slate.com/te[...] 2022-12-02
[350] 저널 AI and accessibility https://doi.org/10.1[...] 2020-05-22
[351] 서적 Algorithms of Oppression: How Search Engines Reinforce Racism 2018-02-20
[352] ArXiv Fair Enough? A map of the current limitations to the requirements to have "fair" algorithms 2023
[353] 저널 Can We Trust Fair-AI? 2023
[354] ArXiv On the (im)possibility of fairness
[355] ArXiv Welfare and Distributional Impacts of Fair Classification
[356] ArXiv Fairness Through Awareness 2011-11-28
[357] 저널 An Algorithm Audit http://www-personal.[...] 2014
[358] 웹인용 The Algorithms That Power the Web Are Only Getting More Mysterious https://www.theatlan[...] 2015-09-18
[359] 서적 Pandora's Hope: Essays On the Reality of Science Studies https://archive.org/[...] Harvard University Press
[360] 서적 Innovative Methods in Media and Communication Research https://books.google[...] Springer 2016
[361] 웹인용 EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors https://marketinglan[...] 2013-08-16
[362] 저널 Thinking critically about and researching algorithms http://mural.maynoot[...] 2016-02-25
[363] 저널 The Politics of Search: A Decade Retrospective https://static.googl[...] 2010-09-27
[364] 웹인용 Black-Boxed Politics https://medium.com/@[...] 2020-01-20
[365] 저널 Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data 2017
[366] 저널 Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities 2009-06
[367] 서적 Proceedings of the Conference on Fairness, Accountability, and Transparency ACM Press 2019
[368] 저널 Blind Justice: Fairness with Encrypted Sensitive Attributes http://proceedings.m[...] 2018
[369] 서적 Social Informatics 2017-09-13
[370] 웹인용 EU Data Protection Law May End The Unknowable Algorithm – InformationWeek https://www.informat[...] 2016-07-18
[371] 저널 The global landscape of AI ethics guidelines 2019-09-02
[372] 웹사이트 Attacking discrimination with smarter machine learning https://research.goo[...]
[373] ArXiv Equality of Opportunity in Supervised Learning
[374] 웹사이트 Microsoft is developing a tool to help engineers catch bias in algorithms https://venturebeat.[...]
[375] 웹인용 Facebook says it has a tool to detect bias in its artificial intelligence https://qz.com/12685[...] 2018-05-03
[376] Github Pymetrics audit-ai https://github.com/p[...]
[377] 웹사이트 Pymetrics open-sources Audit AI, an algorithm bias detection tool https://venturebeat-[...]
[378] Github Aequitas: Bias and Fairness Audit Toolkit https://github.com/d[...]
[379] 웹사이트 Audit AI, Aequitas at University of Chicago https://dsapp.uchica[...]
[380] 웹사이트 Mitigating Bias in AI Models https://www.ibm.com/[...]
[381] 논문 An Empirical Study on Algorithmic Bias 2020
[382] 저널 AI can be sexist and racist — it's time to make it fair 2018-07
[383] 콘퍼런스 Right for the right reason: Training agnostic networks. Springer 2018
[384] 콘퍼런스 Biased embeddings from wild data: Measuring, understanding and removing. Springer 2018
[385] 저널 Algorithmic Bias: Addressing Growing Concerns [Leading Edge] http://eprints.notti[...] 2017-06
[386] 웹인용 P7003 - Algorithmic Bias Considerations https://standards.ie[...] 2018-12-03
[387] 웹인용 Artificial Intelligence and Machine Learning: Policy Paper https://www.internet[...] 2020-02-11
[388] 웹인용 White Paper: How to Prevent Discriminatory Outcomes in Machine Learning https://www.weforum.[...] 2020-02-11
[389] 웹인용 Explainable Artificial Intelligence https://www.darpa.mi[...] 2020-02-11
[390] 웹인용 The responsible AI framework https://www.pwc.co.u[...] 2020-02-11
[391] 서적 Transparency: The Key to Better Governance? https://archive.org/[...] British Academy 2006-09-07
[392] 저널 Transparent to whom? No algorithmic accountability without a critical audience 2019-12-06
[393] 웹인용 The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems https://www.hrw.org/[...] 2020-02-11
[394] 서적 The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems https://www.accessno[...] Human Rights Watch
[395] 저널 AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations 2018-12-01
[396] 뉴스 Opinion {{!}} Artificial Intelligence's White Guy Problem https://www.nytimes.[...] 2020-02-11
[397] 뉴스 AI Is the Future—But Where Are the Women? https://www.wired.co[...] 2020-02-11
[398] 웹인용 "We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives https://www.technolo[...] 2020-02-11
[399] 뉴스 Inside the fight to reclaim AI from Big Tech's control https://www.technolo[...] 2021-06-14
[400] 저널 Intersectional AI Is Essential 2019-12-29
[401] 서적 Data Feminism MIT Press 2020
[402] 저널 The Whiteness of AI 2020-08-06
[403] 서적 Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society https://ezpa.library[...] 2023-04-06
[404] 웹인용 Stanford University launches the Institute for Human-Centered Artificial Intelligence https://news.stanfor[...] 2023-04-06
[405] 서적 Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society 2021-07-21
[406] 저널 Automated Profiling
[407] 저널 Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling http://discovery.ucl[...] 2018
[408] 저널 Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation 2017-05-01
[409] 저널 Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For 2017-05-23
[410] 뉴스 Consumer Data Protection Laws, an Ocean Apart https://www.nytimes.[...] 2013-02-02
[411] 웹인용 The Administration's Report on the Future of Artificial Intelligence https://obamawhiteho[...] National Archives 2016-10-12
[412] 서적 National Artificial Intelligence Research and Development Strategic Plan https://obamawhiteho[...] US Government 2017-11-26
[413] 웹인용 New York City Moves to Create Accountability for Algorithms — ProPublica https://www.propubli[...] 2017-12-18
[414] 웹인용 The New York City Council - File #: Int 1696-2017 http://legistar.coun[...] New York City Council 2018-07-28
[415] 잡지 New York City's Bold, Flawed Attempt to Make Algorithms Accountable https://www.newyorke[...] 2018-07-28
[416] 웹인용 India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR https://www.insuranc[...] 2019-02-26
[417] 웹인용 The Personal Data Protection Bill, 2018 https://meity.gov.in[...] Ministry of Electronics & Information Technology, Government of India 2022-04-29

관련 사건 타임라인

( 최근 20개의 뉴스만 표기 됩니다. )


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com