맨위로가기

딥페이크 포르노그래피

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

딥페이크 포르노그래피는 딥러닝 기술을 사용하여 제작된 가짜 포르노 영상으로, 2017년 레딧에서 처음 등장했다. 초기에는 소규모 개인에 의해 제작되었으나, 2018년 이후 자동화된 앱의 등장으로 제작 과정이 발전했다. 딥페이크 기술은 유명 여성의 얼굴을 포르노 배우의 몸에 합성하는 방식으로 사용되며, 갈 가도트, 엠마 왓슨, 테일러 스위프트 등 유명인을 대상으로 한 사례가 발생하여 사회적 문제로 대두되었다. 딥페이크 기술은 아동 성적 학대 영상 제작에도 악용될 수 있으며, 윤리적, 법적 문제점을 야기한다. 딥페이크 탐지 기술 개발과 법률 제정 노력이 진행 중이며, 플랫폼들은 딥페이크 포르노 콘텐츠를 금지하고 있다. 반면, 일본에서는 긍정적인 활용 사례로 AV 작품에 AI 기술을 응용하는 시도가 나타나고 있다.

더 읽어볼만한 페이지

  • 딥페이크 - 페이스앱
    페이스앱은 성별 변환, 인상, 메이크업, 헤어스타일 편집 등 다양한 얼굴 편집 기능을 제공하는 모바일 애플리케이션이지만, 인종차별 논란, 개인 정보 보호 문제, 과금 방식 및 이용 약관 관련 논란이 있었다.
  • 텍스트-비디오 생성 - 텍스트-비디오 모델
    텍스트-비디오 모델은 텍스트 입력을 기반으로 비디오를 생성하는 인공지능 모델로서, 다양한 모델들이 개발되고 교육, 홍보, 창작 산업 등 여러 분야에 활용되지만 컴퓨팅 자원 소모, 데이터 부족, 텍스트 해석 오류, 윤리적 문제 등의 한계점을 가진다.
  • 텍스트-비디오 생성 - 콰이쇼우
    콰이쇼우는 화수와 청이샤오가 개발한 중국의 숏폼 동영상 플랫폼으로, GIF 공유 앱에서 시작하여 라이브 스트리밍과 전자상거래 등으로 사업을 확장했으며, 남미와 남아시아에서는 다른 이름으로 서비스되고 있다.
  • 2020년대 인터넷 문화 - 기레기
    기레기는 2010년대 초반 대한민국 네티즌 사이에서 등장한 신조어로, 무책임하고 선정적인 보도를 일삼는 일부 언론과 기자를 비하하는 용어이며, 세월호 침몰 사고 당시 언론의 부적절한 보도 행태로 확산되었고, 기술 발전과 소셜 미디어 발달로 언론의 문제점이 부각되며 널리 사용되기 시작했다.
  • 2020년대 인터넷 문화 - 로스트웨이브
    로스트웨이브는 1980년대 잊혀진 음악을 발굴하고 공유하는 인터넷 현상 및 음악 하위 장르로, 온라인 커뮤니티를 중심으로 희귀한 음악 트랙 공유 및 정보 교환을 통해 확산되었으며, 1980년대 향수를 자극하는 사운드와 멜로디가 특징이다.
딥페이크 포르노그래피
인공지능
유형합성 포르노그래피
기술
기술딥페이크 기술을 사용하여 사진이나 비디오를 변경
설명
특징성적인 콘텐츠를 포함
목적사진이나 비디오를 조작하여 가짜 포르노를 만듬
참고
참고NHK스페셜 취재반(2020), 44쪽
같이 보기헤이트에이드
딥페이크 포르노그래피
기타
경고이 항목은 성적인 표현이나 묘사를 포함합니다. 면책 조항을 읽으십시오.

2. 역사

"딥페이크"라는 용어는 2017년 레딧에서 처음 등장했다.[64] 딥페이크 포르노는 가짜 누드 사진과 혼동되기도 하지만, 대부분의 경우 가짜 누드 사진은 비성적인 이미지를 사용하며 사진 속 인물들이 누드인 것처럼 보이게 만든다는 점에서 차이가 있다.

2017년 11월, 레딧의 "Deepfakes"라는 익명 사용자가 유명 여배우 세 명의 가짜 포르노 동영상을 게시했다. 이들은 구글 이미지 검색, 스톡 사진, 유튜브 등에서 유명인의 데이터를 수집하고, 인공지능(AI) 알고리즘을 학습시켜 기존 포르노 동영상의 얼굴을 유명 여성의 얼굴로 바꾸는 방식으로 제작되었다.

레딧은 "동의 없는 포르노"라는 이유로 Deepfakes의 가짜 포르노 동영상을 삭제하고, Deepfakes 계정 또한 사라졌다. 그러나 가짜 포르노 제작 프로그램이 이미 공개되어 공유되면서, 딥페이크 제작 도구와 무료 소프트웨어가 인터넷에 등장했고, 다양한 가짜 포르노 동영상이 제작 및 게시되기 시작했다. 프로그래밍 지식이 있다면 전문 지식 없이도 제작 가능하며, AI에 입력되는 이미지가 많고 학습 시간이 길수록 동영상 품질이 높아진다.

2018년 2월에는 최초의 딥페이크 포르노 사이트가 등장했으며, 2021년 주요 딥페이크 포르노 사이트의 총 시청 횟수는 1억 3400만 회에 달했다. 딥페이크 포르노의 대상은 여성이며, 남성을 대상으로 한 것은 찾아볼 수 없다. 대상 여성은 수십 개국 출신으로, 민족과 머리 색깔도 다양하다.

딥페이크 포르노 제작은 유명 여성의 가짜 포르노를 제작하여 조회 수를 높이거나, 대상 여성의 포르노를 원하는 사람이 제작자에게 의뢰하는 방식으로 이루어진다. 인터넷에 공개된 가짜 포르노는 대부분 광고용 다이제스트 버전이며, 본편을 시청하려면 유료 구매나 회원 가입이 필요하다. 초기에는 진짜와 구분이 어려웠지만, 기술 발전으로 점점 더 정교해지고 있다.

2. 1. 딥페이크 포르노의 등장

"딥페이크"는 '딥러닝'과 영상이 진짜가 아니라는 뜻인 '페이크'의 합성어로, 2017년 레딧에서 사용자들이 기계 학습 알고리즘을 사용하여 만든 변조된 포르노 영상을 일컫는 용어로 처음 등장했다.[64]

딥페이크 포르노그래피는 처음에는 기계 학습 알고리즘, 컴퓨터 비전 기술, 인공지능을 사용해 사람의 얼굴에 대한 대량의 원 자료(이미지와 비디오 모두 포함)를 수집해 딥러닝 모델을 사용하여 생성적 적대 신경망을 훈련시켜 포르노 배우의 몸에 원 자료의 얼굴을 바꿔치기 하는 방식으로 소규모 개인들에 의해 만들어졌다.[65] 그러나 2018년 이후로 대부분의 과정을 자동화한 여러 공개 앱들이 등장하면서 생산 과정이 상당히 발전했다.[65]

2. 2. 딥누드와 딥페이크 텔레그램 봇

2019년 6월, GAN을 사용하여 여성 이미지에서 옷을 제거하는 딥누드(DeepNude)라는 마이크로소프트 윈도우 및 리눅스 애플리케이션이 출시되었다. 이 앱은 유료 버전과 무료 버전이 있었으며, 유료 버전의 가격은 50USD였다.[66] 같은 해 6월 27일, 앱 제작자는 해당 애플리케이션을 삭제하고 소비자에게 환불했지만, 무료와 유료를 포함한 다양한 앱 사본이 계속 나오고 있다.[67] 깃허브에서는 "open-deepnude"라는 이 프로그램의 오픈소스 버전이 삭제되었다.[68] 오픈 소스 버전은 더 많은 누드 이미지 데이터 세트로 훈련을 받아 결과 누드 이미지의 정확도 수준을 높일 수 있었다.[69]

2019년 7월, 메시징 앱 텔레그램에서 AI 기술을 사용해 여성의 누드 이미지를 만드는 딥페이크 봇 서비스가 출시되었다. 이 서비스는 무료이며 사용자 친화적인 인터페이스를 갖추고 있어, 사용자들이 사진을 제출하면 수분 내에 조작된 누드 이미지를 받을 수 있다. 이 서비스는 봇을 호스팅하는 주 채널, 기술 지원, 이미지 공유 채널 등 7개의 텔레그램 채널과 연결되어 있다. 총 사용자 수는 알려지지 않았지만, 주 채널의 회원 수는 45,000명이 넘는다. 2020년 7월 기준으로, 이미지 공유 채널들을 통해 약 24,000개의 조작된 이미지가 공유된 것으로 추정된다.[70]

3. 주요 사례

딥페이크 기술은 유명 여성 연예인들의 동의 없이 음란한 이미지와 동영상을 만드는 데 사용되어 왔다.[71] 2017년 11월, 미국 Reddit에서 "Deepfakes"라는 사용자가 유명 여배우들의 가짜 포르노 동영상을 게시하면서 시작되었다.

이러한 동영상은 구글 이미지 검색, 스톡 사진, 유튜브 등에서 수집한 유명인의 데이터를 사용하여, 기존 포르노 동영상의 얼굴을 유명 여성의 얼굴로 바꾸는 방식으로 인공지능(AI) 알고리즘을 학습시켜 제작되었다.

Reddit에서는 "동의 없는 포르노"라는 이유로 Deepfakes의 게시물이 삭제되었고, 사용자도 사라졌다. 그러나 이미 가짜 포르노 동영상 제작 프로그램이 공개되어 공유되면서, 다양한 가짜 포르노 동영상이 제작 및 게시되기 시작했다. 프로그래밍 지식이 있다면 전문 지식 없이도 제작 가능하며, AI에 입력되는 이미지가 많고 학습 시간이 길수록 동영상의 질이 향상된다.

2018년 2월 최초의 딥페이크 포르노 사이트가 등장했고, 2021년 기준 주요 사이트의 총 시청 횟수는 1억 3400만 회에 달한다. 딥페이크 포르노의 대상은 여성뿐이며, 남성은 없다. 대상 여성은 수십 개국 출신으로 다양하다.

대부분의 가짜 포르노는 광고용 다이제스트 버전이며, 본편 시청을 위해서는 유료 회원 가입이 필요하여, 시청자가 제작자나 사이트 운영자에게 대가를 지불하는 구조가 일반적이다. 초기에는 진짜와 구분이 어려웠지만, 기술 발전으로 점점 더 정교해지고 있다.

3. 1. 해외 사례

딥페이크 기술은 유명 여성들의 동의 없는 포르노 이미지와 영상을 제작하는 데 사용되어 왔다. 2017년 레딧 사용자가 갈 가돗의 딥페이크 포르노 영상을 제작하여 온라인에 빠르게 퍼뜨린 것이 초기 사례 중 하나이다. 그 이후로 엠마 왓슨, 나탈리 포트만, 스칼릿 조핸슨 등 다른 여성 유명인을 대상으로 한 유사한 딥페이크 콘텐츠가 수없이 많이 등장했다.[3] 스칼릿 조핸슨은 2018년 12월 이 문제에 대해 공개적으로 언급하며 이러한 행위를 비난했지만, 이러한 괴롭힘은 불가피하다고 생각하여 법적 조치를 취하지 않았다.[4]

2018년, 인도의 탐사보도 기자 라나 아유브는 인도 정부 비판, 특히 8세 카슈미르 소녀 강간 사건에 대해 목소리를 낸 것으로 인해 온라인 혐오 캠페인의 표적이 되었다. 아유브는 강간 및 살해 위협에 시달렸으며, 조작된 음란 영상이 온라인에 유포되었다.[5] 허핑턴포스트 기사에서 아유브는 이 경험이 자신에게 미친 장기적인 심리적, 사회적 영향에 대해 논의했다. 그녀는 자신의 정신 건강과 싸우고 있으며, 고위험 사건을 다룰 때마다 해당 이미지와 영상이 계속해서 다시 등장하는 것에 어려움을 겪고 있다고 설명했다.[6]

2023년, 트위치 스트리머 Atrioc(애트리옥)은 실수로 생방송 중 여성 트위치 스트리머들을 묘사한 딥페이크 포르노 자료를 공개하여 논란이 되었다. 이후 그는 AI가 생성한 포르노에 돈을 지불했다고 인정하고 여성들과 팬들에게 사과했다.[7][8]

3. 1. 1. 테일러 스위프트 딥페이크 포르노그래피 논란

2024년 1월, AI가 생성한 미국 가수 테일러 스위프트의 노골적인 성적 이미지들이 X(구 트위터)에 게시되었고, 페이스북, 레딧, 인스타그램 등 다른 플랫폼으로 퍼졌다.[73][74][75] 이미지가 포함된 한 트윗은 삭제되기 전에 4,500만 번 이상 조회되었다.[76][74] 인터넷 매체 404 미디어에 따르면 이미지는 마이크로소프트 디자이너와 같은 도구를 사용해 생성되어 텔레그램 그룹에서 최초로 유포된 것으로 보이며, 콘텐츠 필터를 해결하기 위해 오타와 키워드 해킹을 사용했다.[77][78] 해당 게시물이 올라온 뒤 스위프트의 팬들은 딥페이크 영상이 검색되는 것을 막기 위해 콘서트 영상과 사진을 게시했고, 딥페이크 영상을 게시한 계정을 신고하기도 했다.[79] X에서 일시적으로 스위프트를 검색하는 것을 차단하고 오류 메시지가 반환되도록 설정했다.[80] 허위 정보 연구 회사인 Graphika는 이미지가 4chan 커뮤니티에서 만들어졌다고 추적했다.[81][82]

스위프트와 가까운 소식통은 《데일리 메일》에 법적 조치를 고려하고 있다고 말하며, "법적 조치를 취할지 여부는 결정 중이지만, 한 가지 분명한 것은 이 가짜 AI 생성 이미지들이 학대적이고, 모욕적이며, 착취적이고, 테일러의 동의나 인지 없이 이루어진 것이다"라고 말했다.[83][84]

카린 장-피에르 백악관 대변인,[85] 사티아 나델라 마이크로소프트 CEO,[86] Rape, Abuse & Incest National Network영어,[87] SAG-AFTRA[88]는 이 사건을 비판했다. 여러 미국 정치인은 딥페이크 포르노그래피에 대한 연방 법률 제정을 촉구했다.[89] 그 달 말에 미국 상원의원 Dick Durbin영어, 린지 그레이엄, 에이미 클로버샤 및 Josh Hawley영어는 피해자가 유포를 목적으로 "디지털 위조물"을 제작하거나 소지한 사람, 또는 비동의로 제작된 것을 알고도 받은 사람을 상대로 소송을 제기할 수 있도록 하는 초당적 법안을 발의했다.[90]

3. 2. 한국의 딥페이크 피해

전 세계 딥페이크 포르노그래피의 25%는 한국인을 대상으로 하며, 그 중 절반은 K-pop 스타들이다.[91] 2020년 6월부터 2023년 8월까지 방송통신심의위원회에 딥페이크를 활용한 성적 허위 영상물 9,006건이 신고되었고, 이 중 8,595건은 접속 차단, 411건은 삭제되었다.[92] 2024년 10월에는 텔레그램의 "누드화" 딥페이크 봇의 월간 사용자 수가 400만 명에 달하는 것으로 추산되었다.[32][33]

3. 2. 1. 교사 및 학생 대상 딥페이크 성착취물 사건

2024년 8월, 전국교직원노동조합은 전국 초중고 교사와 학생들을 대상으로 한 딥페이크 성착취물 피해 신고가 2,500건 접수되었다고 밝혔다.[93] 같은 해 9월 21일, 대학생 연합단체 여성혐오폭력규탄공동행동은 마로니에 공원 앞에서 딥페이크 성착취물 유통 및 소지자 처벌을 촉구하는 시위를 열었고, 주최측 추산 5,000명이 참가했다.[94]

한겨레 고나린 기자는 텔레그램 채팅방에서 딥페이크 이미지를 발견했다.[26][27][28] 텔레그램에는 중·고등학생, 교사, 가족 구성원 등 여성들의 이미지를 이용해 성적 학대를 목적으로 만들어진 그룹 채팅방이 있었다. 카카오톡, 인스타그램, 페이스북 등 소셜 미디어에 사진을 올린 여성들이 주로 표적이 되었다. 가해자들은 AI 봇을 사용해 가짜 이미지를 만든 후 피해자의 소셜 미디어 계정, 전화번호, 카카오톡 아이디와 함께 판매하거나 공유했다. 가디언은 한 텔레그램 그룹의 회원 수가 약 22만 명이라고 보도했다.

주로 십대들이 친구와 교사의 딥페이크 이미지를 만들어 공유하는 텔레그램 채팅방이 다수 발견되었다. 이 문제는 2019년 N번방 사건과 같은 디지털 성범죄의 심각한 이력과 맞물려 발생했다. 한국교원단체총연합회는 200개가 넘는 학교가 이 사건의 영향을 받았다고 추산했다. 활동가들은 이 문제를 해결하기 위해 "국가 비상사태" 선포를 촉구했다.[29] 2024년 9월 말까지 한국 경찰은 800건이 넘는 딥페이크 성범죄 사건을 보고받았는데, 이는 2021년 156건에 비해 크게 증가한 수치이며, 피해자와 가해자 대부분이 십대였다.[30]

2024년 9월 26일, 대한민국 국회는 성적으로 명시적인 딥페이크 이미지와 비디오 소지 또는 시청을 범죄화하는 법안을 통과시켰다. 이 법에 따라 딥페이크 자료를 구매, 저장, 시청한 사람은 최대 3년의 징역 또는 3000만원의 벌금에 처할 수 있다. 또한, 유포 목적과 관계없이 딥페이크를 제작할 경우 최대 7년의 징역형에 처할 수 있도록 처벌이 강화되었다.[30]

4. 윤리적 고려 사항

딥페이크는 개인의 초상권과 명예를 침해하고, 성범죄에 악용될 수 있다는 윤리적 문제를 야기한다. 특히, 대부분의 딥페이크 포르노는 대상자의 동의 없이 제작되며, 주로 여성을 대상으로 한다는 점에서 심각한 문제로 지적된다.[96] 이는 리벤지 포르노와 유사하게 피해자에게 모욕감과 고통을 줄 수 있다.[41]

딥페이크 기술은 아동 성적 학대 영상(CSAM) 제작에도 악용될 수 있어 더 큰 우려를 낳고 있다.

4. 1. 딥페이크 CSAM

딥페이크 기술은 아동 성적 학대 영상(CSAM)을 이전보다 빠르고 쉽게 제작할 수 있게 한다. 딥페이크 기술은 기존 자료를 이용해 새로운 아동 성 착취물을 제작하거나, 실제로 성적 학대를 당하지 않은 아동들을 대상으로 아동 포르노를 만드는 데 사용될 수 있다. 이는 명예 훼손, 그루밍, 협박, 괴롭힘 등 아동에게 실질적이고 직접적인 피해를 줄 수 있다.[95]

4. 2. 동의 문제

대부분의 딥페이크 포르노는 초상권자의 동의 없이 제작되며, 주로 여성을 대상으로 한다.[96] 딥페이크 포르노는 리벤지 포르노와 유사하게 모욕과 고통을 주기 위해 사용된다.[41] 2023년, 신원 인증 회사인 센서티(Sensity)는 "96%의 딥페이크가 성적으로 노골적이며, 해당 콘텐츠 제작에 동의하지 않은 여성들이 등장한다"고 밝혔다.[96][41]

5. 딥페이크 포르노 퇴치 노력

딥페이크 기술이 발전하면서 딥페이크 포르노를 퇴치하기 위한 노력도 다각도로 이루어지고 있다.

기술적 접근으로는 합성곱 신경망(CNN)을 활용하여 높은 정확도로 딥페이크 이미지를 탐지하는 방법이 있다. DeepRhythm과 같은 알고리즘은 98%의 확률로 딥페이크 이미지를 탐지할 수 있다.[64] 일반 대중을 위한 동영상 인증 도구로는 2019년 Deepware의 딥페이크 동영상 탐지 도구, 2020년 마이크로소프트의 동영상 진위 확인 소프트웨어 등이 있다.

법률적인 측면에서는 딥페이크 포르노를 직접 다루는 법률은 아직 부족하지만, 리벤지 포르노, 명예훼손, 성희롱 등의 혐의로 고발이 가능하다.[97] 각 국가별로 리벤지 포르노에 대한 처벌 수준은 다르다.[97][98] 미국에서는 "딥페이크 책임법" 등이 제출되었으나 폐기되었다.[101][103] 영국에서는 2023년 2023년 온라인 안전법 개정을 통해 딥페이크 포르노 공유를 범죄화했다. 일본에서는 현행법상 가짜 포르노를 불법으로 규정하기 어렵지만, 명예훼손죄나 저작권 침해로 대응하고 있다.[57][58] 2024년에는 사기, 정치적 가짜 정보, 성적 딥페이크 규제 및 위반자에 대한 엄벌화가 요구되고 있다는 보도가 있었다.[59]

딥페이크 포르노 유포를 막기 위해 법원 명령을 통한 게시물 삭제 요청, DMCA 테이크다운과 같은 지적 재산권 도구를 활용할 수 있다.[107] gfycat, 레딧, 트위터, 디스코드, Pornhub 등 주요 온라인 플랫폼은 딥페이크 포르노를 금지하고 있으며,[108][109] 구글은 검색 결과에서 비자발적인 합성 음란물 이미지를 제거할 수 있도록 조치했다.[110]

5. 1. 기술적 접근 방식

최근 몇 년간 가짜 영상과 이미지의 확산이 더욱 만연해짐에 따라 딥페이크 탐지가 점점 더 중요한 연구 분야로 대두되고 있다. 딥페이크를 탐지하는 한 가지 유망한 접근법은 합성곱 신경망(CNN)을 활용하는 것이다. CNN은 실제 이미지와 가짜 이미지를 구별하는 데 높은 정확도를 보여주었다. 딥페이크 탐지를 위해 특별히 개발된 CNN 기반 알고리즘 중 하나는 DeepRhythm으로, 98%의 확률로 딥페이크 이미지를 성공적으로 탐지할 수 있다.[64] 이 알고리즘은 사전 훈련된 CNN을 사용하여 관심 있는 얼굴 영역에서 특징을 추출한 다음, 새로운 주의 메커니즘을 적용하여 원본 이미지와 조작된 이미지 간의 불일치를 식별한다. 딥페이크 기술이 더욱 정교하게 발전해 탐지 노력에 지속적으로 문젯거리가 되고 있지만, DeepRhythm과 같이 높은 정확도를 가진 알고리즘은 유해한 딥페이크의 확산을 식별하고 완화하는 데 긍정적인 효과를 가져다준다.[64][1]

탐지 모델 외에도 일반 대중이 사용할 수 있는 동영상 인증 도구들이 있다. 2019년, Deepware는 사용자들이 쉽게 딥페이크 동영상을 스캔해 탐지할 수 있는 최초의 공개 탐지 도구를 출시했다. 비슷하게, 2020년 마이크로소프트는 무료로 사용자 친화적인 동영상 진위 확인 소프트웨어를 출시했다. 사용자들이 의심스러운 동영상을 업로드하거나 링크를 입력하면, 딥페이크의 조작 수준을 평가하는 신뢰도 점수를 받을 수 있다.

5. 2. 법률적 접근 방식

2023년 현재, 딥페이크 포르노를 특별히 다루는 법률은 부족한 상황이다. 대신, 딥페이크 포르노의 제작과 유포로 인한 피해는 기존의 형법과 민법을 통해 법원에서 다뤄지고 있다.[97] 피해자들은 주로 리벤지 포르노, 명예훼손 및 성희롱 혐의로 고발한다.[97] 리벤지 포르노에 대한 법적 처벌 수준은 국가마다 다르다.[97][98] 예를 들어, 캐나다에서는 합의하지 않은 사적인 이미지를 게시할 경우 최대 5년의 징역형에 처해지는 반면,[99] 몰타에서는 최대 5000EUR의 벌금이 부과된다.[100]

2019년 미국 의회에 "딥페이크 책임법"이 제출되었으나 2020년에 폐기되었다.[101] 이 법안은 성적이고 비동의적인 조작 미디어를 만드는 행위에 대해 벌금형, 5년 이하의 징역형 또는 이 둘을 병과할 수 있다고 명시했다.[102] 2021년에는 모든 딥페이크 콘텐츠에 워터마크와 변경된 음향적, 시각적 요소를 공개하도록 요구하는 법안이 발의되었으나, 이 법안 역시 2023년에 폐기되었다.[103]

영국에서는 잉글랜드 및 웨일즈 법률위원회가 2022년에 딥페이크 포르노 공유를 범죄화하는 개혁을 권고했다.[104] 2023년, 영국 정부는 2023년 온라인 안전법을 개정해 초상권자의 동의 없이 딥페이크 포르노를 공유하는 행위를 범죄화했다. 2024년에는 딥페이크 포르노 이미지 제작을 범죄화하는 조항을 2024년 형사 사법법(Criminal Justice Bill)에 포함할 것이라고 발표했지만,[105][106] 총선을 앞두고 의회가 해산되면서 해당 법안은 통과되지 못했다.

일본에서도 현행법으로는 가짜 포르노를 다른 사람이 볼 수 있는 상태로 하지 않는 한 불법으로 규정하기 어렵다. 얼굴을 악용당한 피해자에 대한 명예훼손죄, 얼굴 이외의 AV를 악용당한 AV 제작사에 대한 저작권 침해로 가짜 포르노 게시자 등에 대응할 수밖에 없다. 리벤지 포르노 방지법은 실존 인물의 성적 기록물(동영상이나 사진)을 대상으로 하며, “얼굴은 피해자, 몸은 AV 배우”라는 가짜 포르노는 허구의 인물로 간주되기 때문에 적용이 어렵다고 여겨진다. 2020년 10월 2일, 일본에서 가짜 포르노를 제작하여 게시한 구마모토현의 대학생(당시 21세)과 효고현의 시스템 엔지니어(당시 47세) 2명이 명예훼손죄와 저작권법 위반으로 체포된 사례는 일본에서 가짜 포르노가 처음으로 형사 사건화된 사례이다.[57][58]

2024년에는 로이터에서 사기, 정치적 가짜 정보, 성적 딥페이크 규제 및 위반자에 대한 엄벌화가 요구되고 있다고 보도되었다.[59]

5. 2. 1. 유포 제어

2023년 현재, 딥페이크 포르노를 특별히 다루는 법률은 부족한 상황이다. 하지만 딥페이크 포르노 피해자들은 법원 명령을 통해 게시물 삭제를 요청하거나, DMCA 테이크다운과 같은 지적 재산권 도구를 활용할 수 있다. 또한, 호스팅 플랫폼의 이용 약관 위반 신고, 검색 엔진에 콘텐츠 신고 등의 방법을 통해 딥페이크 포르노 유포를 통제할 수 있다.[107]

몇몇 주요 온라인 플랫폼은 딥페이크 포르노를 금지하기 위한 조치를 취했다. 2018년부터 gfycat, 레딧, 트위터, 디스코드 및 Pornhub는 모두 자사 플랫폼에서 딥페이크 포르노 콘텐츠의 업로드 및 공유를 금지했다.[108][109] 같은 해 9월, 구글은 "비자발적인 합성 음란물 이미지"를 금지 목록에 추가하여 개인이 검색 결과에서 해당 콘텐츠를 제거하도록 요청할 수 있도록 했다.[110]

6. 긍정적 활용 사례

일본에서는 2020년대부터 AI 기술을 응용한 성인 비디오(AV) 작품이 발표되어 인기를 얻고 있다. 2023년 12월에는 실사 배우의 얼굴을 AI로 처리한 키바나 아이가 《세계 최초 신인 AI 여배우 완전한 미용 키바나 아이 AV 데뷔》(h.m.p)로 데뷔했다.[60] 소속사인 엘프로모션 대표는 신체 부분을 담당한 여배우에게도 허락을 받았으며, 앞으로 얼굴을 공개하고 싶지 않은 여배우가 AI 생성 여배우의 실제 모델로 데뷔하는 사례가 늘어날 것이라고 밝혔다.[60] AV 신법으로 인해 여배우 확보가 어려워지거나 회수 위험 가능성도 낮기 때문에 제작사 측에서도 AI AV 여배우 기용이 증가했다.[61]

2024년 11월에는 AI 생성 사진집과 협업한 《【AI 사진집 발매!】상상 유니폼 미소녀 AI MODEL AV 데뷔 작은 가슴 편 #1 ~전자책에서 태어난 AI 미소녀, AV 데뷔~》가 DOC에서 발매되어, FANZA 렌탈 플로어에서 2주 연속 주간 랭킹 1위를 차지했다.[62][63] 키바나 아이, 상상 유니폼 미소녀 모두 딥페이크 기술을 응용한 작품이다.

참조

[1] 논문 DeepFakes http://dx.doi.org/10[...] CRC Press 2023-04-20
[2] 논문 Deep Fake Detection, Deterrence and Response: Challenges and Opportunities 2022
[3] 웹사이트 Porn Producers Offer to Help Hollywood Take Down Deepfake Videos https://variety.com/[...] 2023-04-20
[4] 뉴스 Scarlett Johansson on fake AI-generated sex videos: 'Nothing can stop someone from cutting and pasting my image' https://www.washingt[...] 2023-04-20
[5] 간행물 'A Deepfake Porn Plot Intended to Silence Me': exploring continuities between pornographic and 'political' deep fakes http://dx.doi.org/10[...] 2023-04-20
[6] 웹사이트 I Was The Victim Of A Deepfake Porn Plot Intended To Silence Me https://www.huffingt[...] 2023-04-20
[7] 웹사이트 A Twitch streamer was caught watching deepfake porn of women gamers. Sexual images made without consent can be traumatic and abusive, experts say — and women are the biggest victims. https://www.insider.[...] 2023-02-10
[8] 웹사이트 Twitch streamer Atrioc gives tearful apology after paying for deepfakes of female streamers https://www.dexerto.[...] 2023-01-30
[9] 뉴스 The explicit AI-created images of Taylor Swift flooding the internet highlight a major problem with generative AI https://www.fastcomp[...] 2024-01-26
[10] 웹사이트 X can't stop spread of explicit, fake AI Taylor Swift images https://arstechnica.[...] 2024-01-25
[11] 웹사이트 Explicit, AI-generated Taylor Swift images spread quickly on social media https://www.cnn.com/[...] 2024-01-25
[12] 웹사이트 Trolls have flooded X with graphic Taylor Swift AI fakes https://www.theverge[...] 2024-01-25
[13] 웹사이트 AI-Generated Taylor Swift Porn Went Viral on Twitter. Here's How It Got There https://www.404media[...] 2024-01-25
[14] 웹사이트 Drastic moves by X, Microsoft may not stop spread of fake Taylor Swift porn https://arstechnica.[...] 2024-01-30
[15] 웹사이트 The Swiftie Fight to Protect Taylor Swift From AI https://www.thecut.c[...] 2024-03-06
[16] 간행물 X/Twitter Blocks Searches for 'Taylor Swift' as a 'Temporary Action to Prioritize Safety' After Deluge of Explicit AI Fakes https://variety.com/[...] 2024-01-29
[17] 뉴스 Fake and Explicit Images of Taylor Swift Started on 4chan, Study Says https://www.nytimes.[...] 2024-02-10
[18] 웹사이트 4chan daily challenge sparked deluge of explicit AI Taylor Swift images https://arstechnica.[...] 2024-02-09
[19] 웹사이트 If Anyone Can Stop the Coming AI Hellscape, It's Taylor Swift https://www.vogue.co[...] 2024-03-06
[20] 뉴스 Taylor Swift searches blocked on X after fake explicit images of pop singer spread https://www.theguard[...] 2024-01-29
[21] 간행물 Taylor Swift Explicit AI-Generated Deepfakes Are 'Alarming and Terrible,' Microsoft CEO Says: 'We Have to Act' https://variety.com/[...] 2024-01-29
[22] 뉴스 Fake explicit Taylor Swift images: White House is 'alarmed' https://abcnews.go.c[...] 2024-01-29
[23] 간행물 AI-Generated Explicit Taylor Swift Images 'Must Be Made Illegal,' Says SAG-AFTRA https://www.rollings[...] 2024-01-29
[24] 뉴스 Taylor Swift deepfake pornography sparks renewed calls for US legislation https://www.theguard[...] 2024-01-29
[25] 뉴스 Taylor Swift AI images prompt US bill to tackle nonconsensual, sexual deepfakes https://www.theguard[...] 2024-01-31
[26] 웹사이트 Inside the deepfake porn crisis engulfing Korean schools https://www.bbc.com/[...] BBC News
[27] 웹사이트 South Korea police launch probe into whether Telegram abets online sex crimes, Yonhap reports https://www.reuters.[...] reuters
[28] 뉴스 From spy cams to deepfake porn: fury in South Korea as women targeted again https://www.theguard[...] 2024-09-13
[29] 웹사이트 South Korea faces deepfake porn 'emergency' https://www.bbc.com/[...] 2024-09-27
[30] 웹사이트 South Korea to criminalize watching or possessing sexually explicit deepfakes https://edition.cnn.[...] 2024-09-27
[31] 웹사이트 Thousands rally in Seoul for stronger action against deepfake crimes https://www.koreatim[...] 2024-09-27
[32] 웹사이트 'Nudify' Deepfake Bots on Telegram Are Up to 4 Million Monthly Users https://www.vice.com[...] 2024-10-16
[33] 간행물 Millions of People Are Using Abusive AI 'Nudify' Bots on Telegram https://www.wired.co[...] 2024-10-15
[34] 간행물 Deepfakes and image manipulation: criminalisation and control. 2020
[35] 뉴스 How AI Is Transforming Porn And Adult Entertainment https://www.forbes.c[...] 2019-09-27
[36] 뉴스 AI porn is now a thing, and I'm ready to let the modern culture bus go on without me https://www.heraldma[...] 2023-04-13
[37] 뉴스 AI-generated child sex images spawn new nightmare for the web https://www.washingt[...] 2023-06-19
[38] 뉴스 Will AI porn transform adult entertainment – and is that a good thing? https://theweek.com/[...] 2024-02-29
[39] 뉴스 How AI is driving an explosive rise in deepfake pornography https://www.euronews[...] 2023-10-20
[40] 잡지 They're Selling Nudes of Imaginary Women on Reddit -- and It's Working https://www.rollings[...] 2023-04-10
[41] 웹사이트 Found through Google, bought with Visa and Mastercard: Inside the deepfake porn economy https://www.nbcnews.[...] 2023-03-27
[42] 웹사이트 Nudify Me: The Legal Implications of AI-Generated Revenge Porn https://www.jdsupra.[...]
[43] 웹사이트 Nudify Me: The Legal Implications of AI-Generated Revenge Porn https://www.jdsupra.[...]
[44] 논문 Deepfakes and image manipulation: criminalisation and control http://dx.doi.org/10[...] 2020-07-16
[45] 웹사이트 Consolidated federal laws of Canada, Criminal Code https://laws-lois.ju[...] 2023-01-16
[46] 논문 Legal Protection of Revenge and Deepfake Porn Victims in the European Union: Findings From a Comparative Legal Study https://doi.org/10.1[...] 2022
[47] 웹사이트 Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019 (2019 - H.R. 3230) https://www.govtrack[...]
[48] 웹사이트 DEEP FAKES Accountability Act (2021 - H.R. 2395) https://www.govtrack[...]
[49] 뉴스 Criminal reforms target 'deepfake' and nonconsensual pornographic imagery https://www.theguard[...] 2022-07-07
[50] act
[51] 웹사이트 Government cracks down on 'deepfakes' creation https://www.gov.uk/g[...]
[52] 뉴스 Creating sexually explicit deepfakes to become a criminal offence https://www.bbc.co.u[...] 2024-04-16
[53] 웹사이트 Un-Nudify Me: Removal Options for Deepfake Pornography Victims https://www.jdsupra.[...]
[54] 웹사이트 Reddit, Pornhub ban videos that use A.I. to superimpose a person's face over an X-rated actor https://www.cnbc.com[...] 2018-02-08
[55] 웹사이트 AI-Generated Fake Porn Makers Have Been Kicked Off Their Favorite Host https://www.vice.com[...] 2018-01-31
[56] 뉴스 Fake-porn videos are being weaponized to harass and humiliate women: 'Everybody is a potential target' https://www.washingt[...] 2018-12-30
[57] 뉴스 AIで偽アダルト動画作成「ディープフェイク職人」を初摘発 産業経済新聞社 2020-10-02
[58] 뉴스 人気女優の偽アダルト動画を作成 大学生ら2容疑者逮捕 中日新聞社 2020-10-02
[59] 뉴스 ＡＩ著名専門家ら、公開書簡でディープフェイク規制強化を要請 https://jp.reuters.c[...] 2024-02-21
[60] 웹사이트 世界初・新人AI女優「木花あい」がAVデビュー。HシーンはどうAIで生成したのか？ https://nikkan-spa.j[...] 2023-11-25
[61] 웹사이트 「一昔前と状況が変わってしまった」窮地に陥った日本のアダルト業界を救う“AIセクシー女優”の存在 https://friday.kodan[...] 2024-02-13
[62] 웹사이트 AI写真集「空想制服美少女」からとっておきの「あの娘」がAVデビュー！DOCが１位！【FANZAレンタルフロア】週間AVランキングベスト10！ https://taishurx.jp/[...] 2024-11-15
[63] 웹사이트 理想のAI制服美少女が遂に動き出す！DOCが１位！【FANZAレンタルフロア】週間AVランキングベスト10！ https://taishurx.jp/[...] 2024-11-22
[64] 서적 DeepFakes http://dx.doi.org/10[...] CRC Press 2022-07-27
[65] 논문 Deep Fake Detection, Deterrence and Response: Challenges and Opportunities 2022
[66] 웹인용 This Horrifying App Undresses a Photo of Any Woman with a Single Click https://www.vice.com[...] 2019-07-02
[67] 웹인용 DeepNude AI copies easily accessible online https://www.theverge[...] 2023-08-11
[68] 뉴스 GitHub Removed Open Source Versions of DeepNude https://www.vice.com[...] Vice Media 2019-12-15
[69] 뉴스 DeepNude- the AI that 'Undresses' Women- is Back. What Now? https://blogs.cisco.[...] Cisco 2023-03-11
[70] 웹인용 A deepfake bot is being used to "undress" underage girls https://www.technolo[...] 2023-04-20
[71] 웹사이트 Porn Producers Offer to Help Hollywood Take Down Deepfake Videos https://variety.com/[...] 2018-02-21
[72] 뉴스 Scarlett Johansson on fake AI-generated sex videos: 'Nothing can stop someone from cutting and pasting my image' https://www.washingt[...] 2018-12-31
[73] 뉴스 The explicit AI-created images of Taylor Swift flooding the internet highlight a major problem with generative AI https://www.fastcomp[...] 2024-01-25
[74] 웹사이트 X can't stop spread of explicit, fake AI Taylor Swift images https://arstechnica.[...] 2024-01-25
[75] 웹사이트 Explicit, AI-generated Taylor Swift images spread quickly on social media https://www.cnn.com/[...] 2024-01-25
[76] 웹사이트 Trolls have flooded X with graphic Taylor Swift AI fakes https://www.theverge[...] 2024-01-25
[77] 웹사이트 AI-Generated Taylor Swift Porn Went Viral on Twitter. Here's How It Got There https://www.404media[...] 2024-01-25
[78] 웹사이트 Drastic moves by X, Microsoft may not stop spread of fake Taylor Swift porn https://arstechnica.[...] 2024-01-29
[79] 웹사이트 The Swiftie Fight to Protect Taylor Swift From AI https://www.thecut.c[...] 2024-01-26
[80] 잡지 X/Twitter Blocks Searches for 'Taylor Swift' as a 'Temporary Action to Prioritize Safety' After Deluge of Explicit AI Fakes https://variety.com/[...] 2024-01-27
[81] 뉴스 Fake and Explicit Images of Taylor Swift Started on 4chan, Study Says https://www.nytimes.[...] 2024-02-05
[82] 웹사이트 4chan daily challenge sparked deluge of explicit AI Taylor Swift images https://arstechnica.[...] 2024-02-05
[83] 웹사이트 The Swiftie Fight to Protect Taylor Swift From AI https://www.thecut.c[...] 2024-01-26
[84] 웹사이트 If Anyone Can Stop the Coming AI Hellscape, It's Taylor Swift https://www.vogue.co[...] 2024-01-26
[85] 뉴스 Taylor Swift searches blocked on X after fake explicit images of pop singer spread https://www.theguard[...] Reuters 2024-01-29
[86] 잡지 Taylor Swift Explicit AI-Generated Deepfakes Are 'Alarming and Terrible,' Microsoft CEO Says: 'We Have to Act' https://variety.com/[...] 2024-01-26
[87] 뉴스 Fake explicit Taylor Swift images: White House is 'alarmed' https://abcnews.go.c[...] 2024-01-27
[88] 잡지 AI-Generated Explicit Taylor Swift Images 'Must Be Made Illegal,' Says SAG-AFTRA https://www.rollings[...] 2024-01-26
[89] 뉴스 Taylor Swift deepfake pornography sparks renewed calls for US legislation https://www.theguard[...] 2024-01-27
[90] 웹사이트 Taylor Swift AI images prompt US bill to tackle nonconsensual, sexual deepfakes https://www.theguard[...] 2024-01-31
[91] 잡지 Deepfake Porn Is Still a Threat, Particularly for K-Pop Stars https://www.rollings[...] 2019-10-07
[92] 논문 딥페이크 기술을 활용한 디지털 성범죄에 관한 연구 https://doi.org/10.2[...] 2023-11
[93] 뉴스 교원단체, "딥페이크, 교육영역 넘어섰다…강력한 수사·처벌 필요" https://www.segye.co[...] 2024-08-29
[94] 뉴스 "가담자 모조리 처벌하라" 대학로서 딥페이크 엄벌촉구 시위 https://www.yna.co.k[...] 2024-09-21
[95] 논문 Deepfakes and image manipulation: criminalisation and control. 2020
[96] 웹사이트 Found through Google, bought with Visa and Mastercard: Inside the deepfake porn economy https://www.nbcnews.[...] 2023-03-27
[97] 웹사이트 Nudify Me: The Legal Implications of AI-Generated Revenge Porn https://www.jdsupra.[...]
[98] 논문 Deepfakes and image manipulation: criminalisation and control http://dx.doi.org/10[...] 2020-07-16
[99] 웹사이트 Consolidated federal laws of Canada, Criminal Code https://laws-lois.ju[...] 2023-01-16
[100] 논문 Legal Protection of Revenge and Deepfake Porn Victims in the European Union: Findings From a Comparative Legal Study https://doi.org/10.1[...] 2022
[101] 웹사이트 Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019 (2019 - H.R. 3230) https://www.govtrack[...]
[102] 논문 Deepfakes and image manipulation: criminalisation and control http://dx.doi.org/10[...] 2020-07-16
[103] 웹사이트 DEEP FAKES Accountability Act (2021 - H.R. 2395) https://www.govtrack[...]
[104] 뉴스 Criminal reforms target ‘deepfake’ and nonconsensual pornographic imagery https://www.theguard[...] 2022-07-07
[105] 웹사이트 Government cracks down on ‘deepfakes’ creation https://www.gov.uk/g[...]
[106] 뉴스 Creating sexually explicit deepfakes to become a criminal offence https://www.bbc.co.u[...] 2024-08-18
[107] 웹인용 Un-Nudify Me: Removal Options for Deepfake Pornography Victims https://www.jdsupra.[...] 2024-03-14
[108] 웹인용 Reddit, Pornhub ban videos that use A.I. to superimpose a person's face over an X-rated actor https://www.cnbc.com[...] 2023-04-20
[109] 웹인용 AI-Generated Fake Porn Makers Have Been Kicked Off Their Favorite Host https://www.vice.com[...] 2023-04-20
[110] 뉴스 Fake-porn videos are being weaponized to harass and humiliate women: 'Everybody is a potential target' https://www.washingt[...] 2023-04-20


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com