맨위로가기

크라우드소싱

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

크라우드소싱은 기업이나 기관이 인터넷을 통해 불특정 다수의 대중에게 업무를 아웃소싱하는 방식을 의미한다. 이는 2006년 제프 하우와 마크 로빈슨이 처음 사용한 용어이며, 온라인 커뮤니티를 통해 서비스, 아이디어, 콘텐츠 등을 얻는 행위를 포괄한다. 크라우드소싱은 문제의 공개와 해결에 기여할 사람들의 공개 모집을 특징으로 하며, 상금이나 대중적 인정과 같은 보상이 주어질 수 있다. 다양한 분야에서 활용되며, 과학 기술 문제 해결, 제품 디자인, 데이터 수집 등 광범위한 영역에서 혁신적인 비즈니스 모델을 창출하고 있다. 하지만, 낮은 임금, 품질 관리의 어려움, 모집단의 편향, 자본 조달의 위험성 등 한계와 논란도 존재한다. 아웃소싱과는 다르게 소수의 전문가가 아닌 다수의 비전문가를 활용하며, 지식의 범위 확대와 다양성을 추구하는 경향을 보인다.

2. 정의

"크라우드소싱"이라는 용어는 2006년 ''와이어드''의 편집자 제프 하우와 마크 로빈슨이 만들었다. 이들은 기업들이 인터넷을 사용하여 아웃소싱을 하듯이 "대중에게 업무를 아웃소싱"하는 방식을 설명하기 위해 이 용어를 사용했고, 이는 곧 "크라우드소싱"이라는 혼성어의 탄생으로 이어졌다.[18] 옥스퍼드 영어 사전은 최초 사용 사례로 "OED가 크라우드소싱을 처음 언급한 것은 2006년 J. 하우의 저술에서였다."라고 기록하고 있다.[15] 온라인 사전 메리엄-웹스터는 크라우드소싱을 "전통적인 직원이나 공급업체가 아닌, 대규모의 사람들, 특히 온라인 커뮤니티로부터 기여를 요청하여 필요한 서비스, 아이디어 또는 콘텐츠를 얻는 행위."라고 정의한다.[16]

데런 C. 브래브햄은 크라우드소싱을 "온라인, 분산형 문제 해결 및 생산 모델"로 정의했다.

크라우드소싱에 대한 다양한 정의가 존재하지만, 공통적인 요소는 문제의 대중 공개와 문제 해결에 기여할 사람들을 공개적으로 모집한다는 점이다. 대중은 해결책을 제출하고, 이 해결책의 소유권은 원래 문제를 게시한 주체에게 귀속된다. 해결책을 제공한 기여자는 상금이나 대중적 인정과 같은 금전적 보상을 받기도 하고, 칭찬이나 지적 만족감만을 얻기도 한다. 크라우드소싱은 아마추어나 여가 시간에 활동하는 자원 봉사자, 전문가 또는 소규모 사업체로부터 해결책을 얻을 수 있다.[18]

과거에는 기업 등이 외부의 전문적인 업무를 위탁하는 아웃소싱이 유행했지만, 최근에는 인터넷의 보급으로 인해 사외의 "불특정 다수"의 사람들에게 그러한 업무를 위탁하는 사례가 늘고 있다. 이러한 현상을 통칭하여 크라우드소싱이라고 한다.

크라우드소싱의 개념 자체는 새로운 것이 아니며, 주로 PC와 인터넷을 사용하여 기존의 부업의 발전 형태의 일종이라고도 할 수 있으며, 유사 개념으로서 디지털 부업이라고도 할 수 있다.

헹크 반 에스는 윤리적인 근거에 기초하여 크라우드소싱의 결과에 대해 "보답"할 필요성을 강조하며, 그의 비과학적, 비상업적인 정의는 널리 대중지에 인용되고 있다.[240]

> "크라우드소싱은 문제를 해결하고 해결책을 자유롭게 모두와 공유하고자 하는 전문가들의 열망에 초점을 맞추고 있다."

3. 역사적 배경

"크라우드소싱"이라는 용어는 인터넷 기반 활동을 설명하기 위해 온라인에서 대중화되었지만, 과거의 일부 프로젝트들도 크라우드소싱으로 볼 수 있다.

연도사건
618–907년중국 당나라는 주식회사를 도입했는데, 이는 초기 형태의 크라우드펀딩이었다. 당나라의 한랭기 동안 기후가 추워져 흉작이 발생하고 농업세가 감소하여 농업 부문의 분열로 이어졌고,[19] 이는 정부가 염세와 가장 중요한 사업에 대한 과세에 더 의존하는 세금 제도를 개혁해야 함을 의미했고, 주식 회사의 창설로 이어졌다.
1567년스페인 국왕 펠리페 2세는 항해 중인 선박의 경도를 계산하는 사람에게 현상금을 내걸었다.[20]
1714년경도 상금: 영국 정부가 선박의 경도 위치를 측정할 방법을 찾기 위해 최고의 해결책을 제시하는 사람에게 현금 상금을 제공했다.[21]
1783년루이 16세는 "가장 단순하고 경제적인 방법"으로 바다 소금을 분해하여 "알칼리를 만드는" 사람에게 상을 수여했다.[21]
1848년매튜 폰테인 모리는 선원들이 항해에 대한 표준화된 로그를 미국 해군 천문대에 반환하는 조건으로 자신의 풍향 및 해류도 5,000부를 무료로 배포했다. 1861년까지 그는 동일한 조건으로 200,000부를 무료로 배포했다.[22]
1849년미국 전역에 걸쳐 약 150명의 자원 기상 관측소 네트워크가 스미소니언 협회의 기상 프로젝트의 일환으로 설립되었으며, 이는 스미소니언의 초대 비서인 조지프 헨리가 시작했다. 그는 전신을 사용하여 자원봉사자들의 데이터를 수집하고 대규모 기상 지도를 만들어 새로운 정보를 매일 대중에게 제공했다. 10년 이내에 이 프로젝트는 600명 이상의 자원 관측자를 확보했으며 캐나다, 멕시코, 라틴 아메리카, 카리브해 지역으로 확산되었다.[23]
1884년옥스퍼드 영어 사전 출판: 800명의 자원봉사자들이 OED의 첫 번째 소책자를 만들기 위해 단어를 분류했다.[21]
1916년플랜터스 땅콩 콘테스트: 미스터 피넛 로고는 플랜터스 땅콩 로고 콘테스트에서 우승한 14세 소년에 의해 디자인되었다.[21]
1957년요른 웃손이 시드니 오페라 하우스 설계 공모전에서 우승자로 선정되었다.[21]
1970년프랑스 아마추어 사진 콘테스트 'Cétait Paris en 1970'' ("1970년의 파리")는 파리 시, France-Inter 라디오, Fnac이 후원했다. 14,000명의 사진작가들이 파리의 건축 변화를 기록하기 위해 70,000장의 흑백 인쇄물과 30,000장의 컬러 슬라이드를 제작했다. 사진은 파리 역사 도서관에 기증되었다.[24]
1979년로버트 액설로드는 온라인에서 학자들에게 반복적인 죄수의 딜레마를 플레이할 FORTRAN 알고리즘을 제출하도록 초대했다. 똑같이 갚기 알고리즘이 결국 1위를 차지했다.[25]
1983년리처드 스톨먼은 GNU 운영 체제 작업을 시작했다. 전 세계 프로그래머들이 GNU 운영 체제에 기여한다. 리눅스 커널은 이 운영 체제에서 사용되는 커널 중 하나로, 많은 사람들이 리눅스라고 부르는 GNU/리눅스 운영 체제를 형성한다.
1996년할리우드 증권 거래소가 설립되었다. 주식을 사고 팔 수 있게 했다.[21]
1997년영국 록 밴드 마릴리온은 미국 투어 자금을 지원하기 위해 팬들로부터 60000USD를 모금했다.[21]
1999년SETI@home이 캘리포니아 대학교 버클리에 의해 시작되었다. 자원봉사자들은 SERENDIP 프로그램에 참여하는 전파 망원경이 기록한 데이터 덩어리를 분석하기 위해 유휴 컴퓨터 시간을 사용하는 프로그램을 설치하여 외계 지적 생명체로부터 나올 수 있는 신호를 검색하는 데 기여할 수 있다.[26]
1999년미국 지질조사국(USGS)의 "느껴지셨나요?" 웹사이트는 미국에서 거주자들이 최근 지진으로 느낀 진동이나 충격과 지진의 대략적인 규모를 보고하는 방법으로 사용되었다.[27]
2000년JustGiving이 설립되었다. 이 온라인 플랫폼을 통해 대중은 자선 단체를 위해 돈을 모금할 수 있다.[21]
2000년UNV 온라인 자원봉사 서비스 출시: 인터넷을 통해 시간과 기술을 기꺼이 제공하여 개발 과제를 해결하는 데 도움을 주는 사람들을 연결한다.[28]
2000년iStockPhoto가 설립되었다. 이 무료 스톡 이미지 웹사이트를 통해 대중은 기여할 수 있으며 기여에 대한 수수료를 받을 수 있다.[29]
2001년위키백과 시작: "무료 접근, 무료 콘텐츠 인터넷 백과사전".[30]
2001년Topcoder 설립 – 크라우드소싱 소프트웨어 개발 회사.[31][32]
2004년OpenStreetMap, 세계의 자유롭게 편집 가능한 지도를 만들기 위한 협업 프로젝트가 시작되었다.[33]
2004년토요타의 첫 번째 "꿈의 자동차 예술" 콘테스트: 전 세계 아이들에게 "미래의 꿈의 자동차"를 그리도록 요청했다.[34]
2005년코닥의 "골드를 잡아라" 콘테스트: 코닥은 누구에게나 개인적인 승리의 사진을 제출하도록 요청했다.[34]
2005년아마존 메커니컬 터크(MTurk)가 2005년 11월 2일에 공개적으로 출시되었다. 이를 통해 기업은 컴퓨터가 현재 수행할 수 없는 개별적인 온디맨드 작업을 수행하기 위해 원격으로 위치한 "크라우드워커"를 고용할 수 있다.[35]
2005년레딧이 2005년에 시작되었다.[36] 레딧은 사용자가 제출, 토론 및 투표를 할 수 있는 소셜 미디어 플랫폼이자 온라인 커뮤니티로, 다양한 토론과 상호 작용으로 이어진다.
2009년커뮤니티 중심의 GPS 앱인 Waze가 (당시 FreeMap Israel로 불림) 제작되었다.[37] 사용자는 교통사고 또는 교통 체증 보고서와 같이 위치를 기반으로 한 도로 정보 및 경로 데이터를 제출할 수 있으며 해당 데이터를 앱의 모든 사용자를 위한 라우팅 알고리즘에 통합한다.
2010년1947년 분할 기록 보관소, 세계 각지의 커뮤니티 구성원들에게 기록이 부족한 중요한 역사적 사건인 1947년 인도 분할의 고령 증인의 구술 역사를 문서화하도록 요청한 구술 역사 프로젝트가 설립되었다.[38]
2011년Casting of Flavours(미국에서는 Do us a flavor) – 펩시코의 레이스가 스페인에서 시작한 캠페인. 이 캠페인은 소비자가 직접 참여하여 스낵의 새로운 맛을 개발하는 것이었다.[39]
2012년Open Food Facts, 스마트폰을 사용하여 세계의 식품에 대한 자유로운 백과사전을 만들기 위한 협업 프로젝트가 시작되었으며, 그 뒤를 이어 화장품, 애완 동물 사료, 기타 제품 및 가격에 대한 확장이 이루어졌다.



과거에는 기업 등이 외부의 전문적인 업무를 위탁하는 형태로 아웃소싱이라는 트렌드가 있었다. 그러나, 최근에는 인터넷의 보급으로 인해 사외의 "불특정 다수"의 사람들에게 그러한 업무를 위탁하는 사례가 늘고 있다. 이러한 현상을 통칭하여 크라우드소싱이라고 한다. 지적 생산력이나 콘텐츠 등을 다수의 사람들에게서 조달·집약하여 사업 성과를 얻는 것을 목적으로 한다.

예를 들어, P&G는 상품 개발에, 보잉은 기체 조립에, 상업적 PBW는 문장·일러스트·음성·음악에 이러한 기법을 활용하고 있다.[234]

개념 자체는 새로운 것이 아니며, 주로 PC와 인터넷을 사용하여 기존의 부업의 발전 형태의 일종이라고도 할 수 있으며, 유사 개념으로서 디지털 부업이라고도 할 수 있다.

4. 작동 원리

크라우드소싱은 롱테일 현상을 활용하는 방법 중 하나이다. 롱테일 현상에 기반한 경영 방법은 우수한 인력에 집중하는 파레토 경영 방법이 아니라, 인력 활용을 다양화하는 방법이다. 인력 활용을 다양화하는 방법에는 온라인을 통해 사회적 네트워크를 이용하는 방법, 협력하는 인력의 절대적인 수를 늘리는 방법, 다양한 전공의 인력이 포진하도록 하는 방법 등이 있다. 파레토 경영 방법이 고도로 희소성을 확보한 소수 인력에 대한 효율적 경영 방법을 다룬다면, 롱테일은 인력의 다양성 확보를 다룬다. 파레토식 접근과 롱테일식 접근은 서로 상호 보완적으로 볼 수 있다.

인력 활용 다양화 방법 중 인력의 절대적인 수를 늘리는 경우를 확률 함수를 통해 수학적으로 설명한다. 각 인력 간 보유 지식의 상관도를 무시한 경우와 고려한 경우로 나누어 설명한다.
인력 간 보유 지식의 상관도를 무시한 경우각 인력 간에는 보유 지식의 상관도가 없다는 가정 하에, 파레토 확률 함수로 인력이 발휘하는 역량을 순서대로 표시하면 다음과 같다.

:\Pr(X>x)=\left(\frac{x}{x_\mathrm{m}}\right)^{-k}

여기서 X는 파레토 분포에서의 확률변수이며, X의 확률은 위 함수에서 항상 x보다 크다. x_\mathrm{m}과 파레토 지수로 불리는 상수 ''k''는 0보다 큰 실수이며, x는 0에서 양의 무한대까지 실수로 표현된다.

설명의 편의를 위해 확률변수의 값들인 P를 정의한다. ''L''은 ''P''나 ''T''에 비해 매우 크다. ''T''는 오프라인에서 접할 수 있는 역량 순으로 마지막 인력의 번호이다. 조직 안의 인력 등이 오프라인 인력에 해당한다. ''P''는 상위 20% 순서에 해당하는 인력의 번호이다. ''L''은 온라인으로 접할 수 있는 조직 밖의 비전문가(조직 안의 내용을 잘 모르는 외부 전문가 포함)의 마지막 번호이다. 기본적으로 Pr(x이고 Pr(x와 같다.

그러나 진정한 롱테일과 크라우드소싱을 이해하기 위해서는 확률 분포뿐만 아니라 비용까지 보아야 한다. 온라인을 통한 비용인 C_\mathrm{On}(x)이 오프라인을 통한 비용인 C_\mathrm{Off}(x)에 비해 저렴하다고 가정하면, 오프라인의 경우 비용의 효율적 사용을 위해 ''P''까지 우수한 인재에 집중하는 것이 비용 대비 효과를

:\frac{\Pr(X>P)}{C_\mathrm{Off}}>\frac{\Pr(X>T)}{C_\mathrm{Off}(T)}

와 같이 늘리게 된다. 상대적으로 비용이 저렴한 온라인을 고려할 경우, 인재를 활용하는 범위를 ''L'' 순서까지 늘려주는 것이

:\frac{\Pr(X>L)}{C_\mathrm{On}(L)}>\frac{\Pr(X>T)}{C_\mathrm{On}(T)}

와 같이 효과를 높인다. C_\mathrm{Off}(T) \ll C_\mathrm{On}(T)를 기본으로 하듯이, 롱테일의 성공은 온라인을 포함한 고효율 저비용을 이루는 적절한 방법론(methodology)이 동반되어야 한다.
인력 간 보유 지식의 상관도를 고려한 경우인력 간 상관도를 고려하기 위해서는 상관도가 있는 인자(인력)를 상관도가 없는 인자로 변화시킬 필요가 있다. 이렇게 되면 원래 인자 수보다 실효 인자 수가 줄어들어 이익이 날 확률에 영향을 준다.

크라우드소싱에 의해 확보한 인력은 일반적으로 상관도가 있게 된다. 상관도가 있는 전체 인자들을 \mathbf{x} = [x_1, x_2, \ldots, x_L]^T라 하자. 여기서 각 인자들의 값은 인력이 보유하고 있는 지식의 특성을 나타낸다. 이 인자들의 상관 특성을 나타내는 상관도 행렬은 \mathbf{R}_x = E[\mathbf{x}\mathbf{x}^T]와 같이 주어진다. 유니터리 행렬 '''U''' 가 \mathbf{R}_x의 0가 아닌 고윳값에 해당하는 고유벡터들로 이루어졌다고 하자. 변형 행렬 '''T'''는 \mathbf{T} = \mathbf{U}^T와 같다. 상관도가 제거된 변형 뒤 인자는 \mathbf{y} = \mathbf{T} \mathbf{x}와 같이 구해진다. 변형후 벡터 '''y'''의 크기인 L' (\le L)가 새로운 인자 수가 된다. 나머지 설명 과정은 인자 수가 ''L''에서 L'로 줄어든 것을 제외하고는 위에서 설명한 상관도를 무시한 경우와 같다.

인자의 수는 줄어들어 혁신을 일으키는 가능성(degree of freedom)은 줄었지만, 각 확률값인 가능성 자체는 상관도가 높을수록 커지게 된다. 상관도를 고려한 효과의 측정은

:J_\mathrm{On}(L) = \Pr(X>L') \frac{\rho(\mathbf{R}_x)}{C_\mathrm{On}(L')}

와 같이 변형된다. 여기서 \rho(\mathbf{R}_x)는 상관도가 높을수록 증가하는 상관도에 대한 이득 상수이다. 산업이나 정보사회의 비즈니스는 \rho(\mathbf{R}_x)값이 높아 동일 지역, 동일 전공자를 통한 업무가 효율성이 높았다. 지식 사회의 비즈니스를 포함하여 새로운 비즈니스의 특성이 \rho(\mathbf{R}_x)이 낮다면 상관도를 줄이는 인력 체계를 갖추는 것이 필요함을 수식을 통해 알 수 있다.
결론위의 두 가지 수학적 설명을 통해 크라우드소싱의 특징을 정리하면 다음과 같다.


  • 크라우드소싱을 활용하기 위해서는 이를 위한 적절한 경영 방법이 추가되어야 한다.
  • 크라우드소싱에서 드는 비용과 활용으로 나오는 이득 사이의 현명한 저울질이 필요하다.
  • 크라우드소싱이 추구하는 다양한 인력 활용은 모든 비즈니스에서 옳은 선택은 아닐 수 있다.

5. 활용 분야

크라우드소싱은 기업 및 여러 단체에서 다양한 분야의 문제 해결을 위해 활용되고 있다. 대표적인 예로 InnoCentive는 과학 기술, 아마존은 인공 지능, Goldcorp은 금광 탐구, Cambrian House는 창업 아이템 발굴에 크라우드소싱을 활용하고 있다.[247] 이들은 문제 해결에 참여하는 사람들에게 적절한 보상을 제공하여 참여를 유도한다.


  • 사례
  • 엑슨발데스호 기름 유출 사고 해결: 1989년 알래스카에서 발생한 엑슨발데스호 기름 유출 사고는 20년 이상 전문가들이 해결하지 못했던 문제였다. 세계기름유출연구소(OSRI)는 이노센티브를 통해 20000USD의 상금을 걸고 대중에게 해결책을 제시하도록 했다. 수천 명의 아이디어 중 시멘트 회사 직원 존 데이비스가 진동 기계를 이용한 기름 분리 아이디어를 제안하여 문제를 해결했다.[247]
  • DORITOS 광고 공모전: 미국 과자 브랜드 DORITOS는 슈퍼볼 광고를 크라우드소싱으로 공모하여 1,071건의 작품을 접수하고 100만 명의 웹사이트 방문자를 유치했다. 이를 통해 매출 증가와 3000만달러의 광고 효과를 얻었다.[248]
  • 상품 개발: P&G는 상품 개발에, 보잉은 기체 조립에 크라우드소싱을 활용하고 있다.[234]
  • 콘텐츠 제작: 상업적 PBW는 문장, 일러스트, 음성, 음악 제작에 크라우드소싱을 활용하고 있다.[234]
  • 레고: 사용자가 새로운 제품 디자인을 제안하고 투표를 통해 선정된 디자인을 실제 제품으로 출시한다. 제작자는 순수익의 로열티를 받는다.[120]
  • 역사적 사례

연도사건내용
1567스페인 국왕 펠리페 2세항해 중 선박 경도 계산법 발견자에게 현상금 지급.[20]
1714경도 상금영국 정부, 선박 경도 측정 방법 발견자에게 현상금 제공.[21]
1783루이 16세바다 소금 분해 및 알칼리 제조법 발견자에게 상금 수여.[21]
1848매튜 폰테인 모리선원들에게 항해 정보 제공 대가로 풍향 및 해류도 무료 배포.[22]
1849스미소니언 협회 기상 프로젝트미국 전역 자원 기상 관측소 네트워크 구축, 전신 활용 데이터 수집 및 기상 지도 제작.[23]
1884옥스퍼드 영어 사전 출판800명 자원봉사자, 단어 분류 작업 참여.[21]
1916플랜터스 땅콩 콘테스트14세 소년, 미스터 피넛 로고 디자인.[21]
1957시드니 오페라 하우스 설계 공모전요른 웃손, 설계 공모전 우승.[21]
1970프랑스 아마추어 사진 콘테스트14,000명 사진작가, 파리 건축 변화 기록.[24]
1979로버트 액설로드 온라인 실험학자들, 죄수의 딜레마 게임 FORTRAN 알고리즘 제출, 똑같이 갚기 알고리즘 1위.[25]
1983리처드 스톨먼, GNU 운영 체제 작업 시작전 세계 프로그래머, GNU 운영 체제 기여.
1996할리우드 증권 거래소 설립주식 거래 가능. [21]
1997마릴리온팬들, 미국 투어 자금 60000USD 모금.[21]
1999SETI@home자원봉사자, 외계 지적 생명체 신호 탐색 참여.[26]
1999미국 지질조사국(USGS) "느껴지셨나요?" 웹사이트거주자, 지진 진동 및 규모 보고.[27]
2000JustGiving 설립온라인 자선 모금 플랫폼.[21]
2000UNV 온라인 자원봉사 서비스개발 과제 해결 위한 온라인 자원봉사 연결.[28]
2000iStockPhoto 설립무료 스톡 이미지 웹사이트, 기여자에게 수수료 지급.[29]
2001위키백과 시작"무료 접근, 무료 콘텐츠 인터넷 백과사전".[30]
2001Topcoder 설립크라우드소싱 소프트웨어 개발 회사.[31][32]
2004OpenStreetMap세계 자유롭게 편집 가능한 지도 제작 협업 프로젝트.[33]
2004토요타 "꿈의 자동차 예술" 콘테스트전 세계 어린이, 미래 자동차 그림.[34]
2005코닥 "골드를 잡아라" 콘테스트개인 승리 사진 제출.[34]
2005아마존 메커니컬 터크(MTurk)기업, 원격 "크라우드워커" 고용, 온디맨드 작업 수행.[35]
2005레딧소셜 미디어 플랫폼, 사용자 콘텐츠 제출, 토론, 투표.[36]
2009Waze커뮤니티 기반 GPS 앱, 사용자 도로 정보 및 경로 데이터 제출.[37]
20101947년 분할 기록 보관소인도 분할 구술 역사 기록 구술 역사 프로젝트.[38]
2011Casting of Flavours펩시코 레이스, 스낵 새로운 맛 개발 소비자 참여 캠페인.[39]
2012Open Food Facts식품, 화장품, 애완 동물 사료 등 정보 자유로운 백과사전 협업 프로젝트.


  • 분야별 활용

  • 의료 및 건강 연구: 의료 연구, 진단, 데이터 분석, 홍보 등 다양한 의료 관련 분야에 활용.[59] UNAIDS, SPIE, 암 의학 저널 등에서 활용 사례 연구.[60][61][62]
  • 저널리즘: 정보 사실 확인, 기사 작성 등에 활용. 스웨덴, 핀란드 일간지, 가디언(The Guardian), 토킹포인트스 메모(TalkingPointsMemo) 등 활용 사례.[84][85][86]
  • 데이터 기증: 연구 및 기관에서 온라인 플랫폼, 웹사이트, 검색 엔진, 앱, 장치 데이터 수집. Algorithm Watch, 모질라 재단, 자동 의사 결정 및 사회를 위한 ARC 우수 센터, The Markup 등 활용 사례.[87][88][89][90][91][92][93]
  • 미디어: X 플랫폼 커뮤니티 노트 시스템 등 대규모 미디어에서 편향된 허위 정보 대응.[94][95]
  • 공공 정책 및 서비스 (시민 소싱): 민주화 기여, 정책 평가, 공공 행정 프로세스 혁신. 아이슬란드 헌법 개정, 핀란드 오프로드 교통법 개정, 팔로알토 종합 도시 계획 업데이트, 브라질 하원 정책 개혁 등 활용 사례.[96][97][98][99][100][101][102][103][104][105][106][107][108][109] NASA, 오바마 행정부, 트럼프 행정부 등 활용 사례.
  • 언어 관련 데이터 수집: 사전 편찬, 속담 수집, 언어학 연구, 자연어 처리 등. ''옥스퍼드 영어 사전'', 오로모어 사전, 미국 수화 용어 생성 등 활용 사례.[110][111][112][113][114][115][116][117][118][119]
  • 숙박 공유: 에어비앤비를 통해 주택 소유자, 숙소 및 객실 등록, 요금 설정.[122]
  • 시장 조사: 소비자 통찰력 및 의견 수집, 제품 및 서비스 관련 다양한 관점 확보.[123][124]
  • 기타: 자원 봉사 지리 정보(VGI), 엔지니어링, 도서관/박물관/기록 보관소, 농업, 브리지 게임 부정 행위 조사, 오픈 소스 소프트웨어 개발 등.[125][126][127][128][129][130][131][132][133][134][135][136][137][138][139]

6. 유형

크라우드소싱은 협력하는 인력의 수를 늘려 혁신 성공 확률을 높인다. 하지만 인력 증가에 따라 관리 비용도 증가하는 모순이 발생한다. 이를 극복하기 위해 web 2.0을 활용하는 방법이 일반적이다. 예를 들어 iTunes 'university' 서비스는 생산된 지식의 다양성은 줄였지만, 우수한 외부 자원에 선택을 한정하여 비용을 효율적으로 설계한 변형된 크라우드소싱 방법이다.

의료 및 건강 연구 분야에서 크라우드소싱의 활용이 체계적으로 증가하고 있다. 이는 대규모의 다양한 사람들로부터 작업을 아웃소싱하거나 의견을 수집하는 것을 포함하며, 종종 디지털 플랫폼을 통해 이루어져 의료 연구, 진단, 데이터 분석, 홍보 등 다양한 의료 관련 활동에 기여한다. 이러한 혁신적 접근 방식은 의료 서비스 개선을 위한 유용한 커뮤니티 기반 방법을 제공한다.[59]

개별 의료 사례 및 혁신적인 장치 자금 지원에서 연구 지원, 지역 사회 건강 이니셔티브 및 위기 대응에 이르기까지 크라우드소싱은 다양한 의료 과제를 해결하는 데 있어 다재다능한 영향력을 보여준다.[59]

2011년, UNAIDS는 젊은이들이 에이즈 관련 의사 결정 과정에 더 잘 참여할 수 있도록 참여형 온라인 정책 프로젝트를 시작했다.[60] 이 프로젝트는 온라인 및 오프라인 포럼을 통해 79개국에서 3,497명의 참가자로부터 데이터를 수집했다. 그 결과는 에이즈를 효과적으로 해결하기 위한 전략 수립에 청소년의 관점이 중요하다는 점을 강조했으며, 이는 미래의 지역 사회 역량 강화 활동에 유용한 통찰력을 제공했다.

또 다른 접근 방식은 참가자들의 집단적인 의견으로부터 임상 알고리즘의 결과를 소싱하는 것이다.[61] SPIE의 연구원들은 특히 한국의 중고등학생을 대상으로 말라리아에 감염된 적혈구를 진단하도록 훈련시키기 위한 크라우드소싱 도구를 개발했다. 통계적 프레임워크를 사용하여 이 플랫폼은 전문가의 진단과 최소한의 훈련을 받은 개인의 진단을 결합하여 골드 표준 라이브러리를 만들었다. 이 목적은 사전 훈련 없이 사람들에게 빠른 진단 정확도를 달성하도록 가르치는 것이었다.

암 의학 저널은 2005년 1월부터 2016년 6월까지 PubMed, CINAHL, Scopus, PsychINFO 및 Embase를 사용하여 암 연구에서 크라우드소싱에 대한 연구를 검토했다.[62] 그들은 모두 학문적 연구에서 크라우드소싱 응용 프로그램을 개선하고 확장하기 위한 지속적인 노력을 강력히 옹호한다. 분석은 학제 간 협력과 지식의 광범위한 보급의 중요성을 강조했으며, 검토에서는 암 연구 내에서 과제를 해결하기 위해 크라우드소싱의 잠재력을 최대한 활용할 필요성을 강조했다.[62]

데이터 기증은 디지털 데이터를 수집하기 위한 크라우드소싱 접근 방식이다. 연구원과 기관에서 온라인 플랫폼, 웹사이트, 검색 엔진, 앱 및 장치에서 데이터를 얻는 데 사용된다. 데이터 기증 프로젝트는 일반적으로 참가자가 자신의 실제 디지털 프로필 정보를 자발적으로 제공하는 데 의존한다. 예시는 다음과 같다.


  • 독일의 비영리 연구 기관인 Algorithm Watch가 개발한 DataSkop은 소셜 미디어 알고리즘 및 자동 의사 결정 시스템에 대한 데이터에 접근했다.[87][88]
  • 모질라 재단의 Mozilla Rally는 미국의 성인 참가자가 연구 프로젝트에 자신의 데이터에 접근할 수 있도록 하는 브라우저 확장 프로그램이다.[89][90]
  • 2021년 자동 의사 결정 및 사회를 위한 ARC 우수 센터(ADM+S)의 연구자들이 호주에서 구축한 호주 검색 경험 및 광고 관측소 프로젝트는 데이터 기증을 사용하여 Google의 개인화된 검색 결과 방식을 분석하고 Facebook의 알고리즘 광고 모델의 작동 방식을 조사했다.[91][92]
  • The Markup에서 개발한 Citizen Browser 프로젝트는 허위 정보가 소셜 미디어 플랫폼을 통해 시간에 따라 어떻게 확산되는지 측정하기 위해 설계되었다.[93]
  • 대규모 비상 사태 디지털 정보 저장소는 자연 재해, 테러, 범죄 사건의 이미지와 비디오를 위한 저장소를 만드는 노력이었다.


크라우드보팅은 웹사이트가 특정 주제에 대해 다수의 의견과 판단을 수집할 때 발생한다. 일부 크라우드소싱 도구 및 플랫폼을 통해 참가자는 다른 참가자의 기여에 대한 순위를 매길 수 있다. 예를 들어 "Acme을 훌륭한 회사로 만들기 위해 우리가 할 수 있는 한 가지는 무엇입니까?"라는 질문에 대한 답변에서 가장 많은 "좋아요" 투표를 받은 기여가 1위를 차지하는 "좋아요" 수 세기가 일반적인 순위 매기기 방식이다. 이 방식은 단순하지만, 투표를 축적할 시간이 더 많은 초기에 기여한 사람에게 특혜를 준다. 최근 몇 년 동안, 여러 크라우드소싱 회사들은 순위 알고리즘을 기반으로 하는 쌍별 비교를 사용하기 시작했다. 순위 알고리즘은 늦게 기여한 사람에게 불이익을 주지 않으며, 더 빠르게 결과를 생성한다. 순위 알고리즘은 수동 스택 순위보다 최소 10배 이상 빠르다는 것이 입증되었다.[145] 그러나 순위 알고리즘이 투표 수 세기보다 이해하기 더 어렵다는 단점이 있다.

아이오와 전자 시장(Iowa Electronic Market)은 정치에 대한 대중의 견해를 수집하고, 참가자가 정치적 결과에 따라 계약을 사고팔기 위해 돈을 지불하게 하여 정확성을 보장하려는 예측 시장이다.[146] 가장 유명한 사례 중 일부는 소셜 미디어 채널을 활용했다. 도미노 피자, 코카콜라, 하이네켄, 샘 아담스는 각각 새로운 피자, 병 디자인, 맥주, 노래를 크라우드소싱했다.[147] Threadless라는 웹사이트는 사용자가 디자인을 제공하고 마음에 드는 디자인에 투표하여 판매할 티셔츠를 선택했는데, 이 디자인은 인쇄되어 구매할 수 있다.[148]

캘리포니아 리포트 카드(California Report Card, CRC)는 2014년 1월 사회 이익 정보 기술 연구 센터(Center for Information Technology Research in the Interest of Society)[149]와 개빈 뉴섬(Gavin Newsom) 부지사가 공동으로 시작한 프로그램으로, 현대적 크라우드보팅의 한 예이다. 참가자는 CRC에 온라인으로 접속하여 시의적절한 6가지 문제에 대해 투표한다. 주성분 분석을 통해 사용자는 자신의 정치적 의견을 제시하고 다른 참가자의 제안에 점수를 매길 수 있는 온라인 "카페"에 배치된다. 이 시스템은 더 많은 대중이 관련 정치 토론에 효과적으로 참여하고 사람들이 가장 우려하는 특정 주제를 강조하는 것을 목표로 한다.

영화 산업에서 크라우드보팅의 가치는 2009년, 군중이 영화 예고편을 기반으로 영화의 성공 또는 실패를 정확하게 예측했을 때 입증되었으며,[150][151] 이는 2013년 구글에 의해 재현되었다.[152]

레딧에서 사용자는 웹 콘텐츠, 토론 및 댓글은 물론 "AMA" 및 AskScience 온라인 인터뷰에서 관심 있는 사람에게 제기된 질문에 대해 집단적으로 평가한다.

2017년, 프로젝트 팬차이즈(Project Fanchise)는 실내 풋볼 리그(Indoor Football League)의 한 팀을 구매하여 팬이 운영하는 팀인 솔트레이크 스크리밍 이글스(Salt Lake Screaming Eagles)를 만들었다. 팬들은 모바일 앱을 사용하여 팀의 일상적인 운영, 마스코트 이름, 선수 계약, 심지어 경기 중 공격 플레이 호출에 대해 투표했다.[153]

크라우드펀딩은 다수의 사람들이 소액을 기여하여 특정 재정적 목표를 달성하는 과정으로, 일반적으로 인터넷을 통해 이루어진다.[154] 크라우드펀딩은 상업적 목적과 자선적 목적 모두에 사용되어 왔다.[155] 가장 오래된 크라우드펀딩 모델은 보상형 크라우드펀딩이다. 이 모델은 사람들이 제품을 선구매하거나, 경험을 구매하거나, 단순히 기부할 수 있는 방식이다. 이러한 자금은 어떤 경우에는 사업을 돕는 데 사용될 수 있지만, 자금 제공자는 보상형 크라우드펀딩을 통해 투자하고 주주가 될 수 없다.[156]

개인, 기업, 기업가는 일반적으로 자신의 프로젝트를 소개하는 짧은 비디오, 기부당 보상 목록, 이미지 등을 포함하는 프로필을 만들어 자신의 사업과 프로젝트를 선보일 수 있다. 자금 제공자는 여러 가지 이유로 금전적 기부를 한다.

  • 창업가 커뮤니티의 일원이 되어 혁신적인 아이디어나 제품을 지원하는 것과 같은 캠페인의 더 큰 목적에 연결되기 때문이다.[157]
  • 보상과 투자 수익과 같은 캠페인의 물리적 측면에 연결되기 때문이다.[157]
  • 캠페인 발표의 창의적인 전시와 연결되기 때문이다.
  • 대중보다 먼저 새로운 제품을 보고 싶어하기 때문이다.[157]


2012년 당시 미국의 지분 크라우드펀딩의 딜레마는 증권거래위원회 규정 개정 과정에서 발생했으며, 이 위원회는 자금 조달 방식을 개선하기 위해 2013년 1월 1일까지 시한을 가지고 있었다. 규제 기관은 도드-프랭크 법안과 공개 기업 및 거래 방식과 관련된 다른 모든 규칙과 규정을 규제하느라 벅찼다. 규제 옹호자들은 크라우드펀딩이 사기를 위한 물꼬를 틀 것이라고 주장하며, 이를 자금 조달의 "황야"라고 부르고, 1980년대 페니 주식 "콜드콜 카우보이" 시대에 비유했다. 이 과정은 일부 규제 없이 최대 100만 달러를 모금할 수 있도록 허용했다. 당시 제안에 따르면 회사는 면제를 받을 수 있었고, 투자자 기준에 대한 낮은 임계값을 포함하여 더 많은 사람들의 풀에서 자본을 조달할 수 있었다. 반면 기존 규칙은 해당 개인이 "공인된" 투자자여야 했다. 이러한 사람들은 종종 소셜 네트워크에서 모집되며, 여기에서 지분 구매, 대출, 기부 또는 주문을 통해 자금을 확보할 수 있다. 모금액은 꽤 높아졌으며, 새로운 소프트웨어 상용화를 위해 사용한 Trampoline Systems와 같은 소프트웨어에 대한 요청이 100만 달러를 넘었다.

웹 기반 아이디어 공모전 또는 유도상 공모전은 종종 일반적인 아이디어, 현금 보상, 그리고 아이디어 생성 및 토론을 용이하게 하는 인터넷 기반 플랫폼으로 구성된다. 이러한 공모전의 예시로는 14만 명 이상의 국제 참가자가 참여하여 약 46,000개의 아이디어를 창출한 IBM의 2006년 "혁신 잼"과 같은 행사가 있다.[158][159] 또 다른 예시는 2009년의 넷플릭스 상이다. 사람들은 넷플릭스의 현재 알고리즘보다 더 정확한 추천 알고리즘을 제시하도록 요청받았다. 100만달러의 대상이 주어졌으며, 넷플릭스의 자체 평점 예측 알고리즘보다 10.06% 더 나은 알고리즘을 설계한 팀에게 수여되었다.

또 다른 경쟁 기반 크라우드소싱의 예는 2009년 DARPA 풍선 실험으로, DARPA는 미국 전역에 10개의 풍선 마커를 배치하고 모든 풍선의 위치를 가장 먼저 보고하는 팀을 경쟁하도록 도전했다. 이 과제를 신속하게 완료하기 위해서는 협업이 필요했으며, 전체적으로 경쟁적인 동기 부여 외에도, 우승팀(MIT, 9시간 이내)은 자체 "협력적 경쟁" 환경을 구축하여 팀에 참여를 유도했다.[160] 이와 유사한 도전 과제는 미국 국무부가 지원하는 태그 챌린지로, 단 하나의 사진만을 기반으로 12시간 이내에 미국과 유럽의 5개 도시에서 개인을 찾아 사진을 촬영해야 했다. 우승팀은 풍선 챌린지에서 사용된 것과 유사한 인센티브 계획을 사용하여 전 세계 자원 봉사자를 동원하여 세 명의 용의자를 찾아냈다.[161]

개방형 혁신 플랫폼을 사용하는 것은 연구 개발을 위해 사람들의 생각과 아이디어를 크라우드소싱하는 효과적인 방법이다. InnoCentive는 기업 연구 개발을 위한 크라우드소싱 플랫폼으로, 어려운 과학적 문제를 해결하기 위해 솔루션 제공자들이 답을 찾고 챌린지당 1만달러에서 10만달러에 이르는 현금 보상을 받을 수 있도록 게시된다.[148] 매사추세츠 주 월섬, 잉글랜드 런던에 위치한 InnoCentive는 전 세계 수백만 명의 과학 및 기술 전문가에게 접근할 수 있도록 한다. 이 회사는 이전에 해결되지 않은 과학 및 기술 문제에 대한 성공적인 솔루션을 제공하는 데 50%의 성공률을 보인다고 주장한다. X Prize 재단은 100만달러에서 3000만달러 사이의 상금을 제공하는 인센티브 공모전을 만들고 운영한다. Local Motors는 또 다른 크라우드소싱의 예시로, 2만 명의 자동차 엔지니어, 디자이너 및 열성 팬 커뮤니티가 오프로드 랠리 트럭을 제작하기 위해 경쟁한다.[162]

암묵적 크라우드소싱은 사용자가 기여하고 있다는 것을 반드시 알지 못하기 때문에 덜 명확하지만, 특정 작업을 완료하는 데 매우 효과적일 수 있다. 사용자가 문제 해결 또는 정보 제공에 적극적으로 참여하는 대신, 암묵적 크라우드소싱은 사용자가 완전히 다른 작업을 수행하는 것을 포함하며, 여기서 제3자는 사용자의 행동을 기반으로 다른 주제에 대한 정보를 얻는다.[148]

암묵적 크라우드소싱의 좋은 예는 사용자가 구글 이미지를 설명하는 단어를 찾는 ESP 게임이며, 이 단어는 이미지의 메타데이터로 사용된다. 또 다른 널리 사용되는 암묵적 크라우드소싱의 예는 reCAPTCHA를 통해 사람들에게 인간임을 증명하기 위해 CAPTCHA를 풀도록 요청한 다음, 컴퓨터가 해독할 수 없는 오래된 책에서 CAPTCHA를 제공하여 웹용으로 디지털화하는 것이다. Mechanical Turk를 사용하여 해결되는 많은 작업과 마찬가지로 CAPTCHA는 사람에게는 간단하지만 컴퓨터에게는 종종 매우 어렵다.[141]

피기백 크라우드소싱은 사용자의 검색 기록과 웹사이트를 데이터 마이닝하여 광고 키워드, 맞춤법 수정, 동의어를 찾는 구글과 같은 웹사이트에서 가장 자주 볼 수 있다. 이러한 방식으로 사용자는 구글 광고와 같은 기존 시스템을 수정하는 데 의도치 않게 도움을 주고 있다.[163]

  • '''창의적 크라우드소싱'''은 그래픽 디자인, 크라우드소싱 건축, 제품 디자인,[12] 의류 디자인, 영화,[164] 글쓰기, 회사명 짓기,[165] 일러스트레이션 등 창의적인 프로젝트를 위해 사람들을 모집하는 것을 포함한다.[166][167] 크라우드소싱 공모전은 건축과 같은 일부 창의적인 분야에서 수십 년 동안 사용되어 왔지만, 창의적 크라우드소싱은 고객이 기존 방식보다 저렴한 비용으로 광범위한 창의적 작업을 요청할 수 있는 웹 기반 플랫폼의 최근 개발과 함께 확산되었다.
  • '''크라우드배송'''(crowd-shipping)은 온라인 플랫폼 또는 마켓플레이스를 통해 일반적으로 수행되는 P2P(peer-to-peer) 배송 서비스이다.[168] 크라우드 배송으로 분류되는 몇 가지 방법이 있다.
  • 구매자 방향으로 이동하며 보상으로 짐의 일부로 소포를 가져다 줄 의향이 있는 여행자.[169]
  • 구매자의 위치를 따라 운행하고 트럭에 추가 품목을 실을 의향이 있는 트럭 운전사.[170]
  • 구매자가 구매 목적지로 운송업체의 주소를 사용하도록 허용하여 국제 구매자와 현지 운송업체를 연결하는 커뮤니티 기반 플랫폼. 이후 운송업체는 구매자에게 추가 품목을 배송한다.[171]
  • '''크라우드 해결'''은 많은 사람, 커뮤니티, 그룹 또는 자원을 통해 문제를 해결하는 협업적이고 총체적인 방식이다. 이는 상당한 노력과 기여의 질 또는 독창성이 필요한 복잡하고 지적으로 까다로운 문제에 중점을 둔 크라우드소싱의 한 유형이다.[172]
  • '''문제-아이디어 체인'''은 개인에게 문제를 해결하기 위한 아이디어를 제출하고 해당 아이디어로 해결할 수 있는 문제를 묻는 아이디어 크라우드소싱 및 크라우드 해결의 한 형태이다. 목표는 개인이 충분히 고려된 문제에 대한 실용적인 해결책을 찾도록 장려하는 것이다.[173]
  • '''매크로워크''' 작업은 일반적으로 다음과 같은 특징을 갖는다. 독립적으로 수행할 수 있으며, 고정된 시간이 소요되며, 특별한 기술이 필요하다. 매크로 작업은 전문 프로젝트의 일부이거나, 작업자가 필요한 기술을 가진 곳에 참여하는 크고 눈에 띄는 프로젝트의 일부일 수 있다. 주요 차이점은 매크로 작업에는 전문 기술이 필요하고 일반적으로 더 오래 걸리는 반면, 마이크로 작업에는 전문 기술이 필요하지 않다는 것이다.
  • '''마이크로워크'''는 컴퓨터가 부적합한 작은 작업을 적은 금액으로 수행할 수 있도록 하는 크라우드소싱 플랫폼이다. 아마존의 Mechanical Turk는 각 작업에 매우 적은 시간이 필요하고 소액의 보상을 제공하는 사용자가 참여할 수 있는 다양한 프로젝트를 만들었다.[18] 작업을 선택할 때, 특정 사용자만 "승리"하므로, 사용자는 나중에 제출하고 인기가 적은 작업을 선택하여 작업이 선택될 가능성을 높이는 것을 배운다.[174] Mechanical Turk 프로젝트의 예로는 사용자가 사라진 컴퓨터 과학자 짐 그레이를 찾기 위해 보트를 찾기 위해 위성 이미지를 검색한 경우가 있다.[141]
  • '''모바일 크라우드소싱'''은 GPS 기술이 자주 특징인 스마트폰 또는 모바일 플랫폼에서 발생하는 활동을 포함한다.[175] 이를 통해 실시간 데이터 수집이 가능하며 프로젝트의 접근성과 접근성이 향상된다. 그러나 모바일 크라우드소싱은 도시 편향으로 이어질 수 있으며 안전 및 개인 정보 보호 문제가 있을 수 있다.[176][177][178]
  • '''단순 프로젝트'''는 마이크로 및 매크로 작업에 비해 많은 시간과 기술이 필요한 프로젝트이다. 매크로 작업의 예로는 설문 조사 피드백 작성이 있지만, 단순 프로젝트는 기본 코드 라인 작성 또는 데이터베이스 프로그래밍과 같은 활동을 포함하며, 둘 다 더 많은 시간과 기술 수준을 요구한다. 이러한 프로젝트는 일반적으로 아마존 Mechanical Turk와 같은 사이트에서 찾을 수 없으며, 특정 전문 지식을 요구하는 Upwork와 같은 플랫폼에 게시된다.[179]
  • '''복잡한 프로젝트'''는 일반적으로 가장 많은 시간이 소요되고, 위험이 높으며, 매우 특정한 기술을 가진 사람을 필요로 한다. 이러한 프로젝트는 일반적으로 회사가 특허를 받기를 희망하는 새로운 제품 설계와 같은 달성하기 어렵고 "일회성" 프로젝트이다. 이러한 프로젝트는 설계가 완벽을 기하기 위해 많은 시간이 필요한 세심한 과정이며, 프로젝트를 완료하는 사람은 프로젝트를 효과적으로 완료하기 위해 설계에 대한 전문적인 교육을 받아야 하기 때문에 복잡한 것으로 간주된다. 이러한 프로젝트는 일반적으로 가장 높은 급여를 받지만 거의 제공되지 않는다.[180]


크라우드소싱 사이트에는 직종이나 업무 분야를 한정하지 않고 일감을 위탁할 수 있는 종합형 사이트와 작업 종류나 분야를 좁혀서 만들어진 특화형 사이트가 있다.[242]

  • 오데스크
  • 랜서즈
  • 크라우드웍스
  • [https://www.craudia.com/ 크라우디아]
  • [https://app.shufti.jp/ 슈후티]
  • [https://tsunagu.cloud/ 츠나구]
  • 아마존 메커니컬 터크

7. 크라우드 구성원

크라우드는 크라우드소싱에 참여하는 사람들을 통칭하는 용어이다. 전체 인구 통계를 파악하기는 어렵지만, 여러 연구에서 다양한 온라인 플랫폼 사용자들을 조사했다. 아마존 메커니컬 터크(Amazon Mechanical Turk)에 대한 연구가 많이 이루어졌다.

아마존 메커니컬 터크(Amazon Mechanical Turk) 연구 결과
연도연구 결과
2008년주로 미국인, 젊은 여성, 고학력자, 40%가 연간 4만 달러 이상 소득[247]
2009년 11월사용자의 36%가 인도인, 인도인 작업자의 2/3는 남성, 66%는 학사 학위 이상, 2/3는 연간 소득 1만 달러 미만, 27%는 생계를 위해 메커니컬 터크 수입에 의존[181]
최근미국 작업자의 약 58% 여성, 약 67% 20~30대,[52][182][199][183] 약 80% 백인, 9% 흑인, 일반 인구보다 미혼 및 무자녀 비율 높음, 미국 작업자 약 68% 고용(일반 인구 60%), 4년제 대학 학위 소지 비율 높음(35%, 일반 인구 27%), 자유주의 성향 강함(민주당 46%, 공화당 28%, 기타 26%), 종교적 성향 낮음(종교적 41%, 영적 20%, 불가지론적 21%, 무신론적 16%)



Microworkers.com의 인구 통계는 메커니컬 터크와 다르다. 미국과 인도는 전체 작업자의 25%만을 차지한다. 197개국이 사용자를 대표하며, 인도네시아(18%)와 방글라데시(17%)가 가장 큰 비중을 차지한다. 그러나 고용주의 28%는 미국 출신이다.[184]

iStockphoto의 크라우드 인구 통계에 대한 연구에 따르면, 크라우드는 주로 백인, 중상류층, 고학력자이며, 소위 "화이트칼라 직업"에 종사하고, 집에 고속 인터넷 연결을 가지고 있었다.[185] 유럽에서 30일 동안 진행된 크라우드소싱 일기 연구에서 참가자들은 주로 고학력 여성이었다.[139]

크라우드는 단순히 아마추어나 취미 활동가들이 아니라, 해당 분야에서 전문적인 교육을 받았거나 고급 학위를 소지하고 다년간의 경험을 가진 경우가 많다.[1][186][187]

그레고리 색스턴 등은 103개의 크라우드소싱 조직에 대한 내용 분석을 통해 커뮤니티 사용자의 역할을 연구했다. 그들은 연구원, 엔지니어, 프로그래머, 저널리스트, 그래픽 디자이너 등과 같은 커뮤니티 사용자의 역할과 개발된 제품 및 서비스를 분류하기 위해 9가지 크라우드소싱 모델(중개 모델, 시민 미디어 제작, 공동 소프트웨어 개발, 디지털 상품 판매, 제품 디자인, P2P 소셜 파이낸싱, 소비자 보고 모델, 지식 기반 구축 모델 및 공동 과학 프로젝트 모델)의 분류법을 개발했다.[189]

사람들이 크라우드소싱 작업에 기여하는 이유는 내재적 동기와 외재적 동기 모두 작용하며, 이러한 요인들이 서로 다른 유형의 기여자에게 영향을 미친다.[106][1][190][191][192][193]

크라우드소싱 작업 기여 동기
구분종류설명
내재적 동기즐거움 기반 동기, 커뮤니티 기반 동기
즐거움 기반 동기: 참여를 통해 경험하는 재미와 즐거움 (기술 다양성, 과업 정체성, 과업 자율성, 직무로부터의 직접적인 피드백, 소일거리 등)
커뮤니티 기반 동기: 커뮤니티 참여와 관련된 동기 (커뮤니티 정체성, 사회적 접촉 등)
외재적 동기즉각적인 보상, 지연된 보상, 사회적 동기
즉각적인 보상: 금전적 지불 등 즉시 지급되는 보상
지연된 보상: 기술 훈련, 잠재적 고용주에게 인지되는 것 등 미래 이점 창출 혜택
사회적 동기: 이타적 동기 부여 등 친사회적 행동에 대한 보상[194] (온라인 자원봉사의 동기)



크라우드소싱 저널리즘에서 동기 요인은 내재적이다. 즉, 대중은 사회적 영향력을 만들고, 사회 변화에 기여하며, 동료를 돕는 가능성에 의해 움직인다.[190] 크라우드소싱의 동기 부여는 종종 내재적 요인과 외재적 요인의 혼합이다.[196] 크라우드소싱 법률 제정 프로젝트에서, 대중은 내재적 요인(시민의 의무 수행, 사회적 이유로 법률에 영향을 미치는 것, 동료들과 숙고하고 배우는 것)과 외재적 요인(금전적 이득 또는 기타 혜택을 위해 법률을 변경하는 것) 모두에 의해 동기 부여를 받았다.[106] 온라인 연구 연구 참가자들은 내재적 즐거움과 금전적 이득 모두를 동기로 보고한다.[197][198][199]

명성 또는 지위 또한 사회적 동기의 한 형태이다. 국제 어린이 디지털 도서관은 책을 번역하고 검토할 자원봉사자를 모집했다. 모든 번역자는 기여에 대한 공개적인 감사를 받는다. 메커니컬 터크는 품질 관리의 한 형태로 평판을 동기 부여 요소로 사용한다. 부적절한 방식으로 작업을 완료하는 크라우드워커는 향후 작업 접근이 거부될 수 있지만, 주의 깊게 작업하는 근로자는 더 높은 지불을 받는 작업에 접근하거나 근로자의 "승인 목록"에 포함됨으로써 보상을 받을 수 있다.[200]

8. 한계 및 논란

크라우드소싱은 다음과 같은 여러 가지 한계와 논란을 가지고 있다.


  • 제품 품질에 미치는 영향
  • 기업가의 자본 투입 감소
  • 자금 지원을 받는 아이디어 증가
  • 대중으로부터 얻은 작업의 가치와 영향
  • 작업자에게 낮은 임금을 지급하는 것의 윤리적 문제
  • 신뢰성 및 정보에 입각한 의사 결정


크라우드소싱은 누구나 참여할 수 있어 자격이 없는 참여자가 많아지고, 사용 불가능한 기여가 많아질 수 있다.[203] 기업이나 크라우드워커는 낮은 품질의 기여를 분류해야 하며, 크라우드를 관리하는 데 필요한 작업으로 인해 관리 간접비가 증가한다.[204] 예를 들어, 악의적인 작업으로 인해 결함 있는 결과가 발생할 수 있다. 마이크로 태스크를 완료하는 크라우드워커는 작업당 급여를 받기 때문에, 금전적 인센티브는 꼼꼼함보다 빠른 완료를 유도한다.[52] 고용주는 오류 수정을 위해 여러 작업자가 동일한 작업을 완료하는 데 의존하는 경우가 많지만, 이는 시간과 비용을 증가시킨다.[205] CloudResearch와 같은 일부 기업은 크라우드워커를 반복적으로 심사하여 데이터 품질을 관리한다.[201]

크라우드소싱 품질은 작업 설계에도 영향을 받는다. Lukyanenko 외.[206]는 크라우드소싱 데이터 수집 작업을 고정된 클래스(옵션)로 모델링하는 것이 품질을 제한한다고 주장한다. 정보 정확도는 도메인을 모델링하는 데 사용되는 클래스에 따라 달라지며, 참가자가 현상을 더 일반적인 수준에서 분류할 때 더 정확한 정보를 제공한다. 또한 참가자가 자유 형식의 데이터를 제공할 수 있을 때 전반적인 정확도가 더 높을 것으로 예상된다. 행동 과학 연구에서는 데이터 품질 평가를 위해 열린 형식의 응답을 포함하는 것이 권장된다.[207][208]

원하는 작업을 성공적으로 완료하기에 크라우드에 충분한 기술이나 전문 지식이 없는 경우가 많다. 이미지 라벨링과 같은 "단순한" 작업에는 영향이 적지만, 엔지니어링 설계 또는 제품 검증과 같은 복잡한 작업의 경우 특히 문제가 된다. 전문가와 익명의 온라인 크라우드 간의 비즈니스 모델 평가 비교 결과, 익명의 온라인 크라우드는 전문가와 동일한 수준으로 비즈니스 모델을 평가할 수 없다는 것이 나타났다.[209] 크라우드 내에서 자격을 갖춘 사람을 찾기가 어렵거나 불가능할 수 있으며, 그들의 응답은 일관되지만 잘못된 크라우드 멤버에 비해 작업자의 작은 부분만 나타내기 때문이다.[210]

크라우드워커는 모집단의 비무작위 표본이다. 많은 연구자들이 크라우드소싱을 사용하여 더 큰 표본 크기로 연구를 빠르고 저렴하게 수행한다. 그러나 인터넷 접속 제한으로 개발도상국의 참여는 낮다. 고도로 발달한 국가에서의 참여도 낮은데, 낮은 급여가 강력한 동기가 되지 않기 때문이다. 이러한 요인들은 인간 개발 지수에 따라 중간 개발 국가의 사용자를 향한 모집단의 편향을 초래한다.[212] 이러한 국가의 참가자는 특정 작업에 접근하기 위해 미국 참가자인 척하는 경우가 많다. 이는 2018년 아마존 메카니컬 터크에서 "봇 공포"로 이어졌는데, 연구자들이 중간 개발 국가에서 발생하는 낮은 품질의 응답 때문에 봇이 연구 설문 조사를 완료하고 있다고 생각했기 때문이다.[208][213]

금전적 동기 부족 또는 참여자 부족으로 인해 크라우드소싱 프로젝트가 실패할 가능성은 프로젝트가 진행됨에 따라 증가한다. 빨리 완료되지 않은 작업은 필터 및 검색 절차에 의해 잊히거나 묻힐 수 있다. 이로 인해 작업 완료 시간에 대한 장기 꼬리 법칙 분포가 발생한다.[214] 또한, 온라인에서 낮은 급여를 받는 연구 연구는 중도 탈락률이 더 높다.[1] 페이스북은 2008년 현지화 프로그램을 시작했을 때, 크라우드소싱 번역의 낮은 품질로 인해 비판을 받았다.[215] 크라우드소싱 제품의 문제점 중 하나는 크라우드와 클라이언트 간의 상호 작용이 부족하다는 것이다. 일반적으로 최종 제품에 대한 정보가 거의 알려져 있지 않으며, 작업자는 프로세스에서 최종 클라이언트와 거의 상호 작용하지 않는다. 이는 클라이언트 상호 작용이 디자인 프로세스의 중요한 부분으로 간주되므로 제품의 품질을 저하시킬 수 있다.[216]

크라우드소싱으로 인해 발생할 수 있는 제품 품질 저하의 추가적인 원인은 협업 도구의 부족이다. 일반적인 직장에서는 동료들이 서로 협력하고 서로의 지식과 아이디어를 기반으로 구축할 수 있도록 조직되어 있다. 그러나 크라우드소싱에서는 크라우드워커가 자신의 지식과 수단에 의존해야 한다.[204]

크라우드소싱 프로젝트는 다양한 배경을 가진 많은 참여자들을 포함시켜 편견이 없어야 한다고 예상되지만, 대부분의 크라우드소싱 작업은 급여를 받거나 결과로부터 직접적인 이익을 얻는 사람들에 의해 수행된다. 다른 많은 경우, 최종 제품은 크라우드의 대부분을 만들어내는 단일 개인의 노력의 결과이며, 크라우드는 사소한 세부 사항에만 참여한다.[217]

크라우드소싱은 기업가가 프로젝트에 다양한 지분을 가질 수 있는 광범위한 투자자에게 접근할 수 있게 한다.[218] 그 결과 자본 조달 과정을 단순화하여 기업가가 프로젝트 자체와 이정표 달성에 더 많은 시간을 할애할 수 있게 한다.

소규모 투자자를 통해 자본에 더 쉽게 접근하는 것이 프로젝트와 제작자에게 해를 끼칠 수 있다는 주장도 있다. 더 적은 지분을 가진 더 많은 투자자들이 참여하는 단순화된 자본 조달 프로세스를 통해 투자자들은 더 위험 추구적이게 된다.[218] 이는 기업가들이 프로젝트 생존을 위해 단일 투자자에게 의존하지 않기 때문에 잠재적 위험을 경계하는 투자자를 설득하는 경험을 잃게 되는 결과를 낳는다.

일부 번역 회사와 번역 도구 소비자는 번역가를 고용하는 대신 비용을 대폭 절감하기 위한 수단으로 크라우드소싱을 사용하는 척한다. 이러한 상황은 IAPTI 및 기타 번역가 단체에 의해 비난받고 있다.[219]

지지자들은 크라우드소싱이 벤처 캐피털이나 엔젤 투자자 자금 지원으로는 생존하기 어려웠을 틈새 아이디어를 가진 스타트업의 형성을 가능하게 하므로 유익하다고 주장한다. 많은 아이디어가 충분한 지원 부족과 자본 부족으로 인해 초기 단계에서 폐기되지만, 크라우드소싱을 통해 기업가가 프로젝트에 관심을 가질 커뮤니티를 찾을 수 있다면 이러한 아이디어를 시작할 수 있다.[220]

크라우드소싱은 프로젝트로부터 이익을 얻을 사람들이 자금을 지원하고 참여할 수 있도록 해주며, 이는 작고 틈새 아이디어를 시작하는 한 가지 방법이다.[221] 그러나 프로젝트 수가 증가하면 실패율도 증가한다. 크라우드소싱은 제품을 찾는 소수의 사람들에게서 인식되는 필요성으로 인해 틈새 및 고위험 프로젝트의 개발을 지원한다. 위험이 높고 목표 시장이 작기 때문에 크라우드소싱 프로젝트는 더 큰 자본 손실 가능성, 더 낮은 수익, 더 낮은 성공 수준에 직면한다.[222]

크라우드워커는 고용인이 아닌 독립 계약자로 간주되므로 최저 임금을 보장받지 못한다. 아마존 메카니컬 터크를 사용하는 작업자는 일반적으로 최저 임금보다 적게 번다. 2009년에는 미국의 터크 사용자가 작업당 평균 2.3달러를, 인도의 사용자는 평균 1.58USD를 벌었다고 보고되었으며, 이는 미국 최저 임금보다 낮다.[1][223] 2018년, 380만 건의 작업을 수행한 2,676명의 아마존 메카니컬 터크 작업자를 대상으로 한 설문 조사에서 시간당 중간 임금은 약 2USD였으며, 작업자의 4%만이 연방 최저 임금인 시간당 7.25USD 이상을 벌었다.[224] 연구 연구 참여자를 얻기 위해 아마존 메카니컬 터크를 사용한 일부 연구자들은 임금 조건이 비윤리적일 수 있다고 주장했다.[1][225] 그러나 다른 연구에 따르면 아마존 메카니컬 터크 작업자는 착취당한다고 느끼지 않으며 앞으로도 크라우드소싱 활동에 참여할 의향이 있다.[226]

페이스북이 2008년에 현지화 프로그램을 시작했을 때, 사이트 지침 번역을 크라우드소싱하는 데 무임금 노동을 사용한 것에 대해 비판을 받았다.

일반적으로 크라우드워커와는 서면 계약, 기밀 유지 계약 또는 직원 계약이 체결되지 않는다. 아마존 메카니컬 터크 사용자의 경우, 이는 고용주가 사용자의 작업 적합성을 결정하고 표준에 미치지 못할 경우 지불을 보류할 권리를 보유한다는 것을 의미한다.[227] 비평가들은 크라우드소싱 계약이 크라우드의 개인을 착취한다고 말하며, 크라우드가 노동 권리를 위해 조직해야 한다는 요구가 제기되었다.[228][1][229]

크라우드 구성원 간의 협업은 특히 경쟁적인 크라우드소싱의 맥락에서 어렵거나 권장되지 않을 수 있다. 크라우드소싱 사이트인 InnoCentive는 조직이 과학 및 기술 문제에 대한 솔루션을 요청할 수 있도록 허용하며, 응답자의 10.6%만이 제출 시 팀으로 작업했다고 보고했다.[230] 아마존 메카니컬 터크 작업자는 학계와 협력하여 작업 환경을 개선하기 위한 캠페인을 조직하고 만들 수 있는 플랫폼인 WeAreDynamo.org를 만들었지만, 해당 사이트는 더 이상 운영되지 않는다.[231] 아마존 메카니컬 터크 작업자와 학계가 운영하는 또 다른 플랫폼인 Turkopticon은 계속 운영되고 있으며, 아마존 메카니컬 터크 고용주에 대한 작업자 리뷰를 제공한다.[232]

아메리카 온라인은 2009년, 무급 중재자가 미국 공정 근로 기준법에 따라 직원으로서 최저 임금을 지불해야 한다고 소송을 제기한 후, ''Hallissey et al. v. America Online, Inc.'' 사건을 1500만달러에 합의했다.

보상 부족 및 기타 노동 관련 분쟁 외에도, 사생활 침해, 취약 계층 고용, 익명성 침해, PTSD를 포함한 심리적 피해, 중독 행위 조장 등에 대한 우려가 제기되어 왔다.[233]

2013년 이랜스와 클라우드웍스를 대상으로 한 히가 쿠니히코의 조사에 따르면, 일본의 크라우드소싱 사이트에서는 작가 업무의 시급이 너무 낮은 경향이 있다.[242]。또한, 참가 초반에는 낮은 보수밖에 얻지 못하더라도, 크라우드소싱 사이트상에서 수주 실적을 쌓아 신뢰가 생겨, 고액의 희망 보수로 거래가 성립되는 경우가 있다고 한다.[242]

크라우드소싱 사이트는 부담 없이 일을 발주할 수 있기 때문에 심사가 따라가지 못해, 부적절한 업무 내용이 게재되어 문제가 되고 있다.[245][246]。

2020년의 크라우드소싱 사이트에서는 저단가 건에 대한 대책이 이루어지고 있지만, 문제의 근본적인 해결에는 이르지 못하고 있다.

그동안 능력이 있음에도 불구하고 지방 거주자 등 지역적, 시간적, 연령적 등의 제약으로 도시의 기업에서 근무하기 어려웠던 사람들에게도 기회가 제공되게 되었다.

그 반면, 면식이 없는 불특정 다수와 성과 보수 형식으로 거래하기 때문에, 달성률의 수치화가 어려운 의뢰 내용에 따라 발주자, 업무 수탁자 간에 인식의 차이가 있어, 소송으로 발전할 위험이 있으며, 현실화되는 사례도 보고되고 있다. 또한, 그에 따라 새로운 내직 상법에 의한 피해도 보고되고 있으며, 주의 환기가 이루어지고 있다.

크라우드소싱에는 웹 기사 집필과 같은 "1자당 0.1~0.5엔 정도의 저렴한 案件(안건)"이 다수 게재되어 있다. 이 중에는 "1자당 0.1엔" 등, 고용으로 환산했을 경우, 거의 확실히 최저 임금 수준을 밑도는 보수밖에 얻을 수 없는 案件도 게재되어 있다. 크라우드소싱의 등장으로 노동력 착취가 구조화되었다는 지적이 있다. 20만 엔 이상을 벌 수 있는 사람은 8,000명 중 1명 정도라는 계산도 있다.

랜서즈와 크라우드웍스를 당시 이용하던 프리랜서 웹 라이터는 2019년 취재에서 "매일 쉬지 않고 일해도, (크라우드소싱 측에) 수수료를 지불하고 나면 손에 남는 것은, 매달 15만 엔에서 20만 엔 정도. 집필 건수요? 매달 50건 정도입니다"라고 말했다. 크라우드소싱이 "발주자와 수주자는 대등하지 않기 때문에, '1자당 0.1엔', '이름뿐인 사업주' 등이 횡행한다"는 온상이 되고 있다는 지적이 있다.

영화 리뷰 사이트에서는, 개봉 첫날부터 리뷰어의 평가가 모두 별 5개로 작성되는 노골적인 낚시 리뷰가 자주 지적되고 있다. 또한 아마존이나 라쿠텐 시장, 구글 지도 등에서 낚시로서 상품이나 음식점 등에 높은 평가의 리뷰를 작성하는 행위가 크라우드소싱 사이트에서 매매되고 있다는 지적이 있다.

영화 낚시 리뷰는 배급 회사로부터 발주를 받은 PR 회사가, 다음 하청의 SNS 프로모션 회사에 발주하고, 최종적으로 리뷰를 작성하는 것은 랜서즈나 크라우드웍스 등에 등록한 사람들일 것이라고 한다. 낚시 리뷰는 수십 엔 단위의 일을 주부에게 시키고, 그것을 주모자가 수백 엔으로 판매하며, PR 회사가 수만 엔의 일로 만드는 "빈자의 비즈니스"라는 지적이 있다. 또한 개인 블로그를 위장하면서, 기술 내용을 크라우드소싱에 발주하여 그대로 게재하고, 어필리에이트를 벌어들이는 형태도 지적되고 있다.

스텔스 마케팅 발주에 대해, 랜서즈는 원칙적으로 금지하고 있으며, "스텔스 마케팅에 해당하는 위반 체크를 종래보다 실시해 부적절하다고 판단한 건에 대해서는 게재를 즉시 중단"한다고 언급하고 있으며, "리뷰의 내용을 지정하는 것은 도덕에 반하기 때문에, '의뢰 가이드라인'에 따라 대처하고 있다"라고 언급하고 있다.

크라우드웍스에서 블로그 기사 작성 의뢰가 한 건당 800JPY이었는데, 그 내용이 "공산당에 표를 던지는 사람은 반일"이라는 블로그 기사를 작성하는 건이었다.[244] 또한, 보수(반 민진, 혐한)계 정리 블로그 사이트의 운영 관리, 정치·연예계 시사 문제 동영상 제작 등도 있었다.[245]

이러한 건들이 인터넷상에서 화제가 되자 크라우드웍스 측은 해당 건을 삭제하고 차별 및 정치 관련 건에 대한 대응을 강화하겠다고 발표했다.[246]

9. 아웃소싱과의 비교

아웃소싱과 크라우드소싱은 외부의 능력을 활용한다는 점에서 경계가 명확하지 않다. 아웃소싱이 소수 전문가의 도움에 중점을 두었다면, 크라우드소싱은 외부의 다수 비전문가까지 그 영역을 확장시킨다는 점이 다르다. 아웃소싱은 전문가를 찾아 활용하는 파레토 법칙에 근거한 경영 방법이고, 크라우드소싱은 다수의 참여자들과 협력하는 롱테일 현상에 근거한 경영 방법이다. 또한 아웃소싱은 결과의 질을 높이기 위한 것이고, 크라우드소싱은 결과의 양을 늘리기 위한 것이다. 비용을 제공하고 결과를 받는다는 개념에서 벗어나 지식을 공유하고 상호 광범위하게 협력하는 개념으로 발전되면서, 크라우드소싱을 확장된 아웃소싱으로 보는 시각도 있다.

항목아웃소싱 (Outsourcing)크라우드소싱 (Crowdsourcing)
전략 근거전통 죄수의 딜레마 (classcial PD), 1950년반복 죄수의 딜레마 (Iterated PD), 1959년
참여 형태소수 전문가 중심다수 비전문가 포함
주요 목적제품의 질 향상지식의 범위 확대
정보 공유폐쇄형공개형
관리 방식경쟁 유발협력 고려
데이터 수준정보지식
참여 자세지식인교양인
수행 이론기술 이론방법론
문제 처리문제 해결자문제 탐색자
정보 검색정확도 검색지능형 검색
의사 전달수직형수평형
평가 기준실패 염려성공 장려
결과 특성우수성다양성
분석 처리사실 분석결과 전달
접근 수단이성 수학감성 수학
연구 형태더 깊이더 넓게
결과 형태단일복합
참여 자세성실성창의성
생산 한계복잡도 한계창의력 한계
적합 비지니스오프라인온라인
진행 방법동시성비동시성
가치 결정정가 방식경매 방식
고객 형태전통적 고객프로슈머
활용 지성개인 지성집단 지성
적합 업무현재향 업무미래향 업무
트렌드 법칙메가 트랜드마이크로 트랜드
게임 방법일회성 게임반복형 게임
조직 체계단순계복잡계
계산 처리이진 컴퓨팅양자 컴퓨팅
조직 구성고정조직화자기조직화, 1970년
과제 형성하향식상향식
통계 현상파레토 법칙롱테일 현상


  • 약어: PD = 죄수의 딜레마 (Prisoner's dilemma).

참조

[1] 서적 Crowdsourcing What can be Outsourced to the Crowd and Why https://hal.inria.fr[...] Center for Direct Scientific Communication 2018-10-01
[2] 서적 2011 Fifth International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing 2015-09-05
[3] 간행물 Towards an Integrated Crowdsourcing Definition http://www.crowdsour[...] 2012-03-16
[4] 서적 Crowdsourcing The MIT Press 2013
[5] 간행물 Crowdsourcing as a Model for Problem Solving an Introduction and Cases
[6] conference Crowd Science: Measurements, Models, and Methods IEEE Computer Society 2016
[7] conference A Systematic Literature Review of Crowdsourcing Research from a Human Resource Management Perspective IEEE
[8] 간행물 The Fundamentals of Policy Crowdsourcing 2015-09
[9] 간행물 Crowdsourcing as a Solution to Distant Search
[10] 문서 A Theoretical Model of User Engagement in Crowdsourcing Springer Berlin Heidelberg 2013
[11] 간행물 Crowdsource by Google: A Platform for Collecting Inclusive and Representative Machine Learning Data https://www.humancom[...] 2019
[12] 간행물 The Customer-Dominated Innovation Process: Involving Customers as Designers and Decision-Makers in Developing New Product https://www.reposito[...] 2019-05-04
[13] 간행물 Organizational Learning with Crowdsourcing: The Revelatory Case of Lego http://aisel.aisnet.[...]
[14] 간행물 Crowdsourcing, Sharing Economies, and Development 2017-06-19
[15] 웹사이트 crowdsourcing (noun) https://www.oed.com/[...] Oxford English Dictionary 2024-01-03
[16] 웹사이트 crowdsourcing (noun) https://www.merriam-[...] Merriam-Webster 2024-01-03
[17] 간행물 Finding the diamond in the rough: Exploring communication and platform in crowdsourcing performance 2017-08-04
[18] 뉴스 The Rise of Crowdsourcing https://www.wired.co[...]
[19] 간행물 Comparison of climatic impacts transmission from temperature to grain harvests and economies between the Han (206 BC–AD 220) and Tang (AD 618–907) dynasties 2018-10
[20] 웹사이트 Longitude and the Académie Royale https://mathshistory[...] University of St. Andrews 2024-01-20
[21] 웹사이트 A Brief History of Crowdsourcing [Infographic] http://www.crowdsour[...] Crowdsourcing.org 2015-07-02
[22] 서적 Tracks in the Sea McGraw Hill 2002
[23] 웹사이트 Smithsonian Crowdsourcing Since 1849 https://siarchives.s[...] Smithsonian Institution Archives 2018-08-24
[24] 간행물 'C'était Paris en 1970' http://etudesphotogr[...] 2015-07-02
[25] 간행물 'Effective choice in the Prisoner's Dilemma' 1980
[26] 웹사이트 SETI@home https://setiathome.b[...] University of California 2024-01-20
[27] 간행물 Crowdsourcing Applications for Public Health 2014-02-01
[28] 웹사이트 UNV Online Volunteering Service | History https://www.onlinevo[...] Onlinevolunteering.org 2015-07-02
[29] 뉴스 Wired 14.06: The Rise of Crowdsourcing http://archive.wired[...] Archive.wired.com 2015-07-02
[30] 서적 The Wikipedia revolution: how a bunch of nobodies created the world's greatest encyclopedia https://archive.org/[...] Hyperion 2009
[31] 뉴스 TopCoder (A): Developing Software through Crowdsourcing https://www.hbs.edu/[...] 2010-01
[32] 뉴스 Appirio's TopCoder too is a big catch for Wipro https://timesofindia[...] 2018-04-30
[33] 웹사이트 For The Love Of Open Mapping Data https://techcrunch.c[...] Yahoo 2024-01-20
[34] 웹사이트 Crowdsourcing Back-Up Timeline Early Stories http://www.tiki-toki[...]
[35] 웹사이트 Amazon Mechanical Turk https://www.mturk.co[...] 2022-11-25
[36] 웹사이트 reddit on June23-05 https://www.flickr.c[...] 2006-12-05
[37] 웹사이트 Waze https://www.waze.com[...] Waze Mobile 2009
[38] 뉴스 Potent Memories From a Divided India https://www.nytimes.[...] 2013-08-13
[39] 서적 Advances in Crowdsourcing https://books.google[...] Springer 2015
[40] 웹사이트 Antoine-Jean-Baptiste-Robert Auget, Baron de Montyon http://www.newadvent[...] 2012-02-25
[41] 웹사이트 It Was All About Alkali http://pubs.acs.org/[...] Chemistry Chronicles 2012-02-25
[42] 웹사이트 Nicolas Appert http://www.brooklyn.[...] John Blamire 2012-02-25
[43] 뉴스 9 Examples of Crowdsourcing, Before 'Crowdsourcing' Existed http://memeburn.com/[...] 2011-09-15
[44] 웹사이트 The People Know Best http://businesstoday[...] Living Media India Limited 2013-05-25
[45] 간행물 Wiki Government: How Technology Can Make Government Better, Democracy Stronger, and Citizens More Powerful Brookings Institution Press
[46] 간행물 Crowdsourcing Ontology Alignment with Microtasks https://web.stanford[...] 2021-09-18
[47] 학술지 Crowdfunding and Civic Society in Europe: A Profitable Partnership? https://www.academia[...] 2013-04-29
[48] 간행물 Federal Transit Administration Public Transportation Participation Pilot Program http://www.fta.dot.g[...] U.S. Department of Transportation
[49] 간행물 Peer-to-Patent Community Patent Review Project http://www.peertopat[...] Peer-to-Patent Community Patent Review Project
[50] 간행물 Creating Speech and Language Data With Amazon's Mechanical Turk http://www.aclweb.or[...] 2012-02-28
[51] 간행물 Interspeech 2011 http://people.csail.[...]
[52] 서적 Conducting Online Research on Amazon Mechanical Turk and Beyond. https://www.amazon.c[...] SAGE Publications
[53] 간행물 Conducting Behavioral Research on Amazon's Mechanical Turk
[54] 서적 Proceedings of the seventh ACM conference on Creativity and cognition 2009
[55] 웹사이트 explodingdog 2015 http://www.exploding[...] Explodingdog.com 2015-07-02
[56] 뉴스 Looking at how crowds produce and present art. https://www.wired.co[...] 2012-02-26
[57] 간행물 Crowdsourcing and the Evolving Relationship between Art and Artist http://www.crowdsour[...] 2012-02-28
[58] 웹사이트 Why http://www.inrix.com[...] INRIX.com 2015-07-02
[59] 학술지 Crowdsourcing in health and medical research: a systematic review 2020-01-20
[60] 학술지 CrowdOutAIDS: crowdsourcing youth perspectives for action https://www.tandfonl[...] 2013-01
[61] 학술지 A game-based crowdsourcing platform for rapidly training middle and high school students to perform biomedical image analysis https://www.spiedigi[...] SPIE 2016-03-11
[62] 학술지 The application of crowdsourcing approaches to cancer research: a systematic review 2017-11
[63] 웹사이트 1833 Meteor Storm Started Citizen Science http://newswatch.nat[...] StarStruck 2014-09-18
[64] 학술지 Crowdsourcing, the great meteor storm of 1833, and the founding of meteor science 2014-06
[65] 웹사이트 Gateway to Astronaut Photography of Earth http://eol.jsc.nasa.[...] NASA
[66] 뉴스 Image Overload: Help us sort it all out, NASA requests http://www.cnn.com/2[...] CNN 2014-09-18
[67] 학술지 Everyday social interactions and intra-individual variability in affect: A systematic review and meta-analysis of ecological momentary assessment studies 2019-04-01
[68] 학술지 Evaluating Reddit as a Crowdsourcing Platform for Psychology Research Projects 2021
[69] 학술지 Extreme party animals: Effects of political identification and ideological extremity 2022
[70] 학술지 "#Alonetogether:: An Exploratory Study of Social Media Use at the Beginning of the COVID-19 Pandemic" https://thejsms.org/[...] 2022-05-26
[71] 논문 Modelling the impacts of variable renewable sources on the power sector: reconsidering the typology of energy modelling tools 2015-02-01
[72] 웹사이트 OpenEI — Energy Information, Data, and other Resources http://en.openei.org 2016-09-26
[73] 웹사이트 New Gateway: Open Energy Info http://govinfo.sla.o[...] 2009-12-12
[74] 서적 WREF 2012: OpenEI — an open energy data and information exchange for international audiences https://ases.confere[...] National Renewable Energy Laboratory (NREL) 2016-09-24
[75] 웹사이트 Enipedia http://enipedia.tude[...] Energy and Industry group, Faculty of Technology, Policy and Management, TU Delft 2016-10-07
[76] 서적 Making sense of open data: from raw data to actionable insight — PhD thesis https://www.research[...] Delft University of Technology 2018-10-02
[77] 웹사이트 What Is the Four-Generation Program? https://www.churchof[...] The Church of Jesus Christ of Latter-day Saints 2012-01-30
[78] 논문 What's in a name? Y chromosomes, surnames and the genetic genealogy revolution https://figshare.com[...]
[79] 논문 An African American Paternal Lineage Adds an Extremely Ancient Root to the Human Y Chromosome Phylogenetic Tree 2013-02-28
[80] 웹사이트 The Genographic Project and the Rise of Citizen Science http://www.scgsgenea[...] Southern California Genealogical Society (SCGS) 2013-07-10
[81] 웹사이트 History of the Christmas Bird Count | Audubon http://birds.audubon[...] Birds.audubon.org 2015-07-02
[82] 웹사이트 Thank you! https://www.audubon.[...] 2017-10-05
[83] 웹사이트 Home – ISCRAM2015 – University of Agder http://iscram2015.ui[...] 2016-10-14
[84] 논문 Motivation Factors in Crowdsourced Journalism: Social Impact, Social Change and Peer-Learning http://crowdsourcing[...]
[85] 논문 Crowdsourcing as a Knowledge-Search Method in Digital Journalism: Ruptured Ideals and Blended Responsibility http://crowdsourcing[...]
[86] 논문 Balancing between open and closed: co-creation in magazine journalism
[87] 웹사이트 Algorithm Watch https://algorithmwat[...] 2022-05-18
[88] 웹사이트 Overview in English https://dataskop.net[...] 2022-05-18
[89] 웹사이트 FAQs https://rally.mozill[...] 2023-03-14
[90] 웹사이트 It's your data. Use it for change https://rally.mozill[...] 2023-03-14
[91] 웹사이트 A data economy: the case for doing and knowing more about algorithms https://www.crikey.c[...] 2022-03-24
[92] 논문 Critical simulation as hybrid digital method for exploring the data operations and vernacular cultures of visual social media platforms https://eprints.qut.[...] 2021-11-08
[93] 웹사이트 The Citizen Browser Project—Auditing the Algorithms of Disinformation https://themarkup.or[...] 2022-05-18
[94] 논문 Scaling crowdsourcing interventions to combat partisan misinformation https://advances.in/[...] 2024-07-16
[95] 논문 Scaling up fact-checking using the wisdom of crowds 2021-09-03
[96] 논문 The Potential ofParticipediaas a Crowdsourcing Tool for Comparative Analysis of Democratic Innovations http://westminsterre[...] 2015-05-12
[97] 논문 Evolution of co-production in the information age: crowdsourcing as a model of web-based co-production in Korea
[98] 논문 Crowdsourcing: a new tool for policy-making? 2017-11-08
[99] 서적 Democratization https://books.google[...] Oxford University Press 2021-03-04
[100] 서적 Crowdsourcing for Democracy: New Era In Policy–Making. Committee for the Future, Parliament of Finland
[101] 웹사이트 Crowdsourcing the Policy Cycle. Collective Intelligence 2014, MIT Center for Collective Intelligence http://humancomputat[...] Humancomputation.com 2015-07-02
[102] 웹사이트 A Framework for Policy Crowdsourcing. Oxford Internet Institute, University of Oxford – IPP 2014 – Crowdsourcing for Politics and Policy https://www.research[...] Ipp.oxii.ox.ac.uk 2018-10-02
[103] 웹사이트 Experiments on Crowdsourcing Policy Assessment. Oxford Internet Institute, University of Oxford – IPP 2014 – Crowdsourcing for Politics and Policy http://ipp.oii.ox.ac[...] Ipp.oii.ox.ac.uk 2015-07-02
[104] 논문 Citizen involvement in public sector innovation: Government and citizen perspectives http://content.iospr[...] 2015
[105] 논문 Five design principles for crowdsourced policymaking: Assessing the case of crowdsourced off-road traffic law reform in Finland http://thefinnishexp[...] 2015-02-04
[106] 논문 Unmasking the Crowd: Participants' Motivation Factors, Profile and Expectations for Participation in Crowdsourced Policymaking http://thefinnishexp[...]
[107] 논문 Making Sense of Crowdsourced Civic Data with Big Data Tools http://thefinnishexp[...]
[108] 서적 Crowdsourcing for Democracy: New Era in Policymaking http://thefinnishexp[...] Committee for the Future, Parliament of Finland 2015-01-31
[109] 웹사이트 Home http://challenge.gov[...]
[110] 문서 Proverbial perspectives on pluralism Connections: the journal of the WEA Missions Committee 2003-10
[111] 웹사이트 Oromo dictionary project http://oromodictiona[...] OromoDictionary.com 2014-02-03
[112] 서적 Chapter 10. WeSay, a Tool for Engaging Native Speakers in Dictionary Building http://hdl.handle.ne[...] Natl Foreign Lg Resource Ctr 2007
[113] 웹사이트 Developing ASL vocabulary for science and math http://www.washingto[...] Washington.edu 2014-02-03
[114] 논문 Word knowledge in the crowd: Measuring vocabulary size and word prevalence in a massive online experiment 2015-02
[115] 웹사이트 The extension of (positive) ''anymore'' https://docs.google.[...] 2020-09-27
[116] 웹사이트 Pashto Proverb Collection project http://www.afghanpro[...] AfghanProverbs.com 2014-02-03
[117] 웹사이트 Comparing methods of collecting proverbs http://www.gial.edu/[...] 2014-12-17
[118] 문서 Mataluna: 151 Afghan Pashto Proverbs Culture Direct 2014
[119] 논문 Web 2.0-based crowdsourcing for high-quality gold standard development in clinical Natural Language Processing
[120] 간행물 Lego/Logo and Electronic Bricks: Creating a Scienceland for Children Springer Berlin Heidelberg 1993
[121] 논문 The Value of Marketing Crowdsourced New Products as Such: Evidence from Two Randomized Field Experiments http://journals.sage[...] 2017-08
[122] 간행물 How Airbnb Creates Value Goodfellow Publishers 2017-12
[123] 웹사이트 Prime Panels by CloudResearch https://www.cloudres[...] 2023-01-12
[124] 서적 Marketing research : applied insight https://www.worldcat[...] Pearson 2020
[125] 논문 The role of VGI and PGI in supporting outdoor activities https://dspace.lboro[...] 2013-11
[126] 논문 User-centred design of neogeography: the impact of volunteered geographic information on users' perceptions of online map 'mashups' https://dspace.lboro[...] 2014-05-15
[127] 논문 Usability of Geographic Information: Current challenges and future directions http://eprints.notti[...] 2019-08-20
[128] 논문 Understanding Design with VGI using an Information Relevance Framework https://dspace.lboro[...] 2012-08
[129] 논문 Crowdsourcing: How and Why Should Libraries Do It? http://www.dlib.org/[...] 2021-05-21
[130] 서적 Tagging, Folksonomy and Art Museums: Results of steve.museum's research http://conference.ar[...] Archives & Museum Informatics 2021-05-21
[131] 문서 Digital libraries and crowdsourcing 2018
[132] 간행물 Smartphone-based hierarchical crowdsourcing for weed identification http://dl.acm.org/ci[...] 2015-08-12
[133] 웹사이트 2015 Cheating Scandal https://bridgewinner[...] Bridge Winners 2024-01-20
[134] 논문 Crowdsourcing HIV Test Promotion Videos: A Noninferiority Randomized Controlled Trial in China 2016-06-01
[135] 논문 Creative Contributory Contests to Spur Innovation in Sexual Health: 2 Cases and a Guide for Implementation 2015-11
[136] 논문 Mapping of Crowdsourcing in Health: Systematic Review 2018
[137] 논문 HowNutsAreTheDutch (HoeGekIsNL): A crowdsourcing study of mental symptoms and strengths https://pure.rug.nl/[...] 2018-12-26
[138] 서적 Health Care Crowds: Collective Intelligence in Public Health. Collective Intelligence 2015. Center for the Study of Complex Systems, University of Michigan. Papers.ssrn.com 2015
[139] 논문 Temporal Dynamics of Health and Well-Being: A Crowdsourcing Approach to Momentary Assessments and Automated Generation of Personalized Feedback (2016) https://pure.rug.nl/[...]
[140] 문서 Crowdsourcing: how to find a crowd ARD ZDF Akademie, Berlin 2010
[141] 간행물 Crowdsourcing Systems on the World Wide Web https://cacm.acm.org[...]
[142] 서적 Crowdsourcing MIT Press
[143] 학술지 How to Manage Crowdsourcing Platforms Effectively https://www.alexandr[...] 2018
[144] 서적 Crowdsourcing: Why the Power of the Crowd is Driving the Future of Business http://www.bizbriefi[...] The International Achievement Institute 2012-04-09
[145] 웹사이트 Crowdvoting: How Elo Limits Disruption https://thevisionlab[...] 2017-05-25
[146] 뉴스 IEM Demonstrates the Political Wisdom of Crowds http://tippie.uiowa.[...] 2012-02-24
[147] 웹사이트 4 Great Examples of Crowdsourcing through Social Media http://www.digitalag[...] digitalagencymarketing.com 2012-03-29
[148] 간행물 Crowdsourcing as a Model for Problem Solving: An Introduction and Cases http://www.clickadvi[...]
[149] 웹사이트 Let's amplify California's collective intelligence http://citris-uc.org[...] 2014-06-12
[150] 서적 "Using "Crowd-Wisdom Strategy" to Co-Create Market Value: Proof-of-Concept from the Movie Industry." Edward Elgar Publishing Ltd
[151] 뉴스 How boxoffice trading could flop. https://www.hollywoo[...] 2010-04-21
[152] 문서 "Quantifying movie magic with Google search." https://adwords.goog[...] Google White Paper, Industry Perspectives+User Insights
[153] 뉴스 An Indoor Football Team Has Its Fans Call the Plays https://www.nytimes.[...] 2017-02-17
[154] 뉴스 What Is Crowdfunding And How Does It Benefit The Economy https://www.forbes.c[...]
[155] 간행물 Crowdsourcing for a better world: On the relation between IT affordances and donor motivations in charitable crowdfunding https://unsworks.uns[...]
[156] 뉴스 Crowdfunding Sites In 2014 https://www.forbes.c[...]
[157] 학술지 Some Simple Economics of Crowdfunding https://www.nber.org[...] University of Chicago Press
[158] 학술지 Leveraging Crowdsourcing: Activation-Supporting Components for IT-Based Ideas Competition http://portal.acm.or[...]
[159] 학술지 Community Engineering for Innovations: The Ideas Competition as a Method to Nurture a Virtual Community for Innovations https://www.research[...] 2009-09
[160] 웹사이트 DARPA Network Challenge https://networkchall[...] DARPA Network Challenge
[161] 잡지 Social media web snares 'criminals' https://www.newscien[...]
[162] 웹사이트 Beyond XPrize: The 10 Best Crowdsourcing Tools and Technologies http://www.fourhourw[...] 2012-02-20
[163] 간행물 Crowdsourcing user studies with Mechanical Turk http://www-users.cs.[...]
[164] 뉴스 The Movie Research Experience gets audiences involved in filmmaking. 2010-07-19
[165] 뉴스 Squadhelp wants your company to crowdsource better names (and avoid Boaty McBoatface) http://www.chicagotr[...]
[166] 웹사이트 Compete To Create Your Dream Home http://www.fastcoexi[...] FastCoexist.com 2013-06-04
[167] 뉴스 Designers, clients forge ties on web http://bostonherald.[...] 2012-06-11
[168] 간행물 Crowdsourced delivery explained: making same day shipping cheaper through local couriers. https://www.business[...]
[169] 간행물 LivingPackets uses IoT, crowdshipping to transform deliveries https://internetofbu[...] 2018-04-19
[170] 간행물 Goldman Sachs, Soros Bet on the Uber of Brazilian Trucking https://www.bloomber[...] 2018-06-19
[171] 간행물 Parcl Uses Trusted Forwarders to Bring you Products that don't Ship to your Country https://techpp.com/2[...]
[172] 문서 Crowdsourcing information systems: a systems theory perspective https://aisel.aisnet[...] Proceedings of the 22nd Australasian Conference on Information Systems.
[173] 학술지 A new tool for crowdsourcing https://cyberleninka[...] 2015
[174] 간행물 Proceedings of the 9th ACM conference on Electronic commerce http://www-personal.[...]
[175] 웹사이트 Mobile Crowdsourcing http://www.clickwork[...]
[176] 간행물 Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing ACM 2015-02-28
[177] 서적 Crowdsourcing with smartphones http://www.cs.ucy.ac[...]
[178] 학술지 MIST: Fog-based data analytics scheme with cost-efficient resource provisioning for IoT crowdsensing applications
[179] 학술지 Working the Crowd: Employment and Labor Law in the Crowdsourcing Industry http://wtf.tw/ref/fe[...] 2011-08
[180] 웹사이트 View of Crowdsourcing: Libertarian Panacea or Regulatory Nightmare? https://online-shc.c[...] 2017-05-26
[181] 학술지 Who are the Crowdworkers? Shifting Demographics in Mechanical Turk http://www.ics.uci.e[...] 2012-02-28
[182] 학술지 '"Who are these people?" Evaluating the demographic characteristics and political preferences of MTurk survey respondents' 2015-07-01
[183] 학술지 The Demographic and Political Composition of Mechanical Turk Samples 2016-01-01
[184] 간행물 Human Cloud as Emerging Internet Application – Anatomy of the Microworkers Crowdsourcing Platform http://www3.informat[...]
[185] 학술지 Moving the Crowd at iStockphoto: The Composition of the Crowd and Motivations for Participation in a Crowdsourcing Application
[186] 학술지 Managing Unexpected Publics Online: The Challenge of Targeting Specific Groups with the Wide-Reaching Tool of the Internet http://ijoc.org/ojs/[...]
[187] 학술지 Moving the Crowd at Threadless: Motivations for Participation in a Crowdsourcing Application
[188] 학술지 The Myth of Amateur Crowds: A Critical Discourse Analysis of Crowdsourcing Coverage
[189] 학술지 Rules of Crowdsourcing: Models, Issues, and Systems of Control
[190] 학술지 Motivation Factors in Crowdsourced Journalism: Social Impact, Social Change, and Peer Learning http://crowdsourcing[...]
[191] 학술지 More than fun and money. Worker Motivation in Crowdsourcing – A Study on Mechanical Turk http://schader.bwl.u[...]
[192] 학술지 Motivations for Participation in a Crowdsourcing Application to Improve Public Engagement in Transit Planning
[193] 학술지 Hang-a-rounds and True Believers: A Case Analysis of the Roles and Motivational Factors of the Star Wreck Fans
[194] 웹사이트 State of the World's Volunteerism Report 2011 http://www.unv.org/f[...] Unv.org 2015-07-01
[195] 학술지 Breaking Monotony with Meaning: Motivation in Crowdsourcing Markets http://www.danachand[...]
[196] 서적 Proceedings of the Workshop on Open Source and Design of Communication https://www.research[...]
[197] 서적 Demographics of Mechanical Turk http://archive.nyu.e[...] 2010-03-10
[198] 서적 CHI '10 Extended Abstracts on Human Factors in Computing Systems Association for Computing Machinery 2010-04-10
[199] 웹사이트 Is it Ethical to Use Mechanical Turk for Behavioral Research? Relevant Data from a Representative Survey of MTurk Participants and Wages https://psyarxiv.com[...] 2023-01-12
[200] 웹사이트 Human Computation:A Survey and Taxonomy of a Growing Field, ''CHI 2011'' [Computer Human Interaction conference], May 7–12, 2011, Vancouver, BC, Canada http://alexquinn.org[...] 2015-06-30
[201] 학술지 Evaluating CloudResearch's Approved Group as a solution for problematic data quality on MTurk 2022-11-03
[202] 서적 Proceedings of the Hawaii International Conference on Systems Sciences 2015.
[203] 뉴스 How Generative AI Can Augment Human Creativity https://hbr.org/2023[...] 2023-06-20
[204] 웹사이트 The Case For and Against Crowdsourcing: Part 2 http://www.crowdsour[...] 2015-02-09
[205] 서적 Quality Management on Amazon Mechanical Turk http://people.stern.[...] 2012-02-28
[206] 학술지 The IQ of the Crowd: Understanding and Improving Information Quality in Structured User-Generated Content 2014
[207] 간행물 Evidence and Solutions https://www.taylorfr[...] 2023-01-12
[208] 서적 Bots or inattentive humans? Identifying sources of low-quality data in online platforms https://osf.io/wr8ds 2021-06-11
[209] 학술지 Can the Crowd Substitute Experts in Evaluation of Creative Ideas? An Experimental Study Using Business Models https://aisel.aisnet[...] 2016-08-11
[210] 서적 When Crowdsourcing Fails: A Study of Expertise on Crowdsourced Design Evaluation http://ode.engin.umi[...] 2015-05-19
[211] 간행물 Multicategory Crowdsourcing Accounting for Variable Task Difficulty, Worker Skill, and Worker Intention 2014-05-30
[212] 간행물 Human Cloud as Emerging Internet Application – Anatomy of the Microworkers Crowdsourcing Platform http://www3.informat[...]
[213] 웹사이트 After the Bot Scare: Understanding What's Been Happening With Data Collection on MTurk and How to Stop It https://www.cloudres[...] 2018-09-18
[214] 간행물 Analyzing the Amazon Mechanical Turk Marketplace https://archive.nyu.[...] 2018-10-02
[215] 웹사이트 Facebook asks users to translate for free https://www.nbcnews.[...] 2008-04
[216] 웹사이트 Crowdsourcing: The Debate Roars On http://insite.artins[...] 2012-12-04
[217] 뉴스 The Myth of Crowdsourcing https://www.forbes.c[...] 2009-09-28
[218] 간행물 The Promise of Idea Crowdsourcing: Benefits, Contexts, Limitations https://www.academia[...] null
[219] 웹사이트 International Translators Association Launched in Argentina http://www.laht.com/[...] null
[220] 웹사이트 Un(der)paid Innovators: The Commercial Utilization of Consumer Work through Crowdsourcing http://www.sti-studi[...] Sti-studies.de 2015-07-02
[221] 웹사이트 Crowdsourcing: A Million Heads is Better Than One http://www.crowdsour[...] Crowdsourcing.org 2015-07-02
[222] 웹사이트 Crowdfunding 101: Pros and Cons http://www.gsb.stanf[...] Gsb.stanford.edu 2015-07-02
[223] 웹사이트 Fair Labor Standards Act Advisor http://www.dol.gov/e[...] 2012-02-28
[224] 서적 Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems https://ora.ox.ac.uk[...] ACM 2018-04-21
[225] 간행물 Ethical and practical considerations for compensation of crowdsourced research participants 2011
[226] 간행물 Ethical Aspects of Crowdsourcing, or is it a Modern Form of Exploitation http://www.ijeba.com[...] 2013
[227] 간행물 Running experiments on Amazon Mechanical Turk
[228] 간행물 Digital labour and development: impacts of global digital labour platforms and the gig economy on worker livelihoods 2017-05-01
[229] 문서 The Crowdsourcing Scam http://www.thebaffle[...] The Baffler 2014-12
[230] 서적 The Value of Openness in Scientific Problem Solving http://www.hbs.edu/r[...] 2012-02-26
[231] 서적 We Are Dynamo: Overcoming Stalling and Friction in Collective Action for Crowd Workers http://www.kristymil[...] 2015-06-16
[232] 서적 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems https://escholarship[...] ACM 2013-04-27
[233] 서적 Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies Association for Computational Linguistics 2021
[234] 문서 위키노미クス http://ec.nikkeibp.c[...]
[235] 뉴스 On Language http://www.nytimes.c[...] New York Times Magazine 2009-02-05
[236] 웹사이트 Crowdsourcing: A Definition http://crowdsourcing[...] Crowdsourcing Blog 2006-06-02
[237] 간행물 Crowdsourcing as a Model for Problem Solving: An Introduction and Cases http://www.clickadvi[...]
[238] 뉴스 The Rise of Crowdsourcing http://www.wired.com[...]
[239] 간행물 Towards an Integrated Crowdsourcing Definition http://www.crowdsour[...]
[240] 뉴스 Learning through crowdsourcing is deaf to the language challenge http://www.guardian.[...] 2012-02-14
[241] 뉴스 Crowd Sourcing Turns Business On Its Head http://www.npr.org/t[...] 2010-01-08
[242] 문서 情報による新しい労働形態 比嘉邦彦 2015
[243] 문서 内職商法には気をつけよう
[244] 문서 クラウドワークスで「共産党に票を入れる人は反日」ブログ記事作成依頼、掲載中止に https://www.bengo4.c[...]
[245] 문서 野党を叩き嫌韓を煽るブログ記事やYouTube動画、1本数十円のクラウドソーシングで大量生産されていた http://buzzap.jp/new[...]
[246] 블로그 政治系ブログ記事作成案件の掲載中断に関しまして https://crowdworks.j[...]
[247] 웹인용 보관된 사본 https://web.archive.[...] 2013-10-17
[248] 웹인용 보관된 사본 https://web.archive.[...] 2019-05-10


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com