맨위로가기

GPT-3

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

GPT-3는 OpenAI가 개발한 대규모 언어 모델로, 2020년에 발표되었다. GPT-3는 트랜스포머 기반 아키텍처를 사용하며, 1,750억 개의 매개변수를 가진 가장 큰 비희소 언어 모델 중 하나이다. 텍스트 생성, 요약, 번역, 질의응답, 코드 생성 등 다양한 자연어 처리 작업을 수행할 수 있으며, 챗봇, 게임, 광고 등 여러 분야에서 활용된다. 하지만 모델 공개 정책, 환경적 영향, 저작권 문제, 학문적 진실성 훼손, 유해한 언어 생성 등의 한계와 윤리적 문제도 지적받고 있다.

더 읽어볼만한 페이지

  • GPT (언어 모델) - DALL-E
    DALL-E는 OpenAI에서 개발한 텍스트 기반 이미지 생성 인공지능 모델로, GPT-3를 기반으로 하며 높은 해상도와 현실적인 이미지를 생성하도록 개선되었지만, 윤리적 문제점과 언어 이해 능력의 한계가 지적된다.
  • GPT (언어 모델) - GPT-2
    GPT-2는 OpenAI가 개발한 GPT 모델의 확장 버전으로, 파라미터 수와 학습 데이터 세트 크기를 늘려 성능을 향상시켰으며 다양한 자연어 처리 작업에서 뛰어난 성능을 보이지만 악용 가능성에 대한 우려도 있다.
  • 대형 언어 모델 - 챗GPT
    챗GPT는 오픈AI가 개발한 GPT-3.5 기반의 대화형 인공지능 서비스로, 인간과 유사한 텍스트 생성, 코드 생성, 보고서 작성, 번역 등의 다양한 기능을 제공하지만, 편향된 정보 생성, 데이터 유출, 윤리 및 저작권 문제 등의 논란도 있으며, 유료 서비스를 포함한 다양한 형태로 제공되고, 지속적인 모델 개발을 통해 성능을 향상시키고 있다.
  • 대형 언어 모델 - BERT (언어 모델)
    BERT는 트랜스포머 기반 양방향 학습으로 자연어 처리 성능을 향상시킨 구글의 언어 모델로, MLM, NSP 사전 학습과 미세 조정을 통해 다양한 NLP 작업에 적용 가능하며, 여러 벤치마크에서 최고 성능을 기록하고 다양한 변형 모델로 발전하고 있다.
  • 컴퓨터 과학에 관한 - 친절한 인공지능
    친절한 인공지능은 사용자에게 친절하고 공감적인 방식으로 상호 작용하며 긍정적이고 효과적인 사용자 경험을 제공하는 것을 목표로 하는 인공지능 기술의 한 분야이다.
  • 컴퓨터 과학에 관한 - AI 붐
    AI 붐은 2010년대 중후반부터 딥 러닝, 생성형 AI 등 인공지능 기술의 급격한 발전과 알파고-이세돌 대국, 알파폴드, 챗GPT 등의 등장으로 사회 전반에 큰 영향을 미치며 나타난 현상으로, 기술 패권 경쟁, 경제·사회적 변화, 그리고 다양한 우려 사항을 야기하고 있다.
GPT-3 - [IT 관련 정보]에 관한 문서
기본 정보
GPT-3 로고
GPT-3 로고
이름Generative Pre-trained Transformer 3 (GPT-3)
개발자OpenAI
출시일2020년 6월 11일 (베타)
이전 모델GPT-2
다음 모델GPT-3.5
장르자기회귀
변환기
언어 모델
라이선스proprietary
웹사이트OpenAI API 블로그
기술 정보
유형대형 언어 모델
생성적 사전 훈련 변환기
기초 모델
기반 아키텍처transformer
학습 방법자기 지도 학습
주요 특징제로샷 학습
소수샷 학습
사용 기술인공 신경망
관련 기술어텐션 메커니즘
신경망 기계 번역
기타 정보
접근 권한OpenAI API를 통해 접근 가능
Microsoft와의 협력Microsoft는 GPT-3의 기반 코드에 대한 독점적 접근 권한 보유
활용 분야텍스트 생성
코드 생성
번역
질의응답

2. 역사적 배경

2010년대에는 알고리즘 개선, 컴퓨터 성능 향상, 디지털 데이터 증가로 기계 학습 분야가 크게 발전했다.[5] 2017년 트랜스포머 아키텍처가 도입되면서 자연어 처리(NLP) 분야는 획기적인 발전을 이루었다.[6]

2018년 6월 11일, OpenAI는 최초의 사전 훈련된 생성적 트랜스포머(GPT) 모델인 GPT-1을 발표했다. GPT-1은 대규모 텍스트 데이터셋으로 사전 학습된 생성적 대규모 언어 모델로, 특정 작업에 맞게 미세 조정하여 사용할 수 있었다. 이전에는 최고 성능의 신경망 NLP 모델이 수동으로 라벨이 지정된 대량의 데이터로부터 지도 학습을 사용했기 때문에, 매우 큰 언어 모델을 훈련하는 데 많은 비용과 시간이 소요되었다.[3]

2019년, OpenAI는 GPT-1보다 훨씬 큰 규모의 모델인 GPT-2를 발표했다. GPT-2는 15억 개의 매개변수를 가지고 있으며, 800만 개의 웹 페이지 데이터셋으로 훈련되었다.[8]

2020년 2월, 마이크로소프트는 170억 개의 매개변수를 가진 Turing Natural Language Generation(T-NLG) 모델을 발표했다.[9] T-NLG는 텍스트 요약 및 질문 응답을 포함한 다양한 작업에서 다른 어떤 언어 모델보다 더 나은 성능을 보였다.

3. 모델

GPT-3는 GPT-2와 유사한 트랜스포머 기반 아키텍처를 사용하지만, 모델 크기와 데이터셋 규모가 훨씬 더 크다.[84] 아키텍처의 변경 사항은 다음과 같다.



GPT-3는 다양한 크기의 모델로 제공되며, 각 모델은 서로 다른 성능과 특징을 가지고 있다. OpenAI가 발표한 초기 연구 논문에 따르면 주요 GPT-3 모델은 8가지 크기로 제공된다.[25]

모델 이름파라미터 수API 이름
GPT-3 Small125 Mn/a
GPT-3 Medium350 Mada
GPT-3 Large760 Mn/a
GPT-3 XL1.3 Bbabbage
GPT-3 2.7B2.7 Bn/a
GPT-3 6.7B6.7 Bcurie
GPT-3 13B13Bn/a
GPT-3 175B175Bdavinci



이 중 절반(GPT-3-medium, GPT-3-xl, GPT-3-6.7B, GPT-3-175b)은 API를 통해 접근할 수 있으며, 각각 ada, babbage, curie, davinci로 불린다. OpenAI는 처음에 API 모델의 크기를 공개하지 않았지만, 엘레우테르AI(EleutherAI)가 2021년 5월에 모델 크기와 API 이름 간의 매핑을 발표했다.[25] 이후 OpenAI는 모델 크기를 확인했다.[26]

모델은 크게 기본 GPT-3 시리즈와 InstructGPT 시리즈로 나눌 수 있다. 각 시리즈별 모델의 특징은 다음과 같다.

모델파라미터 수설명시리즈
ada350 M매우 간단한 작업에 적합하며, 일반적으로 GPT-3 시리즈 중 가장 빠르고 비용이 저렴하다.기본 GPT-3
babbage1.3 B간단한 작업에 적합하며, 매우 빠르고 비용이 저렴하다.기본 GPT-3
curie6.7B매우 성능이 뛰어나지만, Davinci보다 빠르고 비용이 저렴하다.기본 GPT-3
davinci175 B가장 성능이 뛰어난 GPT-3 모델이다. 다른 모델이 할 수 있는 모든 작업을 더 높은 품질로 수행할 수 있다.기본 GPT-3
text-ada-001350 M매우 간단한 작업에 적합하며, 일반적으로 GPT-3 시리즈 중 가장 빠르고 비용이 저렴하다.InstructGPT
text-babbage-0011.3B간단한 작업에 적합하며, 매우 빠르고 비용이 저렴하다.InstructGPT
text-curie-0016.7B매우 성능이 뛰어나며, Davinci보다 빠르고 비용이 저렴하다.InstructGPT
text-davinci-001175BGPT-3 시리즈에서 가장 성능이 뛰어난 모델의 이전 버전이다. 다른 GPT-3 모델이 할 수 있는 모든 작업을 수행할 수 있지만, 맥락이 덜 필요할 수 있다.InstructGPT



GPT-3 모델 중 ada, babbage, curie, davinci, text-ada-001, text-babbage-001, text-curie-001은 2024년 1월 4일에 서비스가 종료되었다.[98]

3. 1. InstructGPT

InstructGPT는 인간이 작성한 명령어 데이터셋으로 훈련하여 미세 조정된 GPT-3 모델이다. InstructGPT는 이러한 훈련을 통해 질문을 더 잘 이해하고, 더 정확하고 적절한 결과를 생성할 수 있다.[36] InstructGPT는 GPT-3.5의 변형 모델이다.[36]

3. 2. GPT-3.5

'''생성적 사전 훈련 변환기 3.5''' ('''GPT-3.5''')는 2022년 OpenAI가 만든 GPT-3 모델의 개선된 버전이다.

GPT-3.5는 2022년 3월 15일에 "text-davinci-002" 및 "code-davinci-002"라는 이름으로 처음 공개되었다. 이 모델들은 편집 및 삽입 기능을 갖추고 있으며, 이전 버전보다 성능이 향상되었고 2021년 6월까지의 데이터로 훈련되었다.[27][28] 2022년 11월 28일에는 "text-davinci-003" 모델이 공개되었다.[29]

2022년 11월 30일, OpenAI는 이 모델들을 "GPT-3.5" 시리즈로 통칭하기 시작했으며,[28] GPT-3.5 시리즈 모델을 미세 조정한 ChatGPT를 출시했다.[30] OpenAI는 GPT-3.5를 GPT-3에 포함시키지 않는다.[31]

2023년 4월 10일에는 GPT-3.5 시리즈의 새로운 변형인 GPT-3.5 with Browsing (알파)가 출시되었다.[33] 이 모델은 "text-davinci-002" 및 "code-davinci-002"의 기능을 기반으로 하며, 온라인 정보 접근 및 탐색 기능을 통합하여 사용자 질문에 대해 더 정확하고 최신의 응답을 제공한다.[34] GPT-3.5 with Browsing (알파)는 2021년 9월까지의 데이터로 학습되어 이전 GPT-3.5 모델보다 더 많은 정보를 가지고 있다.[33]

OpenAI는 GPT-3.5 with Browsing (알파) 모델이 작동 중에 선택된 온라인 리소스에 접근할 수 있도록 새로운 API를 구현하여 탐색 기능을 활성화했다.[35] 2023년 4월 27일, GPT 플러스 사용자에게 GPT-3.5 with Browsing (알파) 모델을 공개적으로 제공하여 더 많은 사람들이 새로운 기능에 접근할 수 있게 되었다.[35]

GPT-3.5 시리즈의 주요 발전 과정은 다음과 같다.

  • 2022년 3월 15일: GPT-3 및 Codex API에 편집 및 삽입 기능을 갖춘 "text-davinci-002" 및 "code-davinci-002" 모델 공개.[134] 이 모델들은 2021년 6월까지의 데이터로 훈련되었다.[135]
  • 2022년 11월 28일: "text-davinci-003" 모델 공개.[136]
  • 2022년 11월 30일: OpenAI, "GPT-3.5" 시리즈 모델 분류 시작 및 챗GPT 출시.[137][138]
  • 2023년 6월 13일: "gpt-3.5-turbo-16k" 모델 및 함수 호출(function calling) 기능 추가.[139] 함수 호출 기능은 챗GPT 플러그인과 같은 기능을 챗GPT 외부에서 실행할 수 있게 한다.


OpenAI는 GPT-3.5를 GPT-3에 포함시키지 않으며,[140] GPT-3.5의 후속 모델은 GPT-4이다.

GPT-3.5 시리즈에는 5가지 모델이 있다.[141]

  • 대화용
  • * "gpt-3.5-turbo": 최대 4096 토큰 사용 가능
  • * "gpt-3.5-turbo-16k": 최대 16384 토큰 사용 가능
  • 후속 문장 생성용
  • * "text-davinci-003": 2024년 1월 4일 서비스 종료[98]
  • * "text-davinci-002": 2024년 1월 4일 서비스 종료[98]
  • * "code-davinci-002": 프로그래밍용

4. 훈련 및 데이터셋

GPT-3는 2020년 5월에 발표된 3세대 언어 모델로, 이전 모델들보다 훨씬 큰 용량을 자랑한다. GPT-3의 훈련에는 방대한 양의 텍스트 데이터가 사용되었으며, 이 데이터는 커먼 크롤(Common Crawl), WebText2, Books1, Books2, 위키백과 등 다양한 출처에서 수집되었다.[81][79]

GPT-3 훈련 데이터의 60%는 커먼 크롤에서 가져온 4,100억 개의 바이트 페어 인코딩 토큰으로 구성된다. 나머지 데이터는 WebText2 (190억 토큰, 22%), Books1 (120억 토큰, 8%), Books2 (550억 토큰, 8%), 위키백과 (30억 토큰, 3%)이다.[81]

GPT-3 학습 데이터[81]
데이터 세트토큰 수학습 내 비율
커먼 크롤4100억 개60%
WebText2190억 개22%
Books1120억 개8%
Books2550억 개8%
위키백과30억 개3%



GPT-3는 수천억 개의 단어로 학습되었으며, CSS, JSX, 파이썬 등 프로그래밍 코드를 생성할 수 있다.

5. 능력 및 활용

GPT-3는 텍스트 생성, 요약, 번역, 질의응답, 코드 생성 등 다양한 자연어 처리 작업을 수행할 수 있다. 2020년 5월 28일, OpenAI의 엔지니어 및 연구원 31명으로 구성된 그룹은 3세대 "최첨단 언어 모델"인 GPT-3의 성과와 개발 과정을 설명하는 논문을 발표했다.[11] GPT-3는 이전 버전인 GPT-2보다 성능이 크게 향상되었으며, 현재까지 가장 큰 비희소 언어 모델이다.[12][13]

GPT-3는 구조적으로 이전 버전과 유사하지만, 용량과 매개변수가 증가함에 따라 정확도가 향상되었다.[14] GPT-3의 용량은 당시 알려진 두 번째로 큰 NLP 모델인 Microsoft의 Turing NLG보다 10배 더 크다.[11]

GPT-3는 수천억 개의 단어로 학습되었으며, CSS, JSX, 파이썬 등 다양한 프로그래밍 언어로 코드를 작성할 수 있다.[71]

GPT-3의 가중치가 부여된 사전 학습 데이터 세트의 60%는 필터링된 커먼 크롤 버전에서 가져온 4100억 개의 바이트 쌍 인코딩 토큰으로 구성된다. 그 외 WebText2, Books1, Books2, 위키피디아 데이터 세트가 사용되었다.

GPT-3 학습 데이터
데이터 세트토큰 수학습 내 비율
커먼 크롤4100억 개60%
WebText2190억 개22%
Books1120억 개8%
Books2550억 개8%
위키피디아30억 개3%



GPT-3는 포괄적인 학습 데이터 덕분에 별도의 추가 학습 없이도 다양한 언어 작업을 수행할 수 있다.[71] 그러나 학습 데이터에 유해한 언어가 포함되어 있어 GPT-3가 유해한 언어를 생성하는 경우가 있다. 워싱턴 대학교 연구에 따르면 GPT-3는 GPT-2 및 CTRL과 비슷한 수준의 유해성을 가진 유해한 언어를 생성한다.[16] OpenAI는 GPT-3가 생성하는 유해한 언어의 양을 줄이기 위해 여러 전략을 구현했다.[87]

GPT-3는 제로샷, 원샷, 퓨샷 학습을 수행할 수 있다.
활용 분야:


  • 코드 생성: 깃허브 코파일럿은 GPT-3, 특히 코덱스 모델을 기반으로 다양한 코드 편집기와 IDE에서 코드 완성 및 생성을 지원한다.[37][38]
  • 코드 번역: 마이크로소프트 제품에서 일반 언어를 공식적인 컴퓨터 코드로 번역하는 데 사용된다.[39][40]
  • SQL 쿼리 생성: CodexDB에서 SQL 처리를 위한 쿼리 특정 코드를 생성하는 데 사용된다.[41]
  • 챗봇: 제이슨 로어의 "프로젝트 디셈버"는 GPT-3 기술을 사용하는 레트로 테마의 챗봇 프로젝트이다.[42]
  • 기사 작성: 가디언은 GPT-3를 사용하여 AI가 인간에게 무해하다는 내용의 기사를 작성했다.[43]
  • 게임: ''AI 던전''은 GPT-3를 사용하여 텍스트 기반 어드벤처 게임을 생성했다.[44][45]
  • 마케팅: 카피 및 기타 마케팅 자료 작성을 지원하는 데 사용된다.[46]
  • 의료: 드렉셀 대학교 연구에 따르면 GPT-3 기반 시스템을 사용하여 알츠하이머병의 초기 징후를 선별할 수 있다.[47][48]


GPT-3는 "인간 평가자가 사람이 작성한 기사와 구별하기 어려운 뉴스 기사를 생성"할 수 있기 때문에,[11] "언어 모델의 유익한 응용 프로그램과 유해한 응용 프로그램 모두를 발전시킬 잠재력"을 가지고 있다.

6. 한계 및 윤리적 문제

GPT-3는 편향되거나 유해한 콘텐츠를 생성할 수 있다는 한계가 있다.[16] 워싱턴 대학교의 한 연구에 따르면 GPT-3는 GPT-2 및 CTRL과 같은 유사한 자연어 처리 모델과 비슷한 수준의 유해성을 가진 유해한 언어를 생성했다.[16] OpenAI는 GPT-3가 생성하는 유해한 언어의 양을 줄이기 위해 여러 전략을 구현했지만, 위키백과 데이터로만 학습된 언어 모델인 CTRL Wiki에 비해 더 많은 유해한 언어를 생성하고 유해성이 더 높았다.[16]

GPT-3가 생성한 콘텐츠의 진위 여부를 판단하기 어려울 수 있다. 초기 실험에서 80명의 미국 피험자에게 짧은 기사가 사람이 작성한 것인지 GPT-3가 작성한 것인지 판단하도록 요청했을 때, 참가자들은 52%의 정확도로 정답을 맞혔는데, 이는 무작위 추측보다 약간 나은 수준이다.

GPT-3를 악용하여 가짜뉴스, 스팸, 피싱 등에 사용할 수 있다는 우려도 있다. 연구원들은 GPT-3의 유해한 영향으로 "가짜 정보, 스팸, 피싱, 법적 및 정부 절차의 남용, 사기성 학술 에세이 작성 및 사회 공학적 가짜 신분 사용" 등을 자세히 설명하고, 위험 완화 연구를 촉구했다.

GPT-3와 같은 대규모 언어 모델은 모델 훈련 및 저장에 따른 환경적 영향에 대해 비판받고 있다.[64] 또한, 자동화된 글쓰기 기술의 증가는 학문적 진실성에 대한 우려를 높이고, 대학과 학교가 표절과 같은 학문적 비행을 어떻게 평가할 것인지에 대한 중요성을 높였다.[65]

6. 1. 비판

오픈AI(OpenAI)는 초기에는 비영리 단체로 설립되었으나,[61] 이후 영리 회사로 전환하면서 모델 공개 정책에 대한 비판을 받았다.[63] 2019년에는 GPT-3의 이전 모델을 공개하지 않아 기존의 오픈소스 기준에서 벗어났는데, 이는 해당 모델이 가짜뉴스(허위 보도)를 퍼뜨릴 수 있다는 우려 때문이었다.[62] 결국 오픈AI는 원래 모델 크기의 8%에 해당하는 GPT-2 버전을 공개했다.[62] 2020년, 마이크로소프트는 오픈AI에 수십억 달러를 투자한 후 마이크로소프트 제품 및 서비스에 대한 GPT-3의 독점 라이선스를 확보했다고 발표했다. 이 계약에 따라 오픈AI는 사용자가 GPT-3에 텍스트를 보내 모델의 출력을 받을 수 있는 공개 API를 제공할 수 있지만, GPT-3의 소스 코드에 접근할 수 있는 것은 마이크로소프트뿐이다.[4]

GPT-3의 훈련 데이터에 저작권이 있는 자료가 포함되어 있다는 점도 문제점으로 지적된다. 오픈AI의 GPT 시리즈는 커먼 크롤(Common Crawl) 데이터셋[67]에서 데이터를 사용하여 구축되었는데, 이는 12년 동안 6천만 개의 도메인에서 수집된 저작권이 있는 기사, 인터넷 게시물, 웹 페이지 및 서적의 집합체이다. ''테크크런치(TechCrunch)''는 이 훈련 데이터에 BBC, ''뉴욕 타임즈(The New York Times)'', 레딧(Reddit), 온라인 도서의 전체 텍스트 등 저작권이 있는 자료가 포함되어 있다고 보도했다.[68] 오픈AI는 미국 특허청(USPTO)의 인공지능 혁신에 대한 지적 재산권 보호에 대한 의견 요청에 대한 답변에서 "현행법에 따라 [GPT 모델과 같은] AI 시스템을 훈련하는 것은 공정 이용에 해당한다"고 주장했지만, "해당 사례법이 부족함을 감안할 때, 오픈AI 및 우리와 같은 다른 AI 개발자는 상당한 법적 불확실성과 규정 준수 비용에 직면해 있다"고 밝혔다.[69]

GPT-3와 같은 대규모 언어 모델의 환경적 영향에 대한 우려도 제기되고 있다. 2021년 팀닛 게브루(Timnit Gebru)와 에밀리 M. 벤더(Emily M. Bender)가 공동 저술한 논문에서 모델 훈련 및 저장에 따른 환경적 영향에 대해 자세히 설명하면서 구글의 일부 AI 윤리 연구원들로부터 비판을 받았다.[64]

참조

[1] 논문 Attention is All you Need https://proceedings.[...] Curran Associates, Inc. 2017
[2] arXiv Neural Machine Translation by Jointly Learning to Align and Translate 2014-09-01
[3] 웹사이트 Improving Language Understanding by Generative Pre-Training https://cdn.openai.c[...] 2018-06-11
[4] 잡지 OpenAI is giving Microsoft exclusive access to its GPT-3 language model https://www.technolo[...] 2020-09-23
[5] 뉴스 An understanding of AI's limitations is starting to sink in https://www.economis[...] 2020-06-11
[6] arXiv Attention Is All You Need 2017-06-12
[7] 웹사이트 Natural Language Processing https://www.thomsonr[...]
[8] 웹사이트 Archived copy https://cdn.openai.c[...]
[9] 잡지 Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG) https://www.wired.co[...] 2020-02-13
[10] 웹사이트 The College Essay Is Dead https://www.theatlan[...] 2022-12-06
[11] 잡지 OpenAI Releases GPT-3, The Largest Model So Far https://analyticsind[...] 2020-06-03
[12] 웹사이트 Language Models are Unsupervised Multitask Learners https://d4mucfpksywv[...]
[13] 뉴스 Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab https://www.cnbc.com[...] 2020-07-23
[14] 웹사이트 OpenAI's gigantic GPT-3 hints at the limits of language models for AI https://www.zdnet.co[...] 2020-06-01
[15] 웹사이트 OpenAI's GPT-3 Language Model: A Technical Overview https://lambdalabs.c[...] 2020-06-03
[16] 논문 REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models Association for Computational Linguistics 2020-11-16
[17] 웹사이트 OpenAI API https://openai.com/b[...] 2020-06-11
[18] 웹사이트 OpenAI makes an all-purpose API for its text-based AI capabilities https://techcrunch.c[...] 2020-06-11
[19] 웹사이트 GPT-3: An AI that's eerily good at writing almost anything https://arr.am/2020/[...] 2020-07-09
[20] 웹사이트 OpenAI's API Now Available with No Waitlist https://openai.com/b[...] 2021-11-18
[21] 웹사이트 OpenAI API https://beta.openai.[...]
[22] 웹사이트 Aligning Language Models to Follow Instructions https://openai.com/b[...] 2022-01-27
[23] 웹사이트 We Asked GPT-3 to Write an Academic Paper about Itself – Then We Tried to Get It Published https://www.scientif[...] 2022-06-30
[24] 웹사이트 Can GPT-3 write an academic paper on itself, with minimal human input? https://hal.archives[...] 2022-06-21
[25] 웹사이트 On the Sizes of OpenAI API Models https://blog.eleuthe[...] EleutherAI 2021-05-24
[26] 웹사이트 Model index for researchers https://archive.toda[...]
[27] 웹사이트 New GPT-3 Capabilities: Edit & Insert https://openai.com/b[...] 2022-03-15
[28] 웹사이트 OpenAI API https://platform.ope[...]
[29] 웹사이트 Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter https://twitter.com/[...]
[30] 웹사이트 ChatGPT: Optimizing Language Models for Dialogue https://openai.com/b[...] 2022-11-30
[31] 웹사이트 OpenAI API https://platform.ope[...]
[32] 웹사이트 OpenAI API https://platform.ope[...]
[33] 웹사이트 Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now. http://www.reddit.co[...] 2023-04-10
[34] 웹사이트 Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models https://platform.ope[...] 2022-03-15
[35] 웹사이트 GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users https://platform.ope[...] 2023-04-27
[36] 논문 How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment 2023-02-01
[37] 웹사이트 OpenAI Codex https://openai.com/b[...] 2021-08-10
[38] 잡지 How an AI Became My Code-Writing Genie https://www.wired.co[...] 2022-03-15
[39] 웹사이트 Microsoft announced its first customer product features powered by GPT-3 and @Azure. https://blogs.micros[...] 2021-05-25
[40] 뉴스 Microsoft has built an AI-powered autocomplete for code using GPT-3 https://www.theverge[...] 2021-05-25
[41] 웹사이트 CodexDB - SQL Processing Powered by GPT-3 https://itrummer.git[...]
[42] 뉴스 The Jessica Simulation: Love and loss in the age of A.I. https://www.sfchroni[...] 2021-07-23
[43] 뉴스 A robot wrote this entire article. Are you scared yet, human? {{!}} GPT-3 https://www.theguard[...] 2020-09-08
[44] 웹사이트 Update: Language Models and Dragon https://latitude.io/[...] 2021-12-08
[45] 뉴스 This Mystical Book Was Co-Authored by a Disturbingly Realistic AI https://www.vice.com[...] 2022-01-01
[46] 뉴스 38 Prompt Examples in 10 Different Categories {{!}} GPT-3 https://gipiti.chat/[...] 2023-02-24
[47] 뉴스 Can ChatGPT AI chatbot spot early stages of Alzheimer's? - study https://www.jpost.co[...] 2022-01-01
[48] 논문 Predicting dementia from spontaneous speech using large language models 2022-12-22
[49] 뉴스 How Do You Know a Human Wrote This? https://www.nytimes.[...] 2020-07-29
[50] 웹사이트 Philosophers On GPT-3 (updated with replies by GPT-3) http://dailynous.com[...] 2020-07-30
[51] 웹사이트 GPT-3 and General Intelligence https://dailynous.co[...] 2020-07-30
[52] 잡지 Did a Person Write This Headline, or a Machine? https://www.wired.co[...] 2020-07-22
[53] 웹사이트 Improving Language Understanding by Generative Pre-Training https://cdn.openai.c[...] 2018-06-11
[54] 웹사이트 New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel https://www.natlawre[...] 2020-07-30
[55] 웹사이트 The deepest problem with deep learning https://medium.com/@[...] 2018-12-01
[56] 잡지 GPT-3, Bloviator: OpenAI's language generator has no idea what it's talking about https://www.technolo[...] 2020-08-22
[57] 뉴스 Meet GPT-3. It Has Learned to Code (and Blog and Argue). https://www.nytimes.[...] 2020-11-24
[58] 웹사이트 Medical chatbot using OpenAI's GPT-3 told a fake patient to kill themselves https://artificialin[...] 2020-10-28
[59] AV 미디어 Chomsky on Terence McKenna, Sam Harris, GPT3, Cryptocurrencies, Kierkegaard, Neuralink, & Hofstadter https://www.youtube.[...] 2021-03-24
[60] 논문 GPT‑3: Its Nature, Scope, Limits, and Consequences 2020-11-01
[61] 뉴스 OpenAI's latest breakthrough is astonishingly powerful, but still fighting its flaws https://www.theverge[...] 2020-07-30
[62] 뉴스 Artificial Intelligence Nonprofit OpenAI Launches With Backing From Elon Musk And Sam Altman https://techcrunch.c[...] Tech Crunch 2015-12-11
[63] 뉴스 OpenAI has released the largest version yet of its fake-news-spewing AI https://www.technolo[...] MIT Technology Review 2019-08-29
[64] 뉴스 OpenAI shifts from nonprofit to 'capped-profit' to attract capital https://techcrunch.c[...] Tech Crunch 2019-03-11
[65] 학회자료 On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency 2021-03-03
[66] 웹사이트 Artificial intelligence is getting better at writing, and universities should worry about plagiarism http://theconversati[...]
[67] 논문 Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism? 2017-12-01
[68] 웹사이트 ChatGPT Statistics https://www.namepepp[...]
[69] 학회자료 Here are a few ways GPT-3 can go wrong https://techcrunch.c[...]
[70] 학회자료 Comment Regarding Request for Comments on Intellectual Property Protection for Artificial Intelligence Innovation https://www.uspto.go[...] USPTO
[71] 웹사이트 Will GPT-3 Kill Coding? https://towardsdatas[...] 2020-07-21
[72] 웹사이트 A.I. Is Mastering Language. Should We Trust What It Says? https://www.nytimes.[...] 2023-02-15
[73] 잡지 OpenAI is giving Microsoft exclusive access to its GPT-3 language model https://www.technolo[...] 2020-09-25
[74] 뉴스 An understanding of AI's limitations is starting to sink in https://www.economis[...] 2020-07-31
[75] 논문 Attention Is All You Need 2017-06-12
[76] 웹사이트 Natural Language Processing https://www.thomsonr[...] 2020-07-31
[77] 잡지 Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG) https://www.wired.co[...] 2020-07-31
[78] 웹사이트 The College Essay Is Dead https://www.theatlan[...] 2022-12-08
[79] 잡지 OpenAI Releases GPT-3, The Largest Model So Far https://analyticsind[...] 2020-07-31
[80] 웹사이트 Language Models are Unsupervised Multitask Learners https://d4mucfpksywv[...] 2019-12-04
[81] 논문 Language Models are Few-Shot Learners https://proceedings.[...] Curran Associates, Inc. 2020-12
[82] 뉴스 Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab https://www.cnbc.com[...] 2020-07-23
[83] 웹사이트 OpenAI's gigantic GPT-3 hints at the limits of language models for AI https://www.zdnet.co[...] 2020-07-31
[84] 서적
[85] 서적
[86] 서적
[87] 논문 REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models https://arxiv.org/ab[...] Association for Computational Linguistics 2021-06-02
[88] 웹사이트 OpenAI API https://openai.com/b[...] 2023-02-15
[89] 웹사이트 OpenAI makes an all-purpose API for its text-based AI capabilities https://techcrunch.c[...] 2020-07-31
[90] 웹사이트 GPT-3: An AI that's eerily good at writing almost anything https://arr.am/2020/[...] 2020-07-09
[91] 웹사이트 OpenAI's API Now Available with No Waitlist https://openai.com/b[...] 2022-11-05
[92] 웹사이트 OpenAI API https://beta.openai.[...] 2022-11-05
[93] 웹사이트 Aligning Language Models to Follow Instructions https://openai.com/b[...] 2022-11-05
[94] 논문 Language Models are Few-Shot Learners
[95] 웹사이트 We Asked GPT-3 to Write an Academic Paper about Itself—Then We Tried to Get It Published https://www.scientif[...] 2022-06-30
[96] 웹사이트 Can GPT-3 write an academic paper on itself, with minimal human input? https://hal.archives[...] 2022-06-30
[97] 웹사이트 OpenAI API https://platform.ope[...] 2023-05-06
[98] 웹사이트 GPT-4 API general availability and deprecation of older models in the Completions API https://openai.com/b[...] 2023-07-07
[99] 웹사이트 OpenAI Codex https://openai.com/b[...] 2021-08-10
[100] 잡지 How an AI Became My Code-Writing Genie https://www.wired.co[...] 2022-12-23
[101] 웹사이트 Microsoft announced its first customer product features powered by GPT-3 and @Azure. https://blogs.micros[...] 2023-02-15
[102] 뉴스 Microsoft has built an AI-powered autocomplete for code using GPT-3 https://www.theverge[...] 2021-05-25
[103] 웹사이트 CodexDB - SQL Processing Powered by GPT-3 https://itrummer.git[...] 2023-02-15
[104] 뉴스 The Jessica Simulation: Love and loss in the age of A.I. https://www.sfchroni[...] 2021-07-29
[105] 뉴스 A robot wrote this entire article. Are you scared yet, human? GPT-3 https://www.theguard[...] 2020-09-15
[106] 웹사이트 Update: Language Models and Dragon https://latitude.io/[...] 2023-02-15
[107] 뉴스 This Mystical Book Was Co-Authored by a Disturbingly Realistic AI https://www.vice.com[...] 2022-12-23
[108] 웹사이트 Writing helper Copy.ai raises $2.9M in a round led by Craft Ventures https://techcrunch.c[...] 2022-11-05
[109] 뉴스 Can AI write good novels? https://www.theverge[...] 2022-12-23
[110] 뉴스 1,2-Millionen-Dollar-Investment für ein Start-up, das KI-basierte Texte erstellt https://www.derstand[...] 2023-02-14
[111] 웹사이트 Hypotenuse AI wants to take the strain out of copywriting for e-commerce https://techcrunch.c[...] 2023-01-05
[112] 뉴스 Can ChatGPT AI chatbot spot early stages of Alzheimer's? - study https://www.jpost.co[...] 2023-02-10
[113] 논문 Predicting dementia from spontaneous speech using large language models 2022-12-22
[114] 뉴스 How Do You Know a Human Wrote This? https://www.nytimes.[...] 2020-08-04
[115] 웹사이트 Philosophers On GPT-3 (updated with replies by GPT-3) http://dailynous.com[...] 2020-07-31
[116] 웹사이트 GPT-3 and General Intelligence https://dailynous.co[...] 2020-08-04
[117] 간행물 Did a Person Write This Headline, or a Machine? https://www.wired.co[...] 2020-07-31
[118] 웹사이트 New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel https://www.natlawre[...] 2020-08-04
[119] 웹사이트 The deepest problem with deep learning https://medium.com/@[...] 2020-09-29
[120] 간행물 GPT-3, Bloviator: OpenAI's language generator has no idea what it's talking about https://www.technolo[...] 2020-08-23
[121] 뉴스 Meet GPT-3. It Has Learned to Code (and Blog and Argue). https://www.nytimes.[...] 2020-11-24
[122] 웹사이트 Medical chatbot using OpenAI's GPT-3 told a fake patient to kill themselves https://artificialin[...] 2021-01-08
[123] Youtube Chomsky on Terence McKenna, Sam Harris, GPT3, Cryptocurrencies, Kierkegaard, Neuralink, & Hofstadter https://www.youtube.[...] 2021-03-24
[124] 논문 GPT-3: Its Nature, Scope, Limits, and Consequences 2020-11-01
[125] 뉴스 OpenAI's latest breakthrough is astonishingly powerful, but still fighting its flaws https://www.theverge[...] 2022-11-09
[126] 뉴스 Artificial Intelligence Nonprofit OpenAI Launches With Backing From Elon Musk And Sam Altman https://techcrunch.c[...] Tech Crunch 2021-05-31
[127] 뉴스 OpenAI has released the largest version yet of its fake-news-spewing AI https://www.technolo[...] MIT Technology Review 2021-05-31
[128] 뉴스 OpenAI shifts from nonprofit to 'capped-profit' to attract capital https://techcrunch.c[...] Tech Crunch 2021-05-31
[129] 논문 On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency 2021-03-03
[130] 웹사이트 Artificial intelligence is getting better at writing, and universities should worry about plagiarism http://theconversati[...] 2021-11-06
[131] 논문 Using Internet based paraphrasing tools: Original work, patchwriting or facilitated plagiarism? 2017-12
[132] 논문 Here are a few ways GPT-3 can go wrong https://techcrunch.c[...]
[133] 간행물 Comment Regarding Request for Comments on Intellectual Property Protection for Artificial Intelligence Innovation https://www.uspto.go[...] USPTO
[134] 웹사이트 New GPT-3 Capabilities: Edit & Insert https://openai.com/b[...] 2023-01-13
[135] 웹사이트 Models https://beta.openai.[...] 2023-02-15
[136] Twitter Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! https://twitter.com/[...]
[137] 웹사이트 Model index for researchers https://beta.openai.[...] 2023-02-15
[138] 웹사이트 ChatGPT: Optimizing Language Models for Dialogue https://openai.com/b[...] 2023-01-13
[139] 웹사이트 Function calling and other API updates https://openai.com/b[...] 2023-06-14
[140] 웹사이트 OpenAI API https://platform.ope[...] 2023-05-06
[141] 웹사이트 OpenAI API https://platform.ope[...] 2023-05-05
[142] 논문 Language Models are Few-Shot Learners 2020-05-28
[143] 웹사이트 Improving Language Understanding by Generative Pre-Training https://cdn.openai.c[...] 2020-07-31
[144] 뉴스 Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab https://www.cnbc.com[...] 2020-07-31
[145] 웹사이트 Will GPT-3 Kill Coding? https://towardsdatas[...] 2020-08-01
[146] 잡지 OpenAI Releases GPT-3, The Largest Model So Far https://analyticsind[...] 2020-07-31
[147] 웹사이트 A.I. Is Mastering Language. Should We Trust What It Says? https://www.nytimes.[...] 2022-04-23
[148] 잡지 OpenAI is giving Microsoft exclusive access to its GPT-3 language model https://www.technolo[...] 2020-09-25


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com