맨위로가기

프롬프트 엔지니어링

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

프롬프트 엔지니어링은 대규모 언어 모델(LLM)의 성능을 극대화하기 위해 입력 프롬프트를 설계하고 최적화하는 기술이다. 사용자가 원하는 결과를 얻기 위한 지시사항, 맥락, 입력 데이터, 출력 지시자를 포함하는 프롬프트의 구성 요소를 이해하고, 2018년부터 시작된 프롬프트 엔지니어링의 역사를 거쳐 발전해왔다. 프롬프트 엔지니어링은 사용자 프롬프트와 시스템 프롬프트로 구분되며, 제로샷, 퓨샷 학습, 사고 연쇄 프롬프팅(CoT) 등 다양한 기법을 활용한다. 프롬프트 템플릿, 프롬프트 체인, 프롬프트 압축과 같은 관련 기술을 통해 프롬프트의 효율성을 높이고, 긍정적인 지시, 구체적인 정보 제공, 복잡한 작업의 하위 작업 분해 등을 통해 모델의 응답 품질과 정확도를 향상시킬 수 있다.

더 읽어볼만한 페이지

  • 비지도 학습 - 챗GPT
    챗GPT는 오픈AI가 개발한 GPT-3.5 기반의 대화형 인공지능 서비스로, 인간과 유사한 텍스트 생성, 코드 생성, 보고서 작성, 번역 등의 다양한 기능을 제공하지만, 편향된 정보 생성, 데이터 유출, 윤리 및 저작권 문제 등의 논란도 있으며, 유료 서비스를 포함한 다양한 형태로 제공되고, 지속적인 모델 개발을 통해 성능을 향상시키고 있다.
  • 비지도 학습 - 환각 (인공지능)
    인공지능 환각은 인공지능이 사실이 아닌 정보를 사실처럼 생성하는 현상으로, 대규모 언어 모델의 부정확한 정보 생성 문제를 설명하기 위해 사용되며, 데이터 불일치, 모델 오류, 훈련 데이터 부족 등이 원인으로 발생하여 다양한 완화 기술이 연구되고 있다.
  • 딥 러닝 - 질의 응답
    질의응답 시스템은 자연어 질문을 이해하고 답변을 생성하며, 질문 유형과 사용 기술에 따라 분류되고, 읽기 이해 기반 또는 사전 지식 기반으로 작동하며, 대규모 언어 모델과 다양한 아키텍처 발전에 힘입어 복잡한 질문에 대한 답변과 다양한 분야에 활용이 가능해졌다.
  • 딥 러닝 - 딥페이크
    딥페이크는 인공지능 기술을 활용하여 영상이나 이미지를 조작, 합성하여 실제와 구별하기 어렵게 만드는 기술이며, 가짜 뉴스, 명예훼손, 신원 위장 등 다양한 문제점을 야기한다.
  • 자연어 처리 - 정보 추출
    정보 추출은 비정형 또는 반구조화된 텍스트에서 구조화된 정보를 자동으로 추출하는 기술로, 자연어 처리 기술을 활용하여 개체명 인식, 관계 추출 등의 작업을 수행하며 웹의 방대한 데이터에서 유용한 정보를 얻는 데 사용된다.
  • 자연어 처리 - 단어 의미 중의성 해소
    단어 의미 중의성 해소(WSD)는 문맥 내 단어의 의미를 파악하는 계산 언어학 과제로, 다양한 접근 방식과 외부 지식 소스를 활용하여 연구되고 있으며, 다국어 및 교차 언어 WSD 등으로 발전하며 국제 경연 대회를 통해 평가된다.
프롬프트 엔지니어링
프롬프트 엔지니어링
정의생성적 인공지능 모델과 소통하는 기술
설명텍스트-이미지 모델이 이해할 수 있도록 단어를 구조화하는 과정
목표AI 모델에 원하는 결과물을 생성하도록 지시하는 것
기술
기본 프롬프트간단한 지시 (예: "낙엽에 대한 시를 써라")
개선된 프롬프트구체적인 스타일 또는 요구사항 포함 (예: "에드거 앨런 포 스타일로 낙엽에 대한 시를 써라")
제로샷 프롬프트추가적인 훈련이나 매개변수 수정 없이 작업을 수행하는 것
퓨샷 프롬프트모델이 특정 규모에 도달할 때까지 무작위 성능을 보이다가, 그 이후 성능이 향상되는 것
맥락 내 학습몇 가지 예시를 제공하여 모델이 학습하도록 유도하는 것
프롬프트의 역할모델을 초기화
모델이 응답을 생성하는 방식에 영향
모델이 정확한 정보를 제공하도록 유도
활용
텍스트 생성시, 기사, 대본 등 다양한 텍스트 생성
이미지 생성텍스트 설명을 기반으로 이미지 생성
음악 생성텍스트 설명을 기반으로 음악 생성
계약서 초안 작성 지원계약서 초안 작성에 활용
추가 정보
중요한 요소명확한 지시
구체적인 요구사항
적절한 스타일
관련 기술언어 모델
텍스트에서 이미지
생성적 인공지능
주의사항프롬프트에 따라 모델의 결과가 달라질 수 있음

2. 프롬프트 엔지니어링의 기본 개념

프롬프트는 대규모 언어 모델(LLM)으로부터 사용자가 원하는 결과를 얻기 위해 사용하는 입력이다. AI 모델에게 내리는 지시사항이나 대화 시작의 기초가 되는 것이다. 프롬프트 엔지니어링은 생성된 결과물의 품질을 높이기 위해 프롬프트 입력값들의 최적의 조합을 찾는 작업이다. 이는 자연어 지시사항을 통해 LLM의 동작을 제어하는 방법으로, 모델을 다시 훈련하거나 미세 조정하지 않고도 다양한 작업에서 원하는 출력을 얻을 수 있게 한다.

프롬프트 엔지니어링은 모델이 프롬프트로부터 일시적으로 학습하는 능력으로 정의되는 '''컨텍스트 내 학습(in-context learning)'''을 통해 더욱 향상될 수 있다. 컨텍스트 내 학습 능력은 대규모 언어 모델(large language model)의 출현 능력이다.[62] 컨텍스트 내 학습 자체는 모델 규모의 출현 특성이며, 더 큰 모델에서 작은 모델보다 다른 비율로 효과가 증가하여 후속 스케일링 법칙에서 결함이 발생한다.[63][64][16] 각 특정 작업에 대한 훈련 및 미세 조정(fine-tuning)과는 달리, 컨텍스트 내 학습 중에 학습된 내용은 일시적인 성격을 띤다. (사전)훈련 데이터 세트에 이미 존재하는 것을 제외하고, 일시적인 맥락이나 편향은 한 대화에서 다른 대화로 이어지지 않는다.[65] 트랜스포머 계층 내의 "메타 최적화"[66][67] 결과는 메타 러닝 또는 "학습하는 법을 배우는 것"의 한 형태이다.[68]

구글 CEO에 따르면, "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅은 LLM이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이라고 한다.[20]

2. 1. 기본 구성 요소

프롬프트는 대규모 언어 모델(LLM)에 주어지는 입력 텍스트로, 질문, 지시문, 문맥 정보 등을 포함하여 AI 모델의 응답 방향을 결정한다. 효과적인 프롬프트는 지시사항, 맥락, 입력 데이터, 출력 지시자 등 네 가지 주요 구성 요소로 이루어진다.[20]

구글 CEO는 "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅은 LLM이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이라고 설명한다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 추론 능력을 향상시킨다고 주장했다.[20][16][21]

예를 들어 "구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문에 대해, CoT 프롬프트는 LLM이 "구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다."와 같이 답하도록 유도할 수 있다.[16]

CoT 프롬프트는 처음에는 몇 가지 질의응답 예시를 포함하는 "소수 샷"(few-shot) 프롬프팅 기법으로 제안되었다. 그러나 구글과 도쿄대학교 연구원들에 따르면, "단계별로 생각해 봅시다"라는 문구를 추가하는 것만으로도 효과적인 "제로 샷"(zero-shot) 프롬프팅이 가능하다.[25]

2. 1. 1. 지시사항 (Instruction)

대규모 언어 모델(LLM)이 수행해야 할 구체적인 작업에 대한 설명으로, 명확하고 구체적인 행동 지침을 포함한다.[20]

2. 1. 2. 맥락 (Context)

모델이 더 나은 답변을 할 수 있도록 제공되는 배경 정보이다. 여기에는 관련된 예시나 참조 정보가 포함된다.[20] 프롬프트 엔지니어링 기술은 컨텍스트 내 학습(in-context learning)에 의해 가능해진다. 컨텍스트 내 학습 그 자체는 모델 규모의 창발적 특성이며, 즉 하류 스케일링 법칙이 「붕괴」되어[97] 대규모 모델은 소규모 모델과는 다른 속도로 그 능력을 증대시킨다.[98][99] 고유한 작업에 따른 훈련이나 파인튜닝이 영속적인 것과는 달리, 컨텍스트 내 학습에 의한 학습은 일시적이다. 일시적인 컨텍스트나 바이어스는, (사전)훈련 데이터셋에 이미 존재하는 것을 제외하고, 대화에서 대화로 이어지지 않는다.[100]

프롬프트에는 소수의 예제가 포함되는 경우가 많다(즉, "소수 샷"). 예제는 문서 검색 데이터베이스에서 자동으로 가져오거나, 벡터 데이터베이스를 사용할 수도 있다. 쿼리가 주어지면 문서 검색이 호출되어 가장 관련성이 높은 문서가 가져온다(일반적으로 먼저 쿼리와 문서를 벡터로 인코딩한 다음, 쿼리 벡터에 유클리드 노름으로 가장 가까운 벡터를 가진 문서를 찾아 추출한다). 그런 다음, LLM은 쿼리와 가져온 문서를 모두 기반으로 출력을 생성한다.[130]

2. 1. 3. 입력 데이터 (Input Data)

해결하고자 하는 문제나 질문에 대한 구체적인 데이터로, LLM이 처리해야 할 실제 내용이다.

2. 1. 4. 출력 지시자 (Output Indicator)

출력 지시자는 원하는 결과물의 형식이나 구조를 명시하며, 응답의 길이, 형식, 스타일 등을 지정한다.[20]

2. 2. 프롬프트 엔지니어링의 주요 영역

프롬프트 엔지니어링은 크게 프롬프트 디자인과 프롬프트 최적화 두 가지 주요 영역으로 나뉜다.

프롬프트 디자인은 대규모 언어 모델의 출력을 제어하기 위해 입력 텍스트를 구조화하고 작성하는 과정이다. 프롬프트 최적화는 프롬프트의 성능을 개선하고 원하는 결과를 더 효과적으로 얻기 위한 체계적인 접근 방식이다.

2. 2. 1. 프롬프트 디자인 (Prompt Design)

프롬프트 디자인(Prompt Design)은 대규모 언어 모델의 출력을 제어하기 위해 입력 텍스트를 구조화하고 작성하는 과정이다.

구글 CEO에 따르면, "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅은 대규모 언어 모델(LLMs)이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 사고 과정을 모방하는 추론 단계를 사용하여 다단계 문제에 대한 모델의 답변을 유도함으로써 추론 능력을 향상시킨다고 주장했다.[20][16][21] 구글과 아마존은 사고 연쇄 기법이 가설적으로 논리적 사고와 해결을 위한 여러 단계가 필요한 산술이나 상식 추론 질문과 같은 일부 추론 작업에서 대규모 언어 모델이 어려움을 극복할 수 있게 해준다고 발표했다.[22][23][24]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문이 주어지면, 구글은 CoT 프롬프트가 LLM이 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다고 주장한다.[16]

구글이 처음 제안했을 때는 각 CoT 프롬프트에 몇 가지 Q&A 예시가 포함되어 있었다. 이것은 "소수 샷"(few-shot) 프롬프팅 기법이었다. 그러나 구글과 도쿄대학교 연구원들에 따르면, 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도[25] 효과가 있는 것으로 증명되었는데, 이는 CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만든다. OpenAI는 이 프롬프트를 통해 사용자가 더 이상 많은 특정 CoT Q&A 예시를 만들 필요가 없으므로 더 나은 확장성을 제공한다고 주장한다.[26]

PaLM(5400억 매개변수 언어 모델)에 적용되었을 때, 구글은 CoT 프롬프팅이 모델을 크게 도왔고, 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 하여 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 주장한다.[16] 구글에 따르면, CoT 추론 데이터셋에서 모델을 미세 조정하여 이 기능을 더욱 향상시키고 더 나은 해석성을 유도할 수 있다.[27][28]

예시:[25]

:Q: {질문}

:A: 단계별로 생각해 봅시다.

2. 2. 2. 프롬프트 최적화 (Prompt Optimization)

프롬프트 최적화(Prompt Optimization)는 프롬프트의 성능을 개선하고 원하는 결과를 더 효과적으로 얻기 위한 체계적인 접근 방식이다.

구글 CEO에 따르면, "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅은 대규모 언어 모델(LLMs)이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 사고 과정을 모방하는 추론 단계를 사용하여 다단계 문제에 대한 모델의 답변을 유도함으로써 추론 능력을 향상시킨다고 주장했다.[20][16][21] 구글과 아마존은 사고 연쇄 기법이 논리적 사고와 해결을 위한 여러 단계가 필요한 산술이나 상식 추론 질문과 같은 일부 추론 작업에서 대규모 언어 모델의 어려움을 극복하는 데 도움을 줄 수 있다고 발표했다.[22][23][24]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문에 대해, 구글은 CoT 프롬프트가 LLM으로 하여금 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다고 주장한다.[16]

구글의 초기 제안에는 각 CoT 프롬프트에 몇 가지 Q&A 예시가 포함되어 있었고, 이는 "소수 샷"(few-shot) 프롬프팅 기법이었다.[16] 그러나 구글과 도쿄대학 연구원들에 따르면, 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도 효과적이며, 이는 CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만든다.[25] OpenAI는 이 프롬프트가 사용자가 더 이상 많은 특정 CoT Q&A 예시를 만들 필요가 없으므로 더 나은 확장성을 제공한다고 주장한다.[26]

PaLM(5400억 매개변수 언어 모델)에 적용했을 때, 구글은 CoT 프롬프팅이 모델 성능을 크게 향상시켜 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 하였고, 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 주장한다.[16] 구글은 CoT 추론 데이터셋에서 모델을 미세 조정하여 이 기능을 더욱 향상시키고 더 나은 해석성을 유도할 수 있다고 덧붙였다.[27][28]

예시:[25]

:Q: {질문}

:A: 단계별로 생각해 봅시다.

3. 프롬프트 엔지니어링의 역사

자연어 처리(NLP) 기술이 발전하면서 프롬프트 엔지니어링도 함께 발전했다.

2018년에는 모든 개별적인 NLP 작업들을 맥락에 대한 질의응답 문제로 풀 수 있다는 제안이 나왔다.[13] 2021년에는 12개의 NLP 작업을 수행하도록 미세 조정된 T0 모델이 개발되어 새로운 작업에서 좋은 성능을 보였다.[14] 2022년에는 2,000개 이상의 프롬프트가 공개되었고,[15] 구글 연구진에 의해 "사고 연쇄"(chain-of-thought) 프롬프팅 기법이 제안되었다.[16][17] 2023년에는 텍스트-텍스트 및 텍스트-이미지 프롬프트 데이터베이스가 공개되었다.[18][19]

3. 1. 2018년: NLP 통합 접근법의 시작

2018년, 연구자들은 기존의 모든 개별적인 NLP 작업들을 맥락에 대한 질의응답 문제로 풀 수 있다고 처음 제안했다. 또한, "감정은 무엇인가?", "이 문장을 독일어로 번역하라", "대통령은 누구인가?"와 같은 작업 관련 질문에 답하는 최초의 단일 공동 다중 작업 모델을 훈련했다.[13]

3. 2. 2021년: T0 모델의 등장

2021년, 연구자들은 12개의 NLP 작업(각 작업에는 여러 데이터 세트가 있을 수 있으므로 62개의 데이터 세트 사용)을 수행하도록 미세 조정된 사전 훈련된 생성 모델(T0)을 개발했다. 이 모델은 새로운 작업에서 좋은 성능을 보였으며, 사전 훈련 없이 단일 작업만 수행하도록 직접 훈련된 모델을 능가했다. T0는 작업을 해결하기 위해 구조화된 프롬프트를 받는다. 예를 들어, "만약 [전제]가 참이라면, [가설]도 참인가? ||| [함의]." 와 같은 프롬프트는 T0에게 함의를 풀도록 하는 프롬프트이다.[14]

3. 3. 2022년: 프롬프트 기술의 확장

2022년 2월, 약 170개의 데이터셋에 대한 2,000개 이상의 프롬프트가 공개 저장소를 통해 공유되었다.[15]

구글 연구진은 '사고의 사슬(Chain-of-Thought)' 기법을 발표했다.[16][17]

3. 4. 2023년: 멀티모달 프롬프트의 발전

2023년에는 여러 텍스트-텍스트 및 텍스트-이미지 프롬프트 데이터베이스가 공개되었다.[18][19]

4. 프롬프트의 종류

프롬프트는 크게 사용자 프롬프트와 시스템 프롬프트로 나눌 수 있다. 사용자 프롬프트는 사용자가 AI에게 특정 작업이나 질문을 지시하는 입력이며, 시스템 프롬프트는 AI의 전반적인 작동 방식과 응답 스타일을 설정하는 기본 지침이다.


  • 사용자 프롬프트: 사용자가 AI에게 무엇을 해야 할지, 어떤 질문에 답해야 할지 등을 구체적으로 지시하는 내용이다.
  • 시스템 프롬프트: AI가 어떻게 행동하고 답해야 하는지에 대한 기본적인 규칙과 설정을 담고 있다.

4. 1. 사용자 프롬프트 (User Prompt)

사용자 프롬프트는 특정 작업이나 쿼리에 대한 구체적이고 동적인 지시사항이다. 이는 각 상호작용마다 변경되는 "what"에 해당하며, 명확한 목표와 원하는 출력 형식을 포함한다. 사용자 프롬프트의 예시는 다음과 같다.

  • 데이터 분석 요청
  • 콘텐츠 생성 지시
  • 특정 질문에 대한 답변 요청

4. 2. 시스템 프롬프트 (System Prompt)

AI의 전반적인 행동과 응답 방식을 정의하는 기본 지침으로, 일관된 "how"와 "why"를 설정하는 프레임워크 역할을 한다. 여기에는 역할, 톤, 윤리적 가이드라인 등이 포함된다. 시스템 프롬프트에는 다음과 같은 지침을 포함할 수 있다.

  • 전문가적 태도 유지 지침
  • 윤리적 경계 설정
  • 브랜드 톤앤보이스 가이드라인

5. 프롬프트 엔지니어링의 발전 단계

프롬프트 엔지니어링은 모델이 프롬프트로부터 일시적으로 학습하는 '''컨텍스트 내 학습(in-context learning)'''을 통해 더욱 발전할 수 있다. 컨텍스트 내 학습은 대규모 언어 모델(large language model)의 출현 능력이다.[62] 이는 모델 규모에 따라 효과가 다르게 나타나는 특성으로, 큰 모델에서 작은 모델보다 효과가 더 크게 증가한다.[63][64][16]

컨텍스트 내 학습은 특정 작업에 대한 훈련이나 미세 조정(fine-tuning)과 달리 일시적인 성격을 가진다. 학습된 내용은 대화마다 이어지지 않는다.[65] 이는 트랜스포머 계층 내의 "메타 최적화"[66][67] 결과로, 메타 러닝 또는 "학습하는 법을 배우는 것"의 한 형태이다.[68]

2022년에는 DALL-E 2, Stable Diffusion, Midjourney와 같은 Text-to-image model|텍스트에서 이미지 모델영어이 일반에 공개되면서,[133] 프롬프트 엔지니어링은 새로운 국면을 맞이했다. 이 모델들은 텍스트 프롬프트를 입력받아 AI 아트를 생성하며, 대규모 언어 모델[134]과는 다른 프롬프트 기술을 필요로 한다.

5. 1. 1기: 기초 확립기 ( ~ 2022)

Zero-shot과 Few-shot 학습 등을 활용한 프롬프트 엔지니어링은 높은 효율성을 보였다.[20] "Let's think step by step"과 같은 단계적 사고 유도 기법이 등장하였고,[25] 대규모 언어 모델(LLMs)이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법인 Chain-of-Thought(CoT, 사고 연쇄) 추론의 기초가 확립되었다.[16][21]

구글과 아마존의 발표에 따르면, 사고 연쇄 기법은 가설적으로 논리적 사고와 해결을 위한 여러 단계가 필요한 산술이나 상식 추론 질문과 같은 일부 추론 작업에서 대규모 언어 모델이 어려움을 극복할 수 있게 해준다.[22][23][24] 예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문이 주어지면, CoT 프롬프트가 LLM이 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다고 구글은 주장한다.[16]

각 CoT 프롬프트에는 몇 가지 Q&A 예시가 포함되어 있었는데, 이는 "소수 샷"(few-shot) 프롬프팅 기법이었다. 그러나 구글과 도쿄대학교 연구원들에 따르면, 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도[25] 효과적임이 증명되었는데, 이는 CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만든다. OpenAI는 이 프롬프트를 통해 사용자가 더 이상 많은 특정 CoT Q&A 예시를 만들 필요가 없으므로 더 나은 확장성을 제공한다고 주장한다.[26]

PaLM(5400억 매개변수 언어 모델)에 적용되었을 때, 구글은 CoT 프롬프팅이 모델을 크게 도왔고, 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 하여 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 주장한다.[16] CoT 추론 데이터셋에서 모델을 미세 조정하여 이 기능을 더욱 향상시키고 더 나은 해석성을 유도할 수 있다고 구글은 덧붙였다.[27][28]

CoT(사고 과정) 예시는 LLM 자체에서 생성될 수 있다. "자동 CoT"에서,[61] 질문 라이브러리가 BERT와 같은 모델에 의해 벡터로 변환된다. 질문 벡터는 군집화된다. 각 군집의 중심점에 가장 가까운 질문이 선택된다. LLM은 각 질문에 대해 제로샷 CoT를 수행한다. 결과적으로 생성된 CoT 예시가 데이터셋에 추가된다. 새로운 질문으로 프롬프트를 받으면, 가장 가까운 질문에 대한 CoT 예시를 검색하여 프롬프트에 추가할 수 있다.

프롬프트 엔지니어링은 모델이 프롬프트로부터 일시적으로 학습하는 능력으로 정의되는 '''컨텍스트 내 학습(in-context learning)'''을 통해 더욱 향상될 수 있다. 컨텍스트 내 학습 능력은 대규모 언어 모델(large language model)의 출현 능력이다.[62] 컨텍스트 내 학습 자체는 모델 규모의 출현 특성이며, 즉, 더 큰 모델에서 작은 모델보다 다른 비율로 효과가 증가하여 후속 스케일링 법칙에서 결함이 발생한다.[63][64][16]

2022년에 DALL-E 2, Stable Diffusion, Midjourney 와 같은 텍스트-이미지 변환 모델이 일반에 공개되었다.[133]

텍스트-이미지 생성을 위한 프롬프트 엔지니어링의 예시, Fooocus 사용

5. 2. 2기: 체계화 시기 ( ~ 2023)

사고 연쇄 (CoT, Chain-of-thought) 프롬프팅은 대규모 언어 모델이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 사고 과정을 모방하는 추론 단계를 사용하여 다단계 문제에 대한 모델의 답변을 유도함으로써 추론 능력을 향상시킨다고 주장했다.[20][16][21] 구글과 아마존은 사고 연쇄 기법이 논리적 사고와 해결을 위한 여러 단계가 필요한 산술이나 상식 추론 질문과 같은 일부 추론 작업에서 대규모 언어 모델의 어려움을 극복할 수 있게 해준다고 발표했다.[22][23][24]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문에 대해, 구글은 CoT 프롬프트가 LLM으로 하여금 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다고 주장한다.[16]

구글의 초기 제안처럼,[16] 각 CoT 프롬프트에는 몇 가지 Q&A 예시가 포함되어 있었다. 이것은 "소수 샷"(few-shot) 프롬프팅 기법이었다. 그러나 구글과 도쿄대학교 연구원들에 따르면, 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도[25] 효과가 있어, CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만들었다. OpenAI는 이 프롬프트가 사용자가 더 이상 많은 특정 CoT Q&A 예시를 만들 필요가 없으므로 더 나은 확장성을 제공한다고 주장한다.[26]

PaLM(5400억 매개변수 언어 모델)에 적용되었을 때, 구글은 CoT 프롬프팅이 모델을 크게 도왔고, 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 하여 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 주장한다.[16] 구글은 CoT 추론 데이터셋에서 모델을 미세 조정하여 이 기능을 더욱 향상시키고 더 나은 해석성을 유도할 수 있다고 덧붙였다.[27][28]

예시:[25]

Q: {질문}

A: 단계별로 생각해 봅시다.

대규모 언어 모델(LLM) 자체를 사용하여 대규모 언어 모델을 위한 프롬프트를 작성할 수 있다.[56][57][58][59] ''자동 프롬프트 엔지니어링'' 알고리즘은 하나의 LLM을 사용하여 다른 LLM에 대한 프롬프트를 빔 서치한다.[60] 자동 프롬프트 엔지니어링의 과정은 다음과 같다.

  • 두 개의 LLM, 즉 대상 LLM과 프롬프팅 LLM이 있다.
  • 프롬프팅 LLM에는 예시 입력-출력 쌍이 제시되고, 지시사항에 따라 모델이 입력을 받아 출력을 생성하도록 했을 때 생성될 수 있는 지시사항을 생성하라는 요청을 받는다.
  • 생성된 각 지시사항은 대상 LLM에 프롬프트로 사용되고, 각 입력이 이어진다. 출력의 로그 확률을 계산하여 더한다. 이것이 지시사항의 점수이다.
  • 점수가 가장 높은 지시사항이 프롬프팅 LLM에 추가적인 변형을 위해 제공된다.
  • 중지 기준에 도달할 때까지 반복한 후, 점수가 가장 높은 지시사항을 출력한다.


CoT(사고 과정) 예시는 LLM 자체에서 생성될 수 있다. "자동 CoT"에서,[61] 질문 라이브러리가 BERT와 같은 모델에 의해 벡터로 변환된다. 질문 벡터는 군집화된다. 각 군집의 중심점에 가장 가까운 질문이 선택된다. LLM은 각 질문에 대해 제로샷 CoT를 수행한다. 결과적으로 생성된 CoT 예시가 데이터셋에 추가된다. 새로운 질문으로 프롬프트를 받으면, 가장 가까운 질문에 대한 CoT 예시를 검색하여 프롬프트에 추가할 수 있다.

프롬프트 엔지니어링은 모델이 프롬프트로부터 일시적으로 학습하는 능력으로 정의되는 '''컨텍스트 내 학습(in-context learning)'''을 통해 더욱 향상될 수 있다. 컨텍스트 내 학습 능력은 대규모 언어 모델(large language model)의 출현 능력이다.[62] 컨텍스트 내 학습 자체는 모델 규모의 출현 특성이며, 더 큰 모델에서 작은 모델보다 다른 비율로 효과가 증가하여 후속 스케일링 법칙에서 결함이 발생한다.[63][64][16]

각 특정 작업에 대한 훈련 및 미세 조정(fine-tuning)과는 달리, 컨텍스트 내 학습 중에 학습된 내용은 일시적인 성격을 띤다. (사전)훈련 데이터 세트에 이미 존재하는 것을 제외하고, 일시적인 맥락이나 편향은 한 대화에서 다른 대화로 이어지지 않는다.[65] 트랜스포머 계층 내의 "메타 최적화"[66][67] 결과는 메타 러닝 또는 "학습하는 법을 배우는 것"의 한 형태이다.[68]

2022년에 텍스트-이미지 모델인 DALL-E 2, 스테이블 디퓨전, 미드저니가 대중에게 공개되었다.[69] 이러한 모델은 텍스트 프롬프트를 입력으로 받아 이를 사용하여 AI 아트 이미지를 생성한다. 텍스트-이미지 모델은 일반적으로 대규모 언어 모델과 같은 방식으로 문법과 문장 구조를 이해하지 못하며,[70] 다른 종류의 프롬프트 기법이 필요하다.

텍스트-이미지 프롬프트는 일반적으로 예술 작품의 주제(예: ''밝은 주황색 양귀비'')를 설명하고, 원하는 매체(예: ''디지털 페인팅'' 또는 ''사진''), 스타일(예: ''초사실주의'' 또는 ''팝 아트''), 조명(예: ''림 라이트'' 또는 ''황혼광선''), 색상 및 질감을 포함한다.[71]

미드저니 설명서에서는 짧고 설명적인 프롬프트를 권장한다. 예를 들어 "피어나는 캘리포니아 양귀비를 많이 보여주세요. 밝고 생생한 주황색으로 만들고, 색연필로 그림을 그리세요" 와 같은 프롬프트 대신, "색연필로 그린 밝은 주황색 캘리포니아 양귀비" 와 같은 효과적인 프롬프트를 사용할 수 있다.[70]

단어 순서는 텍스트-이미지 프롬프트의 출력에 영향을 미친다. 프롬프트의 시작 부분에 가까운 단어가 더 강조될 수 있다.[1]

일부 텍스트-이미지 모델은 특정 작가의 화풍을 이름으로 모방할 수 있다. 예를 들어, "Greg Rutkowski의 스타일로"라는 구절은 Stable Diffusion 및 Midjourney 프롬프트에서 폴란드 디지털 아티스트 그렉 루트코프스키의 독특한 스타일로 이미지를 생성하는 데 사용되었다.[72]

5. 3. 3기: 원칙 기반 시기 ( ~ 현재)


  • "less is more" 원칙이 확립되어 간결하고 명확한 지시를 선호한다.
  • 복잡한 작업은 모듈화하여 처리하는 것이 강조된다.
  • 새로운 프롬프트 최적화 전략이 도입되었다.
  • * 명시적인 지시에 집중하고, 모델이 마음을 읽으려고 시도하는 것을 지양한다.
  • * 텍스트 참조를 통해 환각 현상을 줄인다.
  • * 복잡한 작업은 하위 작업으로 분할한다.
  • * 모델에게 "생각할 시간"을 제공한다.
  • * 외부 도구와의 통합을 강화한다.
  • * 체계적인 성능 테스트를 도입한다.
  • 주요 패러다임이 전환되었다.
  • * 과거의 'step by step' 접근법에서 벗어나 더 자연스러운 지시 방식을 채택한다.
  • * 불필요한 공손성이나 감정적 조작을 배제한다.
  • * 구체적이고 직접적인 지시를 선호한다.
  • * 모듈식 접근방식을 강조한다.
  • 성능 최적화를 위해 다음과 같은 사항들이 새롭게 강조되고 있다.
  • * 참조 텍스트 기반 답변 생성
  • * 외부 도구 활용 (임베딩 기반 검색, 코드 실행 등)
  • * 체계적인 테스트와 평가

대규모 언어 모델(LLM) 자체를 사용하여 대규모 언어 모델을 위한 프롬프트를 작성할 수 있다.[56][57][58][59]

''자동 프롬프트 엔지니어링'' 알고리즘은 하나의 LLM을 사용하여 다른 LLM에 대한 프롬프트를 빔 서치한다.[60]

자동 프롬프트 엔지니어링의 작동 방식은 다음과 같다.

  • 두 개의 LLM이 있다. 하나는 대상 LLM이고, 다른 하나는 프롬프팅 LLM이다.
  • 프롬프팅 LLM에는 예시 입력-출력 쌍이 제시되고, 지시사항에 따라 모델이 입력을 받아 출력을 생성하도록 했을 때 생성될 수 있는 지시사항을 생성하라는 요청을 받는다.
  • 생성된 각 지시사항은 대상 LLM에 프롬프트로 사용되고, 각 입력이 이어진다. 출력의 로그 확률을 계산하여 더한다. 이것이 지시사항의 점수이다.
  • 점수가 가장 높은 지시사항이 프롬프팅 LLM에 추가적인 변형을 위해 제공된다.
  • 중지 기준에 도달할 때까지 반복한 후, 점수가 가장 높은 지시사항을 출력한다.


CoT(사고 과정) 예시는 LLM 자체에서 생성될 수 있다. "자동 CoT"에서,[61] 질문 라이브러리가 BERT와 같은 모델에 의해 벡터로 변환된다. 질문 벡터는 군집화된다. 각 군집의 중심점에 가장 가까운 질문이 선택된다. LLM은 각 질문에 대해 제로샷 CoT를 수행한다. 결과적으로 생성된 CoT 예시가 데이터셋에 추가된다. 새로운 질문으로 프롬프트를 받으면, 가장 가까운 질문에 대한 CoT 예시를 검색하여 프롬프트에 추가할 수 있다.

프롬프트 엔지니어링은 모델이 프롬프트로부터 일시적으로 학습하는 능력으로 정의되는 '''컨텍스트 내 학습(in-context learning)'''을 통해 더욱 향상될 수 있다. 컨텍스트 내 학습 능력은 대규모 언어 모델(large language model)의 출현 능력이다.[62] 컨텍스트 내 학습 자체는 모델 규모의 출현 특성이며, 즉, 더 큰 모델에서 작은 모델보다 다른 비율로 효과가 증가하여 후속 스케일링 법칙에서 결함이 발생한다.[63][64][16]

각 특정 작업에 대한 훈련 및 미세 조정(fine-tuning)과는 달리 일시적이지 않은 것과 대조적으로, 컨텍스트 내 학습 중에 학습된 내용은 일시적인 성격을 띤다. (사전)훈련 데이터 세트에 이미 존재하는 것을 제외하고, 일시적인 맥락이나 편향은 한 대화에서 다른 대화로 이어지지 않는다.[65] 트랜스포머 계층 내의 "메타 최적화"[66][67] 결과는 메타 러닝 또는 "학습하는 법을 배우는 것"의 한 형태이다.[68]

2022년에 텍스트-이미지 모델인 DALL-E 2, 스테이블 디퓨전, 그리고 미드저니가 대중에게 공개되었다.[69] 이러한 모델은 텍스트 프롬프트를 입력으로 받아 이를 사용하여 AI 아트 이미지를 생성한다. 텍스트-이미지 모델은 일반적으로 대규모 언어 모델과 같은 방식으로 문법과 문장 구조를 이해하지 못하며,[70] 따라서 다른 종류의 프롬프트 기법이 필요하다.

텍스트-이미지 프롬프트는 일반적으로 예술 작품의 주제(예: ''밝은 주황색 양귀비'')를 설명하고, 원하는 매체(예: ''디지털 페인팅'' 또는 ''사진''), 스타일(예: ''초사실주의'' 또는 ''팝 아트''), 조명(예: ''림 라이트'' 또는 ''황혼광선''), 색상 및 질감을 포함한다.[71]

미드저니 설명서에서는 짧고 설명적인 프롬프트를 권장한다. "피어나는 캘리포니아 양귀비를 많이 보여주세요. 밝고 생생한 주황색으로 만들고, 색연필로 그림을 그리세요" 와 같은 프롬프트 대신, "색연필로 그린 밝은 주황색 캘리포니아 양귀비" 와 같은 효과적인 프롬프트를 사용할 수 있다.[70]

단어 순서는 텍스트-이미지 프롬프트의 출력에 영향을 미친다. 프롬프트의 시작 부분에 가까운 단어가 더 강조될 수 있다.[1] 일부 텍스트-이미지 모델은 특정 작가의 화풍을 이름으로 모방할 수 있다. 예를 들어, "Greg Rutkowski의 스타일로"라는 구절은 Stable Diffusion 및 Midjourney 프롬프트에서 폴란드 디지털 아티스트 그렉 루트코프스키의 독특한 스타일로 이미지를 생성하는 데 사용되었다.[72]

6. 프롬프트 엔지니어링 주요 기법

프롬프트 엔지니어링에는 다양한 기법들이 연구, 활용되고 있다. 주요 기법들은 다음과 같다.


  • 사고 연쇄 (CoT, Chain-of-Thought) 프롬프팅: 대규모 언어 모델(LLMs)이 최종 답변을 제시하기 전, 중간 단계들을 거쳐 문제를 해결하도록 유도한다.[20] 예를 들어, 사과 개수를 묻는 질문에 대해, CoT 프롬프트는 모델이 단계별 계산 과정을 거쳐 답하도록 유도한다.[16] 초기에는 여러 Q&A 예시를 포함하는 "소수 샷"(few-shot) 방식이었으나, "단계별로 생각해 봅시다"라는 문구만 추가해도 효과적인 "제로 샷"(zero-shot) 프롬프팅이 가능하다.[25]

  • 자동 CoT (Auto-CoT): BERT와 같은 모델을 이용해 질문 라이브러리에서 각 클러스터의 중심에 가장 가까운 질문을 선택하고, LLM은 각 질문에 대해 제로샷 CoT를 수행하여 CoT 예를 생성한다. 새로운 질문이 입력되면 가장 가까운 질문에 대한 CoT 예를 프롬프트에 추가한다.[132]

  • 텍스트 반전 (Textual Inversion): 텍스트-이미지 모델에서 사용되며, 일련의 예시 이미지를 바탕으로 새로운 단어 임베딩을 생성한다. 이를 통해 예시 이미지의 내용과 스타일을 표현하는 "의사 단어"(pseudo-word)를 프롬프트에 포함할 수 있다.[140]

  • 생성적 지식 프롬프팅 (Generated Knowledge Prompting): 모델이 프롬프트 완성을 위해 관련된 사실을 먼저 생성하고, 그 다음에 프롬프트를 완성하도록 하여 정확도를 높인다.[119]

  • 최소-최대 프롬프팅 (Least-to-Most Prompting): 복잡한 문제를 해결하기 위해 먼저 하위 문제 목록을 생성하고, 순서대로 해결하도록 유도한다.[120]

  • 자기일관성 기법 (Self-Consistency Technique): 여러 경로의 사고 연쇄를 수행하여 가장 많이 도달하는 결론을 선택한다. 사고 연쇄가 크게 다를 경우, 사람에게 올바른 사고 연쇄를 질문할 수 있다.[121][122]

  • 복잡성 기반 기법 (Complexity-Based Technique): 여러 개의 사고 과정을 탐색한 후, 가장 긴 사고 연쇄를 가진 경로에서 가장 많이 도출된 결론을 선택한다.[123]

  • 자기 반복 프롬프트 (Self-Refine Prompting): LLM에게 문제 해결, 비평, 다시 문제 해결을 반복하도록 하여 최종 답변의 질을 높인다.[124]

  • 사고의 나무 프롬프트 (Tree-of-Thought Prompting): 사고 연쇄를 일반화하여, 모델이 가능한 다음 단계를 생성하고, 너비 우선, 빔 등의 트리 탐색을 사용한다.[125][126]

  • 소크라테스식 프롬프트 (Socratic Prompting): 모델에게 설명과 함께 질문에 답하고, 설명의 일부를 다시 설명하도록 하여 모순을 제거하고 복잡한 추론 능력을 향상시킨다.[127]

  • 방향성 자극 프롬프트 (Directional-Stimulus Prompting): 원하는 키워드와 같은 힌트를 제공하여 언어 모델을 원하는 출력으로 유도한다.[128]

  • 자동 프롬프트 엔지니어 (Automatic Prompt Engineer): 하나의 LLM을 사용하여 다른 LLM의 프롬프트를 빔 서치하는 알고리즘이다.[131]

  • 프리픽스 튜닝 (Prefix Tuning): 경사 하강법을 사용하여 부동소수점 값의 벡터를 직접 탐색하고, 출력의 로그 확률을 극대화한다.[142]

6. 1. 구조와 명확성

대상 청중을 명시적으로 지정하고, 긍정적인 지시문을 사용하며, 프롬프트 구성 요소 간에 명확하게 구분하면 프롬프트 엔지니어링의 효과를 높일 수 있다.

체인 오브 스레드 프롬프팅은 여러 프롬프트 엔지니어링 기법 중 하나일 뿐이다. 다양한 다른 기법들이 제안되었으며, 최소 29가지의 고유한 기법이 발표되었다.[29]
체인 오브 심볼(CoS) 프롬프팅웨스트레이크 대학교, 홍콩 중문대학교, 에든버러 대학교의 연구 협력을 통해 체인 오브 심볼 프롬프팅을 체인 오브 스레드 프롬프팅과 함께 사용하면 LLM의 텍스트 공간 추론 어려움을 해결하는 데 도움이 된다고 주장했다. 다시 말해, '/' 와 같은 임의의 기호를 사용하여 LLM이 텍스트의 간격을 해석하도록 돕는 것이다. 이는 추론을 돕고 LLM의 성능을 향상시키는 것으로 알려져 있다.[30]

예시:[30]

입력:

벽돌 세트가 있습니다. 노란색 벽돌 C는 벽돌 E 위에 있습니다. 노란색 벽돌 D는 벽돌 A 위에 있습니다. 노란색 벽돌 E는 벽돌 D 위에 있습니다. 흰색 벽돌 A는 벽돌 B 위에 있습니다. 벽돌 B의 색깔은 흰색입니다. 이제 특정 벽돌을 가져와야 합니다. 벽돌은 위에서 아래로 집어야 하며, 아래 벽돌을 집으려면 위쪽 벽돌을 먼저 제거해야 합니다. 벽돌 D를 어떻게 가져올까요?

B/A/D/E/C

C/E

E/D

D

출력:

결과는 C, E, D입니다.
소수 샷 학습프롬프트에는 모델이 학습할 수 있는 몇 가지 예가 포함될 수 있다. 예를 들어, 모델에게 "'maison' house, 'chat' cat, 'chien' " (예상 응답은 'dog')을 완성하도록 요청하는 것과 같다.[31] 이러한 접근 방식을 '''소수 샷 학습'''이라고 한다.[32]

6. 2. 구체성과 정보


  • 모델에게 학습할 수 있는 몇 가지 예시를 제공한다. ('''소수 샷 학습''')[31][32]
  • 편향을 피하기 위해 명시적으로 지시한다.
  • 구체적인 출력 형식을 지정한다.[104]

6. 3. 복잡한 작업 처리

프롬프트 엔지니어링에서 복잡한 작업을 처리하기 위해 작업을 더 단순한 하위 작업으로 분해하고, 단계별 추론을 유도하며, 검증 단계를 포함하는 방법을 사용한다.

구글 CEO는 "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅이 대규모 언어 모델(LLMs)이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결하도록 돕는다고 설명한다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 추론 단계를 통해 다단계 문제에 대한 모델의 답변을 유도하여 추론 능력을 향상시킨다고 밝혔다.[20][16][21] 구글과 아마존은 사고 연쇄 기법이 논리적 사고와 여러 단계가 필요한 산술 또는 상식 추론 문제에서 대규모 언어 모델의 어려움을 극복하도록 돕는다고 발표했다.[22][23][24]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문에 대해, CoT 프롬프트는 LLM이 다음과 같이 답하도록 유도할 수 있다.[16]

"A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다."

처음에는 각 CoT 프롬프트에 몇 가지 Q&A 예시가 포함되어 "소수 샷"(few-shot) 프롬프팅 기법으로 사용되었다.[16] 그러나 구글과 도쿄대학교 연구원들은 "단계별로 생각해 봅시다"라는 문구를 추가하는 것만으로도 효과적임을 발견하여, CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만들었다.[25] OpenAI는 이를 통해 사용자가 특정 CoT Q&A 예시를 많이 만들 필요가 없어 확장성이 더 좋아졌다고 설명한다.[26]

PaLM(5400억 매개변수 언어 모델)에 CoT 프롬프팅을 적용했을 때, 구글은 모델 성능이 크게 향상되어 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 되었고, 당시 GSM8K 수학적 추론 벤치마크에서 최고 결과를 달성했다고 밝혔다.[16] 구글은 CoT 추론 데이터셋에서 모델을 미세 조정하여 이 기능을 더욱 향상시키고 더 나은 해석성을 유도할 수 있다고 덧붙였다.[27][28]

CoT 프롬프팅 외에도 다양한 프롬프트 엔지니어링 기법들이 존재한다.[29] 예를 들어, 웨스트레이크 대학교, 홍콩 중문대학교, 에든버러 대학교의 연구 협력을 통해 개발된 체인 오브 심볼(CoS) 프롬프팅은 CoT 프롬프팅과 함께 사용될 때 LLM의 텍스트 공간 추론 능력을 향상시키는 데 도움이 된다고 알려져 있다.[30]

6. 4. 기타 기법

사고 연쇄(CoT, Chain-of-thought) 프롬프팅은 대규모 언어 모델(LLMs)이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 사고 과정을 모방하는 추론 단계를 사용하여 다단계 문제에 대한 모델의 답변을 유도함으로써 추론 능력을 향상시킨다고 주장했다.[20][16][21]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문이 주어지면, CoT 프롬프트는 LLM이 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다고 구글은 주장한다.[16]

구글이 처음 제안한 것처럼,[16] 각 CoT 프롬프트에는 몇 가지 Q&A 예시가 포함되어 있었다. 이것은 "소수 샷"(few-shot) 프롬프팅 기법이었다. 그러나 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도[25] 효과적임이 증명되었는데, 이는 CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 만든다.[26]

PaLM(5400억 매개변수 언어 모델)에 적용되었을 때, CoT 프롬프팅이 모델을 크게 도왔고, 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행할 수 있게 하여 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 구글은 주장한다.[16]

이 외에도 다음과 같은 다양한 기법들이 존재한다.

  • '''체인 오브 심볼(CoS) 프롬프팅:''' LLM이 텍스트의 간격을 해석하도록 돕기 위해 ' / ' 와 같은 임의의 기호를 사용한다.[30]
  • '''생성 지식 프롬프팅:'''[33] 먼저 모델이 프롬프트를 완성하는 데 필요한 관련 사실을 생성하도록 프롬프트한 다음, 프롬프트를 완성한다.
  • '''최소-최대 프롬프팅:'''[34] 모델에게 먼저 문제의 하위 문제들을 나열하도록 한 다음, 이전 하위 문제에 대한 답변을 이용하여 후속 하위 문제들을 순차적으로 해결하도록 하는 방식이다.
  • '''자기일관성 디코딩:''' 여러 번의 사고연쇄(chain-of-thought) 전개를 수행한 다음, 모든 전개에서 가장 흔하게 도출된 결론을 선택한다.
  • '''복잡도 기반 프롬프팅:'''[37] 여러 개의 사고 과정(CoT) 전개를 수행한 후, 가장 긴 사고 과정 사슬을 가진 전개를 선택하고, 그 중에서 가장 일반적으로 도출된 결론을 선택한다.
  • '''자기 개선:'''[38] LL 모델에게 문제를 해결하도록 지시한 다음, 그 해결책을 비판하도록 지시하고, 문제, 해결책, 비판을 고려하여 다시 문제를 해결하도록 지시한다.
  • '''트리 오브 스레드 프롬프팅:'''[39] 사고 연쇄(chain-of-thought)를 일반화하여 모델이 하나 이상의 "다음 가능한 단계"를 생성하도록 프롬프트하고, 트리 탐색 방법을 사용하여 각 가능한 다음 단계에 대해 모델을 실행한다.
  • '''산파술 프롬프팅:''' 모델은 설명과 함께 질문에 답하라는 프롬프트를 받는다. 그런 다음 모델은 설명의 일부를 설명하라는 프롬프트를 받는 식으로 진행된다. 일관성 없는 설명 트리는 제거되거나 버려진다.[41]
  • '''방향 자극 프롬프트:'''[42] 언어 모델을 원하는 출력으로 유도하기 위해 원하는 키워드와 같은 힌트나 단서를 포함한다.
  • '''프리픽스 튜닝:'''[76] 출력에 대한 로그 우도를 극대화하기 위해 경사 하강법을 사용하여 부동 소수점 값 벡터를 직접 검색한다.

7. 프롬프트 종류별 작성 전략

프롬프트 엔지니어링에서 사용자 프롬프트와 시스템 프롬프트는 각기 다른 작성 전략이 필요하다.

사용자 프롬프트는 대규모 언어 모델에게 상세한 맥락을 제공하고, 명확한 목표를 정의하며, 원하는 출력 형식을 지정하는 등 다양한 전략을 통해 작성될 수 있다. 구글 CEO는 "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅을 통해 대규모 언어 모델이 문제를 해결하기 위한 중간 단계를 거치도록 유도할 수 있다고 언급했다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 추론 능력을 향상시킨다고 주장했다.[20][16][21] 예를 들어 사과의 개수를 묻는 질문에 대해, CoT 프롬프트는 단계별 계산을 통해 답을 유도할 수 있다.[16] "단계별로 생각해 봅시다"라는 문구를 추가하는 것만으로도 효과를 볼 수 있어, "제로 샷"(zero-shot) 프롬프팅 기법으로 활용 가능하다.[25]

시스템 프롬프트는 AI의 역할을 명확히 하고, 비즈니스 환경 및 전문성 수준을 설정하며, 커뮤니케이션 가이드라인과 윤리적 규정을 준수하도록 작성되어야 한다.

7. 1. 유저 프롬프트 작성 전략

사용자는 프롬프트 작성 시 다음과 같은 전략을 활용할 수 있다.

  • 상세한 맥락 제공: 대규모 언어 모델(LLMs)에게 상세한 맥락을 제공한다.
  • 명확한 목표 정의: 프롬프트의 목표를 명확하게 설정한다.
  • 원하는 출력 형식 지정: 모델이 생성해야 할 출력 형식을 구체적으로 지정한다.
  • 작업 분해: 복잡한 작업은 모델이 처리하기 쉽도록 작은 단위로 나눈다.
  • 단계별 지침 제공: 각 단계를 명확하게 설명하는 지침을 제공한다.
  • 우선순위 지정 요청: 필요한 경우 작업의 우선순위를 지정하도록 요청한다.
  • 데이터 및 예시 포함: 모델이 참고할 수 있는 관련 데이터나 예시를 프롬프트에 포함한다.
  • 제약사항 명시: 출력에 필요한 제약사항을 명확하게 명시한다.
  • 중요 지표 및 KPI 지정: 중요한 지표나 핵심 성과 지표(KPI)를 지정한다.


구글 CEO에 따르면, "사고 연쇄"(CoT, Chain-of-thought) 프롬프팅은 대규모 언어 모델이 최종 답을 제시하기 전에 일련의 중간 단계를 거쳐 문제를 해결할 수 있게 해주는 기법이다.[20] 2022년 구글은 사고 연쇄 프롬프팅이 사고 과정을 모방하는 추론 단계를 사용하여 다단계 문제에 대한 모델의 답변을 유도함으로써 추론 능력을 향상시킨다고 주장했다.[20][16][21]

예를 들어, "Q: 구내식당에 사과가 23개 있었습니다. 점심으로 20개를 사용하고 6개를 더 샀다면, 지금 사과는 몇 개입니까?"라는 질문이 주어지면, CoT 프롬프트는 LLM이 "A: 구내식당에는 원래 사과가 23개 있었습니다. 점심으로 20개를 사용했습니다. 따라서 23 - 20 = 3개가 남았습니다. 6개를 더 샀으므로 3 + 6 = 9개가 있습니다. 답은 9입니다." 와 같이 답하도록 유도할 수 있다.[16]

구글과 도쿄대학교 연구원들에 따르면, 단순히 "단계별로 생각해 봅시다"라는 단어를 추가하는 것만으로도[25] 효과가 있어, CoT를 "제로 샷"(zero-shot) 프롬프팅 기법으로 활용할 수 있다.

PaLM(5400억 매개변수 언어 모델)에 CoT 프롬프팅을 적용했을 때, 구글은 모델 성능이 크게 향상되었고, 여러 작업에서 특정 작업에 미세 조정된 모델과 비슷한 수준으로 수행하여 당시 GSM8K 수학적 추론 벤치마크에서 최첨단 결과를 달성했다고 주장한다.[16]

7. 2. 시스템 프롬프트 작성 전략

프롬프트 엔지니어링에서 시스템 프롬프트 작성 전략은 다음과 같다.

  • 역할과 맥락 설정: AI의 역할을 명확하게 정의하고, 비즈니스 환경과 맥락을 제공하며, 전문성 수준을 설정한다.
  • 커뮤니케이션 가이드라인: 톤과 스타일을 정의하고, 전문용어 사용 지침을 마련하며, 브랜드 일관성을 유지한다.
  • 윤리와 규정 준수: 법적/윤리적 가이드라인을 설정하고, 데이터 처리 프로토콜을 마련하며, 민감 정보 취급 지침을 설정한다.

8. 프롬프트 엔지니어링과 관련 기술

프롬프트 엔지니어링(Prompt Engineering)과 프롬프트 템플릿은 모두 대규모 언어 모델(Large Language Models, LLMs)을 효과적으로 활용하기 위한 방법이다. 프롬프트 엔지니어링이 전체적인 설계 방법론이라면, 프롬프트 템플릿은 이를 실현하기 위한 구체적인 구현 도구로 볼 수 있다.

프롬프트 엔지니어링은 AI 언어 모델에서 원하는 출력을 얻기 위해 입력(프롬프트)을 최적화하는 과정이다.

프롬프트 엔지니어링 기술은 컨텍스트 내 학습(in-context learning)에 의해 가능해진다. 컨텍스트 내 학습은 모델 규모의 창발적 특성이며, 대규모 모델은 소규모 모델과는 다른 속도로 그 능력을 증대시킨다.[97][98][99] 고유한 작업에 따른 훈련이나 파인튜닝이 영속적인 것과는 달리, 컨텍스트 내 학습에 의한 학습은 일시적이다.[100] 트랜스포머 계층 내의 「메사 최적화(mesa-optimization)」[101][102]의 이러한 결과는, Meta-learning|메타러닝영어 또는 「학습하는 학습(learning to learn)」의 한 형태이다.[103]

8. 1. 프롬프트 템플릿 (Prompt Template)

프롬프트 템플릿은 프롬프트 엔지니어링을 실현하기 위한 구체적인 도구이다. 프롬프트 엔지니어링이 대규모 언어 모델(LLMs)에서 원하는 출력을 얻기 위해 입력(프롬프트)을 최적화하는 과정이라면, 프롬프트 템플릿은 이 과정에서 재사용 가능하고 구조화된 프롬프트를 생성하기 위한 프레임워크 역할을 한다.

  • 프롬프트 템플릿은 프롬프트 엔지니어링에서 도출된 최적의 프롬프트 구조를 재사용 가능한 형태로 표준화한다.
  • 템플릿을 통해 엔지니어링된 프롬프트의 재현성과 일관성을 확보한다.
  • 프롬프트 엔지니어링의 결과물을 템플릿화하여 반복 작업을 최소화하고, 최적화된 프롬프트 패턴의 재사용을 통해 개발 효율성을 높인다.


프롬프트 엔지니어링 기술은 컨텍스트 내 학습(in-context learning)에 의해 가능해진다. 컨텍스트 내 학습은 모델 규모의 창발적 특성이며, 대규모 모델은 소규모 모델과는 다른 속도로 그 능력을 증대시킨다.[97][98][99] 고유한 작업에 따른 훈련이나 파인튜닝이 영속적인 것과는 달리, 컨텍스트 내 학습에 의한 학습은 일시적이다.[100]

8. 1. 1. LangChain 기반 프롬프트 템플릿

프롬프트는 모델에 대한 입력을 의미하며, 프롬프트 템플릿은 고정된 부분과 가변적인 부분으로 구성된 프롬프트 구조를 가지고 있다. 이는 사용자가 매번 전체 프롬프트를 작성하지 않고 필요한 부분만 입력하도록 돕는 것을 목적으로 한다.

프롬프트 템플릿에는 다음과 같은 종류가 있다.

  • 기본 프롬프트 템플릿: 일반적인 GPT 모델용
  • 챗 프롬프트 템플릿: 챗봇 형태의 대화형 모델용
  • 시스템 메시지 프롬프트
  • AI 메시지 프롬프트
  • 휴먼 메시지 프롬프트


딥 러닝 모델이 결과물을 출력할 때 예시를 미리 제시하여 원하는 방향으로 결과를 유도할 수 있다. 이는 특수하거나 구조화된 답변이 필요할 때 유용하다.

동적으로 Few-shot 학습을 수행할 수도 있다. 사용자 입력에 따라 적절한 예시를 선택하는 방식이다.

  • SemanticSimilarityExampleSelector: 입력과 가장 유사한 예시 선택


이를 통해 불필요한 예시를 제외하여 프롬프트 길이를 최적화할 수 있다.

출력된 형태를 원하는 포맷으로 고정하는 기능도 제공된다.

  • 리스트, JSON 등 다양한 형태로 변환 가능
  • 콤마로 구분된 리스트 형태로 출력 변환
  • 기본 instruction 포함
  • 서비스 개발 시 데이터 처리 용이


이를 위해 LangChain과 OpenAI 라이브러리 설치, API 키 설정, 모델 설정(예: GPT-3 Davinci-003, temperature=0 등)이 필요하다.

8. 2. 프롬프트 체인 (Prompt Chain)

프롬프트 체인은 하나의 복잡한 작업을 여러 개의 작은 단계로 분해하여 처리하는 프롬프팅 기법이다.[1] 각 단계의 출력이 다음 단계의 입력으로 연결되는 연쇄적 구조를 가지고 있다.[1] 대규모 프롬프트 대신 작은 단위의 프롬프트들을 연결하여 더 나은 결과를 도출한다.[1]

9. 기타

대규모 언어 모델(LLM)에게 공손하게 요청하는 것의 효과에 대한 연구가 진행된 바 있으나, 이와 관련해서는 아직 명확하게 밝혀진 바가 없으므로 추가적인 연구와 논의가 필요하다.

9. 1. LLM에게 공손하게 부탁하는 것의 효과

2024년 2월의 "Should we respect LLMs" 연구에 따르면, 프롬프트의 "공손함의 레벨"은 대규모 언어 모델(LLM)의 성능에 영향을 미치는 것으로 나타났다.[1] 영어, 중국어, 일본어 등 여러 언어에서 공손한 표현이 영향을 미쳤으며, 무례한 프롬프트는 낮은 성능을 초래할 수 있다.[1]

그러나 지나치게 예의 바른 언어가 반드시 더 나은 결과를 보장하는 것은 아니며, 성능 향상이 일관적이지 않다.[1] 이 연구에서는 성능 향상의 주된 원인이 공손함 자체가 아니라, 공손한 표현이 대화에서 '요청사항을 더 명확하게 구분'하고 대화의 '흐름 전환을 표시'하는 역할을 하기 때문이라고 설명한다.[1]

예를 들어, "부탁드립니다"와 같은 표현은 요청의 시작을 명확히 표시하고, "감사합니다. 다음으로는..."과 같은 표현은 주제 전환점을 나타낸다.[1]

10. 효과성

체계적인 프롬프트 엔지니어링은 모델의 응답 품질과 정확도를 크게 향상시킬 수 있다. 연구 결과에 따르면 GPT-4에서 응답 품질이 평균 57.7%, 정확도가 36.4% 향상되었다. 특히 모델의 규모가 클수록 프롬프트 엔지니어링의 효과가 더 크게 나타나며, LLaMA-2-7B에서 GPT-4로 갈수록 성능 향상 폭이 20% 이상 증가하는 것으로 나타났다. 효과적인 프롬프트 엔지니어링은 모델의 출력 품질을 크게 향상시키고, 특정 작업에 대한 성능을 최적화하는 데 핵심적인 역할을 한다.

참조

[1] 웹사이트 Stable Diffusion Prompt Book https://cdn.openart.[...] 2022-10-28
[2] 웹사이트 A developer's guide to prompt engineering and LLMs https://github.blog/[...] 2023-07-17
[3] 웹사이트 Language Models are Unsupervised Multitask Learners https://cdn.openai.c[...] OpenAI
[4] 웹사이트 Introducing ChatGPT https://openai.com/b[...] 2022-11-30
[5] 웹사이트 How to write an effective GPT-3 or GPT-4 prompt https://zapier.com/b[...] 2023-08-03
[6] 웹사이트 The ultimate guide to prompt engineering your GPT-3.5-Turbo model https://masterofcode[...] 2023-06-16
[7] 간행물 Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics 2024
[8] 웹사이트 How to Prime and Prompt ChatGPT for More Reliable Contract Drafting Support https://contractnerd[...] 2023-05-31
[9] 웹사이트 GPT Best Practices https://platform.ope[...] OpenAI
[10] 웹사이트 This horse-riding astronaut is a milestone on AI's long road towards understanding https://www.technolo[...] 2022-04-06
[11] 웹사이트 Meta open sources an AI-powered music generator https://techcrunch.c[...] TechCrunch 2023-06-12
[12] 웹사이트 How to Write AI Photoshoot Prompts: A Guide for Better Product Photos https://claid.ai/blo[...] 2023-06-12
[13] 논문 The Natural Language Decathlon: Multitask Learning as Question Answering
[14] 논문 Multitask Prompted Training Enables Zero-Shot Task Generalization
[15] 논문 PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts
[16] 간행물 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models https://proceedings.[...] 2022-10-31
[17] 웹사이트 Language Models Perform Reasoning via Chain of Thought https://ai.googleblo[...] 2022-05-11
[18] 웹사이트 How to Turn Your Chatbot Into a Life Coach https://www.nytimes.[...] 2023-06-23
[19] 뉴스 Get the Best From ChatGPT With These Golden Prompts https://www.nytimes.[...] 2023-05-25
[20] 웹사이트 Google's Latest AI Model Can Be Taught How to Solve Problems https://www.cnet.com[...] 2022-03-11
[21] 웹사이트 Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance https://ai.googleblo[...] 2022-04-04
[22] 웹사이트 Harnessing the power of GPT-3 in scientific research https://venturebeat.[...] 2023-02-08
[23] 웹사이트 Google's Chain of Thought Prompting Can Boost Today's Best Algorithms https://www.searchen[...] 2022-05-13
[24] 웹사이트 Amazon's Alexa scientists demonstrate bigger AI isn't always better https://www.zdnet.co[...]
[25] 논문 Large Language Models are Zero-Shot Reasoners
[26] 웹사이트 LLMs have not learned our language — we're trying to learn theirs https://venturebeat.[...] 2022-08-30
[27] 논문 Scaling Instruction-Finetuned Language Models 2022
[28] 웹사이트 Better Language Models Without Massive Compute https://ai.googleblo[...] 2022-11-29
[29] 논문 A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications 2024-02-05
[30] 논문 Chain-of-Symbol Prompting Elicits Planning in Large Language Models 2023-10-03
[31] 논문 What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
[32] 간행물 Language models are few-shot learners
[33] 간행물 Generated Knowledge Prompting for Commonsense Reasoning https://aclanthology[...] Association for Computational Linguistics 2022-05
[34] 논문 Least-to-Most Prompting Enables Complex Reasoning in Large Language Models
[36] arXiv Active Prompting with Chain-of-Thought for Large Language Models 2023-02-01
[37] arXiv Complexity-Based Prompting for Multi-Step Reasoning 2022-10-01
[38] arXiv Self-Refine: Iterative Refinement with Self-Feedback 2023-03-01
[39] arXiv Large Language Model Guided Tree-of-Thought 2023-05-15
[40] arXiv Tree of Thoughts: Deliberate Problem Solving with Large Language Models 2023-05-17
[41] arXiv Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations
[42] arXiv Guiding Large Language Models via Directional Stimulus Prompting
[43] arXiv GPT-4 Technical Report 2023-03-27
[44] 웹사이트 Latest Prompt Engineering Technique Aims To Get Certainty And Uncertainty Of Generative AI Directly On The Table And Out In The Open https://www.forbes.c[...] 2023-08-18
[45] arXiv Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting 2024-07-01
[46] 논문 Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics 2024
[47] 논문 The language of prompting: What linguistic properties make a prompt successful? https://aclanthology[...] Association for Computational Linguistics 2023
[48] 논문 Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) Association for Computational Linguistics June 2024
[49] arXiv Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting 2024-07-01
[50] arXiv Efficient multi-prompt evaluation of LLMs 2024-10-30
[51] 웹사이트 How Each Index Works - LlamaIndex 🦙 v0.10.17 https://docs.llamain[...]
[52] 논문 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks https://proceedings.[...] Curran Associates, Inc. 2020
[53] 웹사이트 GraphRAG: Unlocking LLM discovery on narrative private data https://www.microsof[...] 2024
[54] arXiv From Local to Global: A Graph RAG Approach to Query-Focused Summarization 2024
[55] arXiv A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases 2023
[56] arXiv Explaining Patterns in Data with Language Models via Interpretable Autoprompting 2022-10-04
[57] 웹사이트 Promptbreeder: Self-Referential Self-Improvement via Prompt Evolution https://openreview.n[...] OpenReview 2024-02-11
[58] 논문 Automatic Prompt Optimization with "Gradient Descent" and Beam Search 2023
[59] 논문 Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers 2023
[60] arXiv Large Language Models Are Human-Level Prompt Engineers 2022-11-01
[61] arXiv Automatic Chain of Thought Prompting in Large Language Models 2022-10-01
[62] arXiv Emergent Abilities of Large Language Models 2022-08-31
[63] 논문 Broken Neural Scaling Laws arxiv:2210.14891 2023
[64] arXiv Emergent Abilities of Large Language Models 2022-08-31
[65] 웹사이트 How AI Knows Things No One Told It https://www.scientif[...]
[66] arXiv Transformers learn in-context by gradient descent 2022
[67] 웹사이트 Mesa-Optimization https://www.alignmen[...] 2019-05-31
[68] arXiv What Can Transformers Learn In-Context? A Case Study of Simple Function Classes 2022
[69] 웹사이트 Dall-E2 VS Stable Diffusion: Same Prompt, Different Results https://medium.com/m[...] 2022-08-25
[70] 웹사이트 Prompts https://docs.midjour[...]
[71] 웹사이트 Stable Diffusion prompt: a definitive guide https://stable-diffu[...] 2023-08-14
[72] 웹사이트 This Artist Is Dominating AI-Generated Art and He's Not Happy About It https://www.technolo[...] 2023-08-14
[73] 웹사이트 Stable Diffusion 2.0 and the Importance of Negative Prompts for Good Results https://minimaxir.co[...] 2023-08-14
[74] 논문 An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
[75] 논문 Segment Anything 2023-04-01
[76] 서적 Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)
[77] 서적 Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing
[78] 논문 How Does In-Context Learning Help Prompt Tuning?
[79] 서적 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) Association for Computational Linguistics 2020-11-00
[80] 웹사이트 Prompt injection attacks against GPT-3 http://simonwillison[...] 2022-09-12
[81] 웹사이트 What's Old Is New Again: GPT-3 Prompt Injection Attack Affects AI https://hackaday.com[...] 2022-09-17
[82] 웹사이트 GPT-3 'prompt injection' attack causes bot bad manners https://www.theregis[...] 2022-09-19
[83] 웹사이트 Stable Diffusion Prompt Book https://cdn.openart.[...] 2023-08-07
[84] 웹사이트 A developer's guide to prompt engineering and LLMs - The GitHub Blog https://github.blog/[...] 2023-08-20
[85] 논문 Emergent Abilities of Large Language Models 2022-08-31
[86] 웹사이트 Language Models are Unsupervised Multitask Learners https://cdn.openai.c[...] OpenAI blog 2023-08-20
[87] 웹사이트 Introducing ChatGPT https://openai.com/b[...] 2022-11-30
[88] 웹사이트 How to write an effective GPT-3 or GPT-4 prompt https://zapier.com/b[...] 2023-08-03
[89] 웹사이트 The ultimate guide to prompt engineering your GPT-3.5-Turbo model https://masterofcode[...] 2023-06-16
[90] 웹사이트 How to Prime and Prompt ChatGPT for More Reliable Contract Drafting Support https://contractnerd[...] 2023-07-24
[91] 웹사이트 GPT Best Practices https://platform.ope[...] OpenAI 2023-08-16
[92] 논문 What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
[93] 간행물 Language models are few-shot learners
[94] 웹사이트 This horse-riding astronaut is a milestone on AI’s long road towards understanding https://www.technolo[...] 2023-08-14
[95] 웹사이트 Meta open sources an AI-powered music generator https://techcrunch.c[...] TechCrunch 2023-06-12
[96] 웹사이트 How to Write AI Photoshoot Prompts: A Guide for Better Product Photos https://claid.ai/blo[...] 2023-06-12
[97] 논문 Broken Neural Scaling Laws
[98] 논문 Emergent Abilities of Large Language Models 2022-08-31
[99] 논문 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 2022-10-31
[100] 웹사이트 How AI Knows Things No One Told It https://www.scientif[...]
[101] 논문 Transformers learn in-context by gradient descent
[102] 웹사이트 Mesa-Optimization https://www.alignmen[...]
[103] 논문 What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
[104] 논문 Multitask Prompted Training Enables Zero-Shot Task Generalization
[105] 논문 PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts
[106] 웹사이트 Language Models Perform Reasoning via Chain of Thought https://ai.googleblo[...] 2022-05-11
[107] 웹사이트 How to Turn Your Chatbot Into a Life Coach https://www.nytimes.[...] 2023-06-23
[108] 뉴스 Get the Best From ChatGPT With These Golden Prompts https://www.nytimes.[...] 2023-05-25
[109] 웹사이트 Google's Latest AI Model Can Be Taught How to Solve Problems https://www.cnet.com[...]
[110] 웹사이트 Google's Latest AI Model Can Be Taught How to Solve Problems https://www.cnet.com[...]
[111] 웹사이트 Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance https://ai.googleblo[...] 2022-04-04
[112] 웹사이트 Harnessing the power of GPT-3 in scientific research https://venturebeat.[...] 2023-02-08
[113] 웹사이트 Google's Chain of Thought Prompting Can Boost Today's Best Algorithms https://www.searchen[...] 2022-05-13
[114] 웹사이트 Amazon's Alexa scientists demonstrate bigger AI isn't always better https://www.zdnet.co[...]
[115] 논문 Large Language Models are Zero-Shot Reasoners
[116] 웹사이트 LLMs have not learned our language — we're trying to learn theirs https://venturebeat.[...] 2022-08-30
[117] 논문 Scaling Instruction-Finetuned Language Models 2022
[118] 웹사이트 Better Language Models Without Massive Compute https://ai.googleblo[...] 2022-11-29
[119] 간행물 Generated Knowledge Prompting for Commonsense Reasoning https://aclanthology[...] Association for Computational Linguistics 2022-05-01
[120] 논문 Least-to-Most Prompting Enables Complex Reasoning in Large Language Models https://ui.adsabs.ha[...] 2022-05-01
[121] 논문 Self-Consistency Improves Chain of Thought Reasoning in Language Models 2022-03-01
[122] 논문 Active Prompting with Chain-of-Thought for Large Language Models 2023-02-01
[123] 간행물 Complexity-Based Prompting for Multi-Step Reasoning https://ui.adsabs.ha[...] 2022-10-01
[124] 간행물 Self-Refine: Iterative Refinement with Self-Feedback https://ui.adsabs.ha[...] 2023-03-01
[125] 논문 Large Language Model Guided Tree-of-Thought 2023-05-15
[126] 논문 Tree of Thoughts: Deliberate Problem Solving with Large Language Models 2023-05-17
[127] 논문 Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations
[128] 논문 Guiding Large Language Models via Directional Stimulus Prompting
[129] 논문 GPT-4 Technical Report 2023-03-27
[130] 간행물 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks https://proceedings.[...] Curran Associates, Inc. 2020-01-01
[131] 논문 Large Language Models Are Human-Level Prompt Engineers 2022-11-01
[132] 논문 Automatic Chain of Thought Prompting in Large Language Models 2022-10-01
[133] 웹사이트 Dall-E2 VS Stable Diffusion: Same Prompt, Different Results https://medium.com/m[...] 2022-08-25
[134] 웹사이트 Prompts https://docs.midjour[...]
[135] 웹사이트 Stable Diffusion prompt: a definitive guide https://stable-diffu[...] 2023-05-14
[136] 웹사이트 Prompts https://docs.midjour[...]
[137] 웹사이트 This Artist Is Dominating AI-Generated Art and He's Not Happy About It https://www.technolo[...] 2022-09-16
[138] 웹사이트 Prompts https://docs.midjour[...]
[139] 웹사이트 Stable Diffusion 2.0 and the Importance of Negative Prompts for Good Results https://minimaxir.co[...] 2022-11-28
[140] 논문 An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
[141] arXiv Segment Anything 2023-04-01
[142] 논문 Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)
[143] 논문 Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing
[144] arXiv How Does In-Context Learning Help Prompt Tuning?
[145] 논문 AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts https://aclanthology[...] Association for Computational Linguistics 2020-11-01
[146] 웹사이트 Prompt injection attacks against GPT-3 http://simonwillison[...] 2022-09-12
[147] 웹사이트 What's Old Is New Again: GPT-3 Prompt Injection Attack Affects AI https://hackaday.com[...] 2022-09-17
[148] 웹사이트 GPT-3 'prompt injection' attack causes bot bad manners https://www.theregis[...] 2022-09-19
[149] 웹사이트 Exploring Prompt Injection Attacks https://research.ncc[...] 2022-12-05
[150] 웹사이트 Prompt injection attacks against GPT-3 https://simonwilliso[...] 2022-09-12
[151] 웹사이트 Jailbreaking | Learn Prompting https://learnprompti[...]
[152] 웹사이트 Prompt Leaking | Learn Prompting https://learnprompti[...]
[153] 웹사이트 The Amateurs Jailbreaking GPT Say They're Preventing a Closed-Source AI Dystopia https://www.vice.com[...] 2023-03-22
[154] 뉴스 Exploring Prompt Injection Attacks https://research.ncc[...] 2022-12-05
[155] 뉴스 AI-powered Bing Chat loses its mind when fed Ars Technica article https://arstechnica.[...] 2023-02-14
[156] 뉴스 The clever trick that turns ChatGPT into its evil twin https://www.washingt[...] 2023-02-14
[157] 잡지 Bing's AI Is Threatening Users. That's No Laughing Matter https://time.com/625[...] 2023-02-17
[158] 웹사이트 Hackers Can Turn Bing's AI Chatbot Into a Convincing Scammer, Researchers Say https://www.vice.com[...] 2023-03-03
[159] arXiv Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection 2023-02-01
[160] 웹사이트 Can you trust ChatGPT's package recommendations? https://vulcan.io/bl[...] 2023-06-06
[161] 웹사이트 프롬프트 엔지니어링이란? - AI 프롬프트 엔지니어링 설명 - AWS https://aws.amazon.c[...] 2024-11-09


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com