맨위로가기

PaLM

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

PaLM은 5400억 개의 매개변수를 가진 구글의 고성능 대규모 언어 모델(LLM)이다. PaLM은 질의응답, 문맥 독해 등 자연어 처리 능력에서 기존 LLM이나 Meta의 LLaMA를 능가하는 성능을 확보했다. PaLM2는 100개 이상의 언어를 지원하며, 문맥 이해, 계산 능력, 논리적 사고 등이 강화되어 속담, 수수께끼 등을 이해할 수 있다. PaLM은 7,800억 개의 토큰으로 구성된 텍스트 코퍼스로 훈련되었으며, 6,144개의 칩을 사용하여 효율적인 대규모 훈련이 가능했다. PaLM 2는 구글 I/O 2023에서 발표되었으며, 구글의 여러 서비스에 도입되었다. PaLM은 구글의 대화형 AI 서비스인 Bard에 도입되었으며, 구글 클라우드 및 Gmail, 구글 검색 등 다양한 서비스에 활용되고 있다. 또한 의료 업계용 대규모 언어 모델인 MedLM의 기반이 되었다.

더 읽어볼만한 페이지

  • 대형 언어 모델 - 챗GPT
    챗GPT는 오픈AI가 개발한 GPT-3.5 기반의 대화형 인공지능 서비스로, 인간과 유사한 텍스트 생성, 코드 생성, 보고서 작성, 번역 등의 다양한 기능을 제공하지만, 편향된 정보 생성, 데이터 유출, 윤리 및 저작권 문제 등의 논란도 있으며, 유료 서비스를 포함한 다양한 형태로 제공되고, 지속적인 모델 개발을 통해 성능을 향상시키고 있다.
  • 대형 언어 모델 - GPT-3
    GPT-3는 OpenAI가 개발한 1,750억 개의 매개변수를 가진 대규모 언어 모델로, 텍스트 생성, 코드 작성, 질문 응답 등 다양한 작업을 수행할 수 있지만, 윤리적 문제점과 사회적 비판도 존재한다.
  • 구글의 소프트웨어 - 구글 어시스턴트
    구글 어시스턴트는 2016년 구글에서 개발한 인공지능 음성 비서 서비스로, 양방향 대화 지원, 다양한 기기 및 플랫폼 확장성, 인터넷 검색, 일정 관리, 홈 오토메이션 제어 등의 기능을 제공하지만 개인정보 보호 문제에 대한 비판도 존재한다.
  • 구글의 소프트웨어 - 제미니 (챗봇)
    구글이 개발한 대화형 인공지능 챗봇 제미니는 챗GPT에 대응하기 위해 개발되었으며, LaMDA에서 PaLM 2를 거쳐 자체 개발한 제미니 모델로 업그레이드되었고, 현재 구글 서비스와 통합되어 정보를 제공하지만 편향성 논란도 있다.
PaLM - [IT 관련 정보]에 관한 문서

2. 성능

PaLM은 대화에 특화된 LaMDA와 달리, 문서 생성 및 분류와 같은 능력에 뛰어난 고성능 LLM이다. 매개변수는 5400억 개로, 경쟁 모델인 GPT-3(1750억 개[18], GPT-3.5는 3550억 개[19])나 LLaMA(650억 개), LaMDA(1370억 개[20])보다 훨씬 많다[21]。

구글은 PaLM이 질의응답, 문맥 독해 등 NLP(자연어 처리) 능력이 대폭 향상되어 앞서 언급한 LLM이나 Meta가 개발한 LLaMA를 능가하는 성능을 확보했다고 주장한다[22]。 다만, 매개변수 증가로 인해 필요한 처리 능력이 증가하는 과제도 있다. LLaMA는 의도적으로 매개변수를 줄여 단일 GPU에서 작동하도록 설계되었다[23]。 GPT-3 등 LLM에 필적하는 성능을 가지고 있다는 것이 대학 및 기업의 연구를 통해 밝혀졌다[24]。

2. 1. 다국어 지원

PaLM 2는 100개 이상의 언어를 지원하여 다국어 번역이 가능하다.[22] 또한 문맥 이해, 계산 능력, 논리적 사고 등이 강화되어 속담, 수수께끼, 은유 및 관용구 등을 이해할 수 있게 되었다.[22]

2. 2. 한국어 성능

PaLM 2는 Bard에 통합되면서 한국어를 지원하게 되었고, 더욱 고도화된 논리적 사고와 문맥 파악을 통해 수수께끼 등 모호한 정보로부터 답을 생성할 수 있게 되었다.[22]

3. 훈련

PaLM은 7,800억 개의 토큰으로 구성된 고품질 텍스트 코퍼스로 사전 훈련되었다. 이 데이터 세트에는 필터링된 웹 페이지, 책, 위키백과 문서, 뉴스 기사, GitHub의 오픈 소스 저장소에서 얻은 소스 코드, 소셜 미디어 대화가 포함된다.[1][2] 이 데이터 세트는 구글의 LaMDA 모델을 훈련하는 데 사용된 데이터 세트를 기반으로 한다.[2] 데이터 세트에서 소셜 미디어 대화는 50%를 차지하며, 이는 모델의 대화 능력을 향상시킨다.[2]

3. 1. 하드웨어

PaLM 540B는 768개 호스트에 연결된 각 Pod에 3,072개의 TPU v4 칩이 있는 두 개의 TPU v4 Pod를 사용하여 훈련되었다. 이는 모델과 데이터 병렬 처리의 조합을 통해 이루어졌으며, 가장 큰 TPU 구성이었다.[2][16] 6,144개의 칩을 사용한 효율적인 대규모 훈련을 통해, 이 규모의 LLM에 대해 달성된 최고 훈련 효율성인 57.8%의 하드웨어 FLOPs 활용률을 기록했다.[17]

4. PaLM 2

구글은 2023년 5월 10일에 개최된 개발자 회의 "Google I/O 2023"에서 PaLM의 차기 버전인 PaLM 2를 발표하고, 즉시 도입을 시작했다. 구글에 따르면 이미 25개 이상의 서비스에서 도입이 시작되었다고 한다.[28]

4. 1. 오픈 소스 모델과의 경쟁

2023년 5월 8일, 구글의 내부 문서가 디스코드의 공개 서버에 유출되었다.[26] 문서에는 "OpenAI는 이미 적이 아니다", "경계해야 할 것은 오픈 소스와 Meta이며, 특히 오픈 소스 프로젝트는 경이적이어서, 우리가 1000만달러와 5,400억 개의 매개변수로 실현하고 있는 것을 그들은 100달러와 130억 개의 매개변수로 실현하고 있다."라고 언급하며, "우리가 AI 시장의 주요 멤버로 남기 위해서는 오픈 소스화가 필요하다"라고 결론 내렸다. 이 내부 문서에서는 오픈 소스라는 제3의 적에 대한 구글의 위기감이 많이 나타나 있으며, 구글의 향후 개발 방침에 영향을 줄 가능성이 있다.[27]

5. 활용

PaLM은 다양한 분야에서 활용되고 있다.

2023년 3월 14일, 구글은 개발자용 API의 일부를 공개하고[33], 자사의 클라우드 컴퓨팅 서비스인 구글 클라우드에 PaLM 등의 AI를 이용할 수 있는 생성형 AI 기능을 도입했다. 이를 통해 개발자는 보안, 개인 정보 보호 등을 확보하면서 클라우드 솔루션과의 통합도 가능해지는 등의 이점을 얻을 수 있다고 밝혔다[34]。

2023년 5월 10일, Gmail의 자동 회신 기능과 구글 검색의 새로운 기능 "SGE(Search Generative Experience)"를 발표했다. 이 두 기능은 모두 효율성 향상을 목적으로 도입되었으며, Google Workspace에서는 문서에서 프레젠테이션을 만들거나 문서 요약 등의 새로운 기능이 발표되었다. 또한 Bard는 올여름부터 Adobe Firefly와의 연동이 가능해진다[35]。

5. 1. Bard

2023년 4월 10일, 구글은 Bard의 기반 LLM을 LaMDA에서 PaLM으로 변경하는 업데이트를 배포했다. 그 결과, 계산 및 윤리적 사고가 더욱 고도화되었다.[31]

2023년 5월 10일, Google I/O에서 기본 대규모 언어 모델을 PaLM에서 PaLM2로 전환할 것을 발표하고, 배포를 시작했다. 이를 통해, 한국어와 일본어에 대응했을 뿐만 아니라, 더욱 고도화된 논리적 사고와 문맥 파악이 가능해졌으며, 수수께끼 등 모호한 정보로부터 답을 생성할 수 있게 되었다.[32]

5. 2. 구글 서비스

구글은 2023년 3월 14일, 개발자용 API의 일부를 공개하고[33], 자사의 클라우드 컴퓨팅 서비스인 구글 클라우드에 PaLM 등의 AI를 이용할 수 있는 생성형 AI 기능을 도입했다. 이를 통해 개발자는 보안, 개인 정보 보호 등을 확보하면서 클라우드 솔루션과의 통합도 가능해지는 등의 이점을 얻을 수 있다고 밝혔다[34]。

2023년 5월 10일, Gmail의 자동 회신 기능과 구글 검색의 새로운 기능 "SGE(Search Generative Experience)"를 발표했다. 이 두 기능은 모두 효율성 향상을 목적으로 도입되었으며, Google Workspace에서는 문서에서 프레젠테이션을 만들거나 문서 요약 등의 새로운 기능이 발표되었다. 또한 Bard는 올여름부터 Adobe Firefly와의 연동이 가능해진다[35]。

5. 3. MedLM

2023년 12월 13일, 구글은 PaLM 2 기반 의료 업계용 대규모 언어 모델 MedLM을 발표했다.[36]

참조

[1] 웹사이트 Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance https://ai.googleblo[...] 2023-03-17
[2] 논문 PaLM: Scaling Language Modeling with Pathways 2022
[3] 웹사이트 Google PaLM: Giant language AI can explain jokes https://the-decoder.[...] 2023-03-17
[4] 웹사이트 Google: Why Is No One Talking About PaLM https://seekingalpha[...] 2023-03-17
[5] 웹사이트 Google opens up its AI language model PaLM to challenge OpenAI and GPT-3 https://www.theverge[...] 2023-03-14
[6] 웹사이트 PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications https://developers.g[...] 2023-03-17
[7] 논문 Large Language Models Encode Clinical Knowledge 2022
[8] 웹사이트 MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor https://medicalfutur[...] 2023-01-17
[9] 웹사이트 Our latest health AI research updates https://blog.google/[...] 2023-03-14
[10] 논문 PaLM-E: An Embodied Multimodal Language Model 2023
[11] 웹사이트 PaLM-E: An embodied multimodal language model https://ai.googleblo[...] 2023-03-17
[12] 웹사이트 Google's PaLM-E is a generalist robot brain that takes commands https://arstechnica.[...] 2023-03-07
[13] 웹사이트 Google launches PaLM 2, its next-gen large language model https://techcrunch.c[...] 2023-05-10
[14] 웹사이트 Google's newest A.I. model uses nearly five times more text data for training than its predecessor https://www.cnbc.com[...] 2023-05-18
[15] 웹사이트 AudioPaLM https://google-resea[...] 2023-06-30
[16] 웹사이트 An empirical analysis of compute-optimal large language model training https://www.deepmind[...] 2023-03-17
[17] 웹사이트 Google sets the bar for AI language models with PaLM https://venturebeat.[...] 2022-04-12
[18] 웹사이트 GPT-3とは？仕組みや活用事例まで詳しく解説！ https://xrcloud.jp/b[...] 2023-04-22
[19] 웹사이트 大規模言語モデル（LLM：Large Language Model）とは？ https://atmarkit.itm[...] 2023-04-22
[20] 웹사이트 "[No.61]GoogleのAIは自我を持ち人間になった！？チャットボット「LaMDA」は「自分は感性を持ち人間として認めてほしい」と要求" https://gdep-sol.co.[...] 2023-04-22
[21] 웹사이트 グーグル、大規模言語モデル「PaLM」のAPIを発表 https://ascii.jp/ele[...] 2023-04-22
[22] 웹사이트 Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance https://ai.googleblo[...] 2023-04-22
[23] 웹사이트 Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能 https://gigazine.net[...] 2023-04-22
[24] 웹사이트 論文要約：LLaMA: Open and Efficient Foundation Language Models https://qiita.com/th[...] 2023-05-04
[25] 웹사이트 Alphabet to unveil A.I. updates at Google I/O, showing off creative writing and coding capabilities https://www.cnbc.com[...] 2023-05-09
[26] 문서 https://www.semianal[...]
[27] 웹사이트 「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出 https://gigazine.net[...] 2023-05-10
[28] 웹사이트 https://twitter.com/Google/status/1656347171556294669?s=20 https://twitter.com/[...] 2023-05-12
[29] 웹사이트 グーグルCEO、「Bard」のアップデートを予告--現状は「チューンアップした大衆車」 https://japan.cnet.c[...] 2023-04-22
[30] 뉴스 Google C.E.O. Sundar Pichai on the A.I. Moment: ‘You Will See Us Be Bold’ https://www.nytimes.[...] 2023-04-22
[31] 웹사이트 Googleの大規模言語モデル「Bard」、日本でも利用可能に。英語のみだが、改良されたPaLMベース{{!}}au Webポータル https://web.archive.[...] 2023-05-12
[32] 웹사이트 Googleの対話型AI「Bard」が日本語に対応、最新のPaLM 2ベースに https://xtech.nikkei[...] 2023-05-12
[33] 웹사이트 グーグルが生成AIのクラウドサービスを発表、巨大言語モデル「PaLM」のAPIなど https://active.nikke[...] 2023-04-22
[34] 웹사이트 Google、AI全面展開。PaLM APIやクラウド拡大、GmailやDocsも https://www.watch.im[...] 2023-04-22
[35] 웹사이트 アドビの画像生成AI「Adobe Firefly」とGoogleの会話型AI「Google Bard」が連携（Web担当者Forum） https://news.yahoo.c[...] 2023-05-12
[36] 웹사이트 Google、医療特化の大規模言語モデル「MedLM」の提供開始 https://www.itmedia.[...] ITmedia NEWS 2023-12-14
[37] 웹인용 Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance https://ai.googleblo[...] 2023-03-17
[38] ArXiv 인용 PaLM: Scaling Language Modeling with Pathways 2022
[39] 웹인용 Google sets the bar for AI language models with PaLM https://venturebeat.[...] 2022-04-12
[40] 웹인용 Google PaLM: Giant language AI can explain jokes https://the-decoder.[...] 2022-04-05
[41] 웹인용 Google: Why Is No One Talking About PaLM https://seekingalpha[...] 2022-12-12
[42] 웹인용 Google opens up its AI language model PaLM to challenge OpenAI and GPT-3 https://www.theverge[...] 2023-03-14
[43] 웹인용 PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications https://developers.g[...]
[44] ArXiv 인용 Large Language Models Encode Clinical Knowledge 2022
[45] 웹인용 MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor https://medicalfutur[...] 2023-01-17
[46] 웹인용 Our latest health AI research updates https://blog.google/[...] 2023-03-14
[47] ArXiv 인용 PaLM-E: An Embodied Multimodal Language Model 2023
[48] 웹인용 PaLM-E: An embodied multimodal language model https://ai.googleblo[...]
[49] 웹인용 Google's PaLM-E is a generalist robot brain that takes commands https://arstechnica.[...] 2023-03-07
[50] 웹인용 Google launches PaLM 2, its next-gen large language model https://techcrunch.c[...] 2023-05-10
[51] 웹인용 Google's newest A.I. model uses nearly five times more text data for training than its predecessor https://www.cnbc.com[...] 2023-05-16


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com