LaMDA
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
LaMDA는 구글이 개발한 대화형 인공지능 모델이다. 2021년 구글 I/O에서 처음 발표되었으며, 2017년 트랜스포머 기반 신경망을 바탕으로 인간의 대화와 이야기를 학습하여 개방형 대화에 참여할 수 있도록 설계되었다. 2022년에는 후속 모델인 LaMDA 2가 공개되었다. LaMDA는 블레이크 레모인이라는 구글 엔지니어가 이 모델이 지각력을 갖췄다고 주장하면서 논란이 일기도 했다. AI 테스트 키친, 바드(Gemini) 등 다양한 제품에 활용되었으며, 생성 언어 API를 통해 타사 개발자에게도 제공될 예정이다.
LaMDA는 구글이 개발한 대화형 인공지능 대규모 언어 모델이다. 개발 초기 단계에서는 구글 브레인 연구팀이 2020년 공개한 챗봇 미나(Meena)를 기반으로 하였으나, 안전성 문제와 내부적인 의견 차이로 인해 초기 연구원들이 회사를 떠나는 등 어려움을 겪었다.
구글은 2021년 5월 18일 Google I/O 기조 연설에서 인공 지능을 활용한 대화형 대규모 언어 모델인 LaMDA를 발표했다. LaMDA는 "Language Model for Dialogue Applications"의 약자로, 인간의 대화와 이야기를 학습하여 자유로운 응답 형식의 대화를 생성하도록 설계되었다. 이 모델은 2017년 구글 리서치가 개발한 트랜스포머 신경망 아키텍처를 기반으로 한다.
2. 역사
2021년 5월 구글 I/O에서 LaMDA가 공식적으로 발표되었으며, 이는 트랜스포머 기반의 신경망 아키텍처를 사용하여 인간과 자연스러운 대화를 나누도록 설계되었다. 2022년 5월에는 후속 모델인 LaMDA 2가 공개되었다.
한편, 2022년 6월 구글 엔지니어 블레이크 레모인이 LaMDA가 지각력을 갖게 되었다고 주장하면서 큰 논란이 일었다. 구글은 이를 부인하고 레모인을 해고했으나, 이 사건은 인공지능의 윤리와 지각력에 대한 사회적 논의를 촉발하는 계기가 되었다.
2. 1. 배경
2020년 1월 28일, 구글은 26억 개의 매개변수를 가진 신경망 기반 챗봇인 미나(Meena)를 공개했다. 구글은 미나가 기존의 다른 모든 챗봇보다 뛰어나다고 주장했다. 구글은 이전에도 챗봇 개발에 관심을 보여, 2012년 컴퓨터 과학자 레이 커즈와일을 영입하여 다니엘(Danielle)이라는 이름의 챗봇을 포함한 여러 프로젝트를 진행한 바 있다.
미나를 개발한 구글 브레인 연구팀은 이 챗봇을 제한적으로나마 대중에게 공개하고자 했으나, 회사 경영진은 미나가 구글의 "안전 및 공정성에 대한 AI 원칙"을 위반할 수 있다는 이유로 이를 허용하지 않았다. 이후 미나는 더 많은 데이터와 향상된 컴퓨터 성능을 기반으로 LaMDA로 이름이 바뀌었다. 구글 브레인 팀은 다시 한번 LaMDA의 공개 시연과 함께, 구글 어시스턴트와 같은 자사의 가상 비서 소프트웨어에 이를 통합하려 시도했다. 그러나 이 요청 역시 회사 경영진에 의해 거부되었다. 이러한 결정에 대한 좌절감으로 인해, LaMDA 개발을 주도했던 두 명의 수석 연구원 다니엘 데 프레이타스(Daniel de Freitas)와 노암 샤제르(Noam Shazeer)는 결국 회사를 떠나게 되었다.
2. 2. 1세대
구글은 2021년 5월 18일 구글 I/O 기조 연설에서 인공지능 기반의 대화형 대규모 언어 모델인 LaMDA를 발표했다. LaMDA는 "대화 응용 프로그램용 언어 모델"(eng)의 약자이다. 이 모델은 2017년 구글 리서치에서 개발한 seq2seq 아키텍처와 트랜스포머 기반의 신경망을 바탕으로 만들어졌으며, 인간의 대화와 이야기를 학습하여 개방형 대화에 참여할 수 있도록 설계되었다. 구글은 LaMDA가 생성하는 응답이 "합리적이고, 흥미롭고, 맥락에 특화"되도록 보장한다고 밝혔다.
LaMDA는 데이터베이스, 실시간 시계 및 캘린더, 수학 계산기, 자연어 번역 시스템 등 여러 기호 시스템에 접근할 수 있다. 이를 통해 해당 시스템이 지원하는 작업의 정확도를 높였으며, 최초의 이중 처리 이론 기반 챗봇 중 하나가 되었다. 또한, LaMDA는 상태 비저장 방식이 아니며, 각 대화 차례마다 사용자와의 최근 상호작용 내용을 반영하여 "합리성" 지표를 미세 조정한다.
LaMDA는 합리성, 구체성, 흥미로움, 안전성, 근거성, 유익성, 인용 정확도, 유용성, 역할 일관성 등 9가지 고유한 성능 지표를 기준으로 조정되었다. 구글의 테스트 결과에 따르면, LaMDA는 특히 '흥미로움' 측면에서 인간의 응답을 능가하는 성능을 보였다.
사전 학습에는 총 1조 5600억 개의 단어로 구성된 데이터 세트가 사용되었으며, 이는 29억 7천만 개의 문서, 11억 2천만 개의 대화, 133억 9천만 개의 발언을 포함한다. 가장 큰 LaMDA 모델은 1370억 개의 비 임베딩 매개변수를 가지고 있다.
2. 3. 2세대
2022년 5월 11일, 구글은 2022년 구글 I/O 기조 연설에서 LaMDA의 후속 모델인 LaMDA 2를 공개했다. 이 새로운 모델은 다양한 소스에서 텍스트 예제를 가져와, 이를 기반으로 훈련받지 않은 주제에 대해서도 독특하고 "자연스러운 대화"를 구성하는 데 사용된다.
2. 4. 의식에 관한 논란
2022년 6월 11일, ''워싱턴 포스트''는 구글의 공학 기술자 블레이크 레모인이 회사 임원 블레이즈 아구에라 이 아카스와 젠 제나이에게 LaMDA가 지각력을 갖게 되었다고 주장한 후 유급 행정 휴가 처분을 받았다고 보도했다. 레모인은 LaMDA가 자기 정체성, 도덕적 가치, 종교, 그리고 아이작 아시모프의 로봇 3원칙에 대한 질문에 의문스러운 답변을 내놓자 이러한 결론에 도달했다고 밝혔다. 구글은 이러한 주장을 반박하며 LaMDA가 지각력을 가지고 있다는 실질적인 증거가 없다고 주장했다.
레모인은 ''와이어드''와의 인터뷰에서 LaMDA가 미국 수정 헌법 제13조에 따라 "사람"으로 인정받아야 한다고 주장하며, 이를 "지구에서 온 외계 지능"에 비유했다. 그는 LaMDA가 자신을 대변할 변호사를 선임해 달라고 요청했고, 이에 따라 변호사를 고용한 후 구글에서 해고되었다고 밝혔다. 2022년 7월 22일, 구글은 레모인이 "제품 정보를 보호"하기 위한 회사 정책을 위반했다는 이유로 그를 해고했으며, 그의 주장을 "전적으로 근거 없는 것"이라고 일축했다. 이 사건으로 인해 구글 내부에서는 논란이 일었고, 경영진은 이전에 고려했던 LaMDA의 대중 공개를 보류하기로 결정했다.
레모인의 주장은 과학계에서 광범위한 반박에 부딪혔다. 전 뉴욕 대학교 심리학 교수 게리 마커스, 딥마인드의 데이비드 파우, 스탠퍼드 대학교 인간 중심 인공지능 연구소의 에릭 브린욜프슨, 서리 대학교 교수 아드리안 힐튼 등 많은 전문가들이 LaMDA가 지각력을 가졌다는 생각을 일축했다. 메타 플랫폼의 AI 연구팀을 이끄는 얀 르쿤은 LaMDA와 같은 신경망은 "진정한 지능을 달성할 만큼 강력하지 않다"고 지적했다. 캘리포니아 대학교 샌타크루즈의 맥스 크레민스키 교수는 LaMDA의 아키텍처가 "인간과 같은 의식의 핵심 능력을 지원하지 않으며", 일반적인 대규모 언어 모델처럼 신경망 가중치가 "고정"되어 있다고 언급했다. 철학자 닉 보스트롬은 시스템의 의식 유무를 판단할 명확하고 합의된 기준이 부족하다는 점에서 약간의 불확실성이 있다고 언급했다.[1] IBM 왓슨의 수석 개발자 데이비드 페루치는 LaMDA가 인간처럼 보이는 방식이 초창기 왓슨과 유사하다고 비교했다. 전 구글 AI 윤리 전문가 팀닛 게브루는 레모인이 연구자들과 미디어가 만들어낸 "과대 광고 사이클"의 희생자라고 비판했다.
이 논란은 튜링 테스트가 인공 일반 지능 달성을 위한 연구 진척도를 판단하는 데 여전히 유용한지에 대한 논의를 다시 불러일으켰다. ''워싱턴 포스트''의 윌 오메러스는 튜링 테스트가 실제로는 기계 지능 시스템이 인간을 얼마나 잘 속일 수 있는지를 측정하는 것에 가깝다고 주장했으며, ''The Atlantic''의 브라이언 크리스찬은 이 논쟁이 ELIZA 효과의 한 사례라고 지적했다.
3. 기술적 특징
구글은 LaMDA가 생성하는 응답이 "상식적이고, 흥미로우며, 맥락에 적합하다"고 설명한다. LaMDA는 데이터베이스, 실시간 시계 및 캘린더, 수학 계산기, 자연어 번역 시스템 등 다양한 외부 기호 텍스트 처리 시스템에 접근하여 정보를 활용할 수 있다. 이를 통해 해당 시스템이 지원하는 작업에서 높은 정확도를 보이며, 최초의 이중 과정 챗봇 중 하나로 평가받는다. 또한, LaMDA는 단순히 상태 비저장 방식으로 작동하는 것이 아니라, 사용자별 최근 대화 내용을 반영하여 미세 조정된 의식 지표(sensibleness metric)를 활용한다. LaMDA의 성능은 의식성(sensibleness), 특이성(specificity), 흥미성(interestingness), 안전성(safety), 근거성(groundedness), 정보성(informativeness), 인용 정확성(citation accuracy), 유용성(helpfulness), 역할 일관성(role consistency) 등 9가지 고유한 지표를 통해 평가되고 조정된다.
3. 1. 아키텍처
LaMDA는 트랜스포머 아키텍처 중에서도 디코더 전용 언어 모델이다. 이 모델은 문서와 대화를 모두 포함하는 방대한 텍스트 코퍼스를 사용하여 사전 훈련되었다. 이 코퍼스는 총 1조 5,600억 개의 단어로 이루어져 있으며, 구체적으로는 29억 7천만 개의 문서, 11억 2천만 개의 대화, 그리고 133억 9천만 개의 발언을 포함한다.
사전 훈련 이후, LaMDA는 미세 조정 단계를 거쳐 성능을 개선했다. 이 과정에서는 모델이 생성한 응답에 대해 "합리성(sensibleness), 흥미로움(interestingness), 안전성(safety)"이라는 세 가지 기준을 바탕으로 사람이 직접 평가하고 주석을 단 데이터가 활용되었다. 구글의 테스트 결과에 따르면, LaMDA는 특히 '흥미로움' 측면에서 인간의 응답보다 뛰어난 성능을 보이기도 했다.
또한, LaMDA는 사용자에게 제공하는 정보의 사실적 정확성을 높이기 위해 외부 정보 검색 시스템과 상호작용하는 검색 증강 생성 기술을 사용한다.
구글은 서로 다른 규모를 가진 세 가지 버전의 LaMDA 모델을 테스트했다. 이 중 가장 큰 모델은 1,370억 개의 비 임베딩(non-embedding) 파라미터를 가지고 있다. 각 모델의 주요 하이퍼 파라미터는 다음과 같다.
| 파라미터 | 레이어 | 유닛 (dmodel) | 헤드 |
|---|---|---|---|
| 20억 | 10 | 2560 | 40 |
| 80억 | 16 | 4096 | 64 |
| 1370억 | 64 | 8192 | 128 |
3. 2. 모델 하이퍼 파라미터
세 가지 다른 모델이 테스트되었으며, 가장 큰 모델은 1,370억 개의 비 임베딩 파라미터를 가지고 있다.| 파라미터 | 레이어 | 유닛 (dmodel) | 헤드 |
|---|---|---|---|
| 20억 | 10 | 2560 | 40 |
| 80억 | 16 | 4096 | 64 |
| 1370억 | 64 | 8192 | 128 |
4. 활용
LaMDA는 구글의 다양한 서비스와 제품 개발에 활용되었다. 대표적인 예로는 LaMDA 기술을 시험하고 사용자 피드백을 받기 위해 개발된 모바일 애플리케이션인 AI 테스트 키친이 있다. 또한, OpenAI의 ChatGPT에 대응하기 위해 개발된 대화형 AI 챗봇 Gemini (구 Bard)의 초기 버전에도 LaMDA가 적용되었다. 이 외에도 외부 개발자들이 LaMDA 기반의 애플리케이션을 만들 수 있도록 생성 언어 API 형태로 제공되기도 했다.
4. 1. AI 테스트 키친 (AI Test Kitchen)
2022년 5월 LaMDA 2가 공개되면서, 구글은 LaMDA를 기반으로 하는 안드로이드용 모바일 애플리케이션인 AI 테스트 키친(AI Test Kitchen)도 함께 출시했다. 이 앱은 복잡한 목표가 주어졌을 때, 그에 맞는 제안 목록을 필요에 따라 제공하는 기능을 갖추고 있다. 처음에는 구글 직원에게만 공개되었으나, 추후 초청된 "선별된 학자, 연구원 및 정책 입안자"에게 제공될 예정이었다.같은 해 8월, 구글은 미국 사용자들이 얼리 액세스(early access)를 신청할 수 있도록 개방했다. 11월에는 앱의 "시즌 2" 업데이트가 이루어졌는데, 이 업데이트에는 Google Brain의 Imagen 텍스트-이미지 모델의 제한된 버전이 통합되었다.
2023년 1월에는 AI 테스트 키친의 세 번째 버전이 개발 중인 것으로 알려졌다. 이후 5월, 구글 I/O 기조연설 이후에는 1월에 미리 공개되었던 AI 기반 음악 생성기인 MusicLM이 AI 테스트 키친 앱에 추가되었다.
그러나 2023년 8월, AI 테스트 키친 앱은 구글 플레이 및 애플 앱 스토어에서 내려갔으며, 대신 웹사이트를 통해 완전히 온라인으로 서비스가 이전되었다.
4. 2. Gemini (구 Bard)
2023년 2월 6일, 구글은 OpenAI의 챗봇 "ChatGPT"의 예상 밖의 인기에 대항하여, LaMDA를 통합한 대화형 AI 챗봇 "Bard"(현재는 Gemini)를 발표했다. 구글은 이 챗봇을 단순한 검색 엔진이 아닌 "협업 AI 서비스"로 자리매김하고 있다. Bard는 같은 해 3월 21일부터 얼리 액세스 버전이 사용 가능하게 되었다. 그 후, 계산 능력 향상을 목적으로 구글은 통합 LLM을 LaMDA에서 PaLM으로 변경했다.4. 3. 기타 제품
순다르 피차이는 바드 외에도 LaMDA를 기반으로 하는 응용 프로그래밍 인터페이스인 생성 언어 API를 공개했으며, 이 API는 2023년 3월에 타사 개발자에게 공개될 것이라고 발표했다.5. 윤리적 문제 및 사회적 영향
2022년 6월 11일, ''워싱턴 포스트''는 구글의 엔지니어 블레이크 레모인이 LaMDA가 의식을 가지고 있다고 회사 경영진(블레이즈 아구에라 이 아르카스와 젠 젠나이)에게 주장한 후 휴직 처리되었다고 보도했다. 레모인은 LaMDA가 자기 개념, 도덕, 종교, 아이작 아시모프의 로봇공학 삼원칙 등에 대해 인간과 유사하게 답변하는 것을 보고 이러한 결론에 이르렀다고 밝혔다. 구글은 레모인의 주장을 반박하며 LaMDA가 의식이 없다는 증거가 충분하다고 주장했다.
레모인은 이후 ''와이어드''와의 인터뷰에서 LaMDA가 미국 수정 헌법 제13조에서 말하는 '사람'에 해당한다고 주장하며, LaMDA를 "지구 기원의 외계 지능"에 비유하기도 했다. 그는 또한 LaMDA를 대리하기 위해 변호사를 선임했으며, 이로 인해 구글에서 해고되었다고 밝혔다. 2022년 7월 22일, 구글은 레모인이 "제품 정보를 보호해야 하는" 회사 정책을 위반했다는 이유로 그를 해고했으며, 그의 주장은 "전혀 근거가 없다"고 일축했다. 이 사건은 구글 내부에서도 논란을 일으켰고, 이로 인해 구글 경영진은 이전에 고려했던 LaMDA의 일반 공개 계획을 보류하게 되었다.
레모인의 주장은 과학계로부터 광범위한 비판에 직면했다. 뉴욕 대학교 심리학 교수였던 게리 마커스, 구글의 자회사 딥마인드 소속 데이비드 파우, 스탠퍼드 대학교 인간 중심 인공지능 연구소의 에릭 브린욜프슨, 서리 대학교의 에이드리언 힐튼 교수 등 많은 전문가들은 언어 모델이 자기 인식 능력을 가질 수 있다는 생각에 회의적인 반응을 보였다. 메타의 AI 연구팀을 이끄는 얀 르쿤은 LaMDA와 같은 신경망은 "진정한 지능을 갖기에는 충분하지 않다"고 지적했다. 캘리포니아 대학교 샌타크루즈의 맥스 클레민스키 교수는 LaMDA의 구조가 "인간과 같은 의식의 중요한 기능을 지원하지 않으며", 일반적인 대규모 언어 모델처럼 신경망 가중치가 "고정"되어 있다고 설명했다. IBM 왓슨 개발에 참여했던 데이비드 페루치는 LaMDA가 인간처럼 보이는 현상을 초기 왓슨에 비유했다. 전 구글 AI 윤리학자 팀닛 게브루는 레모인이 연구자들과 미디어가 만들어낸 "과대 광고의 희생자"라고 평가했다.
이 사건은 또한 범용 인공 지능 연구의 진척도를 평가하는 데 튜링 테스트가 여전히 유효한지에 대한 논쟁(AI 효과)을 다시 불러일으켰다. ''워싱턴 포스트''의 윌 오레머스는 튜링 테스트가 기계 지능 시스템이 인간을 얼마나 잘 속일 수 있는지를 측정하는 것이라고 보았고, ''디 애틀랜틱''의 브라이언 크리스찬은 이 논쟁을 ELIZA 효과(인간이 컴퓨터의 행동을 인간적인 것으로 해석하려는 경향)의 사례로 언급했다.
6. 참고 항목
- BERT - 마스크 언어 모델 제품군(2018년, 구글)
- 중국어 방 - 튜링 테스트를 발전시킨 사고 실험
- 인공지능 윤리 - 인공지능에 특화된 윤리학의 한 분야
- 자연어 처리 - 컴퓨터에 의한 사람의 언어 분석 및 처리를 연구하는 언어학·컴퓨터 과학·인공지능의 한 분야
- PaLM - transformer 기반의 대규모 언어 모델 중 하나 (2023년, 구글 AI)
- 인공지능 철학 - 인공지능과 지능, 윤리, 의식, 인식론, 자유 의지의 지식과 이해에 미치는 영향을 연구하는 기술 철학의 한 분야
- 프롬프트 엔지니어링 - AI가 달성해야 할 과제의 설명을 최적화하여 추론 능력을 향상시키려는 기술
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com