맨위로가기

텐서 처리 장치

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

텐서 처리 장치(TPU)는 구글이 개발한 기계 학습 응용 프로그램용 특수 목적 집적 회로(ASIC)이다. 2016년에 처음 공개되었으며, 구글의 TensorFlow 프레임워크를 위해 설계되었다. TPU는 알파고, 구글 스트리트 뷰, 구글 포토 등 다양한 구글 서비스에 활용되었다. TPU는 여러 세대에 걸쳐 발전해 왔으며, 각 세대마다 성능과 효율성이 향상되었다. 구글은 Cloud TPU 서비스를 통해 제3자에게 TPU에 대한 접근 권한을 제공한다. 또한 엣지 컴퓨팅을 위한 Edge TPU, 구글 픽셀 스마트폰의 Pixel Neural Core, Google Tensor 칩에도 사용된다. 2019년에는 특허 침해 소송이 있었으나, 2024년 1월에 합의로 종결되었다.

더 읽어볼만한 페이지

  • AI 가속기 - 뉴로모픽 엔지니어링
    뉴로모픽 엔지니어링은 인간 뇌를 모방한 컴퓨터 시스템을 개발하는 기술이며, 다양한 연구 사례와 응용 분야를 가지고 있지만 윤리적, 법적 문제와 군사적 용도에 대한 논쟁도 존재한다.
  • AI 가속기 - 엔비디아 드라이브
  • ASIC - 그래픽 처리 장치
    그래픽 처리 장치(GPU)는 컴퓨터 그래픽 렌더링 및 표시를 가속화하는 전용 프로세서로, 아케이드 게임기에서 시작하여 개인용 컴퓨터의 초기 그래픽 디스플레이 프로세서, 하드웨어 가속 3D 그래픽을 거쳐 인공지능 및 딥러닝 분야에서도 활용되며 다양한 형태로 컴퓨터, 게임 콘솔, 모바일 기기 등 광범위한 분야에서 사용된다.
  • ASIC - 하드웨어 가속
    하드웨어 가속은 성능 향상을 위해 특정 연산을 전용 하드웨어로 처리하는 기술이며, 병렬 처리를 통해 연산 속도를 높이지만 유연성이 감소하고 비용이 증가하는 특징을 갖는다.
  • 코프로세서 - 제온 파이
    제온 파이는 인텔에서 개발한 x86 기반 메니코어 프로세서로, 나이츠 페리, 나이츠 코너, 나이츠 랜딩, 나이츠 밀 등의 모델이 있으며, AVX-512 명령어 세트 지원을 통해 고성능 컴퓨팅 환경에서 복잡한 연산을 효율적으로 처리하는 데 중점을 둔다.
  • 코프로세서 - 엔비디아 테슬라
    엔비디아 테슬라는 엔비디아가 개발한 고성능 GPU 제품군으로, CUDA를 활용한 병렬 컴퓨팅 환경을 제공하여 다양한 분야에서 고성능 컴퓨팅을 지원하며, 여러 마이크로아키텍처 기반 모델을 통해 발전해왔고, 메모리 및 통신 대역폭을 늘리는 혁신을 거듭해왔다.
텐서 처리 장치
개요
종류신경망 가속기
설계구글
소개2015년
기술 사양
용도기계 학습

2. 역사

조나단 로스는 최초의 TPU 엔지니어 중 한 명이자 나중에 Groq의 설립자인데, 구글 내 세 개의 별도 그룹이 AI 가속기를 개발했으며, 최종적으로 선택된 설계가 TPU였다고 한다. 그는 당시 시스톨릭 배열에 대해 알지 못했고, 이 용어를 배우고 나서 "아, 그게 시스톨릭 배열이라고 불리는구나? 그냥 말이 되는 것 같았어."라고 생각했다.[6]

텐서 처리 장치는 2016년 5월 Google I/O에서 발표되었으며, 구글은 TPU가 이미 1년 이상 자사 데이터 센터에서 사용되었다고 밝혔다.[8][4] 구글의 2017년 논문은 1990년대에 제작된 유사한 아키텍처의 이전 시스톨릭 행렬 곱셈기를 언급했다.[24] 이 칩은 신경망과 같은 기계 학습 응용 프로그램에 사용되는 기호 수학 라이브러리인 구글의 TensorFlow 프레임워크를 위해 특별히 설계되었다.[7] 그러나 2017년 현재 구글은 다른 유형의 기계 학습을 위해 여전히 CPU와 GPU를 사용했다.[8] 다른 공급업체에서도 다른 AI 가속기 설계가 나타나고 있으며 임베디드 컴퓨팅 및 로봇 공학 시장을 목표로 한다.

구글의 TPU는 독점적이다. 일부 모델은 상업적으로 이용 가능하며, 2018년 2월 12일, ''뉴욕 타임스''는 구글이 "자사의 클라우드 컴퓨팅 서비스를 통해 다른 회사들이 해당 칩에 접근할 수 있도록 허용할 것"이라고 보도했다.[9] 구글은 이 칩이 인간 대 기계 바둑 대국인 알파고 대 이세돌 시리즈와 알파제로 시스템에 사용되었다고 밝혔으며, 알파제로는 게임 규칙만으로 체스, 쇼기, 바둑 프로그램을 제작하여 해당 게임에서 선두 프로그램을 능가했다.[10] 구글은 또한 구글 스트리트 뷰 텍스트 처리에 TPU를 사용했으며, 스트리트 뷰 데이터베이스의 모든 텍스트를 5일 이내에 찾을 수 있었다. 구글 포토에서 개별 TPU는 하루에 1억 장 이상의 사진을 처리할 수 있다.[8] 또한 구글이 검색 결과를 제공하는 데 사용하는 RankBrain에도 사용된다.[11]

구글은 Google Cloud Platform의 일부로 ''Cloud TPU'' 서비스를 통해, 그리고 노트북 기반 서비스인 Kaggle 및 Colaboratory를 통해 제3자에게 TPU에 대한 접근 권한을 제공한다.[13][14]

3. CPU 및 GPU와의 비교

GPU(그래픽 처리 장치)에 비해 TPU는 래스터화/텍스처 매핑을 위한 하드웨어 없이, 더 많은 입력/출력 연산을 수행하며, 낮은 정밀도 (예: 8비트 정밀도)의 대량 계산에 적합하도록 설계되었다.[3][4] TPU ASIC는 방열판 어셈블리에 장착되며, 노먼 조피에 따르면 이는 데이터 센터 19인치 랙 내 하드 드라이브 슬롯에 맞출 수 있다.[8]

다양한 유형의 프로세서는 서로 다른 유형의 머신 러닝 모델에 적합하다. TPU는 CNN에 적합하며, GPU는 일부 완전 연결 신경망에 이점이 있고, CPU는 RNN에 이점이 있을 수 있다.[5]

4. 제품

TPU는 여러 세대에 걸쳐 발전해 왔으며, 각 세대는 성능, 전력 효율성, 메모리 용량 등에서 개선되었다.

텐서 처리 장치 제품[15][16][17]
TPUv1TPUv2TPUv3TPUv4[16][18]TPUv5e[19]TPUv5p[20] [21]v6 (Trillium)[22][23]
출시일2015201720182021202320232024
공정 노드28 nm16 nm16 nm7 nm
다이 크기 (mm2)331< 625< 700< 400300-350
온칩 메모리 (MiB)2832323248112
클럭 속도 (MHz)70070094010501750
메모리8 GiB DDR316 GiB HBM32 GiB HBM32 GiB HBM16 GB HBM95 GB HBM32 GB
메모리 대역폭34 GB/s600 GB/s900 GB/s1200 GB/s819 GB/s2765 GB/s1640 GB/s
TDP (W)75280220170
TOPS (초당 테라 연산)2345123275197 (bf16)459 (bf16)918 (bf16)
TOPS/W


  • 1세대 TPU (TPU v1): 2016년에 발표되었으며, 28nm 공정으로 제조되었다. 8비트 행렬 곱셈 엔진을 특징으로 하며, 700MHz 클럭 속도로 작동하고 8GB DDR3 메모리를 탑재했다.[24]
  • 2세대 TPU (TPU v2): 2017년에 발표되었으며, 16GB HBM을 사용하여 메모리 대역폭을 600GB/s로 늘리고 성능을 45테라FLOPS로 향상시켰다. 부동소수점 연산도 지원하여 훈련과 추론 모두에 사용 가능하다.[17]
  • 3세대 TPU (TPU v3): 2018년에 발표되었으며, 2세대보다 2배 더 강력하고, 포드당 성능이 8배 증가했다(포드당 최대 1,024개 칩).[29][30]
  • 4세대 TPU (TPU v4): 2021년에 발표되었으며, 3세대보다 2배 이상 성능이 향상되었다. 추론에 특화된 v4i 버전도 출시되었다.[31][33][34]
  • 5세대 TPU (TPU v5): v5e와 v5p 두 가지 버전으로 출시되었다. v5e는 비용 효율적인 버전이며,[38] v5p는 엔비디아 H100과 경쟁할 수 있는 고성능 모델이다.[39]
  • 6세대 TPU (Trillium): 2024년에 발표되었으며, 5세대(v5e)보다 4.7배 향상된 성능을 제공한다. HBM 용량과 대역폭도 두 배로 증가했다.[41]

4. 1. Edge TPU

Edge TPU는 엣지 컴퓨팅을 위해 설계된 작고 전력 효율적인 ASIC 칩이다. Coral 브랜드로 제공되며, 싱글 보드 컴퓨터, 시스템 온 모듈, USB 액세서리 등 다양한 형태로 제공된다.[44] 2W의 전력으로 초당 4조 회의 연산을 처리할 수 있으며, TensorFlow Lite 모델을 실행하여 주로 추론 작업에 사용된다.[47][48]

Edge TPU를 탑재한 제품으로는 SBC인 Coral Dev Board와 Coral SoM이 있으며, Debian의 파생 제품인 Mendel Linux OS를 실행한다.[45][46] USB, PCI-e 및 M.2 제품은 기존 컴퓨터 시스템에 추가 기능으로 작동하며 x86-64 및 ARM64 호스트(라즈베리 파이 포함)에서 Debian 기반 Linux 시스템을 지원한다. Edge TPU는 8비트 수학만 지원하므로, 네트워크가 Edge TPU와 호환되려면 TensorFlow 양자화 인식 훈련 기술을 사용하거나, 2019년 후반부터는 훈련 후 양자화를 사용할 수도 있다.

2019년 11월 12일, Asus는 Edge TPU를 탑재한 Asus Tinker Edge T 및 Tinker Edge R Board라는 두 개의 싱글 보드 컴퓨터(SBC)를 발표했다. 이 SBC는 공식적으로 안드로이드 및 데비안 운영 체제를 지원한다.[49][50] ASUS는 또한 Edge TPU를 탑재한 Asus PN60T라는 미니 PC를 시연했다.[51]

2020년 1월 2일, 구글은 Coral Accelerator Module과 Coral Dev Board Mini를 발표했다. Coral Accelerator Module은 Edge TPU, PCIe 및 USB 인터페이스를 갖춘 멀티칩 모듈이다. Coral Dev Board Mini는 Coral Accelerator Module과 MediaTek 8167s SoC를 탑재한 더 작은 SBC이다.[52][53]

4. 2. Pixel Neural Core 및 Google Tensor

2019년 10월 15일, 구글은 Pixel 4 스마트폰을 발표했는데, 여기에는 Pixel Neural Core라는 Edge TPU가 탑재되어 있었다.[54] 구글은 Pixel Neural Core가 "Pixel 4의 주요 카메라 기능의 요구 사항을 충족하도록 맞춤화"되었으며, 지연 시간과 전력 사용량을 최소화하기 위해 정확성을 다소 희생하는 신경망 검색을 사용한다고 설명했다.[54]

구글은 픽셀 뉴럴 코어에 이어 2021년 픽셀 6 스마트폰 라인과 함께 출시된 구글 텐서라는 맞춤형 시스템 온 칩에 Edge TPU를 통합했다.[55] 구글 텐서 SoC는 머신 러닝 중심 벤치마크에서 "경쟁사 대비 매우 큰 성능 우위"를 보였다. 순간적인 전력 소비량 또한 상대적으로 높았지만, 향상된 성능으로 인해 최고 성능을 필요로 하는 기간이 짧아져 에너지 소비량이 줄었다.[56]

5. 특허 소송

2019년, MIT 객원 연구원 조셉 베이츠가 설립한 Singular Computing은[57] TPU 칩의 특허 침해를 주장하며 구글을 상대로 소송을 제기했다.[58] 2024년 1월, 재판이 진행되면서 구글은 공개되지 않은 조건으로 합의했다.[62][63]

참조

[1] 간행물 In-Datacenter Performance Analysis of a Tensor Processing Unit https://dl.acm.org/d[...] Association for Computing Machinery 2017
[2] 웹사이트 Cloud Tensor Processing Units (TPUs) https://cloud.google[...] 2020-07-20
[3] 웹사이트 Google's Big Chip Unveil For Machine Learning: Tensor Processing Unit With 10x Better Efficiency (Updated) http://www.tomshardw[...] 2016-06-26
[4] 웹사이트 Google supercharges machine learning tasks with TPU custom chip https://cloudplatfor[...] 2017-01-22
[5] arXiv Benchmarking TPU, GPU, and CPU Platforms for Deep Learning 2019-07-01
[6] LinkedIn https://www.linkedin[...]
[7] Youtube TensorFlow: Open source machine learning https://www.youtube.[...]
[8] 뉴스 Google's Tensor Processing Unit explained: this is what the future of computing looks like http://www.techradar[...] 2017-01-19
[9] 뉴스 Google Makes Its Special A.I. Chips Available to Others https://www.nytimes.[...] 2018-02-12
[10] 뉴스 DeepMind's AlphaZero crushes chess https://chess24.com/[...] 2017-12-06
[11] 뉴스 Google's Tensor Processing Unit could advance Moore's Law 7 years into the future http://www.pcworld.c[...] 2017-01-19
[12] 웹사이트 Frequently Asked Questions {{!}} Cloud TPU https://cloud.google[...] 2021-01-14
[13] 웹사이트 Google Colaboratory https://colab.resear[...] 2021-05-15
[14] 웹사이트 Use TPUs {{!}} TensorFlow Core https://www.tensorfl[...] 2021-05-15
[15] 간행물 Ten lessons from three generations that shaped Google's TPUv4i https://conferences.[...] 2021-06-14
[16] 웹사이트 System Architecture {{!}} Cloud TPU https://cloud.google[...] 2022-12-11
[17] 뉴스 Case Study on the Google TPU and GDDR5 from Hot Chips 29 https://www.servethe[...] Serve The Home 2017-08-22
[18] 웹사이트 Stay tuned, more information on TPU v4 is coming soon https://cloud.google[...] 2020-08-06
[19] 웹사이트 Cloud TPU v5e Inference Public Preview https://cloud.google[...] 2023-11-06
[20] 웹사이트 Cloud TPU v5p https://cloud.google[...] Google Cloud 2024-04-09
[21] 웹사이트 Cloud TPU v5p Training https://cloud.google[...] 2024-04-09
[22] 웹사이트 Introducing Trillium, sixth-generation TPUs https://cloud.google[...] 2024-05-29
[23] 웹사이트 TPU v6e https://cloud.google[...] 2024-11-10
[24] 간행물 In-Datacenter Performance Analysis of a Tensor Processing Unit™ 2017-06-26
[25] 뉴스 Case Study on the Google TPU and GDDR5 from Hot Chips 29 https://www.servethe[...] Serve The Home 2017-08-22
[26] 뉴스 Google brings 45 teraflops tensor flow processors to its compute cloud https://arstechnica.[...] Ars Technica 2017-05-17
[27] 뉴스 Google Cloud TPU Details Revealed https://www.servethe[...] Serve The Home 2017-05-17
[28] 뉴스 Google I/O Opening Keynote Live-Blog https://www.anandtec[...] 2018-05-08
[29] 뉴스 Google Offers Glimpse of Third-Generation TPU Processor https://www.top500.o[...] Top 500 2018-05-11
[30] 뉴스 Tearing Apart Google's TPU 3.0 AI Coprocessor https://www.nextplat[...] The Next Platform 2018-05-10
[31] 웹사이트 Google Launches TPU v4 AI Chips https://www.hpcwire.[...] 2021-06-07
[32] arXiv TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings 2023-04-20
[33] 웹사이트 Google Details TPUv4 and its Crazy Optically Reconfigurable AI Network https://www.servethe[...] 2023-12-16
[34] 웹사이트 Why did Google develop its own TPU chip? In-depth disclosure of team members https://www.censtry.[...] 2023-12-16
[35] 논문 A graph placement methodology for fast chip design http://176.9.41.242/[...] 2023-06-04
[36] 웹사이트 Enabling next-generation AI workloads: Announcing TPU v5p and AI Hypercomputer https://cloud.google[...] 2023-12-06
[37] 웹사이트 Google is rapidly turning into a formidable opponent to BFF Nvidia — the TPU v5p AI chip powering its hypercomputer is faster and has more memory and bandwidth than ever before, beating even the mighty H100 https://www.techrada[...] TechRadar 2023-12-23
[38] 웹사이트 Expanding our AI-optimized infrastructure portfolio: Introducing Cloud TPU v5e and announcing A3 GA https://cloud.google[...] 2023-08-29
[39] 웹사이트 Enabling next-generation AI workloads: Announcing TPU v5p and AI Hypercomputer https://cloud.google[...] 2023-12-06
[40] 웹사이트 Powerful infrastructure innovations for your AI-first future https://cloud.google[...] 2024-10-30
[41] 웹사이트 Google Cloud Unveils Trillium, Its 6th-Gen TPU With A 4.7X AI Performance Leap https://hothardware.[...] HotHardware 2024-05-15
[42] 웹사이트 Introducing Trillium, sixth-generation TPUs https://cloud.google[...]
[43] 웹사이트 Cloud TPU https://cloud.google[...]
[44] 웹사이트 Edge TPU performance benchmarks https://coral.ai/doc[...]
[45] 웹사이트 Dev Board https://coral.ai/pro[...]
[46] 웹사이트 System-on-Module (SoM) https://coral.ai/pro[...]
[47] 웹사이트 Bringing intelligence to the edge with Cloud IoT https://www.blog.goo[...] 2018-07-25
[48] 웹사이트 Retrain an image classification model on-device https://coral.withgo[...]
[49] 웹사이트 組込み総合技術展＆IoT総合技術展「ET & IoT Technology 2019」に出展することを発表 https://www.asus.com[...]
[50] 웹사이트 ASUS & Google Team Up for 'Tinker Board' AI-Focused Credit-Card Sized Computers https://www.anandtec[...]
[51] 웹사이트 ASUS Tinker Edge T & CR1S-CM-A SBC to Feature Google Coral Edge TPU & NXP i.MX 8M Processor https://www.cnx-soft[...] 2019-05-29
[52] 웹사이트 New Coral products for 2020 https://developers.g[...]
[53] 웹사이트 Accelerator Module https://coral.ai/pro[...]
[54] 웹사이트 Introducing the Next Generation of On-Device Vision Models: MobileNetV3 and MobileNetEdgeTPU http://ai.googleblog[...]
[55] 웹사이트 Improved On-Device ML on Pixel 6, with Neural Architecture Search https://ai.googleblo[...] 2021-11-08
[56] 뉴스 Google's Tensor inside of Pixel 6, Pixel 6 Pro: A Look into Performance & Efficiency {{!}} Google's IP: Tensor TPU/NPU https://www.anandtec[...] 2021-11-02
[57] 웹사이트 The surprising usefulness of sloppy arithmetic https://news.mit.edu[...] MIT 2011-01-03
[58] 뉴스 Local inventor challenges Google in billion-dollar patent fight https://www.bostongl[...] 2024-01-10
[59] 웹사이트 SINGULAR COMPUTING LLC, Plaintiff, v. GOOGLE LLC, Defendant: Amended Complaint for Patent Infringement https://www.pacermon[...] RPX Corporation 2020-03-20
[60] 간행물 VFloat: A Variable Precision Fixed- and Floating-Point Library for Reconfigurable Hardware https://dl.acm.org/d[...] 2010-09-01
[61] 웹사이트 Singular Computing LLC v. Google LLC https://casetext.com[...] 2023-04-06
[62] 웹사이트 Google Settles AI-Chip Suit That Had Sought Over $5 Billion https://news.bloombe[...] Bloomberg Law 2024-01-24
[63] 웹사이트 Google settles AI-related chip patent lawsuit that sought $1.67 bln https://www.reuters.[...] Reuters 2024-01-24
[64] 웹인용 Cloud Tensor Processing Units (TPUs) https://cloud.google[...] 2020-07-20
[65] Youtube Stay tuned, more information on TPU v4 is coming soon https://cloud.google[...]


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com