Тензорный процессор Google

Эта статья — о нейронном процессоре. О системе на кристалле для смартфонов см. Google Tensor^[англ.].

Тензорный процессор Google (англ. Google Tensor Processing Unit, Google TPU) — тензорный процессор, относящийся к классу нейронных процессоров, являющийся специализированной интегральной схемой, разработанной корпорацией Google и предназначенной для использования с библиотекой машинного обучения TensorFlow. Представлен в 2016 году на конференции Google I/O, при этом утверждалось, что устройства к тому моменту уже использовались внутри корпорации Google более года^[1][2].

Тензорный процессор Google
Tensor Processing Unit 3.0
Медиафайлы на Викискладе

По сравнению с графическими процессорами, рассчитан на более высокий объём вычислений с пониженной точностью (например, всего 8-разрядную точность^[3]) при более высокой производительности на ватт и отсутствии модуля для растризации и текстурных блоков^[1][2].

Утверждается, что тензорные процессоры применялись в серии игр в го программы AlphaGo против Ли Седоля^[2] и в следующих подобных поединках^[4]. Также корпорация применила тензорные процессоры для обработки фотографий Google Street View на предмет извлечения текста, сообщалось, что весь объём обработан менее чем за пять дней. В Google Фото один тензорный процессор может обрабатывать более 100 миллионов фотографий в день. Также устройство применяется для самообучающейся системы RankBrain, обрабатывающей отклики поисковой системы Google.

Устройство реализовано как матричный умножитель для 8-разрядных чисел, управляемый CISC-инструкциями центрального процессора по шине PCIe 3.0. Изготавливается по технологии 28 нм, тактовая частота составляет 700 МГц и имеет тепловую расчётную мощность 28—40 Вт. Оснащается 28 Мбайт встроенной оперативной памяти и 4 Мбайт 32-разрядных аккумуляторов, накапливающих результаты в массивах из 8-битных множителей, организованных в матрицу размером 256×256. Инструкции устройства передают данные на узел или получают их из него, выполняют матричные умножения или свёртки^[5]. В такт может производиться 65536 умножений на каждой матрице; в секунду — до 92 трлн^[6].

Характеристики разных поколений тензорных процессоров

Характеристики TPU:^[7][8][9]

	TPU v1	TPU v2[10]	TPU v3[11]	TPU v4[8][12]	TPU v5e[13][14]	TPU v5p[15]	TPU v6 (Trillium)[16]	TPU v7 (Ironwood)[17]
Дата выхода	2016	2017	2018	2021	2023	2023	2024	2025
Технологический процесс	28 нм	16 нм	16 нм	7 нм
Размер чипа (мм2)	331	< 625	< 700	< 400	300—350
Встроенная память (Мб)	28	32	32	32	48	48
Тактовая частота (МГц)	700	700	940	1050		1750
Оперативная память	8 Гб DDR3	16 Гб HBM	32 Гб HBM	32 Гб HBM	16 Гб HBM2	95 Гб HBM2	32 Гб	192 Гб HBM
Пропускная способность памяти	34 Гб/с	600 Гб/с	900 Гб/с	1200 Гб/с	819 Гб/с	2765 Гб/с	1640 Гб/с	7.37 Тб/с
Тепловая схема питания (Вт)	75	280	220	170
TOPS (Трлн. операций в секунду)	23	45	123	275	197 (bf16) 393 (int8)	459 (bf16) 918 (int8)	918 (bf16) 1836 (int8)	4614 (fp8)
TOPS/Вт	0.31	0.16	0.56	1.62				4.7