Знакомство с тензорными процессорами Google (TPU) — специализированными чипами, которые меняют возможности ИИ в современных центрах обработки данных.

Забудьте о графических процессорах. Если вы серьёзно настроены на аппаратное обеспечение для ИИ, вы будете обучать и обслуживать модели с помощью TPU. По крайней мере, именно так вы бы поступили на месте Google, и, возможно, если бы вы были клиентом Google Cloud. Для всех остальных TPU на самом деле не являются жизнеспособным аппаратным решением для ИИ, поскольку Google не продаёт физические устройства третьим лицам.

Вот краткий обзор роли TPU в рабочих нагрузках ИИ . Подробнее читайте дальше: мы подробно расскажем вам о TPU в центрах обработки данных.

Что такое TPU?

TPU (тензорный процессор) — это тип вычислительного чипа, оптимизированного для обучения и обслуживания определённых типов моделей искусственного интеллекта. Более конкретно, TPU — это разновидность специализированной интегральной схемы (ASIC). ASIC — это любой тип чипа, разработанный для определённой задачи. В случае TPU такой задачей являются рабочие нагрузки искусственного интеллекта. TPU относятся к категории «ускорителей искусственного интеллекта» — специализированного оборудования, предназначенного для оптимизации рабочих нагрузок машинного обучения.

Компания Google начала разрабатывать TPU в 2015 году для использования в собственных проектах искусственного интеллекта. С 2018 года компания предоставила их другим компаниям, в первую очередь, предлагая облачные серверы на базе TPU в Google Cloud. Ниже мы объясним, как получить доступ к TPU.

Как работают TPU?

Поскольку TPU являются собственной разработкой Google, полное описание их работы недоступно для общественности. Однако на высоком уровне они используют архитектуру, которая помещает данные и параметры модели ИИ в матрицу, а затем обрабатывает их параллельно.

Этот подход полезен для задач ИИ, использующих глубокое обучение или обучение с подкреплением — методы, лежащие в основе большинства основных больших языковых моделей (LLM), доступных сегодня. Таким образом, хотя Google начала работать над TPU за несколько лет до начала нынешней моды на генеративный и агентный ИИ , TPU оказались очень эффективными для поддержки моделей, лежащих в основе современных технологий ИИ.

Для чего используются TPU?

TPU могут выполнять две ключевые задачи для центров обработки данных ИИ:

TPU против GPU

TPU аналогичны графическим процессорам (GPU), которые также могут использоваться для обучения и обслуживания моделей искусственного интеллекта. Оба типа чипов представляют собой специализированное оборудование, превосходно подходящее для поддержки искусственного интеллекта.

Однако между TPU и GPU есть несколько ключевых различий:

• Область применения : TPU относится к конкретному семейству микросхем, разработанных Google. GPU — более широкий термин, охватывающий тысячи отдельных устройств, выпускаемых различными производителями.

• Фокус : TPU изначально разрабатывались специально для задач ИИ, а их архитектура была разработана специально для обработки данных в нейронных сетях. Графические процессоры же изначально создавались для рендеринга графики, а затем были адаптированы для использования ИИ благодаря своим возможностям параллельной обработки.

• Доступность : Как мы объясним ниже, большинство TPU купить невозможно. Однако графические процессоры можно легко приобрести и установить в любом месте.

Какие версии TPU доступны?

С 2015 года Google выпустила семь основных версий своих TPU. По данным Google, каждая новая версия отличалась повышенной скоростью и энергоэффективностью.

Кроме того, Google традиционно продвигает новые продукты TPU как решения, отвечающие меняющимся потребностям искусственного интеллекта. Например, компания заявляет, что её новейшая модель TPU, TPU v7 (Ironwood), оптимизирована для проактивной генерации информации .

Кому нужны TPU?

В целом, любая команда, разрабатывающая модели ИИ, может потенциально выиграть от использования TPU для ускорения обучения моделей и вывода результатов. TPU могут выполнять рабочие процессы ИИ быстрее, чем графические процессоры. Google также рекламирует TPU как энергоэффективные , что не всегда соответствует действительности в случае с другими типами оборудования для ИИ.

Тем не менее, тот факт, что сторонние компании не могут устанавливать и контролировать TPU напрямую, затрудняет получение точных данных об их энергоэффективности в различных сценариях. Также неясно, насколько энергоэффективны сами TPU по своей природе и насколько они эффективны в центрах обработки данных, использующих инновационные технологии охлаждения, такие как жидкостное охлаждение , для экономии энергии. Google заявила , что использует жидкостное охлаждение для TPU.

TPU особенно хорошо подходят для задач, связанных с LLM, обработкой естественного языка, задачами компьютерного зрения и рекомендательными системами. Организации, использующие сложные модели на основе преобразователей, такие как BERT или T5, или те, кому требуется высокопроизводительный вывод для таких услуг, как перевод в реальном времени или модерация контента, могут найти TPU особенно полезными.

Собственные сервисы Google , такие как «Поиск», «Фотографии» и «Карты», используют TPU для реализации возможностей искусственного интеллекта.

Где я могу купить TPU?

Если вы хотите приобрести TPU, то у нас для вас плохая новость: вы, вероятно, не сможете приобрести нужный вам тип TPU. Большинство TPU, разработанных Google, доступны только в виде IaaS-продуктов через сервис Google Cloud TPU , который является эквивалентом предложения GPU-as-a-Service , но предоставляет доступ к TPU вместо графических процессоров.

Это означает, что вы можете арендовать серверы, оснащённые TPU, и использовать их для обучения и вывода ИИ. Однако вы не можете установить TPU на своём собственном сервере или в центре обработки данных.

Есть одно исключение: продукт, известный как Edge TPU, менее мощная версия TPU, работающих в центрах обработки данных Google Cloud. Приобрести Edge TPU можно через Coral , компанию Google, занимающуюся разработкой технологий искусственного интеллекта. Edge TPU могут быть полезны для обучения или запуска моделей на локальных компьютерах или специализированном периферийном оборудовании, но они не заменяют чипы искусственного интеллекта уровня центров обработки данных.

Её конек схемы в бизнесе, банковской и финансовой сфере.