Google розширила лінійку прискорювачів TPU восьмого покоління двома новими системами – TPU 8tx та TPU 8i Max. Перша призначена для безпечного запуску моделей ШІ та автономних агентів із конфіденційними даними, а друга – для роботи з великими контекстами, що містять мільйони токенів.
TPU 8tx оптимізована для конфіденційних обчислень та інференсу, а також підходить для навчання моделей у невеликих масштабах. Вона побудована на тому самому кремнії, що й TPU 8t, але має додатковий захист на апаратному рівні. Це дає змогу ізолювати чутливі дані та ваги моделей навіть під час обробки. Система також використовує процесори AMD EPYC п’ятого покоління та мережу Boardfly з низькою затримкою. За даними Google, це забезпечує до двох разів меншу затримку порівняно з TPU 8t майже без втрати продуктивності.
TPU 8tx також дає змогу навчати моделі на приватних даних, зменшувати їх за допомогою дистиляції та вдосконалювати ШІ-агентів через навчання з підкріпленням без перенесення конфіденційної інформації між окремими обчислювальними кластерами.
Друга новинка, TPU 8i Max, призначена для завдань, у яких продуктивність обмежує швидкість обміну даними з пам’яттю. Google об’єднала два чипи TPU 8i в одному корпусі. У результаті система отримала вдвічі більше обчислювальних ресурсів, удвічі більший обсяг SRAM і вдвічі вищу пропускну здатність пам’яті HBM порівняно зі звичайною TPU 8i.
За словами компанії, TPU 8i Max також вміщує вдвічі більше кремнієвих компонентів у межах тієї самої площі серверної стійки. Це дозволяє центрам обробки даних розміщувати більше обчислювальних потужностей на тій самій площі.
Обидві системи доповнюють представлені раніше TPU восьмого покоління. TPU 8t призначена для масштабного навчання великих моделей, а TPU 8i – для виконання завдань із міркуваннями в реальному часі. За даними Google, порівняно з попереднім поколінням, TPU 8t забезпечує до 2,7 раза вищу продуктивність навчання, а TPU 8i – на 80% краще співвідношення ціни та продуктивності під час інференсу.
Разом із новими системами Google розвиває програмне забезпечення для роботи з TPU. Зокрема, компанія відкрила вихідний код TorchTPU, завдяки чому на прискорювачах можна запускати код PyTorch і моделі Hugging Face без переписування. Також Google представила інструменти для автоматичного налаштування TPU та запуску моделей.
У компанії зазначають, що тепер TPU використовують майже 100 клієнтів, серед яких ШІ-лабораторії, торгові компанії, роздрібні мережі та університети. Крім власної хмарної інфраструктури Google Cloud, компанія також дозволяє клієнтам розгортати ці прискорювачі у власних центрах обробки даних.
Подробиці можна знайти на сайті: mezha.ua