Поточні обмеження в сфері DRAM змушують AI-гіперскейлерів вдаватися до незвичайних рішень, щоб отримати вкрай необхідну пам’ять. Схоже, Google саме це робить, розбираючи старі сервери на компоненти та вилучаючи модулі DDR4.
Google повторно використовує старі модулі DDR4 зі списаних серверів, створюючи власну ланцюжок постачання
Ніхілл Черіан, старший директор з інфраструктури ланцюгів постачання Google, нещодавно повідомив на саміті, що індустрія ШІ стрімко перейшла від дефіциту обчислювальних потужностей до дефіциту пам’яті. Високопродуктивна пам’ять вже становить приблизно 75% вартості всіх компонентів (BOM) типового ШІ-сервера.
За словами Черіана, щоб “подолати вузьке місце в пам’яті, Google одночасно працює над програмними та апаратними рішеннями”. Компанія навіть розбирає списані сервери для повторного використання компонентів, таким чином створюючи внутрішній ланцюжок постачання.
Google розробила спеціальні апаратні адаптери, що дозволяють підключати пам’ять попередніх поколінь, як-от DDR4, до нових ШІ-серверів. Черіан підтвердив, що Google спеціально повертає старі сервери, щоб вилучати з них модулі DDR4.
Водночас технологічний гігант продовжує оптимізувати базові бібліотеки функцій, архітектуру моделей і стиснення KV Cache, намагаючись зменшити використання пам’яті на одиницю обчислювальної потужності.
Для тих, хто не в курсі, цього року Google представила два варіанти своїх ASIC-процесорів TPU: TPU8t призначений для тренування ШІ-моделей, а TPU8i оптимізовано для висновків (inference).
TPU8i від Google використовує висококласні спеціалізовані рівні пам’яті для усунення вузьких місць у продуктивності:
- Кожен чіп TPU 8i оснащено 288 ГБ пам’яті HBM3e, що забезпечує надшвидку пропускну здатність пам’яті 8,6 ТБ/с.
- ASIC також інтегрує 384 МБ вбудованої SRAM для зберігання активного KV-кешу, що дозволяє уникнути звернень до зовнішньої системної оперативної пам’яті.
- Сервери TPU 8i повністю замінюють старі хост-процесори x86 на власні процесори Google на базі Arm — Axion, які використовують високошвидкісну архітектуру пам’яті DDR5 для хост-рівневих завдань, як-от попереднє оброблення даних.
Зважаючи на нещодавнє зізнання Черіана, схоже, Google змушений використовувати старіші модулі DDR4 замість DDR5 у своїх нових ШІ-серверах, принаймні в деяких випадках.
Micro Center пропонує конкурента Steam Machine: ігровий ПК з Ryzen 5 5600X3D, RX 7600 та 16 ГБ ОЗП за $899
MSI використовує дешевшу DDR4 для свого ноутбука Katana 15 з RTX 5070 на тлі зростання цін на DDR5
Сервіс „довічної гарантії“ Patriot Memory змушує клієнта платити понад 80% вартості ОЗП за доставку, посилаючись на політику компанії
Чому продуктивність пам’яті важливіша, ніж будь-коли, у сучасних обчисленнях
Інформація підготовлена на основі матеріалів: wccftech.com