Бренд TRUSTA від ADATA представляє нове програмно-апаратне рішення для інференсу ШІ, яке долає обмеження відеокарт, задіюючи системну пам’ять та накопичувачі, такі як SSD.
Закінчується VRAM на GPU? Нове рішення від ADATA TRUSTA долає обмеження ШІ, розгортаючи моделі на GPU, системну пам’ять та SSD
Інференс ШІ та стрімкий розвиток агентних робочих процесів справили величезний вплив на технологічну індустрію. Попит шалено зростає, а пропозиція ледве встигає.
Компанії, що займаються розробкою ШІ, потребують більше пам’яті на прискорювачах, таких як GPU, тоді як нещодавній сплеск активності навколо CPU призвів до значного зростання вимог до системної пам’яті. На цьому тлі TRUSTA, дочірній бренд ADATA, випустив нове рішення під назвою “AI Scaler Extended Memory”, яке має допомогти подолати зростаючі вузькі місця в пам’яті, об’єднуючи всю доступну в системах пам’ять із рішеннями для зберігання даних, такими як SSD, які можуть одночасно використовуватися для розгортання моделей.
Прес-реліз: TRUSTA, бренд корпоративних накопичувачів від лідера в галузі пам’яті ADATA Technology Co., офіційно запускає рішення TRUSTA AI Scaler Extended Memory Solution. Як піонер галузі, TRUSTA представляє AI Scaler Toolkit як ядро рішення, розширюючи розгортання моделей ШІ за межі архітектур, що залежать виключно від GPU, на системну пам’ять та високошвидкісні SSD. Це програмно-апаратне інтегроване рішення допомагає підприємствам подолати обмеження пам’яті GPU та знизити витрати на розгортання ШІ більш ніж на 50% у сценаріях інференсу та тонкої настройки моделей.
Запуск також знаменує еволюцію ADATA від бренду пам’яті та накопичувачів до постачальника інтегрованих програмно-апаратних рішень, підтверджуючи свою відданість створенню більш ефективної, масштабованої та гнучкої локальної інфраструктури ШІ для глобальних підприємств.
Переосмислення ієрархії пам’яті для прискорення впровадження ШІ зі зниженням витрат на розгортання більш ніж на 50%
За прогнозами аналітичних компаній, інфраструктура ШІ зростатиме зі середньорічним темпом зростання приблизно 26% до 2034 року, при цьому все більше розгортань ШІ виходять за межі хмарних сервісів і переходять до нової фази корпоративного та граничного розгортання. Оскільки організації будують свою інфраструктуру ШІ, такі фактори, як конфіденційність даних, відповідність нормативним вимогам, контрольованість витрат та гравітація даних, спонукали TRUSTA представити нову концепцію: як створити більш економічну та масштабовану конфігурацію пам’яті на рівні GPU, DRAM та SSD локально.
Запуск великих мовних моделей сьогодні часто вимагає висококласних GPU, що створює високі бар’єри для розгортання та обмежує масштабованість. Рішення TRUSTA AI Scaler Extended Memory Storage було розроблено для вирішення цієї ринкової проблеми. Порівняно з архітектурами, що повністю покладаються на пам’ять GPU, AI Scaler Toolkit розширює розгортання моделей на пам’ять GPU, DRAM та SSD, забезпечуючи більш ефективне використання системних ресурсів.
У тестованих сценаріях інференс моделей, який зазвичай потребує кількох GPU, може бути оптимізований для роботи на одному GPU у поєднанні з розширеною системною пам’яттю. Для тонкої настройки моделей рішення також може динамічно розподіляти обчислювальні ресурси між GPU, DRAM та SSD, забезпечуючи більш гнучке масштабування ресурсів, знижуючи витрати на розгортання більш ніж на 50% та допомагаючи підприємствам оцінити впровадження ШІ в межах обмежених бюджетів.
Інновація, відзначена нагородою COMPUTEX, підтримує основні моделі та прискорює інтеграцію ШІ-агентів
AI Scaler Toolkit розроблений як безкоштовна платформа з відкритим кодом, яка не прив’язана до конкретних апаратних конфігурацій, що дозволяє підприємствам, дослідницьким установам та розробникам налаштовувати ресурси відповідно до своїх потреб. Платформа підтримує основні сімейства моделей, включаючи Llama, Qwen, Mistral, Mixtral, GPT-OSS, DeepSeek, Phi та Gemma, з постійним розширенням сумісності з додатковими моделями. Вона також підтримує додатки для ШІ-агентів, такі як OpenClaw, NemoClaw та Hermes Agentic, допомагаючи користувачам інтегрувати AI Scaler у більш повні агентні робочі процеси ШІ.
AI Scaler Toolkit тепер повністю доступний для завантаження та використання. TRUSTA також продемонструє свій новітній корпоративний SSD PCIe Gen5 TD7P51 ECO на COMPUTEX, пропонуючи обсяги до 15,36 ТБ та підтримку кількох форм-факторів, включаючи U.2, E1.S та E3.S. SSD також включає такі технології, як FDP (Flexible Data Placement), що підвищує надійність та стабільність завдяки інтелектуальному розміщенню даних. Продукти TRUSTA також були протестовані на багатьох провідних світових серверних платформах, ще більше зміцнюючи портфель корпоративних накопичувачів бренду для застосувань ШІ, хмарних обчислень та центрів обробки даних.
Про автора: Хассан Муджтаба, інженер-програміст за освітою та ентузіаст ПК за покликанням, є старшим редактором розділу апаратного забезпечення Wccftech. Маючи багаторічний досвід роботи в галузі, він спеціалізується на глибокому технічному аналізі процесорів та GPU наступного покоління, материнських плат та систем охолодження. Його робота включає не лише висвітлення новин про майбутні технології, але й extensive hands-on огляди та тестування.
Слідкуйте за Wccftech на Google, щоб отримувати більше наших новин у своїх стрічках.
Подальше читання
ASUS натякає на золотисто-чорну відеокарту RTX 50 Series BTF ASUS ROG Astral у відео до 20-ї річниці ROG
Сарфраз Хан
ZOTAC відзначає 20-річчя, розігруючи відеокарти RTX 50 Series, міні-ПК та корпуси напередодні Computex
Сарфраз Хан
NVIDIA вичерпує весь запас CPO-рейок Foxconn достроково, змушуючи складальника пропустити виставку на Computex цього року
Хассан Муджтаба
ASUS повертає свій легендарний мідний радіатор ROG Crosshair 2006 року для материнської плати 20-ї річниці
Сарфраз Хан
Чи варто купувати? (Порада ІТ-Блогу): Рішення TRUSTA AI Scaler Extended Memory пропонує вражаючу економію коштів (понад 50%) та гнучкість для розгортання ШІ, долаючи обмеження пам’яті GPU шляхом використання системної пам’яті та SSD. Для компаній, які шукають ефективніші та доступніші способи впровадження ШІ, це дуже перспективний варіант, особливо з урахуванням того, що це програмне рішення з відкритим кодом.
Подробиці можна знайти на сайті: wccftech.com