Amazon Web Services (AWS) випустила інструмент TorchNeuron, який дозволяє стартапам у сфері штучного інтелекту (ШІ) легко переносити свої ШІ-додатки на чип Trainium від Amazon. Цим кроком Amazon безпосередньо кидає виклик програмній перевазі, яка допомогла Nvidia стати основним вибором апаратного забезпечення для ШІ-додатків і стимулювала її зростання як постачальника такого обладнання.
TorchNeuron працює з PyTorch — безкоштовним інструментарієм з відкритим кодом, який розробники використовують для створення, навчання та запуску моделей ШІ. Згідно із заявою Amazon, він дозволяє ШІ-додаткам, написаним за допомогою PyTorch, працювати на Trainium, змінивши лише один рядок конфігурації, без необхідності переписувати код.
Amazon стверджує, що близько 85% ШІ-додатків написані з використанням PyTorch. Спочатку його розробила компанія Facebook, але з 2022 року він став частиною Linux Foundation, яка підтримує проекти з відкритим кодом. Nvidia роками забезпечувала, щоб її програмне забезпечення CUDA — програмна інфраструктура, яка дозволяє додаткам працювати на графічних процесорах Nvidia та іншому обладнанні — безперебійно підтримувало ШІ-додатки, написані з використанням PyTorch. В результаті обладнання Nvidia зараз глибоко інтегроване в цей інструментарій, фактично за замовчуванням.
TorchNeuron адаптований з PyTorch, тому розробники, знайомі з PyTorch, вже знають, як його використовувати. Amazon — не перша компанія, яка намагається легко інтегрувати свої чипи на цю платформу. Користувачі PyTorch також можуть переносити свої додатки на графічні процесори AMD або навіть чипи Apple за допомогою простої зміни конфігурації.
Однак Amazon стверджує, що перенесення на Trainium не тільки легке, але й надає стартапам у сфері ШІ доступ до всього хмарного середовища Amazon. Не дивно, що AWS вважає це кращим вибором для стартапів, ніж використання неохмар, багато з яких прив’язані до Nvidia та її обладнання, як-от CoreWeave, Nebius та Firmus.
«Ви будуєте на AWS. Ви не робите ставку на постачальника обчислень загального призначення і не метушитеся, щоб побудувати все інше навколо нього», — заявив Колін Брейс, віцепрезидент з технологічного програмного забезпечення в AWS Annapurna Labs (підрозділ, який створює власні чипи Amazon), у електронному листі TechCrunch. «На AWS, — продовжив він, — інфраструктура для переходу від прототипу до виробництва вже існує, дозволяючи засновнику швидко рухатися та масштабуватися, коли це необхідно».
AWS стверджує, що оскільки один і той самий чип обробляє як навчання (навчання моделі ШІ), так і висновки (використання готової моделі, наприклад, під час відповіді на запитання користувача), і тісно інтегрований з хмарною інфраструктурою, яка потрібна стартапам, їхнє хмарне рішення заощадить їм кошти, навіть якщо AWS не пропонує найнижчої ціни за токен.
«Цінність Trainium полягає в співвідношенні ціни та продуктивності, а також у тому, що це єдина платформа для навчання та висновків, що покращує економіку всього робочого навантаження», — сказав Брейс. «Подивіться на Deepgram — вони перейшли на Trainium, використовуючи нативну підтримку PyTorch, і обробляють на 70% більше аудіо за долар при виробничій точності». Deepgram — постачальник додатків для голосового ШІ, конкурент ElevenLabs.
Але Amazon не зупиняється на тому, щоб просто надати розробникам додатків PyTorch легкий варіант для переходу на своє хмарне рішення.
Amazon також заявляє, що просуває PyTorch, аби він менше автоматично орієнтувався на Nvidia, і зробить внесок кодом для цього до основного проекту PyTorch. У дописі в блозі, де анонсується новий інструмент, компанія зазначила:
Підхід Amazon виходить за рамки власного обладнання. Компанія вносить зміни в сам PyTorch, співпрацюючи зі спільнотою PyTorch, щоб видалити код, який прив’язує фреймворк до конкретних чипів. Мета — зробити PyTorch більш апаратно-незалежним для всієї спільноти розробників, а не тільки для користувачів Trainium.
Хоча така тактика, безсумнівно, вигідна тим, хто продає обладнання та хмарні послуги, що конкурують з Nvidia, одним із завдань PyTorch є приховування всіх складних аспектів запуску коду ШІ на обладнанні. Нам доведеться почекати і побачити, чи призведе витіснення Nvidia до більшого вибору та доступніших варіантів для розробників, як обіцяє Amazon, чи лише до нових труднощів з конфігурацією.
У будь-якому випадку, якщо Amazon вдасться глибоко від’єднати PyTorch від Nvidia, це може мати набагато серйозніші наслідки для гіганта GPU, ніж просто конкуренція з іншими виробниками чипів. Як зазначив Брейс: «Справжня історія полягає в усуненні прив’язки, яка позбавляла розробників справжнього вибору».
Оригінал статті: techcrunch.com