Компанія Runway тижні витратила на усунення наполегливого багу: аватари, згенеровані ШІ, зміщувалися з центру під час генерації відео в реальному часі. Вирішення проблеми полягало не в патчі для бекенду, а в новій функції фронтенду, яка обходила цю проблему. Саме такий урок Райан Філліпс, керівник відділу корпоративних продуктів Runway ML, представив на VB Transform 2026, стверджуючи, що навіть компанії, які не створюють базові моделі самостійно, можуть отримати користь з того, як Runway їх розробляє, оцінює та випускає.
«Я думаю, навіть якщо ви не створюєте моделі самостійно, корисно дізнатися, як ми це робимо, тому що, на мою думку, майже всі ці уроки застосовні до того, чим ви займаєтеся щодня», — сказав Філліпс.
Runway — це дослідницька компанія в галузі прикладного ШІ, яка створює загальні моделі світу для живлення генеративних інструментів. Під час своєї презентації Філліпс продемонстрував Runway Characters — модель відео в реальному часі, яка забезпечує взаємодію з ШІ-аватарами з нульовою затримкою та безперервним спілкуванням. П’ять років тому створення відео з нерозбірливим текстом та низькою частотою кадрів вимагало від художників сотні годин зшивання окремих кадрів, зазначив він. Сьогодні моделі Runway генерують інтерактивне відео «на льоту».
«Вивчення того, як ми створюємо ці моделі в реальному часі, може надихнути вас на створення та розгортання реальних можливостей у ваших компаніях вже сьогодні, незалежно від того, чи є вони агентними, чи ні», — додав він.
Розвінчуємо міфи про оцінку (evals)
Створення надійного ШІ-продукту починається з високоякісного набору даних для оцінки. Однак створення цього набору не може бути виключно інженерним завданням. Це вимагає глибокої міжфункціональної взаємодії між командами продукту, дизайну, досліджень та продажів для визначення того, що насправді означає «якість».
Філліпс наголосив на проведенні внутрішніх воркшопів, де члени команди спільно переглядають згенеровані приклади. Мета — узгодити всю організацію щодо конкретних сценаріїв збоїв, щоб усі мали єдине визначення успішної генерації.
«Ми витратили багато часу, працюючи з нашою командою, переглядаючи приклади… того, як виглядає успіх і невдача, до найдрібніших деталей», — сказав Філліпс.
Результатом має бути набір даних для оцінки, що охоплює широкі випадки використання клієнтами, а також екстремальні граничні випадки. Наприклад, Філліпс зазначив, що для забезпечення передбачуваної поведінки моделі при виході за межі стандартних людських рис обличчя вони використовували «Зуб» — нелюдського персонажа без носа та з дуже незвичайними зубами.
При оцінці цих генерацій команда Runway шукає тонкі артефакти. В одному з прикладів відео, де обличчя персонажа залишалося неушкодженим, але фонові елементи, як-от сітка, почали спотворюватися, було суворо оцінено як збій.
Попри передову природу продукту, інструмент, який Runway використовує для відстеження цих оцінок, простий: таблиця Excel. Команда щодня реєструє тести, класифікуючи результати як «незначні» або «суттєві» збої відповідно до заздалегідь визначеного показника проходження.
«Ми встановлюємо планку перед початком роботи щодо відсотка, який нам потрібно пройти, і коли ми досягаємо цього, ми випускаємо модель», — сказав Філліпс. «Тож це не магія».
Для корпоративних розробників, які стикаються з невизначеною якістю у своїх конвеєрах реального часу, ручна оцінка у великих масштабах є вузьким місцем. Щоб вирішити цю проблему, Філліпс зазначив, що розробники можуть покладатися на мовні моделі для автоматизації процесу візуальної оцінки.
«LLM стають досить хорошими в ролі судді для значної частини цього контенту, особливо для типів спотворень або змін, які ви побачите в наборі для оцінки», — сказав він. Команди також можуть надавати LLM контекст поза екраном (наприклад, ескіз від руки або структурний макет реклами), щоб керувати процесами генерації та валідації, забезпечуючи якість без збільшення когнітивного навантаження на кінцевого користувача.
Навчання моделей та перетворення багів на функції
Надання генеративного відео в реальному часі вимагає високооптимізованого технічного стеку. Процес починається з попереднього навчання великої базової моделі, що є ресурсомістким і повільним для генерації результатів. Для досягнення затримки в реальному часі Runway використовує дистиляцію, де менша, швидша «студентська» модель навчається імітувати велику «вчителеву» модель. За словами Філліпса, дистиляція допомагає Runway скоротити «від 80 до 90% часу генерації».
Потім команда застосовує до дистильованої моделі вороже пост-тренування (APT). Ця техніка змушує модель постійно вдосконалюватися, тестуючи її проти системи, розробленої для виявлення її недоліків, допомагаючи відновити візуальну чіткість, втрачену під час процесу дистиляції.
Однак зміна архітектури моделі призводить до нових проблем. Фази дистиляції та APT спричинили наполегливий баг: персонажі могли хитатися або зміщуватися з центру кадру під час генерації в реальному часі.
Команда витратила тижні на спроби виправити основну модель, щоб усунути це зміщення, зазначив він. Зрештою, вони виявили, що якщо початкове зображення користувача було ідеально центрованим, згенероване відео залишалося стабільним. Замість того, щоб витрачати більше часу на виправлення в бекенді, Runway переорієнтувалася на рішення з точки зору користувацького досвіду.
«Що ми зробили, коли помітили це під час наших оцінок: ми сказали: “А що, якби ми просто запропонували це як функцію?” Якщо користувач надає нам персонажа, який повернутий ліворуч, ми знаємо, що відео буде спотворюватися. Давайте просто виправимо це для них», — сказав Філліпс.
Вони впровадили функцію фронтенду під назвою «Оптимізувати для якості зображення», яка автоматично перецентрує зображення користувача перед початком генерації. Перетворюючи обмеження бекенд-моделі на інструмент фронтенду, користувачі сприймали це як корисну функцію, а не як інженерний недолік.
«Перетворюйте обмеження моделі на продуктні функції, щоб ви могли розширити можливості роботи моделі», — порадив Філліпс. «Всередині це може здаватися обмеженням, але ваші клієнти не сприйматимуть це так, якщо ви вбудовуєте це як функцію продукту».
Диявол криється в деталях інфраструктури
Надання відео по всьому світу зі швидкістю 24 кадри на секунду вимагає оптимізації кожного рівня інфраструктурного стеку. Це охоплює кешування та паралельне декодування, аж до глибоких змін ядра в партнерстві з постачальниками обладнання, такими як Nvidia.
Невдовзі після запуску Runway Characters команда помітила, що 8% викликів API падали до 16 кадрів на секунду, що призводило до переривчастого відео для клієнтів.
Пошук першопричини вимагав глибокої спостережуваності. Команда використовувала ШІ-агента на базі Claude разом з інструментами моніторингу, такими як Datadog та Sentry, для відстеження аномалії. Сеанс налагодження ізолював проблему до одного дата-центру в регіоні us-east-1.
«Рішення полягало не в тому, щоб виправити щось або змінити конфігурацію», — пояснив Філліпс. «Вони фактично фізично замінили ці GPU в дата-центрі, щоб вирішити проблему, і це в кінцевому підсумку вирішило проблеми».
Для корпоративних команд, що розгортають додатки реального часу, висновок очевидний: аномалії в апаратному забезпеченні та інфраструктурі безпосередньо впливатимуть на продуктивність моделі, вимагаючи суворих можливостей налагодження по всьому стеку.
«Не забувайте про всі дрібниці, адже їх так багато, коли ви розгортаєте ці моделі», — сказав Філліпс.
Виживання у «пеклі збоїв» та майбутнє світобудови
Розробка систем ШІ рідко буває лінійним процесом. Команди часто тижнями застрягають на одній проблемі без видимої перспективи її вирішення — фаза, яку Філліпс назвав «пеклом збоїв».
«Ми вважаємо, що ви повинні пройти через цей біль і дійсно боротися з проблемою деякий час, перш ніж досягти прориву», — сказав він. Постійна ітерація врешті-решт вирівнює криву складності, викликаючи раптові, експоненціальні покращення.
У міру того, як базові моделі долають ці технічні перешкоди, роль корпоративних креативників також кардинально змінюється. Традиційно команди маркетингу та дизайну зосереджувалися на створенні окремих активів, таких як конкретна реклама чи ілюстрація. В епоху генерації в реальному часі та агентних робочих процесів ця парадигма зміщується до визначення параметрів, естетики та інтелектуальної власності.
«Можливо, ви не будете розробляти окрему рекламу, але ви можете розробити світ, з якого потім агент або модель відео в реальному часі зможе генерувати рекламу», — сказав Філліпс.
Оригінал статті: venturebeat.com