Майданчиком для розвитку фізичного ШІ стала гра в “Дженгу” на складі в Сан-Леандро, Каліфорнія.
Цей склад належить компанії Encord, яка розробляє інструменти для навчання ШІ-моделей. Ендрю Сеха, якого в компанії називають “пілотом” (оператором роботизованих систем), обережно витягує дерев’яні блоки з хисткої вежі. Він одягнений у гарнітуру з камерою, яка відстежує його погляд, що є досить стандартним для збору даних для навчання роботів. Однак ця гарнітура також оснащена датчиками, які вимірюють його мозкові хвилі під час обережного розбирання вежі.
Encord — одна з численних стартапів, які роблять ставку на те, що головним обмеженням для розвитку гуманоїдних та складських роботів стане не архітектура моделей, а критична нестача реальних фізичних даних для навчання. Замість того, щоб просто допомагати компаніям керувати наявними даними, Encord активно займається створенням даних, яких бракує.
Гарнітуру для вимірювання мозкових хвиль, яку носить Сеха, розробила німецька нейронаукова компанія Zander Labs. Вони вважають, що аналіз мозкової активності для визначення таких станів, як помилка, намір і здивування, дозволить створити більш цінний набір даних для навчання моделей. Співпраця Encord з Zander наразі є пілотним проєктом. Encord планує створити початковий набір даних із показниками мозкових хвиль, протестувати його на клієнтських робототехнічних моделях та оцінити реальне покращення продуктивності, перш ніж ухвалювати рішення про масштабування.
За словами Лукаса Ґерке, нейробіолога Zander, який наглядає за роботою, обсяг мозкової активності під час виконання певного завдання надає цінну інформацію для розробників моделей, допомагаючи їм зрозуміти, коли слід задіювати найскладніші моделі.
Це “передовий рубіж” зусиль для подолання “вузького місця” в даних для робототехніки, вважає Вінет Вельмуруган, керівник відділу навчання роботів в Encord. Вельмуруган, який має досвід роботи в робототехнічній лабораторії OpenAI та у фірмі Berkshire Grey, що спеціалізується на автоматизації складів, приєднався до Encord, щоб створити команду з генерації даних.
Encord була заснована для допомоги компаніям, що розробляють системи машинного зору, в анотації даних та оцінці моделей. Оскільки їхні клієнти — за словами Вельмуругана, це багато провідних компаній у сфері робототехніки, назви яких він не може розголошувати — почали застосовувати наскрізне навчання до завдань маніпуляції роботами, керівництво компанії усвідомило необхідність самостійного створення навчальних даних, а не лише їх управління. “Даних просто не існує”, — зазначив Вельмуруган.
Ставка на те, що генеративний ШІ зможе зробити для роботів те саме, що й для чат-ботів, постійно натикається на цю проблему. Компанії, що розробляють автономні автомобілі, самостійно збирають дані з реального світу, але це важко масштабувати. Навчання на основі відео може працювати, але йому бракує точності реальних даних. Вельмуруган вважає, що для досягнення прориву знадобиться набір даних, що вп’ятеро перевищує відеоархів YouTube. Саме такі масштаби пояснюють, чому генерація даних стала самостійним бізнесом, а не лише дослідницькою проблемою.
Задоволення ваших “егоцентричних” потреб у даних
Компанії, що створюють “мізки” для роботів, зараз звертаються до двох основних джерел: “егоцентричного” відео, зібраного працівниками з камерами (часто доповненого додатковими ракурсами та іншими метриками), та даних від роботів, керованих дистанційно. Encord використовує обидва підходи: отримує егоцентричні дані з кількох фабрик по всьому світу та використовує свій об’єкт у Сан-Леандро для експериментів з новими модальностями, такими як мозкові хвилі, або для збору наборів даних для конкретних навичок.
Під час візиту TechCrunch пілоти використовували системи “лідер-послідовник” — пари роботизованих рук, одна з яких безпосередньо керується оператором, а інша повторює її рухи — для створення даних щодо таких завдань, як переливання кави з глечика в чашки (дуже непередбачувано) та складання гральних фішок. “Кожна компанія, що займається гуманоїдними роботами, зверталася до нас із цими запитами”, — розповідає Вельмуруган.
На полицях зберігалися коробки з штучними квітами у вазах, книгами, пластиковими овочами, лотками та совочками для котячого наповнювача, мішками та мотками дротів — усім, що потрібно для навчання маніпуляторів для побутових завдань.
На одній зі станцій інший пілот, Софія Інфанте, керує роботизованими руками, підключаючи та відключаючи Ethernet-кабелі з задньої панелі сервера — саме тією роботою, яку оператори центрів обробки даних хотіли б автоматизувати, якби роботи могли маніпулювати ними з необхідною точністю. Спробувавши себе за пультом керування, я особисто переконався, чому це досі залишається недосяжним: пінцети значно менш спритні, ніж людські пальці, і їм бракує ступенів свободи, які ми вважаємо само собою зрозумілими в наших руках.
Ще одна нова модальність даних, яку розробляє Encord, використовує набір датчиків, закріплених на передпліччі, для виявлення електричних сигналів у м’язах. Відео, де людські руки маніпулюють об’єктами, зазвичай не охоплює всю руку, але Вельмуруган сподівається створити 3D-зображення положення руки в будь-який момент часу на основі даних з датчиків на руці, що забезпечить більш надійне розуміння для моделей.
Набори даних Encord анотуються фізичними описами вмісту кожного відео — “права рука затягує болт” — щоб допомогти моделям на основі LLM зрозуміти, що відбувається. Вельмуруган оцінює, що такий щільний тип анотації в 100 разів цінніший за “сміттєві его-дані” для навчання конкретних завдань, а його виробництво коштує лише в 20 разів дорожче, що, на папері, є вигідним обміном.
Однак “у 20 разів дорожче” — це все ще реальні гроші, і в цьому полягає складність: вилучення тексту з Інтернету, як це робили розробники LLM, збираючи дані зі Stack Overflow та інших ресурсів, коштувало передовим лабораторіям майже нічого. Генерація фізичних навчальних даних такого не передбачає, і це відрізняє фізичний ШІ від LLM. Такі дані потрібно створювати, а не просто збирати, і це змінює економіку створення цих моделей.
Вельмуруган зазначає, що прогрес досягається: завдяки видимості Encord у програмних продуктах галузі він бачить, як стартапи та передові лабораторії знаходять ефективні рішення для вдосконалення фізичних ШІ-моделей. Така позиція — бути посеред багатьох компаній-розробників робототехніки — також є частиною пропозиції Encord. Компанія може виявляти, які методи збору даних набувають поширення в галузі, ще до того, як це зрозуміє будь-який окремий клієнт.
Це забезпечить роботу десяткам пілотів на об’єкті Encord. Інфанте та Сеха є частиною зростаючої робочої сили, що розробляє будівельні блоки для нейронних мереж; раніше вони працювали в Scale, іншій компанії з анотації даних для ШІ, перш ніж приєднатися до Encord.
Сеха раніше працював у компанії з управління відходами, де його інтерес до технологій призвів до того, що він відповідав за належний стан роботизованого сортувальника сміття. Зараз, коли вежа “Дженга” падає, він каже, що йому подобається складність вирішення навчальних завдань для роботів: “Щодня щось нове!”
Купуючи товари за посиланнями в наших статтях, ми можемо отримувати невелику комісію. Це не впливає на нашу редакційну незалежність.
За даними порталу: techcrunch.com