Переважна більшість бізнес-даних є табличними — вони зберігаються в сховищах даних, CRM-системах та фінансових реєстрах. Проте, побудова надійної моделі для таких даних традиційно вимагає тренування нової моделі “з нуля” для кожного окремого набору даних. Це включає в себе складні процеси налаштування гіперпараметрів, інженерії ознак та конвеєрів для перенавчання, щоб протидіяти дрейфу даних. Google Research пропонує новий підхід: фундаментальну модель під назвою TabFM, яка розглядає табличні прогнози як проблему навчання в контексті (in-context learning).
Ця модель здатна генерувати прогнози для нових, невідомих таблиць за один прямий прохід. Для розробників корпоративних рішень та інженерів ШІ це означає скорочення часу від ідеї до впровадження з тижнів інженерії конвеєрів до одного API-виклику.
Виклики традиційного машинного навчання
Для отримання надійних прогнозів з градієнтних бустингових дерев, науковці даних мусять створювати та підтримувати складні конвеєри даних. Їм потрібно очищати неструктуровані вхідні дані, заповнювати пропущені значення, кодувати категоріальні змінні у числові формати та створювати власні комбінації ознак.
Коли дані готові, необхідно запускати повторювані цикли оптимізації гіперпараметрів, шукаючи найкращу конфігурацію серед параметрів швидкості навчання, глибини дерев, коефіцієнтів підсемплінгу та сіток регуляризації.
«Після впровадження, ці традиційні моделі генерують постійні операційні витрати через моніторинг дрейфу даних та конвеєри перенавчання, щоб залишатися точними», — зазначив Вейхао Конг, науковий співробітник Google Research, у коментарі VentureBeat.
Водночас, решта галузі ШІ вже рушила далі. Генеративні ШІ-моделі для тексту та комп’ютерного зору плавно перейшли до нульового висновку (zero-shot inference), де модель може виконувати абсолютно нове завдання, просто отримавши контекст через запит (prompt).
Великі мовні моделі (LLMs) вже демонструють успіхи в навчанні в контексті, тож чому б не подавати таблиці до готової LLM?
Причина в тому, що LLM навчаються на природній мові, а не на структурованих даних, тому вони мають труднощі з прямою обробкою таблиць. По-перше, їхні обмеження контексту швидко вичерпуються для таблиць середнього розміру, що містять лише кілька тисяч рядків і сотні стовпців. По-друге, LLM страждають від неефективності токенізації, незграбно розділяючи числові значення та руйнуючи математичну точність. Нарешті, вони мають “структурну сліпоту”. Коли двовимірна таблиця серіалізується як одновимірний текстовий рядок, LLM втрачають зв’язок між значенням, рядком і стовпцем у міру зростання таблиці.
«Ось чому сьогодні набагато ефективніше використовувати LLM для написання коду, який обробляє інженерію ознак та викликає XGBoost, ніж просити LLM читати саму таблицю», — пояснив Конг.
Що таке TabFM?
Для виконання висновку з TabFM вам не потрібно оновлювати жодних ваг моделі. Натомість, ви берете ваші історичні приклади (рядки тренування з відомими мітками) та цільові рядки (нові дані, для яких ви хочете отримати прогноз) і передаєте їх моделі як єдиний, уніфікований запит. Модель вчиться інтерпретувати зв’язки між стовпцями та рядками безпосередньо з цього контексту під час виконання.
Наприклад, уявіть аналітика підприємства, який намагається передбачити відтік клієнтів. Замість створення спеціалізованого конвеєра даних та тренування моделі XGBoost, він може просто передати зразок історичних даних сесії користувачів разом з новою активною сесією до TabFM. За один прямий прохід модель видає миттєву ймовірність відтоку.
TabFM долає обмеження LLM, розглядаючи дані як сітку, що зберігає їхню структурну цілісність без примусового перетворення в одновимірний текстовий рядок.
Для ефективної обробки різноманітних табличних структур, одночасно забезпечуючи масштабоване нульове передбачення, TabFM синтезує сильні сторони попередніх експериментальних архітектур: TabPFN та TabICL. TabPFN, розроблена Prior Labs, першою довела, що архітектура трансформера може виконувати класифікацію з нульовим висновком на малих таблицях, хоча вона мала обчислювальні проблеми зі масштабуванням на більші набори даних.
Пізніше TabICL, розроблена Національним дослідницьким інститутом цифрових наук і технологій Франції, усунула цю проблему, ввівши стиснення рядків, що дозволило навчанню в контексті ефективно обробляти значно більші таблиці.
TabFM поєднує глибоку контекстуалізацію ознак TabPFN з ефективним стисненням TabICL у новій гібридній конструкції, побудованій на трьох ключових механізмах:
- 1. Чергування уваги по рядках та стовпцях: Сирі табличні дані спочатку обробляються багатошаровим модулем уваги, який чергується як по стовпцях (ознаки), так і по рядках (приклади). Постійно звертаючи увагу на ці два виміри, модель природно вловлює складні взаємодії між ознаками. Ця глибока контекстуалізація виконує ту кропітку роботу, яка зазвичай вимагає від науковців даних ручного створення ознак.
- 2. Стиснення рядків: Після контекстуалізації, перехресно-звернена інформація для кожного рядка стискається в єдине, щільне векторне представлення. TabICL вперше запровадила це, використовуючи CLS-токени для стиснення багатої інформації рядка в один вектор, «на відміну від TabPFN v2, v2.5 та v2.6, які звертають увагу на повну сітку комірок протягом усієї мережі», — пояснив Конг. Це різко зменшує обчислювальний слід.
- 3. Навчання в контексті (ICL): Каузальний Трансформер потім працює з цією послідовністю стиснених вбудовувань. Ця модель Трансформера використовує механізм уваги TabICL для звернення до цих щільних векторів рядків, що значно знижує обчислювальні витрати та дозволяє моделі ефективно обробляти великі набори даних.
Головною перевагою TabFM є її рецепт попереднього навчання. Модель була повністю навчена на сотнях мільйонів синтетичних наборів даних. Ці набори даних динамічно генерувалися за допомогою структурних каузальних моделей (SCM), які включають широкий спектр випадкових функцій. Навчаючись виключно на синтетичних SCM, TabFM опанувала фундаментальні математичні апріорні знання про взаємодію табличних ознак, не вимагаючи доступу до конфіденційних CSV-файлів реального світу.
TabFM у дії
Щоб протестувати можливості моделі, дослідники Google порівняли TabFM з TabArena — комплексним набором оцінок, що охоплює 51 різноманітний табличний набір даних для 38 завдань класифікації та 13 завдань регресії.
На цих публічних бенчмарках, нульові прогнози TabFM вже відповідають або перевершують результати сильно налаштованих наглядових базових моделей. Однак, Google обережно зазначає, що це не означає автоматично, що TabFM універсально замінить спеціалізовані, гіпер-оптимізовані виробничі моделі для кожного корпоративного навантаження.
«Замість заміни гіпер-оптимізованих виробничих моделей, справжня практична бізнес-цінність, яку вона розблоковує для невеликих інженерних команд, — це швидкість», — сказав Конг. «Вона дозволяє аналітикам даних та інженерам бекенду миттєво створювати високоякісні базові моделі без виділеної команди з науки про дані, яка керує складним життєвим циклом».
Для досвідчених практиків, які прагнуть досягти максимальної точності, команда дослідників також представила конфігурацію “TabFM-Ensemble”. Пропустивши модель через 32 різні варіації та об’єднавши результати, TabFM ще більше покращує продуктивність.
Початок роботи, компроміси та хмарне майбутнє
Перехід до навчання в контексті для таблиць вводить новий економічний компроміс, який повинні враховувати інженерні команди.
З традиційними алгоритмами тренування є повільним і дорогим, але висновок — блискавичним і дешевим. TabFM перевертає цю динаміку. Хоча час тренування падає до нуля, висновок стає значно важчим. Оскільки модель повинна обробляти весь історичний набір даних як контекст під час кожного окремого прогнозу, це вимагає більше обчислювальних ресурсів та пам’яті під час виконання.
У цій новій парадигмі, «традиційне машинне навчання стає фазою «попереднього заповнення» (KV caching) у контекстному вікні», — пояснив Конг. Хоча ця вартість попереднього заповнення є високою, вона оплачується лише один раз для кожної таблиці, а кеш повторно використовується для наступних запитів. «Нюанс полягає в затримці прогнозу, яку не може усунути жодне кешування», — додав Конг. Кожен новий прогноз вимагає проходу через великий трансформер. «Будь-який виробничий API, що вимагає часу відгуку в одиниці мілісекунд, не може витримати накладних витрат на прямий прохід TabFM».
Для розробників, які бажають оцінити модель сьогодні, бар’єр для входу низький. Google розробив TabFM як пряму заміну традиційним робочим процесам машинного навчання, пропонуючи API, сумісний зі scikit-learn (TabFMClassifier та TabFMRegressor). Він нативно обробляє змішані числові та категоріальні стовпці, працює безпосередньо з pandas DataFrames та не вимагає ручних ординальних кодерів або числових масштабувальників. Бібліотека підтримує як бекенди JAX, так і PyTorch.
Однак, корпоративні команди повинні пам’ятати про поточні обмеження та ліцензійні обмеження. Архітектура моделі має жорстке обмеження до 10 вихідних класів для завдань класифікації, і вона оптимізована для таблиць з до 500 ознак. Що важливіше, хоча Google випустив базовий код під дозволеною ліцензією Apache 2.0, попередньо навчені ваги моделі опубліковані на Hugging Face під суворою ліцензією tabfm-non-commercial-v1.0. Розробники можуть оцінювати модель внутрішньо, але її не можна розгортати в комерційних продуктах на даний момент.
Заглядаючи в майбутнє, Google усуває перешкоди для комерційного розгортання через свою хмарну екосистему. TabFM інтегрується безпосередньо в Google BigQuery, дозволяючи аналітикам виконувати прогнози з нульовим висновком нативно через команду “AI.PREDICT”. Розміщуючи висновок фундаментальної моделі безпосередньо поруч зі сховищем даних, TabFM незабаром може зробити складне табличне машинне навчання таким же доступним, як простий запит до бази даних.
На практиці, TabFM демонструє свою ефективність у швидкому прототипуванні, середовищах з високим дрейфом даних та для наборів даних малого та середнього розміру (до 100 000 рядків). І навпаки, команди повинні дотримуватися традиційних моделей для суворих API з наднизькою затримкою або для масивних таблиць, що перевищують мільйон рядків, які наразі вимагають агресивного семплінгу рядків, що знижує конкурентну перевагу фундаментальної моделі.
Прогноз ІТ-Блогу: TabFM має потенціал докорінно змінити підхід до роботи з табличними даними, наближаючи його до гнучкості сучасних мовних моделей. Очікується, що в найближчі 1-2 роки ми побачимо подальший розвиток гібридних архітектур, які поєднуватимуть швидкість традиційних методів з адаптивністю моделей, навчених в контексті, що зробить складні завдання машинного навчання доступнішими для ширшого кола фахівців.
Дізнатися більше на: venturebeat.com