Держстат 2.0: трансформація від застарілої інституції до data-product компанії

Пройшовши чотирирічний шлях трансформації, Державна служба статистики України (Держстат) представила новий портал stat.gov.ua, що функціонує на базі штучного інтелекту та відповідає міжнародним стандартам. Запуск нової платформи, що відбувся 5 листопада 2025 року, став результатом комплексної роботи, ініційованої Міністерством цифрової трансформації, за підтримки швейцарсько-української програми EGAP та Фонду Східна Європа. Компанія EPAM спільно з фахівцями Держстату здійснила глибоку перебудову не лише вебсайту, а й самої інституції, адаптуючи її до сучасних вимог під час повномасштабної війни.

Співпраця між командами EPAM, Держстату та Microsoft дозволила перетворити одну з найбільш консервативних державних структур на сучасний сервіс даних. Тепер користувачі можуть отримувати потрібну статистичну інформацію за допомогою інтуїтивно зрозумілих запитів, наприклад, “рівень середньої зарплати у Київській області за 2023 рік”, і отримувати відповідь за лічені секунди завдяки ШІ-асистенту StatGPT.

Держстат 2.0 у цифрах

  • Єдина платформа «Сигма» замінила 45 застарілих систем.
  • Понад 2000 статистичних показників інтегровано у 109 наборів даних.
  • За перші 2,5 місяці роботи StatGPT було оброблено понад 5000 запитів.
  • Створено Центр обробки статистичних даних, який налічує 25 технічних фахівців.
  • У проєкті брало участь від 10 до 70 спеціалістів EPAM у різні періоди.
  • Держстат став другою інституцією у світі (після МВФ), що впровадила ШІ-асистента для роботи зі статистичними даними.

«Паровий потяг» на старих рейках

До початку трансформації Держстат функціонував як високо бюрократична структура з архаїчною технологічною базою. Близько 90 статистичних спостережень підтримувалися 45 різнорідними, неінтегрованими інформаційними системами, вік яких сягав 20-25 років. Навіть незначні зміни, як-от перейменування населеного пункту, вимагали ручного внесення коригувань у десятки баз даних.

«Просто приклад: одну з систем підтримував єдиний програміст. Після його смерті разом з ним зникли й усі знання про те, як вона працює, – розповідає Артем Рудько, заступник голови Держстату з питань цифрової трансформації. – Це була єдина людина, яка розуміла, як працює цей комплекс. Внести зміну вже нема кому».

Держстат 2.0: трансформація від застарілої інституції до data-product компанії 1

Ключові етапи статистичного виробництва – збір, обробка та поширення даних – діяли як ізольовані процеси. Передача інформації між підрозділами здійснювалася вручну через Excel-таблиці, які потім викладалися на статичному сайті.

Держстат 2.0: трансформація від застарілої інституції до data-product компанії 2
Держстат 2.0: трансформація від застарілої інституції до data-product компанії 3

Юрій Погребняк, програмний менеджер EPAM:

«Уявіть гігантський потяг, який працював на парі. Величезна кількість людей, аби він їхав, туди закидували вугілля. А завданням було перебудувати це на швидкісний електричний потяг».

Як формували нове бачення

EPAM виграла відкритий конкурс на реалізацію проєкту, ставши стратегічним консультантом із досвідом у GovTech. Основне завдання полягало у перетворенні Держстату на повноцінну платформу для зручного доступу та використання статистичної інформації. У 2021 році було проведено аудит, під час якого проаналізовано понад десять міжнародних статистичних агентств. Результатом стало визначення двох ключових цілей: створення єдиної платформи для виробництва статистичних даних та розробка сучасного Порталу для користувачів.

«Візія, яка стала компасом трансформації – всі користувачі мають отримувати якісні, актуальні дані у зручний спосіб. Ефективні рішення неможливо приймати без якісних даних. Уряд, бізнес, науковці, журналісти, громадяни: кожен має отримувати зручний доступ до статистики. Саме ця ідея стала відправною точкою трансформації», – наголошують в EPAM.

Для впровадження змін EPAM застосувала методології IT-індустрії: гнучку методологію управління проєктами SAFe (Scaled Agile Framework), продуктове мислення, систему управління IT-послугами та роботу з даними за міжнародними стандартами.

«Традиційно держпроєкти реалізуються за моделлю “великого вибуху”: довгі погодження і запуск лише в самому кінці, коли виправляти помилки вже дорого. Ми знайшли оптимум між державними процедурами та гнучкістю IT та застосували підхід Scaled Agile Framework (SAFe). Спочатку затверджується стратегічне завдання, а деталізація вимог відбувається під час розробки короткими двотижневими циклами. Це дозволяє замовнику коригувати систему в процесі, не порушуючи регламентів, але й не чекаючи на результат місяцями», – розповідає Погребняк.

Шлях до Європи

Для інтеграції у світову статистичну спільноту Держстат впровадив стандарт SDMX (Statistical Data and Metadata eXchange). Це міжнародний формат обміну статистичними даними, розроблений Світовим банком, МВФ, ООН та іншими організаціями. SDMX визначає уніфіковані правила для пакування, передачі та зчитування статистичних даних, забезпечуючи автоматичний обмін інформацією між системами різних країн та міжнародних інституцій без потреби ручної конвертації.

Використання SDMX є світовим стандартом, прийнятим Євростатом та ОЕСР. Відповідність цьому стандарту є обов’язковою вимогою для інтеграції України в європейську статистичну систему та процесу вступу до ЄС, оскільки Євростат приймає дані лише у сумісному форматі.

«Робити щось не відповідно до SDMX – це вигадувати колесо, – пояснює Рудько. – Ми вирішили фундаментально зберігати всю статистику відразу у правильному форматі»

«Без надійних, актуальних і порівнюваних даних жодна держава не може ефективно формувати політики та приймати обґрунтовані рішення. Те, що зробила Україна за ці роки, є прикладом для всієї європейської статистичної спільноти», – зазначила Маріана Коцева, генеральна директорка Євростату, на презентації порталу.

Для забезпечення порівнянності даних з міжнародними показниками, українська статистика була перебудована. Дані тепер структуровані у вигляді «кубів», що дозволяє користувачам самостійно комбінувати будь-які показники та їхні розрізи. Це надає можливість отримувати специфічну інформацію шляхом вибору потрібних параметрів (область, період, демографічна група тощо).

Майже нова команда

Зміна організаційної культури стала одним із найскладніших аспектів трансформації. Артем Рудько зазначає, що, попри очікування бюрократичного спротиву, вдалося переконати більшість керівників департаментів у перевагах нових процесів та технологій.

Рудько зізнається: його очікування від бюрократичного спротиву були гіршими за реальність.

У проєкті брала участь гібридна команда: фахівці EPAM (консультанти, архітектори, розробники, дата-інженери, UX/UI-дизайнери) та співробітники Держстату. Пропорції залучення фахівців варіювалися залежно від напрямку роботи, де експерти EPAM виступали як розробники, так і ментори.

Темп роботи був зумовлений консервативністю галузі офіційної статистики, де для забезпечення порівнянності показників країни публікують дані одночасно. “Якщо одна з країн ЄС може оприлюднити показник лише у квітні, зведені дані по Євросоюзу з’являться не раніше. З технологіями так само”, – пояснює Рудько.

Трансформація у статистичній службі відбувається повільніше, ніж у типовому ІТ-середовищі. Гібридній команді довелося враховувати цю особливість, рухаючись швидко у технологічній частині та проявляючи терплячість там, де зміни торкалися усталених процесів.

Для забезпечення безперервної роботи Держстату після завершення активної фази змін, у грудні 2022 року було створено Центр обробки статистичних даних. Ця окрема державна установа формувалася з нуля, залучаючи фахівців з приватного сектору з сучасним баченням роботи з даними.

Артем Рудько, заступник голови Держстату з питань цифрової трансформації:

«Тут команда, яка формувалася фактично з нуля. До неї прийшли люди з різних сфер, без досвіду держслужби – з приватного сектору, з новими компетенціями і більш сучасним баченням того, як працювати з даними».

Сьогодні в Центрі працює близько 25 технічних фахівців. Також запущено програму залучення студентів для проходження практики, що сприяє генерації нових ідей. «Ми, по суті, запустили незворотні процеси цифрової трансформації і передали це вже новою структурою Держстату», – підсумовують в EPAM.

Що вміє портал

Новий портал stat.gov.ua побудований на платформі «Сигма», адаптованій версії EPAM QuantHub. Вона інтегрує весь цикл роботи з даними: від збору до публікації. Частина статистичних спостережень вже переведена на нову систему, інші будуть додаватися поступово.

Портал пропонує користувачам інтерактивні панелі (дашборди) з графіками та фільтрами, прямі посилання на таблиці та API для автоматичного отримання даних іншими системами.

«Зробити щось, що буде працювати роками без змін, неможливо. Змінюється користувач, змінюються світові тенденції, тому портал постійно вдосконалюється. І багато в чому ми покладаємося на фідбек користувача, на його щоденний практичний досвід роботи з даними», – зазначає Рудько.

Одне з міністерств вже повністю перейшло на новий формат: їхні системи автоматично отримують оновлені показники від Держстату щоденно через API, усуваючи потребу в ручному завантаженні файлів. Держстат рекомендує такий підхід всім, хто регулярно працює з його статистикою.

Спробувати оновлений портал можна за посиланням stat.gov.ua.

ШІ як світовий тренд

Новий портал інтегрує ШІ-асистента StatGPT, який дозволяє отримувати статистичну інформацію за запитами природною мовою. Наприклад, запит «рівень середньої зарплати у Київській області за 2023 рік» дозволяє отримати потрібні цифри без необхідності розуміти структуру бази даних чи використовувати професійну термінологію. EPAM вперше представила цю технологію у жовтні 2023 року, а її вдосконалену версію – у 2024-му.

StatGPT базується на великій мовній моделі, але, на відміну від традиційних ШІ, не генерує інформацію самостійно. Він інтегрований з трьома базами Держстату: глосарієм термінів, індексом сторінок порталу та банком статистичних даних. Асистент надає відповіді виключно на основі цих джерел. У випадку відсутності потрібної інформації, система прямо повідомляє про це, не генеруючи вигадані дані. Цей підхід, відомий як RAG (Retrieval-Augmented Generation), захищає від «галюцинацій» ШІ та маніпуляцій.

Технічно все побудовано на платформі EPAM DIAL з відкритим кодом.

«Система не може вивести жодну цифру, якщо вона не підтверджена даними з офіційної бази. Це принциповий момент: кожна відповідь має джерело, яке можна перевірити», – пояснює Рудько.

Важливо зазначити, що асистент надає дані, але не проводить їх аналіз. Це свідоме рішення, оскільки державна установа не може нести юридичну відповідальність за аналітичні висновки, згенеровані ШІ. Інтерпретація даних залишається відповідальністю користувача.

Окремим викликом стала розробка україномовної версії, що зайняла 4-5 місяців. Також був створений навчальний бот для нових користувачів, який згодом був адаптований для версії МВФ.

Війна і хмара

Основна фаза реалізації проєкту припала на час повномасштабного вторгнення. Платформу «Сигма» розмістили у захищеній хмарній інфраструктурі Microsoft Azure за межами України, забезпечивши багаторівневий захист відповідно до міжнародних стандартів. В умовах ракетних обстрілів та ризиків для фізичної інфраструктури це було необхідністю. Партнером у цьому процесі виступила компанія Microsoft.

Євген Кахановський, керівник Microsoft в Україні та країнах Балтії, пояснює, що Azure захищає дані Держстату на таких рівнях:

  • Шифрування даних під час зберігання та передачі.
  • Контроль доступу за принципом Zero Trust.
  • Географічне резервування даних у кількох дата-центрах.
  • Безперервний моніторинг кіберзагроз.

Платформа сертифікована за міжнародними стандартами безпеки ISO, проходить незалежний аудит захисту даних SOC та відповідає європейському регламенту GDPR.

Держстат 2.0: трансформація від застарілої інституції до data-product компанії 4
Держстат 2.0: трансформація від застарілої інституції до data-product компанії 5

«Це гарантує, що державні статистичні дані України залишаються захищеними, стійкими та доступними навіть в умовах воєнного часу», – підкреслює Кахановський.

StatGPT працює на базі Microsoft AI (Azure OpenAI Service) у захищеному середовищі Azure. Дані залишаються під повним контролем Держстату, а масштабована хмарна архітектура Azure забезпечує стабільну роботу сервісу.

Зміни тривають: що не було враховано

«Найбільше ми недооцінили складність міграції даних. Недооцінили масштаб. Це вплинуло на час: могли б зберегти його і витратити на інші напрямки», – визнає Погребняк.

Міграція десятків тисяч таблиць вимагала розробки методології та скриптів. Цей процес триває досі, оскільки історичні дані для деяких спостережень є більш об’ємними.

Після запуску порталу виявилися й неочікувані помилки, як-от неможливість знайти «ВВП» через відсутність абревіатури в пошуковій моделі. Для виправлення таких недоліків та збору зворотного зв’язку створено експертну групу з 35 фахівців.

Окремий виклик: адаптація персоналу до нових інструментів. «Навіть зміни на краще – це завжди важко, але з часом люди починають цінувати зручність нових інструментів», – коментують в EPAM.

Що далі

Запуск stat.gov.ua є початком нового етапу розвитку.

У 2026 році планується інтеграція регіональної статистики на єдиному ресурсі. Зараз кожна з 25 областей має власний застарілий сайт, що ускладнює порівняння даних.

Протягом наступних трьох років відбуватиметься поступове перенесення десятків спостережень зі старих систем на «Сигму».

Держстат також налагоджує обмін даними з податковою щодо РРО, що дозволить щоденно відстежувати ціни на продукти.

«Наступний рівень: повна автоматизація, – описує Погребняк. – Отримувати дані не через листи та Excel, а через пряму інтеграцію систем».

Відповідність стандарту SDMX забезпечує сумісність українських показників з Євростатом, ОЕСР та Світовим банком. За словами учасників проєкту, навіть не всі країни Європи мають настільки інтегровану систему.

Microsoft розглядає цей кейс як приклад цифрової стійкості. Державна установа в умовах війни впровадила хмарну інфраструктуру, ШІ-інструменти та забезпечила відповідність міжнародним стандартам. Це демонструє, як сучасна цифрова інфраструктура підтримує безперервність роботи держави, прозорість та суспільну довіру навіть в екстремальних умовах.

Держстат 2.0: трансформація від застарілої інституції до data-product компанії 6

 

“Ми прагнемо, щоб портал офіційної статистики став єдиною точкою доступу до офіційних даних, місцем, де користувач може швидко та зручно отримати відповіді на всі свої запитання в одному середовищі. А у перспективі об’єднати дані не лише Держстату, а й інших виробників офіційної статистики для більш повної картини всіх соціально-економічних процесів країни.”

Перехід від десятків розрізнених систем до єдиної платформи, що відбувся в умовах війни, став значним досягненням. Сьогодні Держстат працює за міжнародними стандартами, має власну технічну команду, ШІ-асистента та відкритий API. Новий стандарт став буденністю, а повернення до попередніх практик видається неможливим.

Спробувати оновлений портал stat.gov.ua

 

Вердикт ІТ-Блогу: Обов’язкове оновлення для всіх, хто працює з офіційною статистикою України, а також для громадян, бізнесу та науковців, які потребують точних та доступних даних.

Джерело новини: itc.ua

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *