Рішення було знайдено не в побудові нового сервера, а в хмарі. Протягом періоду з серпня 2022 року по другому кварталі 2023 року компанія розгорнула потужну платформу даних у Yandex Cloud, перетворивши інформацію з хаотичного набору чисел у стратегічний актив.
поетапна оцифралізація
Фонд був закладений ще в 2019 році. Компанія розпочала велику оцифралізацію, вводячи SAP: S4/HANA для планування підприємств, HCM для управління персоналом, PP/DS для детального планування виробництва та ПМ для підтримки обладнання. Ці рішення створили загальний інформаційний простір та зробили бізнес -процеси більш прозорими.
Однак дані різних систем все ще залишаються розсіяними. Потрібно було єдине корпоративне зберігання, яке могло консолідувати інформацію та забезпечити швидку аналітику.
Чому хмара? Чому Яндекс? Вибір на користь хмарної інфраструктури був стратегічним. Розгортання ключових компонентів та масштабування потужностей набагато швидше, ніж при побудові традиційного центру обробки даних, а на початку він не є необхіднимІнвестувати значні кошти в адміністрацію.
При виборі постачальника існували ряд обов'язкових критеріїв. Компанія була критично важливою, щоб послуги з постачальників послуг розміщували в Росії та мали всі необхідні сертифікати безпеки даних, включаючи відповідність вимогам 152-фуляції та міжнародним стандартом ISO/IEC 27001. Крім того, ключовим аргументом був постачальник повного стейка контрольованих служб - від віртуальних машин обчислюють хмару до Postgresql та Clickhouse СУБД, а також власних хмарних бі -системних даних.
від пілотного до виробництва
серпня 2022 р. - Запуск пілотного проекту зберігання корпоративних даних. Перш за все, звіт про доставку готової продукції був сформований на тестових даних. Перший квартал 2023 року - дані в компанії були розділені на одиниці, створюючи основу для структурованої аналітики. Другий квартал 2023 року - розпочалося будівництво BI -звіти для трьох ключових доменів: закупівлі, персонал та виробництво. Спочатку ці три підрозділи брали участь у проекті, тепер Rospolim " Рішення про всі послуги повторюється.
Компанія розгорнула потужну платформу даних у Yandex Cloud, перетворивши хаотичний набір даних на стратегічний активСучасна хмарна платформа підприємства, побудована на принципі обробки даних конвеєра: Apache Airflow, розгортається на віртуальних машинах обчислювальних хмар, служить центральним оркестром. Потоки даних. Інженери з датами, розроблені з ним, методи збору, трансформації та транспортування інформації. Система збирає необроблені дані з декількох джерел (включаючи системи SAP) та надсилає їх на зберігання об'єктів - надійний цифровий склад сировини. Дельта також розміщується в об'єкті, що забезпечує історичність даних. З зберігання об'єктів дані отримують сервіс керованого яндексу для кластера PostgreSQL, де детальний шар DDS реалізується відповідно до сніжинки. Ця архітектурна модель забезпечує оптимальну структуру для аналітичних запитів.
Для контролю запитів та відстеження походження даних використовується DBT (інструмент збірки даних). З його допомогою інженери даних перетворюють дані, розділяють детальний шар на суб'єкти та перетворюють інформацію в зручнуформат. Підготовлені дані переміщуються до рівня Mart Data - спеціалізовані випадки відображення даних, які зберігаються в керованій службі для кластера Clickhouse. Це забезпечує високу швидкість аналітичних запитів. Аналітики будують інформаційні панелі в DataLens на основі даних із вітрин. Важлива умова: звіти запускаються у виробництво лише після того, як дані будуть описані та враховані в каталозі даних Lottabyte.
числа, які вражають
Створена платформа демонструє вражаючі характеристики: 250 таблиць із загальним обсягом (з яких 60 у продуктивному середовищі), до 1,5), до 1,5 мільярда записів, приблизно 1 терабайт інформації в тесті та продуктивному оточенні та щоденних даних на кінці робочого дня.
У каталозі Lottabyte аналітики та бізнес-експерти ведуть облік акцій дати, фіксують показники та показники, описують продукти дати та ведуть реєстр перевірок якості даних. Це вирішило найважливішу проблему - термінологія в компанії стала однаковою для всіх послуг. Створено спеціалізований відділ управління даними, який виконав основні завдання проекту: створення платформи, розробка правил роботи з даними,Підвищення якості рішень та розвитку компетенцій даних.
Безпека - це перш за все: гібридна модель та токенізація. Для металургійної компанії безпека даних є критичним аспектом. Компанія все ще зберігає в локальній основі дуже важлива (ціни, особисті дані). Однак, для безпечної роботи з конфіденційними даними в хмарі, компанія завершила пілотний проект для токенізації з рішенням Damask разом з хмарою Yandex та партнером BSSG. Це дозволяє "замаскувати" конфіденційну інформацію, не втрачаючи можливості її аналізу.
Результати: від днів до секунд
Цифрова трансформація вже принесла результати: Це кардинальне скорочення часу підготовки аналітичних звітів - з днів до секунд, а також доступ до даних для керівників напрямків та топ -менеджерів, а також топ -менеджерів, а також один інформаційний простір для всіх відділів. Плюс зростаюча база знань, зосереджена на незалежному будівництві звітів працівниками.
Димитрі Волков, директор цифрової трансформації Rupolim JSC, пояснює: "Вся інфраструктураПлатформи розташовані в Yandex Cloud, це спрощує управління, збільшує швидкість роботи та гарантує надійність. В майбутньому ми плануємо завантажити потокові дані у сховищі, наприклад, індикатори обладнання. Компанія також збирається будувати моделі ML, наприклад, для планування ремонту обладнання та контролю якості плавки. "
Також планується завершити рішення Damask для продуктивного середовища для захисту конфіденційних даних під час зберігання та подальшого аналізу. Платформи та оптимізують процес завантаження даних. Новгород
