Метод та програмне забезпечення автоматизації процесів управління даними в гетерогенних базах даних

Анотація

Зростання обсягів і різноманіття форматів даних у сучасних інформаційних системах призводить до необхідності інтеграції гетерогенних джерел, представлених реляційними, документоорієнтованими та іншими моделями зберігання. У таких умовах ускладнюється забезпечення узгодженості, якості та актуальності інформації, що вимагає автоматизації процесів управління даними. У роботі досліджується задача побудови методу автоматизованого управління гетерогенними даними на основі формалізованої моделі інтеграції. Запропонований метод описує процес інтеграції як композицію перетворень над множиною джерел даних, що включає синтаксичну гармонізацію структур, нормалізацію значень, семантичне зіставлення атрибутів на основі правил відповідності та дедуплікацію записів із використанням функцій подібності. Реалізація методу передбачає використання модульної архітектури програмного забезпечення, у якій етапи обробки даних виконуються послідовно та незалежно від типів джерел. Для зберігання інтегрованих даних застосовується реляційна база даних із підтримкою напівструктурованих форматів, що забезпечує гнучкість моделі та масштабованість системи. У межах підходу також визначено критерії оцінювання якості даних та механізми їх актуалізації у динамічних середовищах. Запропонований метод дозволяє підвищити рівень узгодженості та достовірності інтегрованих даних, скоротити час їх обробки та забезпечити ефективне функціонування систем у розподілених середовищах.