Програмний модуль розподіленого зберігання та паралельної обробки фінансових даних

Abstract

Метою роботи є розроблення програмного модуля розподіленого зберігання та паралельної обробки фінансових даних, який забезпечує масштабованість, відмовостійкість, підвищену продуктивність аналітичних операцій, а також базові механізми захисту та контролю якості даних. Методи дослідження включають системний аналіз, аналіз фінансових даних, методи розподіленого зберігання даних, паралельну обробку великих даних, попереднє оброблення та нормалізацію фінансових наборів, контроль якості даних, проєктування програмної архітектури, моделювання, експериментальне тестування та оцінювання продуктивності обробки. Розроблено програмний модуль розподіленого зберігання та паралельної обробки фінансових даних, який забезпечує завантаження фінансових наборів, їх валідацію, нормалізацію та очищення, розміщення даних у розподіленому сховищі HDFS, організацію оперативного доступу за ключем через HBase, запуск паралельних обчислювальних задач у Apache Spark, формування агрегованих показників і вітрин даних, контроль якості, оброблення пропусків, фіксацію метаданих запусків та надання результатів через API. Результати дослідження можуть бути використані для побудови масштабованих систем фінансової аналітики, автоматизованого оброблення транзакційних даних, формування звітних вітрин, прискорення аналітичних розрахунків, контролю якості фінансових наборів, підтримки управлінських рішень та інтеграції з BI-системами.

The purpose of the work is to develop a software module for distributed storage and parallel processing of financial data, which ensures scalability, fault tolerance, improved performance of analytical operations, as well as basic mechanisms for data protection and quality control. The research methods include system analysis, analysis of financial data, methods of distributed data storage, parallel processing of big data, preprocessing and normalization of financial datasets, data quality control, software architecture design, modeling, experimental testing, and evaluation of processing performance. A software module for distributed storage and parallel processing of financial data has been developed. It provides loading of financial datasets, their validation, normalization and cleaning, placement of data in the HDFS distributed storage system, organization of key-based operational access through HBase, execution of parallel computational tasks in Apache Spark, generation of aggregated indicators and data marts, quality control, missing value handling, recording of execution metadata, and provision of results through an API. The research results can be used to build scalable financial analytics systems, automate the processing of transactional data, generate reporting data marts, accelerate analytical calculations, control the quality of financial datasets, support managerial decision-making, and integrate with BI systems.