Програмна система аналізу мережевих логів з використанням NLP-підходу для виявлення аномалій

Abstract

Метою роботи є розроблення програмної системи аналізу мережевих логів з використанням NLP-підходу для виявлення аномальних подій у мережевому трафіку та оцінювання ефективності її функціонування. Методи дослідження включають методи системного аналізу, попереднього оброблення даних, нормалізації мережевих логів, формування текстового подання записів, токенізації, векторизації, машинного навчання, NLPкласифікації, а також методи моделювання та експериментального оцінювання якості програмної системи. Розроблено програмну систему аналізу мережевих логів, яка забезпечує завантаження вхідних логових записів, перевірку їх структури, очищення та нормалізацію даних, відбір інформативних атрибутів, формування стандартизованого текстового подання мережевої події, токенізацію текстових записів, класифікацію подій за допомогою NLP-моделі, а також фіксацію результатів у вигляді мітки класу «норма» або «аномалія» та показників якості класифікації. Результати дослідження можуть бути використані для створення та вдосконалення програмних засобів моніторингу мережевої інфраструктури, автоматизації аналізу мережевих логів, своєчасного виявлення підозрілих подій, зменшення навантаження на фахівців з кібербезпеки та підвищення ефективності реагування на потенційні інциденти.

The purpose of the work is to develop a software system for network log analysis using an NLP-based approach to detect anomalous events in network traffic and evaluate the effectiveness of its operation. The research methods include methods of system analysis, data preprocessing, network log normalization, formation of textual representations of records, tokenization, vectorization, machine learning, NLP-based classification, as well as methods of modeling and experimental evaluation of the software system quality. A software system for network log analysis has been developed. It provides loading of input log records, verification of their structure, data cleaning and normalization, selection of informative attributes, formation of a standardized textual representation of a network event, tokenization of text records, classification of events using an NLP model, and recording of results in the form of a class label “normal” or “anomaly” and classification quality indicators. The research results can be used to create and improve software tools for monitoring network infrastructure, automating network log analysis, timely detection of suspicious events, reducing the workload of cybersecurity specialists, and increasing the efficiency of response to potential incidents.