Програмний модуль інтелектуального агента для самостійної ходьби персонажа в середовищі Unity

Abstract

Метою роботи є розроблення програмного модуля інтелектуального агента для навчання ходьби у середовищі Unity, який використовує методи підкріплювального навчання для формування стабільного та адаптивного пересування. Методи дослідження: методи навчання з підкріпленням для формування оптимальної поведінки агента; методи оптимізації політики на основі алгоритму Proximal Policy Optimization (PPO); методи математичного моделювання процесу прийняття рішень у задачі автономного пересування агента. Результатом роботи є програмний модуль, що інтегрує фізичні компоненти Unity та алгоритми машинного навчання, забезпечуючи агенту здатність самостійно підтримувати баланс, виконувати стабільні кроки та адаптуватися до змінних умов динамічного середовища. Розроблений модуль може бути використаний як платформа для дослідження алгоритмів автономного пересування в робототехніці.

The purpose of the work is to develop a software module of an intelligent agent for learning walking behavior in the Unity environment, using reinforcement learning methods to achieve stable and adaptive locomotion. Research methods: reinforcement learning methods for forming the agent’s optimal behavior; policy optimization methods based on the Proximal Policy Optimization (PPO) algorithm; methods of mathematical modeling of the decision-making process in the task of autonomous agent locomotion. The result of the work is a software module that integrates Unity physical components and machine learning algorithms, providing the agent with the ability to independently maintain balance, perform stable walking steps, and adapt to changing conditions of a dynamic environment. The developed module can be used as a platform for researching autonomous locomotion algorithms in robotics.