ПЛАНУВАННЯ ЗАСТОСУВАННЯ БЕЗПІЛОТНИХ ЛІТАЛЬНИХ АПАРАТІВ РОЗВІДКИ МЕТОДАМИ НАВЧАННЯ З ПІДКРІПЛЕННЯМ ТА ВИКОРИСТАННЯМ ФУНКЦІЇ ЩІЛЬНОСТІ РОЗПОДІЛУ ЦІЛЕЙ
DOI:
https://doi.org/10.46972/2076-1546.2025.28.08Ключові слова:
агент, безпілотний літальний апарат, функція щільності розподілу цілей, зона розвідки, навчання з підкріпленням, Q-навчанняАнотація
Досвід ведення бойових дій у російсько-українській війні переконливо свідчить про актуалізацію проблеми застосування груп безпілотних літальних апаратів для вирішення багатьох військових завдань, зокрема, планування їх ефективного застосування. У свою чергу, виконання цього завдання залежить від системи управління групою та умов застосування. Для децентралізованих систем управління принциповим моментом є необхідність автоматичного планування місії на борту безпілотних літальних апаратів. Аналіз наукових джерел показав, що більшість запропонованих алгоритмів планування не враховують особливостей ведення військової повітряної розвідки й дорозвідки, рельєфу місцевості та здебільшого орієнтовані на оптимізацію польотів за точками. Водночас для планування пошуку цілей застосовують гребінчастий, розширюваний чи вільний способи, однак вони досить незручні для автоматичного планування маршруту самим безпілотним літальним апаратом, оскільки точка на карті зазвичай не співвідноситься з висотою польоту, миттєвим полем зору бортової апаратури спостереження, масштабом та детальністю знімка. Для підвищення можливостей оптимізації автоматичного планування польоту в статті запропоновано застосовувати функцію щільності розподілу цілей. Це динамічна двовимірна математична модель, яка описує умовну відносну ймовірність знаходження цілей у різних точках простору. Вона створюється та задається на основі даних про місцевість, попередніх спостережень або інтелектуальних оцінок, що відображають розподіл можливих цілей на певній ділянці або для всієї зони розвідки. Крім того, вона дозволяє моделювати простір не як однорідний, а як область із різними ступенями важливості або ж імовірностями знаходження цілей.
У рамках цього дослідження розглянуто варіант застосування функції щільності розподілу цілей у навчанні з підкріпленням для планування місій безпілотних літальних апаратів. Навчання з підкріпленням, як один із видів машинного навчання, полягає в навчанні інтелектуального програмного агента (безпілотного літального апарата) приймати рішення щодо послідовності виконуваних дій з урахуванням взаємодії із середовищем для досягнення максимальної винагороди. Щоб реалізувати його в задачі планування застосування безпілотних літальних апаратів в основу процесу математичного моделювання середовища покладено формування ітеративної функції щільності розподілу цілей, яка після невеликої видозміни і буде визначати функцію винагороди. Дією інтелектуального агента на середовище в цьому разі є орієнтація та переміщення його в просторі й отримання знімка підстильної поверхні. Моделювання орієнтації та переміщення безпілотних літальних апаратів у просторі проводиться за допомогою дуальних кватерніонів.
Посилання
Zastosuvannia bezpilotnykh system u Sylakh oborony Ukrainy: Doktryna OP 3-0(46) [Use of Unmanned Systems in the Defense Forces of Ukraine: Doctrine OP 3-0(46)]. (2023). Kyiv [in Ukrainian].
Korshets, O., Horbenko, V. (2023). Uroky zastosuvannia bezpilotnykh litalnykh aparativ u rosiisko-ukrainskii viini [Lessons from the Use of Unmanned Aerial Vehicles in the russo-Ukrainian War]. Povitriana mits Ukrainy [Air Power of Ukraine], 1 (4), 9–17. https://doi.org/10.33099/2786–7714–2023–1-4–9-17 [in Ukrainian].
Chumak, O. O., Dudko, M. V., & Dmitriiev, O. M. (2024). Ontolohiia metodiv planuvannia marshrutiv rukhu bezpilotnykh litalnykh aparativ [Ontology of Route Planning Methods for Unmanned Aerial Vehicles]. Vyprobuvannia ta sertyfikatsiia [Testing and Certification], 1 (3), 69–77 [in Ukrainian]. https://doi.org/10.37701/ts.03.2024.10
Kucherenko, O. I., Vakaliuk, T. A. (2024). Klasyfikatsiia metodiv ta alhorytmiv pobudovy marshrutiv BpLA [Classification of Methods and Algorithms for UAV Route Construction]. Vcheni zapysky TNU im. V. I. Vernadskoho. Seriia: Tekhnichni nauky [Scientific notes of V. I. Vernadsky TNU. Series: Technical science], 35 (74), 3, 111–116. https://doi.org/10.32782/2663-5941/2024.3.1/18 [in Ukrainian].
Zhao, Ch., Liu, Yu., Yu, L., & Li, W. (2021). Stochastic Heuristic Algorithms for Multi-UAV Cooperative Path Planning. In Proceedings of the 2021 40th Chinese Control Conference (CCC). Shanghai, China, July 26–28, 2021. (pp. 7677–7682). https://doi.org/10.23919/ccc52363.2021.9549984
Sun, W., & Hao, M. (2021). A Survey of Cooperative Path Planning for Multiple UAVs. In Proceedings of the International Conference on Autonomous Unmanned Systems. Shanghai, China, July 26–28, 2021. (pp. 189–196). https://doi.org/10.1007/978-981-16-9492-9_20
Tang, J., Duan, H., & Lao, S. (2022). Swarm Intelligence Algorithms for Multiple Unmanned Aerial Vehicles Collaboration : A Comprehensive Review. Artif. Intell. Rev, 56, 4295–4327. https://doi.org/10.1007/s10462-022-10281-7
Zhang, W., Li, J., & Yu, W. et al. (2024). Algorithm for UAV Path Planning in High Obstacle Density Environments: RFA-Star. Front. Plant Sci., 15:1391628. https://doi.org/10.3389/fpls.2024.1391628
Zhang, J., Tang, Z., & Liu, X. et al. (2025). UAV-BS Site Planning Based on Circular Coverage Strategy. Appl. Sci., 15:1971. https://doi.org/10.3390/app15041971
Tymochko, O. I., Trystan, A. V., Chernavina, O. Ye., & Berezhnyi, A. O. (2020). Metod planuvannia marshrutu vedennia povitrianoi rozvidky dynamichnykh ob’iektiv z vykorystanniam bezpilotnykh litalnykh aparativ v lisostepovii mistsevosti [The Method of Planning the Route of Conducting Aerial Reconnaissance of Dynamic Objects Using Unmanned Aerial Vehicles in the Forest-Steppe Area]. Systemy obrobky informatsii [Information Processing Systems], 3 (162), 95–110. https://doi.org/10.30748/soi.2020.162.10 [in Ukrainian].
Puleko, I. V., Chumakevych, V. O., & Shestak, I. M. et al. (2024). Funktsiia shchilnosti rozpodilu tsilei dlia planuvannia zastosuvannia bezpilotnykh litalnykh aparativ [Target Density Function For Uav Planning]. Problemy stvorennia, vyprobuvannia, zastosuvannia ta ekspluatatsii skladnykh informatsiinykh system: zb. nauk. prats [Problems of Construction, Testing, Application and Operation of Complex Information Systems. Scientific Journal of Korolov Zhytomyr Military Institute], 27 (I), 69–82. Zhytomyr: ZhMI. https://doi.org/10.46972/2076-1546.2024.27.06 [in Ukrainian].
Puleko, I. V. (2015). Problemy upravlinnia uhrupovanniam malykh bezpilotnykh litalnykh aparativ z pozytsii teorii robototekhnichnykh system [Problems of Group Control by Small Unmanned Aerial Vehicles on Theory Robotic Systems]. Problemy stvorennia, vyprobuvannia, zastosuvannia ta ekspluatatsii skladnykh informatsiinykh system: zb. nauk. prats [Problems of Construction, Testing, Application and Operation of Complex Information Systems. Scientific Journal of Korolov Zhytomyr Military Institute], 11, 106–114. Zhytomyr: ZhMI [in Ukrainian].
Richard S. Sutton, & Andrew G. Barto. (2018). Reinforcement Learning : An Introduction. 2nd ed. Cambridge, MA: The MIT Press. ISBN 9780262039246.
Puleko, I. V., Andreiev, O. V., & Dubyna, O. F. et al. (2023). Model rukhu bezpilotnykh litalnykh aparativ na osnovi alhebry dualnykh kvaternioniv [Model of Motion of Unmanned Aerial Vehicles Based on Dual Quaternion Algebra]. Problemy stvorennia, vyprobuvannia, zastosuvannia ta ekspluatatsii skladnykh informatsiinykh system: zb. nauk. prats [Problems of Construction, Testing, Application and Operation of Complex Information Systems. Scientific Journal of Korolov Zhytomyr Military Institute], 23, 52–61. https://doi.org/10.46972/2076-1546.2022.23.04 [in Ukrainian].
Satwik Kansal, & Brendan Martin. (n.d.). Reinforcement Q-Learning from Scratch in Python with OpenAI Gym. Retrived from https://www.learndatasci.com/tutorials/reinforcement-q-learning-scratch-python-openai-gym/
Q-Learning Introduction and Q Table – Reinforcement Learning w/ Python Tutorial p. 1. (n.d.). Retrived from https://pythonprogramming.net/q-learning-reinforcement-learning-python-tutorial//
Fan, X., Li, H., Chen, Y., & Dong, D. (2024). UAV Swarm Search Path Planning Method Based on Probability of Containment. Drones, 8, 132. https://doi.org/10.3390/drones8040132
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
