Компоненти системи автоматичного виявлення зони інтересу на зображеннях, отриманих з БПЛА
DOI:
https://doi.org/10.25140/2411-5363-2023-2(32)-300-312Ключові слова:
безпілотний літальний апарат (БПЛА); аналіз зображень; людино-машинна система; електро-привід; бортовий детектор об’єктів; керування спот-камероюАнотація
Швидкість обробки відеоінформації, отриманої з БПЛА під час пошуково-рятувальних, моніторингових і розві-дувальних місій, є параметром, який визначає успішність виконання завдання. Щоб зменшити навантаження на опе-ратора БПЛА, безпосередньо на борту здійснюється автоматичне виявлення того фрагмента вихідного зображення поверхні, на якому може бути розташований об’єкт інтересу. Результатом роботи такої автоматичної системи є формування номера зони інтересу, генерація керуючих сигналів і відповідне позиціонування додаткової відеокамери з вузьким полем огляду (спот-камери). Остаточне рішення про виявлення об'єкта інтересу та його класифікацію здій-снює оператор на підставі відеозображення з спот-камери.
Для вирішення зазначеної проблеми у статті обґрунтовано вибір компонентів програмно-апаратного комплексу, який безпосередньо на борту автоматично забезпечує орієнтацію спот-камери у потрібному напрямку.
Оцінено допустимі витрати часу для системи автоматичного визначення зони інтересу в залежності від кута нахилу основної камери та висоти польоту БПЛА. Показано, що для вирішення основної задачі потрібне створення бо-ртового детектора об’єктів з часом виявлення зони інтересу порядку одиниць секунд. Для цього можуть бути застосо-вані комбіновані методи, які використовують як властивості об’єктів, що визначаються текстурними характеристи-ками всередині зображення, так і класифікатор, налаштований за допомогою алгоритму машинного навчання.
Охарактеризовано набори даних для бортового виявлення об’єктів на зображеннях БПЛА, і показано, що жоден із доступних вільно сьогодні не відповідає потрібним вхідним параметрам і не містить достатньої кількості реле-вантних зображень. Запропоновані можливі шляхи вирішення даної проблеми.
Для виконання експериментальних досліджень наведені програмно-апаратні рішення, які потенційно можуть бути використані для вирішення всього комплексу завдань, включаючи обробку зображень і керування електродвигу-нами позиціонування спот-камери безпосередньо на борту БПЛА в умовах численних обмежень.
Посилання
Sun, J., Li, B., Jiang, Y., Wen, C. (2016). Camera-based target detection and positioning UAV system for search and rescue (SAR) purposes. Sensors, 16(11), 1778-1802. https://doi.org/10.3390/s16111778.
Voytenko, V., & Solodchuk, M. (2021). Pidvyshchennia shvydkosti analizu zobrazhen, otrymanykh iz bezpilotnoho litalnoho aparatu Pidvyshchennia [Increasing the speed of analysis of im-ages obtained from unmanned aerial vehicle]. Tekhnichni nauky ta tekhnolohii – Technical sciences and technologies, ((2(28)), 127-137. https://doi.org/10.25140/2411-5363-2022-2(28)-127-137.
Beard, R., McLain, T. (2012). Small Unmanned Aircraft: Theory and Practice. Princeton Uni-versity Press.
Bashynskyi, V.G., Ragulin, V.V., Solodchuk, M.O., Fomin, A.V., & Isachenko, O.O. (2022). Ob-gruntuvannia neobkhidnosti obrobky videoinformatsii na bortu rozviduvalnoho BPLA [Justification of the need to process video information on board the reconnaissance UAV]. Zbirnyk naukovykh prats Derzhavnoho naukovo-doslidnoho instytutu vyprobuvan i sertyfikatsii ozbroiennia ta viiskovoi tekhniky – Scientific works of the State Scientific Research Institute of Armament and Military Equipment Testing and Certification, 11(1), 105-115. https://doi.org/10.37701/dndivsovt.11.2022.12.
WESCAM MX-10 EO/IR. (n.d.). L3Harris. https://www.l3harris.com/all-capabilities/wescam-mx-10-air-surveillance-and-reconnaissance.
FCB-9500 Series – New Colour Camera Block. Sony. https://www.image-sensing-solu-tions.eu/FCB-New-generation.html.
Gonzalez, R.C., Woods, R.E. (2007). Digital Image Processing. 3rd ed. Pearson.
Corke, P. (2017). Robotics, Vision and Control. Fundamental Algorithms in MATLAB. Springer International Publishing AG.
Nousi, P., Mademlis, I., Karakostas, I., Tefas, A., & Pitas, I. (2019). Embedded UAV Real-Time Visual Object Detection and Tracking. 2019 IEEE International Conference on Real-time Computing and Robotics (RCAR) (pp. 708-713). https://ieeexplore.ieee.org/document/9043931.
What Is Object Detection? 3 things you need to know. (n.d.). MathWorks. https://www.math-works.com/discovery/object-detection.html.
Gandhi, R. (2018, July 9). R-CNN, Fast R-CNN, Faster R-CNN, YOLO – Object Detection Algorithms. Towards – Data Science. https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-object-detection-algorithms-36d53571365e.
Avola, D., Cinque, L., Mambro, Di, A., Diko, A., Fagioli, A., Foresti, G.L., Marini, M.R., Mecca, A., & Pannone, D. (2022). Low-Altitude Aerial Video Surveillance via One-Class SVM Anom-aly Detection from Textural Features in UAV Images. Information, 13(1(2)). https://www.mdpi.com/ 2078-2489/13/1/2.
Ding, J., Xue, N., Xia, G.-S., Bai, X., Yang, W., Yang, M.Y., Belongie, S., Luo, J., Datcu, M., Pelillo, M., Zhang, L. (2021, December 4). Object Detection in Aerial Images: A Large-Scale Bench-mark and Challenges. https://arxiv.org/abs/2102.12219v2.
Xia, G.-S., Hu, J., Hu, F., Shi, B., Bai, X., Zhong, Y., Zhang, L. (2016, August 18). AID: A Bench-mark Dataset for Performance Evaluation of Aerial Scene Classification. https://arxiv.org/abs/1608.05167.
Zamir, S.W., Arora, A., Gupta, A., Khan, S., Sun, G., Khan, F.S., Zhu, F., Shao, L., Xia, G.-S., Bai, X. (2019, August 28). iSAID: A Large-scale Dataset for Instance Segmentation in Aerial Images. https://arxiv.org/abs/1905.12886v2.
Lam, D., Kuzma, R., McGee, K., Dooley, S., Laielli, M., Klaric, M., Bulatov, Y., & McCord, B. (2018, February 22). xView: Objects in Context in Overhead Imagery. https://arxiv.org/abs/1802.07856v1.
Kraft, M., Piechocki, M., Ptak, B., & Walas, K. (2021, March 4). Autonomous, Onboard Vision-Based Trash and Litter Detection in Low Altitude Aerial Images Collected by an Unmanned Aerial Ve-hicle. Remote Sensing, 13(5(965)). https://doi.org/10.3390/rs13050965.
Full Reality Capture. Interior and exterior visual data – any altitude, any angle, all in one plat-form. (n.d.). Drone Deploy. https://www.dronedeploy.com.
Heffels, M. R., Vanschoren, J. (2020, December 3). Aerial Imagery Pixel-level Segmentation. https://arxiv.org/abs/2012.02024.
Zhu, P., Wen, L., Du, D., Bian, X., Fan, H., Hu, Q., & Ling, H. (2021). Detection and Tracking Meet Drones Challenge. IEEE Transactions on Pattern Analysis and Machine Intelligence, (44(11)), 7380-7399. https://ieeexplore.ieee.org/document/9573394.
i.MX 8M Plus – Arm® Cortex®-A53, Machine Learning, Vision, Multimedia and Industrial IoT. (n.d.). NXP. https://www.nxp.com/products/processors-and-microcontrollers/arm-processors/i-mx-applications-processors/i-mx-8-applications-processors/i-mx-8m-plus-arm-cortex-a53-machine-learn-ing-vision-multimedia-and-industrial-iot:IMX8MPLUS?tid=vanIMX8MPLUS.
phyBOARD®-Pollux AI kit. (n.d.). NXP. https://www.phytec.eu/en/produkte/development-kits/phyboard-pollux-ki-kit/?lang=en/.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
