АНАЛІЗ ПІДХОДІВ ДО ВИДАЛЕННЯ ХМАРНОСТІ НА КОСМІЧНИХ ЗНІМКАХ ДИСТАНЦІЙНОГО ЗОНДУВАННЯ ЗЕМЛІ
DOI:
https://doi.org/10.46972/2076-1546.2023.25.08Ключові слова:
космічні знімки, дистанційне зондування Землі, хмарність, нейронні мережіАнотація
Сучасний розвиток космічних технологій та дистанційного зондування Землі надає унікальні можливості для вирішення завдань у багатьох сферах, зокрема й у військовій. Космічні знімки, отримані за допомогою дистанційного зондування, часто відіграють ключову роль у процесі прийняття рішень на всіх рівнях військового управління. Тому одним із важливих завдань у цьому контексті є видалення хмарності. Це важливий етап обробки даних дистанційного зондування, спрямований на реконструкцію інформації, прихованої цими атмосферними збуреннями. Стаття присвячена аналізу різних підходів до видалення хмарності та покращення якості отриманих даних. Традиційні підходи, що базуються на використанні різноманітних алгоритмів обробки зображень, мають певні обмеження, пов’язані з частою втратою корисної інформації. Особливу увагу приділено методам глибокого навчання, які набули популярності в розв’язанні проблем видалення хмарності. Глибокі нейронні мережі (DNN) демонструють свій великий потенціал для відновлення прихованої хмарами інформації на космічних знімках. У статті розглянуто різні архітектури DNN (згорткові нейронні мережі (CNN), умовно-генеративні змагальні мережі (cGAN)) та їх модифікації, визначено їх переваги та недоліки. Використання новітніх методів є більш точним та ефективним порівняно із традиційними методами обробки зображень, адже нейронні мережі можуть адаптуватися до різноманітних умов та типів знімків. Проаналізовані недоліки злиття суто оптичних даних дозволили дійти висновку, що найкращим вирішенням завдання видалення хмарності з космічних знімків є поєднання оптичних та радіолокаційних даних. Незважаючи на складність такого підходу, він може показати найбільшу ефективність для розв’язання порушеної в статті проблеми. Розглянуто виклики та перспективи подальшого вдосконалення методів видалення хмарності на космічних знімках, зокрема з використанням алгоритмів штучного інтелекту для автоматичної детекції та видалення хмар. Обґрунтовано потребу у створенні стандартизованих методик для порівняння та оцінювання ефективності різних підходів.
Посилання
The commander-in-chief of Ukraine’s armed forces on how to win the war. (n.d.). The Economist. Retrived from https://www.economist.com/by-invitation/2023/11/01/the-commander-in-chief-of-ukraines-armed-forces-on-how-to-win-the-war
Kovbasiyuk, S. V., Kanevsky, L. B., & Romanchuk, M. P. (2017). Shliakhy udoskonalennia informatsiinoho zabezpechennia Zbroinykh Syl Ukrainy pry vykorystanni danykh dystantsiinoho zonduvannia Zemli serednoho prostorovo-ho rozriznennia [Study of Ways for Improving Information Support of the Armed Forces of Ukraine Using Data Distal Sounding of the Earth of Space Models of Middle Space Distribution]. Problemy stvorennia, vyprobuvannia, zastosuvannia ta ekspluatatsii skladnykh informatsiinykh system: zb. nauk. prats ZhVI [Problems of Construction, Testing, Application and Operation of Complex Information Systems. Scientific journal of Korolov Zhytomyr Military Institute], Iss. 14, 105–115 [in Ukrainian].
Types of Resolution in Remote Sensing. (n.d.). LIDAR and RADAR. Retrived from https://lidarandradar.com/resolution-in-remote-sensing-and-its-types/
King, M., Platnick, S., Menzel, W., Ackerman, S., & Hubanks, P. (2013). Spatial and temporal distribution of clouds observed by MODIS onboard the Terra and Aqua satellites. IEEE transactions on geoscience and remote sensing, № 51 (7), 3826–3852. http://dx.doi.org/10.1109/tgrs.2012.2227333
Schowengerdt, R. (2007). Remote Sensing, Models and Methods for Image Processing. (3d ed.). Burlington: Elsevier. https://doi.org/10.1016/b978-0-12-369407-2.x5000-1
Rees, W. G. (2012). Physical Principles of Remote Sensing. (3d ed.). Cambridge University Press. https://doi.org/10.1017/CBO9781139017411
Shen, H. et al. (2015). Missing Information Reconstruction of Remote Sensing Data: A Technical Review. IEEE Geoscience and Remote Sensing Magazine, Vol. 3, № 3, 61–85. https://doi.org/10.1109/mgrs.2015.2441912
Xu, M. et al. (2019). Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 149, 215–225. https://doi.org/10.1016/j.isprsjprs.2019.01.025
Lv, H., Wang, Y., & Shen, Y. (2016). An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands. Remote Sensing of Environment, Vol. 179, 183–195. https://doi.org/10.1016/j.rse.2016.03.034
Ji, T.-Y. et al. (2018). Nonlocal Tensor Completion for Multitemporal Remotely Sensed Images’ Inpainting. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, № 6, 3047–3061. https://doi.org/10.1109/tgrs.2018.2790262
Li, X. et al. (2019). Cloud removal in remote sensing images using nonnegative matrix factorization and error correction. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 148, 103–113. https://doi.org/10.1016/j.isprsjprs.2018.12.013
Meng, F. et al. (2017). A Sparse Dictionary Learning-Based Adaptive Patch Inpainting Method for Thick Clouds Removal from High-Spatial Resolution Remote Sensing Imagery. Sensors, Vol. 17, № 9, 2130. https://doi.org/10.3390/s17092130
Cheng, Q. et al. (2014). Cloud Removal for Remotely Sensed Images by Similar Pixel Replacement Guided with a Spatio-temporal MRF Model. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 92, 54–68. https://doi.org/10.1016/j.isprsjprs.2014.02.015
Eckardt, R. et al. (2013). Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using Multi-Frequency SAR Data. Remote Sensing, Vol. 5, № 6, 2973–3006. https://doi.org/10.3390/rs5062973
Siravenha, A., Sousa, D., Bispo, A., & Pelaes, E. (2011). Evaluating Inpainting Methods to the Satellite Images Clouds and Shadows Removing. Signal Processing, Image Processing and Pattern Recognition (SIP, 2011). Communications in Computer and Information Science, Vol. 260. Springer, Berlin. https://doi.org/10.1007/978-3-642-27183-0_7
Yu, C. et al. (2011). Kriging Interpolation Method and its Application in Retrieval of MODIS Aerosol Optical Depth. In 19th International Conference on Geoinformatics. Shanghai, China, June 24–26, 2011. https://doi.org/10.1109/geoinformatics.2011.5981052
Land Remote Sensing Satellites. (n.d.). Science for a changing world. Retrived from https://www.usgs.gov/calval/land-remote-sensing-satellites
Ventusky – Weather Forecast Maps. Ventusky – Wind, Rain and Temperature Maps. (n.d.). Retrived from https://www.ventusky.com/
Zhang, Q. et al. (2018). Missing Data Reconstruction in Remote Sensing Image with a Unified Spatial-temporal-spectral Deep Convolutional Neural Network. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, № 8, 4274–4288. https://doi.org/10.1109/tgrs.2018.2810208
Enomoto, K., Sakurada, K., & Wang, W. et al. (2017). Filmy Cloud Removal on Satellite Imagery with Multispectral Conditional Generative Adversarial Nets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, arXiv: 1710.04835, (pp. 1533–1541). https://doi:10.1109/CVPRW.2017.197
Isola, P., Zhu, J., Zhou, T., & Efros, A. (2017). Image-to-image Translation with Conditional Adversarial Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. (pp. 1125–1134). http://dx.doi.org/10.1109/cvpr.2017.632
Zhang, X. et al. (2023). Remote Sensing Object Detection Meets Deep Learning: A Metareview of Challenges and Advances. IEEE Geoscience and Remote Sensing Magazine, Vol. 11, Iss. 4, 8–44. http://dx.doi.org/10.1109/mgrs.2023.3312347
Qin, M., Xie, F., & Li, W. et al. (2018). Dehazing for Multispectral Remote Sensing Images Based on a Convolutional Neural Network with the Residual Architecture. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, № 11 (5), 1645–1655. http://dx.doi.org/10.1109/jstars.2018.2812726
Hoan, N., & Tateishi, R. (2009). Cloud Removal of Optical Image Using SAR Data for ALOS Applications. Experimenting on Simulated ALOS Data. Journal of Remote Sensing, Iss. 29, 410–417.
Eckardt, R. et al. (2013). Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using Multi-Frequency SAR Data. Remote Sensing, Vol. 5, № 6, 2973–3006. https://doi.org/10.3390/rs5062973
Meng, Q., Borders, B., Cieszewski, C., & Madden, M. (2009). Closest Spectral Fit for Removing Clouds and Cloud Shadows. Photogrammetric Engineering & Remote Sensing, № 75 (5), 569–576. http://dx.doi.org/10.14358/pers.75.5.569
Schmitt, M., & Zhu, X. (2016). Data fusion and remote sensing: An ever-growing relationship. IEEE Geoscience and Remote Sensing Magazine, № 4 (4), 6–23. http://dx.doi.org/10.1109/mgrs.2016.2561021
Bamler, R. (2020). Principles of synthetic aperture radar. Surveys in Geophysics, № 21 (2–3), 147–157.
Wang, L., Xu, X., & Yu, Y. et al. (2019). SAR-to-optical Image Translation Using Supervised Cycle-consistent Adversarial Networks. IEEE Access, № 7, 129136–129149. http://dx.doi.org/10.1109/access.2019.2939649
Bermudez, J. D. et al. (2019). Synthesis of Multispectral Optical Images From SAR/Optical Multitemporal Data Using Conditional Generative Adversarial Networks. IEEE Geoscience and Remote Sensing Letters, Vol. 16, № 8, 1220–1224. https://doi.org/10.1109/lgrs.2019.2894734
Li, W., Li, Y., & Chan, J. (2019). Thick Cloud Removal with Optical and SAR Imagery Via Convolutional-Mapping-Deconvolutional Network. IEEE Transactions on Geoscience and Remote Sensing, 58 (4), 2865–2879. http://dx.doi.org/10.1109/tgrs.2019.2956959
Perlin, K. (2002). Improving noise. In Proceedings of the Annual Conference on Computer Graphics and Interactive Techniques. (pp. 681–682).
Lin, D., Xu, G., & Wang, X. et al. (2019). A Remote Sensing Image Dataset for Cloud Removal. Computer Vision and Pattern Recognition. arXiv:1901.00600. https://doi.org/10.48550/arXiv.1901.00600
Chen, Y., Tang, L., Yang, X. et al. (2019). Thick Clouds Removal from Multitemporal ZY-3 Satellite Images Using Deep Learning. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, № 13, 143–153. http://dx.doi.org/10.1109/jstars.2019.2954130
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
