%0 Thesis
%4 sid.inpe.br/mtc-m21d/2023/03.31.22.17
%2 sid.inpe.br/mtc-m21d/2023/03.31.22.17.23
%T AI4LUC: pixel-based classification of land use and land cover via deep learning and a Cerrado image dataset
%J AI4LUC: classificação baseada em pixels do uso e cobertura da terra considerando um conjunto de imagens do Cerrado
%D 2023
%8 2023-03-28
%9 Dissertação (Mestrado em Computação Aplicada)
%P 77
%A Miranda, Mateus de Souza,
%E Shiguemori, Élcio Hideiti (presidente),
%E Santiago Júnior, Valdivino Alexandre de (orientador),
%E Körting, Thales Sehn (orientador),
%E Escada, Maria Isabel Sobral,
%E Papa, João Paulo,
%I Instituto Nacional de Pesquisas Espaciais (INPE)
%C São José dos Campos
%K pixel-based image classification, deep learning, Cerrado, CBERS-4A, classificação de imagem baseada em pixel, aprendizado profundo, Cerrado, CBERS-4A.
%X The Cerrado biome is known for the biodiversity of flora, as well as for its potential in agricultural production. Its landscapes of land use and land cover (LULC) are monitored in order to analyze and understand the social, economic, and environmental aspects related to causative factors and impacts of these activities. There are many efforts by the Remote Sensing (RS) community for employing machine learning (ML) or deep learning (DL) techniques aiming to improve classification tasks, in terms of either pixel-based classification or contextual classification. However, a few datasets containing images with high spatial resolution, representativeness, and a huge number of samples about the Cerrado biome are available. For supervised learning of either DL or ML models, dataset samples must be labeled. This procedure currently relies on manual execution, demanding significant time and attention. For instance, it involves generating and labeling reference masks, where specific pixels indicate the class to which they belong in the segment. Driven by these motivations, this masters dissertation strives to make a valuable contribution to the field of pixel-based classification, specifically focusing on semantic segmentation of Land Use and Land Cover (LULC) using deep learning techniques applied to a dataset of satellite images from the Cerrado region. To achieve this objective, a novel approach named Artificial Intelligence for Land Use and Land Cover Classification (AI4LUC) is introduced. Thus, a dataset regarding the Cerrado biome was created, called CerraData, amounting to unlabeled 2.5 million patches with a height and width of 256 pixels, and two meters of spatial resolution. The spectral bands were obtained from the Wide Panchromatic and Multispectral Camera (WPM) of the China-Brazil Earth Resources-4A (CBERS-4A) satellite. From this dataset, two novel labeled versions were designed. Furthermore, a novel convolutional neural network (CNN) called CerraNetv3 has been developed to enhance the pixel-based classification task. CerraNetv3, along with Google DeepLabv3plus, collaboratively contributes to this endeavor. Additionally, an innovative technique has been introduced to automate the generation and labeling of reference masks. By leveraging the capabilities of CerraNetv3, these reference masks are utilized to facilitate the training process of DeepLabv3plus for pixel-based classification. AI4LUC was subjected to a comparative analysis with other related approaches in the domain of semantic segmentation and contextual classification to assess its viability. The findings revealed that CerraNetv3 achieved the highest performance in the contextual classification experiment, attaining an impressive F1-score of 0.9289. As for the automatic mask generation and labeling method, it yielded an overall score of 0.6738, with F1-score metrics. In contrast, DeepLabv3plus obtained significantly lower scores of 0.2805 for the same metric. The lower scores of the mask generation method can be attributed to occasional deficiencies in the quality of generated masks, resulting in mislabeling by the CerraNetv3 classifier. Consequently, DeepLabv3plus also exhibited suboptimal performance. RESUMO: O bioma Cerrado é conhecido pela biodiversidade da flora, bem como pelo seu potencial na produção agrícola. Suas paisagens de uso e cobertura da terra (LULC) são monitoradas a fim de analisar e compreender os aspectos sociais, econômicos e ambientais relacionados aos fatores causadores e impactos dessas atividades. Existem muitos esforços da comunidade de Sensoriamento Remoto (SR) para empregar técnicas de aprendizado de máquina (AM) ou aprendizado profundo (AP) com o objetivo de melhorar as tarefas de classificação, seja em termos de classificação baseada em pixels ou classificação contextual. No entanto, poucos conjuntos de dados contendo imagens com alta resolução espacial, representatividade e um grande número de amostras sobre o bioma Cerrado estão disponíveis. Para aprendizado supervisionado de modelos AP ou AM, as amostras de conjunto de dados devem ser rotuladas. Este procedimento atualmente depende de execução manual, exigindo muito tempo e atenção. Por exemplo, a geração e rotulagem de máscaras de referência, onde cada pixel indicam a classe a que pertencem no segmento. Impulsionada por essas motivações, esta dissertação de mestrado visa contribuir para o campo da classificação baseada em pixels, focando especificamente na segmentação semântica do uso e cobertura da Terra (LULC) usando técnicas de AP aplicadas a um conjunto de dados de imagens de satélite do Cerrado. Para alcançar este objetivo, uma nova metodologia, denominada Artificial Intelligence for Land Use and Land Cover Classification (AI4LUC), é apresentada. Assim, foi criado um conjunto de dados referente ao bioma Cerrado, denominado CerraData, totalizando 2,5 milhões de manchas não rotuladas com altura e largura de 256 pixels e dois metros de resolução espacial. As bandas espectrais foram obtidas da Wide Panchromatic and Multispectral Camera (WPM) do satélite CBERS-4A. A partir deste conjunto de dados, duas novas versões rotuladas foram projetadas. Além disso, uma nova rede neural convolucional (CNN) chamada CerraNetv3 foi desenvolvida para tarefa de classificação contextual. Esta rede foi introduzida a no método para automatizar a geração e rotulagem de máscaras de referência, as quais são utilizadas para o treinamento do DeepLabv3plus. AI4LUC foi submetido a uma análise comparativa com outras abordagens no domínio da segmentação semântica e classificação contextual para avaliar a sua viabilidade. Os resultados revelaram que o CerraNetv3 alcançou o melhor desempenho no experimento de classificação contextual, atingindo de 0,9289 com F1-score. Quanto à geração automática de máscara e ao método de rotulagem, obteve uma pontuação geral de 0,6738, com F1-score. As pontuações mais baixas desse método podem ser associadas a qualidade das máscaras geradas, resultando em rotulagem incorreta pelo classificador CerraNetv3. Consequentemente, o DeepLabv3plus obteve 0,2805, desempenho abaixo do ideal esperado.
%@language en
%3 publicacao.pdf