author = "Sothe, Camile",
                title = "Mapping successional forest stages and tree species in subtropical 
                         areas integrating UAV-based photogrammetric point cloud and 
                         hyperspectral data: comparison of machine and deep learning 
               school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
                 year = "2020",
              address = "S{\~a}o Jos{\'e} dos Campos",
                month = "2019-12-18",
             keywords = "tropical biodiversity, imaging spectroscopy, photogrammetry, 
                         WorldView-2, individual tree crown delineation, biodiversidade 
                         tropical, espectroscopia de imageamento, fotogrametria, 
                         delineamento de {\'a}rvores individuais.",
             abstract = "The use of Remote Sensing for successional stages and tree species 
                         mapping in (sub)tropical forests is a challenging task, due to 
                         high floristic and spectral diversity in these environments. 
                         Fortunately, in the latest decades, mankind has witnessed a 
                         remarkable advancement of space technologies targeted to 
                         monitoring forest resources, such as the availability of high 
                         spatial and spectral data and advanced classification methods. 
                         Besides providing high spatial and spectral resolution images, 
                         unmanned aerial vehicle (UAV)- hyperspectral cameras operating in 
                         frame format enable to produce tridimensional (3D) hyperspectral 
                         point clouds. This study investigated two major topics concerning 
                         the successional stages and tree species mapping in a subtropical 
                         forest environment in Southern Brazil: a) the use of UAVacquired 
                         hyperspectral images and UAV-photogrammetric point cloud (PPC) for 
                         the classification of successional stages, comparing these data 
                         with classifications using multispectral images acquired by the 
                         WorldView-2 (WV- 2) satellite and Light Detection and Ranging 
                         (LiDAR) data and; b) the use of UAV-acquired hyperspectral images 
                         and UAV-PPC for individual tree crown (ITC) delineation and 
                         semiautomatic classification of 16 major tree species in two 
                         subtropical forest fragments. For both goals, different datasets 
                         containing hyperspectral visible/near-infrared (VNIR) bands, PPC 
                         features, canopy height model (CHM), and other features extracted 
                         from hyperspectral or WV- 2 data (e.g., texture, vegetation 
                         indices-VIs, and minimum noise fraction- MNF) were tested. To 
                         classify the successional forest stages, an objectbased image 
                         analysis (OBIA) was conducted using two conventional machine 
                         learning classifiers, support vector machine (SVM) and random 
                         forest (RF). For tree species classification, two conventional 
                         machine learning, SVM and RF, and one deep learning classifier, 
                         the convolutional neural network (CNN), were tested in a 
                         pixel-based approach. Besides these classifiers, a new SVM 
                         approach focused on an imbalanced sample set was also tested, the 
                         weighted SVM (wSVM). For ITC delineation, three methods were 
                         tested: two using hyperspectral bands, the multiresolution region 
                         growing (MRG) and the itcIMG, and the other one using the PPC, 
                         named multiclass cut followed by recursive cut (MCRC). The best 
                         segmentation result was used in two classification approaches 
                         tested using the conventional machine learning methods: OBIA and 
                         the majority vote (MV) rule. The results showed that the 
                         successional forest stages were successfully classified with 
                         accuracies over 80% when the WV-2 data were applied, and over 90% 
                         with the UAVhyperspectral data. The best result reached an overall 
                         accuracy (OA) of 99.28% using the hyperspectral data associated 
                         with the CHM and RF classifier. The CHM and features derived from 
                         WV-2 and hyperspectral data increased between 5% and 13% the 
                         classification accuracies. Regarding the tree species 
                         classification, the CNN outperformed the RF and SVM for both 
                         areas, with an OA of 84.4% in Area 1, and 74.95% in Area 2, using 
                         only the VNIR bands. This method was 22% to 26% more accurate than 
                         the SVM and RF when considering the VNIR dataset. The inclusion of 
                         PPC features and the CHM provided a great increase in tree species 
                         classification results when machine learning methods were applied 
                         (SVM, wSVM and RF), between 13% and 17% depending on the selected 
                         classifier and the study area. However, a decrease was observed 
                         when these features were included in the CNN classification. The 
                         OBIA approach did not increase the OA for the SVM classifier, 
                         while a slightly increase was observed for the RF algorithm in 
                         comparison with the RF using the pixel-based classification. The 
                         MV rule approach, on the other hand, brought a marked increase in 
                         accuracy for both study areas (5% for Area 1 and 11% for Area 2). 
                         When using PPC features and the CHM, associated with the MV 
                         approach, the machine learning classifiers reached accuracies 
                         similar to the ones achieved by the CNN (82.52% for Area 1 and 
                         75.45% for Area 2). The wSVM provided a slightly increase in 
                         accuracy not only for some lesser represented classes, but also 
                         for some major classes in Area 2. None of the three ITC 
                         delineation methods reached a suitable result for all reference 
                         ITCs. The MRG method tended to oversegment most ITCs, while the 
                         itcIMG and MCRC tended to undersegment or missed some suppressed 
                         ITCs. With the inclusion of the CHM in the MRG segmentation and 
                         merging homogenous segments with the Jeffries Matusita (JM) 
                         distance, visually and according to supervised evaluation metrics, 
                         a better delineation was reached. The results found in this study 
                         are relevant to favor the conservation of the Atlantic Rain 
                         Forest, a severely threatened biome, optimizing the mapping and 
                         monitoring of its forest remnants, and also to subsidize actions 
                         within the scope of the rural environmental register (Cadastro 
                         Ambiental Rural- CAR) in Brazil. In addition, the methodology can 
                         be used to map specific tree species, such as the endangered ones, 
                         in this case Araucaria angustifolia and Cedrela fissilis. RESUMO: 
                         O uso de Sensoriamento Remoto para o mapeamento de est{\'a}dios 
                         sucessionais e esp{\'e}cies arb{\'o}reas em florestas 
                         (sub)tropicais {\'e} uma tarefa desafiadora, devido {\`a} alta 
                         diversidade flor{\'{\i}}stica e espectral desses ambientes. 
                         Felizmente, nas {\'u}ltimas d{\'e}cadas, a humanidade 
                         testemunhou um not{\'a}vel avan{\c{c}}o das tecnologias 
                         espaciais voltadas ao monitoramento dos recursos florestais, como 
                         a disponibilidade de dados com alta resolu{\c{c}}{\~a}o espacial 
                         e espectral e m{\'e}todos de classifica{\c{c}}{\~a}o 
                         sofisticados. Al{\'e}m da aquisi{\c{c}}{\~a}o de imagens de 
                         alta resolu{\c{c}}{\~a}o espacial e espectral, c{\^a}meras 
                         hiperespectrais a bordo de ve{\'{\i}}culos a{\'e}reos n{\~a}o 
                         tripulados (VANT) operando em formato de quadro permitem produzir 
                         nuvens de pontos hiperespectrais tridimensionais (3D). Este estudo 
                         investigou dois grandes t{\'o}picos referentes ao mapeamento de 
                         est{\'a}dios sucessionais e de esp{\'e}cies arb{\'o}reas em um 
                         ambiente de floresta subtropical do sul do Brasil: a) o uso de 
                         imagens hiperespectrais adquiridas por VANT e sua nuvem de pontos 
                         fotogram{\'e}trica (photogrammetric point cloud - PPC) para a 
                         classifica{\c{c}}{\~a}o de tr{\^e}s est{\'a}dios sucessionais 
                         da vegeta{\c{c}}{\~a}o, comparando esses dados com 
                         classifica{\c{c}}{\~o}es usando imagens multiespectrais 
                         adquiridas pelo sat{\'e}lite WorldView-2 (WV-2) associados a 
                         dados Light Detection and Ranging (LiDAR); e b) o uso de imagens 
                         hiperespectrais adquiridas por VANT e informa{\c{c}}{\~o}es da 
                         PPC para o delineamento de copas de {\'a}rvore individual 
                         (individual tree crown - ITC) e para a classifica{\c{c}}{\~a}o 
                         semiautom{\'a}tica de 16 esp{\'e}cies arb{\'o}reas dominantes 
                         em dois fragmentos de floresta subtropical. Para ambos os 
                         objetivos, foram testados diferentes conjuntos de dados contendo 
                         bandas do espectro vis{\'{\i}}vel/infravermelho pr{\'o}ximo 
                         (visible/near infrared - VNIR), atributos derivados da PPC, modelo 
                         de altura de dossel (canopy height model - CHM) e outros atributos 
                         extra{\'{\i}}dos de dados hiperespectrais ou WV- 2 (e.g., 
                         textura, {\'{\i}}ndices de vegeta{\c{c}}{\~a}o-VIs, e 
                         fra{\c{c}}{\~a}o de ru{\'{\i}}do m{\'{\i}}nima-MNF). Para 
                         classificar os est{\'a}dios sucessionais, foi conduzida uma 
                         an{\'a}lise de imagem baseada em objetos (object-based image 
                         analysis - OBIA) usando dois classificadores de aprendizado de 
                         m{\'a}quina, m{\'a}quinas de vetor de suporte (support vector 
                         machine - SVM) e floresta aleat{\'o}ria (random forest - RF). 
                         Para a classifica{\c{c}}{\~a}o de esp{\'e}cies arb{\'o}reas, 
                         dois algoritmos de aprendizado de m{\'a}quina convencionais, SVM 
                         e RF, e um classificador de aprendizagem profunda, rede neural 
                         convolucional (convolutional neural network - CNN), foram testados 
                         em uma abordagem baseada em pixels. Al{\'e}m destes, tamb{\'e}m 
                         foi testada uma nova abordagem SVM para lidar com o conjunto de 
                         amostras desbalanceadas, o SVM ponderado (weighted SVM - wSVM). 
                         Para o delineamento de ITC, tr{\^e}s m{\'e}todos foram testados: 
                         dois utilizando bandas hiperespectrais, o algoritmo 
                         multirresolu{\c{c}}{\~a}o por crescimento de regi{\~o}es 
                         (multiresolution region growing - MRG) e o itcIMG, e o terceiro 
                         m{\'e}todo utilizando a nuvem de pontos PPC, denominado corte 
                         multiclasse seguido de corte recursivo (multiclass cut followed by 
                         recursive cut - MCRC). O melhor resultado de 
                         segmenta{\c{c}}{\~a}o foi usado em duas abordagens de 
                         classifica{\c{c}}{\~a}o testadas com os m{\'e}todos 
                         convencionais de aprendizado de m{\'a}quina: OBIA e regra de voto 
                         majorit{\'a}rio (majority vote - MV). Os resultados mostraram que 
                         a classifica{\c{c}}{\~a}o dos est{\'a}dios sucessionais da 
                         vegeta{\c{c}}{\~a}o, em geral, foi bem-sucedida, 
                         alcan{\c{c}}ando precis{\~o}es acima de 80% quando empregados os 
                         dados do WV-2, e acima de 90% quando usados os dados 
                         hiperespectrais. O melhor resultado alcan{\c{c}}ou uma 
                         precis{\~a}o global (overall accuracy - OA) de 99,28% usando os 
                         dados hiperespectrais associados ao CHM e ao classificador RF. O 
                         CHM e os atributos derivados dos dados do WV-2 e hiperespectrais 
                         aumentaram entre 5% e 13% a precis{\~a}o da 
                         classifica{\c{c}}{\~a}o. Em rela{\c{c}}{\~a}o {\`a} 
                         classifica{\c{c}}{\~a}o das esp{\'e}cies arb{\'o}reas, a CNN 
                         superou os classificadores RF e SVM em ambas as {\'a}reas, com 
                         uma OA de 84,4% na {\'A}rea 1 e 74,95% na {\'A}rea 2, utilizando 
                         apenas as bandas espectrais VNIR. Este m{\'e}todo foi 22% a 26% 
                         mais preciso do que SVM e RF quando considerado apenas o conjunto 
                         de dados VNIR. A inclus{\~a}o de atributos da PPC e do CHM levou 
                         a um significativo aumento na precis{\~a}o da 
                         classifica{\c{c}}{\~a}o de esp{\'e}cies arb{\'o}reas quando 
                         m{\'e}todos de aprendizado de m{\'a}quina foram aplicados (SVM, 
                         wSVM e RF), entre 13% e 17% dependendo do classificador e da 
                         {\'a}rea de estudo. No entanto, uma diminui{\c{c}}{\~a}o na OA 
                         foi observada quando esses atributos foram inclu{\'{\i}}dos na 
                         classifica{\c{c}}{\~a}o da CNN. A abordagem OBIA n{\~a}o 
                         aumentou a OA para o SVM, enquanto um pequeno aumento foi 
                         observado no algoritmo RF em compara{\c{c}}{\~a}o com o RF 
                         usando a classifica{\c{c}}{\~a}o baseada em pixels. A abordagem 
                         MV, por outro lado, trouxe um aumento acentuado na precis{\~a}o 
                         para ambas as {\'a}reas de estudo (5% para a {\'A}rea 1 e 11% 
                         para a {\'A}rea 2). Ao usar atributos derivados da PPC e o CHM, 
                         associadas {\`a} abordagem MV, os classificadores de aprendizado 
                         de m{\'a}quina alcan{\c{c}}aram precis{\~o}es similares {\`a} 
                         CNN (82,52% para a {\'A}rea 1 e 75,45% para a {\'A}rea 2). O 
                         wSVM aumentou a precis{\~a}o, n{\~a}o apenas de classes com 
                         menos amostras, mas tamb{\'e}m de algumas classes 
                         majorit{\'a}rias na {\'A}rea 2. Nenhum dos tr{\^e}s 
                         m{\'e}todos de delineamento de ITC alcan{\c{c}}ou um resultado 
                         adequado para todas as ITCs de refer{\^e}ncia. O m{\'e}todo MRG 
                         tendeu a superssegmentar a maioria das ITCs, enquanto o itcIMG e o 
                         MCRC tenderam {\`a} sobressegmenta{\c{c}}{\~a}o, ou ent{\~a}o, 
                         n{\~a}o segmentaram algumas ITCs suprimidas sob o dossel. Com a 
                         inclus{\~a}o do CHM na segmenta{\c{c}}{\~a}o usando o MRG, e a 
                         fus{\~a}o de segmentos homog{\^e}neos usando a dist{\^a}ncia 
                         Jeffries Matusita (JM), tanto visualmente quanto de acordo com 
                         m{\'e}tricas de avalia{\c{c}}{\~a}o, conseguiu-se um melhor 
                         delineamento das copas das {\'a}rvores. Os resultados encontrados 
                         nesse estudo s{\~a}o relevantes para incentivar a 
                         conserva{\c{c}}{\~a}o da Mata Atl{\^a}ntica, um bioma 
                         severamente amea{\c{c}}ado, otimizando o mapeamento e 
                         monitoramento de seus remanescentes florestais, e tamb{\'e}m para 
                         subsidiar a{\c{c}}{\~o}es no {\^a}mbito do Cadastro Ambiental 
                         Rural (CAR) no Brasil. Al{\'e}m disso, a metodologia pode ser 
                         usada para mapear esp{\'e}cies arb{\'o}reas 
                         espec{\'{\i}}ficas, como as amea{\c{c}}adas de 
                         extin{\c{c}}{\~a}o, neste caso, Araucaria angustifolia e Cedrela 
            committee = "K{\"o}rting, Thales Sehn (presidente) and Almeida, Cl{\'a}udia 
                         Maria de (orientadora) and Schimalski, Marcos Benedito 
                         (orientador) and Kux, Hermann Johann Heinrich",
         englishtitle = "Mapeamento de est{\'a}dios sucessionais da vegeta{\c{c}}{\~a}o 
                         e esp{\'e}cies arb{\'o}reas em {\'a}reas subtropicais 
                         integrando n{\'u}vem de pontos fotogram{\'e}trica e dados 
                         hiperespectrais baseados em VANT: compara{\c{c}}{\~a}o entre 
                         algoritmos de aprendizado de m{\'a}quina e aprendizado profundo",
             language = "en",
                pages = "184",
                  ibi = "8JMKD3MGP3W34R/3UED6S2",
                  url = "http://urlib.net/rep/8JMKD3MGP3W34R/3UED6S2",
           targetfile = "publicacao.pdf",
        urlaccessdate = "23 jan. 2021"