@PhDThesis{Sothe:2020:CoMaDe,
author = "Sothe, Camile",
title = "Mapping successional forest stages and tree species in subtropical
areas integrating UAV-based photogrammetric point cloud and
hyperspectral data: comparison of machine and deep learning
algorithms",
school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
year = "2020",
address = "S{\~a}o Jos{\'e} dos Campos",
month = "2019-12-18",
keywords = "tropical biodiversity, imaging spectroscopy, photogrammetry,
WorldView-2, individual tree crown delineation, biodiversidade
tropical, espectroscopia de imageamento, fotogrametria,
delineamento de {\'a}rvores individuais.",
abstract = "The use of Remote Sensing for successional stages and tree species
mapping in (sub)tropical forests is a challenging task, due to
high floristic and spectral diversity in these environments.
Fortunately, in the latest decades, mankind has witnessed a
remarkable advancement of space technologies targeted to
monitoring forest resources, such as the availability of high
spatial and spectral data and advanced classification methods.
Besides providing high spatial and spectral resolution images,
unmanned aerial vehicle (UAV)- hyperspectral cameras operating in
frame format enable to produce tridimensional (3D) hyperspectral
point clouds. This study investigated two major topics concerning
the successional stages and tree species mapping in a subtropical
forest environment in Southern Brazil: a) the use of UAVacquired
hyperspectral images and UAV-photogrammetric point cloud (PPC) for
the classification of successional stages, comparing these data
with classifications using multispectral images acquired by the
WorldView-2 (WV- 2) satellite and Light Detection and Ranging
(LiDAR) data and; b) the use of UAV-acquired hyperspectral images
and UAV-PPC for individual tree crown (ITC) delineation and
semiautomatic classification of 16 major tree species in two
subtropical forest fragments. For both goals, different datasets
containing hyperspectral visible/near-infrared (VNIR) bands, PPC
features, canopy height model (CHM), and other features extracted
from hyperspectral or WV- 2 data (e.g., texture, vegetation
indices-VIs, and minimum noise fraction- MNF) were tested. To
classify the successional forest stages, an objectbased image
analysis (OBIA) was conducted using two conventional machine
learning classifiers, support vector machine (SVM) and random
forest (RF). For tree species classification, two conventional
machine learning, SVM and RF, and one deep learning classifier,
the convolutional neural network (CNN), were tested in a
pixel-based approach. Besides these classifiers, a new SVM
approach focused on an imbalanced sample set was also tested, the
weighted SVM (wSVM). For ITC delineation, three methods were
tested: two using hyperspectral bands, the multiresolution region
growing (MRG) and the itcIMG, and the other one using the PPC,
named multiclass cut followed by recursive cut (MCRC). The best
segmentation result was used in two classification approaches
tested using the conventional machine learning methods: OBIA and
the majority vote (MV) rule. The results showed that the
successional forest stages were successfully classified with
accuracies over 80% when the WV-2 data were applied, and over 90%
with the UAVhyperspectral data. The best result reached an overall
accuracy (OA) of 99.28% using the hyperspectral data associated
with the CHM and RF classifier. The CHM and features derived from
WV-2 and hyperspectral data increased between 5% and 13% the
classification accuracies. Regarding the tree species
classification, the CNN outperformed the RF and SVM for both
areas, with an OA of 84.4% in Area 1, and 74.95% in Area 2, using
only the VNIR bands. This method was 22% to 26% more accurate than
the SVM and RF when considering the VNIR dataset. The inclusion of
PPC features and the CHM provided a great increase in tree species
classification results when machine learning methods were applied
(SVM, wSVM and RF), between 13% and 17% depending on the selected
classifier and the study area. However, a decrease was observed
when these features were included in the CNN classification. The
OBIA approach did not increase the OA for the SVM classifier,
while a slightly increase was observed for the RF algorithm in
comparison with the RF using the pixel-based classification. The
MV rule approach, on the other hand, brought a marked increase in
accuracy for both study areas (5% for Area 1 and 11% for Area 2).
When using PPC features and the CHM, associated with the MV
approach, the machine learning classifiers reached accuracies
similar to the ones achieved by the CNN (82.52% for Area 1 and
75.45% for Area 2). The wSVM provided a slightly increase in
accuracy not only for some lesser represented classes, but also
for some major classes in Area 2. None of the three ITC
delineation methods reached a suitable result for all reference
ITCs. The MRG method tended to oversegment most ITCs, while the
itcIMG and MCRC tended to undersegment or missed some suppressed
ITCs. With the inclusion of the CHM in the MRG segmentation and
merging homogenous segments with the Jeffries Matusita (JM)
distance, visually and according to supervised evaluation metrics,
a better delineation was reached. The results found in this study
are relevant to favor the conservation of the Atlantic Rain
Forest, a severely threatened biome, optimizing the mapping and
monitoring of its forest remnants, and also to subsidize actions
within the scope of the rural environmental register (Cadastro
Ambiental Rural- CAR) in Brazil. In addition, the methodology can
be used to map specific tree species, such as the endangered ones,
in this case Araucaria angustifolia and Cedrela fissilis. RESUMO:
O uso de Sensoriamento Remoto para o mapeamento de est{\'a}dios
sucessionais e esp{\'e}cies arb{\'o}reas em florestas
(sub)tropicais {\'e} uma tarefa desafiadora, devido {\`a} alta
diversidade flor{\'{\i}}stica e espectral desses ambientes.
Felizmente, nas {\'u}ltimas d{\'e}cadas, a humanidade
testemunhou um not{\'a}vel avan{\c{c}}o das tecnologias
espaciais voltadas ao monitoramento dos recursos florestais, como
a disponibilidade de dados com alta resolu{\c{c}}{\~a}o espacial
e espectral e m{\'e}todos de classifica{\c{c}}{\~a}o
sofisticados. Al{\'e}m da aquisi{\c{c}}{\~a}o de imagens de
alta resolu{\c{c}}{\~a}o espacial e espectral, c{\^a}meras
hiperespectrais a bordo de ve{\'{\i}}culos a{\'e}reos n{\~a}o
tripulados (VANT) operando em formato de quadro permitem produzir
nuvens de pontos hiperespectrais tridimensionais (3D). Este estudo
investigou dois grandes t{\'o}picos referentes ao mapeamento de
est{\'a}dios sucessionais e de esp{\'e}cies arb{\'o}reas em um
ambiente de floresta subtropical do sul do Brasil: a) o uso de
imagens hiperespectrais adquiridas por VANT e sua nuvem de pontos
fotogram{\'e}trica (photogrammetric point cloud - PPC) para a
classifica{\c{c}}{\~a}o de tr{\^e}s est{\'a}dios sucessionais
da vegeta{\c{c}}{\~a}o, comparando esses dados com
classifica{\c{c}}{\~o}es usando imagens multiespectrais
adquiridas pelo sat{\'e}lite WorldView-2 (WV-2) associados a
dados Light Detection and Ranging (LiDAR); e b) o uso de imagens
hiperespectrais adquiridas por VANT e informa{\c{c}}{\~o}es da
PPC para o delineamento de copas de {\'a}rvore individual
(individual tree crown - ITC) e para a classifica{\c{c}}{\~a}o
semiautom{\'a}tica de 16 esp{\'e}cies arb{\'o}reas dominantes
em dois fragmentos de floresta subtropical. Para ambos os
objetivos, foram testados diferentes conjuntos de dados contendo
bandas do espectro vis{\'{\i}}vel/infravermelho pr{\'o}ximo
(visible/near infrared - VNIR), atributos derivados da PPC, modelo
de altura de dossel (canopy height model - CHM) e outros atributos
extra{\'{\i}}dos de dados hiperespectrais ou WV- 2 (e.g.,
textura, {\'{\i}}ndices de vegeta{\c{c}}{\~a}o-VIs, e
fra{\c{c}}{\~a}o de ru{\'{\i}}do m{\'{\i}}nima-MNF). Para
classificar os est{\'a}dios sucessionais, foi conduzida uma
an{\'a}lise de imagem baseada em objetos (object-based image
analysis - OBIA) usando dois classificadores de aprendizado de
m{\'a}quina, m{\'a}quinas de vetor de suporte (support vector
machine - SVM) e floresta aleat{\'o}ria (random forest - RF).
Para a classifica{\c{c}}{\~a}o de esp{\'e}cies arb{\'o}reas,
dois algoritmos de aprendizado de m{\'a}quina convencionais, SVM
e RF, e um classificador de aprendizagem profunda, rede neural
convolucional (convolutional neural network - CNN), foram testados
em uma abordagem baseada em pixels. Al{\'e}m destes, tamb{\'e}m
foi testada uma nova abordagem SVM para lidar com o conjunto de
amostras desbalanceadas, o SVM ponderado (weighted SVM - wSVM).
Para o delineamento de ITC, tr{\^e}s m{\'e}todos foram testados:
dois utilizando bandas hiperespectrais, o algoritmo
multirresolu{\c{c}}{\~a}o por crescimento de regi{\~o}es
(multiresolution region growing - MRG) e o itcIMG, e o terceiro
m{\'e}todo utilizando a nuvem de pontos PPC, denominado corte
multiclasse seguido de corte recursivo (multiclass cut followed by
recursive cut - MCRC). O melhor resultado de
segmenta{\c{c}}{\~a}o foi usado em duas abordagens de
classifica{\c{c}}{\~a}o testadas com os m{\'e}todos
convencionais de aprendizado de m{\'a}quina: OBIA e regra de voto
majorit{\'a}rio (majority vote - MV). Os resultados mostraram que
a classifica{\c{c}}{\~a}o dos est{\'a}dios sucessionais da
vegeta{\c{c}}{\~a}o, em geral, foi bem-sucedida,
alcan{\c{c}}ando precis{\~o}es acima de 80% quando empregados os
dados do WV-2, e acima de 90% quando usados os dados
hiperespectrais. O melhor resultado alcan{\c{c}}ou uma
precis{\~a}o global (overall accuracy - OA) de 99,28% usando os
dados hiperespectrais associados ao CHM e ao classificador RF. O
CHM e os atributos derivados dos dados do WV-2 e hiperespectrais
aumentaram entre 5% e 13% a precis{\~a}o da
classifica{\c{c}}{\~a}o. Em rela{\c{c}}{\~a}o {\`a}
classifica{\c{c}}{\~a}o das esp{\'e}cies arb{\'o}reas, a CNN
superou os classificadores RF e SVM em ambas as {\'a}reas, com
uma OA de 84,4% na {\'A}rea 1 e 74,95% na {\'A}rea 2, utilizando
apenas as bandas espectrais VNIR. Este m{\'e}todo foi 22% a 26%
mais preciso do que SVM e RF quando considerado apenas o conjunto
de dados VNIR. A inclus{\~a}o de atributos da PPC e do CHM levou
a um significativo aumento na precis{\~a}o da
classifica{\c{c}}{\~a}o de esp{\'e}cies arb{\'o}reas quando
m{\'e}todos de aprendizado de m{\'a}quina foram aplicados (SVM,
wSVM e RF), entre 13% e 17% dependendo do classificador e da
{\'a}rea de estudo. No entanto, uma diminui{\c{c}}{\~a}o na OA
foi observada quando esses atributos foram inclu{\'{\i}}dos na
classifica{\c{c}}{\~a}o da CNN. A abordagem OBIA n{\~a}o
aumentou a OA para o SVM, enquanto um pequeno aumento foi
observado no algoritmo RF em compara{\c{c}}{\~a}o com o RF
usando a classifica{\c{c}}{\~a}o baseada em pixels. A abordagem
MV, por outro lado, trouxe um aumento acentuado na precis{\~a}o
para ambas as {\'a}reas de estudo (5% para a {\'A}rea 1 e 11%
para a {\'A}rea 2). Ao usar atributos derivados da PPC e o CHM,
associadas {\`a} abordagem MV, os classificadores de aprendizado
de m{\'a}quina alcan{\c{c}}aram precis{\~o}es similares {\`a}
CNN (82,52% para a {\'A}rea 1 e 75,45% para a {\'A}rea 2). O
wSVM aumentou a precis{\~a}o, n{\~a}o apenas de classes com
menos amostras, mas tamb{\'e}m de algumas classes
majorit{\'a}rias na {\'A}rea 2. Nenhum dos tr{\^e}s
m{\'e}todos de delineamento de ITC alcan{\c{c}}ou um resultado
adequado para todas as ITCs de refer{\^e}ncia. O m{\'e}todo MRG
tendeu a superssegmentar a maioria das ITCs, enquanto o itcIMG e o
MCRC tenderam {\`a} sobressegmenta{\c{c}}{\~a}o, ou ent{\~a}o,
n{\~a}o segmentaram algumas ITCs suprimidas sob o dossel. Com a
inclus{\~a}o do CHM na segmenta{\c{c}}{\~a}o usando o MRG, e a
fus{\~a}o de segmentos homog{\^e}neos usando a dist{\^a}ncia
Jeffries Matusita (JM), tanto visualmente quanto de acordo com
m{\'e}tricas de avalia{\c{c}}{\~a}o, conseguiu-se um melhor
delineamento das copas das {\'a}rvores. Os resultados encontrados
nesse estudo s{\~a}o relevantes para incentivar a
conserva{\c{c}}{\~a}o da Mata Atl{\^a}ntica, um bioma
severamente amea{\c{c}}ado, otimizando o mapeamento e
monitoramento de seus remanescentes florestais, e tamb{\'e}m para
subsidiar a{\c{c}}{\~o}es no {\^a}mbito do Cadastro Ambiental
Rural (CAR) no Brasil. Al{\'e}m disso, a metodologia pode ser
usada para mapear esp{\'e}cies arb{\'o}reas
espec{\'{\i}}ficas, como as amea{\c{c}}adas de
extin{\c{c}}{\~a}o, neste caso, Araucaria angustifolia e Cedrela
fissilis.",
committee = "K{\"o}rting, Thales Sehn (presidente) and Almeida, Cl{\'a}udia
Maria de (orientadora) and Schimalski, Marcos Benedito
(orientador) and Kux, Hermann Johann Heinrich",
englishtitle = "Mapeamento de est{\'a}dios sucessionais da vegeta{\c{c}}{\~a}o
e esp{\'e}cies arb{\'o}reas em {\'a}reas subtropicais
integrando n{\'u}vem de pontos fotogram{\'e}trica e dados
hiperespectrais baseados em VANT: compara{\c{c}}{\~a}o entre
algoritmos de aprendizado de m{\'a}quina e aprendizado profundo",
language = "en",
pages = "184",
ibi = "8JMKD3MGP3W34R/3UED6S2",
url = "http://urlib.net/ibi/8JMKD3MGP3W34R/3UED6S2",
targetfile = "publicacao.pdf",
urlaccessdate = "24 abr. 2024"
}