@PhDThesis{Marujo:2019:GaFiOp,
author = "Marujo, Rennan de Freitas Bezerra",
title = "Gap filling of optical remote sensing multi-source data cube
through multi-scale and multi-temporal segmentation",
school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
year = "2019",
address = "S{\~a}o Jos{\'e} dos Campos",
month = "2019-03-27",
keywords = "Time series analysis, multi-source, data cube, gap-filling,
segmentation, an{\'a}lise de s{\'e}ries temporais, sensoriamento
remoto multifonte, cubo de dados, preenchimento de lacunas,
segmenta{\c{c}}{\~a}o.",
abstract = "A promising solution to solve the lack of Earths surface
observation problem on multi-spectral images consists in
integrating multi-sensor data. However data must be harmonized
before its measures can be comparable and a treatment for gaps
(due to cloud cover, sensor defects, and partial images) must be
considered. In this context, the present research proposes a
methodology to build a gap-free multi-source and multi-spectral
data cube, which involves Earth Observation data harmonization and
reconstruction. To accomplish this, we tested two harmonization
procedures, one based on linear regression and the other based on
linear unmixing model, and propose a procedure for
spatial-temporal gap-filling, which does not require previous
reference. Two approaches for filling gaps are developed. The
first one aims at improving a method based on spatial context of
close-in-time images to fill small clouds and stripe effects,
where in our adaptation a weighting factor is used for each pixel
within segments. The second one uses a multi-temporal segmentation
to fill the remaining gaps. The gap-filling strategies are applied
on two image data cubes composed by Landsat-7/ETM+, Landsat-8/OLI
images and CBERS-4/MUX images. To validate the gap-filling
procedure, we simulate artificial gaps in the images and,
subsequently we compare the original image with the gap-filled
ones. Our approach based on weighting factor surpassed the
original method for all bands, presenting R2 greater than 0.90 and
a V IF of at least 0.97, while asymptotically maintaining the
algorithm cost. It also preserved the texture on reconstructed
images, and also was capable of detecting narrow features, e.g.,
roads, riparian areas, and small streams. The second approach
based on multi-temporal segmentation filled all the remaining
gaps, 43.64% of the entire data cube. However, the estimated
values are more affected by uncertainty and the image texture is
affected, resulting in a homogeneous gap-filling. The harmonized
and reconstructed areas were very similar to the original data,
presenting an UIQI of at least 0.92 and a V IF ranging from 0.6 to
0.7 on the final method, showing the feasibility of the
methodology. RESUMO: Uma solu{\c{c}}{\~a}o promissora para
suprimir a aus{\^e}ncia de dados de observa{\c{c}}{\~o}es da
Terra em imagens multi-espectrais, devido principalmente pela
presen{\c{c}}a de nuvens, sombra de nuvens, defeitos na
aquisi{\c{c}}{\~a}o de dados e imagens parciais, tem sido a
integra{\c{c}}{\~a}o de dados multi-sensor. Contudo, deve-se
harmonizar os dados provenientes de diferentes sensores para que
estes possam ser compar{\'a}veis entre s{\'{\i}}, al{\'e}m de
que, lacunas de dados devem ser consideradas. Neste contexto, na
presente pesquisa prop{\~o}e-se um procedimento para construir um
cubo de dados multispectral, multifonte e livre de lacunas, que
envolve harmoniza{\c{c}}{\~a}o e reconstru{\c{c}}{\~a}o de
dados da superf{\'{\i}}cie terrestre. Para tanto, foram testados
dois procedimentos de harmoniza{\c{c}}{\~a}o, um baseado em
regress{\~a}o linear e o segundo baseado em modelo linear de
mistura espectral. Al{\'e}m disso, propoe-se um procedimento
espa{\c{c}}o-temporal para preenchimento de lacunas que n{\~a}o
requer refer{\^e}ncia pr{\'e}via da {\'a}rea. Foram
desenvolvidas duas abordagens para preenchimento de lacunas,
aplicadas serialmente. A primeira abordagem visa aprimorar um
m{\'e}todo baseado no contexto espacial para preencher lacunas
oriundas de pequenas nuvens e defeitos do sensor Landsat-7/ETM+. A
segunda abordagem de preenchimento de lacunas utiliza regi{\~o}es
homog{\^e}neas obtidas por meio de segmenta{\c{c}}{\~a}o
multitemporal para preencher as lacunas restantes do cubo de
dados. As estrat{\'e}gias de preenchimento de lacunas s{\~a}o
aplicadas em dois cubos de dados de imagem em duas {\'a}reas de
estudo. Um cubo foi gerado a partir de um conjunto de dados
composto por imagens Landsat-7/ETM+ e Landsat-8/OLI, e o segundo
incluindo tamb{\'e}m imagens CBERS-4/MUX neste conjunto de dados.
Para validar o procedimento de preenchimento de lacunas, foram
simuladas lacunas artificiais nas imagens e, posteriormente,
comparou-se as imagens originais com as imagens preenchidas. A
abordagem baseada no fator de pondera{\c{c}}{\~a}o superou o
m{\'e}todo original para todas as bandas e apresentou R2 maior
que 0,90 e um V IF com valores superiores a 0,97, enquanto manteve
assint{\'o}ticamente o custo computacional do algoritmo. As
imagens resultantes utilizando o m{\'e}todo proposto tiveram sua
textura preservada, al{\'e}m de tamb{\'e}m ser capaz de detectar
caracter{\'{\i}}sticas estreitas nelas, por exemplo, estradas,
{\'a}reas ribeirinhas e pequenos riachos. A segunda abordagem
baseada na segmenta{\c{c}}{\~a}o multitemporal, preencheu as
lacunas restantes, um total de 43,64% de todo o cubo de dados. No
entanto, os resultados obtidos nesta abordagem foram mais incertos
e a textura das {\'a}reas estimadas {\'e} afetada, resultando em
um preenchimento homog{\^e}neo. As {\'a}reas resultantes no
processo de harmoniza{\c{c}}{\~a}o e reconstru{\c{c}}{\~a}o
apresentaram-se bastante similares as originais, apresentando um
UIQI de pelo menos 0,92 e V IF variando entre 0,6 e 0,7,
demonstrando a viabilidade da metodologia.",
committee = "Santos, Rafael Duarte Coelho dos (presidente) and Fonseca, Leila
Maria Garcia (orientadora) and Sant'Anna, Sidnei Jo{\~a}o
Siqueira and K{\"o}rting, Thales Sehn and Boggione, Giovanni de
Araujo and Silva, Silvia Helena Modenese Gorla da",
englishtitle = "Preenchimento de lacunas em cubo de dados de sensoriamento remoto
{\'o}tico multifonte por meio de segmenta{\c{c}}{\~a}o
multin{\'{\i}}vel e segmenta{\c{c}}{\~a}o multitemporal",
language = "en",
pages = "120",
ibi = "8JMKD3MGP3W34R/3SUESRS",
url = "http://urlib.net/ibi/8JMKD3MGP3W34R/3SUESRS",
targetfile = "publicacao.pdf",
urlaccessdate = "01 maio 2024"
}