@TechReport{DiasCalhCorr:2021:FeCoTr,
author = "Dias, Guilherme Alvarenga and Calheiros, Alan James Peixoto and
Corr{\^e}a, Pedro Luiz Pizzigatti",
title = "Ferramentas computacionais para tratar a qualidade para dados
obtidos atrav{\'e}s de sensores",
institution = "Instituto Nacional de Pesquisas Espaciais",
year = "2021",
type = "RPQ",
address = "S{\~a}o Jos{\'e} dos Campos",
note = "{Bolsa PIBIC/PIBITI/INPE/CNPq.}",
keywords = "ci{\^e}ncia dos dados, qualidade de dados, dados
meteorol{\'o}gicos, data science, data quality, meteorological
data.",
abstract = "Este projeto de inicia{\c{c}}{\~a}o cient{\'{\i}}fica teve
como objetivo o desenvolvimento de algoritmos computacionais
capazes de tratar dados brutos provenientes de sensores
meteorol{\'o}gicos mantidos pelo Instituto Nacional de Pesquisas
Espaciais (INPE), process{\'a}-los para um padr{\~a}o de dados
aceito internacionalmente e valid{\'a}-los. Tamb{\'e}m foram
desenvolvidos algoritmos para a interpreta{\c{c}}{\~a}o
gr{\'a}fica das grandezas prim{\'a}rias medidas e para verificar
a consist{\^e}ncia dos dados de modo amig{\'a}vel ao
usu{\'a}rio final. Dentre os sensores de chuva do INPE, foram
analisados os dados provenientes dos disdr{\^o}metros de impacto,
Joss-Waldvogel, e do disdr{\^o}metro a laser, PARSIVEL, ambos
importantes na an{\'a}lise microf{\'{\i}}sica da
precipita{\c{c}}{\~a}o. Os algoritmos de processamento de dados
foram constru{\'{\i}}dos para interpretar dados brutos gerados
pelos sensores, levando em considera{\c{c}}{\~a}o dados
faltantes, e converter o formato propriet{\'a}rio em Network
Common Data Form (NetCDF4), amplamente utilizados pela comunidade
cient{\'{\i}}fica. Esses arquivos seguem o padr{\~a}o do
Atmospheric Radiation Measurement (ARM/EUA), que normaliza a
estrutura dos dados para algo aceito internacionalmente e sob alto
rigor de qualidade. A avalia{\c{c}}{\~a}o dos dados processados
por esses algoritmos foi feita com o uso de m{\'e}tricas bem
difundidas na comunidade cient{\'{\i}}fica. De modo a avaliar a
qualidade das informa{\c{c}}{\~o}es dos equipamentos aqui
relacionados, foi realizada inicialmente uma
intercompara{\c{c}}{\~a}o entre sensores colocalizados para um
experimento de campo liderado pelo INPE, o SOSCHUVA. Foi
tamb{\'e}m utilizado um instrumento de refer{\^e}ncia para
chuva, o pluvi{\^o}metro. Os disdr{\^o}metros colocalizados no
s{\'{\i}}tio de Jaquari{\'u}na-SP durante a campanha mostraram
alta correla{\c{c}}{\~a}o, 0,9 entre as taxas de chuva medidas
pelo pluvi{\^o}metro e pelo disdr{\^o}metro Joss-Waldvogel e de
0,92 entre o pluvi{\^o}metro e o disdr{\^o}metro PARSIVEL,
indicando uma alta confiabilidade nas medidas realizadas por esses
instrumentos e nos algoritmos desenvolvidos. Assim, visamos
executar esses algoritmos em outras campanhas do INPE, como o
CHUVA, GoAmazon e ATTO, facilitando o seu processamento e
distribui{\c{c}}{\~a}o. Espera-se com essas ferramentas otimizar
os processamentos dos dados e acelerar as pesquisas realizadas com
estes instrumentos, trazendo visibilidade {\`a}
institui{\c{c}}{\~a}o por meio da qualidade das
informa{\c{c}}{\~o}es. ABSTRACT: This undergraduate research
project aimed to develop computational algorithms capable of
treating raw data originating from meteorological sensors
maintained by the Instituto Nacional de Pesquisas Espaciais
(National Institute for Space Research - INPE), to process that
data to an internationally recognized data standard and to
validate it. Algorithms for the graphical interpretation of the
primary variables of the data were also developed, along with
additional algorithms designed to verify its consistency in a
user-friendly way. Among INPEs climate sensors, the data analyzed
came from Joss-Waldvogel impact disdrometers and from PARSIVEL
laser disdrometers, both of which are important in the
microphysical analysis of rain. The data processing algorithms
were developed to interpret raw data generated by the sensors,
taking missing data into account, and to convert their proprietary
file format into a Network Common Data Form (NetCDF4) format,
which is widely use by the international scientific community.
These files follow the Atmospheric Radiation Measurement (ARM/USA)
data standards, which standardize the structure of the data to a
high degree of quality. The data processed by these algorithms was
evaluated with commonly used metrics in the wider scientific
community. In order to evaluate the quality of the information
obtained from the previously mentioned sensors, data from
colocalized sensors belonging to the INPE maintained SOSCHUVA
campaign was intercompared. A pluviometer was also used as a
reference instrument for rain measurements. The colocalized
disdrometers located at the Jaquari{\'u}na-SP site showed high
correlations, namely, of 0.9 between the Joss-Waldvogel and
pluviometer measurements and of 0.92 between the PARSIVEL and
pluviometer sensors, which indicates a high degree of reliability
in the measurements made by those sensors and in the data
processing algorithms. We wish to use these algorithms in other
INPE campaigns, such as CHUVA, GoAmazon and ATTO, facilitating the
processing and distribution of data. With these tools, we hope to
optimize the processing of meteorological data and to accelerate
research developed with these instruments, bringing attention to
the institution by its high data quality.",
affiliation = "{Universidade de S{\~a}o Paulo (USP)} and {Instituto Nacional de
Pesquisas Espaciais (INPE)} and {Universidade de S{\~a}o Paulo
(USP)}",
language = "pt",
pages = "25",
ibi = "8JMKD3MGP3W34T/46243RL",
url = "http://urlib.net/ibi/8JMKD3MGP3W34T/46243RL",
targetfile = "Relatorio_Final_PIBIC_2020_2021_Guilherme_Alvarenga_Dias.pdf",
urlaccessdate = "03 maio 2024"
}