%0 Report
%4 sid.inpe.br/mtc-m21d/2021/12.14.20.09
%2 sid.inpe.br/mtc-m21d/2021/12.14.20.09.25
%T Ferramentas computacionais para tratar a qualidade para dados obtidos através de sensores
%D 2021
%9 RPQ
%P 25
%A Dias, Guilherme Alvarenga,
%A Calheiros, Alan James Peixoto,
%A Corrêa, Pedro Luiz Pizzigatti,
%@affiliation Universidade de São Paulo (USP)
%@affiliation Instituto Nacional de Pesquisas Espaciais (INPE)
%@affiliation Universidade de São Paulo (USP)
%@electronicmailaddress guiadias@usp.br
%@electronicmailaddress alan.calheiros@inpe.br
%@electronicmailaddress pedro.correa@usp.br
%I Instituto Nacional de Pesquisas Espaciais
%C São José dos Campos
%7 2a.
%K ciência dos dados, qualidade de dados, dados meteorológicos, data science, data quality, meteorological data.
%X Este projeto de iniciação científica teve como objetivo o desenvolvimento de algoritmos computacionais capazes de tratar dados brutos provenientes de sensores meteorológicos mantidos pelo Instituto Nacional de Pesquisas Espaciais (INPE), processá-los para um padrão de dados aceito internacionalmente e validá-los. Também foram desenvolvidos algoritmos para a interpretação gráfica das grandezas primárias medidas e para verificar a consistência dos dados de modo amigável ao usuário final. Dentre os sensores de chuva do INPE, foram analisados os dados provenientes dos disdrômetros de impacto, Joss-Waldvogel, e do disdrômetro a laser, PARSIVEL, ambos importantes na análise microfísica da precipitação. Os algoritmos de processamento de dados foram construídos para interpretar dados brutos gerados pelos sensores, levando em consideração dados faltantes, e converter o formato proprietário em Network Common Data Form (NetCDF4), amplamente utilizados pela comunidade científica. Esses arquivos seguem o padrão do Atmospheric Radiation Measurement (ARM/EUA), que normaliza a estrutura dos dados para algo aceito internacionalmente e sob alto rigor de qualidade. A avaliação dos dados processados por esses algoritmos foi feita com o uso de métricas bem difundidas na comunidade científica. De modo a avaliar a qualidade das informações dos equipamentos aqui relacionados, foi realizada inicialmente uma intercomparação entre sensores colocalizados para um experimento de campo liderado pelo INPE, o SOSCHUVA. Foi também utilizado um instrumento de referência para chuva, o pluviômetro. Os disdrômetros colocalizados no sítio de Jaquariúna-SP durante a campanha mostraram alta correlação, 0,9 entre as taxas de chuva medidas pelo pluviômetro e pelo disdrômetro Joss-Waldvogel e de 0,92 entre o pluviômetro e o disdrômetro PARSIVEL, indicando uma alta confiabilidade nas medidas realizadas por esses instrumentos e nos algoritmos desenvolvidos. Assim, visamos executar esses algoritmos em outras campanhas do INPE, como o CHUVA, GoAmazon e ATTO, facilitando o seu processamento e distribuição. Espera-se com essas ferramentas otimizar os processamentos dos dados e acelerar as pesquisas realizadas com estes instrumentos, trazendo visibilidade à instituição por meio da qualidade das informações. ABSTRACT: This undergraduate research project aimed to develop computational algorithms capable of treating raw data originating from meteorological sensors maintained by the Instituto Nacional de Pesquisas Espaciais (National Institute for Space Research - INPE), to process that data to an internationally recognized data standard and to validate it. Algorithms for the graphical interpretation of the primary variables of the data were also developed, along with additional algorithms designed to verify its consistency in a user-friendly way. Among INPEs climate sensors, the data analyzed came from Joss-Waldvogel impact disdrometers and from PARSIVEL laser disdrometers, both of which are important in the microphysical analysis of rain. The data processing algorithms were developed to interpret raw data generated by the sensors, taking missing data into account, and to convert their proprietary file format into a Network Common Data Form (NetCDF4) format, which is widely use by the international scientific community. These files follow the Atmospheric Radiation Measurement (ARM/USA) data standards, which standardize the structure of the data to a high degree of quality. The data processed by these algorithms was evaluated with commonly used metrics in the wider scientific community. In order to evaluate the quality of the information obtained from the previously mentioned sensors, data from colocalized sensors belonging to the INPE maintained SOSCHUVA campaign was intercompared. A pluviometer was also used as a reference instrument for rain measurements. The colocalized disdrometers located at the Jaquariúna-SP site showed high correlations, namely, of 0.9 between the Joss-Waldvogel and pluviometer measurements and of 0.92 between the PARSIVEL and pluviometer sensors, which indicates a high degree of reliability in the measurements made by those sensors and in the data processing algorithms. We wish to use these algorithms in other INPE campaigns, such as CHUVA, GoAmazon and ATTO, facilitating the processing and distribution of data. With these tools, we hope to optimize the processing of meteorological data and to accelerate research developed with these instruments, bringing attention to the institution by its high data quality.
%@language pt
%3 Relatorio_Final_PIBIC_2020_2021_Guilherme_Alvarenga_Dias.pdf
%( sid.inpe.br/mtc-m21c/2021/01.22.20.59
%O Bolsa PIBIC/PIBITI/INPE/CNPq.