Fechar
Metadados

@MastersThesis{Hoffmann:2006:ApReAd,
               author = "Hoffmann, Leandro Toss",
                title = "Aprendizagem por refor{\c{c}}o na adapta{\c{c}}{\~a}o a 
                         obst{\'a}culos em navega{\c{c}}{\~a}o rob{\'o}tica 
                         aut{\^o}noma n{\~a}o-estruturada baseada em imagens",
               school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
                 year = "2006",
              address = "S{\~a}o Jos{\'e} dos Campos",
                month = "2006-02-23",
             keywords = "intelig{\^e}ncia artificial, aprendizagem de m{\'a}quina, 
                         vis{\~a}o computacional, navega{\c{c}}{\~a}o aut{\^o}noma, 
                         rob{\'o}tica, redes neurais, articial inteligence, machine 
                         learning, computer vision, autonomous navigation, robotics, neural 
                         nets.",
             abstract = "Nas {\'u}ltimas d{\'e}cadas, a rob{\'o}tica tem desempenhado um 
                         papel importante na sociedade, com participa{\c{c}}{\~a}o de 
                         destaque na ind{\'u}stria de manufatura de bens. Mais 
                         recentemente, aplica{\c{c}}{\~o}es de rob{\^o}s m{\'o}veis, 
                         desde simples brinquedos at{\'e} a explora{\c{c}}{\~a}o de 
                         outros planetas, tem demonstrado o qu{\~a}o promissor o uso 
                         dessas ferramentas ser{\'a} num futuro pr{\'o}ximo. Contudo, 
                         atualmente o custo e a complexidade de constru{\c{c}}{\~a}o de 
                         rob{\^o}s m{\'o}veis, que sejam suficientemente 
                         flex{\'{\i}}veis e ao mesmo tempo {\'u}teis, tem sido uma 
                         barreira para sua ampla dissemina{\c{c}}{\~a}o. Neste sentido, 
                         t{\'e}cnicas de Intelig{\^e}ncia Artificial vem sendo 
                         frequentemente estudadas, a fim de dotar os sistemas 
                         rob{\'o}ticos com capacidades de aprendizado, 
                         adapta{\c{c}}{\~a}o e autonomia. Este trabalho apresenta um 
                         estudo de aprendizagem de m{\'a}quina, aplicado a 
                         navega{\c{c}}{\~a}o aut{\^o}noma em rob{\'o}tica m{\'o}vel. O 
                         objetivo principal {\'e} avaliar o desempenho de t{\'e}cnicas de 
                         aprendizagem por refor{\c{c}}o, no uso de rob{\^o}s m{\'o}veis 
                         de baixo custo e baixa precis{\~a}o, equipados com sensores de 
                         vis{\~a}o computacional. Para tanto, um rob{\^o} foi modelado 
                         {\`a} luz de uma arquitetura de agente de aprendizagem, para 
                         atrav{\'e}s de imagens obtidas por uma c{\^a}mera Charge-Coupled 
                         Device (CCD), ser capaz de aprender a navegar de forma 
                         aut{\^o}noma, em ambientes internos n{\~a}o-estruturados. Os 
                         operadores de vis{\~a}o computacional s{\~a}o 
                         constru{\'{\i}}dos com Redes Neurais Artificiais e algoritmos de 
                         rotula{\c{c}}{\~a}o de imagem, que identificam objetos 
                         diferenciados por suas caracter{\'{\i}}sticas 
                         radiom{\'e}tricas. As posi{\c{c}}{\~o}es relativas dos objetos 
                         na imagem s{\~a}o utilizadas para definir o estado do agente, que 
                         atrav{\'e}s da experimenta{\c{c}}{\~a}o de a{\c{c}}{\~o}es, 
                         aprende a otimizar o seu processo de tomada de decis{\~a}o. A 
                         implementa{\c{c}}{\~a}o da arquitetura do agente de aprendizagem 
                         {\'e} suportada pelo prot{\'o}tipo de sistema Cool Autonomous 
                         Navigation Enterprise with Learning Agents (Canela), que 
                         viabilizou principalmente a conex{\~a}o de sensores CCDs e a 
                         condu{\c{c}}{\~a}o dos experimentos. Duas modelagens com 
                         aprendizado por refor{\c{c}}o foram desenvolvidas, utilizando o 
                         algoritmo Q-learning, sendo o intuito da primeira prover uma 
                         navega{\c{c}}{\~a}o simples, evitando-se obst{\'a}culos e da 
                         segunda a explora{\c{c}}{\~a}o homog{\^e}nea do ambiente. Uma 
                         s{\'e}rie de ensaios foram realizados em um ambiente real, para 
                         validar a primeira modelagem. Os resultados obtidos demonstraram a 
                         capacidade de aprendizagem do agente, que navegou por um ambiente 
                         inicialmente desconhecido. Com a segunda modelagem, validada em 
                         experimentos de simula{\c{c}}{\~a}o, foi poss{\'{\i}}vel 
                         avaliar o bom desempenho de um sistema de navega{\c{c}}{\~a}o 
                         mais complexo, orientado a multi-objetivos. Os resultados 
                         encorajam o uso da modelagem de sistemas de navega{\c{c}}{\~a}o 
                         de rob{\^o}s m{\'o}veis, baseados em t{\'e}cnicas de 
                         aprendizado por refor{\c{c}}o, proporcionando uma alternativa 
                         interessante aos m{\'e}todos de programa{\c{c}}{\~a}o 
                         tradicionais. ABSTRACT: In the last decades, robotic has become an 
                         important role for society, specially in the manufacturing 
                         industry. In recent times, applications of mobile robots, from 
                         simple toys to planets explorations, has shown how promising will 
                         be the use of these tools in a close future. Though, the cost and 
                         complexity in developing mobile robots nowadays, which should be 
                         suciently flexible and still helpful, has been a diculty for its 
                         broad deployment. Hence, Artificial Intelligence techniques has 
                         been studied frequently, aiming for introducing a learnable, 
                         flexible, and autonomous behavior to robotic systems. This work 
                         presents a machine learning study, applied to autonomous 
                         navigation in mobile robotic. The main goal is to analyze 
                         reinforcement learning techniques performance, when using low cost 
                         and low accuracy mobile robots, with on-board computer vision 
                         sensors. Thus, a robot was modeled as a learning agent 
                         architecture, which is able to learn to navigate autonomously in 
                         indoor non-structured environments, using images taken by a 
                         Charge-Coupled Device (CCD) camera. Computer vision operators are 
                         made with Artificial Neural Networks and image labeling 
                         algorithms, to recognize objects by its spectral features. 
                         Relative positions from images objects are used to define the 
                         agent state, which experiments actions, and learn to optimize its 
                         decision making process. The learning agent architecture 
                         implementation is supported by a prototype system, called Cool 
                         Autonomous Navigation Enterprise with Learning Agents (Canela), 
                         which holds the CCDs sensors connections and manages the 
                         experiments. Using the Q-learning algorithm, two reinforcement 
                         learning based models were developed. The first model aims to 
                         build a simple obstacle avoidance navigation system, and the 
                         second an environments homogeneous exploration navigation system. 
                         To evaluate the first model, a series of experiments were 
                         conducted in a real environment. The results has shown agents 
                         learning capabilities on obstacle avoidance and navigation in an 
                         unknown environment. The second model was evaluated by simulation 
                         experiments whose brought good results on applying a more complex 
                         and multi-goal oriented navigation system. The results encourage 
                         to use reinforcement learning based models in mobile robots 
                         navigation systems, bringing an interesting choice to traditional 
                         programming methods.",
            committee = "Guimar{\~a}es, Lamartine Nogueira Frutuoso (presidente) and 
                         Silva, Jos{\'e} Demisio Sim{\~o}es da (orientador) and Santos, 
                         Rafael Duarte Coelho dos and Os{\'o}rio, Fernando Santos",
           copyholder = "SID/SCD",
         englishtitle = "Reinforcement learning for obstable avoidance in image based 
                         robotic autonomous non-structured navigation",
             language = "pt",
                pages = "212",
                  ibi = "6qtX3pFwXQZGivnJSY/L3zRv",
                  url = "http://urlib.net/rep/6qtX3pFwXQZGivnJSY/L3zRv",
        urlaccessdate = "18 jan. 2021"
}


Fechar