Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment - LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes Accéder directement au contenu
Thèse Année : 2023

Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment

Reconnaissance d’objets visant à la locomotion et à la manipulation par un robot humanoide dans un environnement industriel

Résumé

This thesis applies to the context of the aeronautical industry. It is conducted in the context of two projects. The first is Robotics For the Future of Aircraft Manufacturing (ROB4FAM). It is a joint laboratory between Airbus Operations and the Gepetto team of LAAS-CNRS. It aims to study the reactive generation of robotic motion for drilling and deburring tasks for the aeronautical industry. The second is the European project H2020 Memory of Motion (Memmo), coordinated by the Gepetto team and in which Airbus Operations is also implied. This project has as objective to develop methods to generate reactive and complex movements independantly of the robot architecture. It is based on and extended perception of the environment and a preliminary learning of possible robot motions. Historically, the Gepetto team works on humanoids robots because they present a scientific challenge that requires to develop new concepts. The perception of the environment can be broken down into four main areas: knowing where our tools are, knowing where we are, knowing where we are going and knowing where we are going. This thesis aims to study the solutions that can be integrated into a humanoid robot in order to solve the problems mentioned above. This work is based on the humanoid robot Talos to perceive the environment using data from its LiDAR. It first shows that it is possible to accurately estimate the position of the robot in its environment. This is achieved by using LiDAR data and by integrating a system developed by the University of Oxford and provided as part of the Memmo project. Secondly, the localisation of large objects at long distances, as found in the aeronautical industry, is studied. This localisation is looked at using 3D data and geometric descriptors like the Fast Point Feature Histogram. This study is extended to neural networks trained to localise objects carrying little textual information through the use of state-of-the-art methods. In addition, the solution of the kidnapped robot problem is explored using LiDAR information, geometric descriptors and a dictionary mechanism. This problem consists of recognising the surrounding environment at the initialization of the robot localization. Finally, a ground plane detection system is integrated to allow the robot to plan its steps online.
Cette thèse s'applique au contexte de l'industrie aéronautique. Elle a pour cadre deux projets. Le premier est Robotics For the Future of Aircraft Manufacturing (ROB4FAM). Il s'agit un laboratoire joint entre Airbus Operations et l'équipe Gepetto du LAAS-CNRS. Il a pour but d'étudier la génération réactives de mouvements robotiques pour des tâches de perçage et d'ébavurage destinées à l'industrie aéronautique. Le second est le projet Européen H2020 Memory of Motion (Memmo) coordonné par l'équipe Gepetto et dont Airbus Operations est également partenaire. Ce projet a pour but de développer des méthodes pour générer des mouvements réactifs et complexes indépendamment de l'architecture du robot. Il se base pour cela sur une perception étendue de l'environnement et un apprentissage préliminaire des possibles mouvements du robot. Historiquement l'équipe Gepetto travaille sur les robots humanoïdes car ils représentent un challenge scientifique nécessitant de développer de nouveaux concepts. La perception de l'environnement quand à elle peut se découper en 4 grands axes: savoir où sont nos outils, savoir où on est, savoir où on va, et savoir où on met les pieds. Cette thèse vise à étudier les solutions qui peuvent être intégrés dans un robot humanoïde afin de résoudre les problématiques mentionnées. Ce travail s'appuie sur le robot humanoïde Talos pour percevoir l'environnement en utilisant des données issues de son LiDAR. Ces travaux montrent premièrement qu'il est possible d'estimer précisément la position du robot dans son environnement. Ceci est obtenu en utilisant des données LiDAR et par l'intégration d'un système développé par l'Université d'Oxford et fourni dans le cadre du projet Memmo. Ensuite, la localisation d'objets volumineux à longue distance, tels que trouvable dans l'industrie aéronautique, est étudiée. Cette localisation est réfléchie en utilisant les données 3D et des descripteurs géométriques de type Fast Point Feature Histogram. L'étude est étendue aux réseaux de neurones entraînés pour localiser des objets portant peu d'informations textuelles à travers l'utilisation de méthodes issues de l'état de l'art. De plus, la résolution du problème du robot kidnappé est explorée grâce aux informations du LiDAR, de descripteurs géométriques et un mécanisme de dictionnaire. Ce problème se résume à reconnaître l'environnement qui nous entoure à l'initialisation de la localisation du robot. Enfin, un système détectant les plans au sol est intégré pour rendre le robot capable de planifier ses pas en ligne.
Fichier principal
Vignette du fichier
2023ThibaudLASGUIGNES.pdf (55.15 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-04281618 , version 1 (13-11-2023)
tel-04281618 , version 2 (30-11-2023)

Identifiants

  • HAL Id : tel-04281618 , version 2

Citer

Thibaud Lasguignes. Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment. Automatic. INSA de Toulouse, 2023. English. ⟨NNT : 2023ISAT0018⟩. ⟨tel-04281618v2⟩
196 Consultations
11 Téléchargements

Partager

Gmail Facebook X LinkedIn More