Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment - LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes Accéder directement au contenu
Thèse Année : 2023

Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment

Reconnaissance d’object pour la locomotion et la manipulation avec un robot humanoïde dans un environnement industriel

Résumé

This thesis applies to the context of the aeronautical industry. It is conducted in the context of two projects. The first is Robotics For the Future of Aircraft Manufacturing (ROB4FAM). It is a joint laboratory between Airbus Operations and the Gepetto team of LAAS-CNRS. It aims to study the reactive generation of robotic motion for drilling and deburring tasks for the aeronautical industry. The second is the European project H2020 Memory of Motion (Memmo), coordinated by the Gepetto team and in which Airbus Opeserations is also implied. This project has as objective to develop methods to generate reactive and complex movements independently of the robot architecture. It is based on an extended perception of the environment and a preliminary learning of possible robot motions. Historically, the Gepetto team works on humanoids robots because they present a scientific challenge that requires to develop new conc! epts. The perception of the environment can be broken down into four main areas: knowing where our tools are, knowing where we are, knowing where we are going and knowing where . This thesis aims to study the solutions that can be integrated into a humanoid robot in order to solve the problems mentioned above. This work is based on the humanoid robot Talos to perceive the environment using data from its LiDAR. It first shows that it is possible to accurately estimate the position of the robot in its environment. This is achieved by using LiDAR data and by integrating a system developed by the University of Oxford and provided as part of the Memmo project. Secondly, the localization of large objects at long distances, as found in the aeronautical industry, is studied. This localization is looked at using 3D data and geometric descriptors like the Fast Point Feature Histogram. This study is extended to neural networks trained to localize objects carrying little textual inform! ation through the use of state-of-the-art methods. In addition, the solution of the kidnapped robot problem is explored using LiDAR information, geometric descriptors and a dictionary mechanism. This problem consists of recognising the surrounding environment at the initialization of the robot localization. Finally, a ground plane detection system is integrated to allow the robot to plan its steps online.
Le contexte de cette thèse est l'industrie aéronautique. Plus précisément elle a pris place dans le cadre de deux projets coordonnés conjointement. Le premier est le laboratoire joint nommé ROBOTICS For the Future of Aircraft Manufacturing (ROB4FAM) dans le lequel collabore Airbus Operations et l'équipe Gepetto du LAAS-CNRS. Son but est d'étudier la génération de mouvements réactive pour des tâches de perçage et d'ébavurage pour l'industrie aéronautique. Le second projet est le projet européen H2020 Memory of Motion (Memmo), coordonné par l'équipe Gepetto et dans lequel Airbus Operation est également impliqué. Ce projet a pour but de développer des méthodes de génération réactive de mouvements complexes indépendamment de l'architecture du robot. Il est basé sur une perception de l'environnement et l'apprentissage des mouvements possibles du robot. Historiquement, l'équipe Gepetto travaille sur des robots humanoïdes parce qu'ils représentent u! n défi scientifique qui demande de développer des nouveaux concepts. La perception de l'environnement peut-être divisé en quatre parties: savoir où se trouvent les outils, savoir où se trouve le robot, savoir comment le robot à bouger, savoir où aller. Cette thèse vise à étudier les solutions qui peuvent être intégrées dans un robot humanoïde de façon à résoudre les problèmes mentionnés. Ce travail est basé sur le robot humanoïde TALOS qui perçoit l'environnement grâce à son LiDAR. Il démontre qu'il possible d'estimer précisément la position dans son environnement avec une précision de 2cm. Ceci est obtenu grâce à l'intégration du système développé par l'université d'Ofxofrd et fournit dans le cadre du projet Memmo. Deuxièment la localisation de grands objets à longue distance, est étudiée. La localisation est obtenue grâce à des données 3D et des descripteurs géométrique comme FPFH. Cette étude est étendue à l'utilisation de ! réseaux de neurones entrainé à localiser des objets avec peu d'informations de texture visuelle avec des méthodes de l'état de l'art. De plus, une solution au problème du robot kidnappé est explorée en utilisant les informations LIDAR, les descripteurs géométriques et un mécanisme de dictionnaire. Ce problème consiste à reconnaître l'environnement environnant au démarrage sans connaissance préable. Finalement un système de détection de plan est intégré pour permettre au robot de planifier ces pas en ligne.
Fichier principal
Vignette du fichier
Thèse LASGUIGNES.T.pdf (55.15 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04281618 , version 1 (13-11-2023)
tel-04281618 , version 2 (30-11-2023)

Identifiants

  • HAL Id : tel-04281618 , version 1

Citer

Thibaud Lasguignes. Object recognition for locomotion and manipulation with a humanoid robot in an industrial environment. Robotics [cs.RO]. INSA TOULOUSE, 2023. English. ⟨NNT : ⟩. ⟨tel-04281618v1⟩
207 Consultations
18 Téléchargements

Partager

Gmail Facebook X LinkedIn More