Reasoning on the context and beliefs for human-robot interaction
Raisonnement sur le contexte et les croyances pour l'interaction homme-robot
Résumé
The first robots appeared in factories, in the form of programmable controllers. These first robotic forms usually had a very limited number of sensors and simply repeated a small set of sequences of motions and actions. Nowadays, more and more robots have to interact or cooperate with humans, whether at the workplace with teammate robots or at home with assistance robots. Introducing a robot in a human environment raises many challenges. Indeed, to evolve in the same environment as humans, and to understand this environment, the robot must be equipped with appropriate cognitive abilities. Beyond understanding the physical environment, the robot must be able to reason about human partners in order to work with them or serve them best. When the robot interacts with humans, the fulfillment of the task is not a sufficient criterion to quantify the quality of the interaction. Indeed, as the human is a social being, it is important that the robot can have reasoning mechanisms allowing it to assess the mental state of the human to improve his understanding and efficiency, but also to exhibit social behaviors in order to be accepted and to ensure the comfort of the human. In this manuscript, we first present a generic framework (independent of the robotic platform and sensors used) to build and maintain a representation of the state of the world by using the aggregation of data entry and hypotheses on the environment. This infrastructure is also in charge of assessing the situation. Using the state of the world it maintains, the system is able to utilize various spatio-temporal reasoning to assess the situation of the environment and the situation of the present agents (humans and robots). This allows the creation and maintenance of a symbolic representation of the state of the world and to keep awareness of each agent status. Second, to go further in understanding the situation of the humans, we will explain how we designed our robot with the capacity known in developmental and cognitive psychology as "theory of mind", embodied here by mechanisms allowing the system to reason by putting itself in the human situation, that is to be equipped with "perspective-taking" ability. Later we will explain how the assessment of the situation enables a situated dialogue with the human, and how the ability to explicitly manage conflicting beliefs can improve the quality of interaction and understanding of the human by the robot. We will also show how knowledge of the situation and the perspective taking ability allows proper recognition of human intentions and how we enhanced the robot with proactive behaviors to help the human. Finally, we present a study where a system maintains a human model of knowledge on various tasks to improve the management of the interaction during the interactive development and fulfillment of a shared plan.
Les premiers robots sont apparus dans les usines, sous la forme d'automates programmables. Ces premières formes robotiques ont le plus souvent un nombre très limité de capteurs et se contentent de répéter une séquence de mouvements et d'actions. De nos jours, de plus en plus de robots ont à interagir ou coopérer avec l'homme, que se soit sur le lieu de travail avec les robots coéquipiers ou dans les foyers avec les robots d'assistance. Mettre un robot dans un environnement humain soulève de nombreuses problématiques. En effet, pour évoluer dans le même environnement que l'homme et comprendre cet environnement, le robot doit être doté de capacités cognitives appropriées. Au delà de la compréhension de l'environnement matériel, le robot doit être capable de raisonner sur partenaires humains afin de pouvoir collaborer avec eux ou les servir au mieux. Lorsque le robot interagit avec des humains, l'accomplissement de la tâche n'est pas un critère suffisant pour quantifier la qualité de l'interaction. En effet, l'homme étant un être social, il est important que le robot puisse avoir des mécanismes de raisonnement lui permettant d'estimer également l'état mental de l'homme pour améliorer sa compréhension et son efficacité, mais aussi pour exhiber des comportements sociaux afin de se faire accepter et d'assurer le confort de l'humain. Dans ce manuscrit, nous présentons tout d'abord une infrastructure logicielle générique (indépendante de la plateforme robotique et des capteurs utilisés) qui permet de construire et maintenir une représentation de l'état du monde à l'aide de l'agrégation des données d'entrée et d'hypothèses sur l'environnement. Cette infrastructure est également en charge de l'évaluation de la situation. En utilisant l'état du monde qu'il maintient à jour, le système est capable de mettre en oeuvre divers raisonnements spatio-temporels afin d'évaluer la situation de l'environnement et des agents (humains et robots) présents. Cela permet ainsi d'élaborer et de maintenir une représentation symbolique de l'état du monde et d'avoir une connaissance en permanence de la situation des agents. Dans un second temps, pour aller plus loin dans la compréhension de la situation des humains, nous expliquerons comment nous avons doté notre robot de la capacité connue en psychologie développementale et cognitive sous le nom de “théorie de l'esprit” concrétisée ici par des mécanismes permettant de raisonner en se mettant à la place de l'humain, c'est à dire d'être doté de “prise de perspective”. Par la suite nous expliquerons comment l'évaluation de la situation permet d'établir un dialogue situé avec l'homme, et en quoi la capacité de gérer explicitement des croyances divergentes permet d'améliorer la qualité de l'interaction et la compréhension de l'homme par le robot. Nous montrerons également comment la connaissance de la situation et la possibilité de raisonner en se mettant à la place de l'homme permet une reconnaissance d'intentions appropriée de celui-ci et comment nous avons pu grâce à cela doter notre robot de comportements proactifs pour venir en aide à l'homme . Pour finir, nous présenterons une étude présentant un système de maintien d'un modèle des connaissances de l'homme sur diverses tâches et qui permet une gestion adaptée de l'interaction lors de l'élaboration interactive et l'accomplissement d'un plan partagé.
| Origine | Version validée par le jury (STAR) |
|---|