Runtime safety monitoring of ML-based perception functions in autonomous systems
Contrôle de sécurité en cours d'exécution des fonctions de perception basées sur le ML dans les systèmes autonomes
Résumé
Highly-accurate machine learning (ML) image classifiers cannot guarantee that they will not fail at operation. Thus, their deployment in safety-critical applications such as autonomous vehicles is still an open issue. The use of fault tolerance mechanisms such as safety monitors (SM) is a promising direction to keep the system in a safe state despite errors of the ML classifier. As the prediction from the ML is the core information directly impacting safety, many works are focusing on monitoring the ML model itself. This thesis focuses on such approaches by covering all necessary aspects to build, test, and evaluate SM in perception functions built with ML, which can be summarized into the following: 1) An extensive literature review in which we introduce a new taxonomy of the existing literature regarding threat identification, requirements elicitation, detection of failure and reaction, and evaluation. 2) A new baseline framework for benchmarking such SM, covering the e! ntire pipeline, from data generation to evaluation. 3) An evolutionary simulation testing of safety-critical perception systems, which is capable of decreasing, at least 10 times, the amount of time to find a set of hazards in safety-critical scenarios such as autonomous emergency braking system simulation. 4) A new SM approach for safety monitoring of ML classifiers.
Les classificateurs d'images à apprentissage machine (ML) très précis ne peuvent pas garantir qu'ils ne tomberont pas en panne en cours de fonctionnement. Par conséquent, leur déploiement dans des applications critiques pour la sécurité, telles que les véhicules autonomes, reste une question ouverte. L'utilisation de mécanismes de tolérance aux pannes tels que les moniteurs de sécurité (SM) est une voie prometteuse pour maintenir le système dans un état sûr malgré les erreurs du classificateur d'apprentissage automatique. Comme la prédiction du ML est l'information centrale ayant un impact direct sur la sécurité, de nombreux travaux se concentrent sur la surveillance du modèle ML lui-même. Cette thèse se concentre sur de telles approches en couvrant tous les aspects nécessaires pour construire, tester et évaluer le SM dans les fonctions de perception construites avec le ML, qui peuvent être résumés comme suit : 1) Une étude approfondie de la littérature dans laquelle nous introduisons une nouvelle taxonomie de la littérature existante concernant l'identification des menaces, l'élicitation des exigences, la détection des défaillances et la réaction, et l'évaluation. 2) Un nouveau cadre de référence pour l'évaluation comparative de ces systèmes de gestion de la sécurité, couvrant l'ensemble du processus, de la génération de données à l'évaluation. 3) Un test de simulation évolutive des systèmes de perception critiques pour la sécurité, capable de réduire, au moins de 10 fois, le temps nécessaire pour trouver un ensemble de dangers dans des scénarios critiques pour la sécurité tels que la simulation d'un système de freinage d'urgence autonome. 4) Une nouvelle approche SM pour la surveillance de la sécurité des classificateurs ML.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|