Interpretable Machine Learning Models via Maximum Boolean Satisfiability
Modèles d'apprentissage automatique interprétables via la satisfaction booléenne maximale
Résumé
Interpretable Machine Learning models receive growing interest due to the increasing concerns in understanding the reasoning behind some crucial decisions made by modern Artificial Intelligent systems. Due to their structure, especially with small sizes, these interpretable models are inherently understandable for humans. Compared to classical heuristic methods to learn these models, recent exact methods offer more compact models or better prediction quality. In this thesis, we propose two novel exact methods via Maximum Boolean Satisfiability (MaxSAT) to learn optimal interpretable machine learning models.
Our contribution starts with an original MaxSAT-based exact method to learn optimal decision trees. This method optimizes the empirical accuracy to avoid overfitting, and also enriches the constraints to restrict the tree depth. Additionally, we integrate this MaxSAT-based method in AdaBoost, which is a classical Boosting method to improve the generalization performance. The experimental results show competitive prediction quality of this MaxSAT-based method compared to state-of-the-art heuristic and other exact methods. Additionally, clear improvements in prediction performance are observed after the integration in AdaBoost. Our second contribution is an original MaxSAT-based exact method to optimize binary decision diagrams. We introduce an initial Boolean Satisfiability (SAT) encoding to model binary decision diagrams in limited depth with perfect empirical accuracy. Next, we present how to adapt the SAT-based model into MaxSAT approach. Finally, we present a pre-! processing for selecting some important features to increase the scalability of our MaxSAT-based method to optimize binary decision diagrams. The experimental results show clear advances of our MaxSAT-based method in prediction quality, compared to state-of-the-art heuristic methods. We also observe a huge shrink in encoding size and model size in comparison between our approach and state-of-the-art exact method without losing the prediction performance. In addition, great reductions in encoding size are displayed after the application of pre-processing, which boosts the scalability.
Les modèles d’apprentissage interprétables reçoivent un intérêt croissant en raison
de l’augmentation des préoccupations pour comprendre le raisonnement menant
aux décisions cruciales prises par les systèmes modernes d’intelligence artificielle.
En raison de leur structure, en particulier pour des petites tailles, ces modèles
interprétables sont intrinsèquement compréhensibles pour les humains. Par rapport
aux méthodes heuristiques classiques pour apprendre ces modèles, les méthodes
exactes récentes offrent des modèles plus compacts ou atteingnent une meilleure
qualité de prédiction. Dans cette thèse, nous proposons deux nouvelles méthodes
exactes basées sur la Satisfiabilité Booléenne Maximale (MaxSAT) pour apprendre
des modèles d’apprentissage interprétables optimaux.
Notre contribution commence par une méthode exacte originale basée sur MaxSAT
pour apprendre des arbres de décision optimaux. Cette méthode optimise la précision
empirique pour éviter le surapprentissage et prend également en compte des
contraintes pour restreindre la profondeur de l’arbre. De plus, nous intégrons cette
méthode basée sur MaxSAT à la méthode AdaBoost, qui est une méthode standard
de Boosting pour améliorer les performances de généralisation. Les résultats expérimentaux
montrent une qualité de prédiction compétitive de cette méthode basée sur
MaxSAT par rapport à des méthodes heuristiques et exactes de l’état de l’art. En
plus, des améliorations des performances de prédiction sont observées après intégration
dans AdaBoost. Notre deuxième contribution est une méthode exacte originale
basée sur MaxSAT pour optimiser les diagrammes de décision binaire. Nous introduisons
tout d’abord un encodage de Satisfiabilité Booléenne (SAT) pour modéliser
des diagrammes de décision binaire de profondeur limitée avec une parfaite précision.
Puis, nous présentons comment adapter le modèle en Satisfiabilité Booléenne
Maximale. Finalement, nous présentons un pré-traitement pour la sélection de certaines
caractéristiques importantes afin d’augmenter le passage à l’échelle de notre
méthode MaxSAT pour optimiser les diagrammes de décision binaire. Les résultats
expérimentaux montrent des avancées de notre méthode MaxSAT sur la qualité
de prédiction, par rapport aux méthodes heuristiques. Nous observons également
une réduction importante sur la taille d’encodage et la taille du modèle dans les
comparaisons entre notre approche et une méthode exacte de l’état de l’art, sans
perdre en performance de prédiction. De plus, une grande réduction sur la taille
d’encodage est mise en évidence après application du pré-traitement, ce qui renforce
le passage à l’échelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|