The Marginal Importance of Known Distortions and Alignment in CASSI systems
L'Importance Marginale des Distorsions et de l'Alignement dans les Systèmes CASSI
Résumé
Coded Aperture Snapshot Spectral Imagers (CASSI) are designed to acquire 2D coded acquisitions of hyperspectral scenes (HSS). Associated with reconstruction algorithms, they allow to analyze the HSS using a small amount of data. Various configurations of such imagers exist, with different distortions. In this article we show that reconstruction quality is relatively insensitive to these distortions, if modeled correctly. To this end, we introduce a differentiable ray-tracing-based model that incorporates aberrations and distortions to render realistic coded hyperspectral acquisitions using CASSI. Such simulated acquisitions are used to train state-of-the-art hyperspectral cube reconstruction algorithms. We also adapted these algorithms through the use of a ray-tracing-based mapping function which accounts for aberrations and distortions. We evaluated four comparable CASSI systems with varying degree of optical aberrations and misalignments, using five state-of-the-art hyperspectral cube reconstruction algorithms. Our analyses show that if properly modeled, the effects of geometric distortions of the system and misalignment of the dispersive elements have a marginal impact on the overall reconstruction quality. Therefore, relaxing traditional constraints on measurement conformity and fidelity to the scene enables the development of novel imaging instruments, guided by performance metrics applied to the design or the processing of acquisitions. By providing a complete framework for design, simulation and evaluation, this work contributes to the optimization and exploration of new CASSI systems and more generally to the computational imaging community.
Les imageurs spectraux à ouverture codée (CASSI) sont conçus pour réaliser des acquisitions codées en 2D de scènes hyperspectrales. Associés à des algorithmes de reconstruction, ils permettent d'analyser la scène hyperspectrale en utilisant une faible quantité de données. Il existe différentes configurations de ces imageurs, avec différentes distorsions. Dans cet article, nous montrons que la qualité de la reconstruction est relativement insensible à ces distorsions, si elles sont modélisées correctement. Nous introduisons un modèle différentiable basé sur le tracé de rayons qui incorpore les aberrations et les distorsions pour faire le rendu d'acquisitions hyperspectrales codées réalistes de systèmes CASSI. Ces acquisitions simulées sont utilisées pour entraîner des algorithmes de reconstruction de cubes hyperspectraux à l'état de l'art. Nous avons également adapté ces algorithmes en utilisant une fonction de mapping basée sur le tracé de rayons qui tient compte des aberrations et des distorsions. Nous avons évalué quatre systèmes CASSI comparables avec différents degrés d'aberrations et de désalignements optiques, en utilisant cinq algorithmes de reconstruction de cubes hyperspectraux à l'état de l'art. Nos analyses montrent que, s'ils sont correctement modélisés, les effets des distorsions géométriques du système et du désalignement des éléments dispersifs ont un impact marginal sur la qualité globale de la reconstruction. Par conséquent, l'assouplissement des contraintes traditionnelles en matière de conformité des mesures et de fidélité à la scène permet de développer de nouveaux instruments d'imagerie, guidés par des mesures de performance appliquées à la conception ou au traitement des acquisitions. En fournissant un ensemble complet pour la conception, la simulation et l'évaluation, ce travail contribue à l'optimisation et à l'exploration de nouveaux systèmes CASSI et plus généralement à la communauté de l'imagerie computationnelle.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
| Licence |
|---|