Restauration Multi-Images: des Mathématiques Appliqueés à l'Industrie de l'Imagerie. – MIRIAM

Notre programme de recherche est divisé en 9 tâches dont (3 à 7) concernent des problèmes d'amélioration d'image, revisités dans le contexte multitrame. Chacune de ces tâches constitue un problème de restauration bien défini et spécifique: HDR et débruitage, superrésolution et d, décompression multi-images, inpainting vidéo/image ou multi-vue, et enfin l'amélioration du contraste et des couleurs. Comme expliqué précédemment, l'utilisation de plusieurs images pour résoudre ces problèmes peut conduire à des améliorations spectaculaires en termes de qualité de l'image. Ces cinq tâches constituent donc le cœur de notre projet. Les tâches 1 et 2 sont une continuité de notre recherche fondamentale précédente et fournissent un cadre théorique commun à ces cinq tâches d'amélioration

Enfin, la tâche 8 décrit la diffusion de nos résultats aux communautés scientifiques et industrielles, alors que la tâche 9 décrit la validation de nos résultats sur des images et des applications du monde réel. 

L'attribution de ces tâches aux différents membres du projet repose sur les domaines d'expertise de chaque participant :

- Tâche 1a - Comment comparer des patches d'image? : Almansa, Delon, Gousseau, Tupin, Nikolova, Salmon; 

- Tâche 1b - Apprentissage à grande échelle de variétés de patches : Almansa, Salmon; 

- Tâche 2 - Outliers et compressed sensing : Almansa, Durand, Ladjal, Nikolova; 

- Tâche 3 - HDR et débruitage: Delon, Gousseau, Ladjal, Desolneux, Morel; 

- Tâche 4 - Superrésolution et dématriçage: Gousseau, Ladjal; 

- Tâche 5 - Décompression Multi-frame: Almansa, Durand, Nikolova; 

- Tâche 6 - Inpainting Vidéo / image /multi-vue : Gousseau, Masnou, Bretin, Galerne; 

- Tâche 7 - Amélioration du contraste et des couleurs: Delon, Gousseau, Nikolova, Galerne; 

- Tâche 8 - Valorisation académique: Morel + tous; 

- Tâche 9 - Validation et calorisation industrielle : Hauser, Facciolo, Tarchouna, Guichard + tous

Après 18 mois le projet présente un bon état d'avancement. Les tâches plus académiques 1-7 ont donné lieu à 7 publications dans des revues scientifiques internationales (dont plus de la moitié sont des collaborations multi-partenariales), et autant de présentations dans des conférences internationales avec actes et comité de lecture. Ces travaux ont déjà donné lieu à deux publications logicielles avec des démonstrations en ligne (tache 8), et une base d'images dégradées de test avec des références est en cours de construction par DxO (tâche 9). Cette base servira comme benchmark pour l'évaluation des différents algorithmes de restauration réalisés dans le cadre de ce projet, et pour leur comparaison à l'état de l'art académique et industriel sur le sujet.

Pour diffuser ces résultats partiels nous avons organisé 3 minisymposiums à la plus grande conférence internationale de mathématiques appliquées à l'imagerie (SIAM IS16 à Albuquerque, NM) ainsi qu'un séminaire régulier à Paris (SMATI). Plusieurs membres du projet ont été invités aux universités de Cambridge (UK) et de Tsinghua (Chine) pour présenter certains résultats liés au projet.

Outre la production scientifique ce projet est en train de permettre une étroite collaboration entre les différentes parties, par le biais de plusieurs co-encadrements de doctorants et de postdocs, des séminaires communs et des échanges de résultats pour leur validation.

Ce projet a permis le recrutement de plusieurs doctorants et postdocs, et d'animer des collaborations étroites avec des spécialistes à l'étranger. D'autres recrutements sont envisagés pour les deux années à venir. Avec l'équipe constitué autour de ce projet nous espérons avancer significativement sur un formalisme commun permettant de mieux comprendre et optimiser les techniques de restauration multi-images utilisées en photographie computationelle et observation de la terre. Nous espérons aussi obtenir quelques résultats qui pourront être exploités par l'industrie.

### Revues

[DG16] Delon, J., & Guillemot,T. (2016). Implementation of the Midway Image Equalization. IPOL. www.ipol.im/pub/art/2016/140/.

[DDG16] Delon, J., Desolneux, A.,& Guillemot, T. (2016). PARIGI: a Patch-based Approach to RemoveImpulse-Gaussian Noise from Images. IPOL www.ipol.im/pub/art/2016/161/

[MDG15] Mazin, B., Delon, J.,& Gousseau, Y. (2015). Estimation of Illuminants From Projections on the Planckian Locus. IEEE TIP <hal-00915853>

[PDGM16] Provenzi, E., Delon, J.,Gousseau, Y., & Mazin, B. (2016). On the second order spatiochromaticstructure of natural images. Vision Research. <hal-01054307>.

[RDM16] L. Raad, A. Desolneux andJ.-M. Morel (2016), A conditional multiscale locally Gaussian texture synthesis algorithm,to appear in JMIV.

[TLA15] Y. Traonmilin, S. Ladjal, A. Almansa. Robust Multi-image Processing With Optimal SparseRegularization. JMIV <hal-00940192>

*[TPG16] G. Tartavel, G. Peyré, Y.Gousseau, «Wasserstein Loss for Image Synthesis and Restoration«, to appear in SIIMS, <hal-01292843)>

### Conferences

* [FNSW15] Nikolova, M., Steidl, G.,& Weiss, P. (2015). Bilevel Image Denoising using Gaussianity tests. In SSVM

*[FSDH15b] Frigo, O., Sabater, N.,Delon, J., & Hellier, P. (2015). Motion driven tonal stabilization. In IEEE ICIP. <hal-01256874>

[FSDH16] O. Frigo, N. Sabater, J. Delon, P. Hellier (2016), Split and Match: Example-based AdaptivePatch Sampling for Unsupervised Style Transfer, CVPR’16. <hal-01280818>

[GBL16] Galerne, B., Leclaire, A.,& Moisan, L. (2016). Microtexture inpainting through Gaussian conditionalsimulation. ICASSP, <hal-01214695>

[RAGT16] P. Riot, A. Almansa, Y. Gousseau, F. Tupin. Penalizing local correlations in the residualimproves image denoising performance. (EUSIPCO 2016) <hal-01341968>

### Autres

6 preprints. <hal-01107519> <hal-01280818> <hal-01280818> <hal-01334028> <hal-01341839> dev.ipol.im/~pariasm/video_nlbayes

Ce programme de recherche porte sur l'amélioration de qualité pour les images numériques. Nous nous intéressons plus particulièrement aux situations, devenues très courantes avec l'avènement du numérique, où l'on possède plusieurs images de la même scène ou une séquence vidéo. Un problème d'une importance croissante est celui de la fusion de ces images pour en créer une seule de qualité supérieure. Un problème connexe et non moins important consiste à restaurer conjointement cette suite d'images.

Travailler avec une série d'images permet d'une part de dépasser les limitations physiques des capteurs numériques, que ce soit en termes de dynamique, de résolution ou de gestion du bruit, et d'autre part de compenser fortement les difficultés intrinsèques à la prise de vue unique (flou, reflets spéculaires, occultations, sur ou sous-exposition, etc). En contrepartie, la restauration multivues génère des sous-problèmes spécifiques,
notamment de détection de changement et de mouvement entre les images, de détection de régions aberrantes (appelées outliers dans ce projet), d'inpainting, de correction du contraste et de la colorimétrie.


Ce programme regroupe donc autour d'un même objectif des problèmes très classiques de restauration d'images et des questions complexes d'analyse et de comparaison d'images. Il fait appel à des branches diverses des mathématiques, les principales étant l'estimation statistique, l'optimisation et le transport optimal. Nous nous attacherons au cours de ce projet à développer des algorithmes numériques fiables et efficaces pour chacune des procédures de restauration étudiées.