Note publique d'information : Cette thèse porte sur les méthodes de super-résolution (SR) pour l’amélioration des
performances des systèmes de reconnaissance automatique (OCR, reconnaissance faciale).
Les méthodes de Super-Résolution (SR) permettent de générer des images haute résolution
(HR) à partir d’images basse résolution (BR). Contrairement à un rééchantillonage
par interpolation, elles restituent les hautes fréquences spatiales et compensent
les artéfacts (flou, crénelures). Parmi elles, les méthodes d’apprentissage automatique
telles que les réseaux de neurones artificiels permettent d’apprendre et de modéliser
la relation entre les images BR et HR à partir d’exemples. Ce travail démontre l’intérêt
des méthodes de SR à base de réseaux de neurones pour les systèmes de reconnaissance
automatique. Les réseaux de neurones à convolutions sont particulièrement adaptés
puisqu’ils peuvent être entraînés à extraire des caractéristiques non-linéaires bidimensionnelles
pertinentes tout en apprenant la correspondance entre les espaces BR et HR. Sur des
images de type documents, la méthode proposée permet d’améliorer la précision en reconnaissance
de caractère de +7.85 points par rapport à une simple interpolation. La création d’une
base d’images annotée et l’organisation d’une compétition internationale (ICDAR2015)
ont souligné l’intérêt et la pertinence de telles approches. Pour les images de visages,
les caractéristiques faciales sont cruciales pour la reconnaissance automatique. Une
méthode en deux étapes est proposée dans laquelle la qualité de l’image est d’abord
globalement améliorée, pour ensuite se focaliser sur les caractéristiques essentielles
grâce à des modèles spécifiques. Les performances d’un système de vérification faciale
se trouvent améliorées de +6.91 à +8.15 points. Enfin, pour le traitement d’images
BR en conditions réelles, l’utilisation de réseaux de neurones profonds permet d’absorber
la variabilité des noyaux de flous caractérisant l’image BR, et produire des images
HR ayant des statistiques naturelles sans connaissance du modèle d’observation exact.
Note publique d'information : This thesis is focussed on super-resolution (SR) methods for improving automatic recognition
system (Optical Character Recognition, face recognition) in realistic contexts. SR
methods allow to generate high resolution images from low resolution ones. Unlike
upsampling methods such as interpolation, they restore spatial high frequencies and
compensate artefacts such as blur or jaggy edges. In particular, example-based approaches
learn and model the relationship between low and high resolution spaces via pairs
of low and high resolution images. Artificial Neural Networks are among the most efficient
systems to address this problem. This work demonstrate the interest of SR methods
based on neural networks for improved automatic recognition systems. By adapting the
data, it is possible to train such Machine Learning algorithms to produce high-resolution
images. Convolutional Neural Networks are especially efficient as they are trained
to simultaneously extract relevant non-linear features while learning the mapping
between low and high resolution spaces. On document text images, the proposed method
improves OCR accuracy by +7.85 points compared with simple interpolation. The creation
of an annotated image dataset and the organisation of an international competition
(ICDAR2015) highlighted the interest and the relevance of such approaches. Moreover,
if a priori knowledge is available, it can be used by a suitable network architecture.
For facial images, face features are critical for automatic recognition. A two step
method is proposed in which image resolution is first improved, followed by specialised
models that focus on the essential features. An off-the-shelf face verification system
has its performance improved from +6.91 up to +8.15 points. Finally, to address the
variability of real-world low-resolution images, deep neural networks allow to absorb
the diversity of the blurring kernels that characterise the low-resolution images.
With a single model, high-resolution images are produced with natural image statistics,
without any knowledge of the actual observation model of the low-resolution image.
paprika.idref.fr
data.idref.fr
Documentation
