FR2905586A1

FR2905586A1 - "procede de localisation des pupilles"

Info

Publication number: FR2905586A1
Application number: FR0608519A
Authority: FR
Inventors: Serge Boverie; Maurice Cour; Alain Giralt; Bertrand Godreau
Original assignee: Siemens VDO Automotive SAS
Current assignee: Continental Automotive France SAS
Priority date: 2006-09-28
Filing date: 2006-09-28
Publication date: 2008-03-14
Anticipated expiration: 2026-09-28
Also published as: FR2905586B1

Abstract

L'invention concerne un procédé de localisation des pupilles, consistant à acquérir successivement une image avec un effet « oeil brillant » et une image avec un effet « oeil noir », en utilisant au moins une caméra de type « à obturateur global » ou caméra « global shutter », puis à procéder à la soustraction des dites deux images. Selon l'invention, dans une phase d'initialisation, on procède à une localisation des pupilles dans une image de visage complète, dite pleine image, et on sélectionne dans cette pleine image une portion d'image de taille réduite, dite zone d'intérêt, incorporant les deux pupilles. Ce procédé consiste ensuite, lors de chaque séquence d'acquisition de deux images successives, à acquérir, avec un effet, « oeil brillant » ou oeil noir », une première image correspondant à la zone d'intérêt, puis à acquérir, avec l'autre effet, « oeil noir » ou « oeil brillant », une seconde image intégrant au moins la dite zone d'intérêt.

Description

1 L'invention concerne un procédé de localisation des pupilles, destiné à

permettre une analyse des mouvements des paupières en vue de l'évaluation de l'état de vigilance de la personne dont on localise les pupilles. Plus particulièrement cette invention s'applique à un conducteur de véhicule automobile. De façon classique, les systèmes actuels d'analyse du mouvement des paupières d'un conducteur de véhicule comprennent principalement : • une ou plusieurs caméras noir et blanc disposées de façon à permettre d'acquérir des images du visage du conducteur. Les caméras utilisées actuellement sont des caméras de technologie CMOS dites à obturateur global ou caméras global shutter (c'est-à-dire conçues pour permettre à l'ensemble des pixels de capturer simultanément la totalité de l'image), possédant des fréquences d'acquisition comprises entre 25 et 50 Hz. En effet, de telles caméras permettent d'obtenir une bonne qualité d'image et des performances intéressantes tout en présentant un prix de revient compatible avec les contraintes de faible coût imposées dans le domaine de l'industrie automobile, • des sources d'éclairage infrarouge (proche infrarouge) généralement pulsées et synchronisées avec les acquisitions d'images. Cette technique d'éclairage a, en effet, pour avantage de conduire à une augmentation de l'intensité lumineuse lors des acquisitions d'images, tout en maintenant un niveau énergétique moyen relativement bas et compatible avec les normes de sécurité oculaire, • et un processeur de traitement des images acquises par les caméras, programmé, en temps réel, pour localiser la tête du conducteur, localiser la position des yeux et des pupilles, et reconstituer le mouvement des paupières. Le problème majeur rencontré lors de l'utilisation de ces systèmes d'analyse du mouvement des paupières concerne les conducteurs portant des lunettes (qui représentent environ la moitié de la population). En effet, l'environnement lumineux dans un véhicule est très perturbé, variable et non maîtrisé, et ces perturbations lumineuses ont un effet 2905586 2 direct sur la qualité et l'efficacité de la détection des pupilles des conducteurs portant des lunettes : dans de nombreuses situations, ces perturbations lumineuses se réfléchissent sur les lunettes du conducteur et viennent gêner la détection des pupilles en créant des artéfacts qui peuvent être 5 confondus avec des éléments caractéristiques des yeux. En vue de pallier ces inconvénients, une technique a consisté à utiliser les propriétés de réflexion du fond de l'oeil. Selon cette technique, dite technique différentielle, le processus d'acquisition des images consiste : 10 • à acquérir une première image avec un effet oeil brillant obtenu, par exemple, au moyen d'une première source d'éclairage positionnée sensiblement dans l'axe de visée de la caméra, notamment autour de l'objectif de cette dernière, • consécutivement, à acquérir une seconde image avec 15 un effet oeil noir obtenu, par exemple, au moyen d'une seconde source d'éclairage déportée de quelques dizaines de centimètres par rapport à l'axe de la caméra, • et à soustraire ces deux images. Une telle technique permet une excellente localisation de la 20 pupille car elle élimine tous les autres éléments de l'image. Par contre, elle ne peut fonctionner correctement que si le temps séparant les deux acquisitions oeil brillant et oeil noir est très court, de l'ordre de quelques millisecondes, afin de garantir la stationnarité de la scène entre les deux prises de vue, c'est-à-dire l'absence de variations entre les deux images, résultant, par exemple, d'un 25 mouvement de l'oeil ou de l'environnement lumineux. Par conséquent, à l'heure actuelle, cette technique différentielle impose, en vue d'être performante, d'utiliser des caméras possédant des fréquences d'acquisition élevées. Or ces caméras s'avèrent d'un coût prohibitif compte tenu des contraintes de faible coût imposées dans le domaine de 30 l'industrie automobile. La présente invention vise à pallier cet inconvénient et a pour principal objectif de fournir une technique différentielle permettant une localisation des pupilles au moyen d'une simple caméra à obturateur global (ou caméra global shutter ) possédant des fréquences d'acquisition usuelles 2905586 3 (par exemple comprises entre 25 et 50 Hz), ou autrement dit, présentant un faible prix de revient compatible avec les contraintes de coût imposées dans le domaine de l'industrie automobile. A cet effet, l'invention vise un procédé de localisation des 5 pupilles mettant en oeuvre une technique de type différentielle, c'est-à-dire consistant à acquérir successivement une image avec un effet oeil brillant et une image avec un effet oeil noir , en utilisant au moins une caméra de type à obturateur global ou caméra global shutter , puis à procéder à la soustraction des dites deux images.

10 Selon l'invention, ce procédé de localisation se caractérise en ce qu'il consiste : ù dans une phase d'initialisation, à procéder à une localisation des pupilles dans une image de visage complète, dite pleine image, et à sélectionner dans cette pleine image une portion d'image de taille réduite, dite 15 zone d'intérêt, incorporant les deux pupilles, ù et lors de chaque séquence d'acquisition de deux images successives, à acquérir, avec un effet, oeil brillant ou oeil noir , une première image correspondant à la zone d'intérêt, puis à acquérir, avec l'autre effet, oeil noir ou oeil brillant , une seconde image intégrant au moins la dite 20 zone d'intérêt. En premier lieu, par caméra de type à obturateur global ou caméra global shutter , on entend définir, selon l'invention, une caméra permettant à l'ensemble des pixels de capturer simultanément la totalité de l'image, par opposition notamment aux caméras dites de type rolling shutter qui 25 réalisent cette capture de l'image ligne par ligne. Dans le cadre de l'invention, de telles caméras à obturateur global, d'une part, permettent de synchroniser les acquisitions des images avec les sources d'éclairage pulsées, et d'autre part, évitent les effets de mouvement observés avec les caméras de type rolling shutter .

30 Le procédé selon l'invention met donc en oeuvre le processus classique d'acquisition des images des techniques différentielles, mais a pour particularité essentielle de réaliser l'acquisition, en tant que premières images , de portions d'image de taille réduite, appelées zones d'intérêt, incorporant les deux pupilles.

2905586 4 Or, le temps d'acquisition total d'une image dépend de deux paramètres : • le temps de capture, ou d'acquisition en lui-même, relativement court (de l'ordre de quelques millisecondes et typiquement de l'ordre 5 de 2 ms), qui correspond au temps nécessaire à l'ensemble des pixels pour acquérir la totalité de l'image : pour une caméra donnée, ce temps est constant quelque soit le nombre de pixels du fait d'une acquisition faite en parallèle pour l'ensemble de la matrice de pixels, • et le temps de transfert dépendant du nombre de 10 pixels transférés, et grossièrement proportionnel à ce nombre de pixels. Du fait de sa particularité qui consiste à acquérir une première image de taille réduite, le procédé selon l'invention conduit donc à réduire de façon significative le temps nécessaire au transfert de cette première image, et par là même et surtout, à réduire également de façon significative le 15 temps séparant les deux acquisitions oeil brillant et oeil noir . Par conséquent, le procédé selon l'invention conduit à augmenter de façon artificielle la fréquence d'acquisition des caméras, et permet de mettre en oeuvre avec succès les techniques différentielles en utilisant de simples caméras présentant un faible prix de revient compatible avec les 20 contraintes de coût imposées dans le domaine de l'industrie automobile. Selon une première variante de mise en oeuvre de l'invention, chaque séquence d'acquisition de deux images consiste à acquérir une première image correspondant à la zone d'intérêt, et une seconde image correspondant à une pleine image.

25 Outre, conformément à l'invention, la garantie de la stationnarité de la scène entre les deux prises de vue, cette procédure permet également d'ajuster, si nécessaire, la position de la zone d'intérêt grâce à l'acquisition systématique de pleines images. Selon une autre variante de mise en oeuvre de l'invention, 30 chaque séquence courante d'acquisition de deux images consiste à acquérir une première image et une seconde image correspondant chacune à la zone d'intérêt, avec interposition ponctuelle et avec une fréquence prédéterminée, entre les dites séquences courantes, d'une séquence de recalage de la zone d'intérêt consistant 2905586 5 à acquérir une première image correspondant à la zone d'intérêt, et une seconde image correspondant à une pleine image. Cette procédure conduit, quant à elle, à réduire le temps de travail et la puissance requise des processeurs, et prévoit une possibilité 5 d'ajustement périodique de la position de la zone d'intérêt. Les zones d'intérêt telles que définies dans la présente demande sont quant à elles conçues pour présenter une taille minimale en vue de réduire de façon optimale le temps de transfert des pixels, et, à cet effet, et avantageusement selon l'invention, ces zones d'intérêt sont formées : 10 • soit d'une fenêtre rectangulaire unique de taille adaptée pour que les deux pupilles soient centrées dans la dite fenêtre. • soit de deux fenêtres séparées, chacune de taille adaptée pour qu'une pupille soit centrée dans la dite fenêtre. Par ailleurs, lorsque ce procédé est appliqué à un 15 conducteur de véhicule la phase d'initialisation est avantageusement réalisée après chaque démarrage du moteur du véhicule. De plus, une correction adaptative de la zone d'intérêt sélectionnée lors de la phase d'initialisation, est avantageusement réalisée et consiste à corriger la position de la dite zone d'intérêt en fonction des variations de 20 la position moyenne de la tête de la personne dont on localise les pupilles. De telles corrections adaptatives, destinées par exemple à permettre de maintenir les pupilles centrées dans la zone d'intérêt, sont dans la pratique réalisées soit à partir d'une pleine image, soit par l'analyse de l'évolution relative des pupilles dans la zone d'intérêt. Ces corrections sont dites adaptatives 25 car elles tiennent compte des mouvements de la personne dont on localise les pupilles tout en les filtrant. Il s'agit en effet, de ne pas prendre en compte tous les mouvements de tête non significatifs, car cela dégraderait la performance du procédé de localisation. D'autres caractéristiques buts et avantages de l'invention 30 ressortiront de la description détaillée qui suit en référence aux dessins annexés qui en représentent à titre d'exemple non limitatif un mode de mise en oeuvre avantageux. Sur ces dessins : - la figure 1 représente le visage d'un conducteur sur lequel est matérialisée une première forme de zone d'intérêt selon l'invention, 2905586 6 - la figure 2 représente le visage d'un conducteur sur lequel est matérialisée une seconde forme de zone d'intérêt selon l'invention, - et la figure 3 est un graphique illustrant la mise en oeuvre du procédé de localisation selon l'invention.

5 Le procédé selon l'invention consiste en un procédé de localisation des pupilles d'un conducteur mettant en oeuvre une technique différentielle connue en soi, consistant, en boucle : • à acquérir, en utilisant au moins une caméra de type à obturateur global ou caméra global shutter , une première image avec un 10 effet oeil brillant ou un effet oeil noir , puis consécutivement, à acquérir une seconde image avec un effet inverse : oeil noir ou oeil brillant , • à procéder à la soustraction de la première image et de la seconde image précédemment acquises, • et à procéder à une nouvelle acquisition de deux 15 images. Selon l'invention, on procède, en outre, dans une phase d'initialisation, à une localisation des pupilles dans une image de visage complète, dite pleine image, et on sélectionne dans cette pleine image une portion d'image de taille réduite, dite zone d'intérêt, incorporant les deux pupilles, 20 et destinée à constituer la première image citée ci-dessus. Tel que représenté aux figures 1 et 2, deux concepts de zones d'intérêt sont avantageusement utilisés selon l'invention. Selon la figure 1, la zone d'intérêt est formée de deux fenêtres B1, B2 séparées, chacune de taille adaptée pour qu'une pupille soit 25 centrée dans la dite fenêtre. Selon la figure 2, par contre, la zone d'intérêt est formée d'une fenêtre rectangulaire unique B de taille adaptée pour que les deux pupilles soient centrées dans la dite fenêtre. De plus, la taille de ces zones d'intérêt est classiquement 30 calculée en fonction des configurations des véhicules et de critères morphologiques standards des conducteurs en prenant en compte les positions longitudinales minimales et maximales des sièges.

2905586 7 Une fois cette phase d'initialisation réalisée, par exemple après chaque démarrage du moteur du véhicule, chaque séquence d'acquisition de deux images consiste, tel qu'illustré à la figure 3 : • à acquérir une première image correspondant à la 5 zone d'intérêt prédéfinie, • puis à acquérir une seconde image correspondant à une pleine image. Les temps d'acquisition de ces deux images, matérialisés à la figure 3, comportent : 10 • un temps de capture relativement court (de l'ordre de 2 ms) et constant pour une caméra donnée, quelle que soit la taille de l'image capturée, • et un temps de transfert dépendant du nombre de pixels transférés, et grossièrement proportionnel à ce nombre de pixels. En 15 l'exemple, la taille de la zone d'intérêt est de l'ordre du cinquième de la taille de la pleine image. Par conséquent, si l'on considère que le temps moyen de transfert d'une pleine image est de l'ordre de 15 ms, le temps de transfert de la zone d'intérêt sera de l'ordre de 3 ms. Sur la base de ces hypothèses réalistes de temps de 20 d'acquisition, on constate que le temps s'écoulant entre le début de l'acquisition de chaque première image et le début de l'acquisition de chaque seconde image est de l'ordre de 2 ms plus 3 ms, soit un temps de 5 ms correspondant à une fréquence de 200 Hz. II ressort donc clairement de ces données chiffrées que le 25 temps séparant les deux acquisitions oeil brillant et oeil noir est très court, de l'ordre de quelques millisecondes, et qu'il permet donc de garantir la stationnarité de la scène entre les deux prises de vue, c'est-à-dire l'absence de variations entre les deux images, résultant, par exemple, d'un mouvement de l'oeil ou de l'environnement lumineux.

30 On notera par ailleurs, que ce procédé de localisation des pupilles est mis en oeuvre principalement dans le but de détecter l'état de vigilance d'une personne. A savoir il s'agit donc de détecter si cette personne s'endort ou pas. En fait on a remarqué qu'une personne effectue peu de mouvements de repositionnements fondamentaux lorsqu'elle est à son poste (de conduite, de 2905586 8 travail, ...). n outre, les mouvements de repositionnement rapides ne sont pas pris en compte pour déterminer la vigilance (on peut en effet supposer qu'une suite de mouvements rapides est plutôt significative d'un état alerte). Il ressort de ces constatations qu'il est peu utile d'acquérir 5 (souvent) une image pleine car les yeux de la personne restent habituellement dans une même zone d'image. Le fait de réduire la fréquence d'acquisition d'image pleine ne dégrade donc pas la bonne localisation des pupilles et ne réduit pas la vitesse de détection d'un état de faible vigilance (début d'endormissement).

10 II est à noter que ce procédé, décrit pour être mis en place dans un véhicule automobile, pourrait tout aussi bien être appliqué aux conducteurs de train ou à toute autre personne dont la tâche consiste à regarder dans une zone déterminée sans s'endormir (cas des contrôleurs du trafic aériens par exemple).

Claims

REVENDICATIONS

1/ Procédé de localisation des pupilles consistant à acquérir successivement une image avec un effet oeil brillant et une image avec un effet oeil noir , en utilisant au moins une caméra de type à obturateur global ou caméra global shutter , puis à procéder à la soustraction des dites deux images, le dit procédé de localisation étant caractérisé en ce qu'il consiste : ù dans une phase d'initialisation, à procéder à une localisation des pupilles dans une image de visage complète, dite pleine image, et à sélectionner dans cette pleine image une portion d'image de taille réduite (B1, B2 ; B), dite zone d'intérêt, incorporant les deux pupilles, ù et lors de chaque séquence d'acquisition de deux images successives, à acquérir, avec un effet, oeil brillant ou oeil noir , une première image correspondant à la zone d'intérêt (B1, B2 ; B), puis à acquérir, avec l'autre effet, oeil noir ou oeil brillant , une seconde image intégrant au moins la dite zone d'intérêt.

2/ Procédé de localisation selon la revendication 1 caractérisé en ce que chaque séquence d'acquisition de deux images consiste à acquérir une première image correspondant à la zone d'intérêt (B1, B2 ; B), et une seconde image correspondant à une pleine image.

3/ Procédé de localisation selon la revendication 1 caractérisé en ce que chaque séquence courante d'acquisition de deux images consiste à acquérir une première image et une seconde image correspondant chacune à la zone d'intérêt (B1, B2 ; B), avec interposition ponctuelle et avec une fréquence prédéterminée, entre les dites séquences courantes, d'une séquence de recalage de la zone d'intérêt consistant à acquérir une première image correspondant à la zone d'intérêt (B1, B2 ; B), et une seconde image correspondant à une pleine image.

4/ Procédé de localisation selon l'une des revendications précédentes caractérisé en ce que dans le cas de la localisation d'une pupille d'un conducteur de véhicule la phase d'initialisation est réalisée après chaque démarrage du moteur du véhicule.

5/ Procédé de localisation selon l'une des revendications précédentes caractérisé en ce que chaque zone d'intérêt est formée d'une fenêtre 2905586 10 rectangulaire unique (B) de taille adaptée pour que les deux pupilles soient centrées dans la dite fenêtre.

6/ Procédé de localisation selon l'une des revendications 1 à 4 caractérisé en ce que chaque zone d'intérêt est formée de deux fenêtres (B1, 5 B2) séparées, chacune de taille adaptée pour qu'une pupille soit centrée dans la dite fenêtre.

7/ Procédé de localisation selon l'une des revendications précédentes caractérisé en ce qu'il consiste à effectuer une correction adaptative de la zone d'intérêt (B1, B2 ; B) sélectionnée lors de la phase d'initialisation, 10 consistant à corriger la position de la dite zone d'intérêt en fonction des variations de la position moyenne de la tête de la personne dont on localise les pupilles.