FR3095064A1 - BIOMETRIC DOUBT-RELATED PROCESSES AND DEVICES - Google Patents

Abstract

PROCÉDÉS ET DISPOSITIFS DE LEVÉE DE DOUTE BIOMÉTRIQUE. On décrit un procédé de traitement d'images permettant de générer une probabilité de présence d’une personne vivante dans un milieu à l’aide des étapes suivantes : acquérir une image, appelée données thermiques, de la personne dans un milieu dans le domaine spectral infrarouge thermique au moyen de capteurs thermiques matriciels, acquérir une seconde image, appelée données visibles, de la personne dans le domaine spectral visible au moyen d’un capteur de type imageur CMOS, également apte à délivrer des données dans le domaine infrarouge proche alors appelées données infrarouge proche, et générer cette probabilité par l’utilisation d’un réseau de neurones, de préférence un réseau de neurones à convolutions comportant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée dont les entrées sont les données thermiques pouvant être complétées par les données visibles et/ou les données infrarouge proche. FIGURE POUR L’ABRÉGÉ : FIGURE 1BIOMETRIC DOUBT REMOVAL METHODS AND DEVICES. An image processing method is described which makes it possible to generate a probability of the presence of a living person in a medium using the following steps: acquiring an image, called thermal data, of the person in a medium in the spectral domain thermal infrared by means of thermal matrix sensors, acquire a second image, called visible data, of the person in the visible spectral range by means of a CMOS imager type sensor, also capable of delivering data in the near infrared range then called near infrared data, and generate this probability by using a neural network, preferably a convolutional neural network with two convolutional layers, two subsampling layers and a fully connected layer whose inputs are the data thermal data which can be supplemented by visible data and / or near infrared data. FIGURE FOR ABSTRACT: FIGURE 1

Description

PROCÉDÉS ET DISPOSITIFS DE LEVÉE DE DOUTE BIOMÉTRIQUE.METHODS AND DEVICES FOR RESOLVING BIOMETRIC DOUBT.

La présente invention concerne le domaine du traitement d'images et plus particulièrement les procédés et dispositifs électroniques de capture d'images mis en œuvre afin de vérifier que le visage d’une personne vivante est présent devant un dispositif de prise de vues lors de la réalisation d’un cliché photographique, par exemple et sans que ce soit limitatif, pour la réalisation d’un passeport.The present invention relates to the field of image processing and more particularly to the methods and electronic devices for capturing images implemented in order to verify that the face of a living person is present in front of a shooting device during the production of a photographic negative, for example and without limitation, for the production of a passport.

Les différentes techniques de falsification possibles lors de la prise de vue du visage d’une personne peuvent être par exemple : masque, impression papier, écran de téléphone, d’ordinateur ou de tablette représentant un visage humain et placés devant ledit dispositif de prise de vues.The various falsification techniques possible when taking a picture of a person's face can be, for example: mask, paper printout, telephone, computer or tablet screen representing a human face and placed in front of said device for taking views.

Or, si les prises de vues sont destinées à la création de documents officiels, de telles tentatives doivent être impérativement détectées afin de ne pas créer de « faux papiers ». Avantageusement, la solution doit permettre cette détection quel que soit le visage de la personne présente devant le dispositif de détection et donc sans que les caractéristiques personnelles de cette personne aient été préalablement enregistrées dans une base de données.However, if the shots are intended for the creation of official documents, such attempts must imperatively be detected in order not to create “false papers”. Advantageously, the solution must allow this detection regardless of the face of the person present in front of the detection device and therefore without the personal characteristics of this person having been previously recorded in a database.

Les brevets US2002/0136435A1 et WO2010/0128931A1 divulguent des procédés pouvant servir à la réalisation d’un dispositif de détection de ce type de falsification : pour cela sont utilisés deux systèmes de prises de vue.Patents US2002/0136435A1 and WO2010/0128931A1 disclose methods that can be used to produce a device for detecting this type of falsification: for this, two shooting systems are used.

Le premier système comporte une caméra afin de réaliser des clichés dans le domaine visible des ondes électromagnétiques et le second système comporte une autre caméra afin de réaliser des clichés dans le domaine infrarouge des ondes électromagnétiques.The first system comprises a camera in order to take pictures in the visible range of electromagnetic waves and the second system comprises another camera in order to take pictures in the infrared range of electromagnetic waves.

Les techniques mises en œuvre dans ces brevets, afin de détecter une tentative de falsification, nécessitent des clichés dotés d’une résolution suffisante pour y identifier de façon fiable des éléments caractéristiques d’un visage humain : nez, oreilles, yeux, cheveux, entre autres exemples. Or, si dans le domaine visible ce type de caméra est courant et de coût inférieur à une centaine d’euros, dans le domaine infrarouge thermique une résolution même de type « vidéo », soit environ 640x480 pixels, entraîne un coût élevé, par exemple de l’ordre de plusieurs milliers d’euros.The techniques implemented in these patents, in order to detect an attempt at falsification, require images with sufficient resolution to reliably identify the characteristic elements of a human face: nose, ears, eyes, hair, between other examples. However, if in the visible domain this type of camera is common and costs less than a hundred euros, in the thermal infrared domain a resolution even of the “video” type, i.e. approximately 640×480 pixels, entails a high cost, for example of the order of several thousand euros.

Les procédés décrits dans le brevet WO2006/003612A1 qui opèrent une fusion des clichés du domaine visible et du domaine infrarouge requièrent également que les définitions des deux clichés soient compatibles : si la définition d’un des clichés est très inférieure à l’autre, alors la fusion des images détruit tout ou partie des informations pertinentes pour la détection de la tentative de falsification, informations qui étaient pourtant contenues dans le cliché de plus haute définition.The processes described in patent WO2006/003612A1 which operate a fusion of the images of the visible domain and the infrared domain also require that the definitions of the two images be compatible: if the definition of one of the images is much lower than the other, then merging the images destroys all or part of the relevant information for detecting the falsification attempt, information which was nevertheless contained in the highest definition snapshot.

Par ailleurs, des problématiques de maintenance existent avec les capteurs infrarouges divulgués dans ces brevets : en effet, ces capteurs infrarouges utilisent des micro-bolomètres qui nécessitent, avant leur première utilisation, un premier étalonnage de chacun des éléments d’image (pixels) de la caméra réalisant les clichés dans le domaine infrarouge puis, des ré-étalonnages afin d’assurer leur stabilité de fonctionnement à long terme.Furthermore, maintenance problems exist with the infrared sensors disclosed in these patents: indeed, these infrared sensors use micro-bolometers which require, before their first use, a first calibration of each of the image elements (pixels) of the camera taking the shots in the infrared range then, re-calibrations in order to ensure their long-term operating stability.

Pour ce faire, il est nécessaire de faire appel à un laboratoire d’étalonnage qui utilise, là-aussi, des éléments onéreux comme des corps noirs eux-mêmes étalonnés voire en plus, des obturateurs mécaniques précis.To do this, it is necessary to call on a calibration laboratory which also uses expensive elements such as black bodies themselves calibrated or even precise mechanical shutters.

Par ailleurs, les brevets WO2015/040001 et US10,169,671 ajoutent aux procédés précédents une étape de mesure de distance des éléments du visage, réalisée à l’aide d’un système de mesure de distance complémentaire, voire la mesure de la tête entière dans le cas du brevet WO2015/040001 et ce de manière à détecter principalement les tentatives de falsifications à l’aide d’écrans ou de documents imprimés donc plats.Furthermore, the patents WO2015/040001 and US10,169,671 add to the previous methods a step of measuring the distance of the elements of the face, carried out using a complementary distance measuring system, or even the measurement of the entire head in the case of patent WO2015/040001 and this in order to detect mainly attempts at falsification using screens or therefore flat printed documents.

Il va de soi que l’ajout de ces systèmes complémentaires augmente encore plus le coût du dispositif de détection de la falsification et de plus ils ne sont pas aptes à détecter de manière efficace une tentative de falsification par masque.It goes without saying that the addition of these complementary systems further increases the cost of the tampering detection device and moreover they are not capable of effectively detecting an attempt at falsification by mask.

Dans le brevet US9,230,158B1 est décrit un procédé de détection de falsification basé sur l’étude des variations ou de l’absence de variations de carnation de la peau à partir d’images issues d’une séquence vidéo. Cette approche se heurte toutefois aux problèmes suivants : si cette technique est apte à détecter l’absence de modifications de carnation d’une image fixe au cours du temps, lorsque la tentative de falsification s’effectue à partir d’une séquence vidéo de la personne et non plus à partir d’une image fixe, alors le système peut plus difficilement la détecter car les variations de carnation au cours de la séquence ont été effectivement enregistrées. De plus, comme les variations de carnations dans un délai de quelques secondes sont très faibles, voire même invisibles à l’œil nu comme cela est rappelé dans le brevet lui-même, le procédé en question nécessite l’utilisation de dispositifs de prises de vues dotés d’un très grand rapport signal sur bruit et donc, là encore, de coût élevé. Le procédé dévoilé par le brevet WO2014/004179A1 analysant lui-aussi des variations de la carnation se heurte à la même problématique.Patent US9,230,158B1 describes a method for detecting falsification based on the study of variations or the absence of variations in skin tone from images taken from a video sequence. However, this approach comes up against the following problems: if this technique is capable of detecting the absence of changes in skin tone of a fixed image over time, when the falsification attempt is made from a video sequence of the person and no longer from a fixed image, then the system can more difficultly detect it because the variations in skin tone during the sequence have actually been recorded. In addition, as the variations in skin tones within a few seconds are very small, even invisible to the naked eye as stated in the patent itself, the process in question requires the use of views with a very high signal-to-noise ratio and therefore, again, high cost. The method disclosed by patent WO2014/004179A1, which also analyzes variations in skin tone, comes up against the same problem.

En revanche, de nouvelles techniques alternatives de visualisation d’images dans le domaine infrarouge thermique sont désormais disponibles.On the other hand, new alternative techniques for visualizing images in the thermal infrared range are now available.

Ces nouvelles techniques utilisent en tant que capteurs infrarouges des éléments constitués de thermopiles et non plus de micro-bolomètres comme dans tous les brevets présentés précédemment travaillant dans le domaine infrarouge thermique. Ils ne nécessitent plus de ré-étalonnage. Ils sont par ailleurs beaucoup moins onéreux : quelques dizaines d’euros seulement.These new techniques use as infrared sensors elements consisting of thermopiles and no longer micro-bolometers as in all the patents presented previously working in the thermal infrared field. They no longer require recalibration. They are also much less expensive: only a few tens of euros.

En contrepartie, ces dispositifs ont une définition très limitée, actuellement de moins de 1000 éléments d’image (pixels) et ne fournissent donc pas une résolution suffisante pour identifier les éléments du visage nécessaires à la réalisation du procédé décrit dans le brevet US 2002/0136435A1 et encore moins pour autoriser l’identification de personnes par comparaison avec une base de données par exemple.On the other hand, these devices have a very limited definition, currently less than 1000 image elements (pixels) and therefore do not provide sufficient resolution to identify the elements of the face necessary to carry out the method described in US patent 2002/ 0136435A1 and even less to authorize the identification of people by comparison with a database for example.

Les procédés décrits dans le brevet WO2017/070920A1 utilisent également une base de données d’images de personnes préalablement enregistrées. Or, pour l’invention présentée, le contexte est tout autre : elle concerne des procédés et dispositifs permettant de vérifier que le visage de la personne en test correspond à quelqu’un de vivant sans que des données relatives à cette personne n’aient été préalablement enregistrées de quelle que façon que ce soit dans une base de données. De plus, le brevet WO2017/07092A1 utilise des longueurs d’onde correspondant à l’infrarouge proche : 800nm - 1800nm, valeurs rappelées dans la description du brevet, alors que la température de peau humaine se plaçant typiquement sur une échelle de valeurs de 28°C à 38°C environ, il serait avantageux d’utiliser des longueurs d’ondes infrarouges dans une plage de 5000 nm à 25 000 nm.The methods described in patent WO2017/070920A1 also use a database of previously recorded images of people. However, for the invention presented, the context is quite different: it concerns methods and devices making it possible to verify that the face of the person under test corresponds to someone living without data relating to this person having been previously recorded in any way whatsoever in a database. In addition, patent WO2017/07092A1 uses wavelengths corresponding to the near infrared: 800nm - 1800nm, values recalled in the description of the patent, while the temperature of human skin is typically placed on a scale of values of 28 °C to about 38°C, it would be advantageous to use infrared wavelengths in the range of 5000 nm to 25000 nm.

Or, précisément, un autre avantage de nouvelles techniques de visualisation infrarouge par thermopile est que les longueurs d’onde concernées sont situées notamment dans l’infrarouge thermique (4000 nm - 15000 nm) et non plus dans l’infrarouge proche (longueur d’onde entre 800 et 2000 nm) : de la sorte, il est en plus inutile d’incorporer au dispositif de détection un illuminant infrarouge externe au visage en test comme c’est par exemple le cas dans les descriptions des brevets US 2006/0104488, US 7,147,153B2 ou encore EP1533744A2.However, precisely, another advantage of new techniques of infrared visualization by thermopile is that the wavelengths concerned are located in particular in the thermal infrared (4000 nm - 15000 nm) and no longer in the near infrared (length of wave between 800 and 2000 nm): in this way, it is also unnecessary to incorporate in the detection device an infrared illuminant external to the face under test as is for example the case in the descriptions of US patents 2006/0104488, US 7,147,153B2 or even EP1533744A2.

Le brevet US10,169,671B2 évoque l’utilisation de tels dispositifs de mesure de température par une matrice d’éléments sensibles aux longueurs d’ondes infrarouges. En revanche, dans le procédé décrit, une seule valeur de température est utilisée : dans le procédé décrit, on interroge l’élément de matrice correspondant spatialement au centre du visage en test. Les évolutions de la température sur les différents éléments de la matrice de mesure ne sont donc pas pris en compte dans le procédé.Patent US10,169,671B2 mentions the use of such temperature measurement devices by a matrix of elements sensitive to infrared wavelengths. On the other hand, in the method described, a single temperature value is used: in the method described, the matrix element spatially corresponding to the center of the face under test is interrogated. The changes in temperature on the various elements of the measurement matrix are therefore not taken into account in the process.

Le brevet WO2018/0558554A1 décrit d’autres techniques de détection de tentatives de falsification à l’aide de réseaux de neurones.Patent WO2018/0558554A1 describes other techniques for detecting tampering attempts using neural networks.

Dans ce brevet, sont utilisées les seules informations de prises de vues dans le domaine visible. Comme mentionné précédemment, la résolution des prises de vues dans ce domaine atteinte par des dispositifs de seulement quelques dizaines d’euros est suffisamment importante pour permettre l’identification des personnes par exemple en comparant les données obtenues par ces dispositifs avec celles enregistrées dans une base de données d’images. Une telle comparaison est par exemple utilisée pour autoriser un accès à un local, à un ordinateur, à un téléphone, etc. Or ici, on cherche à détecter la tentative de falsification avant l’identification à l’aide de moyens les plus réduits possibles et sans comparaison avec une base de données. De plus, le procédé décrit l’utilisation de deux réseaux de neurones, un travaillant sur le domaine spatial et un autre sur le domaine temporel : il est donc nécessaire d’enregistrer une séquence complète d’images visibles donc de résolution élevée, décrite dans ce brevet comme un flux vidéo : la quantité de mémoire utilisée par un dispositif mettant en œuvre le procédé augmente significativement par rapport à un procédé mettant en œuvre un nombre plus réduit d’images voire une image unique. Par ailleurs, le procédé décrit l’utilisation de deux réseaux de neurones : cela augmente le temps de calcul nécessaire à la réalisation du procédé et donc nuit grandement à la réactivité du dispositif. De plus, le temps de calcul de la phase d’apprentissage des deux réseaux de neurones est, là encore, doublée par rapport à un réseau de neurones unique, ce qui augmente le coût de mise en œuvre.In this patent, the only information taken from shots in the visible domain is used. As mentioned previously, the resolution of the shots in this area achieved by devices of only a few tens of euros is sufficiently high to allow the identification of people, for example by comparing the data obtained by these devices with those recorded in a database. image data. Such a comparison is for example used to authorize access to a room, to a computer, to a telephone, etc. However, here, we seek to detect the attempted falsification before identification using the smallest possible means and without comparison with a database. In addition, the method describes the use of two neural networks, one working on the spatial domain and another on the time domain: it is therefore necessary to record a complete sequence of visible images, therefore of high resolution, described in this patent like a video stream: the quantity of memory used by a device implementing the method increases significantly compared to a method implementing a smaller number of images or even a single image. Furthermore, the method describes the use of two neural networks: this increases the calculation time necessary to carry out the method and therefore greatly affects the responsiveness of the device. In addition, the computation time of the learning phase of the two neural networks is, again, doubled compared to a single neural network, which increases the cost of implementation.

Enfin, ce procédé mettant en œuvre des informations dans le seul domaine visible, il est plus facile à tromper pour un falsificateur ce qui, là encore, diminue fortement l’intérêt du procédé décrit.Finally, this process implementing information in the visible domain only, it is easier to deceive for a falsifier which, again, greatly diminishes the interest of the process described.

La présente invention permet de résoudre les problèmes évoqués ci-dessus.The present invention solves the problems mentioned above.

A cette fin, un procédé selon un premier aspect de l'invention comporte les étapes consistant à :To this end, a method according to a first aspect of the invention comprises the steps consisting in:

acquérir des données représentatives d’une image dans le domaine spectral infrarouge thermique, appelée données thermiques, d’une personne dans un milieu au moyen d’un capteur matriciel,acquire data representative of an image in the thermal infrared spectral domain, called thermal data, of a person in an environment by means of a matrix sensor,

et est essentiellement caractérisé en ce qu’il comporte en outre les étapes suivantes :and is essentially characterized in that it further comprises the following steps:

mémoriser ces données thermiques,store these thermal data,

transmettre ces données thermiques à un processeur,transmit this thermal data to a processor,

traiter ces données thermiques par un processeur,process this thermal data by a processor,

générer une grandeur représentative de la probabilité de présence effective d’une personne vivante à l’aide d’un réseau de neurones dont les entrées sont les données thermiques.generate a quantity representative of the probability of the actual presence of a living person using a neural network whose inputs are thermal data.

Dans des modes de réalisation préférés on a recours à l'une et/ou l'autre des dispositions suivantes dans lesquelles :In preferred embodiments, one and/or other of the following arrangements are used, in which:

- une étape est prévue pour acquérir des données représentatives du visage de la personne pour constituer les données thermiques,- a step is provided for acquiring data representative of the face of the person to constitute the thermal data,

- une étape est prévue pour acquérir des données représentatives de la même personne, appelée données visibles, dans le domaine spectral visible au moyen d’une caméra, le réseau de neurones ayant en plus les données visibles parmi ses entrées,- a step is provided for acquiring data representative of the same person, called visible data, in the visible spectral domain by means of a camera, the neural network also having the visible data among its inputs,

- une étape est prévue pour acquérir des données représentatives du visage de la personne pour constituer les données visibles,- a step is provided for acquiring data representative of the face of the person to constitute the visible data,

- une étape est prévue pour utiliser des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu,- a step is planned to use data representative of a three-dimensional reconstruction of the person in the environment,

- une étape est prévue pour acquérir des données représentatives d’une image, appelée données infrarouge proche, de la personne dans le domaine spectral infrarouge proche au moyen de la même caméra, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées,- a step is provided for acquiring data representative of an image, called near infrared data, of the person in the near infrared spectral domain by means of the same camera, the neural network additionally having the near infrared data among its inputs ,

- on utilise un réseau de neurones à convolutions,- we use a convolutional neural network,

- on utilise un réseau de neurones à convolutions comportant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée,- we use a convolutional neural network comprising two convolution layers, two sub-sampling layers and a completely connected layer,

- une étape est prévue pour acquérir les données thermiques au cours du temps pour constituer les entrées du réseau de neurones,- a step is planned to acquire the thermal data over time to constitute the inputs of the neural network,

- une étape est prévue pour acquérir les données visibles au cours du temps pour constituer les entrées du réseau de neurones,- a step is planned to acquire the visible data over time to constitute the inputs of the neural network,

- une étape est prévue pour acquérir les données infrarouge proche au cours du temps pour constituer les entrées du réseau de neurones,- a step is planned to acquire the near infrared data over time to constitute the inputs of the neural network,

- une étape est prévue pour acquérir les données thermiques au cours du temps pour générer une grandeur représentative de la probabilité de déplacement de la personne dans le milieu,- a step is provided to acquire the thermal data over time to generate a quantity representative of the probability of the person moving in the environment,

- une étape est prévue pour redimensionner la taille des données visibles et/ou des données infrarouge proche à la taille des données thermiques,- a step is provided to resize the size of the visible data and/or the near infrared data to the size of the thermal data,

- une étape est prévue pour introduire un décalage temporel entre les données thermiques et les données visibles.- a step is provided to introduce a time lag between the thermal data and the visible data.

Un deuxième aspect de l’invention concerne un système comportant :A second aspect of the invention relates to a system comprising:

un système de prises de vues, agencé de manière à permettre la prise d'images dans le domaine infrarouge thermique d’une personne dans un milieu, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données thermiques,a system of shots, arranged in such a way as to allow the taking of images in the thermal infrared range of a person in an environment, the means of shots providing digital data representative of the images called thermal data,

et est essentiellement caractérisé par :and is essentially characterized by:

des moyens de mémorisation des données thermiques,thermal data storage means,

des moyens de transmission des données thermiques,thermal data transmission means,

des moyens d'exploitation pour exploiter ces données thermiques,means of exploitation for exploiting these thermal data,

les moyens d'exploitation comportant un réseau de neurones agencé pour générer une grandeur représentative de la probabilité de présence effective d’une personne vivante, les entrées du réseau de neurones étant les données thermiques.the exploitation means comprising a neural network arranged to generate a quantity representative of the probability of the actual presence of a living person, the inputs of the neural network being the thermal data.

Dans des modes de réalisation préférés on a recours à l'une et/ou l'autre des dispositions suivantes :In preferred embodiments, one and/or other of the following arrangements are used:

- le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine infrarouge thermique du visage de la personne,- the camera system is arranged in such a way as to allow images to be taken in the thermal infrared range of the face of the person,

- le système de prises de vues est également agencé de manière à permettre la prise d'images de la personne dans le domaine visible, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données visibles, le réseau de neurones ayant en plus les données visibles parmi ses entrées,- the shooting system is also arranged so as to allow the taking of images of the person in the visible domain, the shooting means supplying digital data representative of the images called visible data, the neural network having in the more visible data among its entries,

- le système de prises de vues est également agencé de manière à ce que les moyens d’exploitation utilisent des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu,- the camera system is also arranged so that the operating means use data representative of a three-dimensional reconstruction of the person in the environment,

- le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine visible et/ou infrarouge proche du visage de la personne,- the camera system is arranged in such a way as to allow images to be taken in the visible and/or near infrared range of the person's face,

- le système de prises de vues est agencé pour permettre la prise d’images de la personne dans le domaine infrarouge proche, les moyens de prises de vues fournissant des données numériques des images appelées données infrarouge, proche, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées,- the shooting system is arranged to allow the taking of images of the person in the near infrared range, the shooting means supplying digital data of the images called near infrared data, the neural network having in addition near infrared data among its inputs,

- le réseau de neurones est agencé comme un réseau de neurones à convolutions,- the neural network is arranged like a convolutional neural network,

- le réseau de neurones est agencé comme un réseau de neurones à convolutions comportant deux couches de convolutions, deux couches de sous-échantillonnage et une couche complètement connectée,- the neural network is laid out as a convolutional neural network with two convolutional layers, two downsampling layers and a fully connected layer,

- le réseau de neurones recevant en plus sur ses entrées l’évolution des données thermiques au cours du temps,- the neural network also receiving on its inputs the evolution of the thermal data over time,

- le réseau de neurones recevant en plus sur ses entrées les données visibles à plusieurs instants successifs,- the neural network additionally receiving on its inputs the data visible at several successive instants,

- le réseau de neurones recevant en plus parmi ses entrées les données infrarouge proche au cours du temps,- the neural network also receiving among its inputs the near infrared data over time,

- les moyens d’exploitation sont agencés de manière à exploiter les données thermiques et à générer une grandeur représentative de la probabilité de déplacement d’une personne dans le milieu au cours du temps,- the means of exploitation are arranged in such a way as to exploit the thermal data and to generate a quantity representative of the probability of movement of a person in the environment over time,

- les moyens d’exploitation sont agencés pour redimensionner la taille des données visibles et/ou données infrarouge proche à la taille des données thermiques,- the operating means are arranged to resize the size of the visible data and/or near infrared data to the size of the thermal data,

- les moyens d’exploitation sont agencés de manière à introduire un décalage temporel entre les données thermiques et les données visibles.- the operating means are arranged in such a way as to introduce a time lag between the thermal data and the visible data.

L'invention comprend, mises à part ces dispositions principales, certaines autres dispositions qui s'utilisent de préférence en même temps et dont il est plus question ci-après.The invention comprises, apart from these main arrangements, certain other arrangements which are preferably used at the same time and which are discussed in more detail below.

Dans ce qui suit, on va décrire quelques modes de réalisations préférés de l'invention en se référant aux figures ci-annexées d'une manière bien entendue non limitative.In the following, a few preferred embodiments of the invention will be described with reference to the appended figures in a way of course that is not limiting.

Sur les dessins,On the drawings,

la figure 1 est une vue schématique d’un dispositif selon l’invention.Figure 1 is a schematic view of a device according to the invention.

La figure 2 est une décomposition du réseau de neurones selon l’invention.Figure 2 is a breakdown of the neural network according to the invention.

On décrit un système mis en place pour la réalisation de clichés de personnes (3) comportant un système de prises de vues (2) agencé pour prendre des clichés de ces personnes présentes dans le milieu (1) et dont le but est la détection d’une tentative de falsification du cliché de la personne (3) à l’aide de moyens comme des masques, impressions ou écrans présentés au système de prises de vues (2).We describe a system set up for taking pictures of people (3) comprising a shooting system (2) arranged to take pictures of these people present in the environment (1) and whose purpose is the detection of an attempt to falsify the picture of the person (3) using means such as masks, prints or screens presented to the camera system (2).

Dans un mode de réalisation de l'invention, le système de prises de vues est agencé pour prendre des clichés du visage (30) des personnes vivantes (3) dont la position dans le milieu (1) est connue, par exemple la personne (3) est assise sur un siège (4) du milieu (1).In one embodiment of the invention, the camera system is arranged to take pictures of the face (30) of living persons (3) whose position in the environment (1) is known, for example the person ( 3) is seated on a seat (4) in the middle (1).

Dans un autre mode de réalisation de l’invention, le système de prises de vues est agencé pour prendre des clichés représentant une scène plus large que le visage (30) des personnes (3) évoluant dans le milieu (1).In another embodiment of the invention, the camera system is arranged to take shots representing a scene larger than the face (30) of the people (3) moving in the environment (1).

De manière connue en soi, le système de prises de vues ou caméra (2), comporte au moins un processeur (21), par exemple un Cypress CYUSB3065-BZXI doté d’une mémoire volatile interne (211) pouvant être initialisée par exemple au moyen d’une connexion USB (26) et d’un ordinateur personnel ou « PC » (27). Le code programme (210) nécessaire au fonctionnement du processeur (21) est ici exécuté à partir de la mémoire (211). Une mémoire non-volatile (23) peut être connectée au processeur (21) pour mémoriser des informations supplémentaires comme des paramètres de fonctionnement de la caméra (temps d’exposition , gain, résolution entre autres exemples non restrictifs), le code programme (210) lorsque le fonctionnement du processeur (21) choisi le nécessite. De même, une mémoire volatile (25) supplémentaire peut être connectée au processeur (21) lorsque le fonctionnement du processeur (21) choisi et/ou son code programme (210) le nécessite.In a manner known per se, the shooting system or camera (2) comprises at least one processor (21), for example a Cypress CYUSB3065-BZXI equipped with an internal volatile memory (211) which can be initialized for example at means of a USB connection (26) and a personal computer or "PC" (27). The program code (210) necessary for the operation of the processor (21) is here executed from the memory (211). A non-volatile memory (23) can be connected to the processor (21) to store additional information such as camera operating parameters (exposure time, gain, resolution among other non-restrictive examples), program code (210 ) when the operation of the chosen processor (21) requires it. Similarly, an additional volatile memory (25) can be connected to the processor (21) when the operation of the chosen processor (21) and/or its program code (210) requires it.

La caméra (2) comporte également un capteur d’imagerie thermique (22) sensible dans le domaine infrarouge thermique, pour des longueurs d’ondes comprises entre 4000 nm et 15000 nm. Le capteur (22) délivre des images sous la forme de données numériques, appelées données thermiques par la suite et est normalement doté d'une optique (220). Le capteur (22) est relié de manière connue en soi au processeur (21), via une connexion (28), cette connexion pouvant être, par exemple, une connexion parallèle directe entre les broches du processeur (21) et celles du capteur (22) ou une connexion série entre les broches du processeur (21) et celles du capteur (22) comme I2C, SPI, mipi, lvds parmi les exemples de réalisation possibles.The camera (2) also comprises a thermal imaging sensor (22) sensitive in the thermal infrared range, for wavelengths between 4000 nm and 15000 nm. The sensor (22) delivers images in the form of digital data, called thermal data hereafter and is normally provided with an optics (220). The sensor (22) is connected in a manner known per se to the processor (21), via a connection (28), this connection possibly being, for example, a direct parallel connection between the pins of the processor (21) and those of the sensor ( 22) or a serial connection between the pins of the processor (21) and those of the sensor (22) such as I2C, SPI, mipi, lvds among the possible embodiments.

Dans un mode de réalisation selon l’invention, le capteur (22) est un capteur d’imagerie infrarouge thermique Melexis MLX90640ESF-BAB-000 : il comporte une matrice (221) de 32x24 éléments d’image (pixels) et l’optique (220) intégrée au capteur (22) ayant un champ de visée de 55°x40° est donc adaptée à des prises de vue du visage (30).In one embodiment according to the invention, the sensor (22) is a Melexis MLX90640ESF-BAB-000 thermal infrared imaging sensor: it comprises a matrix (221) of 32×24 picture elements (pixels) and the optical (220) integrated into the sensor (22) having a field of view of 55°×40° is therefore suitable for shots of the face (30).

Dans un autre mode de réalisation selon l’invention, le capteur (22) est un capteur d’imagerie infrarouge thermique Melexis MLX90640ESF-BAA-000 : il comporte une matrice (221) de 32x24 pixels et l’optique (220) intégrée au capteur (22) ayant un champ de visée de 110°x75° est donc adaptée à des prises de vue de la personne (3) évoluant dans le milieu (1).In another embodiment according to the invention, the sensor (22) is a Melexis MLX90640ESF-BAA-000 thermal infrared imaging sensor: it comprises a matrix (221) of 32×24 pixels and the optics (220) integrated into the sensor (22) having a field of view of 110°×75° is therefore suitable for shots of the person (3) moving in the environment (1).

Dans ces deux modes de réalisation, le capteur (22), que ce soit le Melexis MLX90640ESF-BAB-000 ou le Melexis MLX90640ESF-BAA-000, comporte en outre une mémoire, lui permettant ainsi de mémoriser les données thermiques.In these two embodiments, the sensor (22), whether it is the Melexis MLX90640ESF-BAB-000 or the Melexis MLX90640ESF-BAA-000, further comprises a memory, thus enabling it to memorize the thermal data.

Le code programme (210) du processeur (21) peut alors utiliser la connexion (28) pour relire cette mémoire du capteur (22) de manière différée dans le temps, et de la sorte, le processeur (21) requiert une durée de traitement beaucoup plus faible par rapport à celle que nécessiterait une lecture en temps réel des données thermiques.The program code (210) of the processor (21) can then use the connection (28) to reread this memory of the sensor (22) in a deferred manner in time, and in this way, the processor (21) requires a processing time much lower than that required for real-time reading of thermal data.

En effet, le code programme (210) du processeur (21) peut demander la lecture de la mémoire du capteur (22) à n’importe quel instant dès lors que des données thermiques sont mémorisées et le processeur (21) reste totalement maître de cet instant et du rythme d’envoi de cette demande de lecture.Indeed, the program code (210) of the processor (21) can request the reading of the memory of the sensor (22) at any time when thermal data is stored and the processor (21) remains completely in control of this instant and the rate at which this read request is sent.

Au contraire, si la lecture des données thermiques est effectuée en temps réel, alors le processeur (21) est totalement esclave du capteur (22) et doit traiter en permanence les données thermiques transmises par ledit capteur (22) afin que ces données thermiques ne soient pas corrompues : le processeur (21) est alors interrompu régulièrement et doit traiter le plus rapidement possible ces données thermiques ce qui diminue le temps disponible à l’exécution du code programme (210).On the contrary, if the reading of the thermal data is carried out in real time, then the processor (21) is completely a slave of the sensor (22) and must permanently process the thermal data transmitted by said sensor (22) so that these thermal data do not are not corrupted: the processor (21) is then interrupted regularly and must process this thermal data as quickly as possible, which reduces the time available for the execution of the program code (210).

Enfin, dans un mode particulier de réalisation, une connexion (28) de type I2C série, utilise seulement deux broches du processeur (21) pour communiquer avec le capteur (22) et ledit processeur (21) n’utilise donc pas ses broches dédiées à une transmission de signaux vidéo, comme des broches mipi entre autres exemples, pour cette connexion (28).Finally, in a particular embodiment, a serial I2C type connection (28) uses only two pins of the processor (21) to communicate with the sensor (22) and said processor (21) therefore does not use its dedicated pins. to a transmission of video signals, such as mipi pins among other examples, for this connection (28).

Dès lors, le processeur (21) peut à la fois être de coût moindre qu’un processeur qui disposerait de deux ensembles de broches dédiées à la transmission de signaux vidéo issus de deux capteurs d’imagerie différents et utiliser avantageusement un unique ensemble de broches dédiées à la transmission de signaux vidéo pour communiquer avec un autre capteur d’imagerie que le capteur d’imagerie thermique.Consequently, the processor (21) can both be of lower cost than a processor which would have two sets of pins dedicated to the transmission of video signals from two different imaging sensors and advantageously use a single set of pins dedicated to the transmission of video signals to communicate with an imaging sensor other than the thermal imaging sensor.

Ainsi, la caméra (2) peut également comporter un autre capteur d’imagerie (24), notamment sensible dans le domaine visible. Le capteur (24) délivre des images sous la forme de données numériques, appelées données visibles par la suite et est normalement doté d'une optique (240). De manière connue en soi, le capteur (24) est relié au processeur (21), par exemple via une connexion parallèle directe, ou via une connexion série comme I2C, SPI, mipi, lvds parmi les exemples de réalisation possibles.Thus, the camera (2) can also include another imaging sensor (24), in particular sensitive in the visible range. The sensor (24) delivers images in the form of digital data, called visible data hereafter and is normally equipped with an optics (240). In a manner known per se, the sensor (24) is connected to the processor (21), for example via a direct parallel connection, or via a serial connection such as I2C, SPI, mipi, lvds among the possible embodiments.

Le capteur d'images (24) est par exemple un composant Omnivision OV5645 (241) délivrant des images d’une résolution jusque 2592x1944 éléments d’image ou pixels sous la forme de données numériques, et normalement doté d'une optique (240), par exemple à monture M12, adaptée à la taille dudit capteur.The image sensor (24) is for example an Omnivision OV5645 component (241) delivering images with a resolution of up to 2592x1944 picture elements or pixels in the form of digital data, and normally equipped with an optic (240) , for example with an M12 mount, adapted to the size of said sensor.

Dans un mode de réalisation selon l’invention, l’optique (240) est choisie de manière à visualiser un champ de visée adapté à des prises de vues du visage (30) : par exemple, une optique M12 Sunex DSL945D-650-F.25, compatible avec le composant (241) Omnivision OV5645 et dont le champ de visée horizontal est de 55°.In one embodiment according to the invention, the optics (240) is chosen so as to visualize a field of view adapted to shots of the face (30): for example, a Sunex DSL945D-650-F M12 optic .25, compatible with the component (241) Omnivision OV5645 and whose horizontal field of view is 55°.

Dans un autre mode de réalisation selon l’invention, l’optique (240) est choisie de manière à visualiser un champ de visée adapté à des prises de vues de la personne (3) évoluant dans le milieu (1) : par exemple, une optique M12 Sunex DSL377A-650-F2.8, compatible avec le composant (241) Omnivision OV5645 et dont le champ de visée horizontal est de 113°.In another embodiment according to the invention, the optics (240) is chosen so as to display a field of view adapted to shots of the person (3) moving in the environment (1): for example, a Sunex DSL377A-650-F2.8 M12 lens, compatible with the (241) Omnivision OV5645 component and whose horizontal field of view is 113°.

Dans un mode particulier de réalisation selon l’invention, les instants d’acquisition du capteur (22) et du capteur (24) sont décalés temporellement entre eux d’une valeur de dt secondes, dt étant une valeur réelle par exemple comprise entre -10 secondes et +10 secondes , une valeur de dt positive signifiant que les données thermiques sont acquises avant les données visibles alors qu’une valeur de dt positive signifiant que les données visibles sont acquises avant les données thermiques.In a particular embodiment according to the invention, the instants of acquisition of the sensor (22) and of the sensor (24) are offset in time between them by a value of dt seconds, dt being a real value for example comprised between - 10 seconds and +10 seconds, a positive dt value meaning thermal data is acquired before visible data while a positive dt value meaning visible data is acquired before thermal data.

Dès lors, le procédé est encore plus difficile à tromper par la présentation d’images falsifiées, le falsificateur ne pouvant déterminer à quel moment présenter ces images en raison de ce décalage dt, cette valeur dt pouvant être elle-même aléatoire par l’utilisation dans le code programme (210) d’un générateur de nombres aléatoires, connu en soit, par exemple un générateur congruentiel linéaire de Lehmer.Consequently, the method is even more difficult to deceive by the presentation of falsified images, the falsifier not being able to determine at what moment to present these images because of this shift dt, this value dt possibly being itself random by the use in the program code (210) of a random number generator, known per se, for example a Lehmer linear congruent generator.

Dans un autre mode de réalisation particulier selon l’invention, la caméra (2) comporte un autre capteur d’images, de préférence identique au capteur d’images (24).In another particular embodiment according to the invention, the camera (2) comprises another image sensor, preferably identical to the image sensor (24).

En utilisant, par exemple, les procédés décrits dans le document Foundations and Trends in Computer Graphics and Vision, Vol. 4, No. 4 (2008) p 287–404 par T. Moons, L. Van Gool and M. Vergauwen, les données d’images visibles issues du capteur (24) et les données d’images visibles issues de ce capteur d’images supplémentaires peuvent être combinées par l’ordinateur (27) qui réalise alors une opération de reconstruction en 3 dimensions du milieu (1).Using, for example, the methods described in Foundations and Trends in Computer Graphics and Vision, Vol. 4, No. 4 (2008) p 287–404 by T. Moons, L. Van Gool and M. Vergauwen, the visible image data from the sensor (24) and the visible image data from this sensor d The additional images can be combined by the computer (27) which then performs a 3-dimensional reconstruction operation of the medium (1).

Des informations supplémentaires, comme une estimation du volume de la tête de la personne (3), directement accessible par cette opération de reconstruction en 3 dimensions, peuvent alors être exploitées par l’ordinateur (27), excluant la possibilité pour un falsificateur de présenter des images planes.Additional information, such as an estimate of the volume of the person's head (3), directly accessible by this 3-dimensional reconstruction operation, can then be exploited by the computer (27), excluding the possibility for a forger to present flat images.

Lorsque le processeur (21) ne possède pas suffisamment de broches pour connecter simultanément deux capteurs d’images comme le capteur d’images (24), un composant électronique supplémentaire est inséré entre les différents capteurs d’images et le processeur (21).When the processor (21) does not have enough pins to simultaneously connect two image sensors such as the image sensor (24), an additional electronic component is inserted between the various image sensors and the processor (21).

Ce composant électronique supplémentaire peut, par exemple être, un composant programmable (FPGA) comme un Lattice LIF-MD6000-6MG81I, d’un coût de l’ordre de 10 €, doté de la fonctionnalité dédiée « Crosslink » permettant de relier 2 voire 4 capteurs d’images comme le capteur d’images (24) à un seul processeur (21).This additional electronic component can, for example, be a programmable component (FPGA) such as a Lattice LIF-MD6000-6MG81I, costing around 10 €, equipped with the dedicated "Crosslink" functionality making it possible to connect 2 or even 4 image sensors such as the image sensor (24) with a single processor (21).

Une mémoire de type série SPI comme une Adesto AT45DB321D, pouvant être programmée dans une étape préalable à la réalisation du procédé selon tout mode connu en soi, par exemple à l’aide d’un programmateur EETools TopMax2, et contenant un code programme doté de la fonctionnalité « Crosslink » est alors présent sur la caméra et reliée au composant programmable grâce à leurs broches dédiées à cet usage.An SPI serial type memory such as an Adesto AT45DB321D, which can be programmed in a step prior to carrying out the method according to any mode known per se, for example using an EETools TopMax2 programmer, and containing a program code equipped with the "Crosslink" functionality is then present on the camera and connected to the programmable component thanks to their pins dedicated to this use.

Par ailleurs, lorsque le capteur d’images (24) utilisé est notamment de type imageur CMOS, alors ce capteur (24) peut être également sensible dans le domaine infrarouge proche, typiquement défini ici par des longueurs d’ondes de 700 nm à 1000 nm.Furthermore, when the image sensor (24) used is in particular of the CMOS imager type, then this sensor (24) can also be sensitive in the near infrared range, typically defined here by wavelengths from 700 nm to 1000 n.

Or, pour le composant Omnivision OV5645, avec des longueurs d’ondes comprises entre 800 nm et 1000 nm, tous les éléments d’image du composant ont une réponse sensiblement identique et, dès lors, ce composant a un comportement de capteur d’images en niveaux de gris, ce qui implique pour ces longueurs d’onde une réponse essentiellement en luminance.However, for the Omnivision OV5645 component, with wavelengths between 800 nm and 1000 nm, all the image elements of the component have a substantially identical response and, therefore, this component has an image sensor behavior in gray levels, which implies for these wavelengths a response essentially in luminance.

En pratique, pour que le capteur (24) ait une réponse dans le seul domaine visible, dont les longueurs d’ondes sont typiquement comprises entre 400 nm et 700 nm, l’optique (240) ou la monture M12 contient un filtre optique passe-bande.In practice, for the sensor (24) to have a response in the visible range only, the wavelengths of which are typically between 400 nm and 700 nm, the optics (240) or the M12 mount contains an optical pass filter -bandaged.

Dans un premier exemple de réalisation, une monture M12 de type FLIR ACC-01-5001 contient elle-même le filtre optique passe-bande.In a first exemplary embodiment, an M12 mount of the FLIR ACC-01-5001 type itself contains the optical band-pass filter.

Dans un second exemple de réalisation, les optiques (241) Sunex DSL945D-650-F2.5 et DSL377A-650-F2.8 peuvent être commandées chez leur fabricant avec un traitement optique intégrant le filtre optique passe-bande.In a second exemplary embodiment, the Sunex DSL945D-650-F2.5 and DSL377A-650-F2.8 optics (241) can be ordered from their manufacturer with optical processing incorporating the optical band-pass filter.

Dans un autre mode particulier de réalisation selon l’invention, plusieurs filtres différents, passe-bande ou autre, peuvent être placés devant le composant (241) en cours de fonctionnement : par exemple, en utilisant une monture M12 conçue à cet effet.In another particular embodiment according to the invention, several different filters, band-pass or otherwise, can be placed in front of the component (241) during operation: for example, by using an M12 mount designed for this purpose.

Ainsi, une monture M12 Scorpion Vision Limited BR-M12 peut contenir plusieurs filtres, soit, un premier filtre passe-bande visible et un second filtre passe-bande infrarouge proche, la sélection s’effectuant alors par une commande électronique reliée au processeur (21) via une de ses broches d’interface à usage général (GPIO).Thus, an M12 Scorpion Vision Limited BR-M12 frame can contain several filters, i.e. a first visible bandpass filter and a second near infrared bandpass filter, the selection then being made by an electronic control connected to the processor (21 ) via one of its general purpose interface (GPIO) pins.

Dans ce mode particulier de réalisation, si le second filtre passe-bande est activé par le processeur (21) et la bande de fréquences optiques sélectionnée par ledit filtre correspond au fonctionnement du capteur d’images (241) en niveaux de gris, le capteur (24) délivre alors des images dans le domaine spectral infrarouge proche sous la forme de données numériques, appelées données infrarouge proche par la suite.In this particular embodiment, if the second band-pass filter is activated by the processor (21) and the band of optical frequencies selected by said filter corresponds to the operation of the image sensor (241) in gray levels, the sensor (24) then delivers images in the near infrared spectral domain in the form of digital data, called near infrared data hereafter.

Ces données infrarouge proche ont, par construction, la même définition que les données visibles.These near infrared data have, by construction, the same definition as the visible data.

Dans un mode préféré de réalisation selon l’invention, le processeur (21) communique les données thermiques et les données visibles et/ou données infrarouge proche au processeur principal (271) de l’ordinateur (27) au moyen de la connexion USB (26).In a preferred embodiment according to the invention, the processor (21) communicates the thermal data and the visible data and/or near infrared data to the main processor (271) of the computer (27) by means of the USB connection ( 26).

Dans un autre mode de réalisation selon l’invention, le processeur (21) communique à l’ordinateur (27) les données thermiques et les données visibles et/ou données infrarouge proche au moyen d’une connexion filaire ou sans fil : Ethernet, WiFi, Bluetooth, Zigbee ou par tout autre connexion filaire ou sans fil connue en soi.In another embodiment according to the invention, the processor (21) communicates to the computer (27) the thermal data and the visible data and/or near infrared data by means of a wired or wireless connection: Ethernet, WiFi, Bluetooth, Zigbee or by any other wired or wireless connection known per se.

Dans un autre mode de réalisation selon l’invention, le processeur (21) lui-même est programmé pour effectuer le traitement des données thermiques et des données visibles et/ou données infrarouge proche.In another embodiment according to the invention, the processor (21) itself is programmed to perform the processing of thermal data and visible data and/or near infrared data.

On décrit maintenant un réseau de neurones (270) mis en place pour l’invention comme la constitution d’une ou plusieurs couches de neurones interconnectées entre elles.We now describe a neural network (270) set up for the invention as the constitution of one or more layers of interconnected neurons.

A un neurone est associée une fonction de transfert appelée par la suite poids synaptique entre toutes ses entrées et sa sortie.A neuron is associated with a transfer function subsequently called synaptic weight between all its inputs and its output.

Une couche de neurones représente la juxtaposition de plusieurs neurones partageant les mêmes entrées, chacun ayant donc son propre poids synaptique et sa propre sortie.A layer of neurons represents the juxtaposition of several neurons sharing the same inputs, each therefore having its own synaptic weight and its own output.

Chaque neurone d’une couche peut ainsi être connecté à un ou plusieurs neurones d’une ou plusieurs couches précédentes, la dernière couche étant la « couche de sortie » du réseau de neurones (270), soit dans le mode de réalisation selon l’invention, une grandeur représentative de la probabilité de présence notée PR d’une personne (3) vivante dans le milieu (1).Each neuron of a layer can thus be connected to one or more neurons of one or more previous layers, the last layer being the "output layer" of the neural network (270), either in the embodiment according to invention, a quantity representative of the probability of presence denoted PR of a living person (3) in the environment (1).

Les poids synaptiques du réseau de neurones (270) caractérisent donc son fonctionnement et les valeurs optimales de ces poids sont déterminés lors d’une étape antérieure à la mise en œuvre du procédé selon l’invention, appelée apprentissage.The synaptic weights of the neural network (270) therefore characterize its operation and the optimal values of these weights are determined during a step prior to the implementation of the method according to the invention, called learning.

Les poids synaptiques ont une valeur réelle, non bornée.Synaptic weights have a real, unbounded value.

Dans un mode préféré de réalisation de l’invention, le réseau de neurones (270) utilisé par le procédé selon l’invention est un réseau de neurones à convolutions qui, par définition, est constitué d’au moins une couche de convolution, d’au moins une couche de sous-échantillonnage communément appelée couche de « Pooling » et d’au moins une couche complètement connectée dont chacun des fonctionnements va être explicité.In a preferred embodiment of the invention, the neural network (270) used by the method according to the invention is a convolutional neural network which, by definition, consists of at least one convolution layer, at least one sub-sampling layer commonly called “Pooling” layer and at least one completely connected layer, each of whose operations will be explained.

Une sortie de chaque couche du réseau de neurones (270) est réalisée par l’ensemble des sorties des neurones composant ladite couche et est appelée par la suite carte de sortie.An output of each layer of the neural network (270) is produced by all the outputs of the neurons composing said layer and is subsequently called an output map.

De manière analogue, la carte d’entrée d’une couche peut soit être la carte de sortie d’une couche précédente ou tout ou partie des signaux à traiter par le réseau de neurones (270).Similarly, the input map of a layer can either be the output map of a previous layer or all or part of the signals to be processed by the neural network (270).

Dans un mode de réalisation préféré selon l’invention, la carte d’entrée du réseau de neurones (270) est constituée par les seules données thermiques sur lesquelles est appliquée une étape de normalisation par le processeur (271), connue en soit, afin que ces données thermiques varient sur une plage [Va_min,Va_max] ; Va_minreprésentant la température la plus basse et Va_maxla température la plus élevée. Par exemple, si le milieu (1) se situe à l’intérieur d’un bâtiment, Va_minpeut représenter une température relevée par un élément du capteur (22) de 15°C ou moins et Va_maxreprésenter une température relevée par un élément du capteur (22) de 40°C et plus et on peut alors utiliser mathématiquement une fonction affine pour réaliser cette étape de normalisation.In a preferred embodiment according to the invention, the input map of the neural network (270) is constituted by the only thermal data on which is applied a standardization step by the processor (271), known per se, in order to that these thermal data vary over a range [Va _min ,Va _max ]; Va _min representing the lowest temperature and Va _max the highest temperature. For example, if the environment (1) is located inside a building, Va _min can represent a temperature detected by an element of the sensor (22) of 15° C. or less and Va _max represent a temperature detected by a element of the sensor (22) of 40° C. and more and an affine function can then be used mathematically to carry out this normalization step.

Dans un mode de réalisation selon l’invention, le procédé utilise un ensemble de valeurs Va_{min ,} Va_max comme : Va_min= 0 et Va_max = 1.In one embodiment according to the invention, the method uses a set of values Va_{min ,} Goes_max How are you_min= 0 and Go_max = 1.

Dans un autre mode de réalisation selon l’invention, le procédé utilise un ensemble de valeurs Va_{min ,} Va_max comme : Va_min= -0,5 et Va_max = +0,5.In another embodiment according to the invention, the method uses a set of values Va_{min ,} Goes_max How are you_min= -0.5 and Va_max = +0.5.

Dans un autre mode de réalisation selon l’invention, la couche d’entrée du réseau de neurones (270) est complétée par les données visibles et/ou les données infrarouge proche sur lesquelles est appliquée une étape de normalisation par le processeur (271), connue en soit, afin que ces données visibles et/ou données infrarouge proche varient sur une plage de [Vb_min,Vb_max] ; Vb_minreprésentant la plus petite valeur observable par le capteur (24) et Vb_maxreprésentant la plus grande valeur observable par le capteur (24). Par exemple, si les données visibles et/ou données infrarouge proche varient sur une plage dynamique de un octet soit [0,255] alors une fonction affine permet, là encore, de réaliser mathématiquement l’étape de normalisation.In another embodiment according to the invention, the input layer of the neural network (270) is completed by the visible data and/or the near infrared data on which a normalization step is applied by the processor (271) , known per se, so that these visible data and/or near infrared data vary over a range of [Vb _min , Vb _max ]; Vb _min representing the smallest value observable by the sensor (24) and Vb _max representing the largest value observable by the sensor (24). For example, if the visible data and/or near infrared data vary over a dynamic range of one byte, ie [0.255], then an affine function makes it possible, here again, to carry out the normalization step mathematically.

Dans un mode de réalisation selon l’invention le procédé utilise un ensemble de valeurs Vb_{min ,} Vb_max comme : Vb_min= 0 et Vb_max = 1.In one embodiment according to the invention, the method uses a set of values Vb_{min ,} vb_max like: Vb_min= 0 and Vb_max = 1.

Dans un autre mode de réalisation selon l’invention le procédé utilise un ensemble de valeurs Vb_{min ,} Vb_max comme : Vb_min= -0,5 et Vb_max = +0,5.In another embodiment according to the invention, the method uses a set of values Vb_{min ,} vb_max like: Vb_min= -0.5 and Vb_max = +0.5.

Usuellement, le procédé utilise préférentiellement des valeurs telles que : Va_min= Vb_minet Va_max= Vb_maxet de la sorte, la partie de la carte d’entrée correspondant aux données thermiques et la partie de la carte d’entrée correspondant aux données visibles et/ou données infrarouge proche ont la même dynamique.Usually, the method preferably uses values such as: Va _min = Vb _min and Va _max = Vb _max and in this way, the part of the input card corresponding to the thermal data and the part of the input card corresponding to the visible data and/or near infrared data have the same dynamics.

Dans un mode de réalisation particulier, il est utile d’insérer une étape de redimensionnement des données visibles et/ou données infrarouge proche pour qu’elles aient les mêmes dimensions que les données thermiques : dans notre exemple de réalisation les données thermiques représentent une matrice de 32x24 éléments alors que les données visibles et/ou données infrarouge proche représentent une matrice de 2592x1944 éléments. Pour effectuer cette transformation de 2592x1944 à 32x24 éléments, le processeur (271) applique par exemple un sous-échantillonnage ; le plus simple étant d’utiliser un procédé mathématique consistant par exemple à sélectionner une valeur toutes les n valeurs, n étant un nombre entier par exemple n=81, dans la dimension horizontale de la matrice des données visibles et/ou des données infrarouge proche et une valeur toutes les p valeurs, p étant un nombre entier par exemple p=66, dans la dimension verticale de la matrice des données visibles et/ou des données infrarouge proche afin de former une nouvelle matrice de données visibles et/ou données infrarouge proche comprenant 32x24 éléments pour la matrice des données visibles et/ou 32x24 éléments pour la matrice des données infrarouge proche.In a particular embodiment, it is useful to insert a step for resizing the visible data and/or near infrared data so that they have the same dimensions as the thermal data: in our example embodiment, the thermal data represent a matrix of 32x24 elements whereas the visible data and/or near infrared data represent a matrix of 2592x1944 elements. To perform this transformation from 2592×1944 to 32×24 elements, the processor (271) applies for example a sub-sampling; the simplest being to use a mathematical process consisting for example in selecting a value every n values, n being an integer for example n=81, in the horizontal dimension of the matrix of visible data and/or near infrared data and a value every p values, p being an integer for example p=66, in the vertical dimension of the matrix of visible data and/or near infrared data in order to form a new matrix of visible data and/or infrared data near infrared comprising 32x24 elements for the visible data matrix and/or 32x24 elements for the near infrared data matrix.

Quel que soit le mode de réalisation selon l’invention choisi décrit précédemment, la carte d’entrée (2700) du réseau de neurones (270) est constituée d’un ensemble matriciel à deux dimensions : dans notre exemple de réalisation, une première matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs comprises entre [Va_min,Va_max] représentant les données thermiques, une seconde matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs comprises entre [Vb_min,Vb_max] représentant s’il y a lieu les données visibles et/ou une autre matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs à nouveau comprises entre [Vb_min,Vb_max] par construction représentant, s’il y a lieu, les données infrarouge proche.Whatever the embodiment according to the invention chosen described previously, the input map (2700) of the neural network (270) consists of a two-dimensional matrix set: in our example embodiment, a first matrix of 32x24 elements where each of the elements has a range of values between [Va _min ,Va _max ] representing the thermal data, a second matrix of 32x24 elements where each of the elements has a range of values between [Vb _min ,Vb _max ] representing if necessary the visible data and/or another matrix of 32x24 elements where each of the elements has a range of values again between [Vb _min ,Vb _max ] by construction representing, if necessary, near infrared data.

Dans le mode de réalisation préféré selon l’invention, les dimensions matricielles hxv de la carte d’entrée représentant les données thermiques et les données visibles et/ou les données infrarouge proche du réseau de neurones (270) sont h nombre entier = 32 et v nombre entier = 24.In the preferred embodiment of the invention, the matrix dimensions hxv of the input map representing the thermal data and the visible data and/or the near infrared data of the neural network (270) are h integer = 32 and v whole number = 24.

Il va de soit que si les dimensions hxv des matrices des capteurs (22) sont différentes de celles présentées dans les exemples de réalisation selon l’invention, alors l’homme de l’art utilise de nouvelles tailles matricielles pour la carte d’entrée correspondant à ces nouvelles dimensions de matrices.It goes without saying that if the dimensions hxv of the matrixes of the sensors (22) are different from those presented in the exemplary embodiments according to the invention, then the person skilled in the art uses new matrix sizes for the input card corresponding to these new matrix dimensions.

En sortie de l’étape précédente du procédé selon l’invention, la carte d’entrée (2700) du réseau de neurones (270) est ainsi représentée mathématiquement sous la forme de matrices I(z)_h,v, z étant un nombre entier valant 0 pour les données thermiques, 1 pour les données visibles et/ou 2 lorsque les données infrarouge proche sont utilisées dans un mode particulier de réalisation selon l’invention.At the output of the previous step of the method according to the invention, the input map (2700) of the neural network (270) is thus represented mathematically in the form of matrices I(z) _h,v , z being a number integer equal to 0 for the thermal data, 1 for the visible data and/or 2 when the near infrared data are used in a particular embodiment according to the invention.

En fonction des options de réalisation, on peut donc avoir entre autres possibilités : , , et pour un fonctionnement du réseau de neurones respectivement à partir des seules données thermiques, données thermiques et données visibles, données thermiques et données infrarouge proche et enfin données thermiques, données visibles et données infrarouge proche.Depending on the implementation options, we can therefore have among other possibilities: , , and for operation of the neural network respectively from only thermal data, thermal data and visible data, thermal data and near infrared data and finally thermal data, visible data and near infrared data.

On explicite désormais le fonctionnement de la première couche de convolution du réseau de neurones (270).We now explain the operation of the first convolution layer of the neural network (270).

La première couche de convolution génère à partir d’un élément constitutif de la carte d’entrée I(z)_h,v une ou plusieurs cartes de sortie (2701) O_i(z), chaque carte de sortie étant définie par une opération de convolution mathématique utilisant un noyau de convolution NC_i(z) de taille (n₁,n₂) comprenant des coefficients NC_i(z,k,l), k étant un nombre entier variant de 1 à n₁et l étant un nombre entier variant de 1 à n₂, ces coefficients NC_i(z,k,l) étant les poids synaptiques, pour cette première couche de convolution, définis lors de l’étape d’apprentissage qui est appliquée aux éléments I(z)_h,v.The first convolution layer generates from a constituent element of the input map I(z)_{H v} one or more output cards (2701) O_I(z), each output map being defined by a mathematical convolution operation using an NC convolution kernel_I(z) of size (n₁,not₂) including NC coefficients_I(z,k,l), k being an integer ranging from 1 to n₁and l being an integer ranging from 1 to n₂, these coefficients NC_I(z,k,l) being the synaptic weights, for this first convolution layer, defined during the learning step which is applied to the elements I(z)_{H v}.

La convolution est, dans le procédé selon l’invention, le processus mathématique consistant à ajouter chaque élément de la carte d’entrée à ses voisins locaux, pondéré par les éléments du noyau.Convolution is, in the method according to the invention, the mathematical process consisting in adding each element of the input map to its local neighbors, weighted by the elements of the kernel.

Dans un mode de réalisation préféré selon l’invention, les noyaux de convolution NC_i(z) sont de taille 3x3, soit n₁= 3 et n₂= 3.In a preferred embodiment according to the invention, the convolution kernels NC _i (z) are of size 3x3, _{i.e. n 1} =3 and n ₂ =3.

Dans un mode de réalisation préféré selon l’invention, la première couche de convolution du réseau de neurones (270) génère 2x4 cartes de sortie O_i(z), avec i nombre entier compris entre 1 et 4, z étant compris entre 0 et 2.In a preferred embodiment according to the invention, the first convolution layer of the neural network (270) generates 2x4 output maps O _i (z), with i integer between 1 and 4, z being between 0 and 2.

Mathématiquement, les valeurs situées à chaque emplacement (x,y) de la carte de sortie O_i(z), avec x nombre entier variant de 1 à h et y nombre entier variant de 1 à v sont représentées par la formule suivante :Mathematically, the values located at each location (x,y) of the output card O _i (z), with x integer varying from 1 to h and y integer varying from 1 to v are represented by the following formula:

où a_fest une fonction mathématique d’activation du neurone,where a _f is a mathematical activation function of the neuron,

B1_i(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la première couche de convolution.B1 _i (z) is defined as a real, unbounded value common to all neurons in the first convolution layer.

Dans un premier exemple de réalisation selon l’invention, la valeur B1_i(z) est nulle.In a first exemplary embodiment according to the invention, the value B1 _i (z) is zero.

Dans un autre exemple de réalisation selon l’invention, la valeur B1_i(z) est déterminée lors de l’étape d’apprentissage.In another exemplary embodiment according to the invention, the value B1 _i (z) is determined during the learning step.

Dans un mode de réalisation préféré de l’invention a_f est la fonction identité.In a preferred embodiment of the invention a_f is the identity function.

Dans un autre mode de réalisation selon l’invention a_fest la fonction mathématique tangente hyperbolique.In another embodiment according to the invention a _f is the hyperbolic tangent mathematical function.

Dans un autre mode de réalisation selon l’invention a_fest la fonction mathématique suivante :In another embodiment according to the invention a _f is the following mathematical function:

L’étape suivante du procédé selon l’invention est réalisée par une première couche de « Pooling » du réseau de neurones (270).The next step of the method according to the invention is carried out by a first layer of "Pooling" of the neural network (270).

La carte d’entrée de cette couche de Pooling P₁est constituée des cartes de sortie O_i(z) générées à l’étape précédente.The input map of this Pooling layer P ₁ consists of the output maps O _i (z) generated in the previous step.

Les cartes de sorties (2702) OP_i(z) sont générées à partir des cartes O_i(z) par les opérations de sous-échantillonnage mathématiques dit « Max Pooling », explicités par la formule suivante :The output maps (2702) OP _i (z) are generated from the maps O _i (z) by mathematical sub-sampling operations called “Max Pooling”, explained by the following formula:

où est l’ensemble des nombre entiersor is the set of integers

est un nombre entier variant de 1 à , is an integer ranging from 1 to ,

est un nombre entier variant de 1 à , is an integer ranging from 1 to ,

et b_fest la fonction d’activation de cette étape,and b _f is the activation function of this step,

B2_i(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la première couche de Pooling.B2 _i (z) is defined as a real, unbounded value, common to all the neurons of the first Pooling layer.

Dans un premier exemple de réalisation selon l’invention, la valeur B2_i(z) est nulle.In a first exemplary embodiment according to the invention, the value B2 _i (z) is zero.

Dans un autre exemple de réalisation selon l’invention, la valeur B2_i(z) est déterminée lors de l’étape d’apprentissage.In another exemplary embodiment according to the invention, the value B2 _i (z) is determined during the learning step.

Dans un mode de réalisation préféré selon l’invention, les poids synaptiques de cette étape sont tous unitaires et la fonction d’activation b_fest la fonction mathématique suivante :In a preferred embodiment according to the invention, the synaptic weights of this step are all unitary and the activation function b _f is the following mathematical function:

En sortie de cette couche de Pooling P₁, les matrices représentant les cartes de sorties OP_i(z) comprennent donc deux fois moins de lignes et deux fois moins de colonnes que les cartes de sortie O_i(z) de l’étape de convolution précédente.At the output of this Pooling layer P ₁ , the matrices representing the output maps OP _i (z) therefore comprise half as many rows and half as many columns as the output maps O _i (z) of the step of previous convolution.

L’étape suivante du procédé selon l’invention est réalisée par une seconde couche de convolution notée R du réseau de neurones (270).The next step of the method according to the invention is carried out by a second convolution layer denoted R of the neural network (270).

La carte d’entrée de cette nouvelle couche de convolution R est constituée des cartes de sortie OP_i(z) générées à l’étape précédente.The input map of this new convolution layer R consists of the output maps OP _i (z) generated in the previous step.

La seconde couche de convolution génère à partir d’un élément constitutif de la carte d’entrée OP_i(z)_h/2,v/2une ou plusieurs cartes de sortie (2703) R_j(z), j étant un nombre entier supérieur ou égal à 1, chaque carte de sortie étant définie par une opération de convolution mathématique utilisant un noyau de convolution ND_j(z) de taille (p₁,p₂) comprenant des coefficients Nd_j(z,k’,l’), k’ étant un nombre entier variant de 1 à p₁et l’ étant un nombre entier variant de 1 à p₂, ces coefficients Nd_j(z,k’,l’) étant les poids synaptiques, pour cette seconde couche de convolution, définis lors de l’étape d’apprentissage qui est appliquée aux éléments OP_i(z)_h/2,v/2.The second convolution layer generates from a constituent element of the input map OP _i (z) _h/2,v/2 one or more output maps (2703) R _j (z), j being a number integer greater than or equal to 1, each output map being defined by a mathematical convolution operation using a convolution kernel ND _j (z) of size (p ₁ ,p ₂ ) comprising coefficients Nd _j (z,k',l '), k' being an integer varying from 1 to p ₁ and l' being an integer varying from 1 to p ₂ , these coefficients Nd _j (z,k',l') being the synaptic weights, for this second convolution layer, defined during the learning step which is applied to the elements OP _i (z) _h/2,v/2 .

Dans un mode préféré de réalisation selon l’invention, on utilise p₁= n₁et p₂= n₂pour la taille des noyaux de convolution ND_j(z) et le procédé génère j= 2i cartes de sorties R_j(z).In a preferred embodiment according to the invention, p ₁ = n ₁ and p ₂ = n _{2 are used} for the size of the convolution kernels ND _j (z) and the method generates j= 2i output maps R _j (z ).

Mathématiquement, les valeurs situées à chaque emplacement (x’’,y’’) de la carte de sortie R_j(z), avec x’’ nombre entier variant de 1 à h/2 et y’’ nombre entier variant de 1 à v/2 sont représentées par la formule suivante :Mathematically, the values located at each location (x'',y'') of the output map R _j (z), with x'' integer varying from 1 to h/2 and y'' integer varying from 1 at v/2 are represented by the following formula:

où c_fest une fonction mathématique d’activation du neurone,where c _f is a mathematical activation function of the neuron,

B3_j(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la seconde couche de convolution.B3 _j (z) is defined as a real, unbounded value common to all neurons in the second convolution layer.

Dans un premier exemple de réalisation selon l’invention, la valeur B3_j(z) est nulle.In a first exemplary embodiment according to the invention, the value B3 _j (z) is zero.

Dans un autre exemple de réalisation selon l’invention, la valeur B3_j(z) est déterminée lors de l’étape d’apprentissage.In another exemplary embodiment according to the invention, the value B3 _j (z) is determined during the learning step.

Dans un mode de réalisation préféré de l’invention c_f est la fonction identité.In a preferred embodiment of the invention c_f is the identity function.

Dans un autre mode de réalisation selon l’invention c_fest la fonction mathématique tangente hyperbolique.In another embodiment according to the invention c _f is the hyperbolic tangent mathematical function.

Dans un autre mode de réalisation selon l’invention c_fest la fonction mathématique suivante :In another embodiment according to the invention c _f is the following mathematical function:

L’étape suivante du procédé selon l’invention est réalisée par une seconde couche de « Pooling » du réseau de neurones (270).The next step of the method according to the invention is carried out by a second layer of "Pooling" of the neural network (270).

La carte d’entrée de cette couche de Pooling P₂est constituée des cartes de sortie R_j(z) générées à l’étape précédente.The input map of this Pooling layer P ₂ consists of the output maps R _j (z) generated in the previous step.

Les cartes de sorties (2704) RP_j(z) sont générées à partir des cartes R_j(z) par les opérations de sous-échantillonnage mathématiques dit « Max Pooling », explicités par la formule suivante :The output maps (2704) RP _j (z) are generated from the maps R _j (z) by mathematical sub-sampling operations called “Max Pooling”, explained by the following formula:

où est l’ensemble des nombre entiersor is the set of integers

est un nombre entier variant de 1 à , is an integer ranging from 1 to ,

est un nombre entier variant de 1 à , is an integer ranging from 1 to ,

et d_fest la fonction d’activation de cette étape,and d _f is the activation function of this step,

B4_j(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la seconde couche de Pooling.B4 _j (z) is defined as a real, unbounded value, common to all the neurons of the second Pooling layer.

Dans un premier exemple de réalisation selon l’invention, la valeur B4_j(z) est nulle.In a first exemplary embodiment according to the invention, the value B4 _j (z) is zero.

Dans un autre exemple de réalisation selon l’invention, la valeur B4_j(z) est déterminée lors de l’étape d’apprentissage.In another exemplary embodiment according to the invention, the value B4 _j (z) is determined during the learning step.

Dans un mode de réalisation préféré selon l’invention, les poids synaptiques de cette étape sont tous unitaires et la fonction d’activation d_fest la fonction mathématique suivante :In a preferred embodiment according to the invention, the synaptic weights of this step are all unitary and the activation function d _f is the following mathematical function:

En sortie de cette couche de Pooling P₂, les matrices représentant les cartes de sorties RP_j(z) comprennent donc deux fois moins de lignes et deux fois moins de colonnes que les cartes de sortie R_j(z) de l’étape de convolution précédente.At the output of this Pooling layer P ₂ , the matrices representing the output maps RP _j (z) therefore comprise half as many rows and half as many columns as the output maps R _j (z) of the step of previous convolution.

L’étape suivante du procédé selon l’invention est réalisée par la couche complètement connectée notée CC (2704) du réseau de neurones (270).The next step of the method according to the invention is carried out by the completely connected layer denoted CC (2704) of the neural network (270).

La carte d’entrée de cette nouvelle couche complètement connectée CC est constituée des cartes de sortie RP_j(z) générées à l’étape précédente.The input map of this new completely connected layer CC consists of the output maps RP _j (z) generated in the previous step.

Dans cette couche CC, un poids synaptique P_sest associé à chacun des éléments des cartes de sortie RP_j(z) avec s nombre entier variant de 1 à et j variant dans le mode préféré de réalisation de 1 à le résultat de sortie PR (2705) du réseau de neurones (270) s’exprimant alors comme :In this CC layer, a synaptic weight P _s is associated with each of the elements of the output cards RP _j (z) with s integer varying from 1 to and j varying in the preferred embodiment from 1 to the output result PR (2705) of the neural network (270) then being expressed as:

où e_fest une fonction mathématique d’activation du neurone,where _ef is a mathematical activation function of the neuron,

B5 est définie comme une valeur réelle, non bornée,B5 is defined as a real, unbounded value,

k étant un nombre entier, au moins égal à 1, représentant le nombre d’éléments de la plage de variation de z.k being an integer, at least equal to 1, representing the number of elements of the variation range of z.

Dans un premier exemple de réalisation selon l’invention, la valeur B5 est nulle.In a first exemplary embodiment according to the invention, the value B5 is zero.

Dans un autre exemple de réalisation selon l’invention, la valeur B5 est déterminée lors de l’étape d’apprentissage.In another exemplary embodiment according to the invention, the value B5 is determined during the learning step.

Dans un mode de réalisation préféré de l’invention e_f est est une fonction mathématique sigmoïde :In a preferred embodiment of the invention e_f is is a sigmoid mathematical function:

La sortie PR du réseau de neurones (270) est ainsi comprise entre 0 et 1, et constitue la grandeur représentative de la probabilité de présence d’une personne (3) vivante dans le milieu (1) estimée par le réseau de neurones (270), c’est-à-dire un premier résultat selon l’invention.The output PR of the neural network (270) is thus between 0 and 1, and constitutes the quantity representative of the probability of the presence of a living person (3) in the environment (1) estimated by the neural network (270 ), that is to say a first result according to the invention.

Toutes les opérations mathématiques à effectuer lors des différentes étapes du procédé selon l’invention relatives au fonctionnement du réseau de neurones (270) étant désormais explicitées, elles sont préférentiellement réalisées par le processeur (271) de l’ordinateur (27), sur un ou plusieurs cœurs de calcul dudit processeur (271) s’il est lui-même constitué de plusieurs de ces cœurs et/ou par un coprocesseur (272) du processeur (271), par des processeurs (2730) de la carte graphique (273) de l’ordinateur (27) ou tout autre élément présent dans l’ordinateur (27) apte à réaliser tout ou partie des opérations de calcul à réaliser lors du fonctionnement du réseau de neurones : processeur de traitement du signal (DSP), composant logique programmable dédié (FPGA), carte d’extension enfichable dans l’ordinateur (27) ou tout autre élément connu en soi apte à effectuer des calculs.All the mathematical operations to be performed during the various steps of the method according to the invention relating to the operation of the neural network (270) now being explained, they are preferably performed by the processor (271) of the computer (27), on a or several calculation cores of said processor (271) if it itself consists of several of these cores and/or by a coprocessor (272) of the processor (271), by processors (2730) of the graphics card (273 ) of the computer (27) or any other element present in the computer (27) capable of carrying out all or part of the calculation operations to be carried out during the operation of the neural network: signal processing processor (DSP), component dedicated programmable logic (FPGA), plug-in expansion card in the computer (27) or any other element known per se capable of performing calculations.

Dans un mode particulier de réalisation de l’invention, ces opérations de calcul réalisées par le réseau de neurones sont effectuées par le processeur (21) de la caméra lui-même, ledit processeur communiquant le résultat de calcul PR à l’ordinateur (27) par exemple à l’aide de la connexion USB (26) ou par tout moyen filaire ou non filaire de connexion entre ce processeur (21) et l’ordinateur (27).In a particular embodiment of the invention, these calculation operations carried out by the neural network are carried out by the processor (21) of the camera itself, said processor communicating the calculation result PR to the computer (27 ) for example using the USB connection (26) or by any wired or wireless means of connection between this processor (21) and the computer (27).

L’apprentissage du réseau de neurones (270) peut être réalisé à l’aide d’une base d’apprentissage, constituée de données thermiques et de données visibles et/ou données infrarouge proche correspondant à des personnes (3) réelles, préalablement enregistrées sur des supports mémoire connus en soi (disque dur, clé USB, carte mémoire SD entre autres exemples), données pour lesquelles la sortie attendue du réseau de neurones est une probabilité de 1, soit absence de falsification, et est également constituée de données thermiques et de données visibles et/ou données infrarouge proche correspondant à des falsifications de personnes à l’aide de masques, impressions ou écrans, préalablement enregistrées et pour lesquelles la sortie attendue du réseau de neurones est une probabilité de 0, soit détection de falsification.The learning of the neural network (270) can be carried out using a learning base, consisting of thermal data and visible data and/or near infrared data corresponding to real people (3), previously recorded on memory media known per se (hard disk, USB key, SD memory card among other examples), data for which the expected output of the neural network is a probability of 1, i.e. absence of falsification, and also consists of thermal data and visible data and/or near infrared data corresponding to falsifications of persons using masks, prints or screens, previously recorded and for which the expected output of the neural network is a probability of 0, ie detection of falsification.

L’apprentissage est donc l’étape antérieure au procédé attribuant des valeurs aux poids synaptiques ainsi que les éléments B1_i(z), B2_i(z), B3_j(z), B4_j(z), B5 lorsque le mode de réalisation selon l’invention n’utilise pas une valeur nulle pour ces derniers et qui consiste à trouver un optimum de toutes ces valeurs à partir de la base d’apprentissage en utilisant une méthode d’optimisation connue en soi.Learning is therefore the stage prior to the process assigning values to the synaptic weights as well as the elements B1 _i (z), B2 _i (z), B3 _j (z), B4 _j (z), B5 when the mode of embodiment according to the invention does not use a null value for the latter and which consists in finding an optimum of all these values from the learning base by using an optimization method known per se.

Parmi les méthodes d’optimisation possibles, on peut citer la rétro-propagation du gradient, consistant, en utilisant une carte d’entrée extraite de la base d’apprentissage au réseau de neurones (270), à calculer la grandeur représentative de la probabilité de sortie fournie, par le réseau de neurones (270) à ce moment de son apprentissage, à comparer la sortie connue de la base d’apprentissage, soit ici 0 ou 1 puis à rétro-propager un signal d’erreur dans le réseau de neurones afin de corriger les poids synaptiques ainsi que les éléments B1_i(z), B2_i(z), B3_i(z), B4_i(z), B5 lorsque le mode de réalisation selon l’invention qui a été choisie n’utilise pas une valeur nulle, par exemple au moyen d’un méthode connue en soi de descente du gradient.Among the possible optimization methods, mention may be made of the back-propagation of the gradient, consisting, by using an input map extracted from the learning base of the neural network (270), in calculating the quantity representative of the probability of output provided, by the neural network (270) at this moment of its learning, to compare the known output of the learning base, either here 0 or 1, then to back-propagate an error signal in the network of neurons in order to correct the synaptic weights as well as the elements B1 _i (z), B2 _i (z), B3 _i (z), B4 _i (z), B5 when the embodiment according to the invention which has been chosen n does not use a null value, for example by means of a method known per se for descent of the gradient.

Lorsque la différence entre la probabilité PR délivrée par le réseau de neurones (270) et le résultat connu de la base d’apprentissage est inférieur à une valeur de référence appelée critère, représentée par une valeur réelle notée a₁, l’étape d’apprentissage est considérée terminée et les poids synaptiques sont alors utilisables pour la mise en œuvre du procédé selon l’invention.When the difference between the probability PR delivered by the neural network (270) and the known result of the learning base is less than a reference value called the criterion, represented by a real value denoted a ₁ , the step of learning is considered complete and the synaptic weights can then be used for implementing the method according to the invention.

Dans un mode de réalisation selon l’invention, l’étape d’apprentissage est considérée terminée lorsque la formule suivante est valide pour les N éléments de la base de données d’apprentissage :In one embodiment according to the invention, the learning step is considered complete when the following formula is valid for the N elements of the learning database:

. .

avec N : nombre entier supérieur ou égal à 1, représentant le nombre d’éléments présents dans la base d’apprentissage,with N: whole number greater than or equal to 1, representing the number of elements present in the learning base,

PR_r: carte de sortie du réseau de neurones pour l’élément r, r étant un nombre entier au moins égal à 1 et inférieur ou égal à N,PR _r : output map of the neural network for element r, r being an integer at least equal to 1 and less than or equal to N,

BD_r : résultat connu pour un élément r de la base de données d’apprentissage, soit 0 pour une tentative de falsification et 1 pour une personne réelle,comics_r : known result for an element r of the training database, i.e. 0 for a falsification attempt and 1 for a real person,

a₁: critère d’acceptation pour l’ensemble de la base de données d’apprentissage, a₁étant valeur numérique réelle inférieure à 1.a ₁ : acceptance criterion for the entire training database, a ₁ being a real numerical value less than 1.

Un critère d’acceptation a₁= 0,01 peut être utilisé dans ce mode de réalisation. Des critères d’acceptation plus stricts peuvent bien entendu être choisis, par exemple a₁= 0,001 mais alors l’étape d’apprentissage est plus longue en durée.An acceptance criterion a ₁ = 0.01 can be used in this embodiment. Stricter acceptance criteria can of course be chosen, for example a ₁ =0.001 but then the learning step is longer in duration.

Dans un autre mode de réalisation selon l’invention, l’étape d’apprentissage est considérée terminée lorsque la formule suivante est vérifiée :In another embodiment according to the invention, the learning step is considered complete when the following formula is verified:

avec N : nombre entier supérieur ou égal à 1, représentant le nombre d’éléments présents dans la base d’apprentissage,with N: whole number greater than or equal to 1, representing the number of elements present in the learning base,

PR_r: carte de sortie du réseau de neurones pour l’élément r de la base d’apprentissage, r étant un nombre entier au moins égal à 1 et inférieur ou égal à N,PR _r : output map of the neural network for the element r of the learning base, r being an integer at least equal to 1 and less than or equal to N,

BD_r : résultat connu pour un élément r, soit 0 pour une tentative de falsification et 1 pour une personne réelle,comics_r : known result for an element r, i.e. 0 for a falsification attempt and 1 for a real person,

a₁: critère d’acceptation pour l’ensemble de la base de données d’apprentissage, a₁étant une valeur numérique réelle inférieure à 1.a ₁ : acceptance criterion for the entire training database, a ₁ being a real numerical value less than 1.

Un critère d’acceptation a₁= 0,01 peut être utilisé dans ce mode de réalisation. Des critères d’acceptation plus stricts peuvent bien entendu être choisis, par exemple a₁= 0,001 mais alors l’étape d’apprentissage est plus longue en durée.An acceptance criterion a ₁ = 0.01 can be used in this embodiment. Stricter acceptance criteria can of course be chosen, for example a ₁ =0.001 but then the learning step is longer in duration.

Après cette étape d’apprentissage, si de nouvelles données thermiques et données visibles et/ou données infrarouge proche ne figurant pas dans la base d’apprentissage constituent un nouvelle carte d’entrée, alors le réseau de neurones calcule une nouvelle grandeur représentative de la probabilité PR de présence d’une personne (3) réelle dans le milieu (1).After this learning step, if new thermal data and visible data and/or near infrared data not appearing in the learning base constitute a new input map, then the neural network calculates a new quantity representative of the probability PR of the presence of a real person (3) in the environment (1).

En fonction du résultat PR, le processeur principal (271) détermine s’il y a eu tentative de falsification en comparant avec un seuil fixé a₂auparavant : par exemple, une valeur de peut être utilisée pour confirmer la présence d’une personne vivante (3) ou dans le cas d’une validation encore plus stricte, alors une valeur de peut être utilisée.Depending on the result PR, the main processor (271) determines whether there has been an attempt at falsification by comparing with a threshold set at ₂ previously : for example, a value of can be used to confirm the presence of a living person (3) or in the case of even stricter validation, then a value of can be used.

Un autre aspect du procédé selon l’invention concerne la possibilité d’utiliser comme carte d’entrée du réseau de neurones (270) les données thermiques et lorsqu’il y a lieu, les données visibles et/ou les données infrarouge proche, non plus à un instant noté t₀unique mais lors d’une succession q d’instants temporels successifs {t₀,…,t_q-1} avec q nombre entier supérieur à 1, le procédé étant donc utilisable à partir de l’instant t_q-1.Another aspect of the method according to the invention relates to the possibility of using as input map of the neural network (270) the thermal data and, when applicable, the visible data and/or the near infrared data, not no longer at a single instant denoted t ₀ but during a succession q of successive temporal instants {t ₀ ,…,t _q-1 } with q whole number greater than 1, the method therefore being usable from the instant t _q-1 .

Dans ce cadre, les dimensions du réseau de neurones (270) sont adaptées pour prendre en compte l’augmentation du nombre d’éléments de la carte d’entrée : dans un mode de réalisation préféré selon l’invention, le nombre i, nombre entier représentant le nombre de cartes de sortie générées par la première couche de convolution du réseau de neurones (270), par rapport à l’utilisation d’un seul instant de capture des données thermiques et visuelles, noté t₀, est multiplié par le nombre d’éléments q pris en compte par le procédé et de la même façon, la carte d’entrée comporte les q éléments I(z)_h,v, correspondant aux données thermiques et visibles et/ou données infrarouge proche des instants {t₀,…,t_q-1} considérées, les autres étapes du réseau de neurones décrites précédemment restant valides.In this context, the dimensions of the neural network (270) are adapted to take into account the increase in the number of elements of the input map: in a preferred embodiment according to the invention, the number i, number integer representing the number of output maps generated by the first convolution layer of the neural network (270), relative to the use of a single instant of thermal and visual data capture, denoted t₀, is multiplied by the number of elements q taken into account by the process and in the same way, the input map comprises the q elements I(z)_{H v}, corresponding to the thermal and visible data and/or near infrared data of the instants {t₀,…,t_q-1} considered, the other steps of the neural network described previously remaining valid.

Un dernier aspect du procédé selon l’invention est la possibilité d’utiliser le système de prises de vues (2) pour en plus détecter le déplacement de la personne (3) dans le milieu (1).A final aspect of the method according to the invention is the possibility of using the camera system (2) to additionally detect the movement of the person (3) in the environment (1).

A nouveau, le procédé utilise comme carte d’entrée du réseau de neurones (270) les données thermiques et lorsqu’il y a lieu, les données visibles et/ou données infrarouge proche, non plus à un instant noté t₀unique mais lors d’une succession q d’instants temporels successifs {t₀,…,t_q-1} avec q nombre entier supérieur à 1, le procédé étant accessible à partir de l’instant t_q-1.Again, the method uses as input map of the neural network (270) the thermal data and when applicable, the visible data and/or near infrared data, no longer at a single instant denoted t ₀ but during a succession q of successive time instants {t ₀ ,…,t _q-1 } with q integer greater than 1, the method being accessible from instant t _q-1 .

Le système de prises de vues (2) est agencé de manière à pouvoir réaliser les clichés de la personne (3) dans le milieu (1) et donc dans un mode de réalisation préféré selon l’invention, par l’utilisation des optiques (220) et (240) définies précédemment ayant le plus grand champ de visée.The camera system (2) is arranged so as to be able to take pictures of the person (3) in the environment (1) and therefore in a preferred embodiment according to the invention, by the use of optics ( 220) and (240) previously defined having the largest field of view.

En utilisant le réseau de neurones (270) selon l’invention, le processeur (271) de l’ordinateur (27) calcule les probabilités PR₀...PR_q-1successives, à partir des cartes d’entrée prises à chaque instant t₀,… t_q-1.By using the neural network (270) according to the invention, the processor (271) of the computer (27) calculates the _{successive probabilities PR 0} ...PR _q-1 , from the input cards taken at each instant t ₀ ,… t _q-1 .

Lorsque successivement, u probabilités PR satisfont le critère d’acceptation , u étant un nombre entier supérieur à 1, alors le procédé a validé la présence de la personne (3) à diverses positions du milieu (1).When successively, u probabilities PR satisfy the acceptance criterion , u being an integer greater than 1, then the method has validated the presence of the person (3) at various positions of the medium (1).

Dans ce cas, en utilisant les données thermiques et/ou visibles et/ou données infrarouge proche, le processeur (271) de l’ordinateur peut aussi estimer un positionnement de la personne (3) dans le milieu (1).In this case, using the thermal and/or visible data and/or near infrared data, the processor (271) of the computer can also estimate a position of the person (3) in the environment (1).

Dans un mode de réalisation selon l’invention, le processeur (271) extrait des données thermiques l’élément matriciel de plus grande valeur et attribue à cet élément une estimation de la position de la personne (3).In an embodiment according to the invention, the processor (271) extracts from the thermal data the matrix element of greatest value and assigns to this element an estimate of the position of the person (3).

Dans un autre mode de réalisation selon l’invention, le processeur (271) soustrait aux données thermiques DT(t_d) de l’instant t_d, d nombre entier plus grand que 1, les données thermiques DT(t_d-1) de l’instant t_d-1et attribue à l’élément matriciel correspondant à la plus grande valeur absolue de la différence DT(t_d)-DT(t_d-1),une estimation de la position de la personne (3) dans le milieu (1).In another embodiment according to the invention, the processor (271) subtracts from the thermal data DT(t _d ) of the instant t _d , d integer greater than 1, the thermal data DT(t _d-1 ) of time t _d-1 and assigns to the matrix element corresponding to the greatest absolute value of the difference DT(t _d )-DT(t _d-1 ), an estimate of the position of the person (3) in the middle (1).

Dès lors, le procédé selon l’invention est capable à la fois de valider la présence d’une personne (3) dans le milieu (1) et de fournir une estimation de son positionnement et/ou déplacement.Therefore, the method according to the invention is capable both of validating the presence of a person (3) in the environment (1) and of providing an estimate of his position and/or displacement.

Comme il va de soi, et comme il résulte d'ailleurs de ce qui précède, l'invention n'est pas limitée aux modes de réalisation particuliers qui viennent d'être décrits ; elle en embrasse au contraire toutes les variantes.
As goes without saying, and as also results from the foregoing, the invention is not limited to the particular embodiments which have just been described; on the contrary, it embraces all its variants.

Claims (27)

Procédé de traitement d'images comportant les étapes suivantes :

acquérir des données représentatives d’une image dans le domaine spectral infrarouge thermique, appelée données thermiques, d’une personne dans un milieu au moyen d’un capteur matriciel,

et est essentiellement caractérisé en qu’il comporte les étapes suivantes:

mémoriser ces données thermiques,
transmettre ces données thermiques à un processeur,
traiter ces données thermiques par un processeur,
générer une grandeur représentative de la probabilité de présence effective d’une personne vivante à l’aide d’un réseau de neurones dont les entrées sont les données thermiques.Image processing method comprising the following steps:

acquire data representative of an image in the thermal infrared spectral domain, called thermal data, of a person in an environment by means of a matrix sensor,

and is essentially characterized in that it comprises the following steps:

store these thermal data,
transmit this thermal data to a processor,
process this thermal data by a processor,
generating a quantity representative of the probability of the effective presence of a living person using a neural network whose inputs are the thermal data. Procédé selon la revendication 1 caractérisé en ce qu’une étape est prévue pour acquérir les données représentatives du visage de la personne pour constituer les données thermiques.Method according to Claim 1, characterized in that a step is provided for acquiring the data representative of the face of the person to constitute the thermal data. Procédé selon l’une quelconque des revendications 1 à 2 caractérisé en ce qu’il comporte une étape pour acquérir des données représentatives de la même personne, appelées données visibles, dans le domaine spectral visible au moyen d’une caméra, le réseau de neurones ayant en plus les données visibles parmi ses entrées.Method according to any one of Claims 1 to 2, characterized in that it comprises a step for acquiring data representative of the same person, called visible data, in the visible spectral domain by means of a camera, the neural network additionally having the visible data among its entries. Procédé selon la revendication 3, caractérisé en ce qu’une étape est prévue pour acquérir les données représentatives du visage de la personne pour constituer les données visibles.Method according to Claim 3, characterized in that a step is provided for acquiring the data representative of the face of the person to constitute the visible data. Procédé selon l’une quelconque des revendications 3 à 4, caractérisé en ce qu’une étape est prévue pour utiliser des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu.Method according to any one of Claims 3 to 4, characterized in that a step is provided for using data representative of a three-dimensional reconstruction of the person in the environment. Procédé selon l’une quelconque des revendications 3 à 5, caractérisé en ce qu’une étape est prévue pour acquérir des données représentatives d’une image, appelée données infrarouge proche, de la personne dans le domaine spectral infrarouge proche au moyen de la même caméra, le réseau de neurones ayant en plus les données infrarouges proche parmi ses entrées.Method according to any one of Claims 3 to 5, characterized in that a step is provided for acquiring data representative of an image, called near infrared data, of the person in the near infrared spectral range by means of the same camera, the neural network additionally having the near infrared data among its inputs. Procédé selon l’une quelconque des revendications 1 à 6 caractérisé en ce que l’on utilise un réseau de neurones à convolutions.Method according to any one of Claims 1 to 6, characterized in that a convolutional neural network is used. Procédé selon la revendication 7 caractérisé en ce que l’on utilise un réseau de neurones à convolutions comprenant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée.Method according to Claim 7, characterized in that a convolutional neural network comprising two convolution layers, two sub-sampling layers and a completely connected layer is used. Procédé selon l’une quelconque des revendications 1 à 8, caractérisé en ce qu’une étape est prévue pour acquérir les données thermiques au cours du temps pour constituer les entrées du réseau de neurones.Method according to any one of Claims 1 to 8, characterized in that a step is provided for acquiring the thermal data over time to constitute the inputs of the neural network. Procédé selon l’une quelconque des revendications 3 à 9, caractérisé en ce qu’une étape est prévue pour acquérir les données visibles au cours du temps pour constituer les entrées du réseau de neurones.Method according to any one of Claims 3 to 9, characterized in that a step is provided for acquiring the visible data over time to constitute the inputs of the neural network. Procédé selon l’une quelconque des revendications 6 à 10, caractérisé en ce qu’une étape est prévue pour acquérir les données infrarouge proche au cours du temps pour constituer les entrées du réseau de neurones.Method according to any one of Claims 6 to 10, characterized in that a step is provided for acquiring the near infrared data over time to constitute the inputs of the neural network. Procédé selon l’une quelconque des revendications 10 à 11, caractérisé en ce qu’une étape est prévue pour générer une grandeur représentative de la probabilité de déplacement de la personne.Method according to any one of Claims 10 to 11, characterized in that a step is provided for generating a quantity representative of the probability of movement of the person. Procédé selon l’une quelconque des revendications 3 à 12 caractérisé en ce qu’une étape est prévue pour redimensionner la taille des données visibles et/ou les données infrarouge proche à la taille des données thermiques.Method according to any one of Claims 3 to 12, characterized in that a step is provided for resizing the size of the visible data and/or the near infrared data to the size of the thermal data. Procédé selon l’une quelconque des revendications 3 à 13 caractérisé en ce qu’une étape est prévue pour introduire un décalage temporel entre les données thermiques et les données visibles.Method according to any one of Claims 3 to 13, characterized in that a step is provided for introducing a time shift between the thermal data and the visible data. Système de traitement d'images comportant :

un système de prises de vues, agencé de manière à permettre la prise d'images dans le domaine infrarouge thermique d’une personne dans un milieu, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données thermiques,

et est essentiellement caractérisé par :

des moyens de mémorisation des données thermiques,
des moyens de transmission de ces données thermiques,
des moyens d'exploitation pour exploiter ces données thermiques,
les moyens d'exploitation comportant un réseau de neurones agencé pour générer une grandeur représentative de la probabilité de présence effective d’une personne vivante, les entrées du réseau de neurones étant les données thermiques.
Image processing system comprising:

a system for taking pictures, arranged in such a way as to allow the taking of images in the thermal infrared range of a person in an environment, the means of taking pictures supplying digital data representative of the images called thermal data,

and is essentially characterized by:

thermal data storage means,
means for transmitting these thermal data,
means of exploitation for exploiting these thermal data,
the exploitation means comprising a neural network arranged to generate a quantity representative of the probability of the actual presence of a living person, the inputs of the neural network being the thermal data.
Système selon la revendication 14 caractérisé en ce que le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine infrarouge thermique du visage de la personne.System according to Claim 14, characterized in that the system for taking pictures is arranged so as to allow the taking of images in the thermal infrared range of the face of the person. Système selon l’une quelconque des revendication 15 à 16 caractérisé en ce que le système de prises de vues, est également agencé de manière à permettre la prise d’images de la personne dans le domaine visible, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données visibles, le réseau de neurones ayant en plus les données visibles parmi ses entrées.System according to any one of Claims 15 to 16, characterized in that the image capture system is also arranged in such a way as to allow images of the person to be captured in the visible range, the image capture means supplying digital data representative of the images called visible data, the neural network having in addition the visible data among its inputs. Système selon la revendication 17 caractérisé en ce que les moyens d’exploitation sont agencés de manière à permettre la prise d’images du visage de la personne.System according to Claim 17, characterized in that the operating means are arranged in such a way as to allow images of the face of the person to be taken. Système selon l’une quelconque des revendications 17 à 18 caractérisé en ce que les moyens d’exploitation utilisent des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu.System according to any one of Claims 17 to 18, characterized in that the exploitation means use data representative of a three-dimensional reconstruction of the person in the environment. Système selon l’une quelconque des revendications 17 à 19 caractérisé en ce que le système de prises de vues est agencé pour permettre la prise d’images de la personne dans le domaine infrarouge proche, les moyens fournissant des données numériques des images appelées données infrarouge proche, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées.System according to any one of Claims 17 to 19, characterized in that the picture taking system is arranged to allow the taking of images of the person in the near infrared range, the means supplying digital data of the images called infrared data near, the neural network additionally having the near infrared data among its inputs. Système selon l’une quelconque des revendications 15 à 20 caractérisé en ce que le réseau de neurones est agencé comme un réseau de neurones à convolutions.System according to any one of Claims 15 to 20, characterized in that the neural network is arranged as a convolutional neural network. Système selon la revendication 21 caractérisé en ce que le réseau de neurones est agencé comme un réseau de neurones à convolutions comportant deux couches de convolutions, deux couches de sous-échantillonnage et une couche complètement connectée.System according to Claim 21, characterized in that the neural network is arranged as a convolutional neural network comprising two layers of convolutions, two layers of sub-sampling and a completely connected layer. Système selon l’une quelconque des revendications 15 à 22 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données thermiques au cours du temps pour constituer les entrées du réseau de neurones.System according to any one of Claims 15 to 22, characterized in that the exploitation means are arranged to use the thermal data over time to constitute the inputs of the neural network. Système selon l’une quelconque des revendications 17 à 23 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données visibles au cours du temps comme entrées du réseau de neurones.System according to any one of Claims 17 to 23, characterized in that the exploitation means are arranged to use the data visible over time as inputs to the neural network. Système selon l’une quelconque des revendications 20 à 24 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données infrarouge proche au cours du temps comme entrées du réseau de neurones.System according to any one of Claims 20 to 24, characterized in that the exploitation means are arranged to use the near infrared data over time as inputs to the neural network. Système selon l’une quelconque des revendication 15 à 25 caractérisé en ce que les moyens d’exploitation sont agencés pour exploiter les données thermiques au cours du temps et générer une grandeur représentative de la probabilité de déplacement de la personne au cours du temps.System according to any one of Claims 15 to 25, characterized in that the exploitation means are arranged to exploit the thermal data over time and generate a magnitude representative of the probability of the person moving over time. Système selon l’une quelconque des revendications 17 à 26 caractérisé en ce que les moyens d’exploitation sont agencés pour redimensionner la taille des données visibles et/ou données infrarouge proche à la taille des données thermiques.
Système selon l’une quelconque des revendications 17 à 27 caractérisé en ce que les moyens d’exploitation sont agencés de manière à introduire un décalage temporel entre les données thermiques et les données visibles.
System according to any one of Claims 17 to 26, characterized in that the exploitation means are arranged to resize the size of the visible data and/or near infrared data to the size of the thermal data.
System according to any one of Claims 17 to 27, characterized in that the exploitation means are arranged so as to introduce a time lag between the thermal data and the visible data.