FR3118671A1 - Methods and systems for masking recorded personal visual data for testing a driver assistance function - Google Patents
Methods and systems for masking recorded personal visual data for testing a driver assistance function Download PDFInfo
- Publication number
- FR3118671A1 FR3118671A1 FR2100075A FR2100075A FR3118671A1 FR 3118671 A1 FR3118671 A1 FR 3118671A1 FR 2100075 A FR2100075 A FR 2100075A FR 2100075 A FR2100075 A FR 2100075A FR 3118671 A1 FR3118671 A1 FR 3118671A1
- Authority
- FR
- France
- Prior art keywords
- image
- motor vehicle
- masking
- convolutional neural
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/42—Anonymization, e.g. involving pseudonyms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Molecular Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
Système pour valider le fonctionnement d'un dispositif (2) destiné à générer, sur la base d'une image (31) de l'environnement d'un véhicule (1) automobile, d'une consigne (21) de conduite de ce véhicule (1) automobile, ce système comprenant - un capteur (3) d'image destiné à capter une image (31) de l'environnement du véhicule (1) automobile; - un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image (31) capté, un objet (5) prédéfini considéré à caractère personnel; - un module (42) de masquage pour masquer, dans ladite image (31), l'objet (5) localisé ; - un support (6) de stockage pour enregistrer l'image (31) ayant l'objet (5) masqué. Figure pour l’abrégé : Fig.1System for validating the operation of a device (2) intended to generate, on the basis of an image (31) of the environment of a motor vehicle (1), an instruction (21) for driving this motor vehicle (1), this system comprising - an image sensor (3) intended to capture an image (31) of the environment of the motor vehicle (1); - a deep learning module (41) integrating a convolutional neural network configured to detect and locate, in the captured image (31), a predefined object (5) considered to be of a personal nature; - a masking module (42) for masking, in said image (31), the localized object (5); - a storage medium (6) for recording the image (31) having the object (5) masked. Figure for the abstract: Fig.1
Description
La présente invention a trait aux méthodes et systèmes pour valider le fonctionnement d’un dispositifs basé sur des capteurs d'image embarqués pour générer une consigne de conduite d'un véhicule automobile, et plus particulièrement au traitement des images acquises par ces capteurs eu égard aux données à caractère personnelle qui peuvent y figurer.The present invention relates to methods and systems for validating the operation of a device based on on-board image sensors to generate an instruction for driving a motor vehicle, and more particularly to the processing of images acquired by these sensors with regard to to the personal data that may appear therein.
Les systèmes d'aide à la conduite (ou, en anglais, ADAS pour Advanced Driver Assistance System) sont, pour la plupart, basés sur des capteurs d'image destinés à fournir des informations sur l'environnement du véhicule. Cet environnement couvre l'ensemble des acteurs extérieurs qui peuvent influer sur la conduite du véhicule automobile tels que les autres usagers, les piétons, les panneaux de signalisation routière, les obstacles, ou le tracé de la route.Driving assistance systems (or, in English, ADAS for Advanced Driver Assistance System) are, for the most part, based on image sensors intended to provide information on the environment of the vehicle. This environment covers all the external actors who can influence the driving of the motor vehicle such as other users, pedestrians, road signs, obstacles, or the layout of the road.
Des images de l'environnement d'évolution du véhicule automobile peuvent, en effet, bénéficier à divers systèmes destinés à générer des consignes de conduite de ce véhicule automobile. Néanmoins, compte tenu de la complexité des environnements auxquels ces systèmes peuvent faire face, une étape de validation préalable de la fiabilité de ces systèmes ne peut être négligée.Images of the environment in which the motor vehicle is moving can, in fact, benefit various systems intended to generate driving instructions for this motor vehicle. Nevertheless, given the complexity of the environments that these systems can face, a preliminary validation step of the reliability of these systems cannot be neglected.
Pour cela, des campagnes de plusieurs jours de roulages dans des environnements variés sont nécessaires pour valider les objectifs de fiabilité de tels systèmes. Tout au long de ces campagnes, les images acquises ainsi que les consignes de conduite qui en découlent sont enregistrées pour être analysées.For this, campaigns of several days of driving in various environments are necessary to validate the reliability objectives of such systems. Throughout these campaigns, the images acquired as well as the resulting driving instructions are recorded for analysis.
Cependant, l'enregistrement de ces images, bien qu'indispensable pour apprécier la pertinence des consignes générées, met sérieusement en cause le droit au respect de la vie privée. Des données à caractère personnel peuvent évidement être comprises dans les images acquises de l'environnement du véhicule automobile en circulation, notamment dans un milieu urbain. A cet égard, le document CN110958410 propose de procéder, avant l'enregistrement des images acquises par un capteur d'image embarqué, à une détection au moyen d'un algorithme de reconnaissance faciale des visages qui s'y trouvent et à leur « floutage ».However, the recording of these images, although essential to assess the relevance of the instructions generated, seriously calls into question the right to respect for private life. Personal data can obviously be included in the images acquired of the environment of the motor vehicle in circulation, in particular in an urban environment. In this respect, the document CN110958410 proposes to carry out, before the recording of the images acquired by an onboard image sensor, a detection by means of a facial recognition algorithm of the faces which are there and their "blurring ".
Un inconvénient des solutions connues est leur portée limitée dans la mesure où elles ne couvrent que les visages, alors que des données à caractère personnel peuvent aussi être toute autre information permettant d'identifier directement ou indirectement une personne physique. Un deuxième inconvénient majeur est leur performance, d'autant plus que l'environnement d'un véhicule automobile est souvent en constante variation en raison du déplacement absolu ou relatif du véhicule automobile par rapport aux objets à son alentour.A drawback of the known solutions is their limited scope insofar as they only cover faces, whereas personal data can also be any other information making it possible to directly or indirectly identify a natural person. A second major drawback is their performance, especially since the environment of a motor vehicle is often in constant variation due to the absolute or relative displacement of the motor vehicle with respect to the objects in its surroundings.
Un objet de la présente invention est de remédier aux inconvénients précités.An object of the present invention is to remedy the aforementioned drawbacks.
Un autre objet de la présente invention est de répondre efficacement aux exigences en matière de respect de la vie privé lors de la validation d'une fonction d'aide à la conduite.Another object of the present invention is to respond effectively to privacy requirements when validating a driver assistance function.
A cet effet, il est proposé, en premier lieu, un système pour valider le fonctionnement d'un dispositif destiné à générer, sur la base d'une image de l'environnement d'un véhicule automobile, d'une consigne de conduite de ce véhicule automobile, ce système comprenant
- un capteur d'image destiné à capter une image de l'environnement du véhicule automobile;
- un module d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image capté, un objet prédéfini considéré à caractère personnel;
- un module de masquage pour masquer, dans ladite image, l'objet localisé ;
- un support de stockage pour enregistrer l'image ayant l'objet masqué.To this end, there is proposed, firstly, a system for validating the operation of a device intended to generate, on the basis of an image of the environment of a motor vehicle, a driving instruction for this motor vehicle, this system comprising
- an image sensor intended to capture an image of the environment of the motor vehicle;
- a deep learning module integrating a convolutional neural network configured to detect and locate, in the captured image, a predefined object considered to be of a personal nature;
- a masking module for masking, in said image, the localized object;
- a storage medium for saving the image having the masked object.
Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions ;
- l'objet prédéfini est une plaque d'immatriculation et/ou un visage humain ;
- l'objet est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image ;
- l'objet localisé est masqué par un effet de flou.Various additional features may be provided, alone or in combination:
- the convolutional neural network is a region-based convolutional neural network;
- the predefined object is a license plate and/or a human face;
- the object is located in an area of substantially rectangular or circular shape of said image;
- the located object is masked by a blur effect.
Il est proposé, en deuxième lieu, une méthode pour valider le fonctionnement d'un dispositif destiné à générer, sur la base d'une image de l'environnement d'un véhicule automobile, d'une consigne de conduite de ce véhicule automobile, cette méthode comprenant les étapes suivantes:
- capture d'une image de l'environnement du véhicule automobile au moyen d'un capteur d'image ;
- détection et localisation, dans ladite image, d'un objet prédéfini considéré à caractère personnel au moyen d'un module d'apprentissage profond intégrant un réseau de neurones convolutifs ;
- masquage, dans ladite image, de l'objet prédéfini localisé au moyen d'un module de masquage;
- enregistrement de ladite image ayant ledit objet prédéfini masqué sur un support de stockage.Secondly, a method is proposed for validating the operation of a device intended to generate, on the basis of an image of the environment of a motor vehicle, a driving instruction for this motor vehicle, this method includes the following steps:
- Capture of an image of the environment of the motor vehicle by means of an image sensor;
- detection and localization, in said image, of a predefined object considered to be of a personal nature by means of a deep learning module integrating a convolutional neural network;
- masking, in said image, of the predefined object located by means of a masking module;
- recording of said image having said masked predefined object on a storage medium.
Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions ;
- l'objet prédéfini est une plaque d'immatriculation et/ou un visage humain ;
- l'objet est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de ladite image ;
- l'objet localisé est masqué par un effet de flou.Various additional features may be provided, alone or in combination:
- the convolutional neural network is a region-based convolutional neural network;
- the predefined object is a license plate and/or a human face;
- the object is located in an area of substantially rectangular or circular shape of said image;
- the located object is masked by a blur effect.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation, laquelle est faite en référence aux dessins annexés dans lesquels :Other characteristics and advantages of the invention will appear more clearly and concretely on reading the following description of embodiments, which is made with reference to the appended drawings in which:
la figure
la figure
En se référant à la
Pour générer une consigne21de conduite, le dispositif2se base, entre autres, sur des images31de l'environnement du véhicule1automobile capturées par au moins un capteur3d'image embarqué. De telles images31permettent au dispositif2de détecter la présence dans l'environnement du véhicule1automobile, par exemple, d'un piéton, d'un obstacle ou d'un autre usager et générer une consigne21de conduite permettant d'adapter en conséquence la conduite du véhicule1automobile. Plus généralement, le dispositif2utilise un capteur3d'image pour surveiller au moins partiellement l'environnement d'évolution du véhicule1automobile.To generate a driving instruction 21 , the device 2 is based, inter alia, on images 31 of the environment of the motor vehicle 1 captured by at least one on-board image sensor 3 . Such images 31 allow the device 2 to detect the presence in the environment of the motor vehicle 1 , for example, of a pedestrian, an obstacle or another user and generate a driving instruction 21 making it possible to adapt consequently driving the motor vehicle 1 . More generally, the device 2 uses an image sensor 3 to at least partially monitor the environment in which the motor vehicle 1 is moving.
Le capteur3d'image est, dans un mode de réalisation, une caméra embarquée dans le véhicule1automobile, notamment une caméra dans le domaine visible. Dans un mode de réalisation, le capteur3d'image est une caméra frontale, une caméra 360 degrés, une caméra latéral, et/ou une caméra de recul. Le capteur3d'image peut être disposé à l'avant, à l'intérieur (par exemple, sous le rétroviseur intérieur et orienté vers la route et la signalisation), au dessus, à l'arrière, ou tout autour du véhicule1automobile. Le capteur3d'image comprend, dans un mode de réalisation, des focales multiples avec des portées variables pour couvrir le maximum de l'environnement proche du véhicule1automobile.The image sensor 3 is, in one embodiment, a camera on board the motor vehicle 1 , in particular a camera in the visible range. In one embodiment, the image sensor 3 is a front camera, a 360 degree camera, a side camera, and/or a rear view camera. The image sensor 3 can be arranged at the front, inside (for example, under the interior mirror and oriented towards the road and the signs), above, at the rear, or all around the vehicle 1 automobile. The image sensor 3 comprises, in one embodiment, multiple focal lengths with variable ranges to cover as much of the environment close to the motor vehicle 1 as possible.
Des images31de l'environnement du véhicule1automobile sont fournies par le capteur3d'image sous forme d'un flux d'images vidéo, par série d'images, et/ou par image à une fréquence prédéfinie ou sur demande du dispositif2. Ces images31sont mises à disposition du dispositif2pour générer, si nécessaire, une consigne21de conduite appropriée à l'environnement et la situation de conduite du véhicule1automobile.Images 31 of the environment of the motor vehicle 1 are supplied by the image sensor 3 in the form of a stream of video images, by series of images, and/or by image at a predefined frequency or on request of the device 2 . These images 31 are made available to the device 2 to generate, if necessary, a driving instruction 21 appropriate to the environment and the driving situation of the motor vehicle 1 .
Pour valider le fonctionnement du dispositif2, les images31qui lui sont communiquées sont enregistrées sur un support6de stockage. Les consignes21de conduite générées par le dispositif2sont, dans un mode de réalisation, elles aussi enregistrées sur le support6de stockage. Chaque consigne21de conduite est, de préférence, enregistrée en association avec la ou les images31sur la base desquelles cette consigne21de conduite est produite.To validate the operation of the device 2 , the images 31 communicated to it are recorded on a storage medium 6 . The driving instructions 21 generated by the device 2 are, in one embodiment, also recorded on the storage medium 6 . Each driving instruction 21 is preferably recorded in association with the image(s) 31 on the basis of which this driving instruction 21 is produced.
Le support6de stockage est tout support d'information électronique (un disque dur, une clé USB, une carte SD, ou une carte microSD par exemple) configuré pour mémoriser au moins temporairement des données relatives à la validation du fonctionnement du dispositif2. Le support6de stockage peut être embarqué dans le véhicule1automobile ou distant, tel qu'un serveur auquel le véhicule1automobile est connecté de façon permanente ou intermittente.The storage medium 6 is any electronic information medium (a hard disk, a USB key, an SD card, or a microSD card for example) configured to at least temporarily store data relating to the validation of the operation of the device 2 . The storage medium 6 can be embedded in the motor vehicle 1 or remote, such as a server to which the motor vehicle 1 is permanently or intermittently connected.
Pour répondre à des exigences en matière de respect de la vie privé, un traitement d'image est appliqué à l'image31avant son enregistrement sur le support6de stockage. Ce traitement d'image vise à masquer dans l'image31tout objet5considéré à caractère personnel. On entend ici par objet à caractère personnel toute donnée visuelle se rapportant à une personne physique identifiée ou identifiable. Une personne physique peut être identifiée directement, par exemple, par son visage ou indirectement, par exemple, par le numéro d'immatriculation de son véhicule. Par ailleurs, l’identification d’une personne physique peut être réalisée à partir d'un croisement d’une pluralité de données telles que son visage et des données de localisation.To meet privacy requirements, image processing is applied to the image 31 before it is recorded on the storage medium 6 . This image processing aims to mask in the image 31 any object 5 considered to be of a personal nature. Personal object here means any visual data relating to an identified or identifiable natural person. A natural person can be identified directly, for example, by his face or indirectly, for example, by the registration number of his vehicle. Furthermore, the identification of a natural person can be carried out from a crossing of a plurality of data such as his face and location data.
Pour cela, les images31fournies par le capteur3d'image sont d'abord soumises à un filtre4d'objets prédéfinis avant leur enregistrement sur le support6de stockage. Ce filtre4d'objets est configuré pour détecter et masquer dans l'image31des objets5considérés à caractère personnel. Des objets considérés à caractère personnel comprennent, par exemple, un visage humain et/ou une plaque d'immatriculation.For this, the images 31 supplied by the image sensor 3 are first subjected to a filter 4 of predefined objects before they are recorded on the storage medium 6 . This object filter 4 is configured to detect and mask in the image 31 objects 5 considered to be of a personal nature. Objects considered personal include, for example, a human face and/or a license plate.
Le filtre4d'objets à caractère personnel comprend un module41d'apprentissage profond (plus connu sous le nom anglais « Deep-Learning ») ou, plus généralement, un module41d'apprentissage automatique (dit en anglais « machine learning »), apte à détecter et localiser dans l'image31un ou plusieurs objets5considérés à caractère personnel.The personal object filter 4 includes a deep learning module 41 (better known as “Deep-Learning”) or, more generally, a machine learning module 41 ), capable of detecting and locating in the image 31 one or more objects 5 considered to be of a personal nature.
Le module41d'apprentissage profond intègre un réseau de neurones à convolution ou un réseau de neurones convolutifs (plus connu sous le nom anglais "Convolutional Neural Networks"). Ce réseau de neurones convolutifs est entrainé au préalable pour reconnaitre des objets5considérés à caractère personnel. Un jeu d'images comprenant divers visages humains et/ou divers plaques d'immatriculation est utilisé comme données d'entrainement du réseau de neurones convolutifs. Le module41d'apprentissage profond est donc apte à détecter dans une même image31plusieurs objets appartenant à une même classe ou à des classes différentes.The deep learning module 41 integrates a convolutional neural network or a convolutional neural network (better known under the English name "Convolutional Neural Networks"). This convolutional neural network is trained beforehand to recognize objects 5 considered to be of a personal nature. A set of images including various human faces and/or license plates is used as training data for the convolutional neural network. The deep learning module 41 is therefore capable of detecting in the same image 31 several objects belonging to the same class or to different classes.
Avantageusement, les réseaux de neurones convolutifs sont particulièrement adaptés pour le traitement d’images. Les réseaux de neurones convolutifs sont, pour la détection d'objets ou d'instances dans une image numérique ou plus généralement pour l'analyse d'images (notamment, des images bruitées ou incomplètes), plus performants que les algorithmes existants basés sur la logique floue ou sur des arbres de décision.Advantageously, convolutional neural networks are particularly suitable for image processing. Convolutional neural networks are, for the detection of objects or instances in a digital image or more generally for the analysis of images (in particular, noisy or incomplete images), more efficient than the existing algorithms based on the fuzzy logic or on decision trees.
En outre, les réseaux de neurones convolutifs permettent, avantageusement, de détecter des objets prédéfinis indépendamment de leur position dans l’image31acquise. Le module41d'apprentissage profond est, en effet, configuré pour détecter et localiser dans l'image31un objet5prédéfini considéré à caractère personnel. En détectant la présence d'un objet5prédéfini considéré à caractère personnel dans l'image31, le module41d'apprentissage profond produit en sortie les coordonnées d'un tel objet5et les communique à un module42de masquage. Ces coordonnées sont celles d'un contour délimitant un objet5considéré à caractère personnel détecté dans l'image31. Ce contour est, dans un mode de réalisation, de forme rectangulaire (notamment, pour une plaque immatriculation) ou circulaire (notamment, pour un visage). Plus généralement, un objet5considéré à caractère personnel est localisé dans une zone de forme sensiblement rectangulaire ou circulaire de l’image31.In addition, convolutional neural networks advantageously make it possible to detect predefined objects independently of their position in the acquired image 31 . The deep learning module 41 is, in fact, configured to detect and locate in the image 31 a predefined object 5 considered to be of a personal nature. By detecting the presence of a predefined object 5 considered to be of a personal nature in the image 31 , the deep learning module 41 produces the coordinates of such an object 5 as output and communicates them to a masking module 42 . These coordinates are those of a contour delimiting an object 5 considered to be of a personal nature detected in the image 31 . This contour is, in one embodiment, of rectangular shape (in particular, for a license plate) or circular (in particular, for a face). More generally, an object 5 considered to be of a personal nature is located in a zone of substantially rectangular or circular shape of the image 31 .
Dans un mode de réalisation, le réseau de neurones convolutifs est un réseau de neurones convolutifs basé sur des régions (dit, selon une terminologie anglo-saxonne, R-CNN pour "Region-based Convolutional Neural Networks"), ou un réseau de neurones convolutifs basé des régions rapide (dit, selon une terminologie anglo-saxonne, Fast R-CNN pour "Fast Region-based Convolutional Neural Networks"), ou tout autre modèle équivalent.In one embodiment, the convolutional neural network is a region-based convolutional neural network (known as R-CNN for "Region-based Convolutional Neural Networks"), or a neural network convolutional models based on fast regions (known as Fast R-CNN for "Fast Region-based Convolutional Neural Networks"), or any other equivalent model.
Le module42de masquage est configuré pour masquer tout objet5localisé dans l'image31par le module41d'apprentissage profond. Pour cela, l'image31et les coordonnées des contours délimitant (c'est à dire, des zones couvrant) les objets5considérés à caractère personnel sont reçues en entrée par le module42de masquage. Le masquage d'un objet5considéré à caractère personnel peut être obtenu selon diverses techniques appliquées à la zone couvrant cet objet5telles qu'un effet de flou, un effet de brouillage, un effet de pixellisation, un effet de distorsion, la superposition d'un masque, ou sa suppression. Il en résulte avantageusement un masquage des données à caractère personnel sans toutefois détériorer la qualité du reste de l’image31.The masking module 42 is configured to mask any object 5 located in the image 31 by the deep learning module 41 . For this, the image 31 and the coordinates of the contours delimiting (ie areas covering) the objects 5 considered to be of a personal nature are received as input by the masking module 42 . The masking of an object 5 considered to be of a personal nature can be obtained according to various techniques applied to the area covering this object 5 such as a blur effect, a scrambling effect, a pixelation effect, a distortion effect, the superposition of a mask, or its removal. This advantageously results in a masking of personal data without however deteriorating the quality of the rest of the image 31 .
L'image31ayant les objets5considérés à caractère personnel masqués est enregistrée sur le support6de stockage. Ainsi, à partir d’une image31reçue en son entrée, le filtre4d'objets considérés à caractère personnel masque les zones de cette image31susceptibles de contenir un objet5à caractère personnel et la transmet pour enregistrement sur le support6de stockage. Il en résulte, avantageusement, que les images31enregistrées sur le support6de stockage sont vides de tout contenu à caractère personnel, notamment de visages et/ou de numéro d'immatriculation de véhicule.The image 31 having the objects 5 considered to be of a personal nature masked is recorded on the storage medium 6 . Thus, from an image 31 received at its input, the filter 4 of objects considered to be of a personal nature masks the areas of this image 31 likely to contain an object 5 of a personal nature and transmits it for recording on the medium 6 of storage. As a result, advantageously, the images 31 recorded on the storage medium 6 are empty of any content of a personal nature, in particular faces and/or vehicle registration numbers.
Autrement dit, avant son enregistrement au moins temporaire sur le support6de stockage, l'image31passe par le filtre4d'objets considérés à caractère personnel. Le module41d'apprentissage profond basé sur un réseau de neurones convolutifs pré-entrainé y détecte et localise tout objet5prédéfini considéré à caractère personnel (tels que des visages humains et/ou des plaques d'immatriculation). Le module42de masquage se charge de masquer dans l'image31les objets qui y sont localisés et qui lui sont indiqués par le module41d'apprentissage profond.In other words, before its at least temporary recording on the storage medium 6 , the image 31 passes through the filter 4 of objects considered to be of a personal nature. The deep learning module 41 based on a pre-trained convolutional neural network detects therein and locates any predefined object 5 considered to be of a personal nature (such as human faces and/or license plates). The masking module 42 is responsible for masking in the image 31 the objects which are located there and which are indicated to it by the deep learning module 41 .
Dans un mode de réalisation, le filtre4d'objets à caractère personnel est intégré dans un calculateur configuré pour traiter les données perçues par des capteurs3d'image pour tester ou valider une nouvelle fonction d'aide à la conduite.In one embodiment, the filter 4 of objects of a personal nature is integrated into a computer configured to process the data perceived by the image sensors 3 to test or validate a new driving aid function.
En se reportant à la
Dans un mode de réalisation, les étapes de détection, de localisation et de masquage d'objets5prédéfinis considérés à caractère personnel sont mises en œuvre sensiblement en temps réel ou quasi-réel sur un flux d'images vidéo produit par le capteur3d'image.In one embodiment, the steps of detecting, locating and masking predefined objects 5 considered to be of a personal nature are implemented substantially in real or near real time on a stream of video images produced by the sensor 3 d 'picture.
Avantageusement, le traitement décrit ci-dessus appliqué à une image31de l'environnement du véhicule1automobile acquise par le capteur3d'image intervient, avant l'enregistrement de cette image31sur le support6de stockage. Ce traitement permet d’adapter automatiquement les images31fournies par le capteur3d'image embarqué dans le véhicule1automobile de façon à préserver la vie privée des usagers. Le support6de stockage est, par conséquent, vide de données à caractère personnel. Il en résulte avantageusement un enregistrement conforme au droit à la vie privée. Les images31enregistrées peuvent donc être gardées plus longtemps que nécessaire, sans contrevenir aux dispositions du droit à la vie privée.Advantageously, the processing described above applied to an image 31 of the environment of the motor vehicle 1 acquired by the image sensor 3 occurs before the recording of this image 31 on the storage medium 6 . This processing makes it possible to automatically adapt the images 31 supplied by the image sensor 3 on board the motor vehicle 1 so as to preserve the privacy of the users. The storage medium 6 is therefore empty of personal data. This advantageously results in a recording that complies with the right to privacy. The recorded images 31 can therefore be kept longer than necessary, without contravening the provisions of the right to privacy.
Claims (10)
- un capteur (3) d'image destiné à capter une image (31) de l'environnement du véhicule (1) automobile;
- un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs configuré pour détecter et localiser, dans l'image (31) capté, un objet (5) prédéfini considéré à caractère personnel;
- un module (42) de masquage pour masquer, dans ladite image (31), l'objet (5) localisé ;
- un support (6) de stockage pour enregistrer l'image (31) ayant l'objet (5) masqué.System for validating the operation of a device ( 2 ) intended to generate, on the basis of an image ( 31 ) of the environment of a motor vehicle ( 1 ), an instruction ( 21 ) for driving this automotive vehicle ( 1 ), this system comprising
- an image sensor ( 3 ) intended to capture an image ( 31 ) of the environment of the motor vehicle ( 1 );
- a deep learning module ( 41 ) integrating a convolutional neural network configured to detect and locate, in the captured image ( 31 ), a predefined object ( 5 ) considered to be of a personal nature;
- a masking module ( 42 ) for masking, in said image ( 31 ), the localized object ( 5 );
- A storage medium ( 6 ) for recording the image ( 31 ) having the object ( 5 ) masked.
- capture (1 1) d'une image (31) de l'environnement du véhicule (1) automobile au moyen d'un capteur (3) d'image ;
- détection et localisation (12), dans ladite image (31), d'un objet (5) prédéfini considéré à caractère personnel au moyen d'un module (41) d'apprentissage profond intégrant un réseau de neurones convolutifs ;
- masquage (13), dans ladite image (31), de l'objet prédéfini localisé au moyen d'un module (42) de masquage;
- enregistrement (14) de ladite image (31) ayant ledit objet (5) prédéfini masqué sur un support (6) de stockage.Method for validating the operation of a device ( 2 ) intended to generate, on the basis of an image ( 31 ) of the environment of a motor vehicle ( 1 ), an instruction ( 21 ) for driving this motor vehicle ( 1 ), this method comprising the following steps:
- Capture ( 1 1 ) of an image ( 31 ) of the environment of the motor vehicle ( 1 ) by means of an image sensor ( 3 );
- detection and localization ( 12 ), in said image ( 31 ), of a predefined object ( 5 ) considered to be of a personal nature by means of a deep learning module ( 41 ) integrating a convolutional neural network;
- masking ( 13 ), in said image ( 31 ), of the predefined object located by means of a masking module ( 42 );
- Recording ( 14 ) of said image ( 31 ) having said predefined masked object ( 5 ) on a storage medium ( 6 ).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2100075A FR3118671A1 (en) | 2021-01-06 | 2021-01-06 | Methods and systems for masking recorded personal visual data for testing a driver assistance function |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2100075A FR3118671A1 (en) | 2021-01-06 | 2021-01-06 | Methods and systems for masking recorded personal visual data for testing a driver assistance function |
| FR2100075 | 2021-01-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3118671A1 true FR3118671A1 (en) | 2022-07-08 |
Family
ID=75339875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2100075A Withdrawn FR3118671A1 (en) | 2021-01-06 | 2021-01-06 | Methods and systems for masking recorded personal visual data for testing a driver assistance function |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3118671A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200086879A1 (en) * | 2018-09-14 | 2020-03-19 | Honda Motor Co., Ltd. | Scene classification prediction |
| CN110958410A (en) | 2018-09-27 | 2020-04-03 | 北京嘀嘀无限科技发展有限公司 | Video processing method and device and automobile data recorder |
| WO2020205655A1 (en) * | 2019-03-29 | 2020-10-08 | Intel Corporation | Autonomous vehicle system |
-
2021
- 2021-01-06 FR FR2100075A patent/FR3118671A1/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200086879A1 (en) * | 2018-09-14 | 2020-03-19 | Honda Motor Co., Ltd. | Scene classification prediction |
| CN110958410A (en) | 2018-09-27 | 2020-04-03 | 北京嘀嘀无限科技发展有限公司 | Video processing method and device and automobile data recorder |
| WO2020205655A1 (en) * | 2019-03-29 | 2020-10-08 | Intel Corporation | Autonomous vehicle system |
Non-Patent Citations (1)
| Title |
|---|
| ABBASI MILAD HAJI ET AL: "Deep Visual Privacy Preserving for Internet of Robotic Things", 2019 5TH CONFERENCE ON KNOWLEDGE BASED ENGINEERING AND INNOVATION (KBEI), IEEE, 28 February 2019 (2019-02-28), pages 292 - 296, XP033560622, DOI: 10.1109/KBEI.2019.8735033 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019105342A1 (en) | Method and apparatus for detecting fake license plates of vehicles, readable storage medium, and electronic device | |
| EP1695260B1 (en) | Method and device for iris recognition | |
| EP2901370B1 (en) | Method for detecting a real face | |
| EP3332352A1 (en) | Device and method for detecting a parking space that is available for a motor vehicle | |
| FR3025898A1 (en) | METHOD AND SYSTEM FOR LOCALIZATION AND MAPPING | |
| CA3000153A1 (en) | Analysis process for a structure document capable of being deformed | |
| KR20210065177A (en) | Image acquisition device occlusion detection method, device, device and storage medium | |
| FR3118671A1 (en) | Methods and systems for masking recorded personal visual data for testing a driver assistance function | |
| KR102494530B1 (en) | Camera Apparatus Installing at a Car for Detecting Drowsy Driving and Careless Driving and Method thereof | |
| WO2006070099A2 (en) | Method for identifying a person from the person's features, with fraud detection | |
| FR3062977A1 (en) | VIDEO SEQUENCE COMPRESSION DEVICE AND CONDUCTOR MONITORING DEVICE COMPRISING SUCH A COMPRESSION DEVICE | |
| JP2008046947A (en) | Surrounding monitoring system | |
| FR2863755A1 (en) | METHOD AND SYSTEM FOR IDENTIFYING A MOVING VEHICLE | |
| FR3083352A1 (en) | METHOD AND DEVICE FOR FAST DETECTION OF REPETITIVE STRUCTURES IN THE IMAGE OF A ROAD SCENE | |
| EP1542191B1 (en) | A moving vehicle identification method and system | |
| EP1526492B1 (en) | Method and apparatus for identifying a moving vehicle | |
| EP3567521B1 (en) | Iris biometric recognition method | |
| WO2022079113A1 (en) | Method for processing images | |
| KR20140096576A (en) | Apparatus and method for detecting vehicle | |
| FR3058247B1 (en) | DETECTION OF OBSTACLES AROUND A MOTOR VEHICLE | |
| WO2018185398A1 (en) | Method and device for processing images acquired by a camera of a motor vehicle | |
| FR2974650A1 (en) | Video sequence anonymizing method, involves screening area that is associated with detected personal information in video sequence, by replacing associated area with predetermined synthetic equivalent data | |
| FR3093054A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES | |
| CN117751391A (en) | Privacy compliance monitoring of objects | |
| FR3099841A1 (en) | Method and device for anonymizing a video sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220708 |
|
| ST | Notification of lapse |
Effective date: 20230905 |