FR3034561A1 - DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S) - Google Patents

DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S) Download PDF

Info

Publication number
FR3034561A1
FR3034561A1 FR1552655A FR1552655A FR3034561A1 FR 3034561 A1 FR3034561 A1 FR 3034561A1 FR 1552655 A FR1552655 A FR 1552655A FR 1552655 A FR1552655 A FR 1552655A FR 3034561 A1 FR3034561 A1 FR 3034561A1
Authority
FR
France
Prior art keywords
state
level
vehicle
driver
thumbnail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1552655A
Other languages
French (fr)
Inventor
Pascal Gouriet
Thierry Dunez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
Peugeot Citroen Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peugeot Citroen Automobiles SA filed Critical Peugeot Citroen Automobiles SA
Priority to FR1552655A priority Critical patent/FR3034561A1/en
Publication of FR3034561A1 publication Critical patent/FR3034561A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Un dispositif (DA) est destiné à avertir un conducteur d'un véhicule (V) de son état pendant une phase de roulage. Ce dispositif (DA) comprend des moyens de traitement (MT) agencés pour estimer un niveau d'état de distraction et/ou un niveau d'état de somnolence du conducteur en fonction de données acquises représentatives du conducteur, et des moyens d'avertissement (MA1) agencés pour générer un ensemble de données définissant une première imagette, comportant un visage stylisé ayant une couleur et/ou des éléments et/ou des dimensions fonction du niveau d'état de distraction estimé, et/ou une seconde imagette comportant un visage stylisé ayant une couleur et/ou une orientation et/ou des dimensions fonction du niveau d'état de somnolence estimé, de sorte que chaque imagette soit affichée sur un écran (EA) du véhicule (V).A device (DA) is intended to warn a driver of a vehicle (V) of its state during a driving phase. This device (DA) comprises processing means (MT) arranged to estimate a state of distraction state and / or a level of somnolence state of the driver as a function of acquired data representative of the driver, and warning means (MA1) arranged to generate a set of data defining a first thumbnail, having a stylized face having a color and / or elements and / or dimensions depending on the estimated distraction state level, and / or a second thumbnail having a stylized face having a color and / or orientation and / or dimensions depending on the state of drowsiness estimated, so that each thumbnail is displayed on a screen (EA) of the vehicle (V).

Description

1 DISPOSITIF D'AVERTISSEMENT D'UN CONDUCTEUR DE VÉHICULE DU NIVEAU DE SON ÉTAT DE SOMNOLENCE ET/OU DU NIVEAU DE SON ÉTAT DE DISTRACTION AU MOYEN D'IMAGETTE(S) L'invention concerne les véhicules, éventuellement de type automobile, et plus précisément les dispositifs qui permettent d'avertir les conducteurs de véhicules de l'état de vigilance dans lequel ils se trouvent pendant une phase de roulage. la On entend ici par « état de vigilance » aussi bien un état de distraction qu'un état de somnolence. Plusieurs dispositifs d'avertissement ont déjà été proposés. Ils sont chargés de détecter des signes de perte de vigilance du conducteur du fait d'un état de somnolence plus ou moins fort et/ou d'un état de distraction plus 15 ou moins fort. Ces signes peuvent être, par exemple, des louvoiements anormaux du véhicule sur sa voie de circulation ou des coups de volant donnés par le conducteur lorsque le véhicule est situé à proximité d'une ligne délimitant sa voie de circulation ou une inclinaison de la tête du conducteur vers le bas ou une variation de la fréquence et/ou de la durée de fermeture 20 des paupières ou encore une variation des battements de coeur du conducteur. Le conducteur est généralement averti d'une perte de vigilance (distraction et/ou somnolence) par des images qui sont affichées sur un écran de son véhicule, et éventuellement accompagnées d'au moins un message 25 d'avertissement textuel et/ou audio. Ces images sont par exemple des triangles à bords rouges et comportant un élément comme par exemple une personne allongée ou un point d'exclamation ou une ligne à courbure multiple matérialisée par rapport à deux lignes délimitant une voie de circulation. Le choix de l'élément et/ou de l'épaisseur des bords rouges peut être fonction du 30 niveau de l'état de distraction et/ou du niveau de l'état de somnolence du conducteur. Le message d'avertissement peut, par exemple, être du type « Pensez à faire une pause » ou « Soyez vigilant » ou « Conduite à risque, 3034561 2 faites une pause ». Les significations de ces images et des éventuels messages associés ne sont pas toujours bien comprises par les conducteurs, en particulier lorsqu'ils font l'objet d'une perte de vigilance.1 DEVICE FOR WARNING OF A VEHICLE DRIVER OF THE LEVEL OF SOMNOLENCE AND / OR THE LEVEL OF ITS DISTRACTION STATE USING IMAGETTE (S) The invention relates to vehicles, possibly of automobile type, and more precisely the devices that make it possible to warn the drivers of vehicles of the vigilance state in which they are during a taxi phase. The term "state of alertness" is used here to mean a state of distraction and a state of drowsiness. Several warning devices have already been proposed. They are responsible for detecting signs of loss of vigilance of the driver due to a state of somnolence more or less strong and / or a state of distraction more or less strong. These signs may be, for example, abnormal lugging of the vehicle on its lane or steering wheel action given by the driver when the vehicle is located near a line delimiting its lane or an inclination of the head of the vehicle. downward direction or a variation in the frequency and / or duration of closure of the eyelids or a variation in the heartbeat of the driver. The driver is generally warned of a loss of vigilance (distraction and / or drowsiness) by images that are displayed on a screen of his vehicle, and possibly accompanied by at least one text and / or audio warning message. These images are for example triangles with red edges and comprising an element such as for example a person lying or an exclamation point or a line with multiple curvature materialized with respect to two lines delimiting a traffic lane. The choice of the element and / or the thickness of the red edges may be a function of the level of the state of distraction and / or the level of the somnolence state of the driver. The warning message may, for example, be of the type "Remember to take a break" or "Be alert" or "Take a risk, 3034561 2 take a break". The meanings of these images and any associated messages are not always well understood by drivers, especially when they are subject to a loss of alertness.

5 L'invention a donc notamment pour but d'améliorer la situation, grâce à l'utilisation d'imagettes facilement compréhensibles, et si possible facilement et simplement réalisable (notamment dans le domaine automobile). Elle propose notamment à cet effet un dispositif, destiné à avertir un 1 o conducteur d'un véhicule de l'état dans lequel il se trouve pendant une phase de roulage, et comprenant des moyens de traitement agencés pour estimer un niveau d'état de distraction et/ou un niveau d'état de somnolence du conducteur en fonction de données acquises représentatives du conducteur. Ce dispositif d'avertissement se caractérise par le fait qu'il comprend 15 également des moyens d'avertissement qui sont agencés pour générer un ensemble de données définissant une première imagette, comportant un visage stylisé ayant une couleur et/ou des éléments et/ou des dimensions fonction de ce niveau d'état de distraction estimé, et/ou une seconde imagette comportant un visage stylisé ayant une couleur et/ou une orientation et/ou des 20 dimensions fonction du niveau d'état de somnolence estimé, de sorte que chaque imagette soit affichée sur un écran du véhicule. Ainsi, on peut avertir le conducteur au moyen d'imagettes très facilement compréhensibles. Le dispositif d'avertissement selon l'invention peut comporter d'autres 25 caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment : - chaque imagette peut comprendre un cadre de forme géométrique choisie et contenant une partie au moins du visage stylisé ; - les éléments d'un visage stylisé peuvent être choisis parmi au moins une 30 représentation d'une bouche concave, une représentation d'une bouche convexe, une représentation d'une bouche quasiment plane, des représentations d'yeux ouverts, des représentations d'yeux partiellement 3034561 3 ouverts, et des représentations d'yeux fermés ; l'orientation d'un visage stylisé peut être choisie parmi au moins une vue de face, une vue de trois quart et une vue de profil ; la couleur d'un visage stylisé peut être choisie parmi au moins le vert, 5 l'orange et le rouge ; il peut comprendre des moyens d'acquisition agencés pour acquérir les données représentatives du conducteur. L'invention propose également un véhicule, éventuellement de type automobile, et comprenant un dispositif d'avertissement du type de celui présenté ci-avant. D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : la figure 1 illustre schématiquement et fonctionnellement, dans une vue de côté, une partie d'un véhicule automobile équipé d'un exemple de réalisation d'un dispositif d'avertissement selon l'invention, les figures 2 à 6 illustrent schématiquement et respectivement cinq exemples de premières imagettes associées à cinq niveaux différents d'état de somnolence, et les figures 7 à 9 illustrent schématiquement et respectivement trois exemples de secondes imagettes associées à trois niveaux différents d'état de distraction. L'invention a notamment pour but de proposer un dispositif DA destiné à avertir un conducteur d'un véhicule V de l'état dans lequel il se trouve pendant une phase de roulage. Dans ce qui suit, on considère, à titre d'exemple non limitatif, que le véhicule V est de type automobile. Il s'agit par exemple d'une voiture. Mais l'invention n'est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule pouvant être conduit par un conducteur. Par conséquent, elle concerne les véhicules terrestres, les véhicules fluviaux (ou maritimes), et les véhicules aériens. On a schématiquement représenté sur la figure 1 un exemple non 3034561 4 limitatif de véhicule V conduit par un conducteur CD, installé dans un habitacle H, et équipé d'un dispositif d'avertissement DA selon l'invention. Comme illustré sur la figure 1, un dispositif (d'avertissement) DA, selon l'invention, comprend au moins des moyens de traitement MT et des 5 moyens d'avertissement MA1. On notera que dans l'exemple de réalisation non limitatif illustré sur la figure 1, le dispositif DA est un équipement électronique qui est connecté à un réseau de communication RC, éventuellement de type multiplexé, que comprend le véhicule V et qui permet l'échange de données et de 10 commandes entre ses équipements électroniques (et notamment ses calculateurs et certains au moins de ses capteurs). Mais dans une variante de réalisation il pourrait faire partie d'un calculateur (comme par exemple l'ordinateur de bord du véhicule V) ou d'un autre dispositif, comme par exemple un équipement multimédia. Par conséquent, le dispositif DA (et au 15 moins ses moyens de traitement MT et ses moyens d'avertissement MA1) peu(ven)t être réalisé(s) sous la forme de modules logiciels (ou informatiques ou encore « software »), ou bien d'une combinaison de circuits électroniques (ou « hardware ») et de modules logiciels. Les moyens de traitement MT sont agencés pour estimer un niveau 20 d'état de distraction et/ou un niveau d'état de somnolence du conducteur en fonction de données acquises qui sont représentatives du conducteur. L'expression « et/ou » du paragraphe précédent signifie qu'il y a trois alternatives selon l'agencement choisi du dispositif DA. Dans une première alternative les moyens de traitement MT sont agencés pour estimer 25 uniquement un niveau d'état de distraction. Dans une deuxième alternative les moyens de traitement MT sont agencés pour estimer uniquement un niveau d'état de somnolence. Dans une troisième alternative les moyens de traitement MT sont agencés pour estimer non seulement un niveau d'état de distraction, mais également un niveau d'état de somnolence.The invention is therefore particularly intended to improve the situation, through the use of imagettes easily understandable, and if possible easily and simply achievable (especially in the automotive field). To this end, it proposes a device, intended to warn a driver of a vehicle of the state in which he is during a taxiing phase, and comprising processing means arranged to estimate a level of state of the vehicle. distraction and / or a state of somnolence of the driver based on data acquired representative of the driver. This warning device is characterized in that it also comprises warning means which are arranged to generate a set of data defining a first thumbnail, having a stylized face having a color and / or elements and / or dimensions dependent on this estimated level of distraction state, and / or a second thumbnail having a stylized face having color and / or orientation and / or dimensions depending on the estimated state of sleepiness level, so that each thumbnail is displayed on a vehicle screen. Thus, it is possible to warn the driver by means of imagettes very easy to understand. The warning device according to the invention may comprise other characteristics which may be taken separately or in combination, and in particular: each image may comprise a frame of chosen geometric shape and containing at least a portion of the stylized face; the elements of a stylized face may be chosen from at least one representation of a concave mouth, a representation of a convex mouth, a representation of an almost flat mouth, open-eyed representations, representations of partially open eyes, and representations of closed eyes; the orientation of a stylized face may be selected from at least a front view, a three quarter view and a side view; the color of a stylized face may be selected from at least green, orange and red; it may comprise acquisition means arranged to acquire the data representative of the driver. The invention also proposes a vehicle, possibly of automobile type, and comprising a warning device of the type of that presented above. Other features and advantages of the invention will appear on examining the detailed description below, and the accompanying drawings, in which: FIG. 1 schematically and functionally illustrates, in a side view, a part of a motor vehicle equipped with an exemplary embodiment of a warning device according to the invention, Figures 2 to 6 illustrate schematically and respectively five examples of first images associated with five different levels of drowsiness, and FIGS. to 9 illustrate schematically and respectively three examples of thumbnail seconds associated with three different levels of distraction state. The object of the invention is in particular to propose a device DA intended to warn a driver of a vehicle V of the state in which he is during a driving phase. In what follows, it is considered, by way of non-limiting example, that the vehicle V is automotive type. This is for example a car. But the invention is not limited to this type of vehicle. It concerns any type of vehicle that can be driven by a driver. Therefore, it concerns land vehicles, river (or maritime) vehicles, and air vehicles. FIG. 1 diagrammatically shows a nonlimiting example of a vehicle V driven by a conductor CD, installed in a passenger compartment H, and equipped with a warning device DA according to the invention. As illustrated in FIG. 1, a (warning) device DA according to the invention comprises at least processing means MT and warning means MA1. It will be noted that in the nonlimiting exemplary embodiment illustrated in FIG. 1, the device DA is an electronic device which is connected to a communication network RC, possibly of multiplexed type, which the vehicle V comprises and which allows the exchange data and commands between its electronic equipment (and in particular its computers and at least some of its sensors). But in an alternative embodiment it could be part of a computer (such as the vehicle computer V) or another device, such as a multimedia equipment. Consequently, the device DA (and at least its processing means MT and its warning means MA1) can be implemented in the form of software modules (or computer or "software"), or a combination of electronic circuits (or "hardware") and software modules. The processing means MT are arranged to estimate a level of distraction state and / or driver drowsiness level as a function of acquired data representative of the driver. The expression "and / or" of the preceding paragraph means that there are three alternatives according to the chosen arrangement of the device DA. In a first alternative, the processing means MT are arranged to estimate only a state of distraction state. In a second alternative, the processing means MT are arranged to estimate only a state of drowsiness. In a third alternative, the processing means MT are arranged to estimate not only a state of distraction level, but also a state of drowsiness.

30 Toute technique connue de l'homme de l'art peut être ici utilisée, seule ou en combinaison, pour déterminer un niveau d'état de distraction ou un niveau d'état de somnolence en fonction de données acquises représentatives du conducteur CD, dès lors qu'elle repose sur une détection 3034561 5 de signe(s) de perte de vigilance du conducteur CD dans des données acquises par des moyens d'acquisition MA2. A titre d'exemples, ces signes peuvent être des louvoiements anormaux du véhicule V sur sa voie de circulation ou des coups de volant donnés par le conducteur CD lorsque son 5 véhicule V est situé à proximité d'une ligne délimitant sa voie de circulation ou une inclinaison de la tête du conducteur CD vers le bas ou une variation de l'axe d'observation des yeux du conducteur CD ou une variation de la fréquence et/ou de la durée de fermeture des paupières du conducteur CD ou encore une variation des battements de coeur du conducteur CD.Any technique known to those skilled in the art can be used here, alone or in combination, to determine a level of distraction state or drowsiness state level as a function of acquired data representative of the CD driver, as soon as possible. when it relies on detection of sign (s) of vigilance loss of the CD driver in data acquired by acquisition means MA2. By way of examples, these signs may be abnormal lugging of the vehicle V on its lane or steering wheel action given by the driver CD when his vehicle V is located near a line delimiting its lane or a downward inclination of the head of the CD conductor or a variation of the viewing angle of the eyes of the CD conductor or a variation of the frequency and / or duration of closure of the driver's eyelids CD or a variation of heartbeats of the CD driver.

10 Par exemple, certaines de ces données peuvent être acquises par au moins une première caméra numérique Cl, installée dans l'habitacle H du véhicule V (éventuellement dans le rétroviseur central RV ou dans une baie montante du pare-brise PRB ou dans le combiné ou encore dans un dispositif central multimédia), et chargée d'acquérir des images d'une partie au moins 15 de la tête du conducteur CD. Une telle première caméra Cl peut, par exemple, permettre d'observer la position et l'orientation de la tête du conducteur CD ou l'axe d'observation des yeux du conducteur CD ou encore le mouvement des paupières du conducteur CD. On notera que la (chaque) première caméra numérique Cl peut 20 éventuellement faire partie du dispositif DA. Mais cela n'est pas obligatoire. En effet, elle(s) pourrai(en)t faire partie d'un autre dispositif embarqué dans le véhicule V, comme par exemple un dispositif multimédia ou un combiné d'instrumentation. Egalement par exemple, certaines des données peuvent être 25 acquises par au moins une seconde caméra numérique C2, installée dans une partie avant du véhicule V (éventuellement dans le bouclier ou pare-chocs avant, ou dans l'habitacle (éventuellement dans le pied du rétroviseur central RV qui est solidarisé au pare-brise PRB), et chargée d'observer une zone avant située devant la partie avant PV du véhicule V. Une telle seconde 30 caméra C2 peut, par exemple, permettre d'observer les lignes qui délimitent la voie de circulation sur laquelle circule le véhicule V. On notera que la (chaque) seconde caméra numérique C2 peut éventuellement faire partie du dispositif DA. Mais cela n'est pas obligatoire.For example, some of these data may be acquired by at least a first digital camera C1, installed in the passenger compartment H of the vehicle V (possibly in the central rearview mirror RV or in a rising bay of the windshield PRB or in the handset or in a central multimedia device), and responsible for acquiring images of at least a portion of the driver's head CD. Such a first camera Cl can, for example, allow to observe the position and orientation of the driver's head CD or the eye observation axis of the CD driver or the movement of the driver's eyelids CD. It will be appreciated that the (each) first digital camera C1 may optionally be part of the DA device. But this is not obligatory. Indeed, it (s) may (t) be part of another device embedded in the vehicle V, such as a multimedia device or a combined instrumentation. Also for example, some of the data can be acquired by at least a second digital camera C2, installed in a front part of the vehicle V (possibly in the front bumper or bumper, or in the passenger compartment (possibly in the foot of the vehicle). central rearview mirror RV which is secured to the windshield PRB), and responsible for observing a front zone located in front of the front portion PV of the vehicle V. Such a second camera C2 may, for example, allow to observe the lines that delimit the taxiway on which the vehicle V travels, it will be noted that the (each) second digital camera C2 may possibly be part of the device DA, but this is not mandatory.

3034561 6 En effet, elle(s) pourrai(en)t faire partie d'un autre dispositif embarqué dans le véhicule V, comme par exemple un dispositif de détection d'obstacle situé dans une partie avant du véhicule V. Egalement par exemple, certaines des données peuvent être 5 acquises par au moins un capteur, en particulier un capteur de pression, par exemple implanté dans le volant ou dans une partie du siège conducteur. Les données acquises par les moyens d'acquisition MA2 (Cl et/ou C2) peuvent, par exemple, être transmises aux moyens d'avertissement MA1 du dispositif DA via le réseau de communication RC.Indeed, it (s) may (t) be part of another device embedded in the vehicle V, such as for example an obstacle detection device located in a front part of the vehicle V. Also for example, some of the data can be acquired by at least one sensor, in particular a pressure sensor, for example implanted in the steering wheel or in a part of the driver's seat. The data acquired by the acquisition means MA2 (C1 and / or C2) may, for example, be transmitted to the warning means MA1 of the device DA via the communication network RC.

10 Les moyens d'avertissement MA1 peuvent effectuer tout type d'analyse des données acquises reçues pour déterminer chaque niveau d'état. Ainsi, ils peuvent faire des comparaisons d'images acquises successivement ou une comparaison de chaque image acquise à des images caractéristiques stockées ou encore des comparaisons de valeurs de 15 données de capteurs à des valeurs caractéristiques stockées. Les moyens d'avertissement MA1 sont agencés pour générer un ensemble de données définissant une première imagette 11 et/ou une seconde imagette 12, de sorte que chaque imagette (11, 12) générée soit affichée sur un écran EA du véhicule V. Cet écran EA fait, par exemple, partie 20 du combiné central de la planche de bord PLB ou du combiné CT du tableau de bord (comme illustré non limitativement sur la figure 1). L'expression « et/ou » du paragraphe précédent signifie qu'il y a trois alternatives selon l'agencement choisi du dispositif DA. Dans une première alternative les moyens d'avertissement MA1 sont agencés pour générer un 25 ensemble de données définissant seulement une première imagette 11 lorsque les moyens de traitement MT sont agencés pour estimer uniquement le niveau d'état de distraction. Dans une deuxième alternative les moyens d'avertissement MA1 sont agencés pour générer un ensemble de données définissant seulement une seconde imagette 12 lorsque les moyens de 30 traitement MT sont agencés pour estimer uniquement le niveau d'état de somnolence. Dans une troisième alternative les moyens d'avertissement MA1 sont agencés pour générer un ensemble de données définissant non seulement une première imagette 11 mais également une seconde imagette 3034561 7 12 lorsque les moyens de traitement MT sont agencés pour estimer le niveau d'état de distraction et le niveau d'état de somnolence. Comme illustré non limitativement sur les figures 2 à 6, chaque première imagette 11 comporte un visage stylisé VS ayant une couleur et/ou 5 des éléments Ej et/ou des dimensions fonction du niveau d'état de distraction estimé. Comme illustré non limitativement sur les figures 7 à 9, chaque seconde imagette 12 comporte un visage stylisé VS ayant une couleur et/ou une orientation et/ou des dimensions fonction du niveau d'état de somnolence la estimé. Les éléments d'un visage stylisé VS peuvent être choisis parmi au moins une représentation d'une bouche concave (voir figures 2, 3 et 7), une représentation d'une bouche convexe (voir figures 5, 6 et 9), une représentation d'une bouche quasiment plane (voir figures 4 et 8), des 15 représentations d'yeux ouverts (voir figures 2, 3, et 7 à 9), des représentations d'yeux partiellement ouverts (voir figure 4), et des représentations d'yeux fermés (voir figures 5 et 6). Sur les figures 2 à 9, la bouche est référencée E2 (j = 2) et les yeux sont référencés El (j = 1). Par exemple, une bouche concave peut être utilisée lorsque le niveau 20 d'état de somnolence est nul (figure 2) ou faible (figure 3), une bouche quasiment plate peut être utilisée lorsque le niveau d'état de somnolence est moyen (figure 4) et une bouche convexe peut être utilisée lorsque le niveau d'état de somnolence est fort (figure 5) ou très fort (figure 6). Une bouche concave est en effet habituellement utilisée pour signaler que tout va bien, 25 une bouche sensiblement plate est en effet habituellement utilisée pour signaler que cela va moyennement bien, et une bouche convexe est en effet habituellement utilisée pour signaler que cela ne va pas. Egalement par exemple, des yeux ouverts (ici ronds) peuvent être utilisés lorsque le niveau d'état de somnolence est nul (figure 2) ou faible 30 (figure 3), des yeux partiellement ouverts (ici elliptiques) peuvent être utilisés lorsque le niveau d'état de somnolence est moyen (figure 4) et des yeux fermés (ici des lignes) peuvent être utilisés lorsque le niveau d'état de somnolence est fort (figure 5) ou très fort (figure 6). Des yeux ouverts 3034561 8 signalent effectivement que l'on est non somnolent (et donc bien vigilant), des yeux légèrement aplatis signalent effectivement une somnolence partielle (et donc une vigilance réduite), et des yeux fermés signalent effectivement une somnolence importante (et donc une vigilance très réduite ou nulle).The warning means MA1 can perform any type of analysis of the received acquired data to determine each state level. Thus, they can compare successively acquired images or a comparison of each acquired image with stored characteristic images or comparisons of values of sensor data with stored characteristic values. The warning means MA1 are arranged to generate a set of data defining a first thumbnail 11 and / or a second thumbnail 12, so that each thumbnail (11, 12) generated is displayed on an EA screen of the vehicle V. This screen EA is, for example, part 20 of the center stack of the instrument panel PLB or the instrument cluster CT of the dashboard (as illustrated in non-limiting manner in FIG. 1). The expression "and / or" of the preceding paragraph means that there are three alternatives according to the chosen arrangement of the device DA. In a first alternative, the warning means MA1 are arranged to generate a set of data defining only a first thumbnail 11 when the processing means MT are arranged to estimate only the level of distraction state. In a second alternative, the warning means MA1 are arranged to generate a set of data defining only a second thumbnail 12 when the processing means MT are arranged to estimate only the state of drowsiness. In a third alternative, the warning means MA1 are arranged to generate a set of data defining not only a first image 11 but also a second image 3034561 7 12 when the processing means MT are arranged to estimate the level of distraction state and the level of drowsiness. As illustrated without limitation in Figures 2 to 6, each first thumbnail 11 has a stylized face VS having a color and / or elements Ej and / or dimensions depending on the estimated distraction state level. As illustrated without limitation in FIGS. 7 to 9, each second image 12 comprises a stylized face VS having a color and / or an orientation and / or dimensions depending on the level of somnolence state estimated. The elements of a stylized face VS can be chosen from at least one representation of a concave mouth (see FIGS. 2, 3 and 7), a representation of a convex mouth (see FIGS. 5, 6 and 9), a representation an almost flat mouth (see FIGS. 4 and 8), open eye representations (see FIGS. 2, 3, and 7 to 9), partially open eye representations (see FIG. 4), and representations eyes closed (see Figures 5 and 6). In Figures 2 to 9, the mouth is referenced E2 (j = 2) and the eyes are referenced El (j = 1). For example, a concave mouth may be used when the level of drowsiness is nil (Fig. 2) or low (Fig. 3), an almost flat mouth may be used when the somnolence level is average (Fig. 4) and a convex mouth can be used when the state of drowsiness is strong (Figure 5) or very strong (Figure 6). A concave mouth is usually used to signal that all is well, a substantially flat mouth is indeed usually used to indicate that it is moderately good, and a convex mouth is indeed usually used to indicate that it is not right. Also for example, open eyes (here round) can be used when the level of drowsiness state is zero (Figure 2) or low (Figure 3), partially open eyes (here elliptical) can be used when the level Somnolence state is average (Figure 4) and closed eyes (here lines) can be used when the level of drowsiness is strong (Figure 5) or very strong (Figure 6). Open eyes 3034561 8 actually indicate that one is non-sleepy (and therefore very vigilant), slightly flattened eyes actually signal a partial drowsiness (and therefore reduced alertness), and closed eyes actually indicate significant drowsiness (and therefore very little or no vigilance).

5 Par ailleurs, sur les figures 2 à 9, chaque visage stylisé VS est délimité par un cercle, mais d'autres formes plus ou moins géométriques peuvent être utilisées. De même, un visage stylisé VS pourrait comporter d'autres éléments que ceux décrits ci-dessus, et notamment un nez et/ou des oreilles.On the other hand, in Figures 2 to 9, each stylized face VS is delimited by a circle, but other more or less geometric shapes may be used. Similarly, a stylized VS face could include other elements than those described above, including a nose and / or ears.

10 La couleur d'un visage stylisé VS peut, par exemple, être choisie parmi au moins le vert, l'orange et le rouge. Par exemple, la couleur verte peut être utilisée lorsque le niveau d'état de somnolence ou de distraction est nul (figures 2 et 7 - ici la couleur verte est remplacée par du blanc) ou faible (figure 3), la couleur orange peut être utilisée lorsque le niveau d'état de 15 somnolence ou de distraction est moyen (figures 4 et 8 - ici la couleur orange est remplacée par du gris clair), et la couleur rouge peut être utilisée lorsque le niveau d'état de somnolence ou de distraction est fort (figure 5 - ici la couleur orange est remplacée par du gris foncé) ou très fort (figures 6 et 9). Mais d'autres couleurs que les trois précitées peuvent être utilisées, y compris 20 des niveaux de gris différents. Dans le cas d'une seconde imagette 12, l'orientation d'un visage stylisé VS peut, par exemple, être choisie parmi au moins une vue de face (figure 7), une vue de trois quart (figure 8) et une vue de profil (figure 9). Par exemple, une vue de face peut être utilisée lorsque le niveau d'état de 25 distraction est nul ou faible (figure 7), une vue de trois quart peut être utilisée lorsque le niveau d'état de distraction est moyen (figure 8), et une vue de profil peut être utilisée lorsque le niveau d'état de distraction est fort ou très fort (figure 9). Les dimensions d'un visage stylisé VS peuvent être choisies parmi au 30 moins une grande dimension, une dimension moyenne, et une petite dimension. Par exemple, la grande dimension peut être utilisée lorsque le niveau d'état de somnolence ou de distraction est nul (figures 2 et 7) ou très fort (figure 6), la dimension moyenne peut être utilisée lorsque le niveau d'état 3034561 9 de somnolence ou de distraction est faible (figure 3) ou fort (figure 5), et la petite dimension peut être utilisée lorsque le niveau d'état de somnolence ou de distraction est moyen (figure 4). On notera, comme illustré non limitativement sur les figures 2 à 9, que 5 chaque première 11 ou seconde 12 imagette peut comprendre un cadre Cl de forme géométrique choisie et contenant une partie au moins du visage stylisé VS. On notera également que certains au moins des éléments Ej des secondes imagettes 12 peuvent éventuellement varier en fonction du niveau 10 d'état de distraction. C'est, notamment et par exemple, le cas des exemples de seconde imagette 12 illustrés sur les figures 8 et 9. Sur la figure 8, la représentation de la bouche E2 est en effet quasiment droite, et non plus convexe, et sur la figure 9, la représentation de la bouche E2 est concave, et non plus convexe. Les représentations des yeux El sont ici maintenues 15 rondes car les secondes imagettes 12 correspondent au niveau d'état de distraction et non pas au niveau d'état de somnolence. Comme illustré non limitativement sur les figures 2 à 9, le cadre Cl peut être carré. Mais dans des variantes de réalisation il pourrait être rectangulaire ou triangulaire ou pentagonal ou encore hexagonal, par 20 exemple. Par ailleurs, on peut envisager que le bord du cadre Cl soit de la même couleur que le visage stylisé VS qu'il encadre et/ou que l'épaisseur du bord du cadre Cl varie en fonction du niveau d'état de distraction ou d'état de somnolence que représente le visage stylisé VS qu'il encadre.The color of a stylized face VS may, for example, be selected from at least green, orange and red. For example, the green color can be used when the state of drowsiness or distraction is zero (Figures 2 and 7 - here the green color is replaced by white) or weak (Figure 3), the orange color can be used when the state of drowsiness or distraction is average (FIGS. 4 and 8 - here the orange color is replaced by light gray), and the red color can be used when the level of somnolence or distraction is strong (Figure 5 - here the color orange is replaced by dark gray) or very strong (Figures 6 and 9). But other colors than the aforementioned three can be used, including different gray levels. In the case of a second thumbnail 12, the orientation of a stylized face VS may, for example, be chosen from at least one front view (FIG. 7), a three-quarter view (FIG. in profile (Figure 9). For example, a front view may be used when the distraction state level is zero or low (Fig. 7), a three-quarter view may be used when the distraction state level is average (Fig. 8) , and a profile view can be used when the distraction state level is high or very high (Figure 9). The dimensions of a stylized VS face can be selected from at least one large dimension, one medium dimension, and one small dimension. For example, the large dimension may be used when the state of drowsiness or distraction is nil (Figures 2 and 7) or very strong (Figure 6), the average dimension may be used when the state level 3034561 9 sleepiness or distraction is low (Figure 3) or strong (Figure 5), and the small size can be used when the level of somnolence or distraction is average (Figure 4). It will be appreciated, as shown in non-limiting detail in FIGS. 2 to 9, that each first 11 or second 12 image may comprise a selected geometrically-shaped frame C1 containing at least a portion of the stylized face VS. It will also be appreciated that at least some of the elements Ej of the second thumbs 12 may possibly vary depending on the level of distraction state. This is, for example, the case of the examples of second image 12 illustrated in FIGS. 8 and 9. In FIG. 8, the representation of the mouth E 2 is in fact almost straight, and no longer convex, and on the Figure 9, the representation of the mouth E2 is concave, and no longer convex. The representations of the eyes E1 are here kept round because the second images 12 correspond to the state of distraction level and not to the level of drowsiness. As illustrated without limitation in FIGS. 2 to 9, the frame C1 may be square. But in alternative embodiments it could be rectangular or triangular or pentagonal or hexagonal, for example. On the other hand, it is conceivable that the edge of the frame C1 is of the same color as the stylized face VS which it frames and / or that the thickness of the edge of the frame Cl varies according to the level of state of distraction or the state of drowsiness represented by the stylized VS face that it frames.

25 On notera également que les moyens d'avertissement MA1 peuvent être éventuellement agencés pour déclencher l'affichage sur un écran EA du véhicule V d'un message de type textuel et/ou la diffusion par au moins un haut-parleur du véhicule V d'un message audio (ou d'un signal sonore spécifique) en complément d'une première 11 ou seconde 12 imagette.It will also be noted that the warning means MA1 may optionally be arranged to trigger the display on an EA screen of the vehicle V of a text-type message and / or the diffusion by at least one loudspeaker of the vehicle V an audio message (or a specific sound signal) in addition to a first 11 or second 12 image.

30 Cette invention offre plusieurs avantages, parmi lesquels : - elle permet de laisser le conducteur décider en toute connaissance de cause de l'instant à partir duquel il doit faire une pause, 3034561 10 - elle permet d'utiliser des moyens de traitement peu complexes du fait que les charges de calcul sont réduites et que la capacité de mémoire nécessaire est réduite. Cela résulte notamment du fait que l'on a besoin ni d'utiliser un système de coordonnées globales du véhicule, ni de transférer 5 des signaux vidéo entre les moyens de traitement et les moyens d'affichage.This invention offers several advantages, among which: it allows the driver to make an informed decision about the moment from which he must pause, 3034561 10 - it allows the use of uncomplicated means of treatment because computing loads are reduced and the necessary memory capacity is reduced. This results in particular from the fact that it is neither necessary to use a global coordinate system of the vehicle nor to transfer video signals between the processing means and the display means.

Claims (8)

REVENDICATIONS1. Dispositif (DA) pour avertir un conducteur d'un véhicule (V) de l'état dans lequel il se trouve pendant une phase de roulage, ledit dispositif (DA) comprenant des moyens de traitement (MT) agencés pour estimer un niveau d'état de distraction et/ou un niveau d'état de somnolence dudit conducteur en fonction de données acquises représentatives dudit conducteur, caractérisé en ce qu'il comprend en outre des moyens d'avertissement (MA1) agencés pour générer un ensemble de données définissant une première imagette (11), comportant un visage stylisé (VS) ayant une couleur et/ou des éléments (Ej) et/ou des dimensions fonction dudit niveau d'état de distraction estimé, et/ou une seconde imagette (12) comportant un visage stylisé (VS) ayant une couleur et/ou une orientation et/ou des dimensions fonction dudit niveau d'état de somnolence estimé, de sorte que chaque imagette (11, 12) soit affichée sur un écran (EA) dudit véhicule (V).REVENDICATIONS1. Device (DA) for warning a driver of a vehicle (V) of the state in which he is during a taxiing phase, said device (DA) comprising processing means (MT) arranged to estimate a level of state of distraction and / or a state of somnolence state of said conductor based on acquired data representative of said conductor, characterized in that it further comprises warning means (MA1) arranged to generate a set of data defining a first thumbnail (11), having a stylized face (VS) having a color and / or elements (Ej) and / or dimensions depending on said estimated distraction state level, and / or a second thumbnail (12) having a stylized face (VS) having a color and / or orientation and / or dimensions depending on said estimated somnolence state level, such that each thumbnail (11, 12) is displayed on a screen (EA) of said vehicle (V ). 2. Dispositif selon la revendication 1, caractérisé en ce que chaque imagette (11, 12) comprend un cadre (Cl) de forme géométrique choisie et contenant une partie au moins dudit visage stylisé (VS).2. Device according to claim 1, characterized in that each thumbnail (11, 12) comprises a frame (C1) of geometric shape chosen and containing at least a portion of said stylized face (VS). 3. Dispositif selon l'une des revendications 1 et 2, caractérisé en ce que lesdits éléments (Ej) sont choisis dans un groupe comprenant une représentation d'une bouche concave, une représentation d'une bouche convexe, une représentation d'une bouche quasiment plane, des représentations d'yeux ouverts, des représentations d'yeux partiellement ouverts, et des représentations d'yeux fermés.3. Device according to one of claims 1 and 2, characterized in that said elements (Ej) are selected from a group comprising a representation of a concave mouth, a representation of a convex mouth, a representation of a mouth almost flat, representations of open eyes, representations of partially open eyes, and representations of closed eyes. 4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce que ladite orientation est choisie dans un groupe comprenant une vue de face, une vue de trois quart et une vue de profil.4. Device according to one of claims 1 to 3, characterized in that said orientation is selected from a group comprising a front view, a three-quarter view and a side view. 5. Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que ladite couleur est choisie dans un groupe comprenant le vert, l'orange et le rouge.5. Device according to one of claims 1 to 4, characterized in that said color is selected from a group comprising green, orange and red. 6. Dispositif selon l'une des revendications 1 à 5, caractérisé en ce qu'il comprend des moyens d'acquisition (MA2) agencés pour acquérir lesdites 3034561 12 données représentatives dudit conducteur.6. Device according to one of claims 1 to 5, characterized in that it comprises acquisition means (MA2) arranged to acquire said data representative of said driver. 7. Véhicule (V), caractérisé en ce qu'il comprend un dispositif d'avertissement (DA) selon l'une des revendications précédentes.7. Vehicle (V), characterized in that it comprises a warning device (DA) according to one of the preceding claims. 8. Véhicule selon la revendication 7, caractérisé en ce qu'il est de type 5 automobile.8. Vehicle according to claim 7, characterized in that it is automotive type.
FR1552655A 2015-03-30 2015-03-30 DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S) Pending FR3034561A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1552655A FR3034561A1 (en) 2015-03-30 2015-03-30 DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1552655A FR3034561A1 (en) 2015-03-30 2015-03-30 DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S)

Publications (1)

Publication Number Publication Date
FR3034561A1 true FR3034561A1 (en) 2016-10-07

Family

ID=53200173

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1552655A Pending FR3034561A1 (en) 2015-03-30 2015-03-30 DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S)

Country Status (1)

Country Link
FR (1) FR3034561A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3063356A1 (en) * 2017-02-28 2018-08-31 Peugeot Citroen Automobiles Sa DEVICE FOR DISPLAYING A DISTRACTION STATUS LEVEL AND A SOMNOLENCE STATUS LEVEL.
WO2023092611A1 (en) * 2021-11-29 2023-06-01 深圳市大疆创新科技有限公司 Information broadcasting method and apparatus, traffic state prompting method and apparatus, and vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015527A1 (en) * 2000-07-26 2002-02-07 Masaya Nambu Computer system for relieving fatigue
WO2008084020A1 (en) * 2007-01-12 2008-07-17 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3d captured image stream
US20120242819A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. System and method for determining driver alertness
US20130215112A1 (en) * 2012-02-17 2013-08-22 Etron Technology, Inc. Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof
US20150042662A1 (en) * 2013-08-08 2015-02-12 Kabushiki Kaisha Toshiba Synthetic audiovisual storyteller

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015527A1 (en) * 2000-07-26 2002-02-07 Masaya Nambu Computer system for relieving fatigue
WO2008084020A1 (en) * 2007-01-12 2008-07-17 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3d captured image stream
US20120242819A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. System and method for determining driver alertness
US20130215112A1 (en) * 2012-02-17 2013-08-22 Etron Technology, Inc. Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof
US20150042662A1 (en) * 2013-08-08 2015-02-12 Kabushiki Kaisha Toshiba Synthetic audiovisual storyteller

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3063356A1 (en) * 2017-02-28 2018-08-31 Peugeot Citroen Automobiles Sa DEVICE FOR DISPLAYING A DISTRACTION STATUS LEVEL AND A SOMNOLENCE STATUS LEVEL.
WO2023092611A1 (en) * 2021-11-29 2023-06-01 深圳市大疆创新科技有限公司 Information broadcasting method and apparatus, traffic state prompting method and apparatus, and vehicle

Similar Documents

Publication Publication Date Title
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
FR2734701A1 (en) SYSTEM FOR MONITORING THE EYES TO DETECT SLEEPING BEHAVIOR
US20110037595A1 (en) Driver state monitoring system
FR3034561A1 (en) DEVICE FOR WARNING OF A VEHICLE DRIVER FROM THE LEVEL OF ITS SOMNOLENCE STATE AND / OR THE LEVEL OF ITS DISTRACTION CONDITION BY MEANS OF IMAGETTE (S)
EP3579191B1 (en) Dynamic estimation of instantaneous pitch and roll of a video camera embedded in a motor vehicle
FR3016573B1 (en) VEHICLE MIRROR INSTALLATION
EP3261893B1 (en) Device for aiding the driving of a vehicle as a function of an estimation of at least one level of overall vigilance of the driver
FR2942064A1 (en) Method for alerting driver of motor vehicle e.g. bus, during event occurred on back side of vehicle, involves displaying pictogram in form of contour of visible part of reflection of vehicle on glass of rear-view mirrors
EP3627467B1 (en) Method and device for detecting the state of a front bonnet of a motor vehicle by comparing fields of view
EP3364338A1 (en) Device for compressing a video sequence and device for monitoring a driver comprising such a compression device
FR3063356A1 (en) DEVICE FOR DISPLAYING A DISTRACTION STATUS LEVEL AND A SOMNOLENCE STATUS LEVEL.
FR3066158A1 (en) METHOD AND SYSTEM FOR ALERTING A PRESENCE IN A DEAD ANGLE OF A VEHICLE
FR3079652A1 (en) METHOD FOR EVALUATING A DISTANCE, ASSOCIATED EVALUATION SYSTEM AND SYSTEM FOR MANAGING AN INFLATABLE CUSHION
FR3034560A1 (en) VEHICLE DRIVER WARNING DEVICE USING IMAGETTE REPRESENTATIVE OF ITS POSITION OF DRIVING
FR3103606A1 (en) MONITORING OF VEHICLE PASSENGERS BY COMPARISON OF PHYSIOLOGICAL PARAMETER VALUES TO REFERENCE VALUES
FR3040816A1 (en) DEVICE AND METHOD FOR DETECTING THE EMOTIONAL STATE OF A DRIVER
EP3259165A1 (en) Method and device for detecting a change in the behaviour of a driver of a motor vehicle
EP3867126B1 (en) Method and device for assisting with driving a motor vehicle during reversing
FR3107495A1 (en) Monitoring device for monitoring a person driving a vehicle
WO2022033891A1 (en) Method for determining the posture of a driver
FR3093577A1 (en) Method of preventive detection of motion sickness for an occupant of a vehicle, and associated vehicle
EP3752394A1 (en) Method for monitoring an environment of a parked motor vehicle comprising an asynchronous camera
EP3110661B1 (en) Parking assistance device detecting entry into or exit from a parking zone, for a vehicle driver
FR3048175A1 (en) DEVICE AND METHOD FOR DETECTING A COGNITIVE DISTRACTION STATUS OF A DRIVER
FR3072932A1 (en) SCREEN DISPLAY DEVICE FIXED TO A PART OF A SYSTEM FOR TRANSPARENCY OF A MASKING MEMBER.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20161007

PLFP Fee payment

Year of fee payment: 3