WO2023157720A1 - 車両用顔登録制御装置及び車両用顔登録制御方法 - Google Patents

車両用顔登録制御装置及び車両用顔登録制御方法 Download PDF

Info

Publication number
WO2023157720A1
WO2023157720A1 PCT/JP2023/003998 JP2023003998W WO2023157720A1 WO 2023157720 A1 WO2023157720 A1 WO 2023157720A1 JP 2023003998 W JP2023003998 W JP 2023003998W WO 2023157720 A1 WO2023157720 A1 WO 2023157720A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
face image
bad condition
occupant
vehicle
Prior art date
Application number
PCT/JP2023/003998
Other languages
English (en)
French (fr)
Inventor
大貴 吉原
史朗 中村
友紀 藤澤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2023157720A1 publication Critical patent/WO2023157720A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Definitions

  • the present disclosure relates to a vehicle face registration control device and a vehicle face registration control method.
  • Patent Literature 1 discloses a technique that attempts to solve the problem that a part of a photographed face of a person to be recognized is hidden and authentication cannot be performed.
  • Japanese Patent Application Laid-Open No. 2002-200001 discloses a technique of dividing a photographed face image into three regions, upper, middle, and lower, and performing authentication for each region.
  • face authentication is accepted when authentication is successful for all parts. Further, in Patent Document 1, even if authentication fails in one of the three parts, if authentication succeeds in the other two parts, the operator is again photographed. encourage
  • Patent Document 1 assumes that the face image registered in advance is a face image suitable for authentication.
  • face images inappropriate for authentication may be registered as face images for authentication.
  • a face image inappropriate for authentication includes a face image in which a part of the face is hidden by an object or light. If a face image inappropriate for authentication is registered as a face image for authentication, accurate authentication cannot be performed even with the technology disclosed in Patent Document 1.
  • the user cannot recognize what was inappropriate and could not be registered, it takes time and effort to register the face image.
  • One object of this disclosure is to enable registration of face images that enable more accurate authentication while reducing the time and effort required for registration even when face images for authentication are automatically registered.
  • An object of the present invention is to provide a vehicle face registration control device and a vehicle face registration control method.
  • a vehicle face registration control device of the present disclosure is a vehicle face registration control device that registers a face image used for facial authentication of a vehicle occupant, and is an imaging device used in a vehicle.
  • a face image acquisition unit that acquires the captured face image of the passenger
  • a registration unit that registers the face image acquired by the face image acquisition unit as an authentication image that is a face image used for face authentication
  • a face image acquisition unit A bad condition discrimination unit that discriminates whether an acquired face image corresponds to one of multiple types of bad conditions that are not suitable for face authentication by distinguishing the types of bad conditions, and a face image acquired by the face image acquisition unit.
  • a notification control unit that, when the bad condition determination unit determines that the bad condition applies, at least one of a notification indicating the bad condition that the face image corresponds to and a notification indicating a solution to the bad condition;
  • the registration unit registers the face image as an authentication image, while the registration unit registers the face image as an authentication image. If the bad condition determination unit determines that the face image acquired in step 2 satisfies the bad condition, the face image is not registered as the authentication image.
  • a vehicle face registration control method of the present disclosure is a vehicle face registration control method for registering a face image used for face authentication of a vehicle occupant, and is executed by at least one processor.
  • the bad condition determination process determines that the face image acquired in the face image acquisition process does not correspond to a bad condition, the face image is used as an authentication image
  • the face image obtained in the face image obtaining step is determined to be in the bad condition determination step, the face image is not registered as the authentication image.
  • the facial image of the occupant captured by the imaging device corresponds to one of a plurality of bad conditions that are not suitable for face authentication
  • the facial image is registered as the authentication image. I will not. Therefore, it is possible to prevent a face image inappropriate for authentication from being registered as a face image for authentication, and to perform more accurate authentication.
  • a notification indicating the bad condition to which the face image corresponds At least one notification indicating a solution to the adverse condition is to be made.
  • the occupant who has received this notification can know the cause of failure in registration of the face image and the countermeasures for successful registration of the face image. Therefore, even if facial image registration fails once, it is possible to easily lead to successful facial image registration. As a result, even when facial images for authentication are automatically registered, it is possible to register facial images that enable more accurate authentication while reducing the trouble of registration.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a vehicle system 1;
  • FIG. 1 is a diagram showing an example of a schematic configuration of an HCU 10;
  • FIG. 4 is a flowchart showing an example of the flow of face registration-related processing in the HCU 10;
  • a vehicle system 1 shown in FIG. 1 can be used in a vehicle.
  • the vehicle system 1 includes an HCU (Human Machine Interface Control Unit) 10, an indoor camera 11, a presentation device 12, and a user input device 13, as shown in FIG.
  • the HCU 10 may be configured to be connected to an in-vehicle LAN (see LAN in FIG. 1).
  • the vehicle using the vehicle system 1 is not necessarily limited to an automobile, the case where the system is used in an automobile will be described below as an example.
  • the indoor camera 11 captures an image of a predetermined range inside the vehicle.
  • This indoor camera 11 corresponds to an imaging device.
  • the indoor camera 11 preferably captures an image of a range including at least the driver's seat of the own vehicle.
  • the indoor camera 11 may capture an image of a range including the driver's seat, the front passenger's seat, and the rear seats of the own vehicle.
  • the indoor camera 11 is composed of, for example, a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the indoor camera 11 takes an image of an occupant of the own vehicle irradiated with near-infrared light by a near-infrared light source.
  • the presentation device 12 is provided in the vehicle and presents information to the interior of the vehicle. In other words, the presentation device 12 notifies the occupants of the own vehicle. The presentation device 12 notifies according to control of HCU10.
  • the presentation device 12 includes, for example, a display device and an audio output device.
  • the display device notifies you by displaying information.
  • a meter MID Multi Information Display
  • CID Center Information Display
  • HUD Head-Up Display
  • the audio output device notifies by outputting audio.
  • a speaker etc. are mentioned as an audio
  • the meter MID is an indicator installed in front of the driver's seat inside the vehicle.
  • the meter MID may be configured to be provided on the meter panel.
  • CID is an indicator placed in the center of the instrument panel of the vehicle.
  • the HUD is provided, for example, on an instrument panel inside the vehicle.
  • the HUD projects a display image formed by the projector onto a predetermined projection area on the front windshield as a projection member. The light of the image reflected by the front windshield to the inside of the passenger compartment is perceived by the driver sitting in the driver's seat. As a result, the driver can visually recognize the virtual image of the display image formed in front of the front windshield overlapping a part of the foreground.
  • the HUD may be configured to project the display image onto a combiner provided in front of the driver's seat instead of the front windshield.
  • the user input device 13 accepts input from the user.
  • the user input device 13 may be an operation device that receives operation input from the user.
  • the operation device may be a mechanical switch or a touch switch integrated with a display such as a CID. It should be noted that the user input device 13 is not limited to an operation device that receives operation input as long as it is a device that receives input from the user. For example, it may be a voice input device that receives command input by voice from the user.
  • the HCU 10 is mainly composed of a computer equipped with a processor, volatile memory, non-volatile memory, I/O, and a bus connecting these.
  • HCU 10 is connected to indoor camera 11 , presentation device 12 , and user input device 13 .
  • the HCU 10 executes a control program stored in the nonvolatile memory to perform processing related to registration of a face image used for face authentication (hereinafter referred to as face registration related processing).
  • This HCU 10 corresponds to a vehicle face registration control device.
  • the configuration of the HCU 10 will be described in detail below.
  • the HCU 10 includes a facial image acquisition unit 101, a bad condition determination unit 102, a registration unit 103, a storage unit 104, a notification control unit 105, and a personal authentication unit 106 as functional blocks. Execution of the processing of each functional block of the HCU 10 by the computer corresponds to execution of the vehicle face registration control method. A part or all of the functions executed by the HCU 10 may be configured as hardware using one or a plurality of ICs or the like. Also, some or all of the functional blocks provided in the HCU 10 may be implemented by a combination of software executed by a processor and hardware members.
  • the face image acquisition unit 101 acquires the face image of the passenger of the vehicle captured by the indoor camera 11 used in the vehicle.
  • the processing in this face image acquisition unit 101 corresponds to the face image acquisition step.
  • the occupant whose face image is acquired may be configured to be limited to the driver, or may be configured to be not limited to the driver. In this embodiment, a case of acquiring a driver's face image will be described as an example.
  • the bad condition determination unit 102 determines whether the face image corresponds to one of a plurality of types of bad conditions that are not suitable for face authentication. discriminate and discriminate.
  • the processing in the bad condition determination unit 102 corresponds to the bad condition determination step.
  • the bad condition determination unit 102 uses a learning device trained in advance so as to distinguish and discriminate between types of bad conditions. It is sufficient to distinguish between the types of bad conditions and determine whether any of the above applies.
  • learning for example, machine learning may be used.
  • machine learning for example, deep learning may be used.
  • the bad condition determination unit 102 distinguishes and determines wearing of a mask by the occupant as one of the types of bad conditions.
  • the ill-condition determination unit 102 may perform determination using a learning device that performs machine learning in advance using, for example, an image of a person wearing a mask.
  • the bad condition determination unit 102 may discriminate whether or not the occupant is wearing a mask, for example, based on the characteristic luminance distribution of the image of the person wearing the mask. Just do it.
  • the adverse condition determination unit 102 distinguishes and determines wearing of a wearable item that hides the neck of the occupant (hereinafter referred to as a specific wearable item) as one type of adverse condition.
  • the specific wearable items include neck warmers, hijabs, and the like.
  • the bad condition determination unit 102 may perform determination using, for example, a learning device in which machine learning is performed in advance using an image of a person wearing the specific attachment. When the learning device is not used, the bad condition determination unit 102 distinguishes whether or not the occupant wears the specific clothing based on the characteristic luminance distribution of the image of the person wearing the specific clothing. It is enough to judge.
  • the bad condition determination unit 102 distinguishes the wearing of sunglasses by the occupant as one of the types of bad conditions.
  • the ill-condition determination unit 102 may perform determination using a learning device that performs machine learning in advance using, for example, an image of a person wearing sunglasses.
  • the bad condition determination unit 102 may discriminate whether or not the occupant is wearing sunglasses, for example, based on the characteristic luminance distribution of the image of the person wearing the sunglasses. Just do it.
  • the bad condition determination unit 102 distinguishes a bad condition in which a shadow is cast on the passenger's face (hereinafter referred to as a shadow cast) as one type of bad condition, and even determines which area of the passenger's face is shadowed. It is preferable to discriminate.
  • the bad condition determination unit 102 may perform determination using a learning device that performs machine learning in advance using, for example, an image of a person whose face is shaded.
  • the shadow difference referred to here may be a shadow with a density and a range at which the probability of face authentication failure is equal to or higher than a specified ratio.
  • the prescribed ratio referred to here may be set arbitrarily.
  • the bad condition determination unit 102 determines which area of the occupant's face is shaded, for example, based on the distribution of luminance below the threshold in the face image over a certain range. It can be determined by distinguishing whether there are any.
  • the threshold value and the certain range may be set to values corresponding to the darkness and range of the shadow estimated to have a probability of failing in face authentication being equal to or higher than a specified ratio.
  • the shaded areas may be grouped into, for example, several sections.
  • the bad condition determination unit 102 distinguishes and determines overexposure of the face image as one of the types of bad conditions. Blown-out highlights indicate a state in which the brightness of an image has reached the upper limit that can be represented by a computer. Overexposure indicates a state in which the value of the index indicating the brightness of the image has reached the value indicating the maximum brightness.
  • the ill-condition determination unit 102 may perform determination using a learning device that performs machine learning in advance using, for example, a face image in which whiteout occurs. When the learning device is not used, the ill-condition determination unit 102 may determine blown-out highlights by distinguishing them, for example, based on the distribution of areas with the maximum luminance value in the face image.
  • the blown-out highlights may be configured to be limited to a size greater than or equal to a certain range.
  • the certain range referred to here may be a range in which the probability of failure in face authentication is estimated to be equal to or higher than a specified ratio.
  • the bad condition determination unit 102 distinguishes and determines, as one of the types of bad conditions, a facial image taken in a face orientation outside the specified range of the passenger.
  • the bad condition determination unit 102 may perform determination using, for example, a learning device that performs machine learning in advance using face images of face orientations outside the specified range. “Outside the designated range” may be a face orientation within a range in which the probability of face recognition failure is estimated to be equal to or higher than a specified ratio.
  • the bad condition determination unit 102 determines whether the occupant's face direction is outside the specified range. What is necessary is just to distinguish and discriminate
  • the bad condition determination unit 102 may be configured to distinguish and determine other bad conditions, not limited to the examples of bad conditions described above. For example, a configuration may be adopted in which wearing of a hat by the passenger is determined as one type of bad condition.
  • the registration unit 103 registers the face image acquired by the face image acquisition unit 101 as an authentication image that is a face image used for face authentication.
  • the registration unit 103 may register the authentication image by storing it in the storage unit 104 .
  • the storage unit 104 may be an electrically rewritable nonvolatile memory.
  • the registration unit 103 registers the face image as an authentication image.
  • the registration unit 103 does not register the face image as an authentication image.
  • the processing in this registration unit 103 corresponds to the registration step.
  • the notification control unit 105 controls the presentation device 12 .
  • the notification control unit 105 causes the presentation device 12 to perform notification.
  • the notification control unit 105 issues a notification indicating the bad condition to which the face image corresponds (hereinafter referred to as a failure factor notification). ), and a notification indicating a solution to the bad condition (hereinafter referred to as a solution notification).
  • the processing in this notification control unit 105 corresponds to a notification control step. Failure factor notification and solution notification may be performed by any of icon display, text display, and voice output.
  • the notification control unit 105 causes the following notification to be made.
  • the failure factor notification a notification indicating that the occupant is wearing a mask may be issued. According to this, when face image registration fails due to wearing a mask, the occupant can recognize that wearing a mask is the cause of the failure. As the solution notification, it is sufficient to issue a notification instructing the user to remove the mask. According to this, when facial image registration fails due to wearing of a mask, the occupant can more easily recognize what should be done for successful registration.
  • the notification control unit 105 causes the following notification to be made.
  • the failure factor notification a notification indicating that the occupant is wearing a specific attachment may be sent.
  • face image registration fails due to wearing of the specific wearable item
  • the occupant can recognize that wearing of the specific wearable item is the cause of the failure.
  • the notification control unit 105 causes the following notification to be made.
  • the failure factor notification a notification indicating that the passenger is wearing sunglasses may be issued. According to this, when the face image registration fails due to the wearing of sunglasses, the occupant can recognize that the wearing of sunglasses is the cause of the failure.
  • the solution notification a notification instructing the user to remove the sunglasses may be issued. According to this, when facial image registration fails due to wearing of sunglasses, the occupant can more easily recognize what should be done for successful registration.
  • the notification control unit 105 causes the following notification to be made.
  • a notification indicating a bad condition in which the passenger's face is shaded may be sent.
  • a notification may also be made to indicate which area of the occupant's face is in shadow.
  • the face image obtained by the face image obtaining unit 101 may be displayed on the display, and the shaded area of the face image may be highlighted. According to this, when face image registration fails due to shadow cast, the occupant can recognize that the failure is caused by a bad condition in which the occupant's face is shadowed.
  • the occupant is more likely to recognize what to do for successful registration.
  • the notice to instruct to remove the shield between the indoor camera 11 and the occupant's face may be given. According to this, when face image registration fails due to shadow projection, the passenger can more easily recognize what should be done for successful registration.
  • the notification control unit 105 causes the following notification to be made.
  • the failure factor notification a notification indicating blown-out highlights in the face image may be sent.
  • the passenger can recognize that the overexposure of the face image is the cause of the failure.
  • the solution notification it is sufficient to issue a notification instructing the user to use the sun visor of the vehicle to block external light. According to this, when face image registration fails due to overexposure, the passenger can more easily recognize what should be done for successful registration.
  • the notification control unit 105 causes the following notification to be performed.
  • the failure factor notification a notification indicating that the face image of the occupant is captured in a face orientation outside the designated range may be performed. According to this, when facial image registration fails due to imaging with a face orientation outside the designated range, the passenger can recognize that imaging with the face orientation out of the designated range is the cause of the failure.
  • the solution notification it is sufficient to issue a notification instructing the passenger to take a face image in a face orientation within a specified range. As an example, it is possible to issue a notification instructing the indoor camera 11 to face forward.
  • the personal authentication unit 106 performs face authentication.
  • the personal authentication unit 106 compares the face image acquired by the face image acquisition unit 101 with authentication images registered in the storage unit 104 .
  • the personal authentication unit 106 may perform matching based on the degree of similarity such as the shape of characteristic parts such as the eyes, nose, and mouth, the outline of the face, and the positional relationship between the characteristic parts.
  • the personal authentication unit 106 may establish face authentication when the degree of similarity with the authentication image is equal to or greater than a threshold. On the other hand, if the degree of similarity with the authentication image is less than the threshold, face authentication should not be established.
  • the threshold referred to here may be set arbitrarily.
  • the personal authentication unit 106 can set the vehicle via the in-vehicle LAN according to the individual for whom face authentication is successful.
  • vehicle settings suitable for individuals include seat adjustment and air conditioning settings suitable for individuals.
  • the flow chart of FIG. 3 may be configured to be started when, for example, the opening and closing of the driver's seat door of the own vehicle and the seating in the driver's seat are detected.
  • the opening and closing of the driver's door can be detected from the signal of the door courtesy switch.
  • Seating on the driver's seat may be detected from a signal from a seating sensor provided on the driver's seat.
  • step S1 the facial image acquisition unit 101 acquires the facial image of the driver of the vehicle captured by the indoor camera 11.
  • step S ⁇ b>2 the personal authentication unit 106 performs face authentication by matching the face image acquired in S ⁇ b>1 with authentication images registered in the storage unit 104 .
  • step S3 if face authentication is successful (YES in S3), the process moves to step S4. On the other hand, if face authentication is not successful (NO in S3), the process proceeds to step S5.
  • step S4 the personal authentication unit 106 causes the vehicle to be set according to the individual whose face has been authenticated, and ends the face registration-related processing.
  • step S5 if the adverse condition determination unit 102 determines that the driver wears the equipment as an adverse condition based on the face image acquired in step S1 (YES in step S5), the process proceeds to step S6. move. Examples of wearable items include the aforementioned masks, specific wearable items, sunglasses, and the like. On the other hand, if it is not determined that the driver wears the equipment (NO in S5), the process proceeds to step S7.
  • step S6 the notification control unit 105 causes a solution notification to be sent, returns to S1, and repeats the process. If the wearable object is a mask, the notification control unit 105 issues a notification instructing the wearer to remove the mask. If the wearable item is a specific wearable item, the notification control unit 105 issues a notification instructing the wearer to remove the specific wearable item. The notification control unit 105 causes a notification to instruct the wearer to remove the sunglasses when the wearing item is sunglasses. In the case of returning from S6 to S1, in order to secure time for the passenger to take measures to resolve the problem, it may be configured to return to S1 after a certain period of time has passed since the notification of measures to resolve the problem.
  • step S7 if the bad condition determination unit 102 determines that the face image obtained in step S1 corresponds to imaging of the face in a direction outside the specified range of the occupant as a bad condition (YES in step S7). ), go to step S8.
  • the notification control unit 105 causes a solution notification to be sent, returns to S1, and repeats the process.
  • the notification control unit 105 issues a notification instructing the occupant to take a face image in a face orientation within a specified range. In the case of returning from S8 to S1, a configuration may be adopted in which the process returns to S1 after a certain period of time has passed since the solution notification.
  • the bad condition determination unit 102 determines the reliability of the face image acquired in S1.
  • the reliability of a face image may be a value of, for example, the likelihood of an extracted part when the eyes, nose, mouth, outline of the face, etc. are extracted from the face image by image recognition technology. It is assumed that the likelihood of an extracted part becomes lower as the brightness of the image is too high or too low, or if a part of the extracted part is missing.
  • the bad condition determination unit 102 may determine that the reliability of the face image is high when the likelihood value is equal to or greater than the threshold.
  • the threshold referred to here may be set arbitrarily.
  • the control unit of the indoor camera 11 may be configured to extract the eyes, nose, mouth, outline of the face, etc. from the face image.
  • step S9 if the reliability of the face image is high (YES at S9), the process moves to step S10. On the other hand, if the reliability of the face image is not high (NO in S9), the process proceeds to step S11. If the reliability of the face image is not high, it is assumed that it corresponds to the above-mentioned overexposure or shadow cast.
  • step S10 the registration unit 103 registers the face image acquired in S1 as an authentication image, and terminates the face registration-related processing.
  • step S11 if the bad condition determination unit 102 determines that the face image acquired in step S1 corresponds to blown-out highlights as a bad condition (YES in step S11), the process proceeds to step S12. On the other hand, if it is not determined to correspond to blown-out highlights (NO in S11), the bad condition determining unit 102 determines that it corresponds to shadow cast, and the process proceeds to step S13. In this case, the bad condition determination unit 102 determines by distinguishing even which area of the occupant's face is shaded.
  • step S12 the notification control unit 105 causes a solution notification to be sent, returns to S1, and repeats the process.
  • the notification control unit 105 issues a notification instructing the vehicle to block external light using the sun visor of the vehicle.
  • a configuration may be adopted in which the process returns to S1 after a certain period of time has passed since the solution notification.
  • step S13 the notification control unit 105 causes a solution notification to be sent, returns to S1, and repeats the process.
  • the notification control unit 105 issues a notification indicating which area of the occupant's face is in shadow and an instruction to remove the shield between the indoor camera 11 and the occupant's face.
  • a configuration may be adopted in which the process returns to S1 after a certain period of time has passed since the solution notification.
  • the processing of S9 may be omitted.
  • the configuration may be changed from S7 to S11.
  • the process may proceed to step S13.
  • the process may be returned to S1 and the processing may be repeated.
  • the notification control unit 105 may issue a notification indicating that the cause of the face image registration failure is unknown.
  • the trigger for starting the face registration-related processing is the detection of the opening and closing of the driver's door of the own vehicle and the sitting in the driver's seat, but this is not necessarily the case.
  • the user input device 13 may receive an input requesting registration of a face image as a trigger to start the face registration-related processing.
  • the processing of S2 to S4 in the flow chart of FIG. 3 may be omitted, and the configuration may proceed from S1 to S5.
  • the face image of the occupant captured by the indoor camera 11 falls under any of a plurality of types of adverse conditions that are not suitable for face authentication
  • the face image is used for authentication. It will not be registered as an image. Therefore, it is possible to prevent a face image inappropriate for authentication from being registered as a face image for authentication, and to perform more accurate authentication.
  • a notification indicating the adverse condition to which the facial image corresponds At least one notification indicating a solution to the bad condition is made to be sent.
  • the occupant who has received this notification can know the cause of failure in registration of the face image and the countermeasures for successful registration of the face image. Therefore, even if facial image registration fails once, it is possible to easily lead to successful facial image registration. As a result, even when facial images for authentication are automatically registered, it is possible to register facial images that enable more accurate authentication while reducing the trouble of registration.
  • Embodiment 2 In Embodiment 1, the configuration in which the HCU 10 performs face registration-related processing is shown, but the configuration is not necessarily limited to this.
  • the face registration-related processing may be configured to be performed by an electronic control device other than the HCU 10 .
  • this electronic control device other than the HCU 10 corresponds to the vehicle face registration control device.
  • controller and techniques described in this disclosure may also be implemented by a special purpose computer comprising a processor programmed to perform one or more functions embodied by a computer program.
  • the apparatus and techniques described in this disclosure may be implemented by dedicated hardware logic circuitry.
  • the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured by a combination of a processor executing a computer program and one or more hardware logic circuits.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

自車で用いられる室内カメラ（１１）で撮像される乗員の顔画像を取得する顔画像取得部（１０１）と、取得した顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、悪条件の種類を区別して判別する悪条件判別部（１０２）と、取得した顔画像が悪条件に該当すると悪条件判別部（１０２）で判別した場合に、失敗要因通知及び解消策通知の少なくともいずれかの通知を行わせる通知制御部（１０５）と、取得した顔画像が悪条件に該当すると悪条件判別部（１０２）で判別した場合には、その顔画像を認証用画像として登録しない登録部（１０３）とを備える。

Description

車両用顔登録制御装置及び車両用顔登録制御方法 関連出願の相互参照
　この出願は、２０２２年２月１７日に日本に出願された特許出願第２０２２－０２３２４６号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
　本開示は、車両用顔登録制御装置及び車両用顔登録制御方法に関するものである。
　撮影した顔画像と予め登録してある顔画像とを照合して正規のユーザの認証を行う顔認証が知られている。例えば、特許文献１には、撮影された被認識者の顔の一部が隠れてしまい、認証をすることができないという問題の解決を試みた技術が開示されている。特許文献１には、撮影された顔画像を、上、中、下の３つの部位に分割して、部位毎に認証を行う技術が開示されている。特許文献１では、すべての部位で認証が成功した場合に、顔認証をＯＫとする。また、特許文献１では、３つの部位のうち、１つの部位で認証が失敗した場合であっても、他の２つの部位で認証が成功した場合には、操作者に顔画像を再度撮影することを促す。
特開２０１９－１６８９２９号
　特許文献１では、予め登録されている顔画像が認証に適切な顔画像であることを前提としている。しかしながら、車両のシステムにおいて自動で認証用の顔画像の登録が行われる場合には、認証に不適切な顔画像が認証用の顔画像として登録されてしまう場合もある。認証に不適切な顔画像としては、顔の一部が物体若しくは光の加減で隠れた顔画像が挙げられる。認証に不適切な顔画像が認証用の顔画像として登録されてしまうと、特許文献１に開示の技術であっても、正確な認証を行うことができなくなってしまう。これに対して、認証に不適切な顔画像の登録を行わせないことが考えられる。しかしながら、何が不適切で登録できなかったのかをユーザが認識できないと、顔画像の登録に手間がかかってしまう。
　この開示の１つの目的は、自動で認証用の顔画像の登録を行う場合であっても、登録の手間を抑えつつ、より正確な認証を行うことが可能な顔画像の登録を可能にする車両用顔登録制御装置及び車両用顔登録制御方法を提供することにある。
　上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。請求の範囲に記載した括弧内の符号は、１つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
　上記目的を達成するために、本開示の車両用顔登録制御装置は、車両の乗員の顔認証に用いる顔画像の登録を行う車両用顔登録制御装置であって、車両で用いられる撮像装置で撮像される乗員の顔画像を取得する顔画像取得部と、顔画像取得部で取得する顔画像を、顔認証に用いる顔画像である認証用画像として登録する登録部と、顔画像取得部で取得した顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、悪条件の種類を区別して判別する悪条件判別部と、顔画像取得部で取得した顔画像が悪条件に該当すると悪条件判別部で判別した場合に、その顔画像が該当した悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせる通知制御部とを備え、登録部は、顔画像取得部で取得した顔画像が悪条件に該当しないと悪条件判別部で判別した場合には、その顔画像を認証用画像として登録する一方、顔画像取得部で取得した顔画像が悪条件に該当すると悪条件判別部で判別した場合には、その顔画像を認証用画像として登録しない。
　上記目的を達成するために、本開示の車両用顔登録制御方法は、車両の乗員の顔認証に用いる顔画像の登録を行う車両用顔登録制御方法であって、少なくとも１つのプロセッサにより実行される、車両で用いられる撮像装置で撮像される乗員の顔画像を取得する顔画像取得工程と、顔画像取得工程で取得する顔画像を、顔認証に用いる顔画像である認証用画像として登録する登録工程と、顔画像取得工程で取得した顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、悪条件の種類を区別して判別する悪条件判別工程と、顔画像取得工程で取得した顔画像が悪条件に該当すると悪条件判別工程で判別した場合に、その顔画像が該当した悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせる通知制御工程とを含み、登録工程では、顔画像取得工程で取得した顔画像が悪条件に該当しないと悪条件判別工程で判別した場合には、その顔画像を認証用画像として登録する一方、顔画像取得工程で取得した顔画像が悪条件に該当すると悪条件判別工程で判別した場合には、その顔画像を認証用画像として登録しない。
　以上の構成によれば、撮像装置で撮像される乗員の顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当すると判別した場合には、その顔画像を認証用画像として登録しないことになる。よって、認証に不適切な顔画像が認証用の顔画像として登録されてしまうことを抑制し、より正確な認証を行うことを可能にする。また、撮像装置で撮像される乗員の顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当すると判別した場合には、その顔画像が該当した悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせることになる。よって、この通知を受けた乗員は、顔画像の登録が失敗した原因及び顔画像の登録を成功させるための解消策を知ることが可能になる。従って、顔画像の登録に一旦失敗する場合であっても、顔画像の登録の成功へより容易に導くことが可能になる。その結果、自動で認証用の顔画像の登録を行う場合であっても、登録の手間を抑えつつ、より正確な認証を行うことが可能な顔画像の登録が可能になる。
車両用システム１の概略的な構成の一例を示す図である。 ＨＣＵ１０の概略的な構成の一例を示す図である。 ＨＣＵ１０での顔登録関連処理の流れの一例を示すフローチャートである。
　図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
　（実施形態１）
　＜車両用システム１の概略構成＞
　以下、本開示の実施形態１について図面を用いて説明する。図１に示す車両用システム１は、車両で用いることが可能なものである。車両用システム１は、図１に示すように、ＨＣＵ（Human Machine Interface Control Unit）１０、室内カメラ１１、提示装置１２、及びユーザ入力装置１３を含んでいる。例えば、ＨＣＵ１０は、車内ＬＡＮ（図１のＬＡＮ参照）と接続される構成とすればよい。車両用システム１を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。
　室内カメラ１１は、自車の車室内の所定範囲を撮像する。この室内カメラ１１が撮像装置に相当する。室内カメラ１１は、少なくとも自車の運転席を含む範囲を撮像することが好ましい。室内カメラ１１は、自車の運転席の他、助手席及び後部座席を含む範囲を撮像してもよい。室内カメラ１１は、例えば近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成される。室内カメラ１１は、近赤外光源によって近赤外光を照射された自車の乗員を、近赤外カメラによって撮影する。
　提示装置１２は、自車に設けられて、自車の室内へ向けての情報提示を行う。言い換えると、提示装置１２は、自車の乗員への通知を行う。提示装置１２は、ＨＣＵ１０の制御に従って通知を行う。提示装置１２としては、例えば表示器及び音声出力装置が挙げられる。
　表示器は、情報を表示することで通知を行う。表示器としては、例えばメータＭＩＤ（Multi Information Display），ＣＩＤ（Center Information Display），ＨＵＤ（Head-Up Display）を用いることができる。音声出力装置は、音声を出力することで報知を行う。音声出力装置としては、スピーカ等が挙げられる。
　メータＭＩＤは、車室内のうちの運転席の正面に設けられる表示器である。一例として、メータＭＩＤは、メータパネルに設けられる構成とすればよい。ＣＩＤは、自車のインスツルメントパネルの中央に配置される表示器である。ＨＵＤは、車室内のうちの例えばインスツルメントパネルに設けられる。ＨＵＤは、プロジェクタによって形成される表示像を、投影部材としてのフロントウインドシールドに既定された投影領域に投影する。フロントウインドシールドによって車室内側に反射された画像の光は、運転席に着座する運転者によって知覚される。これにより、運転者は、フロントウインドシールドの前方にて結像される表示像の虚像を、前景の一部と重ねて視認可能となる。ＨＵＤは、フロントウインドシールドの代わりに、運転席の正面に設けられるコンバイナに表示像を投影する構成としてもよい。
　ユーザ入力装置１３は、ユーザからの入力を受け付ける。ユーザ入力装置１３は、ユーザからの操作入力を受け付ける操作デバイスとすればよい。操作デバイスとしては、メカニカルなスイッチであってもよいし、ＣＩＤ等の表示器と一体となったタッチスイッチであってもよい。なお、ユーザ入力装置１３は、ユーザからの入力を受け付ける装置であれば、操作入力を受け付ける操作デバイスに限らない。例えば、ユーザからの音声によるコマンドの入力を受け付ける音声入力装置であってもよい。
　ＨＣＵ１０は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるコンピュータを主体として構成される。ＨＣＵ１０は、室内カメラ１１、提示装置１２、及びユーザ入力装置１３に接続されている。ＨＣＵ１０は、不揮発性メモリに記憶された制御プログラムを実行することにより、顔認証に用いる顔画像の登録に関連する処理（以下、顔登録関連処理）を実行する。このＨＣＵ１０が車両用顔登録制御装置に相当する。なお、ＨＣＵ１０の構成については以下で詳述する。
　＜ＨＣＵ１０の概略構成＞
　続いて、図２を用いてＨＣＵ１０の概略構成についての説明を行う。ＨＣＵ１０は、図２に示すように、顔画像取得部１０１、悪条件判別部１０２、登録部１０３、記憶部１０４、通知制御部１０５、及び個人認証部１０６を機能ブロックとして備える。また、コンピュータによってＨＣＵ１０の各機能ブロックの処理が実行されることが、車両用顔登録制御方法が実行されることに相当する。なお、ＨＣＵ１０が実行する機能の一部又は全部を、１つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ１０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
　顔画像取得部１０１は、自車で用いられる室内カメラ１１で撮像される自車の乗員の顔画像を取得する。この顔画像取得部１０１での処理が顔画像取得工程に相当する。顔画像を取得する乗員は、運転者に限定する構成としてもよいし、運転者に限らない構成としてもよい。本実施形態では、運転者の顔画像を取得する場合を例に挙げて説明を行う。
　悪条件判別部１０２は、顔画像取得部１０１で取得した顔画像をもとに、この顔画像が顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、悪条件の種類を区別して判別する。この悪条件判別部１０２での処理が悪条件判別工程に相当する。悪条件判別部１０２は、悪条件の種類を区別して判別するように予め学習させた学習器を用いて、顔画像取得部１０１で取得した顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、悪条件の種類を区別して判別すればよい。学習は、例えば機械学習を用いればよい。機械学習としては、例えば深層学習を用いてもよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、乗員のマスクの着用を区別して判別することが好ましい。この場合、悪条件判別部１０２は、例えばマスクを着用した人の画像を用いて予め機械学習を行った学習器を用いて判別すればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えばマスクを着用した人の画像に特徴的な輝度の分布をもとに、乗員のマスクの着用を区別して判別する等すればよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、乗員の首が隠れる装着物（以下、特定装着物）の着用を区別して判別することが好ましい。特定装着物としては、ネックウォーマ，ヒジャブ等が挙げられる。この場合、悪条件判別部１０２は、例えば特定装着物を着用した人の画像を用いて予め機械学習を行った学習器を用いて判別すればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えば特定装着物を着用した人の画像に特徴的な輝度の分布をもとに、乗員の特定装着物の着用を区別して判別する等すればよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、乗員のサングラスの着用を区別して判別することが好ましい。この場合、悪条件判別部１０２は、例えばサングラスを着用した人の画像を用いて予め機械学習を行った学習器を用いて判別すればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えばサングラスを着用した人の画像に特徴的な輝度の分布をもとに、乗員のサングラスの着用を区別して判別する等すればよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、乗員の顔に影がかかっている悪条件（以下、影差し）を、乗員の顔のどの領域に影がかかっているかまで区別して判別することが好ましい。この場合、悪条件判別部１０２は、例えば顔に影がかかっている人の画像を用いて予め機械学習を行った学習器を用いて判別すればよい。ここで言うところの影差しとは、顔認証が失敗する確率が規定の割合以上となる濃さ及び範囲の影とすればよい。ここで言うところの規定の割合は、任意に設定可能とすればよい。また、乗員の顔のどの領域に影がかかっているかまで区別して判別するためには、影がかかっている領域別に機械学習を行った学習器を用いればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えば顔画像のうちの閾値以下の輝度の一定範囲以上の分布をもとに、乗員の顔のどの領域に影がかかっているかまで区別して判別する等すればよい。ここで言うところの、閾値と一定範囲とは、顔認証が失敗する確率が規定の割合以上となると推定される影の濃さ及び範囲に対応する値を設定すればよい。なお、影がかかっている領域の区分は、簡略化のために、例えば数か所程度の区分にまとめればよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、顔画像の白飛びを区別して判別することが好ましい。白飛びとは、画像の明るさがコンピュータで表現できる上限に達してしまった状態を示す。白飛びとは、画像の明るさを示す指標の値が、明るさ最大を示す値に達してしまった状態を示す。この場合、悪条件判別部１０２は、例えば白飛びが生じている顔画像を用いて予め機械学習を行った学習器を用いて判別すればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えば顔画像のうちの輝度が最大値の領域の分布をもとに、白飛びを区別して判別する等すればよい。なお、白飛びは、一定範囲以上の大きさに限定する構成としてもよい。ここで言うところの一定範囲は、顔認証が失敗する確率が規定の割合以上となると推定される範囲とすればよい。
　悪条件判別部１０２は、悪条件の種類の１つとして、乗員の指定範囲外の顔向きでの顔画像の撮像を区別して判別することが好ましい。この場合、悪条件判別部１０２は、例えば指定範囲外の顔向きの顔画像を用いて予め機械学習を行った学習器を用いて判別すればよい。指定範囲外とは、顔認証が失敗する確率が規定の割合以上となると推定される範囲の顔向きとすればよい。なお、悪条件判別部１０２は、学習器を用いない場合には、例えば顔画像から検出できる乗員の顔向きが指定範囲外である場合に、乗員の指定範囲外の顔向きでの顔画像の撮像を区別して判別する等すればよい。顔画像からの顔向きの検出は、顔画像から抽出される目，鼻，口といった部位の相対的な位置関係から検出すればよい。
　なお、悪条件判別部１０２は、上述した悪条件の例に限らず、他の悪条件を区別して判別する構成としてもよい。例えば、乗員の帽子の着用を悪条件の種類の１つとして判別する構成としてもよい。
　登録部１０３は、顔画像取得部１０１で取得する顔画像を、顔認証に用いる顔画像である認証用画像として登録する。登録部１０３は、認証用画像を記憶部１０４に記憶することで登録すればよい。記憶部１０４は、電気的に書き換え可能な不揮発性メモリとすればよい。登録部１０３は、顔画像取得部１０１で取得した顔画像が悪条件に該当しないと悪条件判別部１０２で判別した場合には、その顔画像を認証用画像として登録する。一方、登録部１０３は、顔画像取得部１０１で取得した顔画像が悪条件に該当すると悪条件判別部１０２で判別した場合には、その顔画像を認証用画像として登録しない。この登録部１０３での処理が登録工程に相当する。
　通知制御部１０５は、提示装置１２を制御する。通知制御部１０５は、提示装置１２から通知を行わせる。通知制御部１０５は、顔画像取得部１０１で取得した顔画像が悪条件に該当すると悪条件判別部１０２で判別した場合に、その顔画像が該当した悪条件を示す通知（以下、失敗要因通知）、及びその悪条件の解消策を示す通知（以下、解消策通知）の少なくともいずれかの通知を行わせる。この通知制御部１０５での処理が通知制御工程に相当する。失敗要因通知，解消策通知は、アイコン表示，テキスト表示，音声出力のいずれで行ってもよい。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、悪条件のうちの乗員のマスクの着用に該当すると悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、乗員のマスクの着用を示す通知を行わせればよい。これによれば、マスクの着用によって顔画像の登録が失敗した場合に、乗員が、マスクの着用が失敗の原因であることを認識できる。解消策通知としては、マスクを外すように指示する通知を行わせればよい。これによれば、マスクの着用によって顔画像の登録が失敗した場合に、乗員が、登録の成功のために何をすべきかを、より容易に認識することができる。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、悪条件のうちの特定装着物の着用に該当すると悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、乗員の特定装着物の着用を示す通知を行わせればよい。これによれば、特定装着物の着用によって顔画像の登録が失敗した場合に、乗員が、特定装着物の着用が失敗の原因であることを認識できる。解消策通知としては、特定装着物を外すように指示する通知を行わせればよい。これによれば、特定装着物の着用によって顔画像の登録が失敗した場合に、乗員が、登録の成功のために何をすべきかを、より容易に認識することができる。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、悪条件のうちの乗員のサングラスの着用に該当すると悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、乗員のサングラスの着用を示す通知を行わせればよい。これによれば、サングラスの着用によって顔画像の登録が失敗した場合に、乗員が、サングラスの着用が失敗の原因であることを認識できる。解消策通知としては、サングラスを外すように指示する通知を行わせればよい。これによれば、サングラスの着用によって顔画像の登録が失敗した場合に、乗員が、登録の成功のために何をすべきかを、より容易に認識することができる。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、影差しと悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、乗員の顔に影がかかっている悪条件を示す通知を行わせればよい。この場合、乗員の顔のどの領域に影がかかっているかを示す通知も行わせてもよい。具体例としては、表示器に、顔画像取得部１０１で取得した顔画像を表示させるとともに、この顔画像のうちの影がかかっている領域を強調表示したりすればよい。これによれば、影差しによって顔画像の登録が失敗した場合に、乗員が、乗員の顔に影がかかっている悪条件が失敗の原因であることを認識できる。また、乗員の顔のどの領域に影がかかっているかを示す通知も行わせることで、乗員が、登録の成功のために何をすべきかがより認識しやすくなる。解消策通知としては、乗員の顔のどの領域に影がかかっているかを示す通知に加え、室内カメラ１１と乗員の顔との間の遮蔽物を取り除くように指示する通知を行わせればよい。これによれば、影差しによって顔画像の登録が失敗した場合に、乗員が、登録の成功のために何をすべきかを、より容易に認識することができる。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、白飛びに該当すると悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、顔画像の白飛びを示す通知を行わせればよい。これによれば、白飛びによって顔画像の登録が失敗した場合に、乗員が、顔画像の白飛びが失敗の原因であることを認識できる。解消策通知としては、車両のサンバイザーを使用して外光を遮蔽するように指示する通知を行わせればよい。これによれば、白飛びによって顔画像の登録が失敗した場合に、乗員が、登録の成功のために何をすべきかを、より容易に認識することができる。
　通知制御部１０５は、顔画像取得部１０１で取得した顔画像が、指定範囲外の顔向きでの撮像に該当すると悪条件判別部１０２で判別した場合には、以下の通知を行わせる。失敗要因通知としては、乗員の指定範囲外の顔向きでの顔画像の撮像を示す通知を行わせればよい。これによれば、指定範囲外の顔向きでの撮像によって顔画像の登録が失敗した場合に、乗員が、指定範囲外の顔向きでの撮像が失敗の原因であることを認識できる。解消策通知としては、乗員の指定範囲内の顔向きで顔画像を撮像するように指示する通知を行わせればよい。一例としては、室内カメラ１１に対して正面を向くように指示する通知を行わせればよい。
　個人認証部１０６は、顔認証を行う。個人認証部１０６は、顔画像取得部１０１で取得する顔画像と、記憶部１０４に登録されている認証用画像との照合を行う。個人認証部１０６は、例えば目，鼻，口といった特徴部位の形状，顔の輪郭，特徴部位同士の位置関係等の類似度合いから照合を行えばよい。個人認証部１０６は、認証用画像との類似度合いが閾値以上であった場合に、顔認証を成立させればよい。一方、認証用画像との類似度合いが閾値未満であった場合には、顔認証を成立させなければよい。ここで言うところの閾値は、任意に設定可能とすればよい。
　個人認証部１０６は、顔認証が成立した場合に、車内ＬＡＮを介して、顔認証が成立した個人に応じた車両の設定を行わせればよい。個人に応じた車両の設定の例としては、個人に応じたシート調整，空調設定等が挙げられる。
　＜ＨＣＵ１０での顔登録関連処理＞
　ここで、図３のフローチャートを用いて、ＨＣＵ１０での顔登録関連処理の流れの一例について説明する。図３のフローチャートは、例えば自車の運転席ドアの開閉と運転席への着座が検出された場合に開始される構成とすればよい。運転席ドアの開閉は、ドアカーテシスイッチの信号から検出すればよい。運転席への着座は、運転席のシートに設けられた着座センサの信号から検出すればよい。
　まず、ステップＳ１では、顔画像取得部１０１が、室内カメラ１１で撮像される自車の運転者の顔画像を取得する。ステップＳ２では、個人認証部１０６が、Ｓ１で取得した顔画像と、記憶部１０４に登録されている認証用画像との照合を行うことで、顔認証を行う。
　ステップＳ３では、顔認証が成立した場合（Ｓ３でＹＥＳ）には、ステップＳ４に移る。一方、顔認証が成立しなかった場合（Ｓ３でＮＯ）には、ステップＳ５に移る。ステップＳ４では、個人認証部１０６が、顔認証が成立した個人に応じた車両の設定を行わせ、顔登録関連処理を終了する。
　ステップＳ５では、悪条件判別部１０２が、Ｓ１で取得した顔画像をもとに、悪条件として、運転者の装着物の着用に該当すると判別した場合（Ｓ５でＹＥＳ）には、ステップＳ６に移る。装着物としては、前述したマスク，特定装着物，サングラス等が挙げられる。一方、運転者の装着物の着用に該当すると判別しなかった場合（Ｓ５でＮＯ）には、ステップＳ７に移る。
　ステップＳ６では、通知制御部１０５が、解消策通知を行わせ、Ｓ１に戻って処理を繰り返す。通知制御部１０５は、装着物がマスクの場合には、マスクを外すように指示する通知を行わせる。通知制御部１０５は、装着物が特定装着物の場合には、特定装着物を外すように指示する通知を行わせる。通知制御部１０５は、装着物がサングラスの場合には、サングラスを外すように指示する通知を行わせる。Ｓ６からＳ１に戻る場合には、乗員が解消策を行う時間を確保するため、解消策通知から一定時間経過後にＳ１に戻る構成とすればよい。
　ステップＳ７では、悪条件判別部１０２が、Ｓ１で取得した顔画像をもとに、悪条件として、乗員の指定範囲外の顔向きでの顔画像の撮像に該当すると判別した場合（Ｓ７でＹＥＳ）には、ステップＳ８に移る。一方、乗員の指定範囲外の顔向きでの顔画像の撮像に該当すると判別しなかった場合（Ｓ７でＮＯ）には、ステップＳ９に移る。ステップＳ８では、通知制御部１０５が、解消策通知を行わせ、Ｓ１に戻って処理を繰り返す。通知制御部１０５は、乗員の指定範囲内の顔向きで顔画像を撮像するように指示する通知を行わせる。Ｓ８からＳ１に戻る場合には、解消策通知から一定時間経過後にＳ１に戻る構成とすればよい。
　ステップＳ９では、悪条件判別部１０２が、Ｓ１で取得した顔画像の信頼度を判別する。顔画像の信頼度は、顔画像から目，鼻，口，顔の輪郭等を画像認識技術で抽出した際の、例えば抽出部位の確からしさの値とすればよい。抽出部位の確からしさは、画像の輝度が高すぎたり低すぎたり、抽出部位の一部が欠けたりしているほど低くなるものとする。悪条件判別部１０２は、この確からしさの値が閾値以上の場合に、顔画像の信頼度が高いと判別すればよい。ここで言うところの閾値は、任意に設定可能とすればよい。なお、顔画像から目，鼻，口，顔の輪郭等の抽出は、室内カメラ１１の制御ユニットで行う構成としてもよい。
　ステップＳ９では、顔画像の信頼度が高かった場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、顔画像の信頼度が高くなかった場合（Ｓ９でＮＯ）には、ステップＳ１１に移る。顔画像の信頼度が高くない場合には、前述の白飛びか影差しに該当しているものとする。ステップＳ１０では、登録部１０３が、Ｓ１で取得した顔画像を、認証用画像として登録し、顔登録関連処理を終了する。
　ステップＳ１１では、悪条件判別部１０２が、Ｓ１で取得した顔画像をもとに、悪条件として、白飛びに該当すると判別した場合（Ｓ１１でＹＥＳ）には、ステップＳ１２に移る。一方、白飛びに該当すると判別しなかった場合（Ｓ１１でＮＯ）には、悪条件判別部１０２が、影差しに該当することを判別し、ステップＳ１３に移る。この場合、悪条件判別部１０２は、乗員の顔のどの領域に影がかかっているかまで区別して判別する。
　ステップＳ１２では、通知制御部１０５が、解消策通知を行わせ、Ｓ１に戻って処理を繰り返す。通知制御部１０５は、車両のサンバイザーを使用して外光を遮蔽するように指示する通知を行わせる。Ｓ１２からＳ１に戻る場合には、解消策通知から一定時間経過後にＳ１に戻る構成とすればよい。
　ステップＳ１３では、通知制御部１０５が、解消策通知を行わせ、Ｓ１に戻って処理を繰り返す。通知制御部１０５は、乗員の顔のどの領域に影がかかっているかを示す通知に加え、室内カメラ１１と乗員の顔との間の遮蔽物を取り除くように指示する通知を行わせる。Ｓ１２からＳ１に戻る場合には、解消策通知から一定時間経過後にＳ１に戻る構成とすればよい。
　なお、Ｓ９の処理を省略する構成としてもよい。この場合、Ｓ７からＳ１１に移る構成とすればよい。また、Ｓ１１でＮＯの場合であって、悪条件判別部１０２が、影差しに該当することを判別した場合に、ステップＳ１３に移ればよい。Ｓ１１でＮＯの場合であって、悪条件判別部１０２が、影差しに該当することを判別しなかった場合には、Ｓ１に戻って処理を繰り返す構成とすればよい。この場合、例えば通知制御部１０５が、顔画像の登録の失敗の原因が不明であることを示す通知を行わせてもよい。
　図３の例では、顔登録関連処理の開始のトリガを、自車の運転席ドアの開閉と運転席への着座が検出されたこととする例を示したが、必ずしもこれに限らない。例えば、顔画像の登録を要求する入力をユーザ入力装置１３で受け付けたことをトリガとして、顔登録関連処理を開始する構成としてもよい。この構成を採用する場合、図３のフローチャートのＳ２～Ｓ４の処理を省略し、Ｓ１からＳ５に移る構成とすればよい。
　実施形態１の構成によれば、室内カメラ１１で撮像される乗員の顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当すると判別した場合には、その顔画像を認証用画像として登録しないことになる。よって、認証に不適切な顔画像が認証用の顔画像として登録されてしまうことを抑制し、より正確な認証を行うことを可能にする。また、室内カメラ１１で撮像される乗員の顔画像が、顔認証に適切でない複数種類の悪条件のいずれかに該当すると判別した場合には、その顔画像が該当した悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせることになる。よって、この通知を受けた乗員は、顔画像の登録が失敗した原因及び顔画像の登録を成功させるための解消策を知ることが可能になる。従って、顔画像の登録に一旦失敗する場合であっても、顔画像の登録の成功へより容易に導くことが可能になる。その結果、自動で認証用の顔画像の登録を行う場合であっても、登録の手間を抑えつつ、より正確な認証を行うことが可能な顔画像の登録が可能になる。
　（実施形態２）
　実施形態１では、顔登録関連処理をＨＣＵ１０が行う構成を示したが、必ずしもこれに限らない。例えば、顔登録関連処理を、ＨＣＵ１０以外の電子制御装置で行う構成としてもよい。この場合、ＨＣＵ１０以外のこの電子制御装置が車両用顔登録制御装置に相当することになる。
　なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (9)

  1. 　車両の乗員の顔認証に用いる顔画像の登録を行う車両用顔登録制御装置であって、
    　前記車両で用いられる撮像装置（１１）で撮像される前記乗員の顔画像を取得する顔画像取得部（１０１）と、
    　前記顔画像取得部で取得する前記顔画像を、前記顔認証に用いる顔画像である認証用画像として登録する登録部（１０３）と、
    　前記顔画像取得部で取得した前記顔画像が、前記顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、前記悪条件の種類を区別して判別する悪条件判別部（１０２）と、
    　前記顔画像取得部で取得した前記顔画像が前記悪条件に該当すると前記悪条件判別部で判別した場合に、その顔画像が該当した前記悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせる通知制御部（１０５）とを備え、
    　前記登録部は、前記顔画像取得部で取得した前記顔画像が前記悪条件に該当しないと前記悪条件判別部で判別した場合には、その顔画像を前記認証用画像として登録する一方、前記顔画像取得部で取得した前記顔画像が前記悪条件に該当すると前記悪条件判別部で判別した場合には、その顔画像を前記認証用画像として登録しない車両用顔登録制御装置。
  2. 　請求項１に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類を区別して判別するように予め学習させた学習器を用いて、前記顔画像取得部で取得した前記顔画像が、前記顔認証に適切でない複数種類の悪条件のいずれかに該当するかを前記悪条件の種類を区別して判別する車両用顔登録制御装置。
  3. 　請求項１又は２に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記乗員のマスクの着用を区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、前記乗員のマスクの着用に該当すると前記悪条件判別部で判別した場合に、前記乗員のマスクの着用を示す通知、及びマスクを外すように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  4. 　請求項１～３のいずれか１項に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記乗員の首が隠れる装着物の着用を区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、前記乗員の首が隠れる装着物の着用に該当すると前記悪条件判別部で判別した場合に、前記乗員の首が隠れる装着物の着用を示す通知、及び前記乗員の首が隠れる装着物を外すように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  5. 　請求項１～４のいずれか１項に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記乗員のサングラスの着用を区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、前記乗員のサングラスの着用に該当すると前記悪条件判別部で判別した場合に、前記乗員のサングラスの着用を示す通知、及びサングラスを外すように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  6. 　請求項１～５のいずれか１項に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記乗員の顔に影がかかっている悪条件を、前記乗員の顔のどの領域に影がかかっているかまで区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、前記乗員の顔に影がかかっている悪条件と前記悪条件判別部で判別した場合に、前記乗員の顔に影がかかっている悪条件を示す通知、及び前記乗員の顔のどの領域に影がかかっているかを示す通知に加えた、前記撮像装置と前記乗員の顔との間の遮蔽物を取り除くように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  7. 　請求項１～６のいずれか１項に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記顔画像の白飛びを区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、前記白飛びに該当すると前記悪条件判別部で判別した場合に、前記白飛びを示す通知、及び前記車両のサンバイザーを使用して外光を遮蔽するように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  8. 　請求項１～７のいずれか１項に記載の車両用顔登録制御装置であって、
    　前記悪条件判別部は、前記悪条件の種類として、前記乗員の指定範囲外の顔向きでの前記顔画像の撮像を区別して判別するものであり、
    　前記通知制御部は、前記顔画像取得部で取得した前記顔画像が、指定範囲外の顔向きでの撮像に該当すると前記悪条件判別部で判別した場合に、前記乗員の指定範囲外の顔向きでの前記顔画像の撮像を示す通知、及び前記乗員の指定範囲内の顔向きで前記顔画像を撮像するように指示する通知の少なくともいずれかの通知を行わせる車両用顔登録制御装置。
  9. 　車両の乗員の顔認証に用いる顔画像の登録を行う車両用顔登録制御方法であって、
    　少なくとも１つのプロセッサにより実行される、
    　前記車両で用いられる撮像装置で撮像される前記乗員の顔画像を取得する顔画像取得工程と、
    　前記顔画像取得工程で取得する前記顔画像を、前記顔認証に用いる顔画像である認証用画像として登録する登録工程と、
    　前記顔画像取得工程で取得した前記顔画像が、前記顔認証に適切でない複数種類の悪条件のいずれかに該当するかを、前記悪条件の種類を区別して判別する悪条件判別工程と、
    　前記顔画像取得工程で取得した前記顔画像が前記悪条件に該当すると前記悪条件判別工程で判別した場合に、その顔画像が該当した前記悪条件を示す通知、及びその悪条件の解消策を示す通知の少なくともいずれかの通知を行わせる通知制御工程とを含み、
    　前記登録工程では、前記顔画像取得工程で取得した前記顔画像が前記悪条件に該当しないと前記悪条件判別工程で判別した場合には、その顔画像を前記認証用画像として登録する一方、前記顔画像取得工程で取得した前記顔画像が前記悪条件に該当すると前記悪条件判別工程で判別した場合には、その顔画像を前記認証用画像として登録しない車両用顔登録制御方法。
PCT/JP2023/003998 2022-02-17 2023-02-07 車両用顔登録制御装置及び車両用顔登録制御方法 WO2023157720A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022023246 2022-02-17
JP2022-023246 2022-02-17

Publications (1)

Publication Number Publication Date
WO2023157720A1 true WO2023157720A1 (ja) 2023-08-24

Family

ID=87578613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003998 WO2023157720A1 (ja) 2022-02-17 2023-02-07 車両用顔登録制御装置及び車両用顔登録制御方法

Country Status (1)

Country Link
WO (1) WO2023157720A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149370A (ja) * 2003-11-19 2005-06-09 Matsushita Electric Ind Co Ltd 画像撮影装置、個人認証装置及び画像撮影方法
WO2017043314A1 (ja) * 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
JP2019028959A (ja) * 2017-08-04 2019-02-21 パナソニックＩｐマネジメント株式会社 画像登録装置、画像登録システムおよび画像登録方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149370A (ja) * 2003-11-19 2005-06-09 Matsushita Electric Ind Co Ltd 画像撮影装置、個人認証装置及び画像撮影方法
WO2017043314A1 (ja) * 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
JP2019028959A (ja) * 2017-08-04 2019-02-21 パナソニックＩｐマネジメント株式会社 画像登録装置、画像登録システムおよび画像登録方法

Similar Documents

Publication Publication Date Title
CN108621937B (zh) 车载显示设备、车载显示设备的控制方法以及存储车载显示设备的控制程序的存储介质
JP2006293909A (ja) 運転者の視線方向検出装置
JP5061563B2 (ja) 検出装置、生体判定方法、およびプログラム
US8560179B2 (en) Adaptive visual occupant detection and classification system
JP6971582B2 (ja) 状態検出装置、状態検出方法、及びプログラム
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
WO2023157720A1 (ja) 車両用顔登録制御装置及び車両用顔登録制御方法
US11367308B2 (en) Comparison device and comparison method
US11995898B2 (en) Occupant monitoring device for vehicle
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP2018018401A (ja) 瞼開閉検出装置および瞼開閉検出方法
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法
CN111696312B (zh) 乘员观察装置
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
JP6945775B2 (ja) 車載用画像処理装置、および、車載用画像処理方法
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆
JP7374386B2 (ja) 状態判定装置および状態判定方法
JP2023178539A (ja) 乗員監視装置、乗員監視方法及び乗員監視システム
JP2021051680A (ja) 緊急通報装置及び方法
US20220272269A1 (en) Occupant monitoring device for vehicle
WO2021199157A1 (ja) 乗員状態判定装置および乗員状態判定方法
WO2023243069A1 (ja) 脇見判定装置および脇見判定方法
WO2023242888A1 (ja) 車室内モニタリング装置、車室内モニタリングシステム、および、車室内モニタリング方法
JP7403729B2 (ja) 覚醒度推定装置および覚醒度推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756246

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024501313

Country of ref document: JP

Kind code of ref document: A