WO2023286228A1 - 顔情報登録支援装置 - Google Patents

顔情報登録支援装置 Download PDF

Info

Publication number
WO2023286228A1
WO2023286228A1 PCT/JP2021/026554 JP2021026554W WO2023286228A1 WO 2023286228 A1 WO2023286228 A1 WO 2023286228A1 JP 2021026554 W JP2021026554 W JP 2021026554W WO 2023286228 A1 WO2023286228 A1 WO 2023286228A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
information
face
display device
notification
Prior art date
Application number
PCT/JP2021/026554
Other languages
English (en)
French (fr)
Inventor
貴羅 明神
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/026554 priority Critical patent/WO2023286228A1/ja
Priority to JP2023534532A priority patent/JPWO2023286228A1/ja
Publication of WO2023286228A1 publication Critical patent/WO2023286228A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to support for registration of face information used for face authentication of vehicle occupants.
  • facial recognition has been used as biometric authentication for vehicle occupants. This face authentication is performed not only for the driver but also for other passengers for the purpose of providing services optimized for each passenger in the vehicle.
  • Face authentication is performed, for example, by comparing an image of the face of a vehicle occupant with a pre-registered face image (hereinafter also referred to as a "registered image"). Therefore, it is necessary to register the face image of the passenger as a pre-stage of face authentication.
  • a pre-registered face image hereinafter also referred to as a "registered image”
  • Embodiment 2 of Patent Document 1 discloses a configuration for guiding the position or orientation of the occupant's face by an image or sound in the facial image registration process when the position or orientation of the occupant's face is inappropriate. .
  • the registered images are variations of images of the occupant's face taken from various directions.
  • the passenger bears a heavy burden when registering the face image.
  • a registered image is taken as an example, but face information used for face authentication is not limited to a face image, and may be face information representing a face feature amount or the like.
  • the present disclosure has been made to solve the above problems, and aims to reduce the burden on vehicle occupants in registering face information used for face authentication of vehicle occupants.
  • the face information registration support device of the present disclosure is a face information registration support device that supports registration of face information for performing face authentication of an occupant boarding a vehicle, and is an occupant photographed by an imaging device provided in the vehicle.
  • an acquisition unit that acquires a face image of the occupant
  • an occupant information processing unit that calculates occupant information including at least position information of the occupant's face and a line-of-sight direction from the occupant's face image, and control information including the effective visual field range of the occupant from the occupant information
  • a control information calculation unit for calculating, a control information determination unit for determining whether or not the display device provided in the vehicle is present in the effective visual field range, a notification control unit for notifying the occupant to move the face
  • the notification includes audio notification that outputs a sound from an audio output device provided in the vehicle to prompt the occupant to visually recognize the display device, and guidance information that guides the occupant to move at least one of the position and orientation of the face. is displayed on the display device, and the notification control
  • the face information registration support device of the present disclosure it is possible to reduce the burden on the occupant in the process of registering face information used for face authentication of the occupant of the vehicle. Objects, features, aspects and advantages of the present disclosure will become more apparent with the following detailed description and accompanying drawings.
  • FIG. 1 is a block diagram showing the configuration of a face information registration support device according to Embodiment 1;
  • FIG. It is a figure which shows the arrangement
  • FIG. 10 is a perspective view showing a case where the display device is not present within the effective visual range of the occupant;
  • FIG. 11 is a perspective view showing a case where a display device exists within the effective visual range of an occupant;
  • FIG. 4 is a perspective view showing the effective visual field range of an occupant and the coordinates of the display device; It is an xz plane view which shows a passenger
  • FIG. 10 is a perspective view showing a case where the display device is not present within the effective visual range of the occupant
  • FIG. 11 is a perspective view showing a case where a display device exists within the effective visual range of an occupant
  • FIG. 4 is a perspective
  • FIG. 4 is a diagram showing the position and orientation of the face of the occupant at times t1 and t2; 4 is a flow chart showing the operation of the face information registration support device of Embodiment 1;
  • FIG. 11 is a block diagram showing the configuration of a face information registration support device according to Embodiment 2; It is a perspective view which shows a passenger
  • FIG. 9 is a flow chart showing the operation of the face information registration support device of Embodiment 2; 2 is a diagram showing the hardware configuration of the face information registration support device according to Embodiment 1; FIG. 2 is a diagram showing the hardware configuration of the face information registration support device according to Embodiment 1; FIG.
  • FIG. 1 is a diagram showing the configuration of face information registration support apparatus 101 according to Embodiment 1.
  • the face information registration support device 101 is connected to the imaging device 1, the display device 2, and the audio output device 3, and is configured to be able to use them.
  • the face information registration support device 101 is a device that supports registration of face information used for face authentication of a vehicle occupant.
  • the imaging device 1, the display device 2, and the audio output device 3 are all mounted in the interior of the vehicle (hereinafter referred to as "vehicle interior").
  • a vehicle refers to a vehicle boarded by an occupant whose face information is to be registered by the face information registration support device of each embodiment.
  • an occupant refers to an occupant whose face information is registered by the face information registration support device of each embodiment.
  • the face information registration support device 101 is also typically installed in a vehicle, and a part of its configuration is composed of a server located outside the vehicle, a portable terminal carried by the passenger and brought into the vehicle, and the like. may
  • FIG. 2 is a diagram showing the arrangement of the imaging device 1, the display device 2, and the audio output device 3 in the vehicle compartment.
  • the cameras 51 and 52 in FIG. 2 are an example of the imaging device 1.
  • the camera 51 is installed at a position inside the vehicle that can photograph the occupant from the front and above.
  • a camera 52 is installed below the camera 51 and above the CID (Center Information Display) 21, and photographs the occupant from the front.
  • CID Center Information Display
  • FIG. 2 a plurality of cameras 51 and 52 are shown in FIG. 2, the number of cameras constituting the imaging device 1 may be singular or plural.
  • the facial images of the passengers captured by the cameras 51 and 52 are used by the facial information registration support device 101 for facial information registration.
  • the CID 21, the meter cluster panel 22, the passenger seat display 23, and the HUD (Head Up Display) 24 are examples of the display device 2.
  • the CID 21 is installed in front between the driver's seat 41 and the passenger's seat 42 .
  • the meter cluster panel 22 is installed in front of the steering handle 40 .
  • the passenger seat display 23 is installed in front of the passenger seat 42 .
  • a HUD 24 is installed above the meter cluster panel 22 .
  • the display device 2 may include a windshield 25 that is made into a display. The display device 2 displays guidance information for guiding the position and orientation of the passenger's face in a specific direction when the imaging device 1 captures the passenger's face image.
  • the speakers 31 and 32 are an example of the audio output device 3.
  • the speaker 31 is installed near the driver's seat 41 and the speaker 32 is installed near the passenger seat 42 .
  • the audio output device 3 outputs audio prompting the passenger to visually recognize the display device 2 .
  • the configuration of the face information registration support device 101 will be described with reference to FIG.
  • the face information registration support device 101 includes an acquisition unit 11, an occupant information processing unit 12, a registration information determination unit 13, an occupant information storage unit 14, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, and notification control. 18, a unique information storage unit 19 and a registration information storage unit 20.
  • FIG. 1 An acquisition unit 11, an occupant information processing unit 12, a registration information determination unit 13, an occupant information storage unit 14, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, and notification control. 18, a unique information storage unit 19 and a registration information storage unit 20.
  • the acquisition unit 11 acquires from the imaging device 1 the facial image of the passenger captured by the imaging device 1 .
  • the occupant information processing unit 12 acquires the facial image of the occupant from the acquiring unit 11 and acquires occupant information from the facial image of the occupant.
  • the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and eye opening degree.
  • the registration information determination unit 13 acquires the passenger's face image from the passenger information processing unit 12 and determines whether the passenger's face image satisfies a predetermined registration condition.
  • the registration information determination unit 13 may be configured by a DMS (Driver Monitoring System), which is an existing face information registration system.
  • the occupant information storage unit 14 acquires occupant information from the occupant information processing unit 12 and stores it.
  • the occupant information storage unit 14 may store the occupant information acquired by the occupant information processing unit 12 in one process each time, or may collectively store the occupant information acquired in a plurality of processes.
  • the control information calculation unit 15 acquires occupant information from the occupant information storage unit 14 and calculates control information from the occupant information.
  • the control information includes the occupant's face movement amount and effective visual field range. A method of calculating control information will be described in detail later.
  • the control information determination unit 16 acquires control information from the control information calculation unit 15 and determines whether the acquired control information satisfies a predetermined condition.
  • the output information generation unit 17 generates output information according to the determination result of the control information determination unit 16 .
  • the output information includes either audio information that prompts visual recognition of the display device 2 or guidance information that guides the position and orientation of the face to a predetermined position and orientation.
  • the notification control unit 18 acquires output information from the output information generation unit 17 and provides the output information to either the display device 2 or the audio output device 3 according to the determination result of the control information determination unit 16 . In other words, the notification control unit 18 controls whether to notify the occupant by display or by voice according to the determination result of the control information determination unit 16 .
  • the unique information storage unit 19 stores unique information used by the face information registration support device 101 .
  • the specific information includes, for example, the position coordinates of the display device 2 or the threshold value of the amount of face movement.
  • the registration information storage unit 20 stores, that is, registers the face information regarding the face image.
  • the face information is information used to identify the occupant's face in face authentication processing, and may be the face image itself or a score obtained by evaluating the face image using a machine learning model.
  • the registered face information is also referred to as registration information.
  • ⁇ A-2 Operation> 3 and 4 show the positional relationship between the effective visual range of the occupant and the display device.
  • CID 21 and meter cluster panel 22 correspond to display device 2 .
  • the control information calculation unit 15 sets the effective visual field range A2 in consideration of the human effective visual field, using the visual line direction A1 of the occupant P included in the occupant information as a reference.
  • the effective visual field range A2 is expressed as a visual field angle ⁇ 1 range centered on the visual line direction A1.
  • neither the CID 21 nor the meter cluster panel 22 exist within the effective visual field range A2.
  • the control information determination unit 16 compares the effective visual field range A2 and the position A3 of the CID 21 to identify that the CID 21 is not within the effective visual field range A2.
  • the control information determination unit 16 compares the effective visual field range A2 and the position A3 of the meter cluster panel 22 to identify that the meter cluster panel 22 is not within the effective visual field range A2. Even if guidance information for guiding the position and orientation of the passenger's face is displayed on the CID 21 or the meter cluster panel 22 in this state, it is not visually recognized by the passenger. Therefore, the face information registration support device 101 prompts the passenger to visually recognize the display device 2 by voice.
  • the speaker 31 outputs a voice saying "Move your face to the right".
  • the occupant who hears this voice moves his or her head to the right
  • the occupant's effective visual field range A2 moves to the right and overlaps with the CID 21 as shown in FIG.
  • the movement of the face direction is instructed by voice, but the movement of the face position may be instructed along with the face orientation or instead of the face orientation.
  • FIG. 4 illustrates a case where CID 21 exists in effective visual field range A2.
  • the face information registration support device 101 displays on the CID 21 guidance information A4 for guiding the position and orientation of the passenger's face.
  • the passenger can view the guidance information A4 without changing the position and orientation of the face, and then change the position and orientation of the face according to the guidance information A4.
  • the position coordinates of the CID 21 be (x1, y1, z1). Assume that the position coordinates of the occupant's right eye are (rx1, ry1, rz1) and the position coordinates of the left eye are (lx1, ly1, lz1). Let (rx2, ry2, rz2) be the position coordinates of the intersection of the xy plane parallel to the display surface of the CID 21 and the line of sight A1r of the right eye. Similarly, let (lx2, ly2, lz2) be the position coordinates of the intersection of the xy plane parallel to the display surface of the CID 21 and the line of sight A1l of the left eye. Assuming that the effective visual field range A2r for the right eye is a circular area with a radius r1 from the line of sight A1r of the right eye, the radius r1 of the effective visual field range A2r is calculated by Equation (1).
  • the effective visual field range of the left eye is calculated.
  • the effective visual field range A2 is calculated by combining the effective visual field range A2r for the right eye and the effective visual field range for the left eye.
  • the face information registration support device 101 registers a plurality of face images of the occupant by changing the position or orientation of the face. Therefore, guidance of the occupant's face and photographing and registration of the face image are alternately repeated multiple times. Therefore, the face information registration support apparatus 101 calculates the face movement amount of the occupant in the control information calculation unit 15 so that the next guidance is not performed while the occupant is moving the face according to the guidance, and the control information A judgment unit 16 judges whether or not the occupant has completed the movement of the face based on the amount of movement of the face.
  • FIG. 7 shows the facial images of the occupant P at two times t1 and t2.
  • the face movement amount m1 between times t1 and t2 is represented by the sum of the movement amount of the face position between times t1 and t2 and the movement amount of the face direction between times t1 and t2.
  • the position coordinates of the face at time t1 be (x2, y2, z2) and the orientation of the face be ( ⁇ x1, ⁇ y1)
  • the position coordinates of the face at time t2 be (x3, y3, z3) and the orientation of the face be ( ⁇ x2, ⁇ y2)
  • the face movement amount m1 is calculated by the following equation (2).
  • FIG. 8 is a flowchart showing the operation of the face information registration support device 101.
  • FIG. The operation of the face information registration support device 101 will be described below according to the flowchart of FIG.
  • the imaging device 1 captures the face image of the passenger, and the acquisition unit 11 acquires the face image of the passenger from the imaging device 1 (step S101).
  • the occupant information processing unit 12 acquires the facial image of the occupant from the acquiring unit 11, and calculates occupant information from the facial image of the occupant (step S102).
  • the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and degree of eye opening.
  • the method for calculating the position and orientation of the face is disclosed in Patent Document 1, the method for calculating the gaze direction is disclosed in Japanese Patent Application Laid-Open No.
  • the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
  • the registration information determination unit 13 determines whether face information needs to be registered (step S103). Specifically, the registration information determination unit 13 acquires the registration information from the registration information storage unit 20, and determines that registration of the face information is necessary when the passenger information is not included in the registration information. Further, the registration information determination unit 13 may determine that registration of face information is necessary when a specific input operation is performed on a display device such as a touch panel by a passenger. The occupant whose face information is to be registered may be one or more.
  • step S102 when the registration information determination unit 13 determines that registration of passenger information is unnecessary, the processing of the face information registration support device 101 returns to step S101.
  • step S102 when the registration information determination unit 13 determines that registration of passenger information is necessary, the processing of the face information registration support device 101 proceeds to step S104 and subsequent steps.
  • step S104 the control information calculation unit 15 calculates the effective visual field range of the occupant from the occupant information calculated in step S102. Specifically, the control information calculation unit 15 calculates a range having a certain angle with respect to the line-of-sight direction from the position of the face or the position of the eyes included in the occupant information calculated in step S102. Set the field of view range.
  • the above constant angle is appropriately set in consideration of the effective field of view of a person with respect to the viewing direction, and is generally 4 to 20 degrees.
  • the detailed calculation method of the effective visual field range is as described with reference to FIGS. 4 to 6.
  • FIG. In addition to the above method, the control information calculation unit 15 may set the effective visual field range using information such as the degree of eye opening.
  • step S105 the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range. Specifically, the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range by comparing the effective visual field range and the position coordinates of the display device 2 . If the display device 2 does not exist within the effective visual field range, the processing of the face information registration support device 101 proceeds to step S106. The process proceeds to step S107.
  • step S106 the face information registration support device 101 prompts the passenger to visually recognize the display device 2 by voice.
  • the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
  • the notification control unit 18 provides the audio information to the audio output device 3 .
  • the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
  • the voice output device 3 outputs a voice such as "Face information will be registered, so please look at the display device.”
  • step S107 the face information registration support device 101 guides the position and orientation of the occupant's face through display.
  • the output information generation unit 17 creates guidance information that guides movement of the position and orientation of the face.
  • the notification control unit 18 provides the guidance information to the display device 2 .
  • the display device 2 provides a display that guides the position and orientation of the occupant's face.
  • This guidance display is also called display notification.
  • an image is displayed in which an animation indicating the direction of movement is added to the face image of the occupant captured by the imaging device 1 .
  • a face model created with a 3D mesh may be used instead of the face image.
  • step S108 the registration information determination unit 13 determines whether or not the registration of the image of the variation necessary for face authentication processing has been completed.
  • Variation images are, for example, images in which the face is facing the front, up, down, left, and right. If registration of the variation image has been completed, the processing of the face information registration support apparatus 101 ends. On the other hand, if registration of the variation image has not been completed, the process of the face information registration support apparatus 101 proceeds to step S109.
  • step S ⁇ b>109 the imaging device 1 captures the passenger's facial image, and the acquisition unit 11 acquires the passenger's facial image from the imaging device 1 . Thereafter, the occupant information processing unit 12 calculates occupant information from the occupant's face image acquired in step S109 (step S110).
  • the occupant information includes at least one of the occupant's face position, face orientation, line-of-sight direction, and degree of eye opening.
  • the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
  • the control information calculation unit 15 calculates the face movement amount as control information in order to grasp the movement status of the passenger (step S111).
  • the occupant information calculated in step S110 that is, the current occupant information is defined as first occupant information
  • the previous occupant information stored in the occupant information storage unit 14 is defined as second occupant information.
  • the control information calculation unit 15 calculates the sum of squares of differences in axial direction components between the face position in the first occupant information and the face position in the second occupant information as the movement amount of the face position. Further, the control information calculation unit 15 calculates the sum of the squares of the differences in the axial direction components between the face direction of the first occupant information and the face direction of the second occupant information as the movement amount of the face direction. Then, the control information calculation unit 15 calculates the sum of the amount of movement of the position of the face and the amount of movement of the direction of the face as the amount of movement of the face.
  • the detailed calculation method of the face movement amount is as described in ⁇ A-1>.
  • control information determination unit 16 determines whether or not the face movement has been completed (step S112).
  • the control information determination unit 16 acquires a predetermined face movement amount threshold from the unique information storage unit 19, and if the face movement amount calculated in step S111 exceeds the face movement amount threshold, the face movement is completed. judge that it did.
  • step S112 If the face movement has not been completed in step S112, the processing of the face information registration support device 101 returns to step S109. If the face movement has been completed in step S112, the process of the face information registration support apparatus 101 proceeds to step S113.
  • step S113 the control information calculation unit 15 calculates the occupant's effective visual field range from the occupant information acquired in step S110. Then, the control information determination unit 16 determines whether or not any display device 2 exists within the effective visual field range (step S114).
  • step S114 the processing of the face information registration support device 101 proceeds to step S115. If the display device 2 exists within the effective visual field range in step S114, the processing of the face information registration support device 101 proceeds to step S107, and guidance information for guiding the face to the next position and orientation is displayed.
  • the face information registration support device 101 prompts the passenger to visually recognize any display device 2 by voice.
  • the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
  • the notification control unit 18 provides the audio information to the audio output device 3 .
  • the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
  • This voice is, for example, "Please move the position of the face to the right”.
  • the output information generator 17 prepares in advance voice information for each pattern in which the face moves in different directions, such as up, down, left, right, and diagonal. method may be applied to select audio information. Since the nearest neighbor method is publicly known, detailed description is omitted.
  • the face information registration support device 101 instead of prompting the occupant to visually confirm 2 by voice, the display position of the guidance information may be changed within the effective visual field range.
  • the face information registration support device 101 of Embodiment 1 supports registration of face information for performing face authentication of a passenger on board a vehicle.
  • the face information registration support device 101 includes an acquisition unit 11 that acquires a facial image of the occupant photographed by an imaging device 1 provided in the vehicle; An occupant information processing unit 12 that calculates information, a control information calculation unit 15 that calculates control information including the effective visual field range of the occupant from the occupant information, and whether or not the display device 2 provided in the vehicle exists within the effective visual field range. and a notification control unit 18 that notifies the occupant to move his/her face.
  • the notification by the notification control unit 18 includes a voice notification that outputs a voice prompting the passenger to visually recognize the display device 2 from the voice output device 3 provided in the vehicle, and a voice notification that prompts the passenger to move at least one of the position and orientation of the face. and a display notification for causing the display device 2 to display guidance information to be guided.
  • the notification control unit 18 performs voice notification when the display device 2 is not present within the effective visual field range, and performs display notification when the display device 2 is present within the effective visual field range.
  • the face information registration support device 101 guides the face by display only when the occupant is visually recognizing the display device 2, and when the occupant is not visually recognizing the display device 2, the display device 2 is guided by voice. In order to encourage the visual recognition of the face information, the passenger can visually recognize the display device 2 according to the voice and then move the face according to the information displayed on the display device 2, so that the face information registration process can be performed smoothly. It reduces the burden on passengers.
  • the control information includes the passenger's face movement amount calculated from the passenger information calculated from the face images acquired before and after the display notification.
  • the amount of movement is compared with a predetermined threshold, and the notification control unit 18 may perform the following display notification when the amount of movement of the face is equal to or greater than the threshold.
  • the face information registration support device 101 can give the next display notification to the passenger at the timing when the movement of the passenger's face is completed according to the previous display notification.
  • FIG. 9 is a diagram showing the configuration of face information registration support apparatus 102 according to the second embodiment.
  • the face information registration support device 102 is connected to the imaging device 1, the display device 2, and the audio output device 3, and is configured to be able to use them.
  • the face information registration support device 102 is a device that supports registration of face information used for face authentication of a vehicle occupant.
  • the face information registration support device 102 includes an acquisition unit 11, an occupant information processing unit 12, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, a notification control unit 18, a unique information storage unit 19, and a display device control unit. It is configured with a portion 20A.
  • the display device control unit 20A has a mechanism that is attached to the display device 2 and adjusts the position and orientation of the display device 2 . A method for adjusting the position and orientation of the display device is disclosed in Japanese Patent Application Laid-Open No. 20007-78172, so a detailed description thereof will be omitted.
  • the control information calculation unit 15 acquires occupant information from the occupant information processing unit 12 and calculates control information from the occupant information.
  • the control information includes the occupant's effective visual field range and the amount of movement of the display device.
  • the amount of movement of the display device is the amount of movement of the position and angle of the display device 2 to the position and angle at which the display surface is perpendicular to the line-of-sight direction of the occupant.
  • the control information determination unit 16 acquires the occupant's effective visual field range from the control information calculation unit 15, and determines whether or not the effective visual field range satisfies a predetermined condition.
  • the output information generation unit 17 generates output information according to the determination result of the control information determination unit 16 .
  • the notification control unit 18 switches between display and sound output information based on the determination result of the control information determination unit 16, and outputs the output information generated by the output information generation unit 17 to the display device 2 or voice output. provided to any of the devices 3;
  • the unique information storage unit 19 stores unique information used by the face information registration support device 101 .
  • the unique information includes, for example, the position coordinates of the display device 2 .
  • the display device control unit 20A acquires the display direction of the display device 2 from the control information calculation unit 15 via the notification control unit 18, and acquires the determination result of the control information determination unit 16 via the notification control unit 18. Then, the display device control section 20A changes the position and display direction of the display device 2 based on the determination result of the control information determination section 16 . Details will be described later.
  • FIG. 10 is a perspective view showing the positional relationship between the occupant P and the CID 21.
  • the horizontal and vertical directions of the display surface of the CID 21 are the x-axis direction and the y-axis direction, respectively, and the direction perpendicular to the display surface of the CID 21 is the z-axis direction.
  • 11 is an xz plan view showing the positional relationship between the occupant P and the CID 21, and FIG.
  • FIG. 12 is a yz plan view showing the positional relationship between the occupant P and the CID 21.
  • FIG. 11 and 12 show the change of the display direction of the CID 21 by the display device control section 20A.
  • the x, y and z axes are set on the basis of the CID 21 before the change.
  • (x1, y1, z1) be the absolute position coordinates of the position A3 before adjustment of the CID 21 in the vehicle compartment
  • (x1, y1a, z1) be the absolute position coordinates of the position A3a after the adjustment of the CID 21 in the vehicle compartment.
  • (x3, y3, z3) be the position coordinates of the midpoint A5 of the straight line connecting the left and right eyes of the occupant.
  • A6 be a straight line connecting the position A3 of the CID 21 before adjustment and the midpoint A5.
  • ⁇ 2 be the angle between the straight line A6 and the y-axis direction.
  • A6a be a straight line connecting the adjusted position A3a of the CID 21 and the midpoint A5.
  • ⁇ 2a be the angle between the straight line A6a and the vertical direction of the display surface of the CID 21 after adjustment.
  • ⁇ 3 be the angle between the straight line A6a and the horizontal direction of the display surface of the CID 21 after adjustment.
  • ⁇ 4 be the angular movement amount (rotation angle) of the CID 21 in the yz plane. Note that 0 ⁇ 4 ⁇ max ⁇ 4, and max ⁇ 4 is the maximum value of the rotation angle of the CID 21 on the yz plane.
  • ⁇ 5 is the angle formed between the horizontal direction of the display screen of the CID 21 after adjustment and the x-axis, in other words, the angular movement amount (rotational angle) of the CID 21 on the xz plane.
  • the position and angle of the CID 21 are adjusted so that the angle ⁇ 2a formed between the straight line A6a and the y-axis direction and the angle ⁇ 3 formed between the straight line A6a and the x-axis direction are 90 degrees, respectively, so that the CID 21 moves in the front direction of the occupant. do.
  • the positional movement amount m2 of the display device 2 in the y-axis direction is calculated by equation (3).
  • the angular movement amount ⁇ 4 on the yz plane of the display device 2 is calculated by Equation (4). Note that 0 ⁇ m2 ⁇ maxm2, and maxm2 is the maximum value of the positional movement amount m2 of the display device 2 in the y-axis direction.
  • FIG. 13 is a flowchart showing the operation of the face information registration support device 102.
  • FIG. The operation of the face information registration support device 102 will be described below according to the flowchart of FIG.
  • the face information registration support device 102 starts face information registration processing in step S201.
  • a condition for starting the face information registration process is, for example, that the passenger performs a specific input operation on a display device such as a touch panel.
  • the occupant whose occupant information is to be registered may be one or more.
  • the imaging device 1 captures the facial image of the passenger, and the acquiring unit 11 acquires the facial image of the passenger from the imaging device 1 (step S202).
  • the occupant information processing unit 12 acquires the facial image of the occupant from the acquisition unit 11, and calculates occupant information from the facial image of the occupant (step S203).
  • the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and degree of eye opening.
  • the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
  • the face information registration support device 102 notifies the occupant that the display device 2 will move by voice, and prompts the occupant to visually recognize the display device 2 (step S204).
  • the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
  • the notification control unit 18 provides the audio information to the audio output device 3 .
  • the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
  • the voice output device 3 outputs a voice such as "The display device will be moved to a position where it is easy to see. Please look at the display device.”
  • the audio output from the audio output device 3 may be any content that conveys to the passenger that the display device 2 is moving and prompts the passenger to visually recognize the display device 2 .
  • control information calculation unit 15 calculates the effective visual field range of the occupant from the occupant information calculated in step S203 (step S205). After that, the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range (step S206). If the display device 2 does not exist within the effective visual field range in step S206, the processing of the face information registration support device 102 returns to step S204.
  • step S207 the control information calculation unit 15 calculates the position and direction of the display device 2 that is most visible to the occupant, that is, the optimum position and direction, and calculates the amount of movement of the position and direction of the display device 2 to the position and direction (step S207). Specifically, the control information calculation unit 15 acquires the eye position information of the occupant from the occupant information. The amount of movement to the position and angle at which the display surface of is vertical is calculated as the amount of movement of the display device. Note that the detailed calculation method of the amount of movement of the display device is as described with reference to FIGS. 10 to 12 .
  • the display device control unit 20A moves the display device 2 by the display device movement amount acquired from the control information calculation unit 15 (step S208).
  • step S209 the face information registration support device 102 guides the position and orientation of the occupant's face by display (step S209). This step is the same as step S107 in FIG.
  • the face information registration support device 102 of Embodiment 2 is a display device that rotates the display device so that the display surface of the display device is perpendicular to the line-of-sight direction of the passenger when the display device 2 exists within the effective visual field range.
  • a control unit 20A is provided. Then, the notification control unit 18 performs display notification after the display device 2 is rotated. Therefore, the visibility of the display notification by the passenger is improved.
  • the face information registration support apparatuses 101 and 102 are composed of computers, and the computers have a processor 81 and memories 82 and 83 as shown in FIG.
  • the computer is stored with the acquisition unit 11, the passenger information processing unit 12, the registration information determination unit 13, the control information calculation unit 15, the control information determination unit 16, the output information generation unit 17, the notification control unit 18, and unique information storage.
  • a program for functioning as the unit 19 (hereinafter also referred to as “acquisition unit 11 etc.”) is stored.
  • acquisition unit 11 is stored.
  • the functions of the acquisition unit 11 and the like are realized by the processor 81 reading and executing the program stored in the memory 82 .
  • the memory 83 implements the functions of the occupant information storage unit 14 and the registration information storage unit 20 .
  • the face information registration support devices 101 and 102 may have a memory 83 and a processing circuit 84.
  • the functions of the acquisition unit 11 and the like may be implemented by the processing circuit 84 .
  • the face information registration support devices 101 and 102 may have a processor 81 , memories 82 and 83 and a processing circuit 84 .
  • part of the functions of the acquisition unit 11 and the like may be implemented by the processor 81 and the memory 82 and the remaining functions may be implemented by the processing circuit 84 .
  • the processor 81 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microcontroller
  • DSP Digital Signal Processor
  • the memories 82 and 83 use, for example, semiconductor memories or magnetic disks. More specifically, the memory 82 includes RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Memory, Solid-On Memory). State Drive) or HDD (Hard Disk Drive).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Memory, Solid-On Memory). State Drive) or HDD (Hard Disk Drive).
  • the processing circuit 84 is, for example, ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field-Programmable Gate Array), SoC (System-on-a-Chip) or system LSI (Large-Scale) is used.
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • SoC System-on-a-Chip
  • system LSI Large-Scale
  • Imaging device 2 Display device 3 Audio output device 11 Acquisition unit 12 Passenger information processing unit 13 Registration information determination unit 14 Passenger information storage unit 15 Control information calculation unit 16 Control information determination unit 17 Output information Generation unit, 18 Notification control unit, 19 Unique information storage unit, 20 Registration information storage unit, 20A Display device control unit, 21 CID, 22 Meter cluster panel, 23 Passenger seat display, 25 Windshield, 31, 32 Speakers, 40 Steering Steering wheel, 41 Driver's seat, 42 Passenger seat, 51, 52 Camera, 81 Processor, 82, 83 Memory, 84 Processing circuit, 101, 102 Face information registration support device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本開示は、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することを目的とする。顔情報登録支援装置（１０１）は、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部（１２）と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部（１５）と、表示装置（２）が有効視野範囲に存在するか否かを判定する制御情報判定部（１６）と、乗員に顔の移動を促す通知を行う通知制御部（１８）と、を備える。通知は、乗員に表示装置（２）を視認するよう促す音声を出力させる音声通知と、乗員に顔を移動するよう誘導する誘導情報を表示装置（２）に表示させる表示通知とを含む。通知制御部（１８）は、表示装置（２）が有効視野範囲に存在しない場合に音声通知を行い、表示装置（２）が有効視野範囲に存在する場合に表示通知を行う。

Description

顔情報登録支援装置
　本開示は、車両の乗員の顔認証に用いられる顔情報の登録支援に関する。
　近年、車両の乗員の生体認証として顔認証が用いられている。この顔認証は、車両において各乗員に最適化したサービスを提供することを目的として、運転者に限らず他の乗員に対しても行われる。
　顔認証は、例えば車両の乗員の顔を撮影した画像を、事前に登録されている顔画像（以下、「登録画像」とも称する）と比較することによって行われる。そのため、顔認証の前段階として乗員の顔画像を登録しておく必要がある。
　特許文献１の実施の形態２には、顔画像の登録処理において、乗員の顔の位置または向きが不適当である場合、画像または音声によって顔の位置または向きを誘導する構成が開示されている。
特開２０１９－０２８９５９号公報
　乗員の顔の誘導が画像によって行われる場合、乗員にとって画面に表示された誘導情報を確認しながら顔の位置または向きを調整することは困難である。また、乗員の顔の誘導が音声によって行われる場合、乗員にとって音声のみで顔の位置または向きの移動先を正しく理解することは困難である。
　顔認証の精度を高めるために、登録画像は乗員の顔を様々な方向から撮影したバリエーションの画像であることが望ましい。そして、バリエーションの画像を登録するためには、顔の誘導は複数回に及ぶため、乗員にとって顔画像を登録する際の負担は大きなものとなる。ここでは登録画像を例として挙げているが、顔認証に用いられるのは顔画像に限らず、顔の特徴量などを表す顔情報であってもよい。
　本開示は、上記の問題点を解決するためになされたものであり、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することを目的とする。
　本開示の顔情報登録支援装置は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、車両に設けられた撮像装置により撮影された乗員の顔画像を取得する取得部と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、車両に設けられた表示装置が有効視野範囲に存在するか否かを判定する制御情報判定部と、乗員に顔の移動を促す通知を行う通知制御部と、を備え、通知は、乗員に表示装置を視認するよう促す音声を車両に設けられた音声出力装置から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置に表示させる表示通知とを含み、通知制御部は、表示装置が有効視野範囲に存在しない場合に音声通知を行い、表示装置が有効視野範囲に存在する場合に表示通知を行う。
　本開示の顔情報登録支援装置によれば、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することが可能である。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１の顔情報登録支援装置の構成を示すブロック図である。 車室における撮像装置、表示装置および音声出力装置の配置を示す図である。 乗員の有効視野範囲に表示装置が存在しない場合を示す斜視図である。 乗員の有効視野範囲に表示装置が存在する場合を示す斜視図である。 乗員の有効視野範囲と表示装置の座標とを示す斜視図である。 乗員の有効視野範囲と表示装置の座標とを示すｘｚ平面図である。 時刻ｔ１およびｔ２における乗員の顔の位置および顔の向きを示す図である。 実施の形態１の顔情報登録支援装置の動作を示すフローチャートである。 実施の形態２の顔情報登録支援装置の構成を示すブロック図である。 乗員の視野方向と表示装置の座標とを示す斜視図である。 乗員の視野方向と表示装置の座標とを示すｘｚ平面図である。 乗員の視野方向と表示装置の座標とを示すｙｚ平面図である。 実施の形態２の顔情報登録支援装置の動作を示すフローチャートである。 実施の形態１の顔情報登録支援装置のハードウェア構成を示す図である。 実施の形態１の顔情報登録支援装置のハードウェア構成を示す図である。
　＜Ａ．実施の形態１＞
　＜Ａ－１．構成＞
　図１は、実施の形態１の顔情報登録支援装置１０１の構成を示す図である。顔情報登録支援装置１０１は、撮像装置１、表示装置２および音声出力装置３と接続され、これらを利用可能に構成されている。顔情報登録支援装置１０１は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。撮像装置１、表示装置２および音声出力装置３はいずれも車両の室内（以下、「車室」と称する）に搭載される。本明細書で車両とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員が搭乗する車両を指す。また、本明細書で乗員とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員を指す。顔情報登録支援装置１０１も典型的には車両に搭載されるものであるが、その構成の一部が、車両の外部に存在するサーバ、乗員が携帯し車両に持ち込む携帯端末などによって構成されていてもよい。
　図２は、車室における撮像装置１、表示装置２、および音声出力装置３の配置を示す図である。
　図２においてカメラ５１，５２が撮像装置１の一例である。カメラ５１は、乗員を前方かつ上方から撮影することができる車室内の位置に設置される。カメラ５２はカメラ５１より下方かつＣＩＤ（Ｃｅｎｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｄｉｓｐｌａｙ）２１の上方に設置され、乗員を前方から撮影する。図２では複数のカメラ５１，５２が示されているが、撮像装置１を構成するカメラの数は単数または複数を問わない。カメラ５１，５２が撮影した乗員の顔画像が顔情報登録支援装置１０１において顔情報の登録に用いられる。
　図２においてＣＩＤ２１、メータークラスターパネル２２、助手席ディスプレイ２３、およびＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）２４が表示装置２の一例である。ＣＩＤ２１は運転席４１と助手席４２の間の前方に設置される。メータークラスターパネル２２はステアリングハンドル４０の前方に設置される。助手席ディスプレイ２３は助手席４２の前方に設置される。ＨＵＤ２４はメータークラスターパネル２２の上方に設置される。この他、ディスプレイ化されたフロントガラス２５が表示装置２に含まれてもよい。表示装置２には、撮像装置１が乗員の顔画像を撮影する際、乗員の顔の位置および向きを特定の方向に誘導するための誘導情報が表示される。
　図２においてスピーカー３１，３２が音声出力装置３の一例である。スピーカー３１は運転席４１の近傍に設置され、スピーカー３２は助手席４２の近傍に設置される。音声出力装置３からは、乗員に表示装置２の視認を促す音声が出力される。
　図１を参照して顔情報登録支援装置１０１の構成を説明する。顔情報登録支援装置１０１は、取得部１１、乗員情報処理部１２、登録情報判定部１３、乗員情報記憶部１４、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８、固有情報記憶部１９および登録情報記憶部２０を備えて構成される。
　取得部１１は、撮像装置１が撮影した乗員の顔画像を撮像装置１から取得する。
　乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を取得する。乗員情報には、乗員の顔の位置、顔の向き、視線方向および開眼度のいずれかが少なくとも含まれる。
　登録情報判定部１３は、乗員情報処理部１２から乗員の顔画像を取得し、乗員の顔画像が予め定められた登録条件を満たすか否かを判定する。登録情報判定部１３は、既存の顔情報登録システムであるＤＭＳ(Driver Monitoring System)により構成されてもよい。
　乗員情報記憶部１４は、乗員情報処理部１２から乗員情報を取得し、記憶する。乗員情報記憶部１４は、乗員情報処理部１２が１回の処理で取得した乗員情報をその都度記憶しても良いし、複数回の処理で取得した乗員情報をまとめて記憶してもよい。
　制御情報算出部１５は、乗員情報記憶部１４から乗員情報を取得し、乗員情報から制御情報を算出する。制御情報は、乗員の顔移動量および有効視野範囲を含む。なお、制御情報の算出方法については後で詳述する。
　制御情報判定部１６は、制御情報算出部１５から制御情報を取得し、取得した制御情報が予め定められた条件を満たすか否かを判定する。
　出力情報生成部１７は、制御情報判定部１６の判定結果に応じて出力情報を生成する。出力情報は、表示装置２の視認を促す音声情報と、顔の位置および向きを所定の位置および向きに誘導する誘導情報のいずれかを含む。
　通知制御部１８は、出力情報生成部１７から出力情報を取得し、制御情報判定部１６の判定結果に応じて出力情報を表示装置２と音声出力装置３とのいずれかに提供する。すなわち、通知制御部１８は制御情報判定部１６の判定結果に応じて、表示と音声のいずれによって乗員に通知を行うかを制御する。
　固有情報記憶部１９は、顔情報登録支援装置１０１が使用する固有情報を記憶する。固有情報には、例えば表示装置２の位置座標または顔移動量の閾値が挙げられる。
　登録情報記憶部２０は、登録情報判定部１３において顔画像が登録条件を満たすと判定された場合、顔画像に関する顔情報を記憶、すなわち登録する。顔情報は顔認証処理において乗員の顔の識別に用いられる情報であり、顔画像自体の他、顔画像を機械学習モデルで評価したスコアであってもよい。なお、登録された顔情報を登録情報とも称する。
　＜Ａ－２．動作＞
　図３および図４は、乗員の有効視野範囲と表示装置との位置関係を示している。これらの図において、ＣＩＤ２１およびメータークラスターパネル２２が表示装置２に相当する。制御情報算出部１５は、乗員情報に含まれる乗員Ｐの視線方向Ａ１を基準とし、人間の有効視野を考慮して有効視野範囲Ａ２を設定する。有効視野範囲Ａ２は視線方向Ａ１を中心とした視野角θ１の範囲として表される。
　図３の例では、有効視野範囲Ａ２にＣＩＤ２１およびメータークラスターパネル２２のいずれも存在しない。例えば、制御情報判定部１６は、有効視野範囲Ａ２とＣＩＤ２１の位置Ａ３とを比較することにより、ＣＩＤ２１が有効視野範囲Ａ２にないことを識別する。同様に、制御情報判定部１６は、有効視野範囲Ａ２とメータークラスターパネル２２の位置Ａ３とを比較することにより、メータークラスターパネル２２が有効視野範囲Ａ２にないことを識別する。この状態でＣＩＤ２１またはメータークラスターパネル２２に乗員の顔の位置および向きを誘導する誘導情報が表示されたとしても、乗員に視認されない。従って、顔情報登録支援装置１０１は、音声により乗員に表示装置２の視認を促す。例えば図３に示されるように、スピーカー３１から「顔の向きを右に移動して下さい」との音声が出力される。この音声を聞いた乗員が顔の向きを右に移動すると、乗員の有効視野範囲Ａ２が右に移動し、図４に示されるようにＣＩＤ２１と重なる。なお、上記の例では、顔の向きの移動が音声により指示されたが、顔の向きと共に、または顔の向きに代えて顔の位置の移動が指示されてもよい。
　図４は、有効視野範囲Ａ２にＣＩＤ２１が存在する場合を例示している。この状態で顔情報登録支援装置１０１は、乗員の顔の位置および向きを誘導する誘導情報Ａ４をＣＩＤ２１に表示する。乗員は顔の位置および向きを変えることなく誘導情報Ａ４を視認し、その後、誘導情報Ａ４に従って顔の位置および向きを変えることができる。
　図５および図６は、ｘｙｚ座標系における乗員情報および制御情報の位置座標を示している。図５において、ＣＩＤ２１の表示面の横方向および縦方向をそれぞれｘ軸方向およびｙ軸方向とし、ＣＩＤ２１の表示面に垂直な方向をｚ軸方向とする。図６はｘｚ平面図である。
　ＣＩＤ２１の位置座標を（ｘ１，ｙ１，ｚ１）とする。乗員の右眼の位置座標を（ｒｘ１，ｒｙ１，ｒｚ１）とし、左眼の位置座標を（ｌｘ１，ｌｙ１，ｌｚ１）とする。ＣＩＤ２１の表示面に平行なｘｙ平面と右眼の視線Ａ１ｒとの交点の位置座標を（ｒｘ２，ｒｙ２，ｒｚ２）とする。同様に、ＣＩＤ２１の表示面に平行なｘｙ平面と左眼の視線Ａ１ｌとの交点の位置座標を（ｌｘ２，ｌｙ２，ｌｚ２）とする。右眼の有効視野範囲Ａ２ｒを、右眼の視線Ａ１ｒから半径ｒ１の円領域とすると、有効視野範囲Ａ２ｒの半径ｒ１は式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
　同様にして左眼の有効視野範囲が算出される。そして、右眼の有効視野範囲Ａ２ｒと左眼の有効視野範囲をあわせて有効視野範囲Ａ２が算出される。
　顔情報登録支援装置１０１は、乗員の顔画像を顔の位置または向きを変えて複数枚登録する。そのため、乗員の顔の誘導と、顔画像の撮影および登録とは交互に複数回繰り返される。そのため、顔情報登録支援装置１０１は、乗員が誘導に従い顔の移動を行っている間に次の誘導を行うことがないよう、制御情報算出部１５において乗員の顔移動量を算出し、制御情報判定部１６において顔移動量から乗員が顔の移動を完了したか否かを判断する。
　図７は、乗員Ｐの顔画像を２つの時刻ｔ１，ｔ２において示している。時刻ｔ１，ｔ２間の顔移動量ｍ１は、時刻ｔ１，ｔ２間の顔の位置の移動量と，時刻ｔ１，ｔ２間の顔の向きの移動量との和で表される。時刻ｔ１における顔の位置座標を（ｘ２，ｙ２，ｚ２）、顔の向きを（θｘ１，θｙ１）とし、時刻ｔ２における顔の位置座標を（ｘ３，ｙ３，ｚ３）、顔の向きを（θｘ２，θｙ２）とすると、顔移動量ｍ１は、以下の式（２）で算出される。
Figure JPOXMLDOC01-appb-M000002
　図８は、顔情報登録支援装置１０１の動作を示すフローチャートである。以下、図８のフローチャートに従って顔情報登録支援装置１０１の動作を説明する。
　顔情報登録支援装置１０１による顔情報登録処理が開始すると、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する（ステップＳ１０１）。次に、乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する（ステップＳ１０２）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。なお、顔の位置および向きの算出方法は特許文献１に開示され、視線方向の算出方法は特開２０１９－１５２９５７号公報に開示され、開眼度を算出する方法は特開２０２０－５１７７０７号公報に開示されている。従って、これらの詳しい説明は省略する。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。
　ステップＳ１０２の後、登録情報判定部１３は顔情報の登録要否を判断する（ステップＳ１０３）。具体的には、登録情報判定部１３は登録情報記憶部２０から登録情報を取得し、乗員情報が登録情報に含まれない場合に顔情報の登録が必要であると判断する。また、登録情報判定部１３は、乗員からタッチパネルなどの表示装置に特定の入力操作が行われた場合に、顔情報の登録が必要であると判断してもよい。顔情報が登録される対象となる乗員は、一人でも複数でもよい。
　ステップＳ１０２において登録情報判定部１３が乗員情報の登録を不要と判断すると、顔情報登録支援装置１０１の処理はステップＳ１０１に戻る。ステップＳ１０２において登録情報判定部１３が乗員情報の登録を必要と判断すると、顔情報登録支援装置１０１の処理はステップＳ１０４以降に進む。ステップＳ１０４において、制御情報算出部１５はステップＳ１０２で算出された乗員情報から乗員の有効視野範囲を算出する。具体的には、制御情報算出部１５はステップＳ１０２で算出された乗員情報に含まれる顔の位置または眼の位置からの視線方向に対して一定の角度を有する範囲を、乗員が視認可能な有効視野範囲と設定する。上記の一定の角度は視線方向に対して人間の有効視野を考慮し適切に設定されるものであり、一般的には４度から２０度である。有効視野範囲の詳細な算出方法は図４から図６で説明したとおりである。また、制御情報算出部１５は上記の方法に加えて開眼度等の情報を用いて有効視野範囲を設定してもよい。
　ステップＳ１０４の後、制御情報判定部１６は、有効視野範囲に表示装置２が存在するか否かを判断する（ステップＳ１０５）。具体的には、制御情報判定部１６は、有効視野範囲と表示装置２の位置座標とを比較することにより、有効視野範囲に表示装置２が存在するか否かを判断する。有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０１の処理はステップＳ１０６に移行し、有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０１の処理はステップＳ１０７に移行する。
　ステップＳ１０６において、顔情報登録支援装置１０１は、音声により乗員に表示装置２の視認を促す。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。例えば「顔情報を登録しますので表示装置を見てください」等の音声が音声出力装置３から出力される。ステップＳ１０６の後、顔情報登録支援装置１０１の処理はステップＳ１０１に移行する。
　ステップＳ１０７において、顔情報登録支援装置１０１は、表示により乗員の顔の位置および向きを誘導する。具体的には、出力情報生成部１７が顔の位置および向きの移動を誘導する誘導情報を作成する。そして、通知制御部１８が誘導情報を表示装置２に提供する。これにより、表示装置２において乗員の顔の位置および向きを誘導する表示が行われる。この誘導表示を表示通知とも称する。ここでは、例えば撮像装置１で撮影された乗員の顔画像に移動方向を示すアニメーションが付加された画像が表示される。また、顔画像に代えて３Ｄメッシュで作成された顔モデルが用いられてもよい。
　ステップＳ１０８において、登録情報判定部１３は、顔認証処理に必要なバリエーションの画像の登録が完了したか否かを判定する。バリエーションの画像とは、例えば、顔が正面、上、下、左、および右を向いている画像などである。バリエーションの画像の登録が完了している場合、顔情報登録支援装置１０１の処理は終了する。一方、バリエーションの画像の登録が未完了である場合、顔情報登録支援装置１０１の処理はステップＳ１０９に移行する。
　ステップＳ１０９において、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する。その後、乗員情報処理部１２は、ステップＳ１０９で取得された乗員の顔画像から乗員情報を算出する（ステップＳ１１０）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向、および開眼度の少なくともいずれかが含まれる。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。
　ステップＳ１１０の後、制御情報算出部１５は、乗員の動作状況を把握するため制御情報として顔移動量を算出する（ステップＳ１１１）。ここで、ステップＳ１１０で算出された乗員情報、すなわち今回の乗員情報を第１乗員情報とし、乗員情報記憶部１４に記憶されている前回の乗員情報を第２乗員情報とする。制御情報算出部１５は、第１乗員情報の顔の位置と第２乗員情報の顔の位置との間で各軸方向成分の差の二乗和を顔の位置の移動量として算出する。また、制御情報算出部１５は、第１乗員情報の顔の向きと第２乗員情報の顔の向きとの間で各軸方向成分の差の二乗和を顔の向きの移動量として算出する。そして、制御情報算出部１５は、顔の位置の移動量と顔の向きの移動量の和を顔移動量として算出する。顔移動量の詳細な算出方法は＜Ａ－１＞で説明したとおりである。
　ステップＳ１１１の後、制御情報判定部１６は顔移動が完了したか否かを判断する（ステップＳ１１２）。制御情報判定部１６は、固有情報記憶部１９から予め定められた顔移動量閾値を取得し、ステップＳ１１１で算出された顔移動量が顔移動量閾値を超えている場合に、顔移動が完了したと判断する。
　ステップＳ１１２において顔移動が完了していない場合、顔情報登録支援装置１０１の処理はステップＳ１０９に戻る。ステップＳ１１２において顔移動が完了している場合、顔情報登録支援装置１０１の処理はステップＳ１１３へ進む。
　ステップＳ１１３において、制御情報算出部１５はステップＳ１１０で取得した乗員情報から乗員の有効視野範囲を算出する。そして、制御情報判定部１６は、有効視野範囲に任意の表示装置２が存在するか否かを判断する（ステップＳ１１４）。
　ステップＳ１１４において有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０１の処理はステップＳ１１５に移行する。ステップＳ１１４において有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０１の処理はステップＳ１０７に移行し、次の位置および向きに顔を誘導する誘導情報を表示する。
　ステップＳ１１５において、顔情報登録支援装置１０１は、音声により乗員に任意の表示装置２の視認を促す。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。この音声は、例えば「顔の位置を右に移動してください」等である。出力情報生成部１７は、上、下、左、右、斜めなど顔の移動方向が異なる各パターンについて音声情報を予め作成しておき、乗員の現在の顔の位置および向きと期待値に最近傍法を適用して音声情報を選択してもよい。なお、最近傍法については公知であるため詳しい説明は省略する。
　なお、表示装置２がディスプレイ化されたフロントガラスまたはインパネ部一体型ディスプレイである場合など、表示装置２の表示範囲が有効視野範囲に比べて極めて大きい場合、顔情報登録支援装置１０１は、表示装置２の視認を乗員に音声で促すことに代えて、有効視野範囲内に誘導情報の表示位置を変更してもよい。
　＜Ａ－３．効果＞
　実施の形態１の顔情報登録支援装置１０１は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する。顔情報登録支援装置１０１は、車両に設けられた撮像装置１により撮影された乗員の顔画像を取得する取得部１１と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部１２と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部１５と、車両に設けられた表示装置２が有効視野範囲に存在するか否かを判定する制御情報判定部１６と、乗員に顔の移動を促す通知を行う通知制御部１８とを備える。通知制御部１８による通知は、乗員に表示装置２を視認するよう促す音声を車両に設けられた音声出力装置３から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置２に表示させる表示通知とを含む。通知制御部１８は、表示装置２が有効視野範囲に存在しない場合に音声通知を行い、表示装置２が有効視野範囲に存在する場合に表示通知を行う。以上の構成により、顔情報登録支援装置１０１は、乗員が表示装置２を視認している場合に限り表示により顔の誘導を行い、乗員が表示装置２を視認していなければ音声により表示装置２の視認を促すため、乗員は音声に従い表示装置２を視認した後、表示装置２に表示された情報に従って顔を動かすことにより、スムーズに顔情報登録処理を行うことができ、顔情報登録処理における乗員の負担が軽減する。
　また、顔情報登録支援装置１０１において、制御情報は、表示通知の前後に取得された顔画像からそれぞれ算出された乗員情報から算出される乗員の顔移動量を含み、制御情報判定部１６は顔移動量を予め定められた閾値と比較し、通知制御部１８は、顔移動量が閾値以上である場合に、次の表示通知を行ってもよい。これにより、顔情報登録支援装置１０１は、前回の表示通知に従って乗員の顔の移動が完了したタイミングで乗員へ次の表示通知を行うことができる。
　＜Ｂ．実施の形態２＞
　＜Ｂ－１．構成＞
　実施の形態２において実施の形態１と同様の構成については同一の参照符号が付され、それらの説明は適宜省略される。図９は、実施の形態２の顔情報登録支援装置１０２の構成を示す図である。顔情報登録支援装置１０２は、撮像装置１、表示装置２および音声出力装置３と接続され、これらを利用可能に構成されている。顔情報登録支援装置１０２は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。
　顔情報登録支援装置１０２は、取得部１１、乗員情報処理部１２、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８、固有情報記憶部１９および表示装置制御部２０Ａを備えて構成される。表示装置制御部２０Ａは、表示装置２に取付けられて表示装置２の位置および向きを調整する機構を備える。なお、表示装置の位置および向きを調整する方法は特開２０００７－７８１７２号公報に開示されているため、その詳しい説明は省略する。
　制御情報算出部１５は、乗員情報処理部１２から乗員情報を取得し、乗員情報から制御情報を算出する。ここで制御情報には、乗員の有効視野範囲と、表示装置移動量とが含まれる。表示装置移動量とは、乗員の視線方向に対して表示面が垂直になる位置および角度への表示装置２の位置および角度の移動量である。
　制御情報判定部１６は、制御情報算出部１５から乗員の有効視野範囲を取得し、有効視野範囲が予め定められた条件を満たすか否かを判定する。
　出力情報生成部１７は、制御情報判定部１６の判定結果に応じて出力情報を生成する。
　通知制御部１８は、制御情報判定部１６の判定結果に基づき、表示と音声のいずれによって出力情報を出力するかを切り替え、出力情報生成部１７で生成された出力情報を表示装置２または音声出力装置３のいずれかに提供する。
　固有情報記憶部１９は、顔情報登録支援装置１０１が使用する固有情報を記憶する。固有情報には、例えば表示装置２の位置座標が挙げられる。
　表示装置制御部２０Ａは、通知制御部１８を介して制御情報算出部１５から表示装置２の表示方向を取得し、通知制御部１８を介して制御情報判定部１６の判定結果を取得する。そして、表示装置制御部２０Ａは、制御情報判定部１６の判定結果に基づき表示装置２の位置および表示方向を変更する。詳細は、後で詳述する。
　＜Ｂ－２．動作＞
　図１０から図１２は、顔情報登録支援装置１０２による表示装置２の制御方法の一例を示している。これらの図では、表示装置２の一例としてＣＩＤ２１の位置および表示方向の制御について説明する。図１０は乗員ＰとＣＩＤ２１との位置関係を示す斜視図である。図１０において、ＣＩＤ２１の表示面の横方向および縦方向をそれぞれｘ軸方向およびｙ軸方向とし、ＣＩＤ２１の表示面に垂直な方向をｚ軸方向とする。図１１は乗員ＰとＣＩＤ２１との位置関係を示すｘｚ平面図であり、図１２は乗員ＰとＣＩＤ２１との位置関係を示すｙｚ平面図である。なお、図１１および図１２では表示装置制御部２０ＡによるＣＩＤ２１の表示方向の変更が示されているが、これらの図においてｘ，ｙおよびｚ軸は変更前のＣＩＤ２１を基準として設定されている。
　車室におけるＣＩＤ２１の調整前の位置Ａ３の絶対位置座標を（ｘ１，ｙ１，ｚ１）とし、車室におけるＣＩＤ２１の調整後の位置Ａ３ａの絶対位置座標を（ｘ１，ｙ１ａ，ｚ１）とする。乗員の左右の眼を結ぶ直線の中点Ａ５の位置座標を（ｘ３，ｙ３，ｚ３）とする。ＣＩＤ２１の調整前の位置Ａ３と中点Ａ５とを結ぶ直線をＡ６とする。直線Ａ６とｙ軸方向とのなす角をθ２とする。ＣＩＤ２１の調整後の位置Ａ３ａと中点Ａ５とを結ぶ直線をＡ６ａとする。直線Ａ６ａと調整後のＣＩＤ２１の表示面の縦方向とのなす角をθ２ａとする。直線Ａ６ａと調整後のＣＩＤ２１の表示面の横方向とのなす角をθ３とする。ｙｚ平面におけるＣＩＤ２１の角度移動量（回転角）をθ４とする。なお、０＜θ４＜ｍａｘθ４とし、ｍａｘθ４はｙｚ平面におけるＣＩＤ２１の回転角の最大値である。θ５は、調整後のＣＩＤ２１の表示画面の横方向がｘ軸となす角であり、言い換えればＣＩＤ２１のｘｚ平面における角度移動量（回転角）である。直線Ａ６ａとｙ軸方向のなす角θ２ａ、および直線Ａ６ａとｘ軸方向のなす角θ３がそれぞれ９０度になる方向にＣＩＤ２１の位置および角度が調整されることで、ＣＩＤ２１は乗員の正面方向に移動する。
　例えば、表示装置２のｙ軸方向の位置移動量ｍ２は式（３）にて算出される。また、表示装置２のｙｚ平面における角度移動量θ４は式（４）により算出される。なお、０＜ｍ２＜ｍａｘｍ２であり、ｍａｘｍ２は、表示装置２のｙ軸方向の位置移動量ｍ２の最大値である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　図１３は、顔情報登録支援装置１０２の動作を示すフローチャートである。以下、図１３のフローチャートに従って顔情報登録支援装置１０２の動作を説明する。
　顔情報登録支援装置１０２はステップＳ２０１において顔情報登録処理を開始する。顔情報登録処理の開始条件は、例えば乗員からタッチパネルなどの表示装置に特定の入力操作が行われることである。乗員情報が登録される対象となる乗員は、一人でも複数でもよい。
　次に、撮像装置１が乗員の顔画像を撮影し、取得部１１が撮像装置１から乗員の顔画像を取得する（ステップＳ２０２）。次に、乗員情報処理部１２は、取得部１１から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する（ステップＳ２０３）。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。乗員情報処理部１２が算出した乗員情報は、乗員情報記憶部１４に記憶される。
　次に、顔情報登録支援装置１０２は、音声により乗員に表示装置２が移動することを通知し、かつ乗員に表示装置２の視認を促す（ステップＳ２０４）。具体的には、出力情報生成部１７が表示装置２の視認を促す音声情報を作成し、通知制御部１８が音声情報を音声出力装置３に提供する。これにより、音声出力装置３から表示装置２の視認を促す音声が出力される。例えば「表示装置を見やすい位置に移動します、表示装置を見てください」等の音声が音声出力装置３から出力される。ここで音声出力装置３から出力される音声は、表示装置２が移動することが乗員に伝わり、かつ乗員に対して表示装置２の視認を促す内容であればよい。
　次に、制御情報算出部１５はステップＳ２０３で算出された乗員情報から乗員の有効視野範囲を算出する（ステップＳ２０５）。その後、制御情報判定部１６は、有効視野範囲に表示装置２が存在するか否かを判断する（ステップＳ２０６）。ステップＳ２０６において有効視野範囲内に表示装置２が存在しない場合、顔情報登録支援装置１０２の処理はステップＳ２０４に戻る。
　ステップＳ２０６において有効視野範囲内に表示装置２が存在する場合、顔情報登録支援装置１０２の処理はステップＳ２０７に移行する。ステップＳ２０７において制御情報算出部１５は、乗員にとって最も見やすい、すなわち最適な表示装置２の位置および方向を算出し、当該位置および方向への表示装置２の位置および方向の移動量を算出する（ステップＳ２０７）。具体的には、制御情報算出部１５は乗員情報から乗員の眼の位置情報を取得し、乗員の両眼の位置の中点と表示装置２の位置とを結ぶ直線に対して、表示装置２の表示面が垂直になる位置および角度への移動量を表示装置移動量として算出する。なお、表示装置移動量の詳細な算出方法は、図１０から図１２で説明したとおりである。
　次に、表示装置制御部２０Ａは、制御情報算出部１５から取得した表示装置移動量だけ表示装置２を移動させる（ステップＳ２０８）。
　その後、顔情報登録支援装置１０２は、表示により乗員の顔の位置および向きを誘導する（ステップＳ２０９）。本ステップは図８のステップＳ１０７と同様である。
　＜Ｂ－３．効果＞
　実施の形態２の顔情報登録支援装置１０２は、表示装置２が有効視野範囲に存在する場合に、乗員の視線方向に対して表示装置の表示面が垂直になるよう表示装置を回転させる表示装置制御部２０Ａを備える。そして、通知制御部１８は表示装置２の回転の後に表示通知を行う。従って、乗員による表示通知の視認性が向上する。
　＜Ｃ．ハードウェア構成＞
　次に、顔情報登録支援装置１０１，１０２の要部のハードウェア構成について説明する。顔情報登録支援装置１０１，１０２は、コンピュータにより構成されており、当該コンピュータは、図１４に示されるようにプロセッサ８１およびメモリ８２、８３を有している。メモリ８２には、当該コンピュータを取得部１１、乗員情報処理部１２、登録情報判定部１３、制御情報算出部１５、制御情報判定部１６、出力情報生成部１７、通知制御部１８および固有情報記憶部１９（以下、「取得部１１等」とも称する）として機能させるためのプログラムが記憶されている。メモリ８２に記憶されているプログラムをプロセッサ８１が読みだして実行することにより、取得部１１等の機能が実現される。また、メモリ８３は、乗員情報記憶部１４および登録情報記憶部２０の機能を実現する。
　または、顔情報登録支援装置１０１，１０２は、メモリ８３および処理回路８４を有するものであっても良い。この場合、取得部１１等の機能が処理回路８４により実現されるものであっても良い。
　または、顔情報登録支援装置１０１，１０２は、プロセッサ８１、メモリ８２，８３および処理回路８４を有するものであっても良い。この場合、取得部１１等の機能のうちの一部の機能がプロセッサ８１およびメモリ８２により実現されて、残余の機能が処理回路８４により実現されるものであっても良い。
　プロセッサ８１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ８２，８３は、例えば、半導体メモリまたは磁気ディスクを用いたものである。より具体的には、メモリ８２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などを用いたものである。
　処理回路８４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
　１　撮像装置、２　表示装置、３　音声出力装置、１１　取得部、１２　乗員情報処理部、１３　登録情報判定部、１４　乗員情報記憶部、１５　制御情報算出部、１６　制御情報判定部、１７　出力情報生成部、１８　通知制御部、１９　固有情報記憶部、２０　登録情報記憶部、２０Ａ　表示装置制御部、２１　ＣＩＤ、２２　メータークラスターパネル、２３　助手席ディスプレイ、２５　フロントガラス、３１，３２　スピーカー、４０　ステアリングハンドル、４１　運転席、４２　助手席、５１，５２　カメラ、８１　プロセッサ、８２，８３　メモリ、８４　処理回路、１０１，１０２　顔情報登録支援装置。

Claims (4)

  1. 　車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、
    　前記車両に設けられた撮像装置により撮影された前記乗員の顔画像を取得する取得部と、
    　前記乗員の顔画像から前記乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、
    　前記乗員情報から前記乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、
    　前記車両に設けられた表示装置が前記有効視野範囲に存在するか否かを判定する制御情報判定部と、
    　前記乗員に顔の移動を促す通知を行う通知制御部と、を備え、
    　前記通知は、前記乗員に前記表示装置を視認するよう促す音声を前記車両に設けられた音声出力装置から出力させる音声通知と、前記乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を前記表示装置に表示させる表示通知とを含み、
    　前記通知制御部は、前記表示装置が前記有効視野範囲に存在しない場合に前記音声通知を行い、前記表示装置が前記有効視野範囲に存在する場合に前記表示通知を行う、
    顔情報登録支援装置。
  2. 　前記制御情報は、前記表示通知の前後に取得された前記顔画像からそれぞれ算出された前記乗員情報から算出される前記乗員の顔移動量を含み、
    　前記制御情報判定部は前記顔移動量を予め定められた閾値と比較し、
    　前記制御部は、前記顔移動量が前記閾値以上である場合に、次の前記表示通知を行う、
    請求項１に記載の顔情報登録支援装置。
  3. 　前記乗員情報は前記乗員の開眼度を含む、
    請求項１に記載の顔情報登録支援装置。
  4. 　前記表示装置が前記有効視野範囲に存在する場合に、前記乗員の視線方向に対して前記表示装置の表示面が垂直になるよう前記表示装置を回転させる表示装置制御部をさらに備え、
    　前記通知制御部は前記表示装置の回転の後に前記表示通知を行う、
    請求項１に記載の顔情報登録支援装置。
PCT/JP2021/026554 2021-07-15 2021-07-15 顔情報登録支援装置 WO2023286228A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/026554 WO2023286228A1 (ja) 2021-07-15 2021-07-15 顔情報登録支援装置
JP2023534532A JPWO2023286228A1 (ja) 2021-07-15 2021-07-15

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/026554 WO2023286228A1 (ja) 2021-07-15 2021-07-15 顔情報登録支援装置

Publications (1)

Publication Number Publication Date
WO2023286228A1 true WO2023286228A1 (ja) 2023-01-19

Family

ID=84919761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026554 WO2023286228A1 (ja) 2021-07-15 2021-07-15 顔情報登録支援装置

Country Status (2)

Country Link
JP (1) JPWO2023286228A1 (ja)
WO (1) WO2023286228A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098982A (ja) * 2001-09-26 2003-04-04 Alpine Electronics Inc 表示装置
JP2006134038A (ja) * 2004-11-05 2006-05-25 Omron Corp 車載用顔面データ登録装置及び車両における顔面データ登録方法
JP2019010929A (ja) * 2017-06-29 2019-01-24 株式会社デンソーテン 運転支援装置および運転支援方法
JP2019012046A (ja) * 2017-06-30 2019-01-24 株式会社デンソーテン 通知装置、通知システムおよび通知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098982A (ja) * 2001-09-26 2003-04-04 Alpine Electronics Inc 表示装置
JP2006134038A (ja) * 2004-11-05 2006-05-25 Omron Corp 車載用顔面データ登録装置及び車両における顔面データ登録方法
JP2019010929A (ja) * 2017-06-29 2019-01-24 株式会社デンソーテン 運転支援装置および運転支援方法
JP2019012046A (ja) * 2017-06-30 2019-01-24 株式会社デンソーテン 通知装置、通知システムおよび通知方法

Also Published As

Publication number Publication date
JPWO2023286228A1 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
JP5966341B2 (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
EP3033999A1 (en) Apparatus and method for determining the state of a driver
US7853051B2 (en) Recognizing apparatus and method, recording media, and program
JP4924896B2 (ja) 車両の周辺監視装置
US9606623B2 (en) Gaze detecting apparatus and method
JP2006522397A (ja) マルチビュー・ディスプレイ
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
CN111665513A (zh) 面部特征部检测装置、面部特征部检测方法
US11488319B2 (en) Three-dimensional position estimation device and three-dimensional position estimation method
CN111873911A (zh) 调整后视镜的方法、装置、介质以及电子设备
KR100982171B1 (ko) 안면 영상 촬영장치
JP6669182B2 (ja) 乗員監視装置
JP2016115117A (ja) 判定装置および判定方法
CN114007054A (zh) 车载屏幕画面投影矫正的方法及装置
JP5937137B2 (ja) 地磁気検出装置
WO2023286228A1 (ja) 顔情報登録支援装置
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP4855278B2 (ja) カメラパラメータ取得装置
JP2018101212A (ja) 車載器および顔正面度算出方法
JP5082620B2 (ja) 余所見判定装置
WO2017217044A1 (ja) 視認方向推定装置
JP2016115118A (ja) 下方視判定装置および下方視判定方法
US20220284714A1 (en) Calibration device, calibration method, drive recorder, vehicle, and storage medium
JP5049304B2 (ja) 車両の周辺を画像表示するための装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950167

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023534532

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21950167

Country of ref document: EP

Kind code of ref document: A1