WO2023286228A1 - 顔情報登録支援装置 - Google Patents
顔情報登録支援装置 Download PDFInfo
- Publication number
- WO2023286228A1 WO2023286228A1 PCT/JP2021/026554 JP2021026554W WO2023286228A1 WO 2023286228 A1 WO2023286228 A1 WO 2023286228A1 JP 2021026554 W JP2021026554 W JP 2021026554W WO 2023286228 A1 WO2023286228 A1 WO 2023286228A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- occupant
- information
- face
- display device
- notification
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 230000010365 information processing Effects 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 11
- 230000015654 memory Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- This disclosure relates to support for registration of face information used for face authentication of vehicle occupants.
- facial recognition has been used as biometric authentication for vehicle occupants. This face authentication is performed not only for the driver but also for other passengers for the purpose of providing services optimized for each passenger in the vehicle.
- Face authentication is performed, for example, by comparing an image of the face of a vehicle occupant with a pre-registered face image (hereinafter also referred to as a "registered image"). Therefore, it is necessary to register the face image of the passenger as a pre-stage of face authentication.
- a pre-registered face image hereinafter also referred to as a "registered image”
- Embodiment 2 of Patent Document 1 discloses a configuration for guiding the position or orientation of the occupant's face by an image or sound in the facial image registration process when the position or orientation of the occupant's face is inappropriate. .
- the registered images are variations of images of the occupant's face taken from various directions.
- the passenger bears a heavy burden when registering the face image.
- a registered image is taken as an example, but face information used for face authentication is not limited to a face image, and may be face information representing a face feature amount or the like.
- the present disclosure has been made to solve the above problems, and aims to reduce the burden on vehicle occupants in registering face information used for face authentication of vehicle occupants.
- the face information registration support device of the present disclosure is a face information registration support device that supports registration of face information for performing face authentication of an occupant boarding a vehicle, and is an occupant photographed by an imaging device provided in the vehicle.
- an acquisition unit that acquires a face image of the occupant
- an occupant information processing unit that calculates occupant information including at least position information of the occupant's face and a line-of-sight direction from the occupant's face image, and control information including the effective visual field range of the occupant from the occupant information
- a control information calculation unit for calculating, a control information determination unit for determining whether or not the display device provided in the vehicle is present in the effective visual field range, a notification control unit for notifying the occupant to move the face
- the notification includes audio notification that outputs a sound from an audio output device provided in the vehicle to prompt the occupant to visually recognize the display device, and guidance information that guides the occupant to move at least one of the position and orientation of the face. is displayed on the display device, and the notification control
- the face information registration support device of the present disclosure it is possible to reduce the burden on the occupant in the process of registering face information used for face authentication of the occupant of the vehicle. Objects, features, aspects and advantages of the present disclosure will become more apparent with the following detailed description and accompanying drawings.
- FIG. 1 is a block diagram showing the configuration of a face information registration support device according to Embodiment 1;
- FIG. It is a figure which shows the arrangement
- FIG. 10 is a perspective view showing a case where the display device is not present within the effective visual range of the occupant;
- FIG. 11 is a perspective view showing a case where a display device exists within the effective visual range of an occupant;
- FIG. 4 is a perspective view showing the effective visual field range of an occupant and the coordinates of the display device; It is an xz plane view which shows a passenger
- FIG. 10 is a perspective view showing a case where the display device is not present within the effective visual range of the occupant
- FIG. 11 is a perspective view showing a case where a display device exists within the effective visual range of an occupant
- FIG. 4 is a perspective
- FIG. 4 is a diagram showing the position and orientation of the face of the occupant at times t1 and t2; 4 is a flow chart showing the operation of the face information registration support device of Embodiment 1;
- FIG. 11 is a block diagram showing the configuration of a face information registration support device according to Embodiment 2; It is a perspective view which shows a passenger
- FIG. 9 is a flow chart showing the operation of the face information registration support device of Embodiment 2; 2 is a diagram showing the hardware configuration of the face information registration support device according to Embodiment 1; FIG. 2 is a diagram showing the hardware configuration of the face information registration support device according to Embodiment 1; FIG.
- FIG. 1 is a diagram showing the configuration of face information registration support apparatus 101 according to Embodiment 1.
- the face information registration support device 101 is connected to the imaging device 1, the display device 2, and the audio output device 3, and is configured to be able to use them.
- the face information registration support device 101 is a device that supports registration of face information used for face authentication of a vehicle occupant.
- the imaging device 1, the display device 2, and the audio output device 3 are all mounted in the interior of the vehicle (hereinafter referred to as "vehicle interior").
- a vehicle refers to a vehicle boarded by an occupant whose face information is to be registered by the face information registration support device of each embodiment.
- an occupant refers to an occupant whose face information is registered by the face information registration support device of each embodiment.
- the face information registration support device 101 is also typically installed in a vehicle, and a part of its configuration is composed of a server located outside the vehicle, a portable terminal carried by the passenger and brought into the vehicle, and the like. may
- FIG. 2 is a diagram showing the arrangement of the imaging device 1, the display device 2, and the audio output device 3 in the vehicle compartment.
- the cameras 51 and 52 in FIG. 2 are an example of the imaging device 1.
- the camera 51 is installed at a position inside the vehicle that can photograph the occupant from the front and above.
- a camera 52 is installed below the camera 51 and above the CID (Center Information Display) 21, and photographs the occupant from the front.
- CID Center Information Display
- FIG. 2 a plurality of cameras 51 and 52 are shown in FIG. 2, the number of cameras constituting the imaging device 1 may be singular or plural.
- the facial images of the passengers captured by the cameras 51 and 52 are used by the facial information registration support device 101 for facial information registration.
- the CID 21, the meter cluster panel 22, the passenger seat display 23, and the HUD (Head Up Display) 24 are examples of the display device 2.
- the CID 21 is installed in front between the driver's seat 41 and the passenger's seat 42 .
- the meter cluster panel 22 is installed in front of the steering handle 40 .
- the passenger seat display 23 is installed in front of the passenger seat 42 .
- a HUD 24 is installed above the meter cluster panel 22 .
- the display device 2 may include a windshield 25 that is made into a display. The display device 2 displays guidance information for guiding the position and orientation of the passenger's face in a specific direction when the imaging device 1 captures the passenger's face image.
- the speakers 31 and 32 are an example of the audio output device 3.
- the speaker 31 is installed near the driver's seat 41 and the speaker 32 is installed near the passenger seat 42 .
- the audio output device 3 outputs audio prompting the passenger to visually recognize the display device 2 .
- the configuration of the face information registration support device 101 will be described with reference to FIG.
- the face information registration support device 101 includes an acquisition unit 11, an occupant information processing unit 12, a registration information determination unit 13, an occupant information storage unit 14, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, and notification control. 18, a unique information storage unit 19 and a registration information storage unit 20.
- FIG. 1 An acquisition unit 11, an occupant information processing unit 12, a registration information determination unit 13, an occupant information storage unit 14, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, and notification control. 18, a unique information storage unit 19 and a registration information storage unit 20.
- the acquisition unit 11 acquires from the imaging device 1 the facial image of the passenger captured by the imaging device 1 .
- the occupant information processing unit 12 acquires the facial image of the occupant from the acquiring unit 11 and acquires occupant information from the facial image of the occupant.
- the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and eye opening degree.
- the registration information determination unit 13 acquires the passenger's face image from the passenger information processing unit 12 and determines whether the passenger's face image satisfies a predetermined registration condition.
- the registration information determination unit 13 may be configured by a DMS (Driver Monitoring System), which is an existing face information registration system.
- the occupant information storage unit 14 acquires occupant information from the occupant information processing unit 12 and stores it.
- the occupant information storage unit 14 may store the occupant information acquired by the occupant information processing unit 12 in one process each time, or may collectively store the occupant information acquired in a plurality of processes.
- the control information calculation unit 15 acquires occupant information from the occupant information storage unit 14 and calculates control information from the occupant information.
- the control information includes the occupant's face movement amount and effective visual field range. A method of calculating control information will be described in detail later.
- the control information determination unit 16 acquires control information from the control information calculation unit 15 and determines whether the acquired control information satisfies a predetermined condition.
- the output information generation unit 17 generates output information according to the determination result of the control information determination unit 16 .
- the output information includes either audio information that prompts visual recognition of the display device 2 or guidance information that guides the position and orientation of the face to a predetermined position and orientation.
- the notification control unit 18 acquires output information from the output information generation unit 17 and provides the output information to either the display device 2 or the audio output device 3 according to the determination result of the control information determination unit 16 . In other words, the notification control unit 18 controls whether to notify the occupant by display or by voice according to the determination result of the control information determination unit 16 .
- the unique information storage unit 19 stores unique information used by the face information registration support device 101 .
- the specific information includes, for example, the position coordinates of the display device 2 or the threshold value of the amount of face movement.
- the registration information storage unit 20 stores, that is, registers the face information regarding the face image.
- the face information is information used to identify the occupant's face in face authentication processing, and may be the face image itself or a score obtained by evaluating the face image using a machine learning model.
- the registered face information is also referred to as registration information.
- ⁇ A-2 Operation> 3 and 4 show the positional relationship between the effective visual range of the occupant and the display device.
- CID 21 and meter cluster panel 22 correspond to display device 2 .
- the control information calculation unit 15 sets the effective visual field range A2 in consideration of the human effective visual field, using the visual line direction A1 of the occupant P included in the occupant information as a reference.
- the effective visual field range A2 is expressed as a visual field angle ⁇ 1 range centered on the visual line direction A1.
- neither the CID 21 nor the meter cluster panel 22 exist within the effective visual field range A2.
- the control information determination unit 16 compares the effective visual field range A2 and the position A3 of the CID 21 to identify that the CID 21 is not within the effective visual field range A2.
- the control information determination unit 16 compares the effective visual field range A2 and the position A3 of the meter cluster panel 22 to identify that the meter cluster panel 22 is not within the effective visual field range A2. Even if guidance information for guiding the position and orientation of the passenger's face is displayed on the CID 21 or the meter cluster panel 22 in this state, it is not visually recognized by the passenger. Therefore, the face information registration support device 101 prompts the passenger to visually recognize the display device 2 by voice.
- the speaker 31 outputs a voice saying "Move your face to the right".
- the occupant who hears this voice moves his or her head to the right
- the occupant's effective visual field range A2 moves to the right and overlaps with the CID 21 as shown in FIG.
- the movement of the face direction is instructed by voice, but the movement of the face position may be instructed along with the face orientation or instead of the face orientation.
- FIG. 4 illustrates a case where CID 21 exists in effective visual field range A2.
- the face information registration support device 101 displays on the CID 21 guidance information A4 for guiding the position and orientation of the passenger's face.
- the passenger can view the guidance information A4 without changing the position and orientation of the face, and then change the position and orientation of the face according to the guidance information A4.
- the position coordinates of the CID 21 be (x1, y1, z1). Assume that the position coordinates of the occupant's right eye are (rx1, ry1, rz1) and the position coordinates of the left eye are (lx1, ly1, lz1). Let (rx2, ry2, rz2) be the position coordinates of the intersection of the xy plane parallel to the display surface of the CID 21 and the line of sight A1r of the right eye. Similarly, let (lx2, ly2, lz2) be the position coordinates of the intersection of the xy plane parallel to the display surface of the CID 21 and the line of sight A1l of the left eye. Assuming that the effective visual field range A2r for the right eye is a circular area with a radius r1 from the line of sight A1r of the right eye, the radius r1 of the effective visual field range A2r is calculated by Equation (1).
- the effective visual field range of the left eye is calculated.
- the effective visual field range A2 is calculated by combining the effective visual field range A2r for the right eye and the effective visual field range for the left eye.
- the face information registration support device 101 registers a plurality of face images of the occupant by changing the position or orientation of the face. Therefore, guidance of the occupant's face and photographing and registration of the face image are alternately repeated multiple times. Therefore, the face information registration support apparatus 101 calculates the face movement amount of the occupant in the control information calculation unit 15 so that the next guidance is not performed while the occupant is moving the face according to the guidance, and the control information A judgment unit 16 judges whether or not the occupant has completed the movement of the face based on the amount of movement of the face.
- FIG. 7 shows the facial images of the occupant P at two times t1 and t2.
- the face movement amount m1 between times t1 and t2 is represented by the sum of the movement amount of the face position between times t1 and t2 and the movement amount of the face direction between times t1 and t2.
- the position coordinates of the face at time t1 be (x2, y2, z2) and the orientation of the face be ( ⁇ x1, ⁇ y1)
- the position coordinates of the face at time t2 be (x3, y3, z3) and the orientation of the face be ( ⁇ x2, ⁇ y2)
- the face movement amount m1 is calculated by the following equation (2).
- FIG. 8 is a flowchart showing the operation of the face information registration support device 101.
- FIG. The operation of the face information registration support device 101 will be described below according to the flowchart of FIG.
- the imaging device 1 captures the face image of the passenger, and the acquisition unit 11 acquires the face image of the passenger from the imaging device 1 (step S101).
- the occupant information processing unit 12 acquires the facial image of the occupant from the acquiring unit 11, and calculates occupant information from the facial image of the occupant (step S102).
- the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and degree of eye opening.
- the method for calculating the position and orientation of the face is disclosed in Patent Document 1, the method for calculating the gaze direction is disclosed in Japanese Patent Application Laid-Open No.
- the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
- the registration information determination unit 13 determines whether face information needs to be registered (step S103). Specifically, the registration information determination unit 13 acquires the registration information from the registration information storage unit 20, and determines that registration of the face information is necessary when the passenger information is not included in the registration information. Further, the registration information determination unit 13 may determine that registration of face information is necessary when a specific input operation is performed on a display device such as a touch panel by a passenger. The occupant whose face information is to be registered may be one or more.
- step S102 when the registration information determination unit 13 determines that registration of passenger information is unnecessary, the processing of the face information registration support device 101 returns to step S101.
- step S102 when the registration information determination unit 13 determines that registration of passenger information is necessary, the processing of the face information registration support device 101 proceeds to step S104 and subsequent steps.
- step S104 the control information calculation unit 15 calculates the effective visual field range of the occupant from the occupant information calculated in step S102. Specifically, the control information calculation unit 15 calculates a range having a certain angle with respect to the line-of-sight direction from the position of the face or the position of the eyes included in the occupant information calculated in step S102. Set the field of view range.
- the above constant angle is appropriately set in consideration of the effective field of view of a person with respect to the viewing direction, and is generally 4 to 20 degrees.
- the detailed calculation method of the effective visual field range is as described with reference to FIGS. 4 to 6.
- FIG. In addition to the above method, the control information calculation unit 15 may set the effective visual field range using information such as the degree of eye opening.
- step S105 the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range. Specifically, the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range by comparing the effective visual field range and the position coordinates of the display device 2 . If the display device 2 does not exist within the effective visual field range, the processing of the face information registration support device 101 proceeds to step S106. The process proceeds to step S107.
- step S106 the face information registration support device 101 prompts the passenger to visually recognize the display device 2 by voice.
- the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
- the notification control unit 18 provides the audio information to the audio output device 3 .
- the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
- the voice output device 3 outputs a voice such as "Face information will be registered, so please look at the display device.”
- step S107 the face information registration support device 101 guides the position and orientation of the occupant's face through display.
- the output information generation unit 17 creates guidance information that guides movement of the position and orientation of the face.
- the notification control unit 18 provides the guidance information to the display device 2 .
- the display device 2 provides a display that guides the position and orientation of the occupant's face.
- This guidance display is also called display notification.
- an image is displayed in which an animation indicating the direction of movement is added to the face image of the occupant captured by the imaging device 1 .
- a face model created with a 3D mesh may be used instead of the face image.
- step S108 the registration information determination unit 13 determines whether or not the registration of the image of the variation necessary for face authentication processing has been completed.
- Variation images are, for example, images in which the face is facing the front, up, down, left, and right. If registration of the variation image has been completed, the processing of the face information registration support apparatus 101 ends. On the other hand, if registration of the variation image has not been completed, the process of the face information registration support apparatus 101 proceeds to step S109.
- step S ⁇ b>109 the imaging device 1 captures the passenger's facial image, and the acquisition unit 11 acquires the passenger's facial image from the imaging device 1 . Thereafter, the occupant information processing unit 12 calculates occupant information from the occupant's face image acquired in step S109 (step S110).
- the occupant information includes at least one of the occupant's face position, face orientation, line-of-sight direction, and degree of eye opening.
- the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
- the control information calculation unit 15 calculates the face movement amount as control information in order to grasp the movement status of the passenger (step S111).
- the occupant information calculated in step S110 that is, the current occupant information is defined as first occupant information
- the previous occupant information stored in the occupant information storage unit 14 is defined as second occupant information.
- the control information calculation unit 15 calculates the sum of squares of differences in axial direction components between the face position in the first occupant information and the face position in the second occupant information as the movement amount of the face position. Further, the control information calculation unit 15 calculates the sum of the squares of the differences in the axial direction components between the face direction of the first occupant information and the face direction of the second occupant information as the movement amount of the face direction. Then, the control information calculation unit 15 calculates the sum of the amount of movement of the position of the face and the amount of movement of the direction of the face as the amount of movement of the face.
- the detailed calculation method of the face movement amount is as described in ⁇ A-1>.
- control information determination unit 16 determines whether or not the face movement has been completed (step S112).
- the control information determination unit 16 acquires a predetermined face movement amount threshold from the unique information storage unit 19, and if the face movement amount calculated in step S111 exceeds the face movement amount threshold, the face movement is completed. judge that it did.
- step S112 If the face movement has not been completed in step S112, the processing of the face information registration support device 101 returns to step S109. If the face movement has been completed in step S112, the process of the face information registration support apparatus 101 proceeds to step S113.
- step S113 the control information calculation unit 15 calculates the occupant's effective visual field range from the occupant information acquired in step S110. Then, the control information determination unit 16 determines whether or not any display device 2 exists within the effective visual field range (step S114).
- step S114 the processing of the face information registration support device 101 proceeds to step S115. If the display device 2 exists within the effective visual field range in step S114, the processing of the face information registration support device 101 proceeds to step S107, and guidance information for guiding the face to the next position and orientation is displayed.
- the face information registration support device 101 prompts the passenger to visually recognize any display device 2 by voice.
- the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
- the notification control unit 18 provides the audio information to the audio output device 3 .
- the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
- This voice is, for example, "Please move the position of the face to the right”.
- the output information generator 17 prepares in advance voice information for each pattern in which the face moves in different directions, such as up, down, left, right, and diagonal. method may be applied to select audio information. Since the nearest neighbor method is publicly known, detailed description is omitted.
- the face information registration support device 101 instead of prompting the occupant to visually confirm 2 by voice, the display position of the guidance information may be changed within the effective visual field range.
- the face information registration support device 101 of Embodiment 1 supports registration of face information for performing face authentication of a passenger on board a vehicle.
- the face information registration support device 101 includes an acquisition unit 11 that acquires a facial image of the occupant photographed by an imaging device 1 provided in the vehicle; An occupant information processing unit 12 that calculates information, a control information calculation unit 15 that calculates control information including the effective visual field range of the occupant from the occupant information, and whether or not the display device 2 provided in the vehicle exists within the effective visual field range. and a notification control unit 18 that notifies the occupant to move his/her face.
- the notification by the notification control unit 18 includes a voice notification that outputs a voice prompting the passenger to visually recognize the display device 2 from the voice output device 3 provided in the vehicle, and a voice notification that prompts the passenger to move at least one of the position and orientation of the face. and a display notification for causing the display device 2 to display guidance information to be guided.
- the notification control unit 18 performs voice notification when the display device 2 is not present within the effective visual field range, and performs display notification when the display device 2 is present within the effective visual field range.
- the face information registration support device 101 guides the face by display only when the occupant is visually recognizing the display device 2, and when the occupant is not visually recognizing the display device 2, the display device 2 is guided by voice. In order to encourage the visual recognition of the face information, the passenger can visually recognize the display device 2 according to the voice and then move the face according to the information displayed on the display device 2, so that the face information registration process can be performed smoothly. It reduces the burden on passengers.
- the control information includes the passenger's face movement amount calculated from the passenger information calculated from the face images acquired before and after the display notification.
- the amount of movement is compared with a predetermined threshold, and the notification control unit 18 may perform the following display notification when the amount of movement of the face is equal to or greater than the threshold.
- the face information registration support device 101 can give the next display notification to the passenger at the timing when the movement of the passenger's face is completed according to the previous display notification.
- FIG. 9 is a diagram showing the configuration of face information registration support apparatus 102 according to the second embodiment.
- the face information registration support device 102 is connected to the imaging device 1, the display device 2, and the audio output device 3, and is configured to be able to use them.
- the face information registration support device 102 is a device that supports registration of face information used for face authentication of a vehicle occupant.
- the face information registration support device 102 includes an acquisition unit 11, an occupant information processing unit 12, a control information calculation unit 15, a control information determination unit 16, an output information generation unit 17, a notification control unit 18, a unique information storage unit 19, and a display device control unit. It is configured with a portion 20A.
- the display device control unit 20A has a mechanism that is attached to the display device 2 and adjusts the position and orientation of the display device 2 . A method for adjusting the position and orientation of the display device is disclosed in Japanese Patent Application Laid-Open No. 20007-78172, so a detailed description thereof will be omitted.
- the control information calculation unit 15 acquires occupant information from the occupant information processing unit 12 and calculates control information from the occupant information.
- the control information includes the occupant's effective visual field range and the amount of movement of the display device.
- the amount of movement of the display device is the amount of movement of the position and angle of the display device 2 to the position and angle at which the display surface is perpendicular to the line-of-sight direction of the occupant.
- the control information determination unit 16 acquires the occupant's effective visual field range from the control information calculation unit 15, and determines whether or not the effective visual field range satisfies a predetermined condition.
- the output information generation unit 17 generates output information according to the determination result of the control information determination unit 16 .
- the notification control unit 18 switches between display and sound output information based on the determination result of the control information determination unit 16, and outputs the output information generated by the output information generation unit 17 to the display device 2 or voice output. provided to any of the devices 3;
- the unique information storage unit 19 stores unique information used by the face information registration support device 101 .
- the unique information includes, for example, the position coordinates of the display device 2 .
- the display device control unit 20A acquires the display direction of the display device 2 from the control information calculation unit 15 via the notification control unit 18, and acquires the determination result of the control information determination unit 16 via the notification control unit 18. Then, the display device control section 20A changes the position and display direction of the display device 2 based on the determination result of the control information determination section 16 . Details will be described later.
- FIG. 10 is a perspective view showing the positional relationship between the occupant P and the CID 21.
- the horizontal and vertical directions of the display surface of the CID 21 are the x-axis direction and the y-axis direction, respectively, and the direction perpendicular to the display surface of the CID 21 is the z-axis direction.
- 11 is an xz plan view showing the positional relationship between the occupant P and the CID 21, and FIG.
- FIG. 12 is a yz plan view showing the positional relationship between the occupant P and the CID 21.
- FIG. 11 and 12 show the change of the display direction of the CID 21 by the display device control section 20A.
- the x, y and z axes are set on the basis of the CID 21 before the change.
- (x1, y1, z1) be the absolute position coordinates of the position A3 before adjustment of the CID 21 in the vehicle compartment
- (x1, y1a, z1) be the absolute position coordinates of the position A3a after the adjustment of the CID 21 in the vehicle compartment.
- (x3, y3, z3) be the position coordinates of the midpoint A5 of the straight line connecting the left and right eyes of the occupant.
- A6 be a straight line connecting the position A3 of the CID 21 before adjustment and the midpoint A5.
- ⁇ 2 be the angle between the straight line A6 and the y-axis direction.
- A6a be a straight line connecting the adjusted position A3a of the CID 21 and the midpoint A5.
- ⁇ 2a be the angle between the straight line A6a and the vertical direction of the display surface of the CID 21 after adjustment.
- ⁇ 3 be the angle between the straight line A6a and the horizontal direction of the display surface of the CID 21 after adjustment.
- ⁇ 4 be the angular movement amount (rotation angle) of the CID 21 in the yz plane. Note that 0 ⁇ 4 ⁇ max ⁇ 4, and max ⁇ 4 is the maximum value of the rotation angle of the CID 21 on the yz plane.
- ⁇ 5 is the angle formed between the horizontal direction of the display screen of the CID 21 after adjustment and the x-axis, in other words, the angular movement amount (rotational angle) of the CID 21 on the xz plane.
- the position and angle of the CID 21 are adjusted so that the angle ⁇ 2a formed between the straight line A6a and the y-axis direction and the angle ⁇ 3 formed between the straight line A6a and the x-axis direction are 90 degrees, respectively, so that the CID 21 moves in the front direction of the occupant. do.
- the positional movement amount m2 of the display device 2 in the y-axis direction is calculated by equation (3).
- the angular movement amount ⁇ 4 on the yz plane of the display device 2 is calculated by Equation (4). Note that 0 ⁇ m2 ⁇ maxm2, and maxm2 is the maximum value of the positional movement amount m2 of the display device 2 in the y-axis direction.
- FIG. 13 is a flowchart showing the operation of the face information registration support device 102.
- FIG. The operation of the face information registration support device 102 will be described below according to the flowchart of FIG.
- the face information registration support device 102 starts face information registration processing in step S201.
- a condition for starting the face information registration process is, for example, that the passenger performs a specific input operation on a display device such as a touch panel.
- the occupant whose occupant information is to be registered may be one or more.
- the imaging device 1 captures the facial image of the passenger, and the acquiring unit 11 acquires the facial image of the passenger from the imaging device 1 (step S202).
- the occupant information processing unit 12 acquires the facial image of the occupant from the acquisition unit 11, and calculates occupant information from the facial image of the occupant (step S203).
- the occupant information includes at least one of the occupant's face position, face direction, line-of-sight direction, and degree of eye opening.
- the occupant information calculated by the occupant information processing section 12 is stored in the occupant information storage section 14 .
- the face information registration support device 102 notifies the occupant that the display device 2 will move by voice, and prompts the occupant to visually recognize the display device 2 (step S204).
- the output information generation unit 17 creates audio information for prompting the user to visually recognize the display device 2
- the notification control unit 18 provides the audio information to the audio output device 3 .
- the sound output device 3 outputs a sound prompting the user to visually recognize the display device 2 .
- the voice output device 3 outputs a voice such as "The display device will be moved to a position where it is easy to see. Please look at the display device.”
- the audio output from the audio output device 3 may be any content that conveys to the passenger that the display device 2 is moving and prompts the passenger to visually recognize the display device 2 .
- control information calculation unit 15 calculates the effective visual field range of the occupant from the occupant information calculated in step S203 (step S205). After that, the control information determination unit 16 determines whether or not the display device 2 exists within the effective visual field range (step S206). If the display device 2 does not exist within the effective visual field range in step S206, the processing of the face information registration support device 102 returns to step S204.
- step S207 the control information calculation unit 15 calculates the position and direction of the display device 2 that is most visible to the occupant, that is, the optimum position and direction, and calculates the amount of movement of the position and direction of the display device 2 to the position and direction (step S207). Specifically, the control information calculation unit 15 acquires the eye position information of the occupant from the occupant information. The amount of movement to the position and angle at which the display surface of is vertical is calculated as the amount of movement of the display device. Note that the detailed calculation method of the amount of movement of the display device is as described with reference to FIGS. 10 to 12 .
- the display device control unit 20A moves the display device 2 by the display device movement amount acquired from the control information calculation unit 15 (step S208).
- step S209 the face information registration support device 102 guides the position and orientation of the occupant's face by display (step S209). This step is the same as step S107 in FIG.
- the face information registration support device 102 of Embodiment 2 is a display device that rotates the display device so that the display surface of the display device is perpendicular to the line-of-sight direction of the passenger when the display device 2 exists within the effective visual field range.
- a control unit 20A is provided. Then, the notification control unit 18 performs display notification after the display device 2 is rotated. Therefore, the visibility of the display notification by the passenger is improved.
- the face information registration support apparatuses 101 and 102 are composed of computers, and the computers have a processor 81 and memories 82 and 83 as shown in FIG.
- the computer is stored with the acquisition unit 11, the passenger information processing unit 12, the registration information determination unit 13, the control information calculation unit 15, the control information determination unit 16, the output information generation unit 17, the notification control unit 18, and unique information storage.
- a program for functioning as the unit 19 (hereinafter also referred to as “acquisition unit 11 etc.”) is stored.
- acquisition unit 11 is stored.
- the functions of the acquisition unit 11 and the like are realized by the processor 81 reading and executing the program stored in the memory 82 .
- the memory 83 implements the functions of the occupant information storage unit 14 and the registration information storage unit 20 .
- the face information registration support devices 101 and 102 may have a memory 83 and a processing circuit 84.
- the functions of the acquisition unit 11 and the like may be implemented by the processing circuit 84 .
- the face information registration support devices 101 and 102 may have a processor 81 , memories 82 and 83 and a processing circuit 84 .
- part of the functions of the acquisition unit 11 and the like may be implemented by the processor 81 and the memory 82 and the remaining functions may be implemented by the processing circuit 84 .
- the processor 81 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- microprocessor a microcontroller
- DSP Digital Signal Processor
- the memories 82 and 83 use, for example, semiconductor memories or magnetic disks. More specifically, the memory 82 includes RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Memory, Solid-On Memory). State Drive) or HDD (Hard Disk Drive).
- RAM Random Access Memory
- ROM Read Only Memory
- flash memory EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Memory, Solid-On Memory). State Drive) or HDD (Hard Disk Drive).
- the processing circuit 84 is, for example, ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field-Programmable Gate Array), SoC (System-on-a-Chip) or system LSI (Large-Scale) is used.
- ASIC Application Specific Integrated Circuit
- PLD Programmable Logic Device
- FPGA Field-Programmable Gate Array
- SoC System-on-a-Chip
- system LSI Large-Scale
- Imaging device 2 Display device 3 Audio output device 11 Acquisition unit 12 Passenger information processing unit 13 Registration information determination unit 14 Passenger information storage unit 15 Control information calculation unit 16 Control information determination unit 17 Output information Generation unit, 18 Notification control unit, 19 Unique information storage unit, 20 Registration information storage unit, 20A Display device control unit, 21 CID, 22 Meter cluster panel, 23 Passenger seat display, 25 Windshield, 31, 32 Speakers, 40 Steering Steering wheel, 41 Driver's seat, 42 Passenger seat, 51, 52 Camera, 81 Processor, 82, 83 Memory, 84 Processing circuit, 101, 102 Face information registration support device.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本開示は、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することを目的とする。顔情報登録支援装置(101)は、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部(12)と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部(15)と、表示装置(2)が有効視野範囲に存在するか否かを判定する制御情報判定部(16)と、乗員に顔の移動を促す通知を行う通知制御部(18)と、を備える。通知は、乗員に表示装置(2)を視認するよう促す音声を出力させる音声通知と、乗員に顔を移動するよう誘導する誘導情報を表示装置(2)に表示させる表示通知とを含む。通知制御部(18)は、表示装置(2)が有効視野範囲に存在しない場合に音声通知を行い、表示装置(2)が有効視野範囲に存在する場合に表示通知を行う。
Description
本開示は、車両の乗員の顔認証に用いられる顔情報の登録支援に関する。
近年、車両の乗員の生体認証として顔認証が用いられている。この顔認証は、車両において各乗員に最適化したサービスを提供することを目的として、運転者に限らず他の乗員に対しても行われる。
顔認証は、例えば車両の乗員の顔を撮影した画像を、事前に登録されている顔画像(以下、「登録画像」とも称する)と比較することによって行われる。そのため、顔認証の前段階として乗員の顔画像を登録しておく必要がある。
特許文献1の実施の形態2には、顔画像の登録処理において、乗員の顔の位置または向きが不適当である場合、画像または音声によって顔の位置または向きを誘導する構成が開示されている。
乗員の顔の誘導が画像によって行われる場合、乗員にとって画面に表示された誘導情報を確認しながら顔の位置または向きを調整することは困難である。また、乗員の顔の誘導が音声によって行われる場合、乗員にとって音声のみで顔の位置または向きの移動先を正しく理解することは困難である。
顔認証の精度を高めるために、登録画像は乗員の顔を様々な方向から撮影したバリエーションの画像であることが望ましい。そして、バリエーションの画像を登録するためには、顔の誘導は複数回に及ぶため、乗員にとって顔画像を登録する際の負担は大きなものとなる。ここでは登録画像を例として挙げているが、顔認証に用いられるのは顔画像に限らず、顔の特徴量などを表す顔情報であってもよい。
本開示は、上記の問題点を解決するためになされたものであり、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することを目的とする。
本開示の顔情報登録支援装置は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、車両に設けられた撮像装置により撮影された乗員の顔画像を取得する取得部と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、車両に設けられた表示装置が有効視野範囲に存在するか否かを判定する制御情報判定部と、乗員に顔の移動を促す通知を行う通知制御部と、を備え、通知は、乗員に表示装置を視認するよう促す音声を車両に設けられた音声出力装置から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置に表示させる表示通知とを含み、通知制御部は、表示装置が有効視野範囲に存在しない場合に音声通知を行い、表示装置が有効視野範囲に存在する場合に表示通知を行う。
本開示の顔情報登録支援装置によれば、車両の乗員の顔認証に用いられる顔情報の登録処理における乗員の負担を軽減することが可能である。本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
<A.実施の形態1>
<A-1.構成>
図1は、実施の形態1の顔情報登録支援装置101の構成を示す図である。顔情報登録支援装置101は、撮像装置1、表示装置2および音声出力装置3と接続され、これらを利用可能に構成されている。顔情報登録支援装置101は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。撮像装置1、表示装置2および音声出力装置3はいずれも車両の室内(以下、「車室」と称する)に搭載される。本明細書で車両とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員が搭乗する車両を指す。また、本明細書で乗員とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員を指す。顔情報登録支援装置101も典型的には車両に搭載されるものであるが、その構成の一部が、車両の外部に存在するサーバ、乗員が携帯し車両に持ち込む携帯端末などによって構成されていてもよい。
<A-1.構成>
図1は、実施の形態1の顔情報登録支援装置101の構成を示す図である。顔情報登録支援装置101は、撮像装置1、表示装置2および音声出力装置3と接続され、これらを利用可能に構成されている。顔情報登録支援装置101は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。撮像装置1、表示装置2および音声出力装置3はいずれも車両の室内(以下、「車室」と称する)に搭載される。本明細書で車両とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員が搭乗する車両を指す。また、本明細書で乗員とは、各実施の形態の顔情報登録支援装置が顔情報を登録する対象の乗員を指す。顔情報登録支援装置101も典型的には車両に搭載されるものであるが、その構成の一部が、車両の外部に存在するサーバ、乗員が携帯し車両に持ち込む携帯端末などによって構成されていてもよい。
図2は、車室における撮像装置1、表示装置2、および音声出力装置3の配置を示す図である。
図2においてカメラ51,52が撮像装置1の一例である。カメラ51は、乗員を前方かつ上方から撮影することができる車室内の位置に設置される。カメラ52はカメラ51より下方かつCID(Center Information Display)21の上方に設置され、乗員を前方から撮影する。図2では複数のカメラ51,52が示されているが、撮像装置1を構成するカメラの数は単数または複数を問わない。カメラ51,52が撮影した乗員の顔画像が顔情報登録支援装置101において顔情報の登録に用いられる。
図2においてCID21、メータークラスターパネル22、助手席ディスプレイ23、およびHUD(Head Up Display)24が表示装置2の一例である。CID21は運転席41と助手席42の間の前方に設置される。メータークラスターパネル22はステアリングハンドル40の前方に設置される。助手席ディスプレイ23は助手席42の前方に設置される。HUD24はメータークラスターパネル22の上方に設置される。この他、ディスプレイ化されたフロントガラス25が表示装置2に含まれてもよい。表示装置2には、撮像装置1が乗員の顔画像を撮影する際、乗員の顔の位置および向きを特定の方向に誘導するための誘導情報が表示される。
図2においてスピーカー31,32が音声出力装置3の一例である。スピーカー31は運転席41の近傍に設置され、スピーカー32は助手席42の近傍に設置される。音声出力装置3からは、乗員に表示装置2の視認を促す音声が出力される。
図1を参照して顔情報登録支援装置101の構成を説明する。顔情報登録支援装置101は、取得部11、乗員情報処理部12、登録情報判定部13、乗員情報記憶部14、制御情報算出部15、制御情報判定部16、出力情報生成部17、通知制御部18、固有情報記憶部19および登録情報記憶部20を備えて構成される。
取得部11は、撮像装置1が撮影した乗員の顔画像を撮像装置1から取得する。
乗員情報処理部12は、取得部11から乗員の顔画像を取得し、乗員の顔画像から乗員情報を取得する。乗員情報には、乗員の顔の位置、顔の向き、視線方向および開眼度のいずれかが少なくとも含まれる。
登録情報判定部13は、乗員情報処理部12から乗員の顔画像を取得し、乗員の顔画像が予め定められた登録条件を満たすか否かを判定する。登録情報判定部13は、既存の顔情報登録システムであるDMS(Driver Monitoring System)により構成されてもよい。
乗員情報記憶部14は、乗員情報処理部12から乗員情報を取得し、記憶する。乗員情報記憶部14は、乗員情報処理部12が1回の処理で取得した乗員情報をその都度記憶しても良いし、複数回の処理で取得した乗員情報をまとめて記憶してもよい。
制御情報算出部15は、乗員情報記憶部14から乗員情報を取得し、乗員情報から制御情報を算出する。制御情報は、乗員の顔移動量および有効視野範囲を含む。なお、制御情報の算出方法については後で詳述する。
制御情報判定部16は、制御情報算出部15から制御情報を取得し、取得した制御情報が予め定められた条件を満たすか否かを判定する。
出力情報生成部17は、制御情報判定部16の判定結果に応じて出力情報を生成する。出力情報は、表示装置2の視認を促す音声情報と、顔の位置および向きを所定の位置および向きに誘導する誘導情報のいずれかを含む。
通知制御部18は、出力情報生成部17から出力情報を取得し、制御情報判定部16の判定結果に応じて出力情報を表示装置2と音声出力装置3とのいずれかに提供する。すなわち、通知制御部18は制御情報判定部16の判定結果に応じて、表示と音声のいずれによって乗員に通知を行うかを制御する。
固有情報記憶部19は、顔情報登録支援装置101が使用する固有情報を記憶する。固有情報には、例えば表示装置2の位置座標または顔移動量の閾値が挙げられる。
登録情報記憶部20は、登録情報判定部13において顔画像が登録条件を満たすと判定された場合、顔画像に関する顔情報を記憶、すなわち登録する。顔情報は顔認証処理において乗員の顔の識別に用いられる情報であり、顔画像自体の他、顔画像を機械学習モデルで評価したスコアであってもよい。なお、登録された顔情報を登録情報とも称する。
<A-2.動作>
図3および図4は、乗員の有効視野範囲と表示装置との位置関係を示している。これらの図において、CID21およびメータークラスターパネル22が表示装置2に相当する。制御情報算出部15は、乗員情報に含まれる乗員Pの視線方向A1を基準とし、人間の有効視野を考慮して有効視野範囲A2を設定する。有効視野範囲A2は視線方向A1を中心とした視野角θ1の範囲として表される。
図3および図4は、乗員の有効視野範囲と表示装置との位置関係を示している。これらの図において、CID21およびメータークラスターパネル22が表示装置2に相当する。制御情報算出部15は、乗員情報に含まれる乗員Pの視線方向A1を基準とし、人間の有効視野を考慮して有効視野範囲A2を設定する。有効視野範囲A2は視線方向A1を中心とした視野角θ1の範囲として表される。
図3の例では、有効視野範囲A2にCID21およびメータークラスターパネル22のいずれも存在しない。例えば、制御情報判定部16は、有効視野範囲A2とCID21の位置A3とを比較することにより、CID21が有効視野範囲A2にないことを識別する。同様に、制御情報判定部16は、有効視野範囲A2とメータークラスターパネル22の位置A3とを比較することにより、メータークラスターパネル22が有効視野範囲A2にないことを識別する。この状態でCID21またはメータークラスターパネル22に乗員の顔の位置および向きを誘導する誘導情報が表示されたとしても、乗員に視認されない。従って、顔情報登録支援装置101は、音声により乗員に表示装置2の視認を促す。例えば図3に示されるように、スピーカー31から「顔の向きを右に移動して下さい」との音声が出力される。この音声を聞いた乗員が顔の向きを右に移動すると、乗員の有効視野範囲A2が右に移動し、図4に示されるようにCID21と重なる。なお、上記の例では、顔の向きの移動が音声により指示されたが、顔の向きと共に、または顔の向きに代えて顔の位置の移動が指示されてもよい。
図4は、有効視野範囲A2にCID21が存在する場合を例示している。この状態で顔情報登録支援装置101は、乗員の顔の位置および向きを誘導する誘導情報A4をCID21に表示する。乗員は顔の位置および向きを変えることなく誘導情報A4を視認し、その後、誘導情報A4に従って顔の位置および向きを変えることができる。
図5および図6は、xyz座標系における乗員情報および制御情報の位置座標を示している。図5において、CID21の表示面の横方向および縦方向をそれぞれx軸方向およびy軸方向とし、CID21の表示面に垂直な方向をz軸方向とする。図6はxz平面図である。
CID21の位置座標を(x1,y1,z1)とする。乗員の右眼の位置座標を(rx1,ry1,rz1)とし、左眼の位置座標を(lx1,ly1,lz1)とする。CID21の表示面に平行なxy平面と右眼の視線A1rとの交点の位置座標を(rx2,ry2,rz2)とする。同様に、CID21の表示面に平行なxy平面と左眼の視線A1lとの交点の位置座標を(lx2,ly2,lz2)とする。右眼の有効視野範囲A2rを、右眼の視線A1rから半径r1の円領域とすると、有効視野範囲A2rの半径r1は式(1)で算出される。
同様にして左眼の有効視野範囲が算出される。そして、右眼の有効視野範囲A2rと左眼の有効視野範囲をあわせて有効視野範囲A2が算出される。
顔情報登録支援装置101は、乗員の顔画像を顔の位置または向きを変えて複数枚登録する。そのため、乗員の顔の誘導と、顔画像の撮影および登録とは交互に複数回繰り返される。そのため、顔情報登録支援装置101は、乗員が誘導に従い顔の移動を行っている間に次の誘導を行うことがないよう、制御情報算出部15において乗員の顔移動量を算出し、制御情報判定部16において顔移動量から乗員が顔の移動を完了したか否かを判断する。
図7は、乗員Pの顔画像を2つの時刻t1,t2において示している。時刻t1,t2間の顔移動量m1は、時刻t1,t2間の顔の位置の移動量と,時刻t1,t2間の顔の向きの移動量との和で表される。時刻t1における顔の位置座標を(x2,y2,z2)、顔の向きを(θx1,θy1)とし、時刻t2における顔の位置座標を(x3,y3,z3)、顔の向きを(θx2,θy2)とすると、顔移動量m1は、以下の式(2)で算出される。
図8は、顔情報登録支援装置101の動作を示すフローチャートである。以下、図8のフローチャートに従って顔情報登録支援装置101の動作を説明する。
顔情報登録支援装置101による顔情報登録処理が開始すると、撮像装置1が乗員の顔画像を撮影し、取得部11が撮像装置1から乗員の顔画像を取得する(ステップS101)。次に、乗員情報処理部12は、取得部11から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する(ステップS102)。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。なお、顔の位置および向きの算出方法は特許文献1に開示され、視線方向の算出方法は特開2019-152957号公報に開示され、開眼度を算出する方法は特開2020-517707号公報に開示されている。従って、これらの詳しい説明は省略する。乗員情報処理部12が算出した乗員情報は、乗員情報記憶部14に記憶される。
ステップS102の後、登録情報判定部13は顔情報の登録要否を判断する(ステップS103)。具体的には、登録情報判定部13は登録情報記憶部20から登録情報を取得し、乗員情報が登録情報に含まれない場合に顔情報の登録が必要であると判断する。また、登録情報判定部13は、乗員からタッチパネルなどの表示装置に特定の入力操作が行われた場合に、顔情報の登録が必要であると判断してもよい。顔情報が登録される対象となる乗員は、一人でも複数でもよい。
ステップS102において登録情報判定部13が乗員情報の登録を不要と判断すると、顔情報登録支援装置101の処理はステップS101に戻る。ステップS102において登録情報判定部13が乗員情報の登録を必要と判断すると、顔情報登録支援装置101の処理はステップS104以降に進む。ステップS104において、制御情報算出部15はステップS102で算出された乗員情報から乗員の有効視野範囲を算出する。具体的には、制御情報算出部15はステップS102で算出された乗員情報に含まれる顔の位置または眼の位置からの視線方向に対して一定の角度を有する範囲を、乗員が視認可能な有効視野範囲と設定する。上記の一定の角度は視線方向に対して人間の有効視野を考慮し適切に設定されるものであり、一般的には4度から20度である。有効視野範囲の詳細な算出方法は図4から図6で説明したとおりである。また、制御情報算出部15は上記の方法に加えて開眼度等の情報を用いて有効視野範囲を設定してもよい。
ステップS104の後、制御情報判定部16は、有効視野範囲に表示装置2が存在するか否かを判断する(ステップS105)。具体的には、制御情報判定部16は、有効視野範囲と表示装置2の位置座標とを比較することにより、有効視野範囲に表示装置2が存在するか否かを判断する。有効視野範囲内に表示装置2が存在しない場合、顔情報登録支援装置101の処理はステップS106に移行し、有効視野範囲内に表示装置2が存在する場合、顔情報登録支援装置101の処理はステップS107に移行する。
ステップS106において、顔情報登録支援装置101は、音声により乗員に表示装置2の視認を促す。具体的には、出力情報生成部17が表示装置2の視認を促す音声情報を作成し、通知制御部18が音声情報を音声出力装置3に提供する。これにより、音声出力装置3から表示装置2の視認を促す音声が出力される。例えば「顔情報を登録しますので表示装置を見てください」等の音声が音声出力装置3から出力される。ステップS106の後、顔情報登録支援装置101の処理はステップS101に移行する。
ステップS107において、顔情報登録支援装置101は、表示により乗員の顔の位置および向きを誘導する。具体的には、出力情報生成部17が顔の位置および向きの移動を誘導する誘導情報を作成する。そして、通知制御部18が誘導情報を表示装置2に提供する。これにより、表示装置2において乗員の顔の位置および向きを誘導する表示が行われる。この誘導表示を表示通知とも称する。ここでは、例えば撮像装置1で撮影された乗員の顔画像に移動方向を示すアニメーションが付加された画像が表示される。また、顔画像に代えて3Dメッシュで作成された顔モデルが用いられてもよい。
ステップS108において、登録情報判定部13は、顔認証処理に必要なバリエーションの画像の登録が完了したか否かを判定する。バリエーションの画像とは、例えば、顔が正面、上、下、左、および右を向いている画像などである。バリエーションの画像の登録が完了している場合、顔情報登録支援装置101の処理は終了する。一方、バリエーションの画像の登録が未完了である場合、顔情報登録支援装置101の処理はステップS109に移行する。
ステップS109において、撮像装置1が乗員の顔画像を撮影し、取得部11が撮像装置1から乗員の顔画像を取得する。その後、乗員情報処理部12は、ステップS109で取得された乗員の顔画像から乗員情報を算出する(ステップS110)。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向、および開眼度の少なくともいずれかが含まれる。乗員情報処理部12が算出した乗員情報は、乗員情報記憶部14に記憶される。
ステップS110の後、制御情報算出部15は、乗員の動作状況を把握するため制御情報として顔移動量を算出する(ステップS111)。ここで、ステップS110で算出された乗員情報、すなわち今回の乗員情報を第1乗員情報とし、乗員情報記憶部14に記憶されている前回の乗員情報を第2乗員情報とする。制御情報算出部15は、第1乗員情報の顔の位置と第2乗員情報の顔の位置との間で各軸方向成分の差の二乗和を顔の位置の移動量として算出する。また、制御情報算出部15は、第1乗員情報の顔の向きと第2乗員情報の顔の向きとの間で各軸方向成分の差の二乗和を顔の向きの移動量として算出する。そして、制御情報算出部15は、顔の位置の移動量と顔の向きの移動量の和を顔移動量として算出する。顔移動量の詳細な算出方法は<A-1>で説明したとおりである。
ステップS111の後、制御情報判定部16は顔移動が完了したか否かを判断する(ステップS112)。制御情報判定部16は、固有情報記憶部19から予め定められた顔移動量閾値を取得し、ステップS111で算出された顔移動量が顔移動量閾値を超えている場合に、顔移動が完了したと判断する。
ステップS112において顔移動が完了していない場合、顔情報登録支援装置101の処理はステップS109に戻る。ステップS112において顔移動が完了している場合、顔情報登録支援装置101の処理はステップS113へ進む。
ステップS113において、制御情報算出部15はステップS110で取得した乗員情報から乗員の有効視野範囲を算出する。そして、制御情報判定部16は、有効視野範囲に任意の表示装置2が存在するか否かを判断する(ステップS114)。
ステップS114において有効視野範囲内に表示装置2が存在しない場合、顔情報登録支援装置101の処理はステップS115に移行する。ステップS114において有効視野範囲内に表示装置2が存在する場合、顔情報登録支援装置101の処理はステップS107に移行し、次の位置および向きに顔を誘導する誘導情報を表示する。
ステップS115において、顔情報登録支援装置101は、音声により乗員に任意の表示装置2の視認を促す。具体的には、出力情報生成部17が表示装置2の視認を促す音声情報を作成し、通知制御部18が音声情報を音声出力装置3に提供する。これにより、音声出力装置3から表示装置2の視認を促す音声が出力される。この音声は、例えば「顔の位置を右に移動してください」等である。出力情報生成部17は、上、下、左、右、斜めなど顔の移動方向が異なる各パターンについて音声情報を予め作成しておき、乗員の現在の顔の位置および向きと期待値に最近傍法を適用して音声情報を選択してもよい。なお、最近傍法については公知であるため詳しい説明は省略する。
なお、表示装置2がディスプレイ化されたフロントガラスまたはインパネ部一体型ディスプレイである場合など、表示装置2の表示範囲が有効視野範囲に比べて極めて大きい場合、顔情報登録支援装置101は、表示装置2の視認を乗員に音声で促すことに代えて、有効視野範囲内に誘導情報の表示位置を変更してもよい。
<A-3.効果>
実施の形態1の顔情報登録支援装置101は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する。顔情報登録支援装置101は、車両に設けられた撮像装置1により撮影された乗員の顔画像を取得する取得部11と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部12と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部15と、車両に設けられた表示装置2が有効視野範囲に存在するか否かを判定する制御情報判定部16と、乗員に顔の移動を促す通知を行う通知制御部18とを備える。通知制御部18による通知は、乗員に表示装置2を視認するよう促す音声を車両に設けられた音声出力装置3から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置2に表示させる表示通知とを含む。通知制御部18は、表示装置2が有効視野範囲に存在しない場合に音声通知を行い、表示装置2が有効視野範囲に存在する場合に表示通知を行う。以上の構成により、顔情報登録支援装置101は、乗員が表示装置2を視認している場合に限り表示により顔の誘導を行い、乗員が表示装置2を視認していなければ音声により表示装置2の視認を促すため、乗員は音声に従い表示装置2を視認した後、表示装置2に表示された情報に従って顔を動かすことにより、スムーズに顔情報登録処理を行うことができ、顔情報登録処理における乗員の負担が軽減する。
実施の形態1の顔情報登録支援装置101は、車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する。顔情報登録支援装置101は、車両に設けられた撮像装置1により撮影された乗員の顔画像を取得する取得部11と、乗員の顔画像から乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部12と、乗員情報から乗員の有効視野範囲を含む制御情報を算出する制御情報算出部15と、車両に設けられた表示装置2が有効視野範囲に存在するか否かを判定する制御情報判定部16と、乗員に顔の移動を促す通知を行う通知制御部18とを備える。通知制御部18による通知は、乗員に表示装置2を視認するよう促す音声を車両に設けられた音声出力装置3から出力させる音声通知と、乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を表示装置2に表示させる表示通知とを含む。通知制御部18は、表示装置2が有効視野範囲に存在しない場合に音声通知を行い、表示装置2が有効視野範囲に存在する場合に表示通知を行う。以上の構成により、顔情報登録支援装置101は、乗員が表示装置2を視認している場合に限り表示により顔の誘導を行い、乗員が表示装置2を視認していなければ音声により表示装置2の視認を促すため、乗員は音声に従い表示装置2を視認した後、表示装置2に表示された情報に従って顔を動かすことにより、スムーズに顔情報登録処理を行うことができ、顔情報登録処理における乗員の負担が軽減する。
また、顔情報登録支援装置101において、制御情報は、表示通知の前後に取得された顔画像からそれぞれ算出された乗員情報から算出される乗員の顔移動量を含み、制御情報判定部16は顔移動量を予め定められた閾値と比較し、通知制御部18は、顔移動量が閾値以上である場合に、次の表示通知を行ってもよい。これにより、顔情報登録支援装置101は、前回の表示通知に従って乗員の顔の移動が完了したタイミングで乗員へ次の表示通知を行うことができる。
<B.実施の形態2>
<B-1.構成>
実施の形態2において実施の形態1と同様の構成については同一の参照符号が付され、それらの説明は適宜省略される。図9は、実施の形態2の顔情報登録支援装置102の構成を示す図である。顔情報登録支援装置102は、撮像装置1、表示装置2および音声出力装置3と接続され、これらを利用可能に構成されている。顔情報登録支援装置102は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。
<B-1.構成>
実施の形態2において実施の形態1と同様の構成については同一の参照符号が付され、それらの説明は適宜省略される。図9は、実施の形態2の顔情報登録支援装置102の構成を示す図である。顔情報登録支援装置102は、撮像装置1、表示装置2および音声出力装置3と接続され、これらを利用可能に構成されている。顔情報登録支援装置102は、車両の乗員の顔認証に用いられる顔情報の登録を支援する装置である。
顔情報登録支援装置102は、取得部11、乗員情報処理部12、制御情報算出部15、制御情報判定部16、出力情報生成部17、通知制御部18、固有情報記憶部19および表示装置制御部20Aを備えて構成される。表示装置制御部20Aは、表示装置2に取付けられて表示装置2の位置および向きを調整する機構を備える。なお、表示装置の位置および向きを調整する方法は特開20007-78172号公報に開示されているため、その詳しい説明は省略する。
制御情報算出部15は、乗員情報処理部12から乗員情報を取得し、乗員情報から制御情報を算出する。ここで制御情報には、乗員の有効視野範囲と、表示装置移動量とが含まれる。表示装置移動量とは、乗員の視線方向に対して表示面が垂直になる位置および角度への表示装置2の位置および角度の移動量である。
制御情報判定部16は、制御情報算出部15から乗員の有効視野範囲を取得し、有効視野範囲が予め定められた条件を満たすか否かを判定する。
出力情報生成部17は、制御情報判定部16の判定結果に応じて出力情報を生成する。
通知制御部18は、制御情報判定部16の判定結果に基づき、表示と音声のいずれによって出力情報を出力するかを切り替え、出力情報生成部17で生成された出力情報を表示装置2または音声出力装置3のいずれかに提供する。
固有情報記憶部19は、顔情報登録支援装置101が使用する固有情報を記憶する。固有情報には、例えば表示装置2の位置座標が挙げられる。
表示装置制御部20Aは、通知制御部18を介して制御情報算出部15から表示装置2の表示方向を取得し、通知制御部18を介して制御情報判定部16の判定結果を取得する。そして、表示装置制御部20Aは、制御情報判定部16の判定結果に基づき表示装置2の位置および表示方向を変更する。詳細は、後で詳述する。
<B-2.動作>
図10から図12は、顔情報登録支援装置102による表示装置2の制御方法の一例を示している。これらの図では、表示装置2の一例としてCID21の位置および表示方向の制御について説明する。図10は乗員PとCID21との位置関係を示す斜視図である。図10において、CID21の表示面の横方向および縦方向をそれぞれx軸方向およびy軸方向とし、CID21の表示面に垂直な方向をz軸方向とする。図11は乗員PとCID21との位置関係を示すxz平面図であり、図12は乗員PとCID21との位置関係を示すyz平面図である。なお、図11および図12では表示装置制御部20AによるCID21の表示方向の変更が示されているが、これらの図においてx,yおよびz軸は変更前のCID21を基準として設定されている。
図10から図12は、顔情報登録支援装置102による表示装置2の制御方法の一例を示している。これらの図では、表示装置2の一例としてCID21の位置および表示方向の制御について説明する。図10は乗員PとCID21との位置関係を示す斜視図である。図10において、CID21の表示面の横方向および縦方向をそれぞれx軸方向およびy軸方向とし、CID21の表示面に垂直な方向をz軸方向とする。図11は乗員PとCID21との位置関係を示すxz平面図であり、図12は乗員PとCID21との位置関係を示すyz平面図である。なお、図11および図12では表示装置制御部20AによるCID21の表示方向の変更が示されているが、これらの図においてx,yおよびz軸は変更前のCID21を基準として設定されている。
車室におけるCID21の調整前の位置A3の絶対位置座標を(x1,y1,z1)とし、車室におけるCID21の調整後の位置A3aの絶対位置座標を(x1,y1a,z1)とする。乗員の左右の眼を結ぶ直線の中点A5の位置座標を(x3,y3,z3)とする。CID21の調整前の位置A3と中点A5とを結ぶ直線をA6とする。直線A6とy軸方向とのなす角をθ2とする。CID21の調整後の位置A3aと中点A5とを結ぶ直線をA6aとする。直線A6aと調整後のCID21の表示面の縦方向とのなす角をθ2aとする。直線A6aと調整後のCID21の表示面の横方向とのなす角をθ3とする。yz平面におけるCID21の角度移動量(回転角)をθ4とする。なお、0<θ4<maxθ4とし、maxθ4はyz平面におけるCID21の回転角の最大値である。θ5は、調整後のCID21の表示画面の横方向がx軸となす角であり、言い換えればCID21のxz平面における角度移動量(回転角)である。直線A6aとy軸方向のなす角θ2a、および直線A6aとx軸方向のなす角θ3がそれぞれ90度になる方向にCID21の位置および角度が調整されることで、CID21は乗員の正面方向に移動する。
例えば、表示装置2のy軸方向の位置移動量m2は式(3)にて算出される。また、表示装置2のyz平面における角度移動量θ4は式(4)により算出される。なお、0<m2<maxm2であり、maxm2は、表示装置2のy軸方向の位置移動量m2の最大値である。
図13は、顔情報登録支援装置102の動作を示すフローチャートである。以下、図13のフローチャートに従って顔情報登録支援装置102の動作を説明する。
顔情報登録支援装置102はステップS201において顔情報登録処理を開始する。顔情報登録処理の開始条件は、例えば乗員からタッチパネルなどの表示装置に特定の入力操作が行われることである。乗員情報が登録される対象となる乗員は、一人でも複数でもよい。
次に、撮像装置1が乗員の顔画像を撮影し、取得部11が撮像装置1から乗員の顔画像を取得する(ステップS202)。次に、乗員情報処理部12は、取得部11から乗員の顔画像を取得し、乗員の顔画像から乗員情報を算出する(ステップS203)。ここで、乗員情報には乗員の顔の位置、顔の向き、視線方向および開眼度の少なくともいずれかが含まれる。乗員情報処理部12が算出した乗員情報は、乗員情報記憶部14に記憶される。
次に、顔情報登録支援装置102は、音声により乗員に表示装置2が移動することを通知し、かつ乗員に表示装置2の視認を促す(ステップS204)。具体的には、出力情報生成部17が表示装置2の視認を促す音声情報を作成し、通知制御部18が音声情報を音声出力装置3に提供する。これにより、音声出力装置3から表示装置2の視認を促す音声が出力される。例えば「表示装置を見やすい位置に移動します、表示装置を見てください」等の音声が音声出力装置3から出力される。ここで音声出力装置3から出力される音声は、表示装置2が移動することが乗員に伝わり、かつ乗員に対して表示装置2の視認を促す内容であればよい。
次に、制御情報算出部15はステップS203で算出された乗員情報から乗員の有効視野範囲を算出する(ステップS205)。その後、制御情報判定部16は、有効視野範囲に表示装置2が存在するか否かを判断する(ステップS206)。ステップS206において有効視野範囲内に表示装置2が存在しない場合、顔情報登録支援装置102の処理はステップS204に戻る。
ステップS206において有効視野範囲内に表示装置2が存在する場合、顔情報登録支援装置102の処理はステップS207に移行する。ステップS207において制御情報算出部15は、乗員にとって最も見やすい、すなわち最適な表示装置2の位置および方向を算出し、当該位置および方向への表示装置2の位置および方向の移動量を算出する(ステップS207)。具体的には、制御情報算出部15は乗員情報から乗員の眼の位置情報を取得し、乗員の両眼の位置の中点と表示装置2の位置とを結ぶ直線に対して、表示装置2の表示面が垂直になる位置および角度への移動量を表示装置移動量として算出する。なお、表示装置移動量の詳細な算出方法は、図10から図12で説明したとおりである。
次に、表示装置制御部20Aは、制御情報算出部15から取得した表示装置移動量だけ表示装置2を移動させる(ステップS208)。
その後、顔情報登録支援装置102は、表示により乗員の顔の位置および向きを誘導する(ステップS209)。本ステップは図8のステップS107と同様である。
<B-3.効果>
実施の形態2の顔情報登録支援装置102は、表示装置2が有効視野範囲に存在する場合に、乗員の視線方向に対して表示装置の表示面が垂直になるよう表示装置を回転させる表示装置制御部20Aを備える。そして、通知制御部18は表示装置2の回転の後に表示通知を行う。従って、乗員による表示通知の視認性が向上する。
実施の形態2の顔情報登録支援装置102は、表示装置2が有効視野範囲に存在する場合に、乗員の視線方向に対して表示装置の表示面が垂直になるよう表示装置を回転させる表示装置制御部20Aを備える。そして、通知制御部18は表示装置2の回転の後に表示通知を行う。従って、乗員による表示通知の視認性が向上する。
<C.ハードウェア構成>
次に、顔情報登録支援装置101,102の要部のハードウェア構成について説明する。顔情報登録支援装置101,102は、コンピュータにより構成されており、当該コンピュータは、図14に示されるようにプロセッサ81およびメモリ82、83を有している。メモリ82には、当該コンピュータを取得部11、乗員情報処理部12、登録情報判定部13、制御情報算出部15、制御情報判定部16、出力情報生成部17、通知制御部18および固有情報記憶部19(以下、「取得部11等」とも称する)として機能させるためのプログラムが記憶されている。メモリ82に記憶されているプログラムをプロセッサ81が読みだして実行することにより、取得部11等の機能が実現される。また、メモリ83は、乗員情報記憶部14および登録情報記憶部20の機能を実現する。
次に、顔情報登録支援装置101,102の要部のハードウェア構成について説明する。顔情報登録支援装置101,102は、コンピュータにより構成されており、当該コンピュータは、図14に示されるようにプロセッサ81およびメモリ82、83を有している。メモリ82には、当該コンピュータを取得部11、乗員情報処理部12、登録情報判定部13、制御情報算出部15、制御情報判定部16、出力情報生成部17、通知制御部18および固有情報記憶部19(以下、「取得部11等」とも称する)として機能させるためのプログラムが記憶されている。メモリ82に記憶されているプログラムをプロセッサ81が読みだして実行することにより、取得部11等の機能が実現される。また、メモリ83は、乗員情報記憶部14および登録情報記憶部20の機能を実現する。
または、顔情報登録支援装置101,102は、メモリ83および処理回路84を有するものであっても良い。この場合、取得部11等の機能が処理回路84により実現されるものであっても良い。
または、顔情報登録支援装置101,102は、プロセッサ81、メモリ82,83および処理回路84を有するものであっても良い。この場合、取得部11等の機能のうちの一部の機能がプロセッサ81およびメモリ82により実現されて、残余の機能が処理回路84により実現されるものであっても良い。
プロセッサ81は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラまたはDSP(Digital Signal Processor)を用いたものである。
メモリ82,83は、例えば、半導体メモリまたは磁気ディスクを用いたものである。より具体的には、メモリ82は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)またはHDD(Hard Disk Drive)などを用いたものである。
処理回路84は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)またはシステムLSI(Large-Scale Integration)を用いたものである。
なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。上記の説明は、すべての態様において、例示である。例示されていない無数の変形例が想定され得るものと解される。
1 撮像装置、2 表示装置、3 音声出力装置、11 取得部、12 乗員情報処理部、13 登録情報判定部、14 乗員情報記憶部、15 制御情報算出部、16 制御情報判定部、17 出力情報生成部、18 通知制御部、19 固有情報記憶部、20 登録情報記憶部、20A 表示装置制御部、21 CID、22 メータークラスターパネル、23 助手席ディスプレイ、25 フロントガラス、31,32 スピーカー、40 ステアリングハンドル、41 運転席、42 助手席、51,52 カメラ、81 プロセッサ、82,83 メモリ、84 処理回路、101,102 顔情報登録支援装置。
Claims (4)
- 車両に搭乗する乗員の顔認証を行うための顔情報の登録を支援する顔情報登録支援装置であって、
前記車両に設けられた撮像装置により撮影された前記乗員の顔画像を取得する取得部と、
前記乗員の顔画像から前記乗員の顔の位置情報および視線方向を少なくとも含む乗員情報を算出する乗員情報処理部と、
前記乗員情報から前記乗員の有効視野範囲を含む制御情報を算出する制御情報算出部と、
前記車両に設けられた表示装置が前記有効視野範囲に存在するか否かを判定する制御情報判定部と、
前記乗員に顔の移動を促す通知を行う通知制御部と、を備え、
前記通知は、前記乗員に前記表示装置を視認するよう促す音声を前記車両に設けられた音声出力装置から出力させる音声通知と、前記乗員に顔の位置および向きの少なくとも一方を移動するよう誘導する誘導情報を前記表示装置に表示させる表示通知とを含み、
前記通知制御部は、前記表示装置が前記有効視野範囲に存在しない場合に前記音声通知を行い、前記表示装置が前記有効視野範囲に存在する場合に前記表示通知を行う、
顔情報登録支援装置。 - 前記制御情報は、前記表示通知の前後に取得された前記顔画像からそれぞれ算出された前記乗員情報から算出される前記乗員の顔移動量を含み、
前記制御情報判定部は前記顔移動量を予め定められた閾値と比較し、
前記制御部は、前記顔移動量が前記閾値以上である場合に、次の前記表示通知を行う、
請求項1に記載の顔情報登録支援装置。 - 前記乗員情報は前記乗員の開眼度を含む、
請求項1に記載の顔情報登録支援装置。 - 前記表示装置が前記有効視野範囲に存在する場合に、前記乗員の視線方向に対して前記表示装置の表示面が垂直になるよう前記表示装置を回転させる表示装置制御部をさらに備え、
前記通知制御部は前記表示装置の回転の後に前記表示通知を行う、
請求項1に記載の顔情報登録支援装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/026554 WO2023286228A1 (ja) | 2021-07-15 | 2021-07-15 | 顔情報登録支援装置 |
JP2023534532A JPWO2023286228A1 (ja) | 2021-07-15 | 2021-07-15 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/026554 WO2023286228A1 (ja) | 2021-07-15 | 2021-07-15 | 顔情報登録支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023286228A1 true WO2023286228A1 (ja) | 2023-01-19 |
Family
ID=84919761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/026554 WO2023286228A1 (ja) | 2021-07-15 | 2021-07-15 | 顔情報登録支援装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023286228A1 (ja) |
WO (1) | WO2023286228A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003098982A (ja) * | 2001-09-26 | 2003-04-04 | Alpine Electronics Inc | 表示装置 |
JP2006134038A (ja) * | 2004-11-05 | 2006-05-25 | Omron Corp | 車載用顔面データ登録装置及び車両における顔面データ登録方法 |
JP2019010929A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
JP2019012046A (ja) * | 2017-06-30 | 2019-01-24 | 株式会社デンソーテン | 通知装置、通知システムおよび通知方法 |
-
2021
- 2021-07-15 JP JP2023534532A patent/JPWO2023286228A1/ja active Pending
- 2021-07-15 WO PCT/JP2021/026554 patent/WO2023286228A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003098982A (ja) * | 2001-09-26 | 2003-04-04 | Alpine Electronics Inc | 表示装置 |
JP2006134038A (ja) * | 2004-11-05 | 2006-05-25 | Omron Corp | 車載用顔面データ登録装置及び車両における顔面データ登録方法 |
JP2019010929A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
JP2019012046A (ja) * | 2017-06-30 | 2019-01-24 | 株式会社デンソーテン | 通知装置、通知システムおよび通知方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023286228A1 (ja) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5966341B2 (ja) | 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 | |
EP3033999A1 (en) | Apparatus and method for determining the state of a driver | |
US7853051B2 (en) | Recognizing apparatus and method, recording media, and program | |
JP4924896B2 (ja) | 車両の周辺監視装置 | |
US9606623B2 (en) | Gaze detecting apparatus and method | |
JP2006522397A (ja) | マルチビュー・ディスプレイ | |
JP6479272B1 (ja) | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム | |
JP5092776B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
CN111665513A (zh) | 面部特征部检测装置、面部特征部检测方法 | |
US11488319B2 (en) | Three-dimensional position estimation device and three-dimensional position estimation method | |
CN111873911A (zh) | 调整后视镜的方法、装置、介质以及电子设备 | |
KR100982171B1 (ko) | 안면 영상 촬영장치 | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2016115117A (ja) | 判定装置および判定方法 | |
CN114007054A (zh) | 车载屏幕画面投影矫正的方法及装置 | |
JP5937137B2 (ja) | 地磁気検出装置 | |
WO2023286228A1 (ja) | 顔情報登録支援装置 | |
JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
JP4855278B2 (ja) | カメラパラメータ取得装置 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP5082620B2 (ja) | 余所見判定装置 | |
WO2017217044A1 (ja) | 視認方向推定装置 | |
JP2016115118A (ja) | 下方視判定装置および下方視判定方法 | |
US20220284714A1 (en) | Calibration device, calibration method, drive recorder, vehicle, and storage medium | |
JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21950167 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023534532 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21950167 Country of ref document: EP Kind code of ref document: A1 |