WO2022264453A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2022264453A1
WO2022264453A1 PCT/JP2021/044346 JP2021044346W WO2022264453A1 WO 2022264453 A1 WO2022264453 A1 WO 2022264453A1 JP 2021044346 W JP2021044346 W JP 2021044346W WO 2022264453 A1 WO2022264453 A1 WO 2022264453A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
user
camera
image
display
Prior art date
Application number
PCT/JP2021/044346
Other languages
English (en)
French (fr)
Inventor
直登 梶山
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to CN202180099263.0A priority Critical patent/CN117480541A/zh
Priority to EP21945374.3A priority patent/EP4358060A4/en
Priority to JP2023529444A priority patent/JPWO2022264453A1/ja
Publication of WO2022264453A1 publication Critical patent/WO2022264453A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • Patent Document 1 a technology for recognizing the face of a user riding in a car has been known (Patent Document 1).
  • the invention described in Patent Document 1 captures a picture of a user with a camera attached to an automobile, and recognizes the user's face using facial feature information of the captured facial image and pre-registered facial feature information. .
  • the camera when the camera takes an image of the user, the user may not necessarily face the appropriate direction. In this case, it may take time to register or authenticate the user's face data.
  • the present invention has been made in view of the above problems, and its object is to provide an image processing apparatus and an image processing method capable of shortening the time required for registration or authentication of user's face data.
  • An image processing apparatus provides a plurality of face orientations captured by a camera that are within a first angle based on a state in which the user is facing the camera and are different from each other.
  • the user's facial data is registered or authenticated using the facial image of the user, and until the registration or authentication is completed, a moving image simulating a human face is displayed on the display, and the direction from the sitting position to the camera is displayed. and the direction from the seated position of the user to the display is smaller than the first angle.
  • the time required for registration or authentication of user's face data is reduced.
  • FIG. 1 is a configuration diagram of an image processing apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the positions where the camera 11 and the display 12 are installed.
  • FIG. 3 is a diagram for explaining a moving image in which a CG image simulating a human face changes its face direction.
  • FIG. 4 is a diagram illustrating an example of angles related to face directions.
  • FIG. 5 is a diagram for explaining a CG image simulating a human face.
  • FIG. 6 is a diagram illustrating an example of the positional relationship between the camera 11 and the display 12.
  • FIG. 7 is a diagram illustrating an example of the positional relationship between the camera 11 and the display 12. As shown in FIG. FIG. FIG.
  • FIG. 8 is a diagram illustrating an example of the positional relationship between the camera 11 and the display 12.
  • FIG. 9 is a diagram illustrating an example of the positional relationship between the camera 11 and the display 12.
  • FIG. 10 is a flow chart illustrating an operation example of the image processing apparatus 1 according to the embodiment of the present invention.
  • FIG. 11 is a flow chart illustrating an operation example of the image processing apparatus 1 according to the embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of how to use face ID.
  • the image processing device 1 includes an input I/F 10, a camera 11, a controller 20, a display 12, a speaker 13, and a storage device .
  • the image processing device 1 in this embodiment is a device that executes processing related to face authentication of a user (mainly a driver). Face recognition includes two phases. One is a phase of newly registering the user's face data. The other is the phase of utilizing the registered face data. The phase of using the registered face data is, for example, a phase of matching the camera image with the registered face data to authenticate the face data.
  • the input I/F 10 is a virtual button displayed on the display 12 or a mechanical switch installed near the display 12.
  • the input I/F 10 is used when the user newly registers face data.
  • the camera 11 has an imaging element such as a CCD (charge-coupled device) or a CMOS (complementary metal oxide semiconductor).
  • the camera 11 is installed inside the vehicle. For example, as shown in FIG. 2, the camera 11 is installed in the central portion of the steering wheel. The camera 11 mainly captures the face of the user sitting in the driver's seat. An image captured by the camera 11 is output to the controller 20 .
  • Reference numeral 30 shown in FIG. 2 is a CG image imitating a human face (CG: Computer Graphics). Reference numeral 30 is hereinafter referred to as face image 30 .
  • the display 12 is installed in the central part of the instrument panel as shown in FIG.
  • a moving image reproducing unit 23 which will be described later, reproduces moving images on the display 12 .
  • a moving image in the present embodiment is a moving image in which the face image 30 changes the direction of the face.
  • the moving image is a moving image of the face image 30 shaking its head.
  • the camera 11 and the display 12 are installed side by side in the vehicle width direction.
  • the controller 20 is a general-purpose microcomputer equipped with a CPU (central processing unit), memory, and input/output unit.
  • a computer program for functioning as the image processing apparatus 1 is installed in the microcomputer.
  • the microcomputer By executing the computer program, the microcomputer functions as a plurality of information processing circuits included in the image processing apparatus 1.
  • FIG. Here, an example of realizing a plurality of information processing circuits provided in the image processing apparatus 1 by software is shown. It is also possible to construct a circuit. Also, a plurality of information processing circuits may be configured by individual hardware.
  • the controller 20 includes, as a plurality of information processing circuits, an input reception unit 21, a state determination unit 22, a moving image reproduction unit 23, a feature extraction unit 24, an ID registration unit 25, a feature comparison unit 26, an ID An authentication unit 27 and a notification unit 28 are provided.
  • the phase for newly registering the user's face data will be described.
  • the user is sitting in the driver's seat of the vehicle.
  • the registration button (input I/F 10).
  • This registration button may be a virtual button displayed on the display 12 or a mechanical switch installed near the display 12 .
  • the user's input is transmitted to the input reception unit 21 .
  • the input reception unit 21 Upon receiving an input from the user, the input reception unit 21 transmits a signal indicating that the input has been received to the state determination unit 22 .
  • the state determination unit 22 determines the state of the vehicle when receiving the signal from the input reception unit 21 .
  • the state determination unit 22 determines whether or not the power source state of the vehicle is "IGN-ON".
  • the "IGN-ON" power state of the vehicle is defined as a state in which the power switch installed in the vehicle is on and all electrical components including the meter and blower motor are in operation.
  • the state determination unit 22 determines whether or not the shift position is "P".
  • the condition that the power switch is ON may be employed. That is, the condition that the power switch of the vehicle is turned on and the shift position is "P" may be adopted as the condition for registering the face ID.
  • the state determination unit 22 determines that the conditions for registering the face ID are satisfied, the state determination unit 22 transmits a signal indicating the determination result to the video playback unit 23 .
  • “Satisfying the conditions for face ID registration” means that the power state of the vehicle is “IGN-ON” and the shift position is “P”.
  • the moving image reproduction unit 23 reproduces the moving image on the display 12 when receiving the signal from the state determination unit 22 .
  • a moving image reproduced by the moving image reproducing unit 23 will be described with reference to FIG.
  • the moving images are stored in the storage device 14 .
  • the storage device 14 is composed of an HDD (Hard Disk Drive), an SSD (Solid State Drive), and the like.
  • the moving image reproducing unit 23 reproduces moving images stored in the storage device 14 .
  • the moving image changes the orientation of the face image.
  • the face image moves or shakes the head.
  • the face image 31 faces rightward.
  • the face image 32 faces left.
  • the face image 33 faces upward.
  • the face image 34 faces downward.
  • videos may be stored in a cloud-type server (so-called cloud server). If the video is stored in the cloud server, the controller 20 can access the cloud server and play the video. As a result, the latest moving images are always available.
  • angle of the neck is the angle for capturing the image of the face direction required for registering or authenticating the face ID.
  • the user moves his or her face (neck) so that the orientation of the face is the same as the orientation of the face in the video.
  • the camera 11 captures a plurality of face images with different face orientations while the user is moving his/her face.
  • Examples of “a plurality of face images with different face orientations” are face images 35 to 39 shown in FIG.
  • the orientation of the face image 35 is 20 degrees upward and 30 degrees rightward.
  • the orientation of the face image 36 is 20 degrees downward and 20 degrees rightward.
  • the orientation of the face image 37 is the front (0 degrees in the vertical and horizontal directions).
  • the orientation of the face image 38 is 20 degrees upward and 20 degrees leftward.
  • the orientation of the face image 39 is 20 degrees downward and 30 degrees leftward.
  • the camera 11 captures five face images (face images 35 to 39) with different face orientations. However, 5 sheets is an example, and 3 sheets or 4 sheets may be sufficient as long as it is more than one. It should be noted that it is sufficient if the orientations of the faces are different from each other,
  • a plurality of face images 35 to 39 captured by the camera 11 are sent to the feature extraction unit 24.
  • a feature amount extraction unit 24 extracts features of face data using a plurality of face images 35 to 39 acquired from the camera 11 .
  • the feature quantity extraction unit 24 extracts features of face data using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the feature quantity extraction unit 24 transmits the extracted features of the face data to the ID registration unit 25 .
  • the ID registration unit 25 registers face IDs using the features of the face data acquired from the feature amount extraction unit 24 .
  • the registered face ID is saved in the storage device 14 . This completes the registration of the face ID.
  • the ID registration unit 25 transmits a signal indicating that registration of the face ID has been completed to the moving image reproduction unit 23 and the notification unit 28 .
  • the motion picture reproduction section 23 stops the motion picture, and the notification section 28 notifies the user that the registration has been completed.
  • the notification unit 28 may display "Registration of face ID is completed" on the display 12, or may use voice.
  • the moving image reproducing unit 23 reproduces the moving image until registration of the face ID is completed.
  • the user moves his/her face in the same manner as the moving image until registration of the face ID is completed. This makes it possible to capture a plurality of face images with different face orientations in a short period of time, thereby shortening the time required to register face data.
  • the facial image changes the direction of the face (shaking the head), but there are parts that move and parts that do not move.
  • an area 40 above the neck moves, and an area 41 below the neck does not move.
  • Region 40 includes the face and neck itself.
  • Region 41 includes the upper body portion from the chest to the neck.
  • Reference numeral 50 in FIG. 6 indicates the user, and reference numeral 51 indicates the user's nose (orientation of the user's face).
  • the upper diagram in FIG. 6 shows a state in which the user faces the camera 11 directly.
  • Reference numeral 52 indicates a predetermined angle.
  • the predetermined angle is defined as an angle at which a large amount of face data is included in the face image captured by the camera 11, with the user 50 facing the front of the camera 11 as a reference.
  • the predetermined angle 52 is the range of angles of the orientation of the face of the image required for registration or authentication of the face ID.
  • the image simulating a human face changes the orientation of the face (the head is shaken) within the same angular range as the predetermined angle 52 .
  • the orientation of the face of the user 50 is preferably within the range of the predetermined angle 52 .
  • the predetermined angle 52 is obtained through experiments and simulations.
  • the predetermined angle 52 is composed of first angles 61 and 62 in the left and right directions with respect to the state in which the user 50 faces the camera 11 .
  • An example of the first angles 61 and 62 is 30 degrees to the left and 30 degrees to the right, with the user facing the front of the camera 11 (0 degrees in the vertical and horizontal directions).
  • the range of the predetermined angle 52 is 60 degrees.
  • the user 50 moves his/her face while gazing at the moving image displayed on the display 12 . Then, the line of sight of the user 50 is inevitably directed to the display 12 (lower diagram in FIG. 6).
  • Reference numeral 63a in FIG. 6 indicates a second angle formed by the direction from the seating position of the user 50 toward the camera 11 and the direction from the seating position of the user 50 toward the display 12 . "The direction from the seated position of the user 50 toward the camera 11" may be expressed as "the line-of-sight direction of the user 50 when the user 50 looks at the camera 11".
  • the direction from the seated position of the user 50 toward the display 12 may be expressed as "the line-of-sight direction of the user 50 when the user 50 looks at the display 12".
  • Reference numeral 64a in FIG. 6 indicates the range of angles in which the user 50 moves his/her face in the horizontal direction while gazing at the moving image. When the user 50 moves his/her face so that the direction of the face is the same as that of the moving image, the size of the range 64 a becomes the same as the size of the predetermined angle 52 .
  • the range 64a does not overlap the range of the predetermined angle 52.
  • the face orientation of the face image captured by the camera 11 when the user 50 moves the face in the horizontal direction while watching the moving image is not included in the range of the predetermined angle 52 .
  • the user 50 gazes at the moving image and moves his/her face in the same manner as in the moving image it may be difficult to obtain an image of the face orientation required for registration or authentication of the face ID.
  • the range of angles in which the user moves his or her face in the horizontal direction while gazing at the moving image overlaps with the range of the predetermined angle 52. is preferred. Therefore, in this embodiment, the camera 11 and the display 12 are installed at positions such that the range of angles in which the user 50 moves his/her face in the horizontal direction while watching the moving image overlaps with the range of the predetermined angle 52 . If the camera 11 and the display 12 are installed close to each other, the second angle 63a becomes smaller, and the angle range 64a in which the user 50 moves his/her face in the horizontal direction while watching the moving image approaches the range of the predetermined angle 52.
  • the camera 11 and the display 12 are installed at a position such that the second angle 63b is smaller than the predetermined angle 52 consisting of the first angles 61 and 62, for example, as shown in FIG.
  • Range 64b is a clockwise offset of range 64a. Since the range 64 b partially overlaps with the range of the predetermined angle 52 , the orientation of one face of the user 50 can be imaged within the range of the predetermined angle 52 .
  • the camera 11 and the display 12 may be installed at a position such that the second angle 63b is smaller than the first angles 61,62.
  • Range 64c is a further clockwise offset of range 64b, with second angle 63c in FIG. 8 being less than second angle 63b in FIG.
  • the range 64c has a larger portion that overlaps the range of the predetermined angle 52 than the range 64b, and the left and right face orientations of the user 50 can be imaged within the range of the predetermined angle 52.
  • the distance between the camera 11 and the display 12 is short.
  • the range of the predetermined angle 52 may be adjusted so that the range of the predetermined angle 52 is larger than the second angle.
  • the angle at which the image imitating a human face shakes the head is adjusted so that the user 50 moves left and right while watching the moving image.
  • the range of angles in which the face is moved may overlap the range of the predetermined angle 52 .
  • the range 65 of moving the face to the right while gazing at the moving image is larger than the second angle 63d.
  • the angle at which the image simulating a human face shakes its head may be adjusted.
  • the video playback unit 23 sets the angle at which the image simulating a human face shakes its head leftward (corresponding to the range 65 in which the user moves his/her face rightward) to be larger than the second angle 63d. play a video.
  • the range of the second angle 63d is larger than the range of the predetermined angle 52
  • the orientation of the left and right faces of the user 50 can be imaged within the range 52 .
  • step S101 the input reception unit 21 receives input from the user. Upon receiving an input from the user, the input reception unit 21 transmits a signal indicating that the input has been received to the state determination unit 22 .
  • step S103 the state determination unit 22 receives the signal from the input reception unit 21, it determines the state of the vehicle. When determining that the condition for registering the face ID is satisfied, the state determination unit 22 transmits a signal indicating the determination result to the moving image reproduction unit 23 .
  • step S105 when the moving image reproduction unit 23 receives the signal from the state determination unit 22, it reproduces the moving image on the display 12 (see FIG. 3).
  • the notification unit 28 faces the camera 11 and turns the face up, down, left, and right in the same way as the moving image until registration or authentication of the face ID is completed. to the user.
  • Notification methods include character information notification and voice notification.
  • the notification unit 28 may display text on the display 12, saying, "Look at the camera and turn your face up, down, left, and right like a moving image.”
  • the notification unit 28 may issue an audio notification through the speaker 13, saying, "Look at the camera and turn your face up, down, left, and right like a moving image.”
  • step S107 when the user is moving his/her face while gazing at the moving image, the camera 11 adjusts the face orientation to the first angle 61 with reference to the state in which the user faces the camera 11 facing forward. , 62 and a plurality of different face images are captured.
  • step S109 the feature amount extraction unit 24 determines whether or not the features of the face data can be extracted.
  • the determination method is not particularly limited, for example, when it is detected that the user is wearing a mask, the feature amount extraction unit 24 determines that the features of the face data cannot be extracted (NO in step S109). On the other hand, if it is not detected that the user is wearing a mask, the feature amount extraction unit 24 determines that the features of the face data can be extracted (YES in step S109). If NO in step S109, the process is interrupted. At this time, the notification unit 28 may notify "Please take off the mask and take another image" or "Are you wearing something that hides your face?".
  • step S109 the process proceeds to step S111, and the feature amount extraction unit 24 determines whether or not a plurality of images have been acquired within a predetermined time. If the camera 11 cannot acquire a plurality of images even after the predetermined time has passed (NO in step S111), the process proceeds to step S113, and the notification unit 28 prompts the user to retry image capturing, and displays the moving image on the display 12. When displaying, the user is notified to face the direction of the camera 11 and change the direction of the face in the same way as in the moving image until registration or authentication of the face ID is completed. The notification method is the same as in step S105. After alerting the user by notification, the process returns to step S101.
  • step S111 the process proceeds to step S115, and the feature quantity extraction unit 24 uses a plurality of face images acquired from the camera 11 to extract features of face data.
  • the feature quantity extraction unit 24 transmits the extracted features of the face data to the ID registration unit 25 .
  • step S ⁇ b>117 the ID registration unit 25 registers a face ID using the features of the face data acquired from the feature amount extraction unit 24 .
  • the ID registration unit 25 transmits a signal indicating that registration of the face ID has been completed to the moving image reproduction unit 23 and the notification unit 28 .
  • step S119 upon receiving this signal, the motion picture reproduction section 23 stops the motion picture, and the notification section 28 notifies the user that the registration has been completed.
  • step S201 the input reception unit 21 determines whether or not a trigger for authentication is on.
  • the trigger for authentication is on means “the accessory is on”, “the user presses the authentication button (input I/F 10)", and "the signal indicating that the vehicle door has been opened and then closed” is received. Either.
  • “accessories are on” is defined as a state in which the power switch installed in the vehicle is on and all electrical components except the meter and blower motor are in operation. However, the definition of "accessory is on” is not limited to this.
  • a predetermined signal is sent to the controller 20 when the user presses the unlocking switch of the intelligence key that the user possesses before getting into the vehicle.
  • the controller 20 receiving this predetermined signal shifts the power supply position from power off to a predetermined state. This state may be defined as "accessory on”.
  • Intelligence keys are used to remotely control the unlocking and locking of doors. Intelligence keys are sometimes referred to as smart keys or remote keys. Also, instead of “receiving a signal indicating that a vehicle door has opened and then closed", “receiving a signal indicating that a vehicle door has opened” or “receiving a signal indicating that a vehicle door has closed” May be employed as a trigger.
  • step S201 If the trigger for authentication is on (YES in step S201), the process proceeds to step S203, and the state determination unit 22 determines the state of the vehicle.
  • the state determining unit 22 transmits a signal indicating the determination result to the moving image reproducing unit 23 .
  • “Satisfies the conditions for facial ID authentication” means that the power state of the vehicle is “IGN-ON” and the shift position is “P”. Note that "satisfying the conditions for authenticating the face ID” may be "the accessory is on” and the shift position is “P”.
  • step S205 to 215 The processing of steps S205 to 215 is the same as the processing of steps S105 to 115 shown in FIG. 10, so description thereof will be omitted.
  • step S ⁇ b>217 the feature quantity comparison unit 26 compares the features of the face data extracted in step S ⁇ b>215 with the features of the face data stored in the storage device 14 .
  • the feature quantity comparison unit 26 outputs the face ID with the highest degree of similarity to the ID authentication unit 27 as the recognition result.
  • the process proceeds to step S219, and the ID authentication unit 27 authenticates the face ID.
  • ID The authentication unit 27 may authenticate the user as "GUEST".
  • GUIEST means that the user is not a unique user whose face ID is registered, and when a user is authenticated as "GUEST", initial values are reflected in various settings.
  • the ID authentication unit 27 transmits a signal indicating that face ID authentication has been completed to the moving image reproducing unit 23 and the notification unit 28 . The process proceeds to step S221, and upon receiving this signal, the moving image reproduction unit 23 stops the moving image, and the notification unit 28 notifies the user that the authentication has been completed.
  • the image processing device 1 includes a camera 11 that captures an image of the user, a controller 20 that registers or authenticates the user's face data using the image captured by the camera 11, and a display that displays moving images.
  • the controller 20 selects a plurality of different face images whose orientation of the face imaged by the camera 11 is within first angles 61 and 62 with reference to the state in which the user is facing the camera 11 frontally. is used to enroll or authenticate the user's facial data.
  • the controller 20 displays on the display 12 a moving image in which an image simulating a human face changes the direction of the face until registration or authentication is completed.
  • a second angle between the direction from the user's sitting position toward the camera 11 and the direction from the user's sitting position toward the display 12 is smaller than the first angles 61 and 62 .
  • the range of angles in which the face is moved partially overlaps the range of the predetermined angle 52 .
  • an image required for face ID registration or authentication is quickly obtained.
  • the camera 11 is installed in front of the seat inside the vehicle.
  • the direction in which the face is turned includes either up, down, left, or right, or a combination of up, down, left, or right (see FIG. 4).
  • the camera 11 and the display 12 are installed side by side in the vehicle width direction or the vehicle height direction (see FIG. 2). When the user is sitting in the driver's seat, the camera 11 can image the user from the front.
  • the controller 20 may notify the user that the face turns at the same speed as the image simulating a human face changes the face direction.
  • Notification methods include character information notification and voice notification.
  • the controller 20 may display text on the display 12 saying, "Please change the direction of your face at the same speed as the moving image.”
  • the controller 20 may issue an audio notification through the speaker 13 saying, "Please change the direction of your face at the same speed as the moving image.” This prevents the user from moving too fast or too slow.
  • the controller 20 may notify the user that, while displaying the moving image on the display 12, the user should turn his/her face in the same way as the moving image until registration or authentication is completed.
  • the controller 20 instructs the user to face the camera 11 and turn his/her face up, down, left, and right like the moving image until registration or authentication is completed. may be notified to An example of the notification method has been described in S111 above.
  • the user is prevented from stopping before registration or authentication is completed. It is possible to encourage the user to change the direction of the face with reference to the state in which the user faces the camera 11, and the range of angles in which the user moves the face tends to overlap with the range of the predetermined angle 52. - ⁇ Images required for face ID enrollment or authentication are obtained more quickly.
  • the direction of the face image captured by the camera 11 does not matter as long as the direction is different.
  • a condition may be added that at least one face image facing four directions of up, down, left, and right is required. Under this condition, if face images oriented upward, downward, and rightward are acquired, but face images oriented leftward are not acquired, the controller 20 selects the missing orientation (leftward). User may be notified. As a notification method, the color may be changed when the CG image faces left.
  • the camera 11 is installed in front of the seat inside the vehicle.
  • the camera 11 and the display 12 may be installed side by side in the longitudinal direction of the vehicle.
  • the camera 11 also faces the front. This makes it easier to pick up a characteristic face image.
  • the image processing device 1 may further include a sensor that detects the sitting height of the user.
  • the controller 20 may change the animation displayed on the display 12 according to the sitting height detected by the sensor.
  • the height with respect to the camera 11 differs between a user with a low sitting height and a user with a high sitting height.
  • the controller 20 can reproduce a moving image that matches the viewing angle of the user from the camera 11 .
  • a plurality of moving images are stored in the storage device 14 to correspond to the sitting height.
  • Either the angle at which the image imitating a human face shakes its head to the right or to the left may be larger than the second angle.
  • the angle of shaking the head toward the camera 11 side as viewed from the display 12 to be larger than the second angle, the user can turn his/her face while watching the moving image even if the range of the second angle is larger than the range of the predetermined angle 52. Since a part of the moving range 65 overlaps the predetermined angle 52 , the left and right face orientations of the user 50 can be imaged within the range of the predetermined angle 52 .
  • the controller 20 may determine whether the user's gaze direction is toward the camera 11 or toward the display 12 based on the image captured by the camera 11 .
  • the controller 20 may change the moving image displayed on the display 12 based on the determination result. This enables the controller 20 to reproduce the moving image corresponding to the user's line-of-sight direction.
  • a plurality of moving images are stored in the storage device 14 to correspond to the viewing direction of the user.
  • the controller 20 determines that the line-of-sight direction of the user 50 is directed toward the display 12, the controller 20 sets one of the angles at which the image simulating a human face shakes its head to the right or to the left as a second angle. It may be larger than the angle. As a result, when the line of sight of the user 50 is directed toward the display 12, the controller 20 can play back a moving image in which the angle at which the user 50 shakes his or her head in the direction toward the camera 11 as viewed from the display 12 is greater than the second angle. becomes. Since a part of the range 65 in which the user moves his/her face while gazing at the moving image overlaps the predetermined angle 52 , the left and right face orientations of the user 50 can be imaged within the range of the predetermined angle 52 .
  • the angle in the direction opposite to either one of the angles at which the image simulating a human face shakes its head to the right or to the left. may be smaller than the second angle.
  • the range 66 in which the user moves his/her face while gazing at the moving image becomes smaller, and the face outside the predetermined angle 52 becomes smaller. It is possible to suppress the imaging of an image in the direction. Image processing unnecessary for face ID registration or authentication can be suppressed, and the processing load of the controller 20 can be reduced.
  • Processing circuitry includes programmed processing devices, such as processing devices that include electrical circuitry. Processing circuitry also includes devices such as application specific integrated circuits (ASICs) and circuit components arranged to perform the described functions.
  • ASICs application specific integrated circuits
  • the image processing device 1 has been described as a device mounted on a vehicle, it is not limited to this.
  • the image processing device 1 may be a terminal device (for example, a smart phone).
  • the terminal device may take an image of the user with a camera while reproducing a moving image on the display. Processing related to face ID registration or authentication is implemented by a controller built into the terminal device.
  • FIG. 12 there is known a technique of associating a vehicle key ID (an ID transmitted from a key 70) with an in-vehicle device and controlling the in-vehicle device and functions according to the key ID.
  • a meter 74 , a HUD 75 , a mirror 78 , a seat 80 , a steering wheel 81 and the like are examples of the in-vehicle devices associated with the key ID.
  • the function associated with the key ID includes an air conditioning 76, a drive mode 77, and the like.
  • one vehicle is shared by a plurality of people. For example, family sharing. When sharing one vehicle, there is usually one key. Therefore, it is not possible to set the in-vehicle equipment and functions according to the preferences of a plurality of people only with the key ID.
  • face ID By using the face ID to log in to the IVI 72 (in-vehicle information), the user ID associated with the face ID becomes available. This user ID may be associated with the in-vehicle device and function settings. By using two IDs, a key ID and a user ID (face ID), even if one vehicle is shared, it is possible to set the in-vehicle equipment and functions according to the preferences of each user. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Collating Specific Patterns (AREA)

Abstract

画像処理装置は、ユーザを撮像するカメラと、カメラによって撮像された画像を用いてユーザの顔データを登録または認証するコントローラと、動画を表示するディスプレイと、を備える。コントローラは、カメラによって撮像された顔の向きが、ユーザがカメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いてユーザの顔データを登録または認証し、登録または認証が完了するまで人間の顔を模した画像が顔の向きを変える動画をディスプレイに表示し、ユーザの着座位置からカメラに向かう方向と、ユーザの着座位置からディスプレイに向かう方向とが成す第２角度は、第１角度より小さい。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関する。
　従来より、自動車に乗車するユーザの顔を認識する技術が知られている（特許文献１）。特許文献１に記載された発明は、自動車に取り付けられたカメラでユーザを撮影し、撮影した顔画像の顔特徴情報と、予め登録された顔特徴情報とを用いて、ユーザの顔を認識する。
特開２００８－０１７２２７号公報
　しかしながら、カメラがユーザを撮像するとき、ユーザは必ずしも適切な方向を向いていない場合がある。この場合、ユーザの顔データの登録または認証に時間がかかるおそれがある。
　本発明は、上記問題に鑑みて成されたものであり、その目的は、ユーザの顔データの登録または認証に要する時間を短縮可能な画像処理装置及び画像処理方法を提供することである。
　本発明の一態様に係る画像処理装置は、カメラによって撮像された顔の向きが、ユーザがカメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いてユーザの顔データを登録または認証し、登録または認証が完了するまで人間の顔を模した画像が顔の向きを変える動画をディスプレイに表示し、着座位置からカメラに向かう方向と、ユーザの着座位置からディスプレイに向かう方向とが成す第２角度は、第１角度より小さい。
　本発明によれば、ユーザの顔データの登録または認証に要する時間が短縮される。
図１は、本発明の実施形態に係る画像処理装置１の構成図である。 図２は、カメラ１１とディスプレイ１２が設置される位置を説明する図である。 図３は、人間の顔を模したＣＧ画像が顔の向きを変える動画を説明する図である。 図４は、顔の向きに関する角度の一例を説明する図である。 図５は、人間の顔を模したＣＧ画像を説明する図である。 図６は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。 図７は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。 図８は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。 図９は、カメラ１１とディスプレイ１２の位置関係の一例を説明する図である。 図１０は、本発明の実施形態に係る画像処理装置１の一動作例を説明するフローチャートである。 図１１は、本発明の実施形態に係る画像処理装置１の一動作例を説明するフローチャートである。 図１２は、顔ＩＤの利用方法の一例を説明する図である。
　以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
　図１～２を参照して画像処理装置１の構成例を説明する。図１に示すように、画像処理装置１は、入力Ｉ／Ｆ１０と、カメラ１１と、コントローラ２０と、ディスプレイ１２と、スピーカ１３と、記憶装置１４とを備える。
　本実施形態における画像処理装置１は、ユーザ（主にドライバ）の顔認証に関する処理を実行する装置である。顔認証には２つのフェーズが含まれる。１つは、新規にユーザの顔データを登録するフェーズである。もう１つは、登録された顔データを活用するフェーズである。登録された顔データを活用するフェーズとは、例えばカメラ画像と登録された顔データを突き合わせて、顔データを認証するフェーズである。
　入力Ｉ／Ｆ１０は、ディスプレイ１２に表示される仮想的なボタン、またはディスプレイ１２の近傍に設置された機械スイッチである。入力Ｉ／Ｆ１０は、ユーザが新規に顔データを登録する際に用いられる。
　カメラ１１はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１１は車内に設置される。例えば図２に示すようにカメラ１１はステアリングホイールの中央部分に設置される。カメラ１１は主に運転席に座っているユーザの顔を撮像する。カメラ１１によって撮像された画像はコントローラ２０に出力される。図２に示す符号３０は、人間の顔を模したＣＧ画像である（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）。以下では符号３０を顔画像３０とよぶ。
　図２に示すようにディスプレイ１２はインストルメントパネルの中央部分に設置される。後述する動画再生部２３はディスプレイ１２上で動画を再生する。本実施形態における動画は、顔画像３０が顔の向きを変える映像である。換言すれば動画は、顔画像３０が首を振る映像である。図２に示すようにカメラ１１とディスプレイ１２は車幅方向に並んで設置される。
　コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、画像処理装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、画像処理装置１が備える複数の情報処理回路として機能する。なお、ここでは、ソフトウェアによって画像処理装置１が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路として、入力受付部２１と、状態判定部２２と、動画再生部２３と、特徴量抽出部２４と、ＩＤ登録部２５と、特徴量比較部２６と、ＩＤ認証部２７と、通知部２８とを備える。
　次に図３を参照して、新規にユーザの顔データを登録するフェーズについて説明する。前提条件としてユーザは車両の運転席に座っている。ユーザが顔データを登録するとき、ユーザは登録ボタン（入力Ｉ／Ｆ１０）を押す。この登録ボタンはディスプレイ１２に表示される仮想的なボタンでもよく、ディスプレイ１２の近傍に設置された機械スイッチでもよい。ユーザの入力は入力受付部２１に送信される。入力受付部２１はユーザからの入力を受信したとき、受信したことを示す信号を状態判定部２２に送信する。状態判定部２２は入力受付部２１から信号を受信したとき、車両の状態を判定する。具体的には状態判定部２２は、車両の電源状態が「ＩＧＮ－ＯＮ」か否かを判定する。車両の電源状態が「ＩＧＮ－ＯＮ」とは、車内に設置された電源スイッチがオンであり、メータとブロアモータを含む全ての電装品が作動する状態と定義される。また、状態判定部２２はシフトポジションが「Ｐ」か否か判定する。本実施形態において、顔ＩＤを登録する際の条件として、車両の電源状態が「ＩＧＮ－ＯＮ」であること、かつ、シフトポジションが「Ｐ」であることが求められる。なお、「ＩＧＮ－ＯＮ」に代えて、電源スイッチがオンであることが条件として採用されてもよい。つまり、顔ＩＤを登録する際の条件として、車両の電源スイッチがオンであること、かつ、シフトポジションが「Ｐ」であること、という条件が採用されてもよい。
　状態判定部２２は、顔ＩＤを登録する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。「顔ＩＤを登録する際の条件を満たす」とは、車両の電源状態が「ＩＧＮ－ＯＮ」であり、かつ、シフトポジションが「Ｐ」であることを意味する。動画再生部２３は状態判定部２２から信号を受信したとき、ディスプレイ１２上で動画を再生する。図３を参照して動画再生部２３によって再生される動画について説明する。動画は記憶装置１４に記憶されている。記憶装置１４はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などから構成される。動画再生部２３は記憶装置１４に記憶された動画を再生する。図３に示すように、動画では顔画像が顔の向きを変える。換言すれば顔画像が首を動かしたり首を振ったりする。顔画像３１は右方向を向く。顔画像３２は左方向を向く。顔画像３３は上方向を向く。顔画像３４は下方向を向く。なお、動画は必ずしも記憶装置１４に記憶されている必要はない。例えば、動画はクラウド型のサーバ（いわゆるクラウドサーバ）に保存されていてもよい。動画がクラウドサーバに保存されている場合、コントローラ２０はクラウドサーバにアクセスし、動画を再生することができる。これにより、常に最新の動画が利用可能となる。
　顔の向きに関する角度（首の角度）の一例について図４を参照して説明する。図４に示すように、上下方向における首の角度は＋２０度～－２０度である。左右方向における首の角度は＋３０度～－３０度である。ユーザがカメラ１１に対して正面を向いている場合（符号３７）、上下方向及び左右方向は０度と定義される。この状態が角度の基準となる。上述の角度の数値は、この基準からの変化を示す。角度の正負は、上方向及び左方向が正、下方向及び右方向が負である。本実施形態ではこのように人間の顔を模したＣＧ画像が顔の向きを変える動画が繰り返し再生される。人間の顔を模したＣＧ画像の首の角度は、顔ＩＤの登録または認証に必要な顔の向きの画像を撮像するための角度である。
　ユーザは、自身の顔の向きが動画の顔の向きと同じ向きになるように、顔（首）を動かす。カメラ１１はユーザが顔を動かしているときに、顔の向きがそれぞれ異なる複数の顔画像を撮像する。「顔の向きがそれぞれ異なる複数の顔画像」の一例は、図４に示す顔画像３５～３９である。顔画像３５の向きは上方向に２０度、右方向に３０度である。顔画像３６の向きは下方向に２０度、右方向に２０度である。顔画像３７の向きは正面である（上下方向及び左右方向に０度）。顔画像３８の向きは上方向に２０度、左方向に２０度である。顔画像３９の向きは下方向に２０度、左方向に３０度である。カメラ１１は、顔の向きがそれぞれ異なる顔画像を５枚（顔画像３５～３９）撮像する。ただし、５枚は一例であり、複数であれば３枚でも４枚でもよい。なお、顔の向きがそれぞれ異なっていれば十分であり、顔画像３７のような正面画像は必須ではない。
　カメラ１１によって撮像された複数の顔画像３５～３９は、特徴量抽出部２４に送信される。特徴量抽出部２４はカメラ１１から取得した複数の顔画像３５～３９を用いて顔データの特徴を抽出する。一例として特徴量抽出部２４は畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いて顔データの特徴を抽出する。ただしこれに限定されず、他の機械学習アルゴリズムが用いられてもよい。なお、機械学習アルゴリズムを用いた特徴抽出方法は周知技術であるため、詳細な説明は省略する。本実施形態において顔の向きがそれぞれ異なる複数の顔画像を撮像する理由は、顔データの特徴を精度よく抽出するためである。
　特徴量抽出部２４は、抽出された顔データの特徴をＩＤ登録部２５に送信する。ＩＤ登録部２５は、特徴量抽出部２４から取得した顔データの特徴を用いて顔ＩＤを登録する。登録された顔ＩＤは記憶装置１４に保存される。これにより、顔ＩＤの登録が完了する。ＩＤ登録部２５は顔ＩＤの登録が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ登録が完了したことを通知する。通知方法として、通知部２８はディスプレイ１２に「顔ＩＤの登録が完了しました」と表示してもよく、音声を用いてもよい。換言すれば、動画再生部２３は顔ＩＤの登録が完了するまで動画を再生する。ユーザは顔ＩＤの登録が完了するまで動画と同じように顔を動かす。これにより、顔の向きがそれぞれ異なる複数の顔画像を短時間で撮像することが可能となり、顔データの登録に要する時間が短縮される。
　動画において、顔画像は顔の向きを変える（首を振る）が、動く部位と動かない部位が存在する。図５に示すように、ディスプレイ１２に表示される顔画像３１において、首から上の領域４０が動き、首から下の領域４１は動かない。領域４０には顔と首そのものが含まれる。領域４１には胸から首までの上半身部分が含まれる。
　図６に示すように、ディスプレイ１２が設置される位置と、カメラ１１が設置される位置はずれている（位置関係は図２参照）。図６の符号５０はユーザを示し、符号５１はユーザの鼻（ユーザの顔の向き）を示す。図６の上側の図は、ユーザがカメラ１１に対して正面を向いている状態を示す。符号５２は所定角度を示す。所定角度は、ユーザ５０がカメラ１１に対して正面を向いている状態を基準とし、カメラ１１によって撮像された顔画像に多くの顔データが含まれるための角度と定義される。すなわち、所定角度５２は、顔ＩＤの登録または認証に必要な画像の顔の向きの角度の範囲である。ディスプレイ１２に表示される動画において、人間の顔を模した画像は、所定角度５２と同じ角度の範囲で顔の向きを変化させる（首を振る）。ユーザ５０の顔の向きは所定角度５２の範囲に含まれることが好ましい。なお所定角度５２は実験、シミュレーションによって求められる。所定角度５２は、ユーザ５０がカメラ１１に対して正面を向いている状態を基準として左右方向の第１角度６１及び６２とから成る。第１角度６１、６２の一例は、ユーザがカメラ１１に対して正面を向いている状態（上下方向及び左右方向に０度）を基準として、左方向に３０度、右方向に３０度である。この場合、所定角度５２の範囲は６０度となる。
　本実施形態においてユーザ５０はディスプレイ１２の表示される動画を注視しながら顔を動かす。そうすると必然的にユーザ５０の視線はディスプレイ１２に向けられる（図６の下側の図）。図６の符号６３aは、ユーザ５０の着座位置からカメラ１１に向かう方向と、ユーザ５０の着座位置からディスプレイ１２に向かう方向とが成す第２角度を示す。「ユーザ５０の着座位置からカメラ１１に向かう方向」は、「ユーザ５０がカメラ１１を見たときのユーザ５０の視線方向」と表現されてもよい。同様に、「ユーザ５０の着座位置からディスプレイ１２に向かう方向」は、「ユーザ５０がディスプレイ１２を見たときのユーザ５０の視線方向」と表現されてもよい。図６の符号６４aは、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲を示す。ユーザ５０が、自身の顔の向きが動画の顔の向きと同じ向きになるように顔を動かすと、範囲６４aの大きさは所定角度５２の大きさと同じになる。
　図６の下図に示すように、第２角度６３aが所定角度５２より大きくなるような位置にディスプレイ１２が設置される場合、範囲６４aは所定角度５２の範囲と重複しない。この場合、ユーザ５０が動画を注視しながら左右方向の顔を動かしたときにカメラ１１によって撮像された顔画像の顔の向きは、所定角度５２の範囲に含まれない。すなわち、ユーザ５０が動画を注視しながら動画と同じように顔を動かしても、顔ＩＤの登録または認証に必要な顔の向きの画像を取得することが難しい場合がある。
　顔ＩＤの登録または認証に必要な顔の向きの画像を速やかに取得するためには、ユーザが動画を注視しながら左右方向に顔を動かした角度の範囲が、所定角度５２の範囲と重複することが好ましい。そこで、本実施形態では、カメラ１１とディスプレイ１２は、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲が所定角度５２の範囲と重複するような位置に設置される。カメラ１１とディスプレイ１２を近づけて設置すれば、第２角度６３aの角度は小さくなり、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲６４aが所定角度５２の範囲に近づく。
　本実施形態では、例えば図７に示すように、カメラ１１とディスプレイ１２は、第２角度６３ｂが第１角度６１、６２から成る所定角度５２より小さくなるような位置に設置される。範囲６４ｂは、範囲６４aが時計回りにオフセットされたものである。範囲６４ｂは、所定角度５２の範囲と一部が重複するため所定角度５２の範囲内でユーザ５０の一方の顔の向きが撮像できる。
　図８に示すように、カメラ１１とディスプレイ１２は、第２角度６３ｂが第１角度６１、６２より小さくなるような位置に設置されてもよい。範囲６４ｃは、範囲６４ｂがさらに時計回りにオフセットされたものであり、図８の第２角度６３ｃは図７の第２角度６３ｂよりも小さい。この場合、範囲６４ｃは範囲６４ｂと比較して所定角度５２の範囲と重複する部分が大きくなり、所定角度５２の範囲内でユーザ５０の左右の顔の向きを撮像できる。このようにカメラ１１とディスプレイ１２の距離は短いことが好ましい。カメラ１１とディスプレイ１２の位置関係を調節する代わりに、所定角度５２の範囲が第２角度より大きくなるように、所定角度５２の範囲を調節してもよい。
　また、カメラ１１とディスプレイ１２の位置関係または所定角度５２の範囲を調節する代わりに、人間の顔を模した画像が首を振る角度を調節して、ユーザ５０が動画を注視しながら左右方向に顔を動かした角度の範囲が所定角度５２の範囲と重複するようにしてもよい。例えば図９に示すように、ユーザ５０がディスプレイ１２に対して正面を向いている状態を基準として、動画を注視しながら右方向に顔を動かす範囲６５が第２角度６３ｄより大きくなるように、人間の顔を模した画像が首を振る角度を調節してもよい。具体的には、動画再生部２３は、人間の顔を模した画像が左方向に首を振る角度（ユーザが右方向に顔を動かす範囲６５に対応）が、第２角度６３ｄより大きくなるような動画を再生する。これにより、たとえ第２角度６３ｄの範囲が所定角度５２の範囲より大きくとも、ユーザ５０が動画を注視しながら右方向に顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。
　次に図１０のフローチャートを参照して、画像処理装置１の一動作例を説明する。
　ステップＳ１０１において入力受付部２１はユーザからの入力を受け付ける。入力受付部２１はユーザからの入力を受信したとき、受信したことを示す信号を状態判定部２２に送信する。処理はステップＳ１０３に進み、状態判定部２２は入力受付部２１から信号を受信したとき、車両の状態を判定する。状態判定部２２は、顔ＩＤを登録する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。処理はステップＳ１０５に進み、動画再生部２３は状態判定部２２から信号を受信したとき、ディスプレイ１２上で動画を再生する（図３参照）。通知部２８は、動画をディスプレイ１２に表示しているとき、顔ＩＤの登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように上下左右方向に顔の向きを変えることをユーザに通知する。通知方法として文字情報による通知、または音声による通知がある。文字情報による通知として、通知部２８はディスプレイ１２に「カメラの方向を向いて、動画と同じように上下左右方向に顔の向きを変えてください」と文字を表示すればよい。音声による通知として、通知部２８はスピーカ１３を介して「カメラの方向を向いて、動画と同じように上下左右方向に顔の向きを変えてください」と音声で通知すればよい。
　処理はステップＳ１０７に進み、ユーザが動画を注視しながら顔を動かしているとき、カメラ１１は顔の向きが、ユーザがカメラ１１に対して正面を向いている状態を基準とした第１角度６１、６２内であって、且つそれぞれ異なる顔画像を複数撮像する。
　処理はステップＳ１０９に進み、特徴量抽出部２４は顔データの特徴が抽出可能か否かを判定する。判定方法は特に限定されないが、例えばユーザがマスクをしていることが検出された場合、特徴量抽出部２４は顔データの特徴が抽出不可能と判定する（ステップＳ１０９でＮＯ）。一方、ユーザがマスクをしていることが検出されない場合、特徴量抽出部２４は顔データの特徴が抽出可能と判定する（ステップＳ１０９でＹＥＳ）。ステップＳ１０９でＮＯの場合、処理は中断される。このとき、通知部２８は、「マスクを取ってもう一度撮像してください」と通知してもよく、「顔を隠すものを着用していませんか」と通知してもよい。
　ステップＳ１０９でＹＥＳの場合、処理はステップＳ１１１に進み、特徴量抽出部２４は、所定の時間内に複数の画像を取得できたか否かを判定する。所定の時間を経過してもカメラ１１が複数の画像を取得できない場合（ステップＳ１１１でＮＯ）、処理はステップＳ１１３に進み、通知部２８は、撮像のリトライをユーザに促し、動画をディスプレイ１２に表示しているとき、顔ＩＤの登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように顔の向きを変えることをユーザに通知する。通知方法は、ステップＳ１０５と同様である。通知によりユーザに注意喚起を行った後、処理はステップＳ１０１に戻る。ステップＳ１１１でＹＥＳの場合、処理はステップＳ１１５に進み、特徴量抽出部２４はカメラ１１から取得した複数の顔画像を用いて顔データの特徴を抽出する。特徴量抽出部２４は、抽出された顔データの特徴をＩＤ登録部２５に送信する。処理はステップＳ１１７に進み、ＩＤ登録部２５は、特徴量抽出部２４から取得した顔データの特徴を用いて顔ＩＤを登録する。ＩＤ登録部２５は顔ＩＤの登録が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。処理はステップＳ１１９に進み、動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ登録が完了したことを通知する。
　次に図１１のフローチャートを参照して、顔データを認証するフェーズについて説明する。ステップＳ２０１において、入力受付部２１は、認証するためのトリガがオンか否かを判定する。「認証するためのトリガがオン」とは、「アクセサリーがオン」、「ユーザが認証ボタン（入力Ｉ／Ｆ１０）を押す」、「車両ドアが開いた後に閉じたことを示す信号の受信」のいずれかである。本実施形態において「アクセサリーがオン」とは、車内に設置された電源スイッチがオンであり、メータとブロアモータを除く全ての電装品が作動する状態と定義される。ただし、「アクセサリーがオン」の定義はこれに限定されない。ユーザが車両に乗り込む前に所持するインテリジェンスキーの解錠スイッチを押したとき、所定信号がコントローラ２０に送信される。この所定信号を受信したコントローラ２０は電源ポジションを電源オフから所定状態に遷移させる。この状態を「アクセサリーがオン」と定義してもよい。インテリジェンスキーは、ドアの解錠及び施錠を遠隔で操作するために用いられる。インテリジェンスキーは、スマートキーまたはリモートキーと表現される場合もある。また、「車両ドアが開いた後に閉じたことを示す信号の受信」に代えて、「車両ドアが開いたことを示す信号の受信」または「車両ドアが閉じたことを示す信号の受信」がトリガとして採用されてもよい。認証するためのトリガがオンである場合（ステップＳ２０１でＹＥＳ）、処理はステップＳ２０３に進み、状態判定部２２は車両の状態を判定する。状態判定部２２は、顔ＩＤを認証する際の条件を満たすと判定した場合、判定結果を示す信号を動画再生部２３に送信する。「顔ＩＤを認証する際の条件を満たす」とは、車両の電源状態が「ＩＧＮ－ＯＮ」であり、かつ、シフトポジションが「Ｐ」であることを意味する。なお「顔ＩＤを認証する際の条件を満たす」とは、「アクセサリーがオン」、かつ、シフトポジションが「Ｐ」であってもよい。
　ステップＳ２０５～２１５の処理は、図１０に示すステップＳ１０５～１１５の処理と同様であるため、説明を省略する。ステップＳ２１７において、特徴量比較部２６はステップＳ２１５で抽出された顔データの特徴と、記憶装置１４に記憶されている顔データの特徴とを比較する。特徴量比較部２６は類似度の最も高い顔ＩＤを認識結果としてＩＤ認証部２７に出力する。処理はステップＳ２１９に進み、ＩＤ認証部２７は顔ＩＤを認証する。なお、ステップＳ２１５において抽出された顔データの特徴が記憶装置１４に記載している顔データの特徴と一致しない場合、すなわちステップＳ２１５で抽出された顔データと一致する顔ＩＤが存在しない場合、ＩＤ認証部２７は、ユーザを「ＧＵＥＳＴ」として認証してもよい。本実施形態において「ＧＵＥＳＴ」とは、顔ＩＤが登録されている固有のユーザではないことを意味し、ユーザを「ＧＵＥＳＴ」として認証した場合、各種の設定には初期値が反映される。ＩＤ認証部２７は顔ＩＤの認証が完了したことを示す信号を動画再生部２３及び通知部２８に送信する。処理はステップＳ２２１に進み、動画再生部２３はこの信号を受信したとき、動画を停止し、通知部２８はユーザへ認証が完了したことを通知する。
（作用効果）
　以上説明したように、本実施形態に係る画像処理装置１によれば、以下の作用効果が得られる。
　画像処理装置１は、ユーザを撮像するカメラ１１と、カメラ１１によって撮像された画像を用いてユーザの顔データを登録または認証するコントローラ２０と、動画を表示するディスプレイと、を備える。コントローラ２０は、カメラ１１によって撮像された顔の向きが、ユーザがカメラ１１に対して正面を向いている状態を基準とした第１角度６１、６２内であって、且つそれぞれ異なる複数の顔画像を用いてユーザの顔データを登録または認証する。コントローラ２０は登録または認証が完了するまで人間の顔を模した画像が顔の向きを変える動画をディスプレイ１２に表示する。ユーザの着座位置からカメラ１１に向かう方向と、ユーザの着座位置からディスプレイ１２に向かう方向とが成す第２角度は、第１角度６１、６２より小さい。
　ユーザがディスプレイ１２を注視しながら顔を動かしたとしても、顔を動かした角度の範囲は所定角度５２の範囲と一部重複する。これにより、顔ＩＤの登録または認証のために必要な画像が速やかに取得される。動画によってユーザに顔を動かすことを働きかけることにより、顔の向きがそれぞれ異なる複数の顔画像を短時間で撮像することが可能となり、顔データの登録に要する時間が短縮される。なお顔の向きがそれぞれ異なる複数の顔画像において、顔の向きはすべて異なる。
　カメラ１１は車内の着座シートの前方に設置される。顔の向きを変える方向には、上下左右方向のいずれか、または上下左右方向の組合せが含まれる（図４参照）。カメラ１１及びディスプレイ１２は、車幅方向または車両の高さ方向に並ぶように設置される（図２参照）。ユーザが運転席に座っているとき、カメラ１１は正面からユーザを撮像することが可能となる。
　コントローラ２０は、動画をディスプレイ１２に表示しているとき、人間の顔を模した画像が顔の向きを変える速度と同じ速度で顔の向きを変えることをユーザに通知してもよい。通知方法として文字情報による通知、または音声による通知がある。文字情報による通知として、コントローラ２０はディスプレイ１２に「動画と同じ速度で顔の向きを変えてください」と文字を表示すればよい。音声による通知として、コントローラ２０はスピーカ１３を介して「動画と同じ速度で顔の向きを変えてください」と音声で通知すればよい。これによりユーザの動きが早すぎる、または遅すぎるといった事態が防止される。
　コントローラ２０は、動画をディスプレイ１２に表示しているとき、登録または認証が完了するまで動画と同じように顔の向きを変えることをユーザに通知してもよい。また、コントローラ２０は、動画をディスプレイ１２に表示しているとき、登録または認証が完了するまで、カメラ１１の方向を向いて、動画と同じように上下左右方向に顔の向きを変えることをユーザに通知してもよい。通知方法の一例は上述のＳ１１１で説明した。登録または認証が完了する前にユーザが動きを止めることが防止される。ユーザが、カメラ１１に対して正面を向いた状態を基準として顔の向きを変えることを促進でき、ユーザが顔を動かした角度の範囲が所定角度５２の範囲と重複しやすくなる。顔ＩＤの登録または認証のために必要な画像がより速やかに取得される。
　本実施形態において、カメラ１１によって撮像される顔画像は、向きが異なっていれば方向は問わない。しかし、例えば、上下左右の４方向を向いた顔画像が少なくとも１枚必要という条件が追加されてもよい。この条件において、上方向、下方向、右方向を向いた顔画像は取得されたが、左方向を向いた顔画像は取得されていない場合、コントローラ２０は不足している向き（左方向）をユーザに通知してもよい。通知方法としてＣＧ画像が左を向いた場合に色を変えればよい。
　カメラ１１は車内の着座シートの前方に設置される。カメラ１１及びディスプレイ１２は、車両の前後方向に並ぶように設置されてもよい。ユーザがディスプレイ１２を注視するとカメラ１１に対しても正面を向くことになる。これにより特徴のある顔画像を撮像しやすくなる。
　画像処理装置１は、ユーザの座高を検出するセンサをさらに備えてもよい。コントローラ２０は、センサによって検出された座高に応じてディスプレイ１２に表示する動画を変更してもよい。座高が低いユーザと高いユーザでカメラ１１に対する高さが異なる。コントローラ２０は、カメラ１１からユーザが見える角度に合わせた動画を再生することが可能となる。座高に対応するため、複数の動画が記憶装置１４に記憶されている。
　人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度は、第２角度より大きくてもよい。ディスプレイ１２から見てカメラ１１側の方向に首を振る角度を、第２角度より大きくすることにより、第２角度の範囲が所定角度５２の範囲より大きくても、ユーザが動画を注視しながら顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。
　コントローラ２０は、カメラ１１によって撮像された画像に基づいて、ユーザの視線方向がカメラ１１に向かっているか、またはディスプレイ１２に向かっているかを判定してもよい。コントローラ２０は判定結果に基づいてディスプレイ１２に表示する動画を変更してもよい。これによりコントローラ２０はユーザの視線方向に対応した動画を再生することが可能となる。ユーザの視線方向に対応するため、複数の動画が記憶装置１４に記憶されている。
　コントローラ２０は、ユーザ５０の視線方向がディスプレイ１２に向かっていると判定した場合に、人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を第２角度より大きくしてもよい。これにより、コントローラ２０はユーザ５０の視線方向がディスプレイ１２に向かっている場合に、ディスプレイ１２から見てカメラ１１側の方向に首を振る角度が、第２角度より大きい動画を再生することが可能となる。ユーザが動画を注視しながら顔を動かす範囲６５の一部が所定角度５２に重複するため、所定角度５２の範囲内でユーザ５０の左右の顔の向きが撮像できる。
　コントローラ２０は、ユーザの視線方向がディスプレイ１２に向かっていると判定した場合に、人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方とは逆方向の角度を第２角度より小さくしてもよい。ディスプレイ１２から見てカメラ１１側と逆方向に首を振る角度を、第２角度より小さくすることで、ユーザが動画を注視しながら顔を動かす範囲６６が小さくなり、所定角度５２外の顔の向きの画像が撮像されることを抑制できる。顔ＩＤの登録又は認証に不要な画像処理を抑制でき、コントローラ２０の処理の負荷を軽減できる。
　人間の顔を模した画像が顔の向きを変える動画において、首から上の領域４０が動く一方で、首から下の領域４１は動かない。これによりユーザは動画に合わせて顔を動かしやすくなる。
　上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。
　上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
　例えば、画像処理装置１は車両に搭載される装置として説明したが、これに限定されない。画像処理装置１は端末装置（例えばスマートフォン）であってもよい。画像処理装置１が端末装置である場合、端末装置はディスプレイに動画を再生しながらカメラでユーザを撮像すればよい。顔ＩＤの登録または認証に係る処理は、端末装置に内蔵されたコントローラによって実現される。
　図１２を参照して顔ＩＤの利用方法の一例について説明する。図１２に示すように車両のキーＩＤ（キー７０から送信されるＩＤ）と車載機器とを紐付けて、キーＩＤに応じて車載機器及び機能を制御する技術が知られている。キーＩＤと紐付けられる車載機器としてメータ７４、ＨＵＤ７５、ミラー７８、シート８０、ステアリングホイール８１などが挙げられる。また、キーＩＤと紐付けられる機能として、空調７６、ドライブモード７７などが挙げられる。ここで１台の車両を複数の人間が共有して利用する場合がある。例えば、家族による共有である。１台の車両を共有する場合、通常キーは一つである。したがって、キーＩＤだけでは複数の人間の好みに応じた車載機器及び機能の設定はできない。
　そこで顔ＩＤを利用する。顔ＩＤを使ってＩＶＩ７２（ｉｎ－ｖｅｈｉｃｌｅ　ｉｎｆｏｔａｉｎｍｅｎｔ）にログインすることにより、顔ＩＤと紐付けられたユーザＩＤが利用可能となる。このユーザＩＤに車載機器及び機能の設定を紐付ければよい。キーＩＤとユーザＩＤ（顔ＩＤ）の２つのＩＤを利用することにより、１台の車両を共有する場合であっても、それぞれのユーザの好みに応じた車載機器及び機能の設定が可能となる。
１　画像処理装置、１１　カメラ、１２　ディスプレイ、１３　スピーカ、１４　記憶装置、２０　コントローラ、２１　入力受付部、２２　状態判定部、２３　動画再生部、２４　特徴量抽出部、２５　ＩＤ登録部、２６　特徴量比較部、２７　ＩＤ認証部、２８　通知部

Claims (15)

  1. 　ユーザを撮像するカメラと、
    　前記カメラによって撮像された画像を用いて前記ユーザの顔データを登録または認証するコントローラと、
    　動画を表示するディスプレイと、を備え、
    　前記コントローラは、
    　前記カメラによって撮像された顔の向きが、前記ユーザが前記カメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いて前記ユーザの顔データを登録または認証し、
    　前記登録または前記認証が完了するまで人間の顔を模した画像が顔の向きを変える動画を前記ディスプレイに表示し、
    　前記ユーザの着座位置から前記カメラに向かう方向と、前記ユーザの着座位置から前記ディスプレイに向かう方向とが成す第２角度は、前記第１角度より小さいことを特徴とする画像処理装置。
  2. 　ユーザを撮像するカメラと、
    　前記カメラによって撮像された画像を用いて前記ユーザの顔データを登録または認証するコントローラと、
    　動画を表示するディスプレイと、を備え、
    　前記コントローラは、
    　前記カメラによって撮像された顔の向きが、前記ユーザが前記カメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いて前記ユーザの顔データを登録または認証し、
    　前記登録または前記認証が完了するまで人間の顔を模した画像が顔の向きを変える動画を前記ディスプレイに表示し、
    　前記第１角度は、前記ユーザの着座位置から前記カメラに向かう方向と、前記ユーザの着座位置から前記ディスプレイに向かう方向とが成す第２角度より大きい
    ことを特徴とする画像処理装置。
  3. 　前記カメラは車内の着座シートの前方に設置され、
    　前記顔の向きを変える方向には、上下左右方向のいずれか、または上下左右方向の組合せが含まれ、
    　前記カメラ及び前記ディスプレイは、車幅方向または車両の高さ方向に並ぶように設置される
    ことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記人間の顔を模した画像が顔の向きを変える速度と同じ速度で顔の向きを変えることを前記ユーザに通知する
    ことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記登録または前記認証が完了するまで前記動画と同じように顔の向きを変えることを前記ユーザに通知する
    ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記コントローラは、前記動画を前記ディスプレイに表示しているとき、前記登録または前記認証が完了するまで、前記カメラの方向を向いて、前記動画と同じように上下左右方向に顔の向きを変えることを前記ユーザに通知する
    ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記コントローラは、前記カメラによって撮像された顔の向きがそれぞれ異なる顔画像のうち、不足している向きを前記ユーザに通知する
    ことを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記カメラは車内の着座シートの前方に設置され、
    　前記カメラ及び前記ディスプレイは、車両の前後方向に並ぶように設置される
    ことを特徴とする請求項１または２に記載の画像処理装置。
  9. 　前記ユーザの座高を検出するセンサをさらに備え、
    　前記コントローラは、前記センサによって検出された前記座高に応じて、前記ディスプレイに表示する動画を変更する
    ことを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度は、前記第２角度より大きい
    ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　前記コントローラは、
    　前記カメラによって撮像された画像に基づいて、前記ユーザの視線方向が前記カメラに向かっているか、または前記ディスプレイに向かっているかを判定し、
    　判定結果に基づいて前記ディスプレイに表示する動画を変更する
    ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
  12. 　前記コントローラは、
    　前記ユーザの視線方向が前記ディスプレイに向かっていると判定した場合に、前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方の角度を前記第２角度より大きくする
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記コントローラは、
    　前記ユーザの視線方向が前記ディスプレイに向かっていると判定した場合に、前記人間の顔を模した画像が右方向または左方向に首を振る角度のうちどちらか一方とは逆方向の角度を前記第２角度より小さくする
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
  14. 　前記人間の顔を模した画像が顔の向きを変える動画において、首から上の領域が動く一方で、首から下の領域は動かない
    ことを特徴とする請求項１～１３のいずれか１項に記載の画像処理装置。
  15. 　ユーザを撮像するカメラと、前記カメラによって撮像された画像を用いて前記ユーザの顔データを登録または認証するコントローラと、動画を表示するディスプレイとを備える画像処理装置の画像処理方法であって、
    　前記コントローラは、
    　前記カメラによって撮像された顔の向きが、前記ユーザが前記カメラに対して正面を向いている状態を基準とした第１角度内であって、且つそれぞれ異なる複数の顔画像を用いて前記ユーザの顔データを登録または認証し、
    　前記登録または前記認証が完了するまで人間の顔を模した画像が顔の向きを変える動画を前記ディスプレイに表示し、
    　前記ユーザの着座位置から前記カメラに向かう方向と、前記ユーザの着座位置から前記ディスプレイに向かう方向とが成す第２角度は、前記第１角度より小さい
    ことを特徴とする画像処理方法。
PCT/JP2021/044346 2021-06-15 2021-12-02 画像処理装置及び画像処理方法 WO2022264453A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180099263.0A CN117480541A (zh) 2021-06-15 2021-12-02 图像处理装置和图像处理方法
EP21945374.3A EP4358060A4 (en) 2021-06-15 2021-12-02 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2023529444A JPWO2022264453A1 (ja) 2021-06-15 2021-12-02

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/022695 WO2022264264A1 (ja) 2021-06-15 2021-06-15 画像処理装置及び画像処理方法
JPPCT/JP2021/022695 2021-06-15

Publications (1)

Publication Number Publication Date
WO2022264453A1 true WO2022264453A1 (ja) 2022-12-22

Family

ID=84525995

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/022695 WO2022264264A1 (ja) 2021-06-15 2021-06-15 画像処理装置及び画像処理方法
PCT/JP2021/044346 WO2022264453A1 (ja) 2021-06-15 2021-12-02 画像処理装置及び画像処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022695 WO2022264264A1 (ja) 2021-06-15 2021-06-15 画像処理装置及び画像処理方法

Country Status (4)

Country Link
EP (1) EP4358060A4 (ja)
JP (1) JPWO2022264453A1 (ja)
CN (1) CN117480541A (ja)
WO (2) WO2022264264A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015800A (ja) * 2006-07-06 2008-01-24 Omron Corp なりすまし検知装置
JP2008017227A (ja) 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
JP2010006362A (ja) * 2008-05-27 2010-01-14 Tokai Rika Co Ltd 乗員撮像装置及び居眠り防止装置
JP2015090662A (ja) * 2013-11-07 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
WO2015194135A1 (ja) * 2014-06-19 2015-12-23 日本電気株式会社 認証装置、認証システム、認証方法およびプログラム記憶媒体
JP2019083015A (ja) * 2017-10-31 2019-05-30 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP2019134397A (ja) * 2018-01-30 2019-08-08 パナソニックＩｐマネジメント株式会社 誘導制御装置、方法、及びコンピュータプログラム
JP2019212156A (ja) * 2018-06-07 2019-12-12 パナソニックＩｐマネジメント株式会社 顔画像登録システム、顔画像登録方法、移動体端末、及び顔認証画像登録装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080065A1 (en) * 2017-09-12 2019-03-14 Synaptics Incorporated Dynamic interface for camera-based authentication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015800A (ja) * 2006-07-06 2008-01-24 Omron Corp なりすまし検知装置
JP2008017227A (ja) 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP2009113621A (ja) * 2007-11-06 2009-05-28 Toyota Motor Corp 乗員画像撮像装置、運転支援装置
JP2010006362A (ja) * 2008-05-27 2010-01-14 Tokai Rika Co Ltd 乗員撮像装置及び居眠り防止装置
JP2015090662A (ja) * 2013-11-07 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
WO2015194135A1 (ja) * 2014-06-19 2015-12-23 日本電気株式会社 認証装置、認証システム、認証方法およびプログラム記憶媒体
JP2019083015A (ja) * 2017-10-31 2019-05-30 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
JP2019134397A (ja) * 2018-01-30 2019-08-08 パナソニックＩｐマネジメント株式会社 誘導制御装置、方法、及びコンピュータプログラム
JP2019212156A (ja) * 2018-06-07 2019-12-12 パナソニックＩｐマネジメント株式会社 顔画像登録システム、顔画像登録方法、移動体端末、及び顔認証画像登録装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
「速報：iPhone X「Face ID」認証はこんなに速い。 設定方法を紹介」, YouTube [online] [video], 01 November 2017, [retrieval date 27 December 2021], URL: https://www.youtube.com/watch?v=L7FIxbYyrLQ *
See also references of EP4358060A4

Also Published As

Publication number Publication date
EP4358060A1 (en) 2024-04-24
CN117480541A (zh) 2024-01-30
JPWO2022264453A1 (ja) 2022-12-22
EP4358060A4 (en) 2024-07-17
WO2022264264A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
CN209044516U (zh) 用于汽车的用户识别装置
US10745018B2 (en) Hybrid user recognition systems for vehicle access and control
CN103383595B (zh) 基于用户人脸的分析控制移动终端的装置和方法
US11693937B2 (en) Automatic retries for facial recognition
US7835551B2 (en) Television set and authentication device
US8842155B2 (en) Portable video communication system
US10747860B2 (en) Sitting posture for biometric identification
JP6630665B2 (ja) 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
EP2605172A2 (en) Multi-person gestural authentication and authorization system and method of operation thereof
US9202027B2 (en) Private/public gesture security system and method of operation thereof
WO2019151368A1 (ja) 生体認証装置、システム、方法および記録媒体
JP7049453B2 (ja) 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証
CN110678871A (zh) 面部认证装置和面部认证方法
KR102532746B1 (ko) 전자 장치 및 그 제어 방법
WO2022264453A1 (ja) 画像処理装置及び画像処理方法
US20220219717A1 (en) Vehicle interactive system and method, storage medium, and vehicle
CN114202677A (zh) 认证车辆内部中的乘员的方法和***
CN112203903A (zh) 车载设备的控制装置和控制方法
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
JP2020121668A (ja) 利用者支援システム及び利用者支援装置
JP6906023B2 (ja) 車両用認証装置
US20230256939A1 (en) Vehicle and Control Method Thereof
KR20120046582A (ko) 차량 내 스마트키 인증 시스템 및 그 방법
JP2004064433A (ja) 機器操作システム及び機器操作プログラム、並びに機器操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945374

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529444

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180099263.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021945374

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021945374

Country of ref document: EP

Effective date: 20240115