WO2023175803A1 - カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体 - Google Patents

カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023175803A1
WO2023175803A1 PCT/JP2022/012070 JP2022012070W WO2023175803A1 WO 2023175803 A1 WO2023175803 A1 WO 2023175803A1 JP 2022012070 W JP2022012070 W JP 2022012070W WO 2023175803 A1 WO2023175803 A1 WO 2023175803A1
Authority
WO
WIPO (PCT)
Prior art keywords
order
authentication
face
control device
determining
Prior art date
Application number
PCT/JP2022/012070
Other languages
English (en)
French (fr)
Inventor
雄太 清水
和樹 稲垣
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/012070 priority Critical patent/WO2023175803A1/ja
Publication of WO2023175803A1 publication Critical patent/WO2023175803A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a camera control device, a control method, and a non-transitory computer-readable medium, and in particular, even when multiple authentication targets are detected, the present disclosure efficiently and sequentially photographs multiple authentication targets in a short time.
  • the present invention relates to a camera control device, a control method, and a non-transitory computer-readable medium.
  • Patent Document 1 discloses that an image transmitted via a network is acquired from one or more terminals having a function of capturing an image or a function of acquiring an image from another device. The probability that a predetermined photographic object is included in the image is calculated, and if the probability is higher than the first threshold, information indicating the predetermined photographic object is added to the image, and the probability is calculated. If the probability is below the second threshold, information indicating the predetermined object to be photographed is not added to the image, and if the probability is above the second threshold and below the first threshold, It is disclosed that an image and request reception information for accepting information addition to the image are transmitted to one or more terminals via a network.
  • Patent Document 2 describes a personal face DB that registers facial image data related to facial images of a plurality of subjects, an imaging unit that captures images of subjects and generates image data, and detects facial images from the generated image data.
  • a face detection unit that compares and matches the detected face image and face image information registered in the personal face DB, and imaging-related processing related to the imaging of the subject by the imaging unit depending on the number of matched face images.
  • An imaging device is disclosed that includes an execution processing unit that executes the following.
  • Patent Document 3 discloses that when taking a photograph, the camera position, lens direction, focal length, angle of view, and aperture value are acquired, and from these values a photographic space consisting of a focal plane and depth of field is calculated, and the photographic space is calculated on a map. The object is recognized by comparing it with the position of the object, and the distance from the shooting center, the measurement error of the camera position, and the measurement error of the lens direction are measured to rank the multiple shooting objects. It is disclosed that subject recognition can be practically performed by a photographer deleting and editing recognition results.
  • An object of the present disclosure is to provide a camera control device, a control method, and a non-transitory computer-readable medium that solve the above-mentioned problems.
  • a camera control device includes: a detection means for detecting multiple authentication targets from images taken of the surrounding environment; area determining means for determining a portion including the authentication object as an area for each of the plurality of authentication objects; state determining means for determining the state of the image in each of the plurality of regions; a ranking determining means for determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, control parameters of the own device are set for each area so that each of the states of the images in the plurality of areas is optimal for authenticating the authentication object in the area.
  • a control means for controlling the shooting of the image Equipped with
  • a camera control device includes: a detection means for detecting faces of multiple people from images taken of the surrounding environment; grouping means for grouping the faces of the plurality of persons to generate a plurality of face groups based on the size of the faces of the persons; state determining means for individually determining the state of the images of the plurality of face groups; a ranking determining unit that determines the order of the plurality of face groups when photographing the face of the person based on the respective determination results; According to the order, the control parameters of the own device are set such that each of the states of the images of the faces of the plurality of persons in the plurality of face groups becomes the optimum state for each face group to authenticate the face of the person. a control unit that uniformly sets for each face group and controls to photograph the face of the person in the face group; Equipped with
  • the control method includes: Detecting multiple authentication targets from images taken of the surrounding environment, determining a portion including the authentication object as an area for each of the plurality of authentication objects; determining the state of the image in each of the plurality of regions; determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, the control parameters of the camera control device are set for each region so that each of the states of the images in the plurality of regions is optimal for authenticating the authentication target in the region, and the authentication is performed. controlling the object to be photographed; Equipped with
  • a non-transitory computer-readable medium includes: Detecting multiple authentication targets from images taken of the surrounding environment, determining a portion including the authentication object as an area for each of the plurality of authentication objects; determining the state of the image in each of the plurality of regions; determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, the control parameters of the camera control device are set for each region so that each of the states of the images in the plurality of regions is optimal for authenticating the authentication target in the region, and the authentication is performed. controlling the object to be photographed; A program that causes a computer to execute is stored.
  • a camera control device capable of sequentially photographing multiple authentication targets efficiently and in a short time even when multiple authentication targets are detected. can be provided.
  • FIG. 1 is a block diagram illustrating a camera control device according to Embodiment 1.
  • FIG. 3 is a schematic diagram illustrating an image photographed by the photographing means according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating a camera control device according to a second embodiment.
  • 7 is a flowchart illustrating the operation of the camera control device according to Embodiment 2.
  • FIG. 7 is a flowchart illustrating the operation of the camera control device according to Embodiment 2.
  • FIG. 7 is a flowchart illustrating the operation of the camera control device according to Embodiment 2.
  • FIG. 7 is a flowchart illustrating the operation of the camera control device according to Embodiment 2.
  • FIG. 3 is a block diagram illustrating a camera control device according to a third embodiment.
  • FIG. 12 is a schematic diagram illustrating a state of grouping according to Embodiment 3;
  • FIG. 1 is a block diagram illustrating a camera control device according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating an image photographed by the photographing means according to the first embodiment.
  • the camera control device 11 includes a detection means 111, an area determination means 112, a state determination means 113, a ranking determination means 114, a control means 115, a photographing means 116, and a storage means 117. Equipped with.
  • the detection means 111 detects a plurality of authentication targets from images taken of the surrounding environment.
  • four authentication targets are taken as an example, but the present invention is not limited to this.
  • the number of authentication targets may be other than four.
  • the area determining means 112 determines, for each of a plurality of authentication objects, a portion including the authentication object as an area.
  • the state determining means 113 determines the state of the image in each of the plurality of regions.
  • the state of the image is, for example, at least one of an average value of brightness values, a variance of brightness values, a standard deviation of brightness values, and a histogram of brightness values of the image.
  • the state determining means 113 determines the size of a person's face based on the state (average value of brightness values, variance of brightness values, standard deviation of brightness values, and histogram of brightness values) of images of a plurality of regions. judge.
  • the order determining means 114 determines the order (priority order) of photographing the plurality of authentication targets based on the respective determination results. For example, the ranking determining means 114 determines the order in which the faces of a plurality of people are photographed in descending order of the size of the faces of the people based on the determined size of the faces of the people.
  • the control means 115 controls the control parameters of the camera control device 11 for each region in accordance with the determined order so that each of the image states of the plurality of regions is optimal for authenticating the authentication target within the region. Set and control to shoot the authentication target.
  • the control parameter of the camera control device 11 is, for example, at least one of exposure time, sensitivity, and contrast.
  • Exposure refers to the amount of light that is let in when an image is taken.
  • Sensitivity is an index of how much light entering the photographing means 116 is amplified within the photographing means 116, and is sometimes referred to as gain.
  • Contrast refers to the difference in brightness between bright and dark parts of an image. A large difference is sometimes expressed as high contrast. The higher the contrast, the brighter the bright areas, the darker the dark areas, and the stronger the color of the image.
  • the control means 115 can change the state of the image by setting control parameters. By appropriately setting control parameters, the control means 115 can bring the image into an optimal state for authenticating the authentication target.
  • the camera control device 11 controls the control means 115 to appropriately set the exposure time, sensitivity, and contrast, so that the average value of the brightness values, the variance of the brightness values, the standard deviation of the brightness values, and the brightness values of the image can be determined by appropriately setting the exposure time, sensitivity, and contrast.
  • the histogram of can be set to the optimal value for authenticating the authentication target.
  • the control means 115 may obtain in advance control parameters that provide an optimal state for authenticating the authentication targets within the area.
  • the storage unit 117 stores control parameters that provide an optimal state for authenticating the authentication target within the area.
  • the photographing means 116 photographs the surrounding environment.
  • the storage unit 117 stores images of the surrounding environment.
  • the control means 115 sets control parameters so that the state of one image among the plurality of regions is optimal for authenticating the state of the image in the first frame that is the first imaging period (imaging time),
  • the photographing means 116 is controlled to photograph the authentication target.
  • the photographing means 116 photographs the authentication target under the control of the control means 115 in the first frame.
  • the control means 115 sets control parameters so that the state of another one of the plurality of regions is optimal for authentication in the second frame after the first frame, and
  • the photographing means 116 is controlled to photograph the object.
  • the photographing means 116 photographs the authentication target under the control of the control means 115 in the second frame. In this way, the camera control device 11 sets control parameters on a frame-by-frame basis and photographs the authentication target.
  • the camera control device 11 determines the region from the image state of a plurality of regions (for example, the average value of the brightness values, the variance of the brightness values, the standard deviation of the brightness values, and the histogram of the brightness values).
  • the size of each person's face in each image is determined.
  • the camera control device 11 determines the order in which the faces of the plurality of people are photographed in descending order of the size of the person's face. According to the determined order, the camera control device 11 sets control parameters for each area so that each of the image states of the plurality of areas is optimal for authenticating the authentication object within the area. Take a photo.
  • images of each of a plurality of authentication targets can be sequentially photographed in an optimal state for authentication without having to worry about which recognition target to focus on and photograph.
  • a camera control device even when multiple authentication targets are detected, a camera control device, a control method, and a non-temporary A computer-readable medium can be provided.
  • the camera control device 11 may limit recognition targets to objects existing in the surroundings. Furthermore, the camera control device 11 may limit the recognition target to a person's face or the person's whole body.
  • FIG. 3 is a block diagram illustrating a camera control device according to the second embodiment.
  • FIG. 3 shows a case where a camera control device is mounted on a vehicle and the authentication target is limited to a person's face.
  • the area determination means 112 and the storage means 117 are omitted for simplicity.
  • the "detection means" was changed to "face detection means.”
  • Embodiment 2 differs from Embodiment 1 in that the authentication target is limited to "person's face". Therefore, the region determining means 112 determines a portion including the person's face as a region from an image of the surrounding environment.
  • Embodiment 2 is mainly used when multiple faces are detected in an image (video) when the control parameters of a camera (photographing means) are automatically controlled so that an image suitable for face recognition can be taken. This is to solve the problem of not knowing which face to focus on when controlling the camera.
  • the face detection means 111 of the camera control device 11 detects the faces of a plurality of people from images taken of the surrounding environment.
  • the region determining means 112 determines, for each of the faces of a plurality of persons, a portion including the person's face as a region.
  • the state determining means 113 determines the state of the image in each of the plurality of regions. Specifically, the state determining means 113 determines the size of the person's face within the region, that is, the size of the person's face in determining the state of the images of the plurality of regions. Further, the state determining means 113 determines the brightness state of the face of the detected person. Further, the status determining unit 113 may determine the authentication result of the person authentication process as the authentication status.
  • the order determining means 114 determines the order in which the faces of the plurality of people are photographed based on the determination results determined by the state determining means 113 respectively. Specifically, when the state determining unit 113 determines the size of the person's face, the ranking determining unit 114 sets the order of photographing in descending order of the size of the person's face.
  • the control means 115 controls the camera control device 11 in accordance with the order determined by the ranking determination means 114 so that each of the image states of the plurality of regions is in an optimal state for facial recognition of the face of a person within the region. Parameters are set for each area to control the photographing of a person's face. That is, the control means 115 determines which person's face the control parameters of the photographing means 116 should be controlled based on the determination result of the state determination means 113.
  • the control means 115 controls the photographing means 116 (for example, a camera) so that the person's face can be optimally photographed.
  • the ranking determining means 114 prioritizes the subject to be photographed based on the condition of the subject (in the case of a person's face, the size, direction, and brightness of the face), and the control means 115 determines that the subject to be photographed is the most recognizable.
  • the photographing means 116 is controlled by control parameters so as to be in a state where it is easy to be captured.
  • the face detection means 111 detects a person's face
  • the order determination means 114 determines the order (priority order) of photographing the person's face
  • the control means 115 The control parameters are controlled frame by frame according to the order, and the photographing means 116 photographs the person's face in each frame.
  • Examples 1 to 6 of the ranking determination method of the ranking determining means 114 are shown below. However, the ranking determination method is not limited to this.
  • the ranking determining means 114 determines the order in which the faces of a plurality of people are photographed in descending order of the size of the faces. "The size of the face is large” is considered to be equivalent to "the distance from the photographing means 116, for example, the camera is short". Therefore, "order of face size” can be used instead of “order of distance from the camera”. Even if the distance to the face is not measured using a distance measurement sensor or the like, by using "order of face size", it can be used instead of "order of distance from camera”.
  • the ranking determining means 114 determines the order in which the faces of a plurality of people are photographed in the order in which the face direction is closest to the front. "My face is close to the front” is considered to be equivalent to "I am about to board the vehicle” from the camera installed on the driver's seat side of the vehicle. Therefore, in some cases, "the order in which the face direction is closest to the front” can be used instead of "the order in which the person is about to board the vehicle.”
  • the control means 115 performs authentication processing on the person in advance, according to the order, before setting the control parameters for each area. Furthermore, the ranking determining means 114 obtains the authentication score of the person as a result of the authentication processing performed in advance. The ranking determining means 114 determines the order in which faces of a plurality of people are photographed in descending order of authentication scores. A user with a "high authentication score" is likely to be a "legitimate user.” Therefore, by determining the authentication score in descending order of the authentication score, it is possible to perform face authentication on a larger number of legitimate users.
  • the ranking determining means 114 may advance the order in which the unauthenticated person is photographed by a predetermined number of times.
  • the order determining unit 114 determines the order in which faces of a plurality of people are photographed in order of brightness that is closest to suitable for face authentication. If the brightness of the face is already suitable for face authentication, the ranking determining means 114 does not need to control the brightness of the face, and may exclude that face from the control target. Thereby, the control time can be shortened, and the entire authentication time can be shortened.
  • a ranking determining means 114 advances the order of photographing the face photographed with the camera installed on the driver's seat side by a predetermined number.
  • the camera installed on the driver's seat side of the vehicle is the camera most likely to be approached by a person attempting to board the vehicle. Therefore, by giving priority to authenticating the face detected by the camera provided on the driver's seat side of the vehicle, the face of the person can be authenticated before the person boards the vehicle.
  • the ranking determining means 114 determines the order in which the faces of the plurality of persons are photographed in the order in which the distance between the smart key of the vehicle owned by the persons and (the camera control device 11) is shortest. This is ranking based on the location of the smart key.
  • FIG. 4 is a flowchart illustrating the operation of the camera control device according to the second embodiment.
  • FIG. 4 shows the operation of determining the priority order (the order of photographing) based on the size of the face in the case of no authentication processing.
  • the face detection means 111 acquires an image from the vehicle-mounted camera (photographing means 116) (step S101).
  • the face detection means 111 detects the faces of multiple people from the acquired image (step S102).
  • the control means 115 checks whether there is a face of a person whose camera is not controlled (step S103). That is, the control means 115 checks whether there is an on-vehicle camera for which control parameters for controlling the camera have not been set or input.
  • step S103 If there is no face of a person whose camera is not controlled (step S103: No), the control means 115 ends the operation.
  • control means 115 checks whether there is a face that has already been controlled by the camera (step S104).
  • step S104 If there is a face that has already been controlled by the camera (step S104: Yes), the control means 115 excludes the face of the person who has already been controlled by the camera from the candidates for control (step S105), and proceeds to step S107.
  • control means 115 determines all the detected human faces as control target candidates (step S106), and proceeds to step S107.
  • the state determining means 113 calculates the size of the face of a person who is a candidate for control (step S107). That is, the state determining means 113 calculates the state of the image of the face of a person who is a candidate for control in each of the plurality of areas, in this case the size of the face of the person, and determines the size.
  • the control means 115 performs camera control on the face of the largest person (step S108), and proceeds to step S101.
  • camera control refers to setting control parameters so that each of the image states of multiple areas is in the optimal state for facial recognition of the face of a person within the area. It means to control.
  • FIG. 5 is a flowchart illustrating the operation of the camera control device according to the second embodiment.
  • FIG. 5 shows the operation of determining the priority order based on the size of the face in the case of authentication processing.
  • the face detection means 111 acquires an image from the in-vehicle camera (photographing means 116) (step S101).
  • the face detection means 111 detects the faces of multiple people from the acquired image and executes authentication processing (step S202).
  • the control means 115 checks whether face authentication is successful (step S203).
  • step S203 If the face authentication is successful (step S203: Yes), the control means 115 ends the operation.
  • step S104 If face authentication has not been successful (step S103: No), the control means 115 checks whether there is a face that has already been controlled by the camera (step S104).
  • step S105 to step 108 are the same as the operations shown in FIG. 4, so a description thereof will be omitted.
  • FIG. 6 is a flowchart illustrating the operation of the camera control device according to the second embodiment.
  • FIG. 6 shows the operation of determining priority based on the authentication score in the case of authentication processing.
  • step S101, step S202, step S203, and step S104 are the same as the operations shown in FIG. 5, so the explanation will be omitted.
  • step S104 If there is a face of a person who has already been controlled by the camera (step S104: Yes), the control means 115 excludes the face of the person who has already been controlled by the camera from the control target (step S305).
  • the operation in step S305 is to exclude a person whose face has not been successfully authenticated (see step S203) from being controlled, since there is a possibility that the person is not a legitimate person.
  • control means 115 determines the faces of all the people who have undergone authentication processing as candidates for control (step S306).
  • the ranking determining means 114 obtains the authentication scores and determines the order in which the faces of the persons are photographed based on the one with the highest authentication score.
  • the control means 115 performs camera control on the face of the person with the highest authentication score (step S307).
  • step S307 the process returns to step S101.
  • FIG. 7 is a block diagram illustrating a camera control device according to the third embodiment.
  • FIG. 8 is a schematic diagram illustrating the state of grouping according to the third embodiment.
  • the camera control device 31 As shown in FIGS. 7 and 8, compared to the first embodiment, the camera control device 31 according to the third embodiment groups faces of a plurality of people based on the size of the faces of the people.
  • the present invention further includes grouping means 118 for generating face groups. Note that grouping based on the size of a person's face is one example, and is not limited to this. Further, Embodiment 3 will be described using a person's face as an example of the authentication target.
  • the camera control device 31 has the same configuration as the first embodiment except for the grouping means 118.
  • the grouping means 118 defines, for example, a plurality of people whose faces are of the same size and whose faces face forward as a first face group. Further, the grouping means 118 defines, for example, a plurality of people whose faces are of the same size and whose faces are facing in a direction different from the front by a predetermined angle as a second face group. .
  • two groups, the first face group and the second face group are taken as an example, but the present invention is not limited to this.
  • Embodiment 3 can also be applied to cases where the number of face groups is other than two.
  • the detection means 111 detects the faces of multiple people from images taken of the surrounding environment.
  • the state determining means 113 determines the state of each of the images of a plurality of face groups.
  • the ranking determining means 114 determines the order of the plurality of face groups when photographing a person's face based on the respective determination results. When photographing a person's face, the ranking determining means 114 determines the order of the person's face in descending order of size for each group.
  • the control means 115 controls the camera control device 31 in accordance with the order so that each of the states of the face images of the plurality of persons in the plurality of face groups becomes the optimum state for face recognition of the person's face for each face group.
  • the control parameters are set uniformly and the faces of the people in the face group are controlled to be photographed.
  • the control means 115 can determine subjects for each group by dividing the detected human faces into groups based on their states. Therefore, camera control can be performed simultaneously on the faces of multiple people.
  • the camera control device 31 can efficiently capture images suitable for authentication by controlling the cameras on a group-by-group basis. Thereby, authentication time can be shortened.
  • the camera control device 31 may remove the person from the control target and not perform camera control. Further, the camera control device 31 may remove the person from the subject to be controlled and not perform camera control if the person's face is facing in a different direction from the front at a predetermined angle or more.
  • the control parameters of the photographing means may be controlled using the information of the entire image. Further, when a new person is detected, the information may be switched to use the information of that person again.
  • the number of times the face has been rejected is counted, and if the number of times that the face has been rejected exceeds a predetermined number of times threshold, the face of the person is subject to control by control parameters, and , may be excluded from authentication targets.
  • the present disclosure has been described as a hardware configuration, but the present disclosure is not limited to this.
  • the present disclosure can also realize the processing of each component by having a CPU (Central Processing Unit) execute a computer program.
  • CPU Central Processing Unit
  • Non-transitory computer-readable media includes various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (specifically flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (specifically magneto-optical disks), and CD-ROMs (Read Only Memory ), CD-R, CD-R/W, semiconductor memory (specifically, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM)), flash ROM, and RAM (Random Access Memory).
  • the program may also be supplied to the computer via various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
  • a detection means for detecting multiple authentication targets from images taken of the surrounding environment; area determining means for determining a portion including the authentication object as an area for each of the plurality of authentication objects; state determining means for determining the state of the image in each of the plurality of regions; a ranking determining means for determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, control parameters of the own device are set for each area so that each of the states of the images in the plurality of areas is optimal for authenticating the authentication object in the area.
  • a camera control device comprising: (Additional note 2)
  • the control means obtains in advance the control parameters that will be in an optimal state for authenticating the authentication target in the area.
  • the camera control device according to supplementary note 1.
  • the state of the image includes at least one of an average value of the brightness values of the image, a variance of the brightness values, a standard deviation of the brightness values, and a histogram of the brightness values.
  • the camera control device according to supplementary note 1 or 2.
  • the control parameter includes at least one of exposure time, sensitivity, and contrast.
  • the camera control device according to any one of Supplementary Notes 1 to 3.
  • the control means includes: In a first frame, the control parameters are set so that the state of the image in one of the plurality of regions is optimal for authenticating the state, and in a second frame after the first frame, setting the control parameters to be in an optimal state for authenticating the state of another one of the regions of the image;
  • the camera control device according to any one of Supplementary Notes 1 to 4.
  • (Appendix 6) further comprising an imaging means for photographing the surrounding environment;
  • (Appendix 7) further comprising a storage means for storing the image taken of the surrounding environment;
  • the camera control device according to any one of Supplementary Notes 1 to 6.
  • the order determining means determines the order in which the faces of the plurality of people are photographed in descending order of the size of the faces.
  • the camera control device according to appendix 8. (Appendix 10) The order determining means determines the order in which the faces of the plurality of persons are photographed in order of the direction of the face being closest to the front.
  • the control means performs an authentication process on the person according to the order, before setting the control parameters for each area,
  • the ranking determining means is Obtaining an authentication score as a result of the authentication process, Instead of determining the order in which faces of the plurality of persons are photographed based on the determination result, determining the order in which faces of the plurality of persons are photographed in descending order of the authentication scores;
  • the camera control device according to appendix 8.
  • the ranking determining means advances the order of photographing the unauthenticated person by a predetermined number if there is an unauthenticated person for whom the authentication process has not been performed.
  • the camera control device according to appendix 11.
  • the order determining means determines the order in which faces of the plurality of persons are photographed in order of brightness that is closest to suitable for face authentication.
  • the camera control device according to appendix 8. (Appendix 14) When a face is photographed by a camera installed on the driver's seat side of the vehicle, the ranking determining means Instead of determining the order in which faces of the plurality of persons are photographed based on the determination result, Advancing the order of photographing the face photographed by the camera provided on the driver's seat side by a predetermined number; The camera control device according to appendix 8.
  • the ranking determining means is Instead of determining the order in which faces of the plurality of persons are photographed based on the determination result, determining the order in which the faces of the plurality of persons are photographed in the order in which the distance between the smart key of the vehicle owned by the person and the own device is short;
  • the camera control device according to appendix 8.
  • (Appendix 16) a detection means for detecting faces of multiple people from images taken of the surrounding environment; grouping means for grouping the faces of the plurality of persons to generate a plurality of face groups based on the size of the faces of the persons; state determining means for individually determining the state of the images of the plurality of face groups; a ranking determining unit that determines the order of the plurality of face groups when photographing the face of the person based on the respective determination results; According to the order, the control parameters of the own device are set such that each of the states of the images of the faces of the plurality of persons in the plurality of face groups becomes the optimum state for each face group to authenticate the face of the person.
  • a camera control device comprising: (Appendix 17) Detecting multiple authentication targets from images taken of the surrounding environment, determining a portion including the authentication object as an area for each of the plurality of authentication objects; determining the state of the image in each of the plurality of regions; determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, the control parameters of the camera control device are set for each region so that each of the states of the images in the plurality of regions is optimal for authenticating the authentication target in the region, and the authentication is performed.
  • a control method comprising: (Appendix 18) Detecting multiple authentication targets from images taken of the surrounding environment, determining a portion including the authentication object as an area for each of the plurality of authentication objects; determining the state of the image in each of the plurality of regions; determining the order in which the plurality of authentication targets are photographed based on the respective determination results; According to the order, the control parameters of the camera control device are set for each of the areas so that each of the states of the images in the plurality of areas is optimal for authenticating the authentication target in the area, and the authentication is performed. controlling the object to be photographed; A non-transitory computer-readable medium that stores a program that causes a computer to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本開示は、複数の認証対象を検出した場合でも、効率よく短時間で複数の認証対象を順番に撮影することが可能なカメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体を提供することを目的とする。本開示に係るカメラ制御装置（１１）は、周囲の環境を撮影した画像から複数の認証対象を検出する検出手段（１１１）と、複数の認証対象ごとに認証対象を含む部分を領域として決定する領域決定手段（１１２）と、複数の領域の画像の状態をそれぞれに判定する状態判定手段（１１３）と、それぞれに判定した判定結果に基づいて、複数の認証対象を撮影する順番を決定する順位決定手段（１１４）と、順番に従い、複数の領域の画像の状態のそれぞれが領域内の認証対象を認証するのに最適な状態となるようにカメラ制御装置（１１）の制御パラメータを領域ごとに設定し認証対象を撮影するように制御する制御手段（１１５）と、を備える。

Description

カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体
　本開示は、カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体に関するものであり、特に、複数の認証対象を検出した場合でも、効率よく短時間で複数の認証対象を順番に撮影することが可能なカメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体に関する。
　カメラ等により撮影された画像の中から、複数の認証対象を検出し、それぞれの認証対象に係る画像の状態に基づいて、撮影画像の画質の状態を制御する技術が知られている。
　特許文献１には、ネットワークを介して、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、確率が第１の閾値より上である場合は、画像に対して所定の撮影対象物を示す情報を付与し、確率が第２の閾値より下である場合は、画像に対して前記所定の撮影対象物を示す情報を付与せず、確率が前記第２の閾値以上でありかつ第１の閾値以下である場合は、画像と、画像への情報付与を受付けるための依頼受付情報と、を１以上の端末のいずれかにネットワークを介して送信することが開示されている。
　特許文献２には、複数の被写体の顔画像に係る顔画像データを登録する個人顔ＤＢと、被写体を撮像して画像データを生成する撮像部と、生成された画像データから顔画像を検出するとともに、検出された顔画像と個人顔ＤＢに登録された顔画像情報を比較照合する顔検出部と、照合された顔画像の数に応じて、撮像部による被写体の撮像に関連する撮像関連処理を実行する実行処理部とを備える撮像装置が開示されている。
　特許文献３には、写真撮影時に、カメラの位置、レンズ方向、焦点距離、画角、絞り値を取得し、これらの値からピント面と被写界深度からなる撮影空間を計算し、地図上の位置と照らし合わせることによって被写体を認識し、撮影中心からの距離、及びカメラ位置の計測誤差、レンズ方向の計測誤差を計測することによって複数存在する撮影対象間の順位付けを行ない、この後で撮影者が認識結果を削除、編集することによって被写体認識を実用的に行なうことが開示されている。
特開２０１７－０４９９７７号公報 特開２０１４－０４２２５０号公報 特開２００４－３２８０７７号公報
　カメラ制御装置の制御パラメータを自動で制御し、認証対象を認証するのに適した状態にして画像を撮影し、画像（映像）中に複数の認証対象が検出された場合、どの認証対象に着目してカメラを制御すべきかが分からなくなるという課題があった。
　本開示の目的は、上述した課題を解決するカメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体を提供することにある。
　本開示に係るカメラ制御装置は、
　周囲の環境を撮影した画像から複数の認証対象を検出する検出手段と、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定する領域決定手段と、
　複数の前記領域の前記画像の状態をそれぞれに判定する状態判定手段と、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定する順位決定手段と、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるように自装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御する制御手段と、
　を備える。
　本開示に係るカメラ制御装置は、
　周囲の環境を撮影した画像から複数の人物の顔を検出する検出手段と、
　前記人物の顔の大きさに基づいて、複数の前記人物の顔をグループ化して複数の顔グループを生成するグループ化手段と、
　複数の前記顔グループの前記画像の状態をそれぞれに判定する状態判定手段と、
　それぞれに前記判定した判定結果に基づいて、前記人物の顔を撮影する場合における複数の前記顔グループの順番を決定する順位決定手段と、
　前記順番に従い、複数の前記顔グループの複数の前記人物の顔の前記画像の状態のそれぞれが前記人物の顔を認証するのに前記顔グループごとに最適な状態となるように自装置の制御パラメータを前記顔グループごとに一律に設定し、前記顔グループの前記人物の顔を撮影するように制御する制御手段と、
　を備える。
　本開示に係る制御方法は、
　周囲の環境を撮影した画像から複数の認証対象を検出することと、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
　複数の前記領域の前記画像の状態をそれぞれに判定することと、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
　を備える。
　本開示に係る非一時的なコンピュータ可読媒体は、
　周囲の環境を撮影した画像から複数の認証対象を検出することと、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
　複数の前記領域の前記画像の状態をそれぞれに判定することと、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
　をコンピュータに実行させるプログラムが格納される。
　本開示によれば、複数の認証対象を検出した場合でも、効率よく短時間で複数の認証対象を順番に撮影することが可能なカメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体を提供することができる。
実施の形態１に係るカメラ制御装置を例示するブロック図である。 実施の形態１に係る撮影手段によって撮影した画像を例示ずる模式図である。 実施の形態２に係るカメラ制御装置を例示するブロック図である。 実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。 実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。 実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。 実施の形態３に係るカメラ制御装置を例示するブロック図である。 実施の形態３に係るグループ化の様子を例示ずる模式図である。
　以下、図面を参照して本開示の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。
　［実施の形態１］
　＜構成＞
　図１は、実施の形態１に係るカメラ制御装置を例示するブロック図である。
　図２は、実施の形態１に係る撮影手段によって撮影した画像を例示ずる模式図である。
　図１に示すように、実施の形態１に係るカメラ制御装置１１は、検出手段１１１と領域決定手段１１２と状態判定手段１１３と順位決定手段１１４と制御手段１１５と撮影手段１１６と保存手段１１７とを備える。
　図２に示すように、検出手段１１１は、周囲の環境を撮影した画像から複数の認証対象を検出する。図２では、４つの認証対象を例に挙げたが、これには限定されない。実施の形態１では、認証対象を４つ以外としてもよい。
　領域決定手段１１２は、複数の認証対象ごとに認証対象を含む部分を領域として決定する。
　状態判定手段１１３は、複数の領域の画像の状態をそれぞれに判定する。画像の状態は、例えば、画像の輝度値の平均値、輝度値の分散、輝度値の標準偏差、および輝度値のヒストグラムのうちの少なくとも１つである。例えば、状態判定手段１１３は、複数の領域の画像を状態（画像の輝度値の平均値、輝度値の分散、輝度値の標準偏差、および輝度値のヒストグラム）から、人物の顔の大きさを判定する。
　順位決定手段１１４は、それぞれに判定した判定結果に基づいて、複数の認証対象を撮影する順番（優先順位）を決定する。例えば、順位決定手段１１４は、判定された人物の顔の大きさに基づき、複数の人物の顔を撮影する順番を人物の顔の大きい順に決定する。
　制御手段１１５は、決定された順番に従い、複数の領域の画像の状態のそれぞれが領域内の認証対象を認証するのに最適な状態となるように、カメラ制御装置１１の制御パラメータを領域ごとに設定し認証対象を撮影するように制御する。
　カメラ制御装置１１の制御パラメータは、例えば、露光時間、感度、およびコントラストのうちの少なくとも１つである。露光（露出）とは、画像を撮影するときに取り込まれる光の量をいう。感度とは、撮影手段１１６に入ってきた光を、撮影手段１１６内でどのくらい増幅させるかの指標であり、ゲインと称することもある。コントラストとは、画像の明るい部分と暗い部分との明度の差をいう。この差が大きいことを、コントラストが高いと表現することもある。コントラストを高くすればするほど、明るい部分はより明るく、暗い部分はより暗くなり、画像の色彩感が強くなる。
　制御手段１１５は、制御パラメータを設定することにより、画像の状態を変化させることができる。制御手段１１５は、制御パラメータを適切に設定することにより、画像の状態を、認証対象を認証するのに最適な状態にすることができる。カメラ制御装置１１は、制御手段１１５により、例えば、露光時間、感度、およびコントラストを適切に設定することで、画像の輝度値の平均値、輝度値の分散、輝度値の標準偏差、および輝度値のヒストグラムを、認証対象を認証するのに最適な値にすることができる。
　制御手段１１５は、領域内の認証対象を認証するのに最適な状態となる制御パラメータを予め取得してもよい。保存手段１１７は、領域内の認証対象を認証するのに最適な状態となる制御パラメータを保存する。
　撮影手段１１６は、周囲の環境を撮影する。保存手段１１７は、周囲の環境を撮影した画像を保存する。
　制御手段１１５は、第１の撮影期間（撮影時間）である第１フレームにおいて、複数の領域のうちの１つの画像の状態を認証するのに最適な状態となるように制御パラメータを設定し、認証対象を撮影するように撮影手段１１６を制御する。撮影手段１１６は、第１フレームにおいて、制御手段１１５の制御により認証対象を撮影する。また、制御手段１１５は、第１フレームの後の第２フレームにおいて、複数の領域のうちの別の１つの画像の状態を認証するのに最適な状態となるように制御パラメータを設定し、認証対象を撮影するように撮影手段１１６を制御する。撮影手段１１６は、第２フレームにおいて、制御手段１１５の制御により認証対象を撮影する。このようにして、カメラ制御装置１１は、フレーム単位で制御パラメータを設定して認証対象を撮影する。
　＜効果＞
　実施の形態１に係るカメラ制御装置１１は、複数の領域の画像の状態（例えば、画像の輝度値の平均値、輝度値の分散、輝度値の標準偏差、および輝度値のヒストグラム）から、領域の画像内の人物の顔の大きさをそれぞれに判定する。カメラ制御装置１１は、判定結果に基づいて、例えば、判定された人物の顔の大きさに基づいて、複数の人物の顔を撮影する順番を人物の顔の大きい順として決定する。カメラ制御装置１１は、決定された順番に従い、複数の領域の画像の状態のそれぞれが領域内の認証対象を認証するのに最適な状態となるように制御パラメータを領域ごとに設定し認証対象を撮影する。これにより、実施の形態１によれば、認証に最適な状態で複数の認証対象のそれぞれの画像を、どの認識対象に着目して撮影すべきか迷うことなく、順番に撮影することができる。
　その結果、実施の形態１によれば、複数の認証対象を検出した場合でも、効率よく短時間で複数の認証対象を順番に撮影することが可能なカメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体を提供することができる。
　なお、カメラ制御装置１１は、認識対象を周囲に存在する物体に限定してもよい。また、カメラ制御装置１１は、認識対象を人物の顔または人物の全身に限定してもよい。
　［実施の形態２］
　＜構成＞
　図３は、実施の形態２に係るカメラ制御装置を例示するブロック図である。
　図３は、カメラ制御装置を車両に搭載し、認証対象を人物の顔に限定した場合を示す。
　図３では、領域決定手段１１２と保存手段１１７を簡単のため省略した。また、認証対象を人物の顔に限定するため、「検出手段」を「顔検出手段」とした。
　実施の形態２は、実施の形態１と比べて、認証対象を「人物の顔」に限定する点が異なる。よって、領域決定手段１１２は、周囲の環境を撮影した画像から人物の顔を含む部分を領域として決定する。
　実施の形態２は、主に、顔認証に適した画像が撮影できるようにカメラ（撮影手段）の制御パラメータを自動で制御する場合において、画像（映像）中に複数の顔が検出された場合、どの顔に着目してカメラを制御すべきかが分からないという課題を解決するためのものである。
　図３に示すように、カメラ制御装置１１の顔検出手段１１１は、周囲の環境を撮影した画像から複数の人物の顔を検出する。
　領域決定手段１１２は（図３では省略している）、複数の人物の顔ごとに人物の顔を含む部分を領域として決定する。
　状態判定手段１１３は、複数の領域の画像の状態をそれぞれに判定する。具体的には、状態判定手段１１３は、複数の領域の画像の状態の判定について、領域内の人物の顔の大きさ、すなわち、人物の顔の大小を判定する。また、状態判定手段１１３は、検出された人物の顔の明るさの状態を判定する。また、状態判定手段１１３は、人物の認証処理の認証結果を認証の状態として判定してもよい。
　順位決定手段１１４は、状態判定手段１１３がそれぞれに判定した判定結果に基づいて、複数の人物の顔を撮影する順番を決定する。具体的には、順位決定手段１１４は、状態判定手段１１３が人物の顔の大小を判定した場合、撮影する順番を人物の顔の大きい順とする。
　制御手段１１５は、順位決定手段１１４が決定した順番に従い、複数の領域の画像の状態のそれぞれが領域内の人物の顔を顔認証するのに最適な状態となるようにカメラ制御装置１１の制御パラメータを領域ごとに設定し人物の顔を撮影するように制御する。すなわち、制御手段１１５は、状態判定手段１１３の判定結果に基づいて、どの人物の顔に合わせて撮影手段１１６の制御パラメータを制御するかを決定する。制御手段１１５は、人物の顔が最適に撮影できるように撮影手段１１６（例えばカメラ）を制御する。
　また、順位決定手段１１４は、被写体の状態（人物の顔であれば顔の大きさや向きや明るさ）に基づいて、撮影対象の優先順位付けを行い、制御手段１１５は、撮影対象が最も認識されやすい状態になるよう撮影手段１１６を制御パラメータによって制御する。
　以上説明した内容をまとまると、カメラ制御装置１１では、顔検出手段１１１が人物の顔を検出し、順位決定手段１１４が人物の顔を撮影する順番（優先順位）を決定し、制御手段１１５がその順番に従ってフレーム単位で制御パラメータを制御し、撮影手段１１６が該フレーム単位で人物の顔を撮影する。
　ここで、順位決定手段１１４の順位決定方法について、例１から例６を以下に示す。ただし、順位決定方法は、これには限定されない。
　（例１）
　順位決定手段１１４は、複数の人物の顔を撮影する順番を顔の大きい順に決定する。「顔の大きさが大きい」は、「撮影手段１１６、例えば、カメラからの距離が近い」と等価であると考えられる。よって、「顔の大きい順」は、「カメラからの距離が近い順」の代わりに使用することができる。距離計測センサ等を使用して顔までの距離を測定してなくても、「顔の大きい順」を使用することにより、「カメラからの距離が近い順」の代わりとすることができる。
　（例２）
　順位決定手段１１４は、複数の人物の顔を撮影する順番を顔の向きが正面に近い順に決定する。「顔の向きが正面に近い」は、車両の運転席側に設けられたカメラからは、「車両に搭乗しようとしている」と等価であると考えられる。よって、場合よっては、「顔の向きが正面に近い順」は、「車両に搭乗しようとしている順」の代わりに使用することができる。
　（例３）
　制御手段１１５は、順番に従い、制御パラメータを領域ごとに設定する前に、人物に対して予め認証処理を行う。また、順位決定手段１１４は、予め行った認証処理の結果、人物の認証スコアを取得する。順位決定手段１１４は、複数の人物の顔を撮影する順番を認証スコアの高い順に決定する。「認証スコアの高い」は、「正当な利用者である」可能性が高い。よって、認証スコアの高い順に決定することにより、より多くの正当な利用者に対して顔認証をすることができる。
　なお、順位決定手段１１４は、人物に対して認証処理が行われていない未認証人物が存在した場合、未認証人物を撮影する順番を所定の数だけ早くしてもよい。
　（例４）
　順位決定手段１１４は、複数の人物の顔を撮影する順番を顔認証に適した明るさに近い順に決定する。順位決定手段１１４は、顔の明るさが既に顔認証に適した明るさとなっている場合、制御する必要がないので、その顔を制御対象から除外してもよい。これにより、制御時間を短縮させることができ、認証時間全体を短縮することができる。
　（例５）
　順位決定手段１１４は、車両の運転席側に設けられたカメラで顔が撮影された場合、運転席側に設けられたカメラで撮影された顔を撮影する順番を所定の数だけ早くする。車両の運転席側に設けられたカメラは、車両に搭乗しようとする人物が最も近づくと思われるカメラである。よって、車両の運転席側に設けられたカメラで検出された顔を優先して認証することにより、人物が車両に搭乗する前に、該人物の顔を認証することができる。
　（例６）
　順位決定手段１１４は、複数の人物の顔を撮影する順番を、人物が所有する車両のスマートキーと（カメラ制御装置１１と）の間の距離が近い順番に決定する。これは、スマートキーの位置による順位決めである。
　＜動作１＞
　図４は、実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。
　図４は、認証処理なしの場合において、顔の大きさに基づいて優先順位（撮影する順番）を決める動作を示す。
　図４に示すように、顔検出手段１１１は、車載カメラ（撮影手段１１６）から画像を取得する（ステップＳ１０１）。
　顔検出手段１１１は、取得した画像から、複数の人物の顔を検出する（ステップＳ１０２）。
　制御手段１１５は、カメラ制御がされていない人物の顔が有るかを確認する（ステップＳ１０３）。すなわち、制御手段１１５は、カメラを制御するための制御パラメータが設定されていない、または、入力されていない車載カメラが有るかを確認する。
　制御手段１１５は、カメラ制御がされていない人物の顔が無い場合（ステップＳ１０３：Ｎо）、動作を終了する。
　制御手段１１５は、カメラ制御がされていない人物の顔が有る場合（ステップＳ１０３：Ｙｅｓ）、既にカメラ制御済みの顔が有るかを確認する（ステップＳ１０４）。
　制御手段１１５は、既にカメラ制御済みの顔が有る場合（ステップＳ１０４：Ｙｅｓ）、カメラ制御済みの人物の顔を制御対象の候補から除外し（ステップＳ１０５）、ステップＳ１０７に進む。
　制御手段１１５は、既にカメラ制御済みの顔が無い場合（ステップＳ１０４：Ｎо）、検出された全ての人物の顔を制御対象の候補として決定し（ステップＳ１０６）、ステップＳ１０７に進む。
　状態判定手段１１３は、制御対象の候補とする人物の顔の大きさを計算する（ステップＳ１０７）。すなわち、状態判定手段１１３は、複数の領域のそれぞれの中の制御対象の候補とする人物の顔の画像の状態、ここでは、人物の顔の大きさを計算し、大小を判定する。
　制御手段１１５は、最も大きい人物の顔に対してカメラ制御を実施し（ステップＳ１０８）、ステップＳ１０１に進む。ここで、カメラ制御とは、複数の領域の画像の状態のそれぞれを、領域内の人物の顔を顔認証するのに最適な状態となるように制御パラメータを設定し人物の顔を撮影するように制御することをいう。
　＜動作２＞
　図５は、実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。
　図５は、認証処理ありの場合において、顔の大きさに基づいて優先順位を決める動作を示す。
　図５に示すように、顔検出手段１１１は、車載カメラ（撮影手段１１６）から画像を取得する（ステップＳ１０１）。
　顔検出手段１１１は、取得した画像から、複数の人物の顔を検出し、認証処理を実行する（ステップＳ２０２）。
　制御手段１１５は、顔認証に成功しているかを確認する（ステップＳ２０３）。
　制御手段１１５は、顔認証に成功している場合（ステップＳ２０３：Ｙｅｓ）、動作を終了する。
　制御手段１１５は、顔認証に成功していない場合（ステップＳ１０３：Ｎо）、既にカメラ制御済みの顔が有るかを確認する（ステップＳ１０４）。
　その後のステップＳ１０５からステップ１０８の動作は、図４に示す動作と同様であるので説明を省略する。
　＜動作３＞
　図６は、実施の形態２に係るカメラ制御装置の動作を例示するフローチャートである。
　図６は、認証処理ありの場合において、認証スコアに基づいて優先順位を決める動作を示す。
　ステップＳ１０１、ステップＳ２０２、ステップＳ２０３、およびステップＳ１０４の動作は、図５に示す動作と同様であるので説明を省略する。
　制御手段１１５は、既にカメラ制御済みの人物の顔が有る場合（ステップＳ１０４：Ｙｅｓ）、カメラ制御済みの人物の顔を制御対象から除外する（ステップＳ３０５）。ステップＳ３０５の動作は、顔認証に成功していない人物（ステップＳ２０３参照）は正当な人物でない可能性があるので、このような人物を制御対象から除外するものである。
　制御手段１１５は、既にカメラ制御済みの人物の顔が無い場合（ステップＳ１０４：Ｎо）、認証処理がされた全ての人物の顔を制御対象の候補として決定する（ステップＳ３０６）。
　ステップＳ３０５またはステップＳ３０６の後、順位決定手段１１４は、認証スコアを取得し、人物の顔を撮影する順番を認証スコアの最も高いものに決定する。制御手段１１５は、認証スコアが最も高い人物の顔に対してカメラ制御を実施する（ステップＳ３０７）。
　ステップＳ３０７の後は、ステップＳ１０１に戻る。
　［実施の形態３］
　＜構成＞
　図７は、実施の形態３に係るカメラ制御装置を例示するブロック図である。
　図８は、実施の形態３に係るグループ化の様子を例示ずる模式図である。
　図７及び図８に示すように、実施の形態３に係るカメラ制御装置３１は、実施の形態１と比べて、人物の顔の大きさに基づいて、複数の人物の顔をグループ化して複数の顔グループを生成するグループ化手段１１８をさらに備える点が異なる。なお、人物の顔の大きさに基づいてグループ化することは、１つの例であり、これには限定されない。また、実施の形態３は、認証対象として人物の顔を例に挙げて説明する。
　実施の形態３に係るカメラ制御装置３１は、グループ化手段１１８以外は、実施の形態１と同様な構成である。グループ化手段１１８は、例えば、人物の顔の大きさが同じくらい、かつ、人物の顔が正面を向いている複数の人物を第１顔グループとして定義する。また、グループ化手段１１８は、例えば、人物の顔の大きさが同じくらい、かつ、人物の顔が正面から所定の角度だけ別の方角を向いている複数の人物を第２顔グループとして定義する。図８では、第１顔グループと第２顔グループという２つのグループを例に挙げたが、これには限定されない。実施の形態３は、顔グループを２つ以外としても適用できる。
　図７に示すように、検出手段１１１は、周囲の環境を撮影した画像から複数の人物の顔を検出する。状態判定手段１１３は、複数の顔グループの画像の状態をそれぞれに判定する。
　順位決定手段１１４は、それぞれに判定した判定結果に基づいて、人物の顔を撮影する場合における複数の顔グループの順番を決定する。順位決定手段１１４は、人物の顔を撮影する場合、グループ単位で、人物の顔の大きい順に順番を決定する。
　制御手段１１５は、順番に従い、複数の顔グループの複数の人物の顔の画像の状態のそれぞれが人物の顔を顔認証するのに顔グループごとに最適な状態となるようにカメラ制御装置３１の制御パラメータを一律に設定し、顔グループの人物の顔を撮影するように制御する。制御手段１１５は、検出された人物の顔をその状態に基づいてグループ分けすることで被写体をグループ毎に決定できる。このため、複数の人物の顔に対して同時にカメラ制御を行うことができる。
　カメラ制御装置３１は、グループ単位でカメラ制御を行うことで、効率的に認証に適した画像を撮影することができる。これにより、認証時間を短縮することができる。
　なお、検出された複数の人物の顔の状態によっては、制御対象から除外する判断をしてもよい。具体的には、カメラ制御装置３１は、人物の顔の大きさが所定の大きさよりも小さい場合、制御対象から除隊し、カメラ制御を行わないようにしてもよい。また、カメラ制御装置３１は、人物の顔の向きが真正面から規定の角度以上、別の方向を向いている場合、制御対象から除隊し、カメラ制御を行わないようにしてもよい。
　また、人物に対する認証処理（受入／拒否両方含む）が完了した場合、画像全体の情報を使用して撮影手段（カメラ）の制御パラメータを制御してもよい。また、新たに人物が検出された場合、再度その人物の情報を使用するように切替えてもよい。
　また、認証処理の結果、拒否された人物の顔がある場合、その回数をカウントし、拒否された回数が所定の回数閾値を超えた場合、当該人物の顔を制御パラメータによる制御の対象、および、認証対象から除外してもよい。
　尚、上記の実施の形態では、本開示をハードウェアの構成として説明したが、本開示はこれに限定されるものではない。本開示は、各構成要素の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
　上記の実施の形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実態のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（具体的にはフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（具体的には光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（具体的には、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ(Erasable PROM)）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本開示を説明したが、本開示は上記によって限定されるものではない。本開示の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　尚、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　周囲の環境を撮影した画像から複数の認証対象を検出する検出手段と、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定する領域決定手段と、
　複数の前記領域の前記画像の状態をそれぞれに判定する状態判定手段と、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定する順位決定手段と、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるように自装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御する制御手段と、
　を備えるカメラ制御装置。
　（付記２）
　前記制御手段は、前記領域内の前記認証対象を認証するのに最適な状態となる前記制御パラメータを予め取得する、
　付記１に記載のカメラ制御装置。
　（付記３）
　前記画像の状態は、前記画像の輝度値の平均値、前記輝度値の分散、前記輝度値の標準偏差、および前記輝度値のヒストグラムのうちの少なくとも１つを含む、
　付記１または２に記載のカメラ制御装置。
　（付記４）
　前記制御パラメータは、露光時間、感度、およびコントラストのうちの少なくとも１つを含む、
　付記１から３のいずれか１つに記載のカメラ制御装置。
　（付記５）
　前記制御手段は、
　第１フレームにおいて、複数の前記領域のうちの１つの前記画像の状態を認証するのに最適な状態となるように前記制御パラメータを設定し、前記第１フレームの後の第２フレームにおいて、複数の前記領域のうちの別の１つの前記画像の状態を認証するのに最適な状態となるように前記制御パラメータを設定する、
　付記１から４のいずれか１つに記載のカメラ制御装置。
　（付記６）
　前記周囲の環境を撮影するための撮像手段をさらに備える、
　付記１から５のいずれか１つに記載のカメラ制御装置。
　（付記７）
　前記周囲の環境を撮影した前記画像を保存するための保存手段をさらに備える、
　付記１から６のいずれか１つに記載のカメラ制御装置。
　（付記８）
　前記認証対象を人物の顔に限定する、
　付記１から７のいずれか１つに記載のカメラ制御装置。
　（付記９）
　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔の大きい順に決定する、
　付記８に記載のカメラ制御装置。
　（付記１０）
　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔の向きが正面に近い順に決定する、
　付記８に記載のカメラ制御装置。
　（付記１１）
　前記制御手段は、前記順番に従い、前記制御パラメータを前記領域ごとに設定する前に、前記人物に対して認証処理を行い、
　前記順位決定手段は、
　前記認証処理の結果、認証スコアを取得し、
　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
　複数の前記人物の顔を撮影する前記順番を前記認証スコアの高い順に決定する、
　付記８に記載のカメラ制御装置。
　（付記１２）
　前記順位決定手段は、前記認証処理が行われていない未認証人物が存在した場合、前記未認証人物を撮影する前記順番を所定の数だけ早くする、
　付記１１に記載のカメラ制御装置。
　（付記１３）
　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔認証に適した明るさに近い順に決定する、
　付記８に記載のカメラ制御装置。
　（付記１４）
　前記順位決定手段は、車両の運転席側に設けられたカメラで顔が撮影された場合、
　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
　前記運転席側に設けられたカメラで撮影された顔を撮影する前記順番を所定の数だけ早くする、
　付記８に記載のカメラ制御装置。
　（付記１５）
　前記順位決定手段は、
　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
　複数の前記人物の顔を撮影する前記順番を、前記人物が所有する車両のスマートキーと自装置との間の距離が近い前記順番に決定する、
　付記８に記載のカメラ制御装置。
　（付記１６）
　周囲の環境を撮影した画像から複数の人物の顔を検出する検出手段と、
　前記人物の顔の大きさに基づいて、複数の前記人物の顔をグループ化して複数の顔グループを生成するグループ化手段と、
　複数の前記顔グループの前記画像の状態をそれぞれに判定する状態判定手段と、
　それぞれに前記判定した判定結果に基づいて、前記人物の顔を撮影する場合における複数の前記顔グループの順番を決定する順位決定手段と、
　前記順番に従い、複数の前記顔グループの複数の前記人物の顔の前記画像の状態のそれぞれが前記人物の顔を認証するのに前記顔グループごとに最適な状態となるように自装置の制御パラメータを前記顔グループごとに一律に設定し、前記顔グループの前記人物の顔を撮影するように制御する制御手段と、
　を備えるカメラ制御装置。
　（付記１７）
　周囲の環境を撮影した画像から複数の認証対象を検出することと、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
　複数の前記領域の前記画像の状態をそれぞれに判定することと、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
　を備える制御方法。
　（付記１８）
　周囲の環境を撮影した画像から複数の認証対象を検出することと、
　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
　複数の前記領域の前記画像の状態をそれぞれに判定することと、
　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
　をコンピュータに実行させるプログラムが格納される非一時的なコンピュータ可読媒体。
　１１、３１：カメラ制御装置
　１１１：検出手段、顔検出手段
　１１２：領域決定手段
　１１３：状態判定手段
　１１４：順位決定手段
　１１５：制御手段
　１１６：撮影手段
　１１７：保存手段
　１１８：グループ化手段

Claims (18)

  1. 　周囲の環境を撮影した画像から複数の認証対象を検出する検出手段と、
    　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定する領域決定手段と、
    　複数の前記領域の前記画像の状態をそれぞれに判定する状態判定手段と、
    　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定する順位決定手段と、
    　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるように自装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御する制御手段と、
    　を備えるカメラ制御装置。
  2. 　前記制御手段は、前記領域内の前記認証対象を認証するのに最適な状態となる前記制御パラメータを予め取得する、
    　請求項１に記載のカメラ制御装置。
  3. 　前記画像の状態は、前記画像の輝度値の平均値、前記輝度値の分散、前記輝度値の標準偏差、および前記輝度値のヒストグラムのうちの少なくとも１つを含む、
    　請求項１または２に記載のカメラ制御装置。
  4. 　前記制御パラメータは、露光時間、感度、およびコントラストのうちの少なくとも１つを含む、
    　請求項１から３のいずれか１つに記載のカメラ制御装置。
  5. 　前記制御手段は、
    　第１フレームにおいて、複数の前記領域のうちの１つの前記画像の状態を認証するのに最適な状態となるように前記制御パラメータを設定し、前記第１フレームの後の第２フレームにおいて、複数の前記領域のうちの別の１つの前記画像の状態を認証するのに最適な状態となるように前記制御パラメータを設定する、
    　請求項１から４のいずれか１つに記載のカメラ制御装置。
  6. 　前記周囲の環境を撮影するための撮像手段をさらに備える、
    　請求項１から５のいずれか１つに記載のカメラ制御装置。
  7. 　前記周囲の環境を撮影した前記画像を保存するための保存手段をさらに備える、
    　請求項１から６のいずれか１つに記載のカメラ制御装置。
  8. 　前記認証対象を人物の顔に限定する、
    　請求項１から７のいずれか１つに記載のカメラ制御装置。
  9. 　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔の大きい順に決定する、
    　請求項８に記載のカメラ制御装置。
  10. 　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔の向きが正面に近い順に決定する、
    　請求項８に記載のカメラ制御装置。
  11. 　前記制御手段は、前記順番に従い、前記制御パラメータを前記領域ごとに設定する前に、前記人物に対して認証処理を行い、
    　前記順位決定手段は、
    　前記認証処理の結果、認証スコアを取得し、
    　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
    　複数の前記人物の顔を撮影する前記順番を前記認証スコアの高い順に決定する、
    　請求項８に記載のカメラ制御装置。
  12. 　前記順位決定手段は、前記認証処理が行われていない未認証人物が存在した場合、前記未認証人物を撮影する前記順番を所定の数だけ早くする、
    　請求項１１に記載のカメラ制御装置。
  13. 　前記順位決定手段は、複数の前記人物の顔を撮影する前記順番を顔認証に適した明るさに近い順に決定する、
    　請求項８に記載のカメラ制御装置。
  14. 　前記順位決定手段は、車両の運転席側に設けられたカメラで顔が撮影された場合、
    　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
    　前記運転席側に設けられたカメラで撮影された顔を撮影する前記順番を所定の数だけ早くする、
    　請求項８に記載のカメラ制御装置。
  15. 　前記順位決定手段は、
    　前記判定結果に基づいて、複数の前記人物の顔を撮影する前記順番を決定することに代えて、
    　複数の前記人物の顔を撮影する前記順番を、前記人物が所有する車両のスマートキーと自装置との間の距離が近い前記順番に決定する、
    　請求項８に記載のカメラ制御装置。
  16. 　周囲の環境を撮影した画像から複数の人物の顔を検出する検出手段と、
    　前記人物の顔の大きさに基づいて、複数の前記人物の顔をグループ化して複数の顔グループを生成するグループ化手段と、
    　複数の前記顔グループの前記画像の状態をそれぞれに判定する状態判定手段と、
    　それぞれに前記判定した判定結果に基づいて、前記人物の顔を撮影する場合における複数の前記顔グループの順番を決定する順位決定手段と、
    　前記順番に従い、複数の前記顔グループの複数の前記人物の顔の前記画像の状態のそれぞれが前記人物の顔を認証するのに前記顔グループごとに最適な状態となるように自装置の制御パラメータを前記顔グループごとに一律に設定し、前記顔グループの前記人物の顔を撮影するように制御する制御手段と、
    　を備えるカメラ制御装置。
  17. 　周囲の環境を撮影した画像から複数の認証対象を検出することと、
    　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
    　複数の前記領域の前記画像の状態をそれぞれに判定することと、
    　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
    　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
    　を備える制御方法。
  18. 　周囲の環境を撮影した画像から複数の認証対象を検出することと、
    　複数の前記認証対象ごとに前記認証対象を含む部分を領域として決定することと、
    　複数の前記領域の前記画像の状態をそれぞれに判定することと、
    　それぞれに前記判定した判定結果に基づいて、複数の前記認証対象を撮影する順番を決定することと、
    　前記順番に従い、複数の前記領域の前記画像の状態のそれぞれが前記領域内の前記認証対象を認証するのに最適な状態となるようにカメラ制御装置の制御パラメータを前記領域ごとに設定し前記認証対象を撮影するように制御することと、
    　をコンピュータに実行させるプログラムが格納される非一時的なコンピュータ可読媒体。
PCT/JP2022/012070 2022-03-16 2022-03-16 カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体 WO2023175803A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012070 WO2023175803A1 (ja) 2022-03-16 2022-03-16 カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012070 WO2023175803A1 (ja) 2022-03-16 2022-03-16 カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023175803A1 true WO2023175803A1 (ja) 2023-09-21

Family

ID=88022561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012070 WO2023175803A1 (ja) 2022-03-16 2022-03-16 カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023175803A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040781A (ja) * 2006-08-07 2008-02-21 Matsushita Electric Ind Co Ltd 被写体照合装置および被写体照合方法
JP2008311885A (ja) * 2007-06-14 2008-12-25 Sharp Corp デジタルカメラ、カメラ付き携帯電話
JP2010085530A (ja) * 2008-09-30 2010-04-15 Fujinon Corp オートフォーカスシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040781A (ja) * 2006-08-07 2008-02-21 Matsushita Electric Ind Co Ltd 被写体照合装置および被写体照合方法
JP2008311885A (ja) * 2007-06-14 2008-12-25 Sharp Corp デジタルカメラ、カメラ付き携帯電話
JP2010085530A (ja) * 2008-09-30 2010-04-15 Fujinon Corp オートフォーカスシステム

Similar Documents

Publication Publication Date Title
US9366843B2 (en) Iris imaging apparatus and methods for configuring an iris imaging apparatus
JP5076563B2 (ja) 顔照合装置
KR102477923B1 (ko) 이미지-기반 스푸프 검출을 위해 초점 스택들을 이용하는 시스템들 및 방법들
EP3236391B1 (en) Object detection and recognition under out of focus conditions
JP7253691B2 (ja) 照合装置及び照合方法
JP2007241402A (ja) 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
US11321552B2 (en) Face authentication device having database with small storage capacity
WO2019163065A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
US7738783B2 (en) Method of setting photographing conditions and photography apparatus using the method
JP7448043B2 (ja) 撮影制御システム
JP2009015518A (ja) 眼画像撮影装置及び認証装置
JP2008139973A (ja) 顔画像認証システム、および撮像装置
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
WO2023175803A1 (ja) カメラ制御装置、制御方法、及び非一時的なコンピュータ可読媒体
KR101635602B1 (ko) 홍채 인식 방법 및 장치
US20230118532A1 (en) Method and system for detecting a spoofing attempt
JP5386880B2 (ja) 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
KR101794727B1 (ko) 홍채 검증 방법
JP2005287878A (ja) 生体判別装置および認証装置ならびに生体判別方法
EP3724815B1 (en) Anti-spoofing face id sensing based on retro-reflection
JP2016110467A (ja) 照合システム、照合方法、対面型照合システムおよびウォークスルー型照合システム
US20240242543A1 (en) Control apparatus, image pickup apparatus, and control method
CN118354196A (zh) 控制设备、摄像设备、控制方法和存储介质
JP2022031456A (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP2014013986A (ja) 撮像装置