WO2020195215A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2020195215A1
WO2020195215A1 PCT/JP2020/004575 JP2020004575W WO2020195215A1 WO 2020195215 A1 WO2020195215 A1 WO 2020195215A1 JP 2020004575 W JP2020004575 W JP 2020004575W WO 2020195215 A1 WO2020195215 A1 WO 2020195215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
evaluation
focusing
images
thinning
Prior art date
Application number
PCT/JP2020/004575
Other languages
English (en)
French (fr)
Inventor
有加 荻野
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN202080022132.8A priority Critical patent/CN113574857B/zh
Priority to US17/437,958 priority patent/US11985432B2/en
Priority to JP2021508194A priority patent/JP7092255B2/ja
Priority to EP20779914.9A priority patent/EP3952279A4/en
Publication of WO2020195215A1 publication Critical patent/WO2020195215A1/ja
Priority to JP2022095689A priority patent/JP7363971B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to an image processing apparatus and an image processing method that are suitably applied to biometric authentication.
  • non-contact authentication using an image such as iris authentication first, the authentication target (for example, a person) or a part thereof is imaged, and the pattern of the authentication processing target (for example, iris) is acquired. Next, the acquired pattern is featured. Then, authentication is performed by collating the feature amount with the feature amount registered in the database in advance.
  • the authentication target for example, a person
  • the pattern of the authentication processing target for example, iris
  • the focusing range (depth of field) of the camera is approximately expressed as in Eq. (1).
  • DoF (Depth of field) ( 2 ⁇ p 2 ⁇ N ⁇ CoC) / f 2 (1)
  • N indicates an F value (lens aperture).
  • p indicates the distance from the camera to the subject.
  • f indicates the focal length of the lens.
  • CoC Cell of Confusion
  • the permissible circle of confusion diameter represents the degree of blurring (diameter of circle of confusion) that can be regarded as being in focus.
  • the permissible circle of confusion diameter for example, the pixel size of the image sensor used for imaging is used.
  • a telephoto lens with a focal length of about 200 mm is used and the F value is set to 8 for imaging. If so, the depth of field is about 10 mm.
  • Patent Documents 1 to 3 describe a method for obtaining a suitable in-focus image.
  • Patent Document 1 describes a method of acquiring an image with a focus lens and setting the focus lens position having the highest high-frequency component in the image as the in-focus position.
  • Patent Document 2 based on the distance to the subject measured by the position detecting means, a distance with a high probability of capturing an iris image whose in-focus degree is equal to or higher than a preset predetermined value is calculated and calculated.
  • a method of photographing a subject with a distance as the focal position of a camera is described.
  • Patent Document 3 describes a method of imaging a subject with a plurality of image pickup elements and selecting an image having the largest amount of high-frequency components as an image for authentication processing.
  • JP-A-2002-122899 Japanese Unexamined Patent Publication No. 2004-226729 Japanese Unexamined Patent Publication No. 2005-244549 JP-A-2002-341406
  • Walk-through authentication is known in which non-contact authentication is performed while the authentication target is moving without being stationary (see, for example, Non-Patent Document 1). Further, Patent Document 4 describes a device that performs iris recognition for a moving person. As described in Patent Document 4, walk-through authentication is required to obtain a focused image at a higher speed.
  • a pedestrian to be authenticated passes through a focusing range 2 m away from the camera at a walking speed of 1 m / s.
  • an image must be acquired at a frame rate of at least 100 frames / s in order to obtain an in-focus image. Therefore, when performing focus evaluation and focus change processing based on the focus evaluation in order to obtain a focused image from each frame, it is required to complete the focus change process in 10 ms per frame.
  • the position of the iris within the angle of view differs depending on the person. Therefore, when the purpose is to authenticate a pedestrian's iris from a distance, the in-focus degree is calculated after detecting the iris region from an image having a large area other than the iris. That is, the amount of processing to be completed in 10 ms is further increased.
  • an image thinning process is used in order to obtain a focused image at high speed.
  • images are sequentially acquired while moving the camera, and the optimum focusing image for the authentication process is selected from the acquired plurality of images.
  • An object of the present invention is to provide an image processing apparatus and an image processing method capable of executing biometric authentication processing at a higher speed and shortening the time required for biometric authentication processing.
  • the image processing apparatus includes an image storage means for sequentially storing a plurality of images taken continuously in time, a thinning means for performing thinning processing on a plurality of images taken continuously, and a thinning process. From the first image evaluation means for performing the first focusing evaluation on a plurality of images after the execution, and from a plurality of images continuously taken based on the evaluation result of the first focusing evaluation. A selection means for selecting a plurality of focusing frame candidates, and a second image evaluation in which an image of the focusing frame candidate selected by the selection means is read out from an image storage means and a second focusing evaluation is performed on the read image. The means and a collation image determination means for selecting a collation image to be authenticated based on the evaluation result of the second focusing evaluation from the images of the focusing frame candidates are included.
  • a plurality of images continuously photographed in time are sequentially stored in an image storage means, thinning processing is performed on the plurality of images continuously photographed, and the thinning processing is performed.
  • a first focusing evaluation is performed on a plurality of subsequent images, and a plurality of focusing frame candidates are selected from a plurality of images taken continuously based on the evaluation result of the first focusing evaluation.
  • the image of the selected focusing frame candidate is read out from the image storage means, the second focusing evaluation is performed on the read image, and the authentication process is performed based on the evaluation result of the second focusing evaluation.
  • the collation image is selected from the images of the focusing frame candidates.
  • the image processing program sequentially stores a plurality of images continuously taken in time in an image storage means in a computer, thinning processing for a plurality of continuously taken images, and thinning processing. Based on the process of performing the first focusing evaluation on a plurality of images after the above is performed and the evaluation result of the first focusing evaluation, a plurality of focusing images are taken from a plurality of images continuously taken.
  • the collation image to be the target of the authentication process is selected from the images of the focusing frame candidates.
  • the time required for biometric authentication processing can be shortened.
  • the collation process takes an enormous amount of time.
  • the matching accuracy depends on the resolution of the input image. The higher the resolution of the image, the larger the amount of data. If the collation accuracy is high, the processing time exceeds the required time (for example, 10 ms).
  • the degree of request for shortening the time from the acquisition of the image group related to one authentication target to the result of the collation processing becomes higher.
  • the collation process is performed in advance (for example, before the selection of the image to be collated is executed). It is preferable that the target image is selected from the image group.
  • the image selected is an image captured within the in-focus range.
  • the process of selecting an image to be collated from an image group is referred to as an image evaluation process.
  • an image processing device and an image processing method capable of shortening the time required for the image evaluation processing are disclosed.
  • FIG. 1 is an explanatory diagram showing a flow of an image processing method executed by the image processing apparatus of one embodiment.
  • the arrow indicates the processing time per image.
  • FIG. 1 shows the processing time of image capture (from the start of imaging by an imaging means (for example, a camera) to the recording of an image in memory).
  • (B) shows the processing time of the rough evaluation process.
  • (C) shows the processing time for performing image evaluation in chronological order for the images recorded in the memory.
  • (D) shows the processing time of the process of calculating the collation result for the image determined to be in focus (the image determined to be optimal for collation).
  • the rough evaluation process is started when at least one image is written to the memory.
  • the pixels of the image are thinned out spatially, or the image is thinned out in time (the image itself, that is, the frame is thinned out), and each image is targeted at the images that are thinned out spatially or temporally.
  • This is a process of determining whether or not the image is captured within the focusing range. That is, in the rough evaluation process, the focusing frame candidates are estimated by roughly evaluating the thinned time series data.
  • the focusing frame candidate is an image with a high probability of being captured within the focusing range.
  • the in-focus frame candidate obtained by the rough evaluation process is an image selected from a group of images thinned out in the spatial direction or the temporal direction, it is not always the optimum collation image.
  • the image evaluation process a plurality of undecimated images (images of in-focus frame candidates) before and after an image having a large evaluation value are subjected to in-focus evaluation to collate them through more accurate evaluation.
  • the image is extracted.
  • the collation image is an image used in the authentication process.
  • the number of images to be evaluated for focusing is reduced as compared with the case where the image evaluation process (focus evaluation process) is executed for all the captured images. Therefore, a series of processing time from imaging to the start of collation processing is shortened.
  • FIG. 2 is a block diagram showing a configuration example of an image processing device.
  • the image processing apparatus shown in FIG. 2 includes an image acquisition unit 101, an image recording unit 102, a rough image evaluation unit 103, a focusing frame candidate estimation unit 104, an image evaluation unit 105, a focusing frame determination unit 106, and feature extraction / matching.
  • a unit 107 is provided.
  • the image acquisition unit 101 sequentially inputs images taken by one subject (for example, the person to be authenticated) continuously in time by the imaging means.
  • the image recording unit 102 is a memory for storing an image.
  • the coarse image evaluation unit 103 executes the coarse focusing evaluation process among the above rough evaluation processes (see FIG. 1 (B)). That is, the coarse image evaluation unit 103 creates an image group in which images are thinned out in time, and determines the possibility that each image in the created image group is an image captured within the focusing range. To execute. The coarse image evaluation unit 103 outputs the evaluation value of each image as the processing result. The evaluation value becomes larger as the possibility that the image is an image captured within the focusing range (the possibility of being in focus) is higher.
  • the coarse image evaluation unit 103 reduces the number of pixels and the number of frames of the image so that the rough evaluation process is completed almost at the same time when all of the series of images are written in the image recording unit 102.
  • the focusing frame candidate estimation unit 104 executes the process of estimating the focusing frame candidate among the above-mentioned rough evaluation processes.
  • the evaluation value is an evaluation value of an image in an image group in which the number of images is reduced due to time thinning. Therefore, there is a possibility that the optimum focusing frame cannot be obtained based on the evaluation value output by the coarse image evaluation unit 103.
  • the focusing frame candidate estimation unit 104 outputs, for example, an image of several frames before and after the image having the highest evaluation value (including the image having the highest evaluation value) as a focusing frame candidate.
  • the focusing frame candidate estimation unit 104 outputs, for example, the frame number of the focusing frame candidate.
  • the serial number of the captured image is used as the frame number.
  • the image recording unit 102 stores image data associated with the frame number.
  • the image evaluation unit 105 performs an image evaluation process (see FIG. 1 (C)) for evaluating whether or not the focus frame candidate is truly a focus frame.
  • the image evaluation unit 105 uses the image stored in the image recording unit 102. That is, the image evaluation unit 105 evaluates an image that has not been thinned out.
  • the image evaluation unit 105 outputs, for example, the evaluation value of each focusing frame candidate.
  • the focusing frame determination unit 106 sets the focusing frame candidate having the highest evaluation value as the focusing frame.
  • the focusing frame determination unit 106 outputs, for example, the frame number of the focusing frame.
  • the feature extraction / collation unit 107 extracts the feature amount of the image of the focusing frame (corresponding to the collation image), and performs the collation process using the feature amount database or the like.
  • Embodiment 1 A first embodiment of the image processing apparatus will be described with reference to the flowchart of FIG.
  • the image processing apparatus executes a process of thinning out the captured image in time when estimating the focusing frame candidate.
  • the image acquisition unit 101 sequentially inputs images from the imaging means (step S101). Then, the image acquisition unit 101 writes the input image to the image recording unit 102 (step S102).
  • the coarse image evaluation unit 103 starts the rough image processing.
  • the rough image processing time sampling is performed while the image is read from the image recording unit 102.
  • the coarse image evaluation unit 103 executes the focusing evaluation process every M frame (steps S103 and S105). That is, when the image read from the image recording unit 102 is an image of a frame that is a natural number multiple of M, the coarse image evaluation unit 103 performs a focus evaluation process on the image.
  • the rough image evaluation unit 103 executes the focusing evaluation process by a known method and calculates the evaluation value. For example, the coarse image evaluation unit 103 uses a high-pass filter to extract high-frequency components of an image. Then, the coarse image evaluation unit 103 uses the average value of the pixels after passing through the high-pass filter as the evaluation value. The coarse image evaluation unit 103 temporarily stores the evaluation value in association with the frame number (step S106).
  • steps S101 to S106 is repeated until the number of captured images reaches N (step S107), and when the number of processed images reaches N, the capture ends (step S108).
  • the focusing frame candidate estimation unit 104 estimates the focusing frame candidate (step S109).
  • the estimated focusing frame candidates are, for example, an image having the highest evaluation value and an image of several frames before and after the image.
  • the focusing frame candidate estimation unit 104 outputs the frame numbers of those images to the image evaluation unit 105 as data that can identify the focusing frame candidates.
  • the number of focusing frame candidates is selected so that the time required for a series of processes is equal to or less than the allowable time (for example, 10 ms).
  • the image evaluation unit 105 reads out the image of the focusing frame candidate specified by the frame number from the image recording unit 102, executes the focusing evaluation process one by one for the read image, and calculates the evaluation value. (Step S110).
  • the in-focus evaluation process executed by the image evaluation unit 105 may be the same as the in-focus evaluation process executed by the coarse image evaluation unit 103.
  • the focusing frame determination unit 106 confirms whether or not the image of the focusing frame candidate is a focusing image based on the evaluation value calculated by the image evaluation unit 105 (step S111). In step S111, whether or not the in-focus frame determination unit 106 exceeds, for example, a predetermined threshold value (a threshold value at which it can be determined that the in-focus image is certain). judge. If the evaluation value of the in-focus frame candidate image exceeds the threshold value, the in-focus frame determination unit 106 features the frame number of the in-focus frame candidate as the frame number of the in-focus image (corresponding to the collation image). Output to the extraction / collation unit 107.
  • a predetermined threshold value a threshold value at which it can be determined that the in-focus image is certain.
  • the feature extraction / collation unit 107 extracts the feature amount of the focused image and performs the collation process using the feature amount database or the like (step S112).
  • the feature extraction / collation unit 107 may perform feature extraction and collation processing by using several images before and after the image specified by the frame number from the focusing frame determination unit 106.
  • FIG. 4 is an explanatory diagram showing an example of the evaluation result of the focusing evaluation process.
  • the horizontal axis represents the number of frames and the vertical axis represents the evaluation value.
  • the example shown in FIG. 4 is an example in which a moving subject is continuously photographed using a fixed focus lens and the in-focus evaluation process as described above is executed on the obtained 240 images.
  • the evaluation value (focus evaluation value) has a peak according to the movement of the subject, that is, the transition of the frame.
  • FIG. 5 is an explanatory diagram showing an example of the evaluation result of the rough image evaluation unit 103 in the present embodiment.
  • the example shown in FIG. 5 is an example in which the coarse image evaluation unit 103 executes the in-focus evaluation process every 10 frames.
  • the peak of the evaluation value (see FIG. 4) is not impaired. Therefore, even if the images are thinned out in time as in the present embodiment, the focusing frame determination unit 106 can obtain the focusing image. Further, when the coarse image evaluation unit 103 executes the focusing evaluation process every 10 frames, the overall processing time is shortened to 1/10.
  • Embodiment 2 A second embodiment of the image processing apparatus will be described with reference to the flowchart of FIG.
  • the image processing apparatus performs a process of spatially thinning out the captured image when estimating the focusing frame candidate.
  • the process of spatially thinning an image is a process of reducing the number of pixels of an image, in other words, a process of lowering the resolution.
  • the configuration of the image processing device of the second embodiment is the same as the configuration shown in FIG. However, in the present embodiment, the coarse image evaluation unit 103 creates an image in which pixels are spatially thinned out, and determines the possibility that the created image is an image captured within the focusing range. To execute.
  • step S103 The process shown in FIG. 6 is almost the same as the process of the image processing apparatus of the first embodiment shown in FIG. 3, but in the present embodiment, the process of step S103 shown in FIG. 3 is executed. Instead, the process of step S104 is executed. Further, the coarse image evaluation unit 103 executes a coarse focusing evaluation process (step S105A).
  • the coarse in-focus evaluation process means an in-focus evaluation process for an image in which pixels are thinned out. Other processing is the same as the processing shown in FIG.
  • FIG. 7 is an explanatory diagram showing an example of the evaluation result of the rough image evaluation unit 103 in the present embodiment.
  • the example shown in FIG. 7 is an example in which the coarse image evaluation unit 103 thins out 3 pixels for every 4 pixels in the vertical and horizontal directions of the image. Therefore, the image size becomes 1/4 of the original size.
  • the coarse image evaluation unit 103 executes the focusing evaluation process on the spatially thinned images. When 3 pixels are thinned out every 4 pixels, the number of pixels to be processed becomes 1/16, so that the overall processing time is shortened to 1/16.
  • the focusing frame determination unit 106 can obtain the focusing image.
  • Embodiment 3 A third embodiment of the image processing apparatus will be described with reference to the flowchart of FIG.
  • the image processing apparatus executes a process of thinning the captured image in time and a process of spatially thinning out the pixels.
  • the configuration of the image processing device of the third embodiment is the same as the configuration shown in FIG.
  • the coarse image evaluation unit 103 intermittently selects an image from the time-series images constituting the captured image group, and with respect to the selected image. Then, as in the case of the second embodiment, the thinned-out image is generated by performing the pixel thinning. After that, the coarse image evaluation unit 103 executes a process of determining the possibility that the created image is an image captured within the focusing range.
  • the coarse image evaluation unit 103 first executes time sampling in the rough image processing.
  • the coarse image evaluation unit 103 selects an image from the image group every M frame (step S103).
  • the coarse image evaluation unit 103 executes a coarse focusing evaluation process on the selected image (steps S104 and S105A).
  • FIG. 9 is an explanatory diagram showing an example of the evaluation result of the rough image evaluation unit 103 in the present embodiment.
  • the example shown in FIG. 9 is an example in which the coarse image evaluation unit 103 selects an image of one frame every ten frames and thins out three pixels every four pixels in the vertical and horizontal directions of the selected image. Therefore, the overall processing time is expected to be shortened to (1/10) ⁇ (1/16).
  • the focusing frame determination unit 106 can obtain the focusing image.
  • a dense time series evaluation value is obtained from a series of evaluation values calculated by the coarse image evaluation unit 103 by interpolation using spline approximation or the like. You may create it.
  • FIG. 10 and 11 are explanatory views for explaining the effect of spline approximation. That is, FIG. 10 is an explanatory diagram showing an example of a time series evaluation value created without using the spline approximation. Specifically, FIG. 10 shows an example in which the coarse image evaluation unit 103 selects an image of one frame every 20 frames and thins out three pixels every four pixels in the vertical and horizontal directions of the selected image. It is shown.
  • FIG. 11 is an explanatory diagram showing an example of a time series evaluation value created by using spline approximation.
  • FIG. 11 also shows an example in which the rough image evaluation unit 103 selects an image of one frame every 20 frames and thins out three pixels every four pixels in the vertical and horizontal directions of the selected image.
  • a dense series of evaluation values is created by further spline approximation.
  • the focusing frame candidate estimation unit 104 determines the focusing frame candidate using the dense evaluation value, so that the focusing frame candidate is determined more accurately.
  • the focus frame candidate estimation unit 104 sequentially executes the focus evaluation process for the images specified by all the frame numbers output from the coarse image evaluation unit 103.
  • a threshold value that guarantees that a focused image can be reliably obtained is set in advance, and when the focusing frame candidate estimation unit 104 detects an evaluation value that exceeds the threshold value, the evaluation value is set to that evaluation value.
  • the image specified by the corresponding frame number may be a central focus frame candidate. In that case, the process proceeds to step S110 without executing the processing for the remaining evaluation values.
  • the series of evaluation values has a shape having a peak.
  • the processing for the remaining evaluation value is executed. Instead, the process may proceed to step S110.
  • an evaluation value existing between the evaluation value that first exceeds the threshold value and the evaluation value immediately before the evaluation value below the threshold value is detected is utilized. That is, the focusing frame candidate estimation unit 104 sets the image specified by the frame number corresponding to the evaluation value as the central focusing frame candidate.
  • the image processing apparatus of each of the above embodiments starts the rough evaluation process at the same time as the start of capture (strictly speaking, it starts when at least one image is written to the image recording unit 102). Will be.). Then, in the image processing apparatus, since the coarse focusing evaluation process for the image in the image group is executed, the time from the start of capture to the calculation of the result of the collation process is shortened. Therefore, it is possible to increase the number of people to be authenticated in a predetermined time.
  • the image processing device includes a function (function of narrowing down the evaluation area) of detecting a part (for example, eye position) including the authentication processing target from the image. May be good. Then, the image processing apparatus may perform the in-focus evaluation process after narrowing down the evaluation area.
  • This embodiment is an example in which the image processing apparatus of the above embodiment is applied to a walk-through type iris recognition system (hereinafter referred to as a system).
  • Walk-through authentication is used for entrance / exit management such as entrance gates.
  • the registrant for example, a person who is qualified to pass through the entrance gate
  • the person to be authenticated 400 is correctly collated, it is required to be able to pass through the gate without stopping while walking. For example, for an iris image taken at a distance of about 2 m from the gate, the collation result is calculated between the point where the subject 400 is 2 m away and the point where the subject 400 passes the 0 m point (entrance gate point). Is required.
  • the system includes an overall bird's-eye view camera 300 and an iris imaging camera 200 in which a plurality of infrared illuminations and cameras 201, 202, 203 are arranged in the vertical direction.
  • the overall bird's-eye view camera 300 captures a portion including the face of the person to be authenticated 400 (step S31).
  • the control unit (not shown) in the system detects the face of the person to be authenticated 400. Further, the control unit estimates the distance between the authenticated person 400 and the iris imaging camera 200 (step S32). Further, the control unit selects a camera according to the height of the person to be authenticated 400.
  • the control unit estimates the position of the authenticated person 400 based on the size of the face of the authenticated person 400 and the like. Then, the control unit activates the camera selected at the moment when the authenticated person 400 approaches the focus position, with the eye position of the authenticated person 400 as the ROI (Region Of Interest), that is, the processing target area.
  • ROI Region Of Interest
  • step S33 the iris imaging camera 200 outputs the captured image 401 to the image acquisition unit 101 (see FIG. 2) in the image processing apparatus of the above embodiment for several seconds after the start-up.
  • the image acquisition unit 101 sequentially stores the input images in the image recording unit 102.
  • the coarse image evaluation unit 103 sequentially reads out the images stored in the image recording unit 102 and performs the rough evaluation process (step S34).
  • the rough evaluation process as described above, the image is focused and evaluated while the image is thinned out in the time direction, the image resolution is lowered (spatial thinning process), or both processes are executed. ..
  • the image evaluation unit 105 performs focusing evaluation on a plurality of images of focusing frame candidates before and after the image having a large evaluation value (step S35). Then, the feature extraction / collation unit 107 extracts the feature amount of the obtained in-focus image (collation image), and performs collation processing using a database or the like.
  • walk-through authentication is taken as an example, but each of the above embodiments can be applied not only to iris authentication but also to other biometric authentication. In particular, it can be suitably used for authentication using an image that requires a high resolution of about 0.06 mm per pixel.
  • an example is an authentication in which the focus position is changed with respect to a stationary subject (still subject) and an image group including an in-focus image is captured.
  • the lens drive range is limited.
  • a voice coil motor By driving the lens with a voice coil motor, driving a liquid lens, or the like, a series of images in which the focusing position is continuously changed can be acquired.
  • processing such as feeding back the sensing result to the focus drive mechanism is not required. Therefore, high-speed continuous imaging is possible.
  • the images are sequentially read from the image recording unit 102 immediately after the first captured image is stored in the image recording unit 102.
  • the coarse image evaluation unit 103, the focusing frame candidate estimation unit 104, the image evaluation unit 105, the focusing frame determination unit 106, and the feature extraction / matching unit 107 shown in FIG. 2 execute the above-described processing.
  • the image processing device of the above embodiment can shoot a stationary collation target person at high speed and shorten the time from the start of shooting to the output of the collation result.
  • FIG. 13 shows a CPU (Central). It is a block diagram which shows an example of the computer which has a Processing Unit).
  • the CPU 1000 realizes each function in the above embodiment by executing the process according to the image processing program stored in the storage device 1001.
  • the CPU 1000 includes the image acquisition unit 101, the rough image evaluation unit 103, the focusing frame candidate estimation unit 104, the image evaluation unit 105, the focusing frame determination unit 106, and the feature extraction / matching unit 107 shown in FIG. Realize the function.
  • the storage device 1001 is, for example, a non-transitory computer readable medium.
  • Non-temporary computer-readable media include various types of tangible storage media (tangible storage medium). Specific examples of non-temporary computer-readable media include semiconductor memories (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), and flash ROM).
  • the memory 1002 is realized by, for example, a RAM (Random Access Memory), and is a storage means for temporarily storing data when the CPU 1000 executes processing.
  • the image recording unit 102 shown in FIG. 2 can be realized by the memory 1002.
  • FIG. 14 is a block diagram showing an outline of the image processing device.
  • the image processing device 10 includes an image storage means 11 (in the embodiment, realized by the image recording unit 102) that sequentially stores a plurality of images that are continuously photographed in time, and a plurality of images that are continuously photographed.
  • the thinning means 12 (in the embodiment, it is realized by the rough image evaluation unit 103) that performs the thinning process on the image of the above, and the first focusing evaluation (for example, for a plurality of images after the thinning process is performed). , Steps S105 and S105A), and the first image evaluation means 13 (which is realized by the coarse image evaluation unit 103 in the embodiment) and the evaluation result of the first in-focus evaluation.
  • a selection means 14 (in the embodiment, realized by the focusing frame candidate estimation unit 104) for selecting a plurality of focusing frame candidates from a plurality of images taken in the above-mentioned image, and a focusing frame candidate selected by the selection means 14.
  • the second image evaluation means 15 (in the embodiment, realized by the image evaluation unit 105) that reads the image of the above from the image storage means 11 and performs a second focusing evaluation (for example, the process of step S110) on the read image.
  • the collation image determining means 16 (in the embodiment, focusing) selects the collation image to be the target of the authentication process from the images of the focusing frame candidates based on the evaluation result of the second focusing evaluation. It is realized by the frame determination unit 106).
  • An image storage means for sequentially storing a plurality of images taken continuously in time, and A thinning means for performing thinning processing on a plurality of continuously captured images, and A first image evaluation means for performing a first focus evaluation on a plurality of images after the thinning process is performed, and Based on the evaluation result of the first focusing evaluation, a selection means for selecting a plurality of focusing frame candidates from the plurality of continuously captured images, and A second image evaluation means that reads out an image of a focusing frame candidate selected by the selection means from the image storage means and performs a second focusing evaluation on the read image, An image processing apparatus including a collating image determining means for selecting a collating image to be authenticated from the images of the focusing frame candidates based on the evaluation result of the second focusing evaluation. ..
  • the selection means is the image processing apparatus of Appendix 1 in which the image having the highest evaluation value and the images taken before and after the image are used as focus frame candidates.
  • the thinning means is an image processing apparatus according to Appendix 1 or Appendix 2, which performs a process of intermittently selecting an image from an image group composed of a plurality of continuously captured images as a thinning process.
  • the thinning means is an image processing apparatus according to any one of Supplements 1 to 3, which performs a process of thinning out pixels for each of a plurality of continuously captured images as a thinning process.
  • the thinning means is an image processing apparatus according to any one of Supplements 1 to 4, which immediately starts the thinning process when the first image is stored in the image storage means.
  • a plurality of images taken continuously are sequentially stored in the image storage means, and the images are sequentially stored.
  • the thinning process is performed on the plurality of images taken continuously,
  • a first focusing evaluation is performed on a plurality of images after the thinning process is performed.
  • Based on the evaluation result of the first focusing evaluation a plurality of focusing frame candidates are selected from the plurality of images taken continuously.
  • An image of the selected focusing frame candidate is read out from the image storage means, and a second focusing evaluation is performed on the read image.
  • An image processing method characterized in that a collation image to be authenticated is selected from the images of the focusing frame candidates based on the evaluation result of the second focusing evaluation.
  • Appendix 7 As the evaluation result of the first focusing evaluation, the higher the possibility of focusing, the higher the evaluation value is output.
  • the image processing method of Appendix 6 in which the image having the highest evaluation value and the images taken before and after the image are used as focus frame candidates.
  • Appendix 8 The image processing method according to Appendix 6 or 7, wherein as the thinning process, a process of intermittently selecting an image from an image group composed of a plurality of continuously captured images is performed.
  • Appendix 12 To the computer As an evaluation result of the first focusing evaluation, a process of outputting an evaluation value whose value is higher as the possibility of being in focus is higher, and The image processing program of Appendix 11 for executing a process of using the image having the highest evaluation value and the images taken before and after the image as focus frame candidates.
  • Appendix 13 To the computer The image processing program of Appendix 11 or Appendix 12 for intermittently selecting an image from an image group consisting of a plurality of images taken continuously as a thinning process.
  • Image processing device 11
  • Image storage means 12
  • Thinning means 13
  • First image evaluation means 14
  • Selection means 15
  • Second image evaluation means 18
  • Collation image determination means 101
  • Image acquisition unit 102
  • Image recording unit 103
  • Coarse image evaluation unit 104
  • Focusing frame Candidate estimation unit
  • Image evaluation unit 106
  • Focusing frame determination unit 107
  • Feature extraction / collation unit 200
  • Camera 300 Overall bird's-eye view camera 400
  • Certified person 1000 1000
  • CPU 1001 storage device 1002 memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

画像処理装置１０は、時間的に連続して撮影された複数の画像を順次記憶する画像記憶手段１１と、連続して撮影された複数の画像に対する間引き処理を行う間引き手段１２と、間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う第１の画像評価手段１３と、第１の合焦評価の評価結果に基づいて、連続して撮影された複数の画像から複数の合焦フレーム候補を選定する選定手段１４と、選定手段１４が選定した合焦フレーム候補の画像を画像記憶手段１１から読み出し、読み出した画像を対象として第２の合焦評価を行う第２の画像評価手段１５と、第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、合焦フレーム候補の画像から選択する照合画像決定手段１６とを含む。

Description

画像処理装置および画像処理方法
　本発明は、生体認証に好適に適用される画像処理装置および画像処理方法に関する。
　虹彩認証などの画像を用いた非接触認証では、まず、認証対象（例えば、人物）またはその一部が撮像され、認証処理対象（例えば、虹彩）のパターンが取得される。次に、取得されたパターンが特徴量化される。そして、その特徴量とあらかじめデータベースに登録されている特徴量とが照合されることによって認証が行われる。
　画像を用いた非接触認証において、パターンが微細である場合、パターンの鮮明さや解像度が認証精度に影響する。したがって、充分な解像度が確保され、かつ、認証処理対象を含む被写体が、合焦状態で撮像されることが求められる。
　カメラの合焦範囲（被写界深度）は、近似的に、（１）式のように表される。
　ＤｏＦ（Depth of field）＝（２・ｐ２・Ｎ・ＣｏＣ）／ｆ２　　　　　（１）
　（１）式において、Ｎは、Ｆ値（レンズの開口）を示す。ｐは、カメラから被写体までの距離を示す。ｆはレンズ焦点距離を示す。ＣｏＣ（Circle of Confusion ）は、許容錯乱円径を示す。許容錯乱円径は、合焦しているとみなせるぼけ度合（錯乱円径）を表す。許容錯乱円径として、例えば、撮像に使用するイメージセンサの画素サイズが用いられる。
　一例として、被写体が約２ｍ先にある状況で、直径１２ｍｍの虹彩を高解像度で撮像することが求められるカメラシステムにおいて、焦点距離２００ｍｍ程度の望遠レンズを用い、Ｆ値を８に設定して撮像した場合、被写界深度は約１０ｍｍである。
　上記のように、カメラの被写界深度は狭いので、認証処理に最適な合焦画像（合焦範囲内で撮像された画像）を得ることは一つの課題である。なお、特許文献１～３には、好適な合焦画像を得るための方法が記載されている。
　特許文献１には、フォーカスレンズで画像を取得し、画像中の高周波成分が最も高いフォーカスレンズ位置を合焦位置とする方法が記載されている。特許文献２には、位置検出手段が計測した被写体までの距離に基づいて、合焦度があらかじめ設定された所定値以上になる虹彩画像が撮像される蓋然性が高い距離を算出し、算出された距離をカメラの焦点位置として被写体を撮像する方法が記載されている。
　特許文献３には、複数の撮像素子で被写体を撮像し、高周波成分量が最も大きい画像を認証処理用の画像として選択する方法が記載されている。
特開２００２－１２２８９９号公報 特開２００４－２２６７２９号公報 特開２００５－２４４５４９号公報 特開２００２－３４１４０６号公報
「日本初ウォークスルー虹彩認証システムを開発」、２００７年８月３日、[online]、松下電器産業株式会社、[平成３１年２月２０日検索]、インターネット<URL:https://news.panasonic.com/jp/press/data/jn070803-1/jn070803-1.html>
　実用的な生体認証装置を構築するために、短時間で合焦画像が得られることが要求される。
　認証対象が静止せず移動する状態で非接触認証を行うウォークスルー認証が知られている（例えば、非特許文献１参照）。また、特許文献４に、移動する人物を対象として虹彩認証を行う装置が記載されている。特許文献４に記載されているように、ウォークスルー認証では、より高速に合焦画像を得ることが要求される。
　例えば、認証対象である歩行者が、歩行速度１ｍ／ｓでカメラから２ｍ離れた合焦範囲を通過することを想定する。また、被写界深度が１０ｍｍであるレンズを用いた撮像環境において、合焦画像を得るには、少なくとも１００フレーム／ｓのフレームレートで画像を取得しなければならない。したがって、各々のフレームから合焦画像を得るために焦点評価およびそれに基づくフォーカス変更処理を実施する場合、１フレームあたり１０ｍｓでフォーカス変更処理を完了することが求められる。
　また、人によって画角内の虹彩の位置が異なる。したがって、遠方から歩行者の虹彩を認証することを目的とした場合、虹彩以外の面積が多い画像から虹彩領域を検出した上で、合焦度が算出される。すなわち、１０ｍｓで完了すべき処理の量はさらに多くなる。
　特許文献４に記載された発明では、高速に合焦画像を得るために、画像の間引き処理が利用されている。具体的には、当該発明では、おおよその合焦がなされた後、カメラを移動させつつ順次画像が取得され、取得された複数の画像から、認証処理に最適な合焦画像が選択される。
　しかし、認証処理に最適な合焦画像を得るために、おおよその合焦がなされた後にカメラを物理的に移動させるので、最適な合焦画像を得るまでに時間がかかるという課題がある。
　本発明は、生体認証処理をより高速に実行し、生体認証処理に要する時間を短くすることができる画像処理装置および画像処理方法を提供することを目的とする。
　本発明による画像処理装置は、時間的に連続して撮影された複数の画像を順次記憶する画像記憶手段と、連続して撮影された複数の画像に対する間引き処理を行う間引き手段と、間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う第１の画像評価手段と、第１の合焦評価の評価結果に基づいて、連続して撮影された複数の画像から複数の合焦フレーム候補を選定する選定手段と、選定手段が選定した合焦フレーム候補の画像を画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う第２の画像評価手段と、第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、合焦フレーム候補の画像から選択する照合画像決定手段とを含む。
　本発明による画像処理方法は、時間的に連続して撮影された複数の画像を画像記憶手段に順次格納し、連続して撮影された複数の画像に対する間引き処理を行い、間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行い、第１の合焦評価の評価結果に基づいて、連続して撮影された複数の画像から複数の合焦フレーム候補を選定し、選定された合焦フレーム候補の画像を画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行い、第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、合焦フレーム候補の画像から選択する。
　本発明による画像処理プログラムは、コンピュータに、時間的に連続して撮影された複数の画像を画像記憶手段に順次格納する処理と、連続して撮影された複数の画像に対する間引き処理と、間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う処理と、第１の合焦評価の評価結果に基づいて、連続して撮影された複数の画像から複数の合焦フレーム候補を選定する処理と、選定された合焦フレーム候補の画像を画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う処理と、第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、合焦フレーム候補の画像から選択する処理とを実行させる。
　本発明によれば、生体認証処理に要する時間を短くすることができる。
画像処理装置が実行する画像処理方法の流れを示す説明図である。 画像処理装置の構成例を示すブロック図である。 第１の実施形態の画像処理装置の動作を示すフローチャートである。 合焦評価処理の評価結果の一例を示す説明図である。 第１の実施形態における粗画像評価部の評価結果の一例を示す説明図である。 第２の実施形態の画像処理装置の動作を示すフローチャートである。 第２の実施形態における粗画像評価部の評価結果の一例を示す説明図である 第３の実施形態の画像処理装置の動作を示すフローチャートである。 第３の実施形態における粗画像評価部の評価結果の一例を示す説明図である。 スプライン近似を用いずに作成された時系列評価値の一例を示す説明図である。 スプライン近似を用いて作成された時系列評価値の一例を示す説明図である。 ウォークスルー型虹彩認証システムの構成と作用を説明する説明図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 画像処理装置の概要を示すブロック図である。
　生体認証処理に要する時間を短くするために、被写体の動きや奥行にピントを合わせず、固定焦点レンズを用いて被写体が接近する一連の画像を高フレームレートで撮像する方法が考えられる。すなわち、固定焦点レンズを介して合焦画像を含む画像群を高速に撮像することが考えられる。なお、この方法は、歩行する被写体がレンズ焦点位置を含む合焦範囲を必ず通過することを前提としている。
　上記の方法で得られた全ての画像を特徴量化した上で特徴量データベースに格納されている特徴量との照合を行う場合、照合処理に膨大な時間がかかる。照合処理の時間と照合精度とはトレードオフの関係にある。照合精度は、入力画像の解像度に依存する。画像の解像度が高いほど、データ量は増大する。照合精度が高いと、処理時間は、要求される時間（例えば、１０ｍｓ）を超過してしまう。
　特に、多くの認証対象を短時間で扱わなければならない場合などには、１つの認証対象に係る画像群の撮像から照合処理の結果が出るまでの時間を短縮する要請の度合いがより高くなる。
　例えば、動く被写体を考慮する場合、上述したように、認証対象が歩行者であるときに、少なくとも１００フレーム／ｓ以上の高いフレームレートで撮像されることが望ましい。したがって、被写体の撮像枚数は非常に多い。撮像された画像の全てを対象とする照合処理が実行されると処理時間が長くなるので、事前に（例えば、照合処理の対象とされる画像の選定が実行される前に）、照合処理の対象とされる画像が画像群から選択されることが好ましい。選択される画像は、合焦範囲内で撮像された画像である。以下、照合処理の対象とされる画像を画像群から選択する処理を、画像評価処理という。
　しかし、画像の解像度を高くするために画素数の大きい画像が用いられることが好ましいので、画像群における全ての画像を対象として画像評価処理を実行すると、画像評価処理の処理時間が長くなってしまう。
　そこで、以下に述べるように、実施形態では、画像評価処理に要する時間を短縮できる画像処理装置および画像処理方法が開示される。
　図１は、一実施形態の画像処理装置が実行する画像処理方法の流れを示す説明図である。図１において、矢印は、画像１枚当たりの処理時間を示す。
　図１において、（Ａ）は、画像キャプチャ（撮像手段（例えば、カメラ）による撮像開始からメモリに画像が記録されるまで）の処理時間を示す。（Ｂ）に、粗評価処理の処理時間を示す。（Ｃ）は、メモリに記録された画像を対象として時系列順に画像評価を行う処理時間を示す。（Ｄ）は、合焦していると判断された画像（照合に最適であると判断された画像）を対象として、照合結果を算出する処理の処理時間を示す。
　粗評価処理は、少なくとも１枚の画像がメモリに書き込まれると開始される。粗評価処理は、画像の画素を空間的に間引くか、または、画像を時間的に間引き（画像そのものすなわちフレームを間引く。）、空間的または時間的に間引かれた画像を対象として各画像が合焦範囲内で撮像された画像であるか否か判定する処理である。すなわち、粗評価処理では、間引かれた時系列データが粗く合焦評価されることによって合焦フレーム候補が推定される。合焦フレーム候補は、合焦範囲内で撮像された蓋然性が高い画像である。
　粗評価処理によって得られる合焦フレーム候補は、空間方向または時間方向に間引かれた画像群から選定された画像であるから、最適な照合画像とは限らない。画像評価処理において、評価値が大きい画像の前後複数枚の間引かれていない画像（合焦フレーム候補の画像）に対して、合焦評価が行われることによって、より高精度な評価を経て照合画像が抽出される。なお、照合画像は、認証処理において使用される画像である。
　図１に示された処理によって、撮像された全ての画像に対して画像評価処理（合焦評価処理）が実行される場合に比べて、合焦評価の対象の画像数が削減される。したがって、撮像から照合処理を開始可能になるまでの一連の処理時間が短縮される。
　図２は、画像処理装置の構成例を示すブロック図である。
　図２に示す画像処理装置は、画像取得部１０１、画像記録部１０２、粗画像評価部１０３、合焦フレーム候補推定部１０４、画像評価部１０５、合焦フレーム判定部１０６、および特徴抽出・照合部１０７を備える。
　画像取得部１０１は、一の被写体（例えば、被認証者）が撮像手段によって時間的に連続して撮影された画像を順次入力する。画像記録部１０２は、画像を記憶するメモリである。
　粗画像評価部１０３は、上記の粗評価処理（図１（Ｂ）参照）のうち、粗い合焦評価処理を実行する。すなわち、粗画像評価部１０３は、時間的に画像が間引かれた画像群を作成し、作成された画像群における各画像が合焦範囲内で撮像された画像である可能性を判断する処理を実行する。粗画像評価部１０３は、処理結果として、各画像の評価値を出力する。評価値は、画像が合焦範囲内で撮像された画像である可能性（合焦している可能性）が高いほど大きな値になる。
　なお、粗画像評価部１０３は、画像記録部１０２に一連の画像の全てが書き込まれたときとほぼ同時に粗評価処理が終了するように、画像の画素数やフレーム数を削減する。
　合焦フレーム候補推定部１０４は、上記の粗評価処理のうち、合焦フレーム候補を推定する処理を実行する。上述したように、評価値は、時間的間引きによって画像数が減った画像群における画像の評価値である。したがって、粗画像評価部１０３が出力する評価値に基づいて最適な合焦フレームが得られない可能性がある。
　合焦フレーム候補推定部１０４は、例えば、評価値が最も高い画像の前後数フレームの画像（評価値が最も高い画像も含む。）を合焦フレーム候補として出力する。合焦フレーム候補推定部１０４は、例えば、合焦フレーム候補のフレーム番号を出力する。フレーム番号として、一例として、撮像された画像の通し番号が用いられる。なお、画像記録部１０２には、フレーム番号に対応づけられて画像のデータが保存される。
　画像評価部１０５は、合焦フレーム候補を対象として、真に合焦フレームであるか否かを評価する画像評価処理（図１（Ｃ）参照）を行う。画像評価処理において、画像評価部１０５は、画像記録部１０２に保存されている画像を用いる。すなわち、画像評価部１０５は、間引き処理が施されていない画像を評価する。画像評価部１０５は、例えば、各合焦フレーム候補の評価値を出力する。
　合焦フレーム判定部１０６は、評価値が最も高い合焦フレーム候補を合焦フレームとする。合焦フレーム判定部１０６は、例えば、合焦フレームのフレーム番号を出力する。
　特徴抽出・照合部１０７は、合焦フレームの画像（照合画像に相当）について、特徴量抽出を行い、特徴量データベースなどを用いた照合処理を行う。
実施形態１．
　図３のフローチャートを参照して、画像処理装置の第１の実施形態を説明する。第１の実施形態では、画像処理装置は、合焦フレーム候補を推定するときに、キャプチャされた画像を時間的に間引く処理を実行する。
　図３に例示された処理では、Ｍ（Ｍ：２以上の自然数）フレーム分の画像が画像記録部１０２にキャプチャされる度に、１フレームの画像が画像記録部１０２から読み出され、読み出された画像に対して合焦評価が実行される。そして、あらかじめ決められているＮ（Ｎ：２以上の自然数）フレームの画像がキャプチャされたら、合焦フレーム候補を推定する処理に移行する。
　画像処理装置において、画像取得部１０１は、撮像手段から順次画像を入力する（ステップＳ１０１）。そして、画像取得部１０１は、入力された画像を画像記録部１０２に書き込む（ステップＳ１０２）。
　画像記録部１０２に１フレーム分の画像が記録されたら、粗画像評価部１０３は、粗画像処理を開始する。粗画像処理では、画像記録部１０２から画像が読み出されつつ、時間サンプリングが行われる。図３に示された例では、粗画像評価部１０３は、Ｍフレームおきに合焦評価処理を実行する（ステップＳ１０３，Ｓ１０５）。すなわち、粗画像評価部１０３は、画像記録部１０２から読み出した画像が、Ｍの自然数倍目のフレームの画像であるときに、その画像に対して合焦評価処理を施す。
　粗画像評価部１０３は、公知の方法で合焦評価処理を実行して評価値を算出する。例えば、粗画像評価部１０３は、ハイパスフィルタを使用して画像の高周波成分を抽出する。そして、粗画像評価部１０３は、ハイパスフィルタ通過後の画素の平均値を評価値とする。粗画像評価部１０３は、評価値をフレーム番号と対応づけて一時記憶する（ステップＳ１０６）。
　キャプチャされた画像の数がＮになるまで，ステップＳ１０１～Ｓ１０６の処理が繰り返され（ステップＳ１０７）、処理された画像の数がＮになると、キャプチャは終了する（ステップＳ１０８）。
　次に、合焦フレーム候補推定部１０４は、合焦フレーム候補を推定する（ステップＳ１０９）。推定される合焦フレーム候補は、例えば、評価値が最も高い画像と、その前後数フレームの画像である。合焦フレーム候補推定部１０４は、それらの画像のフレーム番号を、合焦フレーム候補を特定可能なデータとして画像評価部１０５に出力する。なお、合焦フレーム候補の数は、一連の処理に要する時間が許容時間（例えば、１０ｍｓ）以下になるように選定される。
　画像評価部１０５は、フレーム番号で特定される合焦フレーム候補の画像を画像記録部１０２から読み出し、読み出された画像を対象として１画像ずつ合焦評価処理を実行して評価値を算出する（ステップＳ１１０）。画像評価部１０５が実行する合焦評価処理は、粗画像評価部１０３で実行される合焦評価処理と同じ処理でよい。
　次いで、合焦フレーム判定部１０６は、画像評価部１０５が算出した評価値に基づいて、合焦フレーム候補の画像が合焦画像であるか否か確認する（ステップＳ１１１）。ステップＳ１１１において、合焦フレーム判定部１０６は、例えば、評価値があらかじめ決められているしきい値（合焦画像であることが確実であることを判定可能なしきい値）を越えているか否か判定する。合焦フレーム判定部１０６は、合焦フレーム候補の画像の評価値がしきい値を越えていたら、その合焦フレーム候補のフレーム番号を、合焦画像（照合画像に相当）のフレーム番号として特徴抽出・照合部１０７に出力する。
　特徴抽出・照合部１０７は、合焦画像について、特徴量抽出を行い、特徴量データベースなどを用いた照合処理を行う（ステップＳ１１２）。なお、特徴抽出・照合部１０７は、合焦フレーム判定部１０６からのフレーム番号で特定される画像の前後数枚の画像も用いて特徴量抽出および照合処理を行ってもよい。
　図４は、合焦評価処理の評価結果の一例を示す説明図である。図４に示すグラフにおいて、横軸はフレーム数を示し、縦軸は評価値を示す。図４に示す例は、移動する被写体が固定焦点レンズを用いて連続的に撮影され、得られた２４０枚の画像に対して上述したような合焦評価処理を実行した場合の例である。図４に示されるように、評価値（合焦評価値）は、被写体の移動すなわちフレームの推移に合わせてピークを持つ。
　図５は、本実施形態における粗画像評価部１０３の評価結果の一例を示す説明図である。図５に示す例は、粗画像評価部１０３が、１０フレームおきに合焦評価処理を実行した場合の例である。図５に示されるように、評価値のピーク（図４参照）は損なわれていない。したがって、本実施形態のように時間的に画像を間引いても、合焦フレーム判定部１０６が合焦画像を得ることができる。また、粗画像評価部１０３が１０フレームおきに合焦評価処理を実行した場合には、全体的な処理時間は、１／１０に短縮される。
実施形態２．
　図６のフローチャートを参照して、画像処理装置の第２の実施形態を説明する。第２の実施形態では、画像処理装置は、合焦フレーム候補を推定するときに、キャプチャされた画像を空間的に間引く処理を実行する。画像を空間的に間引く処理は、画像の画素を減らす処理、換言すれば、解像度を低くする処理である。
　第２の実施形態の画像処理装置の構成は、図２に示された構成と同じである。ただし、本実施形態では、粗画像評価部１０３は、空間的に画素が間引かれた画像を作成し、作成された画像が合焦範囲内で撮像された画像である可能性を判断する処理を実行する。
　図６に示された処理は、図３に示された第１の実施形態の画像処理装置の処理とほぼ同じであるが、本実施形態では、図３に示されたステップＳ１０３の処理は実行されず、その代わりに、ステップＳ１０４の処理が実行される。また、粗画像評価部１０３は、粗い合焦評価処理を実行する（ステップＳ１０５Ａ）。粗い合焦評価処理は、画素が間引かれた画像を対象とする合焦評価処理を意味する。その他の処理は、図３に示された処理と同じである。
　図７は、本実施形態における粗画像評価部１０３の評価結果の一例を示す説明図である。図７に示す例は、粗画像評価部１０３が、画像の縦横について４画素ごとに３画素を間引いた場合の例である。よって、画像サイズは、元のサイズの１／４になる。粗画像評価部１０３は、空間的に間引かれた画像を対象として合焦評価処理を実行する。４画素ごとに３画素が間引かれた場合、処理対象画素数は１／１６になるので、全体的な処理時間は、１／１６に短縮される。
　また、図７に示されるように、評価値のピーク（図４参照）は損なわれていない。したがって、本実施形態のように時間的に画像を間引いても、合焦フレーム判定部１０６が合焦画像を得ることができる。
実施形態３．
　図８のフローチャートを参照して、画像処理装置の第３の実施形態を説明する。第３の実施形態では、画像処理装置は、合焦フレーム候補を推定するときに、キャプチャされた画像を時間的に間引く処理を実行するとともに、空間的に画素を間引く処理を実行する。
　第３の実施形態の画像処理装置の構成は、図２に示された構成と同じである。ただし、本実施形態では、粗画像評価部１０３は、第１の実施形態の場合と同様、キャプチャされた画像群を構成する時系列画像から画像を間欠的に選択し、選択された画像に対して、第２の実施形態の場合と同様に、画素間引きを行うことによって間引かれた画像を生成する。その後、粗画像評価部１０３は、作成された画像が合焦範囲内で撮像された画像である可能性を判断する処理を実行する。
　すなわち、図８に示された処理では、図３に示されたステップＳ１０３の処理と図６に示されたステップＳ１０４の処理とがともに実行される。
　すなわち、粗画像評価部１０３は、粗画像処理において、まず、時間サンプリングを実行する。図８に示された例では、粗画像評価部１０３は、画像群からＭフレームおきに画像を選択する（ステップＳ１０３）。粗画像評価部１０３は、選択された画像を対象として粗い合焦評価処理を実行する（ステップＳ１０４，Ｓ１０５Ａ）。
　その他の処理は、図３に示された処理および図６に示された処理と同じである。
　図９は、本実施形態における粗画像評価部１０３の評価結果の一例を示す説明図である。図９に示す例は、粗画像評価部１０３が、１０フレームおきに１フレームの画像を選択し、かつ、選択された画像の縦横について４画素ごとに３画素を間引いた場合の例である。よって、全体的な処理時間は、（１／１０）×（１／１６）に短縮されることが期待される。
　また、図９に示されるように、評価値のピーク（図４参照）は損なわれていない。したがって、本実施形態のように時間的に画像を間引いても、合焦フレーム判定部１０６が合焦画像を得ることができる。
　なお、合焦フレーム候補推定部１０４が、評価値が最も高い画像の前後数フレームの画像を合焦フレーム候補として出力する場合、時間的な間引きを行ったときには、前後数フレームの数を、例えば、間引き間隔の２倍程度にしてもよい。具体的には、キャプチャされる画像数がＮ＝２４０であり、粗画像評価部１０３が１０フレームおきに１フレームの画像を選択する場合、前後数フレームを２０フレームとする。この場合には、粗画像処理の対象になる画像の数は、Ｎの１／１２である。
　また、合焦フレーム候補推定部１０４は、合焦フレーム候補を決定するときに、粗画像評価部１０３が算出した評価値の系列から、スプライン近似などを用いた補間によって密な時系列評価値を作成してもよい。
　図１０および図１１は、スプライン近似の効果を説明するための説明図である。すなわち、図１０は、スプライン近似を用いずに作成された時系列評価値の一例を示す説明図である。具体的には、図１０には、粗画像評価部１０３が、２０フレームおきに１フレームの画像を選択し、かつ、選択された画像の縦横について４画素ごとに３画素を間引いた場合の例が示されている。
　図１１は、スプライン近似を用いて作成された時系列評価値の一例を示す説明図である。図１１にも、粗画像評価部１０３が、２０フレームおきに１フレームの画像を選択し、かつ、選択された画像の縦横について４画素ごとに３画素を間引いた場合の例が示されているが、さらにスプライン近似がなされることによって、密な評価値の系列が作成される。合焦フレーム候補推定部１０４が密な評価値を用いて合焦フレーム候補を決定することによって、より精度よく合焦フレーム候補が決定される。
　図１０に示された例と図１１に示された例とを比較すると、スプライン近似を用いないときには評価値のピークが損なわれてしまう（真のピークが現れない）場合でも、スプライン近似によって評価値のピークが現れるようにすることができることがわかる。
　また、上記の各実施形態では、ステップＳ１０９の処理（図３等参照）で、評価値が最も高い画像（中央合焦フレーム候補とする。）に基づいて合焦フレーム候補を決定する場合、合焦フレーム候補推定部１０４は、粗画像評価部１０３から出力された全てのフレーム番号で特定される画像を対象として順次合焦評価処理を実行する。
　しかし、確実に合焦画像が得られることが保証されるようなしきい値をあらかじめ設定し、合焦フレーム候補推定部１０４は、しきい値を越える評価値を検出したときに、その評価値に対応するフレーム番号で特定される画像を中央合焦フレーム候補としてもよい。その場合には、残りの評価値についての処理を実行することなく、ステップＳ１１０に移行する。
　また、図４等に例示されたように、評価値の系列は、ピークを持つ形状をなす。そのことを利用して、ステップＳ１０９の処理で、しきい値を越える評価値が検出された後、しきい値以下の評価値が検出されたときに、残りの評価値についての処理を実行することなく、ステップＳ１１０に移行するようにしてもよい。そのように構成される場合には、例えば、最初にしきい値を越えた評価値としきい値以下の評価値が検出される直前の評価値との中間に存在する評価値が活用される。すなわち、合焦フレーム候補推定部１０４は、その評価値に対応するフレーム番号で特定される画像を中央合焦フレーム候補とする。
　以上に説明したように、上記の各実施形態の画像処理装置は、キャプチャ開始と同時に粗評価処理を開始する（厳密には、少なくとも１枚の画像が画像記録部１０２に書き込まれたときに開始される。）。そして、画像処理装置において、画像群における画像に対する粗い合焦評価処理が実行されるので、キャプチャ開始から照合処理の結果算出までの時間が短縮される。よって、所定時間で認証できる被認証者の人数を増加することが可能である。
　なお、より高精度な認証処理ができるようにするために画像処理装置は、画像から、認証処理対象を含む部位（例えば、目位置）を検出する機能（評価領域を絞る機能）を含んでいてもよい。そして、画像処理装置は、評価領域を絞った後に合焦評価処理を行ってもよい。
　以下、図１２の説明図を参照して画像処理装置の実施例を説明する。本実施例は、ウォークスルー型虹彩認証システム（以下、システムという。）に、上記の実施形態の画像処理装置が適用された例である。ウォークスルー型認証は、入場ゲートなどの入退場管理に使用される。本実施例では、登録者（例えば、入場ゲートを通過できる資格を有する者）を認証（照合）できた場合には、登録者がノンストップでゲートを通過することを想定する。
　被認証者４００が正しく照合された場合には、歩行しながら止まることなくゲートを通過できるようにすることが求められる。例えば、ゲートから約２ｍ離れた状態で撮像された虹彩画像を対象として、被認証者４００が２ｍ離れた地点から０ｍ地点（入場ゲート地点）を通過するまでの間に照合結果が算出されることが求められる。
　システムは、全体俯瞰カメラ３００と、垂直方向に複数の赤外線照明およびカメラ２０１，２０２，２０３が配列された虹彩撮像用カメラ２００とを含む。全体俯瞰カメラ３００は、被認証者４００の顔を含む部位を撮像する（ステップＳ３１）。そして、システムにおける制御部（図示せず）は、被認証者４００の顔検出を行う。また、制御部は、被認証者４００と虹彩撮像用カメラ２００との間の距離を推定する（ステップＳ３２）。さらに、制御部は、被認証者４００の身長に合わせたカメラを選択する。
　制御部は、被認証者４００の顔の大きさなどに基づいて被認証者４００の位置を推定する。そして、制御部は、被認証者４００がピント位置に近づく瞬間に選択したカメラを、被認証者４００の目の位置をＲＯＩ（Region Of Interest）すなわち処理対象領域として起動する。
　ステップＳ３３で、虹彩撮像用カメラ２００は、起動してから数秒の間、撮像した画像４０１を、上記の実施形態の画像処理装置における画像取得部１０１（図２参照）に出力する。画像取得部１０１は、入力された画像を、順次、画像記録部１０２に格納する。
　粗画像評価部１０３は、最初に撮像された画像が画像記録部１０２に格納された直後から、画像記録部１０２に格納された画像を順次読み出して、粗評価処理を行う（ステップＳ３４）。粗評価処理では、上述したように、画像を時間方向に間引く処理もしくは画像の解像度を低くする処理（空間的間引き処理）、または双方の処理が実行されつつ、画像の合焦評価処理が行われる。
　その後、画像評価部１０５によって、評価値が大きい画像の前後複数枚の合焦フレーム候補の画像に対して、合焦評価が行われる（ステップＳ３５）。そして、特徴抽出・照合部１０７によって、得られた合焦画像（照合画像）の特徴量抽出が行われ、データベースなどを用いた照合処理が行われる。
　なお、本実施例では、ウォークスルー型認証を例にしたが、上記の各実施形態は、虹彩認証に限らず他の生体認証にも適用可能である。特に、一画素に対して０．０６ｍｍ程度の高解像度が必要とされる画像を用いる認証に対して好適に使用可能である。
　次に、ウォークスルー型認証以外の認証の一例を説明する。
　ウォークスルー型認証以外の認証として、静止している被写体（静止被写体）に対してピント位置を変化させ、合焦画像を含んだ画像群を取り込む認証を例にする。
　例えば、カメラからの距離がある程度わかっている静止被写体の虹彩を照合する場合を考える。その場合、レンズ駆動範囲は限定される。ボイスコイルモータでレンズを駆動したり、液体レンズ等を駆動することによって、連続的に合焦位置を変化させた一連の画像が取得できる。本実施例では、センシング結果をフォーカス駆動機構にフィードバックするといった処理は要求されない。よって、高速な連続撮像が可能である。
　上記の各実施形態のように、最初に撮像された画像が画像記録部１０２に格納された直後から、画像が画像記録部１０２から順次読み出される。その後、図２に示された粗画像評価部１０３、合焦フレーム候補推定部１０４、画像評価部１０５、合焦フレーム判定部１０６、および特徴抽出・照合部１０７は、上述した処理を実行する。
　よって、上記の実施形態の画像処理装置は、静止している照合対象者を高速に撮影し、撮影開始から照合結果出力までの時間を短縮することも可能である。
　図１３は、ＣＰＵ（Central
Processing Unit ）を有するコンピュータの一例を示すブロック図である。ＣＰＵ１０００は、記憶装置１００１に格納された画像処理プログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。
　すなわち、ＣＰＵ１０００は、図２に示された画像取得部１０１、粗画像評価部１０３、合焦フレーム候補推定部１０４、画像評価部１０５、合焦フレーム判定部１０６、および特徴抽出・照合部１０７の機能を実現する。
　記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
　メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。なお、図２に示された画像記録部１０２は、メモリ１００２で実現可能である。
　図１４は、画像処理装置の概要を示すブロック図である。画像処理装置１０は、時間的に連続して撮影された複数の画像を順次記憶する画像記憶手段１１（実施形態では、画像記録部１０２で実現される。）と、連続して撮影された複数の画像に対する間引き処理を行う間引き手段１２（実施形態では、粗画像評価部１０３で実現される。）と、間引き処理が行われた後の複数の画像を対象として第１の合焦評価（例えば、ステップＳ１０５，Ｓ１０５Ａの処理）を行う第１の画像評価手段１３（実施形態では、粗画像評価部１０３で実現される。）と、第１の合焦評価の評価結果に基づいて、連続して撮影された複数の画像から複数の合焦フレーム候補を選定する選定手段１４（実施形態では、合焦フレーム候補推定部１０４で実現される。）と、選定手段１４が選定した合焦フレーム候補の画像を画像記憶手段１１から読み出し、読み出した画像を対象として第２の合焦評価（例えば、ステップＳ１１０の処理）を行う第２の画像評価手段１５（実施形態では、画像評価部１０５で実現される。）と、第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、合焦フレーム候補の画像から選択する照合画像決定手段１６（実施形態では、合焦フレーム判定部１０６で実現される。）とを備えている。
　上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）時間的に連続して撮影された複数の画像を順次記憶する画像記憶手段と、
　前記連続して撮影された複数の画像に対する間引き処理を行う間引き手段と、
　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う第１の画像評価手段と、
　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定する選定手段と、
　前記選定手段が選定した合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う第２の画像評価手段と、
　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する照合画像決定手段と
　を備えたことを特徴とする画像処理装置。
（付記２）第１の画像評価手段は、第１の合焦評価の評価結果として、合焦している可能性が高いほど値が高い評価値を出力し、
　選定手段は、最も高い評価値の画像、および、当該画像の前後に撮影された画像を、合焦フレーム候補とする
　付記１の画像処理装置。
（付記３）間引き手段は、間引き処理として、連続して撮影された複数の画像からなる画像群から間欠的に画像を選択する処理を行う
　付記１または付記２の画像処理装置。
（付記４）間引き手段は、間引き処理として、連続して撮影された複数の画像の各々について画素を間引く処理を行う
　付記１から付記３のいずれかの画像処理装置。
（付記５）間引き手段は、画像記憶手段に最初の画像が格納されたときに直ちに間引き処理を開始する
　付記１から付記４のいずれかの画像処理装置。
（付記６）連続して撮影された複数の画像を画像記憶手段に順次格納し、
　前記連続して撮影された複数の画像に対する間引き処理を行い、
　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行い、
　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定し、
　選定された合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行い、
　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する
　ことを特徴とする画像処理方法。
（付記７）第１の合焦評価の評価結果として、合焦している可能性が高いほど値が高い評価値を出力し、
　最も高い評価値の画像、および、当該画像の前後に撮影された画像を、合焦フレーム候補とする
　付記６の画像処理方法。
（付記８）間引き処理として、連続して撮影された複数の画像からなる画像群から間欠的に画像を選択する処理を行う
　付記６または付記７の画像処理方法。
（付記９）間引き処理として、連続して撮影された複数の画像の各々について画素を間引く処理を行う
　付記６から付記８のいずれかの画像処理方法。
（付記１０）画像記憶手段に最初の画像が格納されたときに直ちに間引き処理を開始する
　付記６から付記９のいずれかの画像処理方法。
（付記１１）コンピュータに、
　連続して撮影された複数の画像を画像記憶手段に順次格納する処理と、
　前記連続して撮影された複数の画像に対する間引き処理と、
　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う処理と、
　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定する処理と、
　選定された合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う処理と、
　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する処理と
　を実行させるための画像処理プログラム。
（付記１２）コンピュータに、
　第１の合焦評価の評価結果として、合焦している可能性が高いほど値が高い評価値を出力する処理と、
　最も高い評価値の画像、および、当該画像の前後に撮影された画像を、合焦フレーム候補とする処理と
　を実行させるための付記１１の画像処理プログラム。
（付記１３）コンピュータに、
　間引き処理として、連続して撮影された複数の画像からなる画像群から間欠的に画像を選択する処理を行わせる
　ための付記１１または付記１２の画像処理プログラム。
（付記１４）コンピュータに、
　間引き処理として、連続して撮影された複数の画像の各々について画素を間引く処理を行わせる
　ための付記１１から付記１３のいずれかの画像処理プログラム。
（付記１５）コンピュータに、
　画像記憶手段に最初の画像が格納されたときに直ちに間引き処理を開始させる
　ための付記１１から付記１４のいずれかの画像処理プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年３月２５日に出願された日本特許出願２０１９－０５５８０９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　　画像処理装置
　１１　　　画像記憶手段
　１２　　　間引き手段
　１３　　　第１の画像評価手段
　１４　　　選定手段
　１５　　　第２の画像評価手段
　１６　　　照合画像決定手段
　１０１　　画像取得部
　１０２　　画像記録部
　１０３　　粗画像評価部
　１０４　　合焦フレーム候補推定部
　１０５　　画像評価部
　１０６　　合焦フレーム判定部
　１０７　　特徴抽出・照合部
　２００　　虹彩撮像用カメラ
　２０１，２０２，２０３　カメラ
　３００　　全体俯瞰カメラ
　４００　　被認証者
　１０００　ＣＰＵ
　１００１　記憶装置
　１００２　メモリ

Claims (10)

  1. 　時間的に連続して撮影された複数の画像を順次記憶する画像記憶手段と、
    　前記連続して撮影された複数の画像に対する間引き処理を行う間引き手段と、
    　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う第１の画像評価手段と、
    　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定する選定手段と、
    　前記選定手段が選定した合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う第２の画像評価手段と、
    　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する照合画像決定手段と
    　を備えたことを特徴とする画像処理装置。
  2. 　第１の画像評価手段は、第１の合焦評価の評価結果として、合焦している可能性が高いほど値が高い評価値を出力し、
    　選定手段は、最も高い評価値の画像、および、当該画像の前後に撮影された画像を、合焦フレーム候補とする
    　請求項１記載の画像処理装置。
  3. 　間引き手段は、間引き処理として、連続して撮影された複数の画像からなる画像群から間欠的に画像を選択する処理を行う
    　請求項１または請求項２記載の画像処理装置。
  4. 　間引き手段は、間引き処理として、連続して撮影された複数の画像の各々について画素を間引く処理を行う
    　請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
  5. 　間引き手段は、画像記憶手段に最初の画像が格納されたときに間引き処理を開始する
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　時間的に連続して撮影された複数の画像を画像記憶手段に順次格納し、
    　前記連続して撮影された複数の画像に対する間引き処理を行い、
    　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行い、
    　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定し、
    　選定された合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行い、
    　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する
    　ことを特徴とする画像処理方法。
  7. 　間引き処理として、連続して撮影された複数の画像からなる画像群から間欠的に画像を選択する処理を行う
    　請求項６記載の画像処理方法。
  8. 　間引き処理として、連続して撮影された複数の画像の各々について画素を間引く処理を行う
    　請求項６または請求項７記載の画像処理方法。
  9. 　画像記憶手段に最初の画像が格納されたときに間引き処理を開始する
    　請求項６から請求項８のうちのいずれか１項に記載の画像処理方法。
  10. 　プロセッサで実行されるときに、
    　時間的に連続して撮影された複数の画像を画像記憶手段に順次格納する処理と、
    　前記連続して撮影された複数の画像に対する間引き処理と、
    　前記間引き処理が行われた後の複数の画像を対象として第１の合焦評価を行う処理と、
    　前記第１の合焦評価の評価結果に基づいて、前記連続して撮影された複数の画像から複数の合焦フレーム候補を選定する処理と、
    　選定された合焦フレーム候補の画像を前記画像記憶手段から読み出し、読み出した画像を対象として第２の合焦評価を行う処理と、
    　前記第２の合焦評価の評価結果に基づいて、認証処理の対象となる照合画像を、前記合焦フレーム候補の画像から選択する処理と
    　を実行する画像処理プログラムを記録した非一時的な記録媒体。
PCT/JP2020/004575 2019-03-25 2020-02-06 画像処理装置および画像処理方法 WO2020195215A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080022132.8A CN113574857B (zh) 2019-03-25 2020-02-06 图像处理设备和图像处理方法
US17/437,958 US11985432B2 (en) 2019-03-25 2020-02-06 Image processing device and image processing method suitably applied to biometric authentication
JP2021508194A JP7092255B2 (ja) 2019-03-25 2020-02-06 画像処理装置および画像処理方法
EP20779914.9A EP3952279A4 (en) 2019-03-25 2020-02-06 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2022095689A JP7363971B2 (ja) 2019-03-25 2022-06-14 画像処理装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019055809 2019-03-25
JP2019-055809 2019-03-25

Publications (1)

Publication Number Publication Date
WO2020195215A1 true WO2020195215A1 (ja) 2020-10-01

Family

ID=72611825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004575 WO2020195215A1 (ja) 2019-03-25 2020-02-06 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US11985432B2 (ja)
EP (1) EP3952279A4 (ja)
JP (2) JP7092255B2 (ja)
CN (1) CN113574857B (ja)
WO (1) WO2020195215A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257929A (ja) * 2000-03-09 2001-09-21 Technosonic:Kk 被写体追尾装置
JP2002122899A (ja) 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2002341406A (ja) 2001-05-11 2002-11-27 Matsushita Electric Ind Co Ltd 認証対象撮像方法及びその装置
JP2004226729A (ja) 2003-01-23 2004-08-12 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置
JP2005244549A (ja) 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 認証用画像撮像装置
JP2013101551A (ja) * 2011-11-09 2013-05-23 Secom Co Ltd 顔画像認証装置
JP2019055809A (ja) 2017-09-22 2019-04-11 大日本印刷株式会社 パウチおよび容器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2372124C (en) 1998-11-25 2008-07-22 Iriscan, Inc. Fast focus assessment system and method for imaging
US20040247032A1 (en) * 2002-07-29 2004-12-09 Yuichiro Aihara Motion vector detection device and motion vector detection method
JP2006303897A (ja) 2005-04-20 2006-11-02 Matsushita Electric Ind Co Ltd 顔画像抽出装置及び顔画像抽出方法
US8090246B2 (en) * 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
JP5521786B2 (ja) 2010-05-31 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2012151667A (ja) 2011-01-19 2012-08-09 Renesas Electronics Corp 携帯機器及びマイクロコンピュータ
CN103907043B (zh) 2011-10-28 2016-03-02 富士胶片株式会社 摄像方法
WO2013162747A1 (en) 2012-04-26 2013-10-31 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for providing interactive refocusing in images
KR20140007529A (ko) 2012-07-09 2014-01-20 삼성전자주식회사 카메라의 이미지 촬영장치 및 방법
ES2642350T3 (es) * 2012-08-13 2017-11-16 Danmarks Tekniske Universitet Identificación automática de un material de película mono-capa y/o de pocas capas
WO2014054296A1 (ja) 2012-10-05 2014-04-10 株式会社ニコン 画像評価装置、撮像装置およびプログラム
JP6056702B2 (ja) 2013-08-08 2017-01-11 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9582716B2 (en) 2013-09-09 2017-02-28 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
KR102329821B1 (ko) 2015-06-04 2021-11-23 삼성전자주식회사 개인 인증 전자 장치 및 방법
WO2018119718A1 (zh) 2016-12-28 2018-07-05 深圳迈瑞生物医疗电子股份有限公司 在超声扫描中的图像提取方法、装置及超声成像***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001257929A (ja) * 2000-03-09 2001-09-21 Technosonic:Kk 被写体追尾装置
JP2002122899A (ja) 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2002341406A (ja) 2001-05-11 2002-11-27 Matsushita Electric Ind Co Ltd 認証対象撮像方法及びその装置
JP2004226729A (ja) 2003-01-23 2004-08-12 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置
JP2005244549A (ja) 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 認証用画像撮像装置
JP2013101551A (ja) * 2011-11-09 2013-05-23 Secom Co Ltd 顔画像認証装置
JP2019055809A (ja) 2017-09-22 2019-04-11 大日本印刷株式会社 パウチおよび容器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Japan's first walk-through iris authentication system developed", 3 August 2007, MATSUSHITA ELECTRIC INDUSTRIAL CO., LTD.

Also Published As

Publication number Publication date
JP7092255B2 (ja) 2022-06-28
US11985432B2 (en) 2024-05-14
US20220166921A1 (en) 2022-05-26
EP3952279A4 (en) 2022-05-04
JPWO2020195215A1 (ja) 2020-10-01
CN113574857A (zh) 2021-10-29
EP3952279A1 (en) 2022-02-09
JP2022130470A (ja) 2022-09-06
CN113574857B (zh) 2023-10-31
JP7363971B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
US9366843B2 (en) Iris imaging apparatus and methods for configuring an iris imaging apparatus
US9633260B2 (en) System and method for iris data acquisition for biometric identification
EP3236391B1 (en) Object detection and recognition under out of focus conditions
JP5704905B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
JP5789091B2 (ja) 撮像装置および撮像装置の制御方法
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
JP2009540403A (ja) 人物識別方法および撮影装置
EP4254037A3 (en) Real-time autofocus scanning
WO2017000576A1 (zh) 非接触式自动对焦方法和装置
US8295605B2 (en) Method for identifying dimensions of shot subject
US9116854B2 (en) Method of evaluating image correlation with speckle patter
TR201815022T1 (tr) Bi̇r opti̇k si̇stemi̇n odağinin pasi̇f olarak opti̇mi̇ze edi̇lmesi̇ i̇çi̇n si̇stem ve metot
WO2020195215A1 (ja) 画像処理装置および画像処理方法
JP4871691B2 (ja) 撮像装置及びその制御方法
KR101635602B1 (ko) 홍채 인식 방법 및 장치
JP4996568B2 (ja) 撮像装置および撮像装置の制御方法
TWI395047B (zh) 自動對焦方法以及使用該方法之影像擷取裝置
JP2022048077A (ja) 画像処理装置およびその制御方法
CN107147845B (zh) 对焦方法、装置和终端设备
JP2005063036A (ja) 物体追跡装置
TW202014665A (zh) 位置檢測方法及其電腦程式產品
KR20190129351A (ko) 얼굴 인식용 등록 영상 선별 장치 및 방법
CN113691731A (zh) 一种处理方法、装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779914

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508194

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020779914

Country of ref document: EP

Effective date: 20211025