WO2021199168A1 - 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021199168A1
WO2021199168A1 PCT/JP2020/014596 JP2020014596W WO2021199168A1 WO 2021199168 A1 WO2021199168 A1 WO 2021199168A1 JP 2020014596 W JP2020014596 W JP 2020014596W WO 2021199168 A1 WO2021199168 A1 WO 2021199168A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
subject
imaging
angle
view
Prior art date
Application number
PCT/JP2020/014596
Other languages
English (en)
French (fr)
Inventor
有加 荻野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/014596 priority Critical patent/WO2021199168A1/ja
Priority to EP20929603.7A priority patent/EP4131153A1/en
Priority to JP2022512909A priority patent/JP7367858B2/ja
Priority to US17/912,956 priority patent/US20230169793A1/en
Publication of WO2021199168A1 publication Critical patent/WO2021199168A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This disclosure relates to a non-transitory computer-readable medium containing an imaging system, imaging method and imaging program.
  • iris authentication using the iris of the eye is known.
  • iris recognition the iris of the subject is imaged using an imaging system, and the subject is registered and authenticated based on the captured iris image.
  • an imaging system an iris camera for capturing the iris of the subject and a camera for capturing the subject in a wider range than the iris camera are used.
  • Patent Documents 1 and 2 are known.
  • Patent Document 1 describes that a face camera is used to extract the height and face position of the subject, and the eyes of the subject are imaged from the iris camera based on the extracted information.
  • Patent Document 2 describes that by moving the cameras, the entire face and eyes of the subject are imaged without providing two cameras.
  • Patent Document 3 is known as a technique related to focus adjustment of a camera.
  • the purpose of this disclosure is to provide a non-temporary computer-readable medium in which an imaging system, an imaging method, and an imaging program that solve the above-mentioned problems are stored.
  • the imaging system is an iris image captured by an iris imaging means for capturing the iris of a subject at a first angle, or the subject at a second angle wider than the iris imaging means.
  • An acquisition means for acquiring the entire image captured by the overall imaging means for imaging a person, an estimation means for estimating the three-dimensional position of the target person included in the acquired overall image, and three-dimensionality of the target person. It is included in the selection means for selecting the coordinate conversion matrix that converts the position into the two-dimensional coordinates in the first angle, and the entire image corresponding to the estimated three-dimensional position based on the selected coordinate conversion matrix.
  • the iris imaging means is the subject's iris. It is provided with a setting means for setting parameters for imaging the image.
  • the imaging method is an iris image captured by an iris imaging means for capturing the iris of a subject at a first angle of view, or the subject at a second angle of view wider than the iris imaging means.
  • the whole image captured by the whole image pickup means for taking an image of a person is acquired, the three-dimensional position of the target person included in the acquired whole image is estimated, and the three-dimensional position of the target person is set to the first one.
  • a coordinate conversion matrix to be converted into two-dimensional coordinates at the angle of view is selected, and based on the selected coordinate conversion matrix, the coordinates of the eyes of the target person included in the entire image corresponding to the estimated three-dimensional position are described. It is converted into two-dimensional coordinates in the first angle of view, and parameters for the iris imaging means to image the subject's iris are set based on the converted eye coordinates of the subject. ..
  • the non-temporary computer-readable medium in which the imaging program according to the disclosure is stored is an iris image captured by the iris imaging means for capturing the subject's iris at the first angle of view, or the iris imaging means.
  • the entire image captured by the overall imaging means for imaging the subject with a wider second angle of view is acquired, the three-dimensional position of the subject included in the acquired overall image is estimated, and the above-mentioned A coordinate conversion matrix that converts the three-dimensional position of the target person into two-dimensional coordinates in the first angle of view is selected, and the entire image corresponding to the estimated three-dimensional position is based on the selected coordinate conversion matrix.
  • the coordinates of the eyes of the subject included in the above are converted into two-dimensional coordinates at the first angle of view, and the iris imaging means captures the iris of the subject based on the converted coordinates of the eyes of the subject.
  • It is a non-temporary computer-readable medium in which an imaging program for setting parameters for imaging and causing a computer to perform processing is stored.
  • FIG. 1 It is a block diagram which shows the structural example of the imaging system which concerns on the basic configuration of embodiment. It is a block diagram which shows the structural example of the control device which concerns on the basic structure of embodiment. It is a flowchart which shows the operation example of the image pickup system which concerns on the basic structure of embodiment. It is a figure for demonstrating the coordinate transformation process which concerns on the basic structure of embodiment. It is a block diagram which shows the structural example of the imaging system which concerns on Embodiment 1. FIG. It is a figure which shows the specific example of the look-up table which concerns on Embodiment 3. It is a block diagram which shows the structural example of the control device which concerns on Embodiment 3. FIG.
  • FIG. It is a flowchart which shows the operation example of the image pickup system which concerns on Embodiment 3. It is a flowchart which shows the operation example of the image pickup system which concerns on Embodiment 4.
  • FIG. It is a block diagram which shows the structural example of the control device which concerns on Embodiment 5. It is a flowchart which shows the operation example of the image pickup system which concerns on Embodiment 5.
  • FIG. 1 shows a configuration example of the imaging system 100 according to the basic configuration.
  • the imaging system 100 images the living body of the subject P (iris, retina, eyelashes, fingerprints, ears, and other parts of the body that can be photographed), and the registration process and the authentication process of the subject P are performed based on the captured biological image. It is a bioregistration authentication system that performs.
  • the imaging system 100 may perform both the registration process and the authentication process, or may perform only one of them.
  • a mode in which the iris is used as a living body will be described.
  • the imaging system 100 includes a plurality of iris cameras 110, an overall bird's-eye view camera 120, and a control device 130.
  • the imaging system 100 also includes lighting means such as an LED (Light Emitting Diode) that irradiates the iris of the subject P with illumination light.
  • the lighting means irradiates the target person P with the illumination light according to the control from the control device 130.
  • the iris camera 110 is an iris imaging device for imaging the iris of the subject P.
  • the resolution of the iris camera 110 is a resolution at which the iris pattern of the subject P can be extracted
  • the angle of view BF of the iris camera 110 is an angle of view including at least both eyes of the subject P.
  • the angle of view is the imaging range (field of view range) of the camera at the imaging point (position of the imaging target).
  • the iris camera 110 is composed of a general-purpose camera having 12 M pixels (horizontal 4000 pixels, vertical 3000 pixels) and 60 fps, which is becoming popular in industrial cameras and the like.
  • the distance from the camera (iris camera or overall bird's-eye view camera) to the imaging point is called depth, and in this example, the iris camera 110 images the subject P at the position of depth D.
  • the eye position (height) of the subject P differs depending on the height of the subject P. Therefore, for example, a plurality of iris cameras 110 are arranged vertically side by side according to the height of the subject P. In this example, three iris cameras 110-1 to 110-2 are arranged, but the number is not limited to three, and any number of iris cameras 110 may be arranged. For example, the number of iris cameras is set according to the angle of view, resolution, and the like of the iris camera 110. Further, if the angles of view of the plurality of iris cameras 110 are separated from each other, an area in which the iris cannot be imaged occurs. Therefore, the iris cameras 110-0 to 110-2 have an angle of view BF with the adjacent iris cameras. Are arranged so that they partially overlap.
  • the iris camera 110 capable of capturing the eyes of the subject P is selected by the control device 130, and the image (iris camera image) captured by the selected iris camera 110 is selected by the control device 130.
  • an imaging method for capturing the iris of the subject P with a camera selected from a plurality of iris cameras 110 will be described, but a similar imaging method can be obtained by moving one iris camera 110 in the vertical direction. It may be realized.
  • the camera in the initial state, the camera may be arranged at the position of the iris camera 110-0, and the camera may be moved in the vertical direction according to the position of the iris of the subject P at the time of iris shooting.
  • the image captured by the iris camera 110 may be referred to as a iris camera image, and the image focused on the iris among the iris camera images may be referred to as a iris image. They can be read as each other.
  • the ROI (Region of Interest) can be set in the angle of view BF, and the iris camera 110 captures an image within the set ROI range. Since both eyes of a person are aligned horizontally, the ROI is a rectangular area extending in the horizontal direction so that both eyes can be imaged. That is, the ROI is a region (iris imaging region) for imaging both eyes of the subject P within the angle of view of the iris camera 110.
  • the size of the ROI is predetermined. For example, the horizontal length (width) of the ROI is the same as the horizontal length of the angle of view BF, and the vertical length (height) of the ROI is. It is shorter than the vertical length of the angle of view BF (for example, about half of the angle of view BF).
  • the ROI is set by setting the position (height) in the vertical direction at the angle of view BF.
  • variable focus lens 111 is attached to each iris camera 110.
  • the varifocal lens 111 is, for example, a liquid lens, but may be another lens whose focal position can be controlled.
  • the liquid lens utilizes the fact that the curvature of the droplet changes depending on the input voltage, and can focus on different depth positions by changing the imaging position of the incident image on the lens.
  • focal scanning for scanning the focal position becomes possible.
  • the depth of field (focusing range) of the iris camera 110 is as narrow as about 1 cm.
  • iris camera image continuously captured in a predetermined wide range (scanning range) by performing burst imaging (continuous imaging) in which a fixed number of images are imaged at a high frame rate while performing focal scanning with the variable focus lens 111. It is possible to extract an iris image focused on the iris from.
  • the overall bird's-eye view camera 120 is an overall image pickup device for imaging (overlooking) the subject P in a wider range than the iris camera 110.
  • the resolution of the overall bird's-eye view camera 120 is a resolution at which the face and eyes of the subject P can be recognized.
  • the angle of view AF of the overall bird's-eye view camera 120 has a wider angle of view (including, for example, the angle of view BF of all the iris cameras 110) than the angle of view BF of the plurality of iris cameras 110, and is tall from a tall subject. It is an angle of view that can cover the entire area up to the subject with a low angle of view.
  • the overall bird's-eye view camera 120 is arranged above the iris cameras 110-0 to 110-2 arranged in the vertical direction, but the arrangement position is not limited, and is arranged below the iris cameras 110-0 to 110-2. You may.
  • the overall bird's-eye view camera 120 outputs an image (overall bird's-eye view image) captured by the angle of view AF to the control device 130.
  • the control device 130 is a control device that controls the imaging of a plurality of iris cameras 110-0 to 110-2 based on the overall bird's-eye view image captured by the overall bird's-eye view camera 120.
  • the control device 130 is also a registration authentication device that performs registration processing and authentication processing of the target person P based on the iris image.
  • the control device 130 includes a storage means for storing data necessary for processing of the control device 130.
  • the storage means includes a database 201 and a matrix storage unit 202.
  • the database 201 and the matrix storage unit 202 are a non-volatile memory such as a flash memory, a hard disk device, or the like, and may be provided inside the control device 130 or outside the control device 130.
  • the database 201 is a database for registering iris information based on the iris image of the target person in order to authenticate the target person.
  • the matrix storage unit 202 stores a coordinate conversion matrix for converting the coordinates (two-dimensional coordinates) of the angle of view AF of the overall bird's-eye view camera 120 into the coordinates (two-dimensional coordinates) of the angle of view BF of the iris camera 110.
  • the coordinate transformation matrix is a transformation matrix that converts the camera parameters of the overall bird's-eye view camera 120 into the camera parameters of the iris camera 110.
  • FIG. 2 shows a configuration example of the control device according to the basic configuration.
  • the control device 130 includes an overall bird's-eye view image acquisition unit 131, an eye detection unit 132, a coordinate conversion unit 133, an iris camera setting unit 134, a lens focus control unit 135, an iris image acquisition unit 136, and a registration authentication unit. It is equipped with 137.
  • the control device 130 is realized by, for example, a computer device such as a server or a personal computer, but it may be realized by one device or a plurality of devices.
  • the registration / authentication unit 137 or the like may be a device different from the control device 130.
  • the overall bird's-eye view image acquisition unit 131 acquires an overall bird's-eye view image (overall bird's-eye view image) obtained by the overall bird's-eye view camera 120 capturing the target person P. It can be said that the overall bird's-eye view image acquisition unit 131 is a capture unit that acquires an image (video) captured by the overall bird's-eye view camera 120 within the range of the angle of view AF.
  • the eye detection unit 132 detects the eye region of the target person P from the overall bird's-eye view image acquired by the overall bird's-eye view image acquisition unit 131.
  • the eye detection unit 132 may directly detect the eye area from the whole bird's-eye view image, or detect the face area from the whole bird's-eye view image and detect the eye area from the detected face area. It may be detected.
  • the eye detection unit 132 recognizes a face pattern from an image and extracts a face region, and recognizes an eye (iris) pattern from the image and extracts an eye (iris) region. do.
  • the coordinate conversion unit 133 determines the coordinates of the iris camera 110 in the angle of view BF of the eye region detected by the eye detection unit 132 based on the correspondence between the angle of view (camera parameters) between the overall bird's-eye view camera 120 and the iris camera 110. calculate.
  • the coordinate conversion unit 133 uses the coordinate conversion matrix of the matrix storage unit 202 to convert the detected coordinates in the overall bird's-eye view image (angle of view AF) of the eye into the coordinates of the iris camera image (angle of view BF) of the iris camera 110. Convert.
  • the iris camera setting unit 134 captures the iris of the subject P on any of the plurality of iris cameras 110 based on the coordinates of the eye region in the angle of view BF of the iris camera 110 calculated by the coordinate conversion unit 133. Make the necessary settings for.
  • the iris camera setting unit 134 selects the iris camera 110 suitable for capturing the iris of the subject P according to the position of the eyes of the angle of view BF, and sets the ROI in the angle of view BF of the selected iris camera 110. do. That is, the iris camera setting unit 134 is also a selection unit that selects the iris camera 110 that captures the iris of the subject P.
  • the lens focus control unit 135 drives the variable focus lens 111 of the iris camera 110 selected by the iris camera setting unit 134, and controls the focal position of the iris camera 110 to move within a predetermined scanning range.
  • the iris image acquisition unit 136 acquires an iris camera image (iris image) captured by the iris camera 110 selected and set by the iris camera setting unit 134.
  • the iris camera 110 burst-images the ROI by focus scanning of the variable focus lens 111, and the iris image acquisition unit 136 acquires a plurality of burst-imaged iris camera images.
  • the iris image focused on the iris is extracted from the iris camera image. It can be said that the iris image acquisition unit 136 is a capture unit that acquires an image captured by the iris camera 110 within the range of ROI.
  • the registration authentication unit 137 performs registration processing and authentication processing of the target person P using the iris image acquired by the iris image acquisition unit 136. For example, the registration authentication unit 137 registers the iris information based on the iris image acquired by the iris image acquisition unit 136 in the database 201. Further, the registration authentication unit 137 authenticates the target person by comparing the iris information based on the iris image acquired by the iris image acquisition unit 136 with the iris information registered in the database 201.
  • FIG. 3 shows an operation example of the imaging system according to the basic configuration.
  • the overall bird's-eye view camera 120 captures an overall bird's-eye view image including the subject P (S101).
  • the overall bird's-eye view camera 120 takes an image at an angle of view AF and outputs an overall bird's-eye view image including the imaged target person P to the control device 130. do.
  • the control device 130 detects the position of the eyes of the subject P from the captured overall bird's-eye view image (S102).
  • the eye detection unit 132 detects the eyes of the target person P in the overall bird's-eye view image. For example, when detecting a face, the eye detection unit 132 extracts an edge (contour) from the overall bird's-eye view image, matches the image pattern of the area surrounded by the extracted edge with the image pattern of a predetermined face, and faces. Detect the area of. Further, the eye detection unit 132 extracts an eye (iris) pattern from an image of a face region or an overall bird's-eye view image. For example, a process of extracting a circular pattern from a target image is performed, and the extracted circular position is detected as the position of the eye (iris).
  • the control device 130 converts the coordinates of the detected eye position (S103).
  • the coordinate conversion unit 133 converts the eye coordinates in the overall bird's-eye view image into the coordinates of the iris camera image (angle of view BF) of the iris camera 110.
  • FIG. 4 shows an image of the coordinate conversion process of the eyes in the coordinate conversion unit 133.
  • the coordinate conversion matrix projection transformation matrix
  • the coordinate transformation matrix is a 3 ⁇ 3 matrix and can be obtained from the position of the depth D and the camera parameters of each camera.
  • This coordinate conversion matrix is obtained for the number of iris cameras 110, and the obtained plurality of coordinate conversion matrices (H wn0 , Hwn1 , Hwn2, ...) Are stored in the matrix storage unit 202.
  • the coordinate conversion unit 133 converts the eye coordinates in the overall bird's-eye view image (angle of view AF) of the overall bird's-eye view camera 120 into the coordinates of the angle of view BF of the iris camera 110 by using the coordinate conversion matrix for each iris camera 110.
  • the coordinates u w are set to a plurality of coordinate transformation matrices (H wn0 , H wn1 , H). Convert by wn2 ).
  • the position of the eyes of the subject P is expected to be captured by the coordinates u n0 on angle BF0 iris camera 110-0.
  • the control device 130 selects the iris camera 110 and sets the ROI (S104).
  • the iris camera setting unit 134 selects the iris camera 110 for capturing the iris of the subject P based on the converted coordinates, and further sets the ROI to the selected iris camera 110. Set.
  • the iris camera is to coordinate transformation using a plurality of coordinate transformation matrix (H wn0, H wn1, H wn2 ⁇ ), estimated from the u ni after converting the iris of a subject P and imageable Select 110.
  • the angle of view BF of the iris camera 110 including the coordinates of the converted eye is determined.
  • the iris camera 110-0 is selected as the iris camera for capturing the iris of the subject P. do.
  • the iris camera setting unit 134 sets the ROI so as to include the coordinates of the converted eye. For example, when the iris camera 110-0 is selected, the ROI is set so that the coordinates of the converted eye are the center of the ROI (center in the vertical direction) in the angle of view BF0.
  • the iris camera 110 captures the iris of the subject P (S105).
  • the iris camera setting unit 134 selects the iris camera 110 and sets the ROI, outputs a trigger for starting imaging to the iris camera 110, and the lens focus control unit 135 further adjusts the variable focus of the selected iris camera 110.
  • the focus scanning drive of the lens 111 is started.
  • the iris camera 110 starts burst imaging of the ROI in a predetermined scanning range, and outputs a plurality of continuously captured iris camera images (burst images) to the control device 130.
  • the control device 130 extracts an iris image focused on the iris (S106).
  • the iris image acquisition unit 136 extracts the iris image focused on the subject P's iris from the acquired plurality of burst images.
  • the control device 130 registers or authenticates the target person P (S107).
  • the registration authentication unit 137 performs registration processing or authentication processing based on the extracted iris image.
  • the registration authentication unit 137 extracts the feature amount from the iris pattern of the iris image and registers the extracted feature amount in the database 201.
  • the registered authentication unit 137 extracts the feature amount from the iris pattern of the iris image, collates the extracted feature amount with the feature amount registered in the database 201, and based on the similarity score. Determine match / mismatch.
  • the angle of view is associated between the overall bird's-eye view camera and the iris camera in advance, and the eye coordinates within the angle of view of the iris camera are calculated from the eye detection result in the overall bird's-eye view image.
  • the iris camera is selected and the ROI is set based on the coordinates of the eyes.
  • the basic configuration assumes that the target person is standing at a predetermined depth position (depth D). Therefore, if the position of the subject deviates from the predetermined depth position, the ROI (imaging range) of the selected and set iris camera may deviate from the actual eye position of the subject.
  • the coordinate conversion matrix prepared in advance is a coordinate conversion matrix (H wn0D , H wn1D , H wn2D ).
  • the imaging position is only the depth D for each of the plurality of iris cameras. .. Since the depth of the target person differs depending on the standing position and posture of the target person, if the coordinate conversion is performed using this coordinate conversion matrix, an error occurs in the coordinates after the conversion. Then, due to the deviation of the depth position of the subject, the image captured by the iris camera may not include the iris, and the imaging of the iris may fail.
  • the iris of the subject can be appropriately imaged by the iris camera.
  • FIG. 5 shows a configuration example of the imaging system according to the present embodiment.
  • the imaging system (imaging apparatus) 10 includes an acquisition unit 11, an estimation unit 12, a selection unit 13, a conversion unit 14, and a setting unit 15.
  • the acquisition unit 11 is for capturing the iris image captured by the iris camera for capturing the iris of the subject at the first angle of view, or for capturing the subject at a second angle of view wider than that of the iris imaging camera. Acquires the overall bird's-eye view image captured by the overall bird's-eye view camera.
  • the estimation unit 12 estimates the three-dimensional position of the target person included in the entire image acquired from the overall bird's-eye view camera.
  • the selection unit 13 selects a coordinate conversion matrix that converts the three-dimensional position of the target person into the two-dimensional coordinates at the first angle of view.
  • a perspective projection matrix P [RT] (a transformation matrix that can be indicated by a three-dimensional rotation matrix R and a three-dimensional translation vector T) from the overall bird's-eye view camera coordinates to the iris camera coordinates and an internal parameter matrix of the iris camera in advance.
  • Find A (for example, store it in the matrix storage unit).
  • P and A are different by the number of iris cameras.
  • the selection unit 13 selects a coordinate conversion matrix that converts the three-dimensional coordinates on the overall bird's-eye view camera coordinates into the two-dimensional coordinates on the angle of view of the iris camera.
  • the selection unit 13 is selected from a plurality of coordinate conversion matrices for converting the two-dimensional coordinates in the second angle of view, which are prepared corresponding to the three-dimensional positions of the target person, into the two-dimensional coordinates in the first angle of view.
  • the coordinate conversion matrix according to the estimated three-dimensional position may be selected.
  • the conversion unit 14 converts the coordinates of the eyes of the target person included in the overall bird's-eye view image corresponding to the estimated three-dimensional position into the two-dimensional coordinates in the first angle of view.
  • the setting unit 15 sets parameters for the iris camera to image the iris of the subject based on the converted coordinates of the subject's eyes.
  • the coordinate conversion matrix that converts the three-dimensional position (depth) to be imaged in advance into the two-dimensional coordinates of the angle of view of the iris camera, or the two-dimensional coordinates of the angle of view of the overall bird's-eye camera is iris.
  • a plurality of coordinate conversion matrices for converting the angle of view of the camera into two-dimensional coordinates are prepared corresponding to the three-dimensional positions, and when the whole bird's-eye view camera images the target person, it corresponds to the estimated position of the imaged target person. Select the coordinate transformation matrix.
  • the coordinate conversion can be performed according to the actual position of the target person, so that the parameters of the iris camera can be appropriately set and the iris of the target person can be imaged.
  • the ROI including the target person's eyes within the first angle of view of the iris camera based on the converted target person's eye coordinates.
  • the ROI By setting the ROI as a parameter of the iris camera, the iris of the subject can be reliably imaged.
  • the present embodiment is an example in which the depth position of the target person is estimated and a coordinate transformation matrix suitable for the estimated depth position is selected in the imaging system having the basic configuration.
  • the configuration of the imaging system according to the present embodiment is the same as that in FIG.
  • a plurality of coordinate transformation matrices corresponding to the depth position are stored in the matrix storage unit 202 of the control device 130.
  • a look-up table in which a plurality of coordinate transformation matrices of the iris camera 110 are set for each depth position is stored.
  • Set the depth positions to D0, D1, D2, prepare coordinate transformation matrices (H wn0D0, H wn1D0 , H wn2D0 ...) of a plurality of iris cameras 110 for the depth D0, and prepare a plurality of iris cameras for the depth D1.
  • Each coordinate transformation matrix can be obtained in advance in the same way as the basic configuration. That is, assuming that the target person P stands at depths D0, D1, and D2, the coordinate conversion matrix for depths D0, D1, and D2 is obtained from the positions of depths D0, D1, and D2 and the camera parameters of each camera, respectively. ..
  • FIG. 7 shows a configuration example of the control device 130 according to the present embodiment.
  • the depth estimation unit 138 is further provided as compared with the configuration of FIG.
  • the depth estimation unit 138 estimates the depth position of the subject P captured by the overall bird's-eye view camera 120. It suffices if the depth position of the subject P can be roughly estimated, and the estimation method is not limited.
  • the coordinate conversion unit 133 selects and selects the coordinate conversion matrix from the lookup table of the matrix storage unit 202 according to the depth position of the target person P estimated by the depth estimation unit 138.
  • the coordinate transformation matrix is used to transform the coordinates of the imaged subject P's eyes.
  • FIG. 8 shows an operation example of the imaging system according to the present embodiment.
  • the depth estimation process (S201) and the coordinate transformation matrix selection process (S202) of the target person are added as compared with the operation of FIG. That is, as in FIG. 3, the overall bird's-eye view camera 120 captures the entire bird's-eye view image (S101), and the control device 130 detects the position of the eyes of the subject P from the overall bird's-eye view image (S102).
  • the depth estimation unit 138 of the control device 130 estimates the depth position of the target person P (S201). For example, the depth estimation unit 138 estimates (detects) the depth position of the target person P by using the focus control of the overall bird's-eye view camera 120 and various sensors as in the embodiment described later.
  • the coordinate conversion unit 133 of the control device 130 selects a coordinate conversion matrix for converting the coordinates of the eye position of the target person P (S202).
  • the coordinate conversion unit 133 refers to the lookup table of the matrix storage unit 202 and selects the coordinate conversion matrix corresponding to the estimated depth position. For example, in the look-up table of FIG. 6, when the estimated depth position is D1, the coordinate transformation matrix (H wn0D1 , H wn1D1 , H wn2D1, ...) Is selected.
  • the control device 130 transforms the coordinates of the eye position of the subject P using the selected coordinate transformation matrix (S103), and selects the ROI based on the transformed coordinates.
  • Do (S104) For example, when a coordinate transformation matrix (H wn0D1 , H wn1D1 , H wn2D1 ...) Is selected, coordinate transformation is performed using these coordinate transformation matrices, and imaging is performed from an angle BF including the converted eye coordinates.
  • the iris of the subject P may be imaged and the subject P may be registered or authenticated (S105 to S107).
  • the depth position of the target person is roughly estimated, the coordinates of the target person's eyes are converted using the coordinate conversion matrix corresponding to the estimated depth position, and the coordinates are converted into the converted coordinates. Based on this, the ROI of the iris camera is set. As a result, coordinate conversion suitable for the position of the target person can be performed, so that the deviation between the set ROI and the actual eye position can be suppressed, and the iris of the target person can be reliably imaged. ..
  • FIG. 9 shows an operation example of the imaging system according to the present embodiment.
  • the control device 130 selects the iris camera based on the coordinates of the eyes of the subject P converted using the coordinate transformation matrix. For example, when a coordinate transformation matrix (H wn0D1 , H wn1D1 , H wn2D1 ...) Is selected, coordinate transformation is performed using these coordinate transformation matrices, and imaging is performed from an angle BF including the converted eye coordinates. Select the iris camera 110 to be used.
  • a coordinate transformation matrix H wn0D1 , H wn1D1 , H wn2D1 .
  • the coordinates of the eyes of the target person are converted using the coordinate conversion matrix corresponding to the estimated depth position, and the iris camera is selected based on the converted coordinates.
  • This embodiment is an example of setting the focal position of the iris camera according to the estimated depth position of the subject in the imaging system of the third or fourth embodiment.
  • the configuration of the imaging system according to the present embodiment is the same as that of the third or fourth embodiment.
  • FIG. 10 shows a configuration example of the control device 130 according to the present embodiment.
  • the lens control value selection unit 139 is further provided as compared with the configuration of FIG.
  • the lens control value selection unit 139 sets the focal position of the iris camera 110 according to the depth position of the subject P estimated by the depth estimation unit 138.
  • FIG. 11 shows an operation example of the imaging system according to the present embodiment.
  • the focus setting process (S203) is added as compared with the operation of FIG. 8 or 9. That is, as in FIG. 8 or 9, after capturing the overall bird's-eye view image, the control device 130 transforms the coordinates of the eye position using a coordinate transformation matrix according to the estimated depth position of the subject P. , Select the iris camera and select the ROI (S101 to S102, S201 to S202, S103 to S104).
  • the lens control value selection unit 139 of the control device 130 sets the focal position of the iris camera 110 (S203).
  • the lens control value selection unit 139 sets the focal position corresponding to the estimated depth position.
  • the iris camera 110 captures the iris of the subject P according to the set focal position (S105).
  • the lens focus control unit 135 drives the variable focus lens 111 of the iris camera 110 according to the set focal position, and the iris camera 110 performs burst imaging of the ROI in the range in which the variable focus lens 111 is driven.
  • the iris image may be extracted and the subject P may be registered or authenticated in the same manner as in FIG. 8 or 9 (S106 to S107).
  • the focal position (scanning position) of the iris camera is set according to the estimated depth position of the subject.
  • the focal position of the iris camera may be set according to the depth position of the subject as in the present embodiment without selecting the coordinate transformation matrix described in the first embodiment.
  • the sixth embodiment will be described.
  • the configuration of the imaging system according to the present embodiment is the same as that of the fifth embodiment.
  • the lens control value selection unit 139 sets the scanning range for burst imaging of the iris camera 110 according to the depth position of the target person P estimated by the depth estimation unit 138. As a result, it is possible to reliably capture an image in focus on the iris of the subject within the set scanning range.
  • the lens control value selection unit 139 sets the lens focus drive value of the variable focus lens 111 of the iris camera 110 according to the depth position of the subject P estimated by the depth estimation unit 138.
  • the lens control value selection unit 139 stores a lens control table associated with the lens focus drive value set for each depth in the storage means, and selects the lens focus drive value based on the lens control table.
  • the lens focus drive value according to the depth position may be obtained by using a predetermined calculation formula. As a result, the focus of the iris camera can be controlled with high accuracy.
  • the eighth embodiment will be described.
  • the depth position of the subject is estimated by using the focusing value of the varifocal lens of the overall bird's-eye view camera. Is.
  • FIG. 12 shows a configuration example of the imaging system 100 according to the present embodiment.
  • the variable focus lens 121 is attached to the overall bird's-eye view camera 120 as compared with the configuration of FIG.
  • the varifocal lens 121 is, for example, a liquid lens, like the varifocal lens 111 of the iris camera 110, but may be another lens whose focal position can be controlled.
  • the depth estimation unit 138 of the control device 130 estimates the depth based on the focal position focused on the subject P in the overall bird's-eye view image.
  • the depth position of the target person P may be estimated based on the focal position focused on the target person in the overall bird's-eye view image. This makes it possible to set the iris camera more appropriately.
  • the ninth embodiment will be described.
  • the configuration of the imaging system according to the present embodiment is the same as that of the eighth embodiment.
  • the depth estimation unit 138 estimates the depth based on the position focused on the face area of the subject P.
  • the variable focus lens 121 is driven to move the focal position, and the focal position focused on the facial region is detected.
  • focusing is detected when the contrast of the face area is the largest, and the depth position (distance from the overall bird's-eye view camera 120 to the face of the subject P) is estimated from the lens drive value when the focusing is detected. ..
  • the focal positions are driven to F0 to F2 to image the images G0 to G2, and since the contrast of the image G1 is the largest, it is determined that the image G1 is an image focused on the face. Then, the depth D1 corresponding to the focal position when the image G1 is imaged is used as the estimated depth of the subject P.
  • the difference between the focal position focused on the face and the depth position of the eyes (iris) may be stored in the table, and the estimated depth position may be corrected according to the value in the table. For example, a correction value may be prepared for each height.
  • the depth position of the subject P may be estimated based on the focal position focused on the area of the subject's face in the overall bird's-eye view image. As a result, the depth position of the eyes can be grasped more accurately, and the iris camera can be set appropriately according to the depth position of the eyes.
  • the depth estimation unit 138 drives the variable focus lens 121 of the overall bird's-eye view camera 120, and is based on the lens focus drive value of the focal position focused on the face region of the subject P in the overall bird's-eye view image. Estimate the depth. For example, a depth table in which the depth position is associated with each lens focus drive value may be stored in the storage means, and the depth may be estimated based on the depth table. As a result, the depth can be estimated accurately based on the in-focus position.
  • This embodiment is an example of estimating the depth position of the subject using a depth sensor as a specific example of the depth estimation in the imaging system according to any one of the third to seventh embodiments.
  • FIG. 14 shows a configuration example of the imaging system 100 according to the present embodiment.
  • the depth sensor 140 is further provided as compared with the configuration of FIG.
  • the depth sensor 140 detects the depth Di of the subject P.
  • the depth sensor 140 is installed at the same position as the iris camera or the overall bird's-eye view camera, and the depth (distance) from the iris camera or the overall bird's-eye view camera to the subject P is measured.
  • the depth estimation unit 138 estimates the depth based on the specific result of the depth sensor 140.
  • the depth sensor 140 is, for example, an ultrasonic sensor or a millimeter wave sensor. It is preferable not to use an optical sensor (ToF: Time Of Flight) having the same wavelength as the illumination means for the iris. Further, instead of the depth sensor 140, the whole bird's-eye view camera may be used as a stereo camera to detect the depth of the target person P. The depth may be estimated based on the depth of the subject P obtained from the overall bird's-eye view image captured by the stereo camera.
  • ToF Time Of Flight
  • the depth position of the target person P may be estimated by using the depth sensor.
  • the depth position of the target person can be surely grasped, and the iris camera can be appropriately set according to the depth position of the target person.
  • the present embodiment is an example in which the stereo camera is provided as the overall bird's-eye view camera in the imaging system according to any one of the third to seventh embodiments.
  • the stereo camera is provided as the overall bird's-eye view camera
  • the depth of the subject P may be detected.
  • the depth may be estimated based on the depth of the subject P obtained from the overall bird's-eye view image captured by the stereo camera.
  • the iris camera can be appropriately set according to the depth position of the target person.
  • the present embodiment is an example of estimating the depth position of the target person by using a plurality of detection sensors as a specific example of the depth estimation in the imaging system according to any one of the third to seventh embodiments.
  • FIG. 15 shows a configuration example of the imaging system 100 according to the present embodiment.
  • a plurality of detection sensors 150 are further provided as compared with the configuration of FIG.
  • the detection sensor 150 is a human detection sensor capable of detecting the presence of a person, and is, for example, an infrared sensor.
  • the detection sensor 150 turns on the output signal when there is a person in front of the sensor, and turns off the output signal when there is no person in front of the sensor.
  • the depth estimation unit 138 estimates the depth based on the detection result of the detection sensor 150.
  • a plurality of detection sensors 150 are installed at equal intervals in the depth direction.
  • the detection sensors 150-0 to 150-3 are installed at the positions of the depths D0 to D3, respectively.
  • the position corresponding to the sensor that detects a person and outputs an ON signal is estimated as the depth position of the target person P.
  • the depth position of the target person P may be estimated by using a plurality of detection sensors.
  • the depth position of the target person can be surely grasped, and the iris camera can be appropriately set according to the depth position of the target person.
  • each configuration in the above-described embodiment is composed of hardware and / or software, and may be composed of one hardware or software, or may be composed of a plurality of hardware or software.
  • Each device and each function (process) may be realized by a computer 20 having a processor 21 and a memory 22 which is a storage device as shown in FIG.
  • a program for performing the method in the embodiment (for example, an imaging method in the control device) may be stored in the memory 22, and each function may be realized by executing the program stored in the memory 22 on the processor 21.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • DSP digital signal processor
  • ASIC application
  • a plurality of these may be used in parallel.
  • Non-temporary computer-readable media include various types of tangible storage mediums. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) An iris image captured by an iris imaging means for imaging the subject's iris at the first angle of view, or an overall image for imaging the subject at a second angle of view wider than the iris imaging means.
  • An imaging system An imaging system.
  • the selection means is in a plurality of coordinate conversion matrices for converting the two-dimensional coordinates in the second angle of view prepared corresponding to the three-dimensional position of the target person into the two-dimensional coordinates in the first angle of view. Select the coordinate conversion matrix according to the estimated three-dimensional position from The imaging system according to Appendix 1.
  • the setting means sets an ROI (Region Of Interest) including the target person's eyes within the first angle of view based on the converted coordinates of the target person's eyes.
  • As the iris imaging means a plurality of iris imaging means are provided.
  • the setting means selects an iris imaging means for imaging the subject from the plurality of iris imaging means based on the converted coordinates of the subject's eyes.
  • the imaging system according to any one of Appendix 1 to 3.
  • the setting means sets the focal position of the iris imaging means based on the estimated three-dimensional position.
  • the setting means sets the focal scanning range of the iris imaging means based on the estimated three-dimensional position.
  • the iris imaging means includes a varifocal lens.
  • the setting means sets the lens focus drive value of the varifocal lens based on the estimated three-dimensional position.
  • the estimation means estimates the three-dimensional position of the target person based on the focal position focused on the target person in the whole image.
  • the imaging system according to any one of Appendix 1 to 7. (Appendix 9) The estimating means estimates the three-dimensional position of the subject based on the focal position focused on the area of the subject's face in the overall image.
  • the imaging system according to Appendix 8. (Appendix 10) The whole imaging means includes a varifocal lens.
  • the estimation means estimates the three-dimensional position of the subject based on the lens focus drive value of the varifocal lens at the focused focal position.
  • the imaging system according to Appendix 8 or 9. (Appendix 11) A depth sensor for measuring the depth from the whole imaging means or the iris imaging means to the subject is provided.
  • the estimation means estimates the three-dimensional position of the target person based on the depth of the target person measured by the depth sensor.
  • the imaging system according to any one of Appendix 1 to 7. (Appendix 12)
  • the whole imaging means is a stereo camera.
  • the estimation means estimates the three-dimensional position of the target person based on the depth of the target person obtained from the whole image captured by the stereo camera.
  • the imaging system according to any one of Appendix 1 to 7. (Appendix 13) Equipped with a plurality of human detection sensors installed corresponding to the three-dimensional position, The estimation means estimates the three-dimensional position of the target person based on the detection results of the target person by the plurality of person detection sensors.
  • the coordinates of the eyes of the subject included in the entire image corresponding to the estimated three-dimensional position are converted into the two-dimensional coordinates at the first angle of view.
  • the iris imaging means sets parameters for imaging the subject's iris. Imaging method.
  • an ROI (Region Of Interest) including the target person's eyes is set in the first angle of view based on the converted coordinates of the target person's eyes.
  • the estimation is made from a plurality of coordinate conversion matrices for converting the two-dimensional coordinates in the second angle of view, which are prepared corresponding to the three-dimensional positions of the target person, into the two-dimensional coordinates in the first angle of view.
  • Select the coordinate conversion matrix according to the 3D position Based on the selected coordinate transformation matrix, the two-dimensional coordinates of the subject's eyes included in the overall image are converted into the two-dimensional coordinates at the first angle of view.
  • the iris imaging means sets parameters for imaging the subject's iris.
  • An imaging program that allows a computer to perform processing. (Appendix 17) In the setting, an ROI (Region Of Interest) including the target person's eyes is set in the first angle of view based on the converted coordinates of the target person's eyes.
  • the imaging program according to Appendix 16.
  • Imaging system 11 Acquisition unit 12 Estimating unit 13 Selection unit 14 Conversion unit 15 Setting unit 20 Computer 21 Processor 22 Memory 100 Imaging system 110 Iridescent camera 111 Variable focus lens 120 Overall bird's-eye view camera 121 Variable focus lens 130 Control device 131 Overall bird's-eye view image acquisition Unit 132 Eye detection unit 133 Coordinate conversion unit 134 Iridescent camera setting unit 135 Lens focus control unit 136 Iridescent image acquisition unit 137 Registration authentication unit 138 Depth estimation unit 139 Lens control value selection unit 140 Depth sensor 150 Detection sensor 201 Database 202 Matrix storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

この開示に係る撮像システム（１０）は、対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、虹彩撮像手段よりも広い第２の画角で対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得部（１１）と、取得された全体画像に含まれる対象者の３次元位置を推定する推定部（１２）と、対象者の３次元位置を第１の画角における２次元座標に変換する座標変換行列を選択する選択部（１３）と、選択された座標変換行列に基づいて、推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を第１の画角における２次元座標に変換する変換部（１４）と、変換された対象者の目の座標に基づいて、虹彩撮像手段が対象者の虹彩を撮像するためのパラメータを設定する設定部（１５）と、を備える。

Description

撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体
　この開示は、撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　生体認証の一つとして、目の虹彩を用いる虹彩認証が知られている。虹彩認証では、撮像システムを用いて対象者の虹彩が撮像され、撮像された虹彩画像に基づいて対象者の登録や認証が行われる。このような撮像システムでは、対象者の虹彩を撮像するための虹彩カメラと、虹彩カメラよりも広い範囲で対象者を撮像するためのカメラが用いられる。
　関連する技術として、例えば、特許文献１及び２が知られている。特許文献１には、顔カメラを用いて対象者の身長や顔の位置を抽出し、抽出された情報に基づいて虹彩カメラから対象者の目を撮像することが記載されている。また、特許文献２には、カメラを移動させることで、２台のカメラを設けることなく、対象者の顔全体と目を撮像することが記載されている。その他、カメラの焦点調節に関連する技術として、特許文献３が知られている。
国際公開第２００９／０１６８４６号 特開２００４－２８７６２１号公報 国際公開第２０１４／２０８４８８号
　上記のような撮像システムにおいては、対象者の目を含む領域を虹彩カメラにより適切に撮像することが求められる。
　この開示の目的は、上述した課題を解決する撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
　この開示に係る撮像システムは、対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、前記取得された全体画像に含まれる対象者の３次元位置を推定する推定手段と、前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択する選択手段と、前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換する変換手段と、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、を備えるものである。
　この開示に係る撮像方法は、対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、前記取得された全体画像に含まれる対象者の３次元位置を推定し、前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択し、前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換し、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定するものである。
　この開示に係る撮像プログラムが格納された非一時的なコンピュータ可読媒体は、対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、前記取得された全体画像に含まれる対象者の３次元位置を推定し、前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択し、前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換し、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、処理をコンピュータに実行させるための撮像プログラムが格納された非一時的なコンピュータ可読媒体である。
実施の形態の基本構成に係る撮像システムの構成例を示す構成図である。 実施の形態の基本構成に係る制御装置の構成例を示す構成図である。 実施の形態の基本構成に係る撮像システムの動作例を示すフローチャートである。 実施の形態の基本構成に係る座標変換処理を説明するための図である。 実施の形態１に係る撮像システムの構成例を示す構成図である。 実施の形態３に係るルックアップテーブルの具体例を示す図である。 実施の形態３に係る制御装置の構成例を示す構成図である。 実施の形態３に係る撮像システムの動作例を示すフローチャートである。 実施の形態４に係る撮像システムの動作例を示すフローチャートである。 実施の形態５に係る制御装置の構成例を示す構成図である。 実施の形態５に係る撮像システムの動作例を示すフローチャートである。 実施の形態８に係る撮像システムの構成例を示す構成図である。 実施の形態９に係る奥行推定処理を説明するための図である。 実施の形態１１に係る撮像システムの構成例を示す構成図である。 実施の形態１３に係る撮像システムの構成例を示す構成図である。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。
　以下、図面を参照して実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
（実施の形態の基本構成）
　まず、実施の形態を適用する基本構成について説明する。図１は、基本構成に係る撮像システム１００の構成例を示している。撮像システム１００は、対象者Ｐの生体（虹彩、網膜、まつ毛、指紋、耳、など撮影可能な身体の一部）を撮像し、撮像した生体画像に基づいて対象者Ｐの登録処理及び認証処理を行う生体登録認証システムである。なお、撮像システム１００は、登録処理及び認証処理の両方を行ってもよいし、いずれか一方のみを行ってもよい。以下の実施の形態では生体として虹彩を用いる形態を説明する。
　図１に示すように、撮像システム１００は、複数の虹彩カメラ１１０、全体俯瞰カメラ１２０、制御装置１３０を備えている。なお、図示を省略するが、撮像システム１００は、その他に、対象者Ｐの虹彩に照明光を照射するＬＥＤ（Light Emitting Diode）等の照明手段を備えている。照明手段は、虹彩カメラ１１０が対象者Ｐを撮像する際に、制御装置１３０からの制御に応じて対象者Ｐに照明光を照射する。
　虹彩カメラ１１０は、対象者Ｐの虹彩を撮像するための虹彩撮像装置である。虹彩カメラ１１０の解像度は、対象者Ｐの虹彩パターンを抽出可能な解像度であり、虹彩カメラ１１０の画角ＢＦは、少なくとも対象者Ｐの両目を含む画角である。なお、画角とは、撮像地点（撮像対象の位置）におけるカメラの撮像範囲（視野範囲）である。虹彩カメラ１１０は、例えば、産業用カメラなどで普及品となりつつある、１２Ｍ画素（水平４０００画素、垂直３０００画素）かつ６０ｆｐｓの汎用カメラで構成される。カメラ（虹彩カメラまたは全体俯瞰カメラ）から撮像地点までの距離を奥行と呼び、この例では、虹彩カメラ１１０は、奥行Ｄの位置の対象者Ｐを撮像する。
　対象者Ｐの目の位置（高さ）は対象者Ｐの身長によって異なる。このため、例えば、対象者Ｐの身長別に、複数の虹彩カメラ１１０が垂直方向に並べて配置されている。この例では、３台の虹彩カメラ１１０－１～１１０－２が配置されるが、３台に限らず、任意の数の虹彩カメラ１１０を配置してもよい。例えば、虹彩カメラの数は、虹彩カメラ１１０の画角や解像度などに応じて設定される。また、複数の虹彩カメラ１１０の画角の間が離れていると虹彩を撮像できない領域が発生するため、虹彩カメラ１１０－０～１１０－２は、それぞれ隣接する虹彩カメラとの間で画角ＢＦが一部重複するように配置されている。
　虹彩カメラ１１０－０～１１０－２のうち対象者Ｐの目を撮像し得る虹彩カメラ１１０が制御装置１３０により選択され、選択された虹彩カメラ１１０が撮像した画像（虹彩カメラ画像）を制御装置１３０へ出力する。ここでは、複数の虹彩カメラ１１０の中から選択されたカメラにより対象者Ｐの虹彩を撮像する撮像方法について説明するが、一台の虹彩カメラ１１０を垂直方向に移動させることで同様の撮像方法を実現してもよい。例えば、初期の状態では虹彩カメラ１１０－０の位置にカメラを配置し、虹彩撮影時に対象者Ｐの虹彩の位置に応じて垂直方向にカメラを移動させてもよい。なお、虹彩カメラ１１０が撮像した画像を虹彩カメラ画像と呼び、虹彩カメラ画像のうち虹彩に合焦した画像を虹彩画像と呼ぶ場合があるが、特に限定されない限り、虹彩カメラ画像と虹彩画像とは互いに読み替え可能である。
　画角ＢＦの中にＲＯＩ（Region of Interest：注視領域）が設定可能であり、虹彩カメラ１１０は、設定されたＲＯＩの範囲で画像を撮像する。人の両目は水平方向に並ぶため、ＲＯＩは、両目を撮像できるように、水平方向を長手方向として延びる矩形の領域である。すなわち、ＲＯＩは、虹彩カメラ１１０の画角内で対象者Ｐの両目を撮像するための領域（虹彩撮像領域）である。ＲＯＩのサイズは予め決められており、例えば、ＲＯＩの水平方向の長さ（幅）は、画角ＢＦの水平方向の長さと同じであり、ＲＯＩの垂直方向の長さ（高さ）は、画角ＢＦの垂直方向の長さよりも短い（例えば画角ＢＦの半分程度である）。画角ＢＦにおける垂直方向の位置（高さ）を設定することで、ＲＯＩが設定される。
　また、各虹彩カメラ１１０には可変焦点レンズ１１１が取り付けられている。可変焦点レンズ１１１は、例えば液体レンズであるが、焦点位置を制御可能なその他のレンズでもよい。液体レンズは、入力電圧によって液滴の曲率を変化することを利用し、レンズへの入射像の結像位置を変えることによって異なる奥行位置に対して焦点を合わせることが可能である。制御装置１３０からの制御に応じて可変焦点レンズ１１１の焦点位置を光軸の前後方向に移動させることで、焦点位置を走査する焦点走査が可能となる。例えば、虹彩カメラ１１０の被写界深度（合焦範囲）は、１ｃｍ程度と狭い。このため、可変焦点レンズ１１１により焦点走査を行いつつ、高いフレームレートで一定枚数撮像する、バースト撮像（連続撮像）することで、所定の広い範囲（走査範囲）で連続撮像した虹彩カメラ画像の中から虹彩に合焦した虹彩画像を抽出可能とする。
　全体俯瞰カメラ１２０は、虹彩カメラ１１０よりも広い範囲で対象者Ｐを撮像（俯瞰）するための全体撮像装置である。全体俯瞰カメラ１２０の解像度は、対象者Ｐの顔や目を認識可能な解像度である。全体俯瞰カメラ１２０の画角ＡＦは、複数の虹彩カメラ１１０の画角ＢＦよりも広い範囲の画角（例えば全ての虹彩カメラ１１０の画角ＢＦを含む）であり、背の高い対象者から背の低い対象者までの全体をカバー可能な画角である。
　例えば、全体俯瞰カメラ１２０は、垂直方向に並ぶ虹彩カメラ１１０－０～１１０－２の上方に配置されるが、配置位置は限定されず、虹彩カメラ１１０－０～１１０－２の下方に配置されてもよい。全体俯瞰カメラ１２０は、画角ＡＦで撮像した画像（全体俯瞰画像）を制御装置１３０へ出力する。
　制御装置１３０は、全体俯瞰カメラ１２０が撮像した全体俯瞰画像に基づいて、複数の虹彩カメラ１１０－０～１１０－２の撮像を制御する制御装置である。また、制御装置１３０は、虹彩画像に基づいた対象者Ｐの登録処理及び認証処理を行う登録認証装置でもある。
　制御装置１３０は、制御装置１３０の処理に必要なデータを記憶する記憶手段を備えている。例えば、記憶手段は、データベース２０１と行列記憶部２０２を含む。データベース２０１及び行列記憶部２０２は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等であり、制御装置１３０の内部に備えていてもよいし、制御装置１３０の外部に備えていてもよい。データベース２０１は、対象者を認証するため、対象者の虹彩画像に基づいた虹彩情報を登録するデータベースである。行列記憶部２０２は、全体俯瞰カメラ１２０の画角ＡＦの座標（２次元座標）を虹彩カメラ１１０の画角ＢＦの座標（２次元座標）に変換するための座標変換行列を記憶する。座標変換行列は、全体俯瞰カメラ１２０のカメラパラメータを虹彩カメラ１１０のカメラパラメータに変換する変換行列であるとも言える。
　図２は、基本構成に係る制御装置の構成例を示している。図２に示すように、制御装置１３０は、全体俯瞰画像取得部１３１、目検出部１３２、座標変換部１３３、虹彩カメラ設定部１３４、レンズ焦点制御部１３５、虹彩画像取得部１３６、登録認証部１３７を備えている。制御装置１３０は、例えば、サーバやパーソナルコンピュータ等のコンピュータ装置で実現されるが、１つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、登録認証部１３７等を、制御装置１３０とは別の装置としてもよい。
　全体俯瞰画像取得部１３１は、全体俯瞰カメラ１２０が対象者Ｐを撮像した全体俯瞰画像（全体俯瞰映像）を取得する。全体俯瞰画像取得部１３１は、全体俯瞰カメラ１２０が画角ＡＦの範囲でキャプチャした画像（映像）を取得するキャプチャ部であるとも言える。
　目検出部１３２は、全体俯瞰画像取得部１３１が取得した全体俯瞰画像の中から対象者Ｐの目の領域を検出する。目検出部１３２は、全体俯瞰画像の中から目の領域を直接検出してもよいし、全体俯瞰画像の中から顔の領域を検出して、検出した顔の領域の中から目の領域を検出してもよい。例えば、目検出部１３２は、画像の中から顔のパターンを認識して顔の領域を抽出し、また、画像の中から目（虹彩）のパターンを認識して目（虹彩）の領域を抽出する。
　座標変換部１３３は、全体俯瞰カメラ１２０と虹彩カメラ１１０間の画角（カメラパラメータ）の対応関係に基づいて、目検出部１３２が検出した目の領域の虹彩カメラ１１０の画角ＢＦにおける座標を算出する。座標変換部１３３は、行列記憶部２０２の座標変換行列を用いて、検出された目の全体俯瞰画像（画角ＡＦ）における座標を、虹彩カメラ１１０の虹彩カメラ画像（画角ＢＦ）の座標に変換する。
　虹彩カメラ設定部１３４は、座標変換部１３３により算出された虹彩カメラ１１０の画角ＢＦにおける目の領域の座標に基づいて、複数の虹彩カメラ１１０のいずれかに対象者Ｐの虹彩を撮像するために必要な設定を行う。虹彩カメラ設定部１３４は、画角ＢＦの目の位置に応じて、対象者Ｐの虹彩の撮像に適した虹彩カメラ１１０を選択するとともに、選択した虹彩カメラ１１０の画角ＢＦ内にＲＯＩを設定する。つまり、虹彩カメラ設定部１３４は、対象者Ｐの虹彩を撮像する虹彩カメラ１１０を選択する選択部でもある。
　レンズ焦点制御部１３５は、虹彩カメラ設定部１３４が選択した虹彩カメラ１１０の可変焦点レンズ１１１を駆動し、虹彩カメラ１１０の焦点位置を所定の走査範囲で移動するよう制御する。
　虹彩画像取得部１３６は、虹彩カメラ設定部１３４により選択及び設定された虹彩カメラ１１０が撮像した虹彩カメラ画像（虹彩画像）を取得する。虹彩カメラ１１０は、可変焦点レンズ１１１の焦点走査によりＲＯＩをバースト撮像し、虹彩画像取得部１３６は、バースト撮像した複数の虹彩カメラ画像を取得する。また、虹彩カメラ画像の中から虹彩に合焦した虹彩画像を抽出する。虹彩画像取得部１３６は、虹彩カメラ１１０がＲＯＩの範囲でキャプチャした画像を取得するキャプチャ部であるとも言える。
　登録認証部１３７は、虹彩画像取得部１３６が取得した虹彩画像を用いて、対象者Ｐの登録処理及び認証処理を行う。例えば、登録認証部１３７は、虹彩画像取得部１３６が取得した虹彩画像に基づいた虹彩情報をデータベース２０１に登録する。また、登録認証部１３７は、虹彩画像取得部１３６が取得した虹彩画像に基づいた虹彩情報と、データベース２０１に登録された虹彩情報とを比較して対象者の認証を行う。
　図３は、基本構成に係る撮像システムの動作例を示している。図３に示すように、まず、全体俯瞰カメラ１２０は、対象者Ｐを含む全体俯瞰画像を撮像する（Ｓ１０１）。例えば、対象者Ｐが所定の位置（奥行Ｄ）に立っている状態で、全体俯瞰カメラ１２０は、画角ＡＦで撮像を行い、撮像した対象者Ｐを含む全体俯瞰画像を制御装置１３０へ出力する。
　続いて、制御装置１３０は、撮像された全体俯瞰画像から対象者Ｐの目の位置を検出する（Ｓ１０２）。全体俯瞰カメラ１２０から全体俯瞰画像が取得されると、目検出部１３２は、全体俯瞰画像内の対象者Ｐの目を検出する。例えば、顔を検出する場合、目検出部１３２は、全体俯瞰画像からエッジ（輪郭）を抽出し、抽出されたエッジに囲まれる領域の画像パターンと所定の顔の画像パターンとをマッチングさせて顔の領域を検出する。さらに、目検出部１３２は、顔の領域の画像、または、全体俯瞰画像から目（虹彩）のパターンを抽出する。例えば、対象の画像から円形のパターンを抽出する処理を行い、抽出された円形の位置を目（虹彩）の位置として検出する。
　続いて、制御装置１３０は、検出した目の位置の座標を変換する（Ｓ１０３）。全体俯瞰画像から対象者Ｐの目が検出されると、座標変換部１３３は、全体俯瞰画像における目の座標を、虹彩カメラ１１０の虹彩カメラ画像（画角ＢＦ）の座標に変換する。
　図４は、座標変換部１３３における目の座標変換処理のイメージを示している。予め対象者Ｐが奥行Ｄに立っていると仮定した上で、全体俯瞰カメラ１２０で撮像可能な画角ＡＦと虹彩カメラ１１０で撮像可能な画角ＢＦの座標変換行列（射影変換行列）を求めておく。座標変換行列は、３×３の行列であり、奥行Ｄの位置と各カメラのカメラパラメータから求めることができる。虹彩カメラ１１０の台数分この座標変換行列を求め、求めた複数の座標変換行列（Ｈｗｎ０、Ｈｗｎ１、Ｈｗｎ２・・・）を行列記憶部２０２に格納しておく。
　座標変換部１３３は、虹彩カメラ１１０ごとの座標変換行列を用いて、全体俯瞰カメラ１２０の全体俯瞰画像（画角ＡＦ）における目の座標を、虹彩カメラ１１０の画角ＢＦの座標に変換する。図４に示すように、全体俯瞰カメラ１２０で撮像された全体俯瞰画像上の目の座標をｕｗ＝［ｘｙ１］Ｔとし、座標ｕｗを複数の座標変換行列（Ｈｗｎ０、Ｈｗｎ１、Ｈｗｎ２・・・）により変換する。例えば、虹彩カメラ１１０－０の画角ＢＦ０の座標に変換する場合、変換後の座標はｕｎ０＝Ｈｗｎ０・ｕｗとなる。この例では、対象者Ｐの目の位置は、虹彩カメラ１１０－０の画角ＢＦ０上の座標ｕｎ０で撮像されると予測される。
　続いて、制御装置１３０は、虹彩カメラ１１０の選択及びＲＯＩの設定を行う（Ｓ１０４）。目の座標が変換されると、虹彩カメラ設定部１３４は、変換後の座標に基づいて対象者Ｐの虹彩を撮像するための虹彩カメラ１１０を選択し、さらに、選択した虹彩カメラ１１０にＲＯＩを設定する。
　上記のように、複数の座標変換行列（Ｈｗｎ０、Ｈｗｎ１、Ｈｗｎ２・・・）を用いて座標変換し、変換後のｕｎｉから対象者Ｐの虹彩を撮像可能と推定される虹彩カメラ１１０を選択する。具体的には、変換後の目の座標が含まれる虹彩カメラ１１０の画角ＢＦを決定する。例えば、図４に示すように、座標変換後の目の座標が、虹彩カメラ１１０－０の画角ＢＦ０に含まれる場合、対象者Ｐの虹彩を撮像する虹彩カメラとして虹彩カメラ１１０－０を選択する。
　さらに、虹彩カメラ設定部１３４は、変換後の目の座標を含むようにＲＯＩを設定する。例えば、虹彩カメラ１１０－０を選択した場合、画角ＢＦ０の中で、変換後の目の座標がＲＯＩの中心（垂直方向の中心）となるように、ＲＯＩを設定する。
　続いて、虹彩カメラ１１０は、対象者Ｐの虹彩を撮像する（Ｓ１０５）。虹彩カメラ設定部１３４は、虹彩カメラ１１０の選択及びＲＯＩの設定を行うとともに、虹彩カメラ１１０に撮像開始のトリガを出力し、さらに、レンズ焦点制御部１３５は、選択された虹彩カメラ１１０の可変焦点レンズ１１１の焦点走査駆動を開始する。そうすると、虹彩カメラ１１０は、所定の走査範囲でＲＯＩのバースト撮像を開始し、連続撮像した複数の虹彩カメラ画像（バースト画像）を制御装置１３０へ出力する。
　続いて、制御装置１３０は、虹彩に合焦した虹彩画像を抽出する（Ｓ１０６）。虹彩カメラ１１０が対象者Ｐをバースト撮像すると、虹彩画像取得部１３６は、取得した複数のバースト画像の中から対象者Ｐの虹彩に合焦した虹彩画像を抽出する。
　続いて、制御装置１３０は、対象者Ｐの登録または認証を行う（Ｓ１０７）。合焦した虹彩画像が抽出されると、登録認証部１３７は、抽出された虹彩画像に基づいて登録処理または認証処理を行う。登録処理を行う場合、登録認証部１３７は、虹彩画像の虹彩のパターンから特徴量を抽出し、抽出された特徴量をデータベース２０１に登録する。認証処理を行う場合、登録認証部１３７は、虹彩画像の虹彩のパターンから特徴量を抽出し、抽出された特徴量を、データベース２０１に登録されている特徴量と照合し、類似スコアに基づいて一致／不一致を判定する。
＜基本構成の検討＞
　上記のように、基本構成では、予め全体俯瞰カメラと虹彩カメラ間で画角対応付けを行い、全体俯瞰画像における目の検出結果から虹彩カメラの画角内での目の座標を算出し、算出された目の座標に基づいて虹彩カメラの選択及びＲＯＩの設定を行う。
　しかしながら、基本構成では、対象者が所定の奥行位置（奥行Ｄ）に立っていることを前提としている。このため、対象者の位置が所定の奥行位置からずれると、選択及び設定された虹彩カメラのＲＯＩ（撮像範囲）と実際の対象者の目の位置とにずれが生じる恐れがある。
　すなわち、上記のように、予め用意された座標変換行列は、複数の虹彩カメラごとに撮像位置を奥行Ｄのみとした場合の座標変換行列（Ｈｗｎ０Ｄ、Ｈｗｎ１Ｄ、Ｈｗｎ２Ｄ・・・）である。対象者の奥行は、対象者の立ち位置や姿勢によって異なるため、この座標変換行列を用いて座標変換を行うと、変換後の座標に誤差が生じる。そうすると、対象者の奥行位置のずれによって、虹彩カメラが撮像した画像に虹彩が含まれず、虹彩の撮像に失敗する場合がある。
　そこで、以下の実施の形態では、対象者の奥行位置がずれた場合でも、虹彩カメラにより対象者の虹彩を適切に撮像することを可能とする。
（実施の形態１）
　次に、実施の形態１について説明する。図５は、本実施の形態に係る撮像システムの構成例を示している。図５に示すように、本実施の形態に係る撮像システム（撮像装置）１０は、取得部１１、推定部１２、選択部１３、変換部１４、設定部１５を備えている。
　取得部１１は、対象者の虹彩を第１の画角で撮像するための虹彩カメラにより撮像された虹彩画像、または、虹彩撮像カメラよりも広い第２の画角で対象者を撮像するための全体俯瞰カメラにより撮像された全体俯瞰画像を取得する。推定部１２は、全体俯瞰カメラから取得された全体画像に含まれる対象者の３次元位置を推定する。
　選択部１３は、対象者の３次元位置を第１の画角における２次元座標に変換する座標変換行列を選択する。例えば、予め、全体俯瞰カメラ座標から虹彩カメラ座標への透視投影行列Ｐ＝［ＲＴ］（三次元回転行列Ｒ、三次元並進ベクトルＴで示すことのできる変換行列）と、虹彩カメラの内部パラメータ行列Ａを求めておく（例えば行列記憶部に記憶しておく）。そうすると、全体俯瞰カメラ座標上で検出した三次元座標をＸ＝[ｘｙｚ１］Ｔとして、虹彩カメラ座標上に変換した三次元座標はＸi＝ＰＸとなり、虹彩カメラの画角上の点を示す二次元座標をｘi＝ＡＸiのように求めることができる。なお、虹彩カメラが複数ある場合は、虹彩カメラの台数分だけＰとＡがそれぞれ異なる。選択部１３は、この全体俯瞰カメラ座標上の三次元座標を虹彩カメラの画角上の二次元座標に変換する座標変換行列を選択する。
　また、選択部１３は、対象者の３次元位置に対応して用意された第２の画角における２次元座標を第１の画角における２次元座標に変換する複数の座標変換行列の中から、推定された３次元位置に応じた座標変換行列を選択してもよい。変換部１４は、選択された座標変換行列に基づいて、推定された３次元位置に対応する全体俯瞰画像に含まれる対象者の目の座標を第１の画角における２次元座標に変換する。設定部１５は、変換された対象者の目の座標に基づいて、虹彩カメラが対象者の虹彩を撮像するためのパラメータを設定する。
　このように、本実施の形態では、予め撮像する３次元位置（奥行）を虹彩カメラの画角の２次元座標に変換する座標変換行列、または、全体俯瞰カメラの画角の２次元座標を虹彩カメラの画角の２次元座標に変換する座標変換行列を３次元位置に対応して複数用意しておき、全体俯瞰カメラが対象者を撮像した際に、撮像した対象者の推定位置に応じた座標変換行列を選択する。これにより、対象者の実際の位置に合わせて座標変換を行うことができるため、適切に虹彩カメラのパラメータを設定し、対象者の虹彩を撮像することができる。
（実施の形態２）
　次に、実施の形態２について説明する。本実施の形態では、実施の形態１に係る撮像システムの設定部１５において、変換された対象者の目の座標に基づいて、虹彩カメラの第１の画角内に対象者の目を含むＲＯＩを設定する。虹彩カメラのパラメータとしてＲＯＩを設定することで、確実に対象者の虹彩を撮像することができる。
（実施の形態３）
　次に、実施の形態３について説明する。本実施の形態は、基本構成の撮像システムにおいて、対象者の奥行位置を推定し、推定した奥行位置に適した座標変換行列を選択する例である。本実施の形態に係る撮像システムの構成は、図１と同様である。
　本実施の形態では、制御装置１３０の行列記憶部２０２に、奥行位置（３次元位置）に対応した複数の座標変換行列を記憶する。例えば、図６に示すように、奥行位置ごとに複数の虹彩カメラ１１０の座標変換行列を設定したルックアップテーブルを記憶する。奥行位置をＤ０、Ｄ１、Ｄ２として、奥行Ｄ０用に、複数の虹彩カメラ１１０の座標変換行列（Ｈｗｎ０Ｄ０、Ｈｗｎ１Ｄ０、Ｈｗｎ２Ｄ０・・・）を用意し、奥行Ｄ１用に、複数の虹彩カメラ１１０の座標変換行列（Ｈｗｎ０Ｄ１、Ｈｗｎ１Ｄ１、Ｈｗｎ２Ｄ１・・・）を用意し、奥行Ｄ２用に、複数の虹彩カメラ１１０の座標変換行列（Ｈｗｎ０Ｄ２、Ｈｗｎ１Ｄ２、Ｈｗｎ２Ｄ２・・・）を用意する。
　各座標変換行列は、基本構成と同様に予め求めることができる。すなわち、対象者Ｐが奥行Ｄ０、Ｄ１、Ｄ２に立っていると仮定して、それぞれ奥行Ｄ０、Ｄ１、Ｄ２の位置と各カメラのカメラパラメータから奥行Ｄ０、Ｄ１、Ｄ２用の座標変換行列を求める。
　図７は、本実施の形態に係る制御装置１３０の構成例を示している。図７の例では、図２の構成に比べて、さらに奥行推定部１３８を備えている。奥行推定部１３８は、全体俯瞰カメラ１２０が撮像した対象者Ｐの奥行位置を推定する。対象者Ｐの奥行位置をおおまかに推定できればよく、推定方法は限定されない。
　また、本実施の形態では、座標変換部１３３は、奥行推定部１３８が推定した対象者Ｐの奥行位置に応じて、行列記憶部２０２のルックアップテーブルから座標変換行列を選択し、選択された座標変換行列を用いて、撮像した対象者Ｐの目の座標を変換する。
　図８は、本実施の形態に係る撮像システムの動作例を示している。図８の例では、図３の動作と比べて、対象者の奥行推定処理（Ｓ２０１）、座標変換行列選択処理（Ｓ２０２）が追加されている。すなわち、図３と同様、全体俯瞰カメラ１２０が全体俯瞰画像を撮像し（Ｓ１０１）、制御装置１３０が全体俯瞰画像から対象者Ｐの目の位置を検出する（Ｓ１０２）。
　続いて、制御装置１３０の奥行推定部１３８は、対象者Ｐの奥行位置を推定する（Ｓ２０１）。例えば、奥行推定部１３８は、後述の実施の形態のように、全体俯瞰カメラ１２０の焦点制御や各種センサを用いることで、対象者Ｐの奥行位置を推定（検出）する。
　続いて、制御装置１３０の座標変換部１３３は、対象者Ｐの目の位置の座標を変換するための座標変換行列を選択する（Ｓ２０２）。座標変換部１３３は、行列記憶部２０２のルックアップテーブルを参照し、推定された奥行位置に対応する座標変換行列を選択する。例えば、図６のルックアップテーブルにおいて、推定された奥行位置がＤ１の場合、座標変換行列（Ｈｗｎ０Ｄ１、Ｈｗｎ１Ｄ１、Ｈｗｎ２Ｄ１・・・）を選択する。
　続いて、図３と同様に、制御装置１３０は、選択された座標変換行列を用いて、対象者Ｐの目の位置の座標を変換し（Ｓ１０３）、変換した座標に基づいてＲＯＩの選択を行う（Ｓ１０４）。例えば、座標変換行列（Ｈｗｎ０Ｄ１、Ｈｗｎ１Ｄ１、Ｈｗｎ２Ｄ１・・・）が選択されると、これらの座標変換行列を用いて座標変換し、変換後の目の座標を含む画角ＢＦから、撮像する虹彩カメラ１１０にＲＯＩを設定する。その後、図３と同様に、対象者Ｐの虹彩を撮像し、対象者Ｐの登録または認証を行ってもよい（Ｓ１０５～Ｓ１０７）。
　以上のように、本実施の形態では、対象者の奥行位置をおおまかに推定し、推定した奥行位置に対応する座標変換行列を用いて対象者の目の座標を変換し、変換後の座標に基づいて虹彩カメラのＲＯＩの設定を行う。これにより、対象者の位置に適した座標変換を行うことができるため、設定されるＲＯＩと実際の目の位置とのずれを抑えることができ、対象者の虹彩を確実に撮像することができる。
（実施の形態４）
　次に、実施の形態４について説明する。本実施の形態に係る撮像システムの構成は、実施の形態３と同様である。
　図９は、本実施の形態に係る撮像システムの動作例を示している。図９の例では、図８の動作と比べて、Ｓ１０４のみが異なっている。すなわち、本実施の形態では、Ｓ１０４において、制御装置１３０は、座標変換行列を用いて変換された対象者Ｐの目の座標に基づいて虹彩カメラの選択を行う。例えば、座標変換行列（Ｈｗｎ０Ｄ１、Ｈｗｎ１Ｄ１、Ｈｗｎ２Ｄ１・・・）が選択されると、これらの座標変換行列を用いて座標変換し、変換後の目の座標を含む画角ＢＦから、撮像する虹彩カメラ１１０を選択する。
　本実施の形態では、推定した奥行位置に対応する座標変換行列を用いて対象者の目の座標を変換し、変換後の座標に基づいて虹彩カメラの選択を行う。これにより、選択される虹彩カメラの撮像範囲と実際の目の位置とのずれを抑えることができ、対象者の虹彩を確実に撮像することができる。
（実施の形態５）
　次に、実施の形態５について説明する。本実施の形態は、実施の形態３または４の撮像システムにおいて、さらに、推定された対象者の奥行位置に応じて虹彩カメラの焦点位置を設定する例である。本実施の形態に係る撮像システムの構成は、実施の形態３または４と同様である。
　図１０は、本実施の形態に係る制御装置１３０の構成例を示している。図１０の例では、図７の構成に比べて、さらにレンズ制御値選択部１３９を備えている。レンズ制御値選択部１３９は、奥行推定部１３８が推定した対象者Ｐの奥行位置に応じて、虹彩カメラ１１０の焦点位置を設定する。
　図１１は、本実施の形態に係る撮像システムの動作例を示している。図１１の例では、図８または図９の動作と比べて、焦点設定処理（Ｓ２０３）が追加されている。すなわち、図８または図９と同様に、全体俯瞰画像の撮像の後、制御装置１３０は、推定される対象者Ｐの奥行位置に応じた座標変換行列を用いて目の位置の座標を変換し、虹彩カメラの選択及びＲＯＩの選択を行う（Ｓ１０１～Ｓ１０２、Ｓ２０１～Ｓ２０２、Ｓ１０３～Ｓ１０４）。
　続いて、制御装置１３０のレンズ制御値選択部１３９は、虹彩カメラ１１０の焦点位置を設定する（Ｓ２０３）。レンズ制御値選択部１３９は、推定された奥行位置に対応する焦点位置を設定する。
　続いて、虹彩カメラ１１０は、設定された焦点位置に応じて対象者Ｐの虹彩を撮像する（Ｓ１０５）。レンズ焦点制御部１３５は、設定された焦点位置により虹彩カメラ１１０の可変焦点レンズ１１１を駆動し、虹彩カメラ１１０は、可変焦点レンズ１１１が駆動された範囲でＲＯＩのバースト撮像を行う。その後、図８または図９と同様に、虹彩画像を抽出し、対象者Ｐの登録または認証を行ってもよい（Ｓ１０６～Ｓ１０７）。
　上記基本構成では、一定の広い範囲で虹彩カメラの焦点走査を行うため、焦点走査の初期の焦点位置と対象者の目の焦点位置が離れるほど焦点走査に時間がかかる。そこで、本実施の形態では、推定された対象者の奥行位置に応じて虹彩カメラの焦点位置（走査位置）を設定する。これにより、焦点走査を行う焦点位置と対象者の目の焦点位置との差を小さくできるため、焦点走査にかかる時間を短縮し、迅速に虹彩撮像を行うことができる。なお、実施の形態１で説明した座標変換行列の選択を行わずに、本実施の形態のように対象者の奥行位置に応じて虹彩カメラの焦点位置を設定してもよい。
（実施の形態６）
　次に、実施の形態６について説明する。本実施の形態に係る撮像システムの構成は、実施の形態５と同様である。本実施の形態では、レンズ制御値選択部１３９は、奥行推定部１３８が推定した対象者Ｐの奥行位置に応じて、虹彩カメラ１１０のバースト撮像を行う走査範囲を設定する。これにより、設定された走査範囲で、確実に対象者の虹彩に合焦した画像を撮像することができる。
（実施の形態７）
　次に、実施の形態７について説明する。本実施の形態に係る撮像システムの構成は、実施の形態５または６と同様である。本実施の形態では、レンズ制御値選択部１３９は、奥行推定部１３８が推定した対象者Ｐの奥行位置に応じて、虹彩カメラ１１０の可変焦点レンズ１１１のレンズ焦点駆動値を設定する。例えば、レンズ制御値選択部１３９は、奥行ごとに設定するレンズ焦点駆動値を対応付けたレンズ制御テーブルを記憶手段に記憶しておき、レンズ制御テーブルに基づいてレンズ焦点駆動値を選択する。なお、所定の算出式を用いて、奥行位置に応じたレンズ焦点駆動値を求めてもよい。これにより、精度よく虹彩カメラの焦点を制御することができる。
（実施の形態８）
　次に、実施の形態８について説明する。本実施の形態は、実施の形態３～７のいずれかの撮像システムにおいて、奥行推定の具体例として、全体俯瞰カメラの可変焦点レンズの合焦値を用いて対象者の奥行位置を推定する例である。
　図１２は、本実施の形態に係る撮像システム１００の構成例を示している。図１２の例では、図１の構成と比べて、全体俯瞰カメラ１２０に可変焦点レンズ１２１が取り付けられている。可変焦点レンズ１２１は、虹彩カメラ１１０の可変焦点レンズ１１１と同様に、例えば液体レンズであるが、焦点位置を制御可能なその他のレンズでもよい。
　制御装置の構成や撮像システムの動作は、基本的に実施の形態１または２と同様である。本実施の形態では、制御装置１３０の奥行推定部１３８は、全体俯瞰画像において対象者Ｐに合焦した焦点位置に基づいて奥行を推定する。
　このように、上記実施の形態において、全体俯瞰画像における対象者に合焦する焦点位置に基づいて、対象者Ｐの奥行位置を推定してもよい。これにより、より適切に虹彩カメラを設定することができる。
（実施の形態９）
　次に、実施の形態９について説明する。本実施の形態に係る撮像システムの構成は、実施の形態８と同様である。本実施の形態では、奥行推定部１３８は、対象者Ｐの顔の領域に合焦した位置に基づいて奥行を推定する。
　例えば、図１３に示すように、可変焦点レンズ１２１を駆動して焦点位置を移動させて、顔の領域に合焦する焦点位置を検出する。例えば、顔の領域のコントラストが最も大きい場合に合焦を検出し、合焦を検出した時のレンズ駆動値から、奥行位置（全体俯瞰カメラ１２０から対象者Ｐの顔までの距離）を推定する。図１３の例では、焦点位置をＦ０～Ｆ２に駆動して画像Ｇ０～Ｇ２を撮像し、画像Ｇ１のコントラストが最も大きいため、画像Ｇ１が顔に合焦した画像であると判断する。そうすると、画像Ｇ１を撮像した際の焦点位置に対応した奥行Ｄ１を、対象者Ｐの奥行推定値とする。
　なお、顔に合焦した焦点位置と目（虹彩）の奥行位置との差をテーブルに記憶しておき、テーブルの値に応じて推定する奥行位置を補正してもよい。例えば、身長ごとに補正値を用意してもよい。
　このように、全体俯瞰画像における対象者の顔の領域に合焦する焦点位置に基づいて、対象者Ｐの奥行位置を推定してもよい。これにより、より正確に目の奥行位置を把握することができ、目の奥行位置に応じて適切に虹彩カメラを設定することができる。
（実施の形態１０）
　次に、実施の形態１０について説明する。本実施の形態に係る撮像システムの構成は、実施の形態８または９と同様である。本実施の形態では、奥行推定部１３８は、全体俯瞰カメラ１２０の可変焦点レンズ１２１を駆動し、全体俯瞰画像における対象者Ｐの顔の領域に合焦した焦点位置のレンズ焦点駆動値に基づいて奥行を推定する。例えば、レンズ焦点駆動値ごとに奥行位置を対応付けた奥行テーブルを記憶手段に記憶しておき、奥行テーブルに基づいて奥行を推定してもよい。これにより、精度よく合焦位置に基づいて奥行を推定することができる。
（実施の形態１１）
　次に、実施の形態１１について説明する。本実施の形態は、実施の形態３～７のいずれかの撮像システムにおいて、奥行推定の具体例として、深度センサを用いて対象者の奥行位置を推定する例である。
　図１４は、本実施の形態に係る撮像システム１００の構成例を示している。図１４の例では、図１の構成と比べて、深度センサ１４０をさらに備えている。本実施の形態では、深度センサ１４０により対象者Ｐの奥行Ｄｉを検出する。例えば、深度センサ１４０を、虹彩カメラまたは全体俯瞰カメラと同じ位置に設置し、虹彩カメラまたは全体俯瞰カメラから対象者Ｐまでの深度（距離）を測定する。奥行推定部１３８は、深度センサ１４０の特定結果に基づいて奥行を推定する。
　深度センサ１４０は、例えば、超音波センサやミリ波センサである。なお、虹彩用の照明手段と同じ波長の光センサ（ＴｏＦ：Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）は使用しないことが好ましい。また、深度センサ１４０の代わりに全体俯瞰カメラをステレオカメラとして、対象者Ｐの深度を検出してもよい。ステレオカメラにより撮像された全体俯瞰画像から得られる対象者Ｐの深度に基づいて、奥行を推定してもよい。
　このように、上記実施の形態において、深度センサを用いて対象者Ｐの奥行位置を推定してもよい。これにより、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
（実施の形態１２）
　次に、実施の形態１２について説明する。本実施の形態は、実施の形態３～７のいずれかの撮像システムにおいて、全体俯瞰カメラとしてステレオカメラを備える例である。全体俯瞰カメラとしてステレオカメラを備えることで、対象者Ｐの深度を検出してもよい。ステレオカメラにより撮像された全体俯瞰画像から得られる対象者Ｐの深度に基づいて、奥行を推定してもよい。これにより、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
（実施の形態１３）
　次に、実施の形態１３について説明する。本実施の形態は、実施の形態３～７のいずれかの撮像システムにおいて、奥行推定の具体例として、複数の検知センサを用いて対象者の奥行位置を推定する例である。
　図１５は、本実施の形態に係る撮像システム１００の構成例を示している。図１５の例では、図１の構成と比べて、複数の検知センサ１５０をさらに備えている。検知センサ１５０は、人の存在を検知可能な人検知センサであり、例えば、赤外線センサである。検知センサ１５０は、センサの前に人が存在する場合に出力信号をＯＮし、センサの前に人が存在しない場合に出力信号をＯＦＦにする。奥行推定部１３８は、検知センサ１５０の検知結果に基づいて奥行を推定する。
　例えば、複数の検知センサ１５０を奥行方向に等間隔に設置する。この例では、奥行Ｄ０～Ｄ３の位置にそれぞれ検知センサ１５０－０～１５０－３を設置する。検知センサ１５０－０～１５０－３のうち人を検知してＯＮ信号を出力するセンサに対応した位置を対象者Ｐの奥行位置と推定する。
　このように、上記実施の形態において、複数の検知センサを用いて対象者Ｐの奥行位置を推定してもよい。これにより、実施の形態４と同様、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
　なお、この開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　また、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能（処理）を、図１６に示すようなプロセッサ２１及び記憶装置であるメモリ２２を有するコンピュータ２０により実現してもよい。例えば、メモリ２２に実施形態における方法（例えば制御装置における撮像方法）を行うためのプログラムを格納し、各機能を、メモリ２２に格納されたプログラムをプロセッサ２１で実行することにより実現してもよい。なお、プロセッサ２１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ　ｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ）およびＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。
　これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照してこの開示を説明したが、この開示は上記実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、
　前記取得された全体画像に含まれる対象者の３次元位置を推定する推定手段と、
　前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択する選択手段と、
　前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換する変換手段と、
　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、
　を備える、撮像システム。
　（付記２）
　前記選択手段は、前記対象者の３次元位置に対応して用意された前記第２の画角における２次元座標を前記第１の画角における２次元座標に変換する複数の座標変換行列の中から、前記推定された３次元位置に応じた座標変換行列を選択する、
　付記１に記載の撮像システム。
　（付記３）
　前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
　付記１または２に記載の撮像システム。
　（付記４）
　前記虹彩撮像手段として、複数の虹彩撮像手段を備え、
　前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記複数の虹彩撮像手段の中から、前記対象者を撮像する虹彩撮像手段を選択する、
　付記１乃至３のいずれかに記載の撮像システム。
　（付記５）
　前記設定手段は、前記推定された３次元位置に基づいて、前記虹彩撮像手段の焦点位置を設定する、
　付記１乃至４のいずれかに記載の撮像システム。
　（付記６）
　前記設定手段は、前記推定された３次元位置に基づいて、前記虹彩撮像手段の焦点走査範囲を設定する、
　付記５に記載の撮像システム。
　（付記７）
　前記虹彩撮像手段は、可変焦点レンズを備え、
　前記設定手段は、前記推定された３次元位置に基づいて、前記可変焦点レンズのレンズ焦点駆動値を設定する、
　付記５または６に記載の撮像システム。
　（付記８）
　前記推定手段は、前記全体画像において前記対象者に合焦した焦点位置に基づいて前記対象者の３次元位置を推定する、
　付記１乃至７のいずれかに記載の撮像システム。
　（付記９）
　前記推定手段は、前記全体画像において前記対象者の顔の領域に合焦した焦点位置に基づいて前記対象者の３次元位置を推定する、
　付記８に記載の撮像システム。
　（付記１０）
　前記全体撮像手段は、可変焦点レンズを備え、
　前記推定手段は、前記合焦した焦点位置における前記可変焦点レンズのレンズ焦点駆動値に基づいて前記対象者の３次元位置を推定する、
　付記８または９に記載の撮像システム。
　（付記１１）
　前記全体撮像手段または前記虹彩撮像手段から前記対象者までの深度を測定する深度センサを備え、
　前記推定手段は、前記深度センサにより測定された前記対象者の深度に基づいて、前記対象者の３次元位置を推定する、
　付記１乃至７のいずれかに記載の撮像システム。
　（付記１２）
　前記全体撮像手段は、ステレオカメラであり、
　前記推定手段は、前記ステレオカメラにより撮像された全体画像から得られる前記対象者の深度に基づいて、前記対象者の３次元位置を推定する、
　付記１乃至７のいずれかに記載の撮像システム。
　（付記１３）
　前記３次元位置に対応して設置された複数の人検知センサを備え、
　前記推定手段は、前記複数の人検知センサによる前記対象者の検知結果に基づいて、前記対象者の３次元位置を推定する、
　付記１乃至７のいずれかに記載の撮像システム。
　（付記１４）
　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
　前記取得された全体画像に含まれる対象者の３次元位置を推定し、
　前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択し、
　前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換し、
　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
　撮像方法。
　（付記１５）
　前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
　付記１４に記載の撮像方法。
　（付記１６）
　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
　前記取得された全体画像に含まれる対象者の３次元位置を推定し、
　前記対象者の３次元位置に対応して用意された前記第２の画角における２次元座標を前記第１の画角における２次元座標に変換する複数の座標変換行列の中から、前記推定された３次元位置に応じた座標変換行列を選択し、
　前記選択された座標変換行列に基づいて、前記全体画像に含まれる対象者の目の２次元座標を前記第１の画角における２次元座標に変換し、
　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
　処理をコンピュータに実行させるための撮像プログラム。
　（付記１７）
　前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
　付記１６に記載の撮像プログラム。
１０　　撮像システム
１１　　取得部
１２　　推定部
１３　　選択部
１４　　変換部
１５　　設定部
２０　　コンピュータ
２１　　プロセッサ
２２　　メモリ
１００　撮像システム
１１０　虹彩カメラ
１１１　可変焦点レンズ
１２０　全体俯瞰カメラ
１２１　可変焦点レンズ
１３０　制御装置
１３１　全体俯瞰画像取得部
１３２　目検出部
１３３　座標変換部
１３４　虹彩カメラ設定部
１３５　レンズ焦点制御部
１３６　虹彩画像取得部
１３７　登録認証部
１３８　奥行推定部
１３９　レンズ制御値選択部
１４０　深度センサ
１５０　検知センサ
２０１　データベース
２０２　行列記憶部

Claims (17)

  1. 　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、
    　前記取得された全体画像に含まれる対象者の３次元位置を推定する推定手段と、
    　前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択する選択手段と、
    　前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換する変換手段と、
    　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、
    　を備える、撮像システム。
  2. 　前記選択手段は、前記対象者の３次元位置に対応して用意された前記第２の画角における２次元座標を前記第１の画角における２次元座標に変換する複数の座標変換行列の中から、前記推定された３次元位置に応じた座標変換行列を選択する、
    　請求項１に記載の撮像システム。
  3. 　前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
    　請求項１または２に記載の撮像システム。
  4. 　前記虹彩撮像手段として、複数の虹彩撮像手段を備え、
    　前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記複数の虹彩撮像手段の中から、前記対象者を撮像する虹彩撮像手段を選択する、
    　請求項１乃至３のいずれか一項に記載の撮像システム。
  5. 　前記設定手段は、前記推定された３次元位置に基づいて、前記虹彩撮像手段の焦点位置を設定する、
    　請求項１乃至４のいずれか一項に記載の撮像システム。
  6. 　前記設定手段は、前記推定された３次元位置に基づいて、前記虹彩撮像手段の焦点走査範囲を設定する、
    　請求項５に記載の撮像システム。
  7. 　前記虹彩撮像手段は、可変焦点レンズを備え、
    　前記設定手段は、前記推定された３次元位置に基づいて、前記可変焦点レンズのレンズ焦点駆動値を設定する、
    　請求項５または６に記載の撮像システム。
  8. 　前記推定手段は、前記全体画像において前記対象者に合焦した焦点位置に基づいて前記対象者の３次元位置を推定する、
    　請求項１乃至７のいずれか一項に記載の撮像システム。
  9. 　前記推定手段は、前記全体画像において前記対象者の顔の領域に合焦した焦点位置に基づいて前記対象者の３次元位置を推定する、
    　請求項８に記載の撮像システム。
  10. 　前記全体撮像手段は、可変焦点レンズを備え、
    　前記推定手段は、前記合焦した焦点位置における前記可変焦点レンズのレンズ焦点駆動値に基づいて前記対象者の３次元位置を推定する、
    　請求項８または９に記載の撮像システム。
  11. 　前記全体撮像手段または前記虹彩撮像手段から前記対象者までの深度を測定する深度センサを備え、
    　前記推定手段は、前記深度センサにより測定された前記対象者の深度に基づいて、前記対象者の３次元位置を推定する、
    　請求項１乃至７のいずれか一項に記載の撮像システム。
  12. 　前記全体撮像手段は、ステレオカメラであり、
    　前記推定手段は、前記ステレオカメラにより撮像された全体画像から得られる前記対象者の深度に基づいて、前記対象者の３次元位置を推定する、
    　請求項１乃至７のいずれか一項に記載の撮像システム。
  13. 　前記３次元位置に対応して設置された複数の人検知センサを備え、
    　前記推定手段は、前記複数の人検知センサによる前記対象者の検知結果に基づいて、前記対象者の３次元位置を推定する、
    　請求項１乃至７のいずれか一項に記載の撮像システム。
  14. 　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
    　前記取得された全体画像に含まれる対象者の３次元位置を推定し、
    　前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択し、
    　前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換し、
    　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
    　撮像方法。
  15. 　前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
    　請求項１４に記載の撮像方法。
  16. 　対象者の虹彩を第１の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第２の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
    　前記取得された全体画像に含まれる対象者の３次元位置を推定し、
    　前記対象者の３次元位置を前記第１の画角における２次元座標に変換する座標変換行列を選択し、
    　前記選択された座標変換行列に基づいて、前記推定された３次元位置に対応する全体画像に含まれる対象者の目の座標を前記第１の画角における２次元座標に変換し、
    　前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
    　処理をコンピュータに実行させるための撮像プログラムが格納された非一時的なコンピュータ可読媒体。
  17. 　前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第１の画角内に前記対象者の目を含むＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）を設定する、
    　請求項１６に記載の非一時的なコンピュータ可読媒体。
PCT/JP2020/014596 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体 WO2021199168A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/014596 WO2021199168A1 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体
EP20929603.7A EP4131153A1 (en) 2020-03-30 2020-03-30 Photographing system, photographing method, and non-transitory computer-readable medium storing photographing program
JP2022512909A JP7367858B2 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラム
US17/912,956 US20230169793A1 (en) 2020-03-30 2020-03-30 Photographing system, photographing method, and non-transitory computer-readable medium storing photographing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014596 WO2021199168A1 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021199168A1 true WO2021199168A1 (ja) 2021-10-07

Family

ID=77930205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014596 WO2021199168A1 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体

Country Status (4)

Country Link
US (1) US20230169793A1 (ja)
EP (1) EP4131153A1 (ja)
JP (1) JP7367858B2 (ja)
WO (1) WO2021199168A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234003A1 (ja) * 2022-06-02 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3136459A1 (en) * 2020-11-02 2022-05-02 Princeton Identity COMPACT SYSTEM AND IRIS RECOGNITION METHOD

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327038A (ja) * 1998-05-20 1999-11-26 Oki Electric Ind Co Ltd 撮像装置
JP2002125142A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2004287621A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd 虹彩認識システム
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション １つの画像から虹彩認証を行う方法および装置
WO2009016846A1 (ja) 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
WO2014208488A1 (ja) 2013-06-27 2014-12-31 オリンパス株式会社 焦点調節装置、カメラシステム、及び焦点調節方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037765A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2003323607A (ja) * 2002-04-30 2003-11-14 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2004295572A (ja) * 2003-03-27 2004-10-21 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置及びその撮像方法
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
US10682038B1 (en) * 2014-09-19 2020-06-16 Colorado School Of Mines Autonomous robotic laparoscope based on eye tracking
KR20160038476A (ko) * 2014-09-30 2016-04-07 현대자동차주식회사 시선 측정 장치 및 방법
JP6670974B1 (ja) * 2019-12-02 2020-03-25 ジック株式会社 ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327038A (ja) * 1998-05-20 1999-11-26 Oki Electric Ind Co Ltd 撮像装置
JP2002125142A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2004287621A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd 虹彩認識システム
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション １つの画像から虹彩認証を行う方法および装置
WO2009016846A1 (ja) 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
WO2014208488A1 (ja) 2013-06-27 2014-12-31 オリンパス株式会社 焦点調節装置、カメラシステム、及び焦点調節方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WATANABE, TAKAHIRO ET AL.: "Personal Identification System Based on Automatic Iris Pattern Capturing", ITE TECHNICAL REPORT, vol. 25, no. 29, 21 March 2001 (2001-03-21), JP , pages 43 - 48, XP009537093, ISSN: 1342-6893 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234003A1 (ja) * 2022-06-02 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP7367858B2 (ja) 2023-10-24
US20230169793A1 (en) 2023-06-01
JPWO2021199168A1 (ja) 2021-10-07
EP4131153A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US11629955B2 (en) Dual-resolution 3D scanner and method of using
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
CN106778713B (zh) 一种动态人眼跟踪的虹膜识别装置及方法
CN110567371B (zh) 用于3d信息采集的光照控制***
WO2021199168A1 (ja) 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体
WO2015013022A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
CN108833795B (zh) 一种图像获取设备的对焦方法及装置
CN108154126B (zh) 虹膜成像***及方法
GB2482290A (en) Autofocus method using tilted focal plane
CN108234897B (zh) 控制夜视***的方法及装置、存储介质、处理器
KR100904254B1 (ko) 비강압적 홍채 영상 획득 시스템 및 그 방법
CN104939793A (zh) 基于液体透镜的可调焦3-d胶囊内窥镜***
EP3599989A1 (en) High speed pupil detection system and method
US11882354B2 (en) System for acquisiting iris image for enlarging iris acquisition range
US11054659B2 (en) Head mounted display apparatus and distance measurement device thereof
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
KR101919138B1 (ko) 원거리 멀티 생체 인식 방법 및 장치
JPWO2021199168A5 (ja) 撮像システム、撮像方法及び撮像プログラム
US20230284933A1 (en) Portable three-dimensional image measuring device, three-dimensional image measuring method using same, and medical image matching system
US20230408253A1 (en) Three-dimensional scanner having sensors with overlapping fields of view
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN110033047B (zh) 一种非接触式三维测量***
US20230394707A1 (en) Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
CN113132709B (zh) 一种双目测距装置、双目测距方法及电子设备
WO2021250785A1 (ja) 撮像システム、校正方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929603

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512909

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020929603

Country of ref document: EP

Effective date: 20221031