WO2020039841A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020039841A1
WO2020039841A1 PCT/JP2019/029211 JP2019029211W WO2020039841A1 WO 2020039841 A1 WO2020039841 A1 WO 2020039841A1 JP 2019029211 W JP2019029211 W JP 2019029211W WO 2020039841 A1 WO2020039841 A1 WO 2020039841A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
intensity
imaging
unit
information terminal
Prior art date
Application number
PCT/JP2019/029211
Other languages
English (en)
French (fr)
Inventor
信夫 山崎
大輔 本田
貴司 中野
幸夫 玉井
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2020039841A1 publication Critical patent/WO2020039841A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the present disclosure relates to an imaging device.
  • Priority is claimed on Japanese Patent Application No. 2018-154908 filed on August 21, 2018, the content of which is incorporated herein by reference.
  • Patent Document 1 discloses an imaging control device that irradiates a face with near-infrared light from a light source to a face, and controls a face image capturing device that captures the face by an imaging unit and obtains a face image.
  • the imaging control device is configured to determine the intensity of the ambient light based on information from an ambient light detection unit that detects the intensity of the ambient light.
  • a spectacle reflection determining means for determining the degree, the intensity of the environment light is equal to or more than a predetermined determination value, and, when the degree of reflection of the spectacles is equal to or more than a predetermined determination value, the intensity of light emitted from the light source
  • Light control means for setting the eye intensity in the face image to a predetermined intensity that can be recognized.
  • One embodiment of the present disclosure has an object to realize an imaging device capable of irradiating light of appropriate intensity at the time of imaging.
  • an imaging device includes an imaging unit that captures an imaging target, a light source that irradiates the imaging target with illumination light, and an ambient light around the imaging target.
  • a light intensity sensor that measures intensity; and an illumination light intensity control unit that controls the intensity of the illumination light based on the intensity of the environmental light measured by the light intensity sensor, wherein the light intensity sensor is configured to perform the imaging It is provided on a surface opposite to the surface on which the portion is provided.
  • light having an appropriate intensity can be emitted at the time of imaging.
  • FIG. 2 is a block diagram illustrating a configuration of a main part of the portable information terminal according to the first embodiment.
  • FIG. 2 is a front view illustrating an appearance of the portable information terminal according to the first embodiment.
  • FIG. 2 is a rear view showing the appearance of the portable information terminal according to the first embodiment. It is a figure showing an example of environmental light which enters into a user's eyes, and environmental light which enters into a light intensity sensor.
  • FIG. 9 is a diagram for describing measurement of the intensity of ambient light by a portable information terminal as a comparative example, showing a case where the intensity of ambient light incident on the user's eyes is high.
  • FIG. 9 is a diagram for describing measurement of the intensity of ambient light by a portable information terminal as a comparative example, showing a case where the intensity of ambient light incident on the user's eyes is high.
  • FIG. 9 is a diagram for describing measurement of the intensity of ambient light by a portable information terminal as a comparative example, showing a case where the intensity of ambient light incident on the user's eyes is low.
  • 6 is a graph illustrating an example of the intensity of the ambient light, the intensity of the illumination light, and the intensity of the entire light when the intensity of the ambient light is equal to or greater than a first threshold.
  • 6 is a graph illustrating an example of the intensity of the ambient light, the intensity of the illumination light, and the overall intensity of the light when the intensity of the ambient light is less than a first threshold.
  • 6 is a flowchart illustrating an example of an iris authentication process performed by the portable information terminal according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of a main part of a portable information terminal according to a second embodiment. It is a figure showing the state where the user performed the image pick-up by the personal digital assistant in the state facing the sun.
  • FIG. 8B is a diagram illustrating an example of an image of a user's eyes captured in the state illustrated in FIG. 8A.
  • 13 is a flowchart illustrating an example of an iris authentication process performed by the portable information terminal according to the second embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of a main part of a portable information terminal according to a third embodiment. 13 is a flowchart illustrating an example of an imaging process in the portable information terminal according to the third embodiment.
  • FIG. 11 is a diagram for describing a problem of an image captured by a conventional portable information terminal.
  • a portable information terminal 1 imaging device having a function of capturing a near-infrared light image of an eye E of a user H and performing iris authentication using the near-infrared light image will be described.
  • FIG. 2A is a front view showing the appearance of the portable information terminal 1 according to the present embodiment.
  • FIG. 2B is a rear view showing the appearance of the portable information terminal 1 according to the present embodiment.
  • the portable information terminal 1 when the image for iris authentication is captured by the portable information terminal 1, the surface facing the user H is the front, and the surface opposite to the front is the back.
  • the portable information terminal 1 includes an imaging unit 10, a light source 20, and a display unit 40 on the front.
  • the portable information terminal 1 includes a light intensity sensor 30 on the back surface.
  • the imaging unit 10 is a camera that captures an image of the eyes E (the imaging target) of the user H.
  • the imaging unit 10 can capture at least a near-infrared light image of the eye E.
  • the imaging unit 10 may be capable of capturing a visible light image of the eye E.
  • the light source 20 is a light source that irradiates the eye E with illumination light.
  • the illumination light emitted by the light source 20 has a peak wavelength in the near infrared light region.
  • the light source 20 irradiates the eye E with illumination light having a peak wavelength around 800 nm, for example.
  • the light source 20 emits light having such a peak wavelength, irises can be clearly imaged with respect to pupils of various colors.
  • the light intensity sensor 30 measures the intensity of ambient light around the eye E.
  • the light intensity sensor 30 measures the intensity of light having a wavelength in the near infrared region.
  • the light intensity sensor 30 is provided on a surface opposite to the surface on which the imaging unit 10 is provided.
  • FIG. 3 is a diagram illustrating an example of ambient light L1 incident on the eye E of the user H and ambient light L2 incident on the light intensity sensor 30.
  • the portable information terminal 1 images the eye E
  • the environmental light L1 incident on the eye E and the environmental light L2 incident on the light intensity sensor 30 are incident from the same direction. For this reason, even if the intensity of the environmental light differs depending on the direction, the light intensity sensor 30 can measure the intensity of the environmental light equivalent to the light incident on the eye E.
  • FIG. 4A is a diagram for describing the measurement of the intensity of the ambient light by the portable information terminal 1X as a comparative example, and shows a case where the intensity of the ambient light incident on the eye E of the user H is high.
  • FIG. 4B is a diagram for describing the measurement of the intensity of the ambient light by the portable information terminal 1 ⁇ / b> X as a comparative example, and shows a case where the intensity of the ambient light incident on the eye E of the user H is low.
  • the intensities of the ambient lights L1 and L2 are indicated by the thickness of each arrow.
  • the portable information terminal 1X is the same as the portable information terminal 1 in each component. However, the portable information terminal 1X differs from the portable information terminal 1 in that the light intensity sensor 30 is provided on the front of the portable information terminal 1X, like the imaging unit 10.
  • the example shown in FIG. 4A is a case where the intensity of the environmental light L1 entering the eye E of the user H from the front is particularly high.
  • the measured light intensity is small because the light intensity sensor 30 is oriented in the opposite direction to the environmental light L1, and furthermore, the light intensity sensor 30 is hidden behind the head of the user H.
  • the intensity of the environmental light L2 to be measured is significantly lower than the intensity of the environmental light L1.
  • the example shown in FIG. 4B is a case where high-intensity environmental light L2 is incident on the light intensity sensor 30 from above the head of the user H.
  • Such environmental light L2 is light that is incident from a direction different from that of the environmental light L1 that is incident on the eye E of the user H, and is not incident on the eye E of the user H.
  • the intensity of the ambient light measured by the light intensity sensor 30 is expected to be higher than the ambient light intensity incident on the eyes.
  • the display unit 40 displays an image for presenting information to the user of the portable information terminal 1.
  • the display unit 40 may be, for example, a liquid crystal display or an organic EL (Electro Luminescence) display.
  • FIG. 1 is a block diagram showing a configuration of a main part of the portable information terminal 1.
  • the portable information terminal 1 includes an imaging unit 10, a light source 20, a light intensity sensor 30, a display unit 40, a control calculation unit 50, and a storage unit 60.
  • the imaging unit 10, the light source 20, the light intensity sensor 30, and the display unit 40 are as described above.
  • the control operation unit 50 controls the operation of the portable information terminal 1 and executes various operations required for iris authentication.
  • the control calculation unit 50 includes an imaging control unit 51 (illumination light intensity control unit 51a, illumination time control unit 51b), an iris code generation unit 52, and an authentication unit 53 as functional blocks related to iris authentication.
  • the imaging control unit 51 includes an illumination light intensity control unit 51a and an illumination time control unit 51b.
  • the illumination light intensity control unit 51a controls the operations of the imaging unit 10 and the light source 20 based on the intensity of the ambient light measured by the light intensity sensor 30. Specifically, the illumination light intensity control unit 51a determines that the intensity of the environmental light is lower than the first threshold when the intensity of the environmental light is equal to or higher than a predetermined first threshold (first predetermined value). , The intensity of the illumination light emitted by the light source 20 is increased.
  • FIG. 5A is a graph showing an example of the intensity of the ambient light, the intensity of the illumination light, and the overall intensity of the light when the intensity of the ambient light is equal to or greater than the first threshold.
  • FIG. 5B is a graph illustrating an example of the intensity of the ambient light, the intensity of the illumination light, and the overall intensity of the light when the intensity of the ambient light is less than the first threshold.
  • the overall light intensity is the sum of the ambient light intensity and the illumination light intensity.
  • the intensity of the ambient light is indicated by a dashed line
  • the intensity of the illumination light is indicated by a broken line
  • the intensity of the entire light is indicated by a solid line.
  • the illumination light intensity control unit 51a determines the intensity of the illumination light to be the minimum intensity at which an iris image can be captured.
  • the illumination light intensity control unit 51a increases the intensity of the illumination light as compared with the case where the intensity of the environmental light is less than the first threshold.
  • the illumination light intensity control unit 51a reduces the reflection of the environmental light on the cornea when the intensity of the environmental light is equal to or more than the first threshold value, and When the light intensity is less than the first threshold, the power consumption of the portable information terminal 1 can be reduced.
  • the light intensity sensor 30 of the present embodiment measures the intensity of light having a wavelength in the near infrared region. Therefore, the illumination light intensity control unit 51a can determine the intensity of the illumination light based on the intensity of the near infrared light included in the environment light.
  • the first threshold value for the intensity of the ambient light (i) the intensity of the illumination light when the threshold value is less than a predetermined value, and (iii) the intensity value of the illumination light when the threshold value is equal to or more than a predetermined value.
  • the intensity of the illumination light may be appropriately set in accordance with the specifications and performance of the imaging unit 10 and the light intensity sensor 30 and the like, and the program used by the iris code generation unit 52 to generate the iris code.
  • the illumination light intensity control unit 51a determines the environmental light by the first threshold value and controls the intensity of the illumination light in two stages.
  • the illumination light intensity control unit 51a may determine the environment light using two or more threshold values including a threshold value other than the first threshold value, and control the intensity of the illumination light in three or more levels.
  • the imaging control unit 51 controls the exposure time of the imaging unit 10 in addition to the control of the illumination light intensity and the control of the illumination time. As described above, when the intensity of the ambient light is equal to or greater than the first threshold, the illumination light intensity control unit 51a increases the intensity of the illumination light emitted by the light source 20. In this case, the imaging control unit 51 shortens the exposure time of the imaging unit 10 in order to prevent overexposure of an image due to an excessive exposure amount.
  • the imaging control unit 51 synchronize the lighting time of the light source 20 with the exposure time of the imaging unit 10.
  • the illumination time control unit 51b shortens the irradiation time of the illumination light in accordance with the shortened exposure time of the imaging unit 10, so that further reduction in power consumption can be realized.
  • the portable information terminal 1 may include a functional block different from the lighting time control unit 51b for determining the lighting time of the light source 20.
  • the illumination time control unit 51 b does not necessarily need to synchronize the lighting time of the light source 20 with the exposure time of the imaging unit 10.
  • the illumination time control unit 51b may set the lighting time of the light source 20 to a fixed time that does not depend on the exposure time of the imaging unit 10.
  • the iris code generation unit 52 generates an iris code based on the image captured by the imaging unit 10.
  • the authentication unit 53 performs authentication based on the iris code generated by the iris code generation unit 52. That is, the authentication unit 53 determines whether the iris code generated by the iris code generation unit 52 matches the iris code registered as the iris code of the user of the mobile information terminal 1. If the iris code generated by the iris code generation unit 52 matches the iris code registered in the portable information terminal 1, the authentication unit 53 accepts the use of the portable information terminal 1 by the user. On the other hand, if the iris code generated by the iris code generation unit 52 does not match the iris code registered in the portable information terminal 1, the authentication unit 53 refuses the user to use the portable information terminal 1. The authentication unit 53 displays the result of the authentication (acceptance or rejection of use of the portable information terminal 1 by the user) on the display unit 40.
  • the storage unit 60 stores data required for control by the control calculation unit 50.
  • the storage unit 60 stores a program for causing the iris code generation unit 52 to generate an iris code.
  • the storage unit 60 stores the iris code of the user of the portable information terminal 1.
  • the portable information terminal 1 does not necessarily need to include the storage unit 60, and may be communicably connected to an external storage device that stores data necessary for control by the control calculation unit 50.
  • FIG. 6 is a flowchart illustrating an example of an iris authentication process performed by the portable information terminal 1.
  • the imaging control unit 51 acquires a signal indicating the intensity of ambient light from the light intensity sensor 30 (SA1).
  • the illumination light intensity controller 51a of the imaging controller 51 determines the intensity of the illumination light emitted by the light source 20 based on the intensity of the environment light (SA2).
  • the illumination light intensity control unit 51a irradiates the user with the illumination light having the determined intensity from the light source 20 (SA3), and the imaging unit 10 captures a near-infrared light image of the eye E of the user H (SA4).
  • the iris code generation unit 52 generates an iris code based on the near-infrared light image of the user (SA5).
  • the authentication unit 53 determines whether or not the generated iris code matches the registered iris code (SA6). If the generated iris code matches the registered iris code (YES in SA6), authentication section 53 accepts use of portable information terminal 1 by user H (SA7). On the other hand, if the generated iris code does not match the registered iris code (NO in SA6), authentication section 53 refuses user H to use portable information terminal 1 (SA8).
  • the illumination light intensity control unit 51a of the imaging control unit 51 emits light from the light source 20 when the intensity of environmental light measured by the light intensity sensor 30 is equal to or more than the predetermined value. Increase the intensity of the illumination light. This makes it possible to perform highly accurate iris authentication while reducing power consumption.
  • the light intensity sensor 30 itself may measure the intensity of light having a wavelength in the visible light region.
  • the control calculation unit 50 calculates the light intensity of the wavelength in the near-infrared region based on the light intensity of the wavelength in the visible light region measured by the light intensity sensor 30 and the known spectral distribution of sunlight. What is necessary is just to have the function of estimating.
  • FIG. 7 is a block diagram illustrating a configuration of a main part of the portable information terminal 2 (imaging device) according to the present embodiment.
  • the portable information terminal 2 is different from the configuration of the portable information terminal 1 in that the portable information terminal 2 includes a control operation unit 50A instead of the control operation unit 50, a GPS 70 (position information acquisition sensor), a direction sensor 80 And a clock 90.
  • the control calculation unit 50A further includes an indoor / outdoor determination unit 54 and a direction determination unit 55 as compared with the configuration of the control calculation unit 50.
  • the GPS 70 is a sensor for receiving a radio wave from a satellite to know the current location.
  • the direction sensor 80 includes a magnetic sensor, a gyro sensor, and the like, and detects a direction in which the portable information terminal 2 is facing.
  • the clock 90 outputs information indicating the current date and time.
  • the GPS 70, the direction sensor 80, and the timepiece 90 may be provided as a standard feature in currently marketed smartphones and the like.
  • the indoor / outdoor determination unit 54 determines whether the current location of the portable information terminal 2 is indoor or outdoor based on a signal from the GPS 70. When the current location is indoors, the indoor / outdoor determination unit 54 makes the above determination using the fact that it becomes difficult for the GPS 70 to receive radio waves from satellites. However, in an aspect of the present disclosure, the indoor / outdoor determination unit 54 may perform the above determination using a method different from a method using a signal from the GPS 70.
  • the imaging control unit 51 includes an illumination light intensity control unit 51a and an illumination time control unit 51b.
  • the imaging control according to the first embodiment is performed. The same processing as that of the unit 51 is performed.
  • the imaging control unit 51 of the present embodiment sets the intensity of the environmental light measured by the light intensity sensor 30 to a predetermined second threshold (second threshold). (Predetermined value) or more is determined.
  • the second threshold value is a lower limit value of the ambient light intensity assumed when sunlight directly enters the light intensity sensor 30.
  • the intensity of the ambient light measured by the light intensity sensor 30 when the intensity of the ambient light measured by the light intensity sensor 30 is equal to or greater than the second threshold, sunlight may directly enter the light intensity sensor 30 and the user's eyes E.
  • the value of the second threshold may be equal to or greater than the value of the first threshold.
  • the direction determination unit 55 determines whether the relationship between the imaging direction of the imaging unit 10 and the direction of the sun at that time is a predetermined relationship based on the direction indicated by the direction sensor 80, the position indicated by the GPS 70, and the current date and time indicated by the clock 90. Is determined. Specifically, the direction determination unit 55 performs the above determination based on the direction indicated by the direction sensor 80, the current position information of the user H obtained from the GPS 70 and the like, and the position of the sun derived from the current date and time obtained from the clock 90. . Information necessary for the direction determination unit 55 to derive the position of the sun may be stored in the storage unit 60 in advance, or may be obtained from an external device via a network or the like.
  • the direction determination unit 55 determines the direction of the user H.
  • the direction determination unit 55 determines whether the imaging direction of the imaging unit 10 is opposite to the direction of the sun.
  • the imaging direction of the imaging unit 10 is opposite to the direction of the sun, it is considered that the user H is facing the direction of the sun. That is, in the present embodiment, it can be said that the direction determination unit 55 determines whether the user H is facing the sun.
  • the range of the imaging direction in which the direction determination unit 55 determines that the direction is opposite to the direction of the sun may be appropriately set by the manufacturer of the portable information terminal 2. Alternatively, the above range may be appropriately set by the user.
  • FIG. 8A is a diagram showing a state in which the user H has taken an image with the portable information terminal 2 in a state facing the direction of the sun S.
  • FIG. 8B is a diagram illustrating an example of an image of the eyes E of the user H captured in the state illustrated in FIG. 8A.
  • FIG. 8A when the user H performs imaging with the portable information terminal 2 in a state where the user H faces the direction of the sun S, the sunlight LS enters the eyes E.
  • FIG. 8B an eye shadow E1 and an eyelash shadow E2 are reflected in the image of the eye E. Further, a place where these shadows are not reflected is a direct-light area E3 where the sunlight LS is directly incident.
  • the iris code generation unit 52 cannot perform (i) the segmentation process for specifying the iris or the pupil portion, or (ii) accurately creates the iris code There is a possibility that a problem such as the inability to do so may occur. In principle, these problems can be solved by, for example, irradiating the light source 20 with very strong illumination light. However, since the intensity of the sunlight LS is very large, it is substantially impossible for the light source 20 of the portable information terminal 2 to emit illumination light of sufficient intensity.
  • the direction determination unit 55 determines the imaging direction of the imaging unit 10, and when the user H is in the imaging direction that is assumed to be facing the sun S, the user H An image prompting the user to change the face direction is displayed on the display unit 40.
  • the above problem is solved if the user H who has visually recognized the image displayed on the display unit 40 changes the orientation of the face and changes the orientation of the imaging unit 10 so as to capture the face after the orientation is changed. You.
  • the upper limit N is set for the number of times the direction determination unit 55 determines the imaging direction.
  • the direction determination unit 55 determines that the imaging direction of the imaging unit 10 is the imaging direction in which the user H is assumed to be facing the direction of the sun S N times consecutively, the authentication unit 53 The use of the portable information terminal by the user H is rejected.
  • the value of the upper limit N may be appropriately set in consideration of the time required for the user H to change the direction.
  • FIG. 9 is a flowchart illustrating an example of an iris authentication process performed by the portable information terminal 2.
  • the indoor / outdoor determination unit 54 determines whether or not the current location is indoor (SB1).
  • SB1 portable information terminal 2 performs iris authentication in the same manner as portable information terminal 1 (SA1 to SA7).
  • the imaging control unit 51 sets the value of the variable n to 1 (SB2). Subsequently, similarly to step SA1, the imaging control unit 51 acquires a signal indicating the intensity of the ambient light from the light intensity sensor 30 (SB3), and determines whether or not the intensity is equal to or more than the second threshold value (SB3). SB4).
  • the direction determination unit 55 determines whether the user H is facing the sun (SB5). When it is determined that the user H is facing the sun (YES in SB5), the direction determining unit 55 determines whether the value of the variable n has reached the upper limit N (SB6). If the value of the variable n has not reached the upper limit N (NO in SB6), the direction determining unit 55 displays an image urging the user H to change the face direction on the display unit 40 (SB7). , The value of the variable n is increased by 1 (SB8). After that, the control calculation unit 50 repeats the processing from step SB3.
  • the control calculation unit 50 When the intensity of the ambient light is not equal to or greater than the second threshold (NO in SB4), or when it is determined that the user H is not facing the sun (NO in SB5), the control calculation unit 50 performs the processing according to the first embodiment. A similar iris authentication process is executed (SA2 to SA8). On the other hand, if the value of the variable n has reached the upper limit value N (YES in SB6) in any of steps SB4 and SB5, the authentication unit 53 determines that the iris code of the user H is registered in advance. As in the case where the codes do not match, the use of the portable information terminal 2 by the user H is rejected (SA8).
  • step SB6 the authentication unit 53 changes the image indicating that the orientation of the imaging unit 10 with respect to the sun (that is, the direction of the face of the user H) is not appropriate and the location where the imaging is performed.
  • the display unit 40 may display an image or the like that suggests the user H to do so.
  • FIG. 10 is a block diagram showing a configuration of a main part of the portable information terminal 3 according to the present embodiment. As shown in FIG. 10, the portable information terminal 3 is different from the portable information terminal 1 in that the light source 20B, the light intensity sensor 30B, and the control A unit 50B is provided.
  • the light source 20B is a white light source that emits white light (visible light) to the user H.
  • the light intensity sensor 30 is an illuminance sensor that measures the intensity of light having a wavelength in the visible light region among the ambient light.
  • the light source 20 ⁇ / b> B and the light intensity sensor 30 ⁇ / b> B may be those that are provided as standard on currently marketed smartphones and the like.
  • the control operation unit 50B includes an imaging control unit 51 and an image processing unit 56.
  • the imaging control unit 51 includes an illumination light intensity control unit 51a and an illumination time control unit 51b, similar to the first embodiment.
  • the image processing unit 56 performs a process of displaying the image captured by the image capturing unit 10 on the display unit 40 and storing the image in the storage unit 60.
  • FIG. 11 is a flowchart illustrating an example of an imaging process in the portable information terminal 3.
  • the imaging control unit 51 acquires a signal indicating the intensity of ambient light from the light intensity sensor 30B (SC1).
  • the illumination light intensity controller 51a determines the intensity of the illumination light emitted by the light source 20B based on the intensity of the environment light (SC2).
  • the imaging control unit 51 irradiates the user with illumination light of the determined intensity from the light source 20B (SC3), and captures a visible light image of the user H by the imaging unit 10 (SC4).
  • the image processing unit 56 displays the captured image on the display unit 40 (SC5), and accepts a user's selection as to whether to save the image (SC6).
  • SC6 the image processing unit 56 saves the image in the storage unit 60 (SC7) and ends the process.
  • NO in SC6 the image processing unit 56 ends the process without saving the image in the storage unit 60.
  • the image processing unit 56 may store the image in the storage unit 60 without performing step SC6. Further, in step SC6, the image processing unit 56 may accept not only a selection as to whether or not to save the image but also an operation by a user for editing the image.
  • FIG. 12 is a diagram for explaining a problem of an image Im1 captured by a conventional portable information terminal.
  • the image Im1 is a self-portrait of the user.
  • the image Im3 of the signboard present near the place where the image Im1 was captured is reflected in the image Im2 of the cornea of the user in the image Im1.
  • the portable information terminal 3 if it is expected that ambient light reflects on the cornea strongly, the intensity of illumination light emitted from the light source 20B is increased. Thereby, the reflection on the cornea due to the ambient light can be reduced. On the other hand, when the reflection on the cornea due to the ambient light is expected to be weak, the intensity of the illumination light emitted from the light source 20B is reduced or the illumination light is not emitted. As described above, by changing the intensity of the illumination light according to the intensity of the environment light, it is possible to reduce the power consumption of the portable information terminal 3 and to reduce the reflection of the environment light on the cornea as much as possible. However, from the viewpoint of preventing reflection, even when it is not necessary to irradiate the illumination light from the light source 20B, the light source 20B may be turned on as illumination for imaging in a dark place.
  • the illumination time control unit 51b may irradiate the illumination light from the light source 20B only at the time of imaging by the imaging unit 10, similarly to a flash in a general camera.
  • the illumination light intensity controller 51a may control the intensity of the illumination light in three or more steps. By finely controlling the intensity of the illumination light as described above, it is possible to capture an image in which the reflection on the cornea is more appropriately reduced.
  • the portable information terminal according to an aspect of the present disclosure may be a combination of the portable information terminal 1 or 2 and the portable information terminal 3 described above. That is, the portable information terminal according to an aspect of the present disclosure may include the light sources 20, 20B and the light intensity sensors 30 and 30B.
  • the illumination light intensity control unit 51a determines the intensity of the illumination light emitted by the light source 20 based on the intensity of the environmental light measured by the light intensity sensor 30.
  • the illumination light intensity control unit 51a determines the intensity of the illumination light emitted from the light source 20B based on the intensity of the ambient light measured by the light intensity sensor 30B.
  • one embodiment of the present disclosure may be an imaging device other than the portable information terminal.
  • control blocks in particular, the imaging control unit 51, the iris code generation unit 52, the authentication unit 53, the indoor / outdoor determination unit 54, the direction determination unit 55, and the image processing unit 56
  • the control blocks are integrated circuits. It may be realized by a logic circuit (hardware) formed in (IC chip) or the like, or may be realized by software.
  • the portable information terminals 1, 2, and 3 include a computer that executes instructions of a program that is software for realizing each function.
  • This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the program. Then, in the computer, the object of the present disclosure is achieved by the processor reading the program from the recording medium and executing the program.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium include "temporary tangible media” such as ROM (Read Only Memory), tapes, disks, cards, semiconductor memories, and programmable logic circuits. Further, a RAM (Random Access Memory) for expanding the program may be further provided.
  • the program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the program.
  • a transmission medium a communication network, a broadcast wave, or the like
  • one embodiment of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

撮像時に適切な強度の光を照射可能な撮像装置を実現する。携帯情報端末は、ユーザを撮像する撮像部と、ユーザに照明光を照射する光源と、ユーザの周囲の環境光の強度を測定する光強度センサと、光強度センサが測定した環境光の強度に基づいて、照明光の強度を制御する照明光強度制御部とを備え、光強度センサは、撮像部が設けられている面とは逆側の面に設けられている。

Description

撮像装置
　本開示は、撮像装置に関する。本出願は、２０１８年８月２１日に日本に出願された特願２０１８－１５４９０８号に優先権を主張し、その内容をここに援用する。
　特許文献１には、光源から顔に近赤外線を含む光を照射し、撮像部によって前記顔を撮像して顔画像を得る顔画像撮像装置を制御する撮像制御装置が開示されている。当該撮像制御装置は、環境光の強さを検知する環境光検知部からの情報に基づいて、前記環境光の強さを判定する環境光判定手段と、顔画像に基づいて、眼鏡の反射の程度を判定する眼鏡反射判定手段と、環境光の強さが所定の判定値以上であり、かつ、眼鏡の反射の程度が所定の判定値以上である場合に、光源から照射する光の強度を顔画像において目の状態を認識可能な所定の強度に設定する光制御手段と、を備える。
特開２０１３－１７５９１４号公報（２０１３年９月５日公開）
　しかしながら、特許文献１に開示されている撮像制御装置においては、環境光検知部は車両のダッシュボードなどに配置されるため、顔に入射する環境光の強度を正確に測定できない。このため、当該撮像制御装置によっては、撮像時に適切な強度の光を顔に照射することができないという問題がある。
　本開示の一態様は、撮像時に適切な強度の光を照射可能な撮像装置を実現することを目的とする。
　上記の課題を解決するために、本開示の一態様に係る撮像装置は、撮像対象を撮像する撮像部と、前記撮像対象に照明光を照射する光源と、前記撮像対象の周囲の環境光の強度を測定する光強度センサと、前記光強度センサが測定した前記環境光の強度に基づいて、前記照明光の強度を制御する照明光強度制御部とを備え、前記光強度センサは、前記撮像部が設けられている面とは逆側の面に設けられている。
　本開示の一態様に係る撮像装置によれば、撮像時に適切な強度の光を照射できる。
実施形態１に係る携帯情報端末の要部の構成を示すブロック図である。 実施形態１に係る携帯情報端末の外観を示す正面図である。 実施形態１に係る携帯情報端末の外観を示す裏面図である。 ユーザの目に入射する環境光、および光強度センサに入射する環境光の例を示す図である。 比較例としての携帯情報端末による環境光の強度の測定について説明するための図であって、ユーザの目に入射する環境光の強度が高い場合を示す。 比較例としての携帯情報端末による環境光の強度の測定について説明するための図であって、ユーザの目に入射する環境光の強度が低い場合を示す。 環境光の強度が第１閾値以上である場合における、環境光の強度、照明光の強度、および全体での光の強度の例を示すグラフである。 環境光の強度が第１閾値未満である場合における、環境光の強度、照明光の強度、および全体での光の強度の例を示すグラフである。 実施形態１に係る携帯情報端末による虹彩認証の処理の一例を示すフローチャートである。 実施形態２に係る携帯情報端末の要部の構成を示すブロック図である。 ユーザが太陽の方角を向いた状態で携帯情報端末による撮像を行った状態を示す図である。 図８Ａに示した状態で撮像されたユーザの目の画像の例を示す図である。 実施形態２に係る携帯情報端末による虹彩認証の処理の一例を示すフローチャートである。 実施形態３に係る携帯情報端末の要部の構成を示すブロック図である。 実施形態３に係る携帯情報端末における撮像の処理の一例を示すフローチャートである。 従来の携帯情報端末により撮像した画像の問題点について説明するための図である。
　〔実施形態１〕
　以下、本開示の一実施形態について、詳細に説明する。本実施形態では、ユーザＨの目Ｅの近赤外光画像を撮像し、当該近赤外光画像により虹彩認証を行う機能を有する携帯情報端末１（撮像装置）について説明する。
　図２Ａは、本実施形態に係る携帯情報端末１の外観を示す正面図である。図２Ｂは、本実施形態に係る携帯情報端末１の外観を示す裏面図である。ここでは、携帯情報端末１により虹彩認証用の画像を撮像する場合において、ユーザＨと対向する面を正面とし、当該正面とは逆側の面を裏面としている。図２Ａに示すように、携帯情報端末１は、正面に撮像部１０、光源２０、および表示部４０を備える。また、図２Ｂに示すように、携帯情報端末１は、裏面に光強度センサ３０を備える。
　撮像部１０は、ユーザＨの目Ｅ（撮像対象）の画像を撮像するカメラである。本実施形態では、撮像部１０は、少なくとも目Ｅの近赤外光画像を撮像可能である。また、撮像部１０は、目Ｅの可視光画像についても撮像可能であってもよい。
　光源２０は、目Ｅに対して照明光を照射する光源である。本実施形態では、光源２０が照射する照明光は、近赤外光領域にピーク波長を有する。具体的には、光源２０は、例えば８００ｎｍ付近にピーク波長を有する照明光を目Ｅに照射する。光源２０がこのようなピーク波長を有する光を照射することで、様々な色の瞳に対して、明瞭に虹彩を撮像することができる。
　光強度センサ３０は、目Ｅの周囲の環境光の強度を測定する。本実施形態では、光強度センサ３０は、近赤外領域の波長の光の強度を測定する。携帯情報端末１において、光強度センサ３０は、撮像部１０が設けられている面とは逆側の面に設けられている。
　図３は、ユーザＨの目Ｅに入射する環境光Ｌ１、および光強度センサ３０に入射する環境光Ｌ２の例を示す図である。図３に示すように、携帯情報端末１により目Ｅを撮像する場合において、目Ｅに入射する環境光Ｌ１と、光強度センサ３０に入射する環境光Ｌ２とは、同じ方向から入射する。このため、環境光の強度が方向によって異なる場合であっても、光強度センサ３０は、目Ｅに入射する光と同等の環境光の強度を測定することができる。
　図４Ａは、比較例としての携帯情報端末１Ｘによる環境光の強度の測定について説明するための図であって、ユーザＨの目Ｅに入射する環境光の強度が高い場合を示す。図４Ｂは、比較例としての携帯情報端末１Ｘによる環境光の強度の測定について説明するための図であって、ユーザＨの目Ｅに入射する環境光の強度が低い場合を示す。図４Ａおよび図４Ｂにおいては、環境光Ｌ１およびＬ２の強さが、それぞれの矢印の太さで示されている。
　携帯情報端末１Ｘは、個々の構成要素については携帯情報端末１と同じである。ただし、携帯情報端末１Ｘは、光強度センサ３０が撮像部１０と同様に、携帯情報端末１Ｘの正面に設けられている点で、携帯情報端末１と相違する。
　図４Ａに示す例は、ユーザＨの目Ｅに正面から入射する環境光Ｌ１の強度がとりわけ高い場合である。このような場合、光強度センサ３０は環境光Ｌ１とは反対方向を向いているため測定される強度は小さくなり、さらに、ユーザＨの頭部の陰に隠れてしまうため、光強度センサ３０が測定する環境光Ｌ２の強度は、環境光Ｌ１の強度と比較して著しく低くなる。
　一方、図４Ｂに示す例は、ユーザＨの頭部の上方から、光強度センサ３０に向けて、強度の高い環境光Ｌ２が入射している場合である。このような環境光Ｌ２は、ユーザＨの目Ｅに入射する環境光Ｌ１とは異なる方向から入射する光であり、ユーザＨの目Ｅに入射することはない。このため、図４Ｂに示すように、光強度センサ３０が測定する環境光の強度は、目に入射する環境光強度と比べて、高くなってしまうことが予想される。
　このように、比較例の携帯情報端末１Ｘにおいては、環境光Ｌ１の強度と環境光Ｌ２の強度との間に、一意的な関係は見られない。したがって、携帯情報端末１Ｘにおいては、照明光の強度を適切に制御することはできないと考えられる。
　表示部４０は、携帯情報端末１のユーザに対して情報を提示するための画像を表示する。表示部４０は、例えば液晶ディスプレイ、または有機ＥＬ（Electro Luminescence）ディスプレイであってよい。
　図１は、携帯情報端末１の要部の構成を示すブロック図である。図１に示すように、携帯情報端末１は、撮像部１０、光源２０、光強度センサ３０、表示部４０、制御演算部５０および記憶部６０を備える。撮像部１０、光源２０、光強度センサ３０、および表示部４０については上述したとおりである。
　制御演算部５０は、携帯情報端末１の動作を制御し、かつ虹彩認証に必要な各種演算を実行する。制御演算部５０は、虹彩認証に関わる機能ブロックとして、撮像制御部５１（照明光強度制御部５１ａ、照明時間制御部５１ｂ）と、虹彩コード生成部５２と、認証部５３とを備える。
　撮像制御部５１は、照明光強度制御部５１ａと照明時間制御部５１ｂとを備える。照明光強度制御部５１ａは、光強度センサ３０により測定した環境光の強度に基づいて、撮像部１０および光源２０の動作を制御する。具体的には、照明光強度制御部５１ａは、環境光の強度が所定の第１閾値（第１所定値）以上である場合に、環境光の強度が当該第１閾値未満である場合よりも、光源２０が照射する照明光の強度を増大させる。
　図５Ａは、環境光の強度が第１閾値以上である場合における、環境光の強度、照明光の強度、および全体での光の強度の例を示すグラフである。図５Ｂは、環境光の強度が第１閾値未満である場合における、環境光の強度、照明光の強度、および全体での光の強度の例を示すグラフである。ここで、全体での光の強度とは、環境光の強度と照明光の強度との和である。図５Ａおよび図５Ｂにおいて、環境光の強度は一点鎖線、照明光の強度は破線、全体の光の強度は実線で示されている。
　図５Ｂに示す例では、照明光強度制御部５１ａは、照明光の強度を、虹彩の画像を撮像可能な最低限の強度に決定する。一方、図５Ａに示す例では、環境光の強度が大きいことから、角膜への映り込みも強くなっていると考えられる。このため、照明光強度制御部５１ａは、環境光の強度が第１閾値未満である場合よりも、照明光の強度を増大させる。照明光強度制御部５１ａは、照明光の強度をこのように制御することで、環境光の強度が第１閾値以上である場合には環境光による角膜への映り込みを低減し、かつ、環境光の強度が第１閾値未満である場合には携帯情報端末１の消費電力を低減することができる。
　特に、上述したとおり、本実施形態の光強度センサ３０は、近赤外領域の波長の光の強度を測定する。このため、照明光強度制御部５１ａは、環境光に含まれる近赤外光の強度に基づいて、照明光の強度を決定することができる。
　なお、上述した、（ｉ）環境光の強度についての第１閾値、（ｉｉ）当該閾値が所定値未満である場合の照明光の強度、および（ｉｉｉ）当該閾値が所定値以上である場合の照明光の強度については、撮像部１０および光強度センサ３０などの仕様および性能、並びに、虹彩コード生成部５２が虹彩コードの生成に用いるプログラムなどに応じて適宜設定されればよい。
　また、上記の例では、照明光強度制御部５１ａは、環境光について第１閾値により判定し、照明光の強度を２段階に制御していた。しかし、照明光強度制御部５１ａは、環境光について、第１閾値以外の閾値を含む２以上の閾値により判定し、照明光の強度を３段階以上に制御してもよい。このように、照明光の強度を細やかに制御することで、角膜への映り込みをより適切に低減した画像を撮像できる。
　また、撮像制御部５１は、照明光強度の制御および照明時間の制御に加えて、撮像部１０の露光時間を制御する。上述したとおり、環境光の強度が第１閾値以上である場合には、照明光強度制御部５１ａは、光源２０が照射する照明光の強度を増大させる。この場合、露光量が過大になることによる画像の白飛びを防止するため、撮像制御部５１は撮像部１０の露光時間を短縮する。
　この場合に、撮像制御部５１は、光源２０の点灯時間を撮像部１０の露光時間と同期させることが好ましい。ここで、照明時間制御部５１ｂが、短縮した撮像部１０の露光時間に合わせて照明光の照射時間も短縮することで、さらなる消費電力の低減を実現できる。
　なお、携帯情報端末１は、光源２０の点灯時間を決定するための、照明時間制御部５１ｂとは別の機能ブロックを備えていてもよい。また、携帯情報端末１においては、照明時間制御部５１ｂは必ずしも光源２０の点灯時間を撮像部１０の露光時間と同期させる必要はない。例えば照明時間制御部５１ｂは、光源２０の点灯時間を、撮像部１０の露光時間に依存しない一定の時間としてもよい。
　虹彩コード生成部５２は、撮像部１０が撮像した画像に基づいて、虹彩コードを生成する。認証部５３は、虹彩コード生成部５２が生成した虹彩コードに基づいて認証を行う。すなわち、認証部５３は、虹彩コード生成部５２が生成した虹彩コードと、携帯情報端末１のユーザの虹彩コードとして登録されている虹彩コードとが一致しているか否かの判定を行う。虹彩コード生成部５２が生成した虹彩コードと、携帯情報端末１に登録されている虹彩コードとが一致していれば、認証部５３は、ユーザによる携帯情報端末１の使用を受け入れる。一方、虹彩コード生成部５２が生成した虹彩コードと、携帯情報端末１に登録されている虹彩コードとが一致していなければ、認証部５３は、ユーザによる携帯情報端末１の使用を拒否する。また、認証部５３は、認証の結果（ユーザによる携帯情報端末１の使用の受入または拒否）を表示部４０に表示する。
　記憶部６０は、制御演算部５０による制御に必要なデータを記憶している。例えば記憶部６０は、虹彩コード生成部５２が虹彩コードを生成するためのプログラムを記憶している。また例えば記憶部６０は、携帯情報端末１のユーザの虹彩コードを記憶している。なお、携帯情報端末１は、必ずしも記憶部６０を備える必要はなく、制御演算部５０による制御に必要なデータを記憶している外部の記憶装置と通信可能に接続されていてもよい。
　図６は、携帯情報端末１による虹彩認証の処理の一例を示すフローチャートである。携帯情報端末１による虹彩認証では、まず、撮像制御部５１が、環境光の強度を示す信号を光強度センサ３０から取得する（ＳＡ１）。次に、撮像制御部５１の照明光強度制御部５１ａは、環境光の強度に基づいて、光源２０が照射する照明光の強度を決定する（ＳＡ２）。さらに照明光強度制御部５１ａは、決定した強度の照明光を光源２０からユーザに照射し（ＳＡ３）、撮像部１０によりユーザＨの目Ｅの近赤外光画像を撮像する（ＳＡ４）。
　その後、虹彩コード生成部５２は、ユーザの近赤外光画像に基づいて、虹彩コードを生成する（ＳＡ５）。認証部５３は、生成された虹彩コードが登録されている虹彩コードと一致するか否かの判定を行う（ＳＡ６）。生成された虹彩コードが登録されている虹彩コードと一致する場合（ＳＡ６でＹＥＳ）、認証部５３は、ユーザＨによる携帯情報端末１の使用を受け入れる（ＳＡ７）。一方、生成された虹彩コードが登録されている虹彩コードと一致しない場合（ＳＡ６でＮＯ）、認証部５３は、ユーザＨによる携帯情報端末１の使用を拒否する（ＳＡ８）。
　以上のとおり、携帯情報端末１においては、撮像制御部５１の照明光強度制御部５１ａは、光強度センサ３０により測定される環境光の強度が所定値以上である場合に、光源２０から照射する照明光の強度を増大させる。これにより、消費電力を低減しつつ、精度の高い虹彩認証を行うことが可能となる。
　なお、本開示の一態様において、光強度センサ３０自体は可視光領域の波長の光の強度を測定するものであってもよい。この場合、制御演算部５０は、光強度センサ３０が測定した可視光領域の波長の光の強度、および、既知の太陽光のスペクトル分布に基づいて、近赤外領域の波長の光の強度を推定する機能を有していればよい。
　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図７は、本実施形態に係る携帯情報端末２（撮像装置）の要部の構成を示すブロック図である。図７に示すように、携帯情報端末２は、携帯情報端末１の構成と比較して、制御演算部５０の代わりに制御演算部５０Ａを備えるとともに、ＧＰＳ７０（位置情報取得センサ）、方角センサ８０および時計９０をさらに備える。制御演算部５０Ａは、制御演算部５０の構成と比較して、屋内外判定部５４および方角判定部５５をさらに備える。
　ＧＰＳ７０は、衛星からの電波を受信して現在地を知るためのセンサである。方角センサ８０は、磁気センサおよびジャイロセンサなどを含み、携帯情報端末２の向いている方向を検知するものである。時計９０は、現在日時を示す情報を出力する。ＧＰＳ７０、方角センサ８０および時計９０は、現在市販されているスマートフォンなどに標準的に装備されているものであってよい。
　屋内外判定部５４は、ＧＰＳ７０からの信号に基づいて、携帯情報端末２の現在地が屋内または屋外のいずれであるかの判定を行う。屋内外判定部５４は、現在地が屋内である場合には、ＧＰＳ７０が衛星からの電波を受信しにくくなることを利用して、上記の判定を行う。ただし、本開示の一態様においては、屋内外判定部５４は、ＧＰＳ７０からの信号を用いる方法とは別の方法で上記の判定を行ってもよい。
　本実施形態の撮像制御部５１は、照明光強度制御部５１ａと照明時間制御部５１ｂとを備え、現在地が屋内であると屋内外判定部５４が判定した場合には、実施形態１における撮像制御部５１と同様の処理を行う。一方、本実施形態の撮像制御部５１は、現在地が屋外であると屋内外判定部５４が判定した場合には、光強度センサ３０が測定した環境光の強度が所定の第２閾値（第２所定値）以上であるか否かの判定を行う。第２閾値は、太陽光が光強度センサ３０に直接入射した場合に想定される環境光の強度の下限値である。すなわち、光強度センサ３０が測定した環境光の強度が第２閾値以上である場合には、光強度センサ３０およびユーザの目Ｅに太陽光が直接入射している可能性がある。第２閾値の値は、第１閾値の値と等しくてもよく、第１閾値の値よりも大きくてもよい。
　方角判定部５５は、方角センサ８０が示す方向、ＧＰＳ７０が示す位置および時計９０が示す現在日時に基づいて撮像部１０の撮像方向とその時点の太陽の方角との関係が所定の関係であるかどうかの判定を行う。具体的には、方角判定部５５は、方角センサ８０が示す方向、ＧＰＳ７０などから取得するユーザＨの現在位置情報および時計９０から取得する現在日時から導出した太陽の位置から、上記の判定を行う。なお、方角判定部５５が太陽の位置を導出するために必要な情報は、予め記憶部６０に格納されていてもよいし、外部の装置からネットワークなどを介して取得してもよい。
　一般に、撮像部１０の撮像方向と、ユーザＨが向いている方向とは１対１に対応するため、方角判定部５５は、ユーザＨの向きを判定しているともいえる。本実施形態において、方角判定部５５は、撮像部１０の撮像方向が太陽の方角と逆方向であるか否かを判定する。撮像部１０の撮像方向が太陽の方角と逆方向である場合には、ユーザＨは太陽の方角を向いていると考えられる。すなわち、本実施形態において、方角判定部５５は、ユーザＨが太陽の方角を向いているか判定するともいえる。
　なお、方角判定部５５が太陽の方角の逆方向であると判定する撮像方向の範囲は、携帯情報端末２の製造者により適宜設定されてよい。または、上記範囲は、ユーザにより適宜設定可能であってもよい。
　図８Ａは、ユーザＨが太陽Ｓの方角を向いた状態で携帯情報端末２による撮像を行った状態を示す図である。図８Ｂは、図８Ａに示した状態で撮像されたユーザＨの目Ｅの画像の例を示す図である。
　図８Ａに示すように、ユーザＨが太陽Ｓの方角を向いた状態で携帯情報端末２による撮像を行うと、太陽光ＬＳが目Ｅに入射する。この場合、図８Ｂに示すように、目Ｅの画像には、瞼の影Ｅ１および睫毛の影Ｅ２が映り込む。また、これらの影が映り込まない箇所は、太陽光ＬＳが直接入射する直射領域Ｅ３となる。
　図８Ｂに示したような目Ｅの画像に対しては、虹彩コード生成部５２が、（ｉ）虹彩または瞳孔の部分を特定するセグメンテーション処理を行えなくなる、または（ｉｉ）虹彩コードを正確に作成できなくなる、といった問題が生じる虞がある。これらの問題は、原理的には、例えば光源２０から非常に強い照明光を照射することで解消できる。しかしながら、太陽光ＬＳの強度は非常に大きいため、携帯情報端末２の光源２０では十分な強度の照明光を照射することは実質的に不可能である。
　そこで、携帯情報端末２において、方角判定部５５は、撮像部１０の撮像方向を判定し、ユーザＨが太陽Ｓの方向を向いていると想定される撮像方向である場合には、ユーザＨに対して顔の向きを変えるよう促す画像を表示部４０に表示する。表示部４０に表示された画像を視認したユーザＨが顔の向きを変更するとともに、向きを変更した後の顔を撮像するように撮像部１０の向きを変更すれば、上記の問題は解消される。
　本実施形態では、方角判定部５５による撮像方向の判定回数に、上限値Ｎが設定されている。撮像部１０の撮像方向が、ユーザＨが太陽Ｓの方向を向いていると想定される撮像方向であると、方角判定部５５がＮ回連続して判定した場合には、認証部５３が、ユーザＨによる携帯情報端末の使用を拒否する。上限値Ｎの値は、ユーザＨが向きを変更するために要する時間などを考慮して、適宜設定されればよい。
　図９は、携帯情報端末２による虹彩認証の処理の一例を示すフローチャートである。携帯情報端末２においては、虹彩認証を開始すると、まず屋内外判定部５４が、現在地が屋内であるか否かの判定を行う（ＳＢ１）。現在地が屋内である場合（ＳＢ１でＹＥＳ）、携帯情報端末２は、携帯情報端末１と同様にして虹彩認証を行う（ＳＡ１～ＳＡ７）。
　一方、現在地が屋外である場合（ＳＢ１でＮＯ）、撮像制御部５１は、変数ｎの値を１に設定する（ＳＢ２）。続いて撮像制御部５１は、ステップＳＡ１と同様に、環境光の強度を示す信号を光強度センサ３０から取得し（ＳＢ３）、当該強度が第２閾値以上であるか否かの判定を行う（ＳＢ４）。
　環境光の強度が第２閾値以上である場合（ＳＢ４でＹＥＳ）、方角判定部５５は、ユーザＨが太陽の方向を向いているか否かの判定を行う（ＳＢ５）。ユーザＨが太陽の方向を向いていると判断された場合（ＳＢ５でＹＥＳ）、方角判定部５５は、変数ｎの値が上限値Ｎに達しているか否かの判定を行う（ＳＢ６）。変数ｎの値が上限値Ｎに達していない場合（ＳＢ６でＮＯ）、方角判定部５５は、ユーザＨに対して顔の向きを変更することを促す画像を表示部４０に表示し（ＳＢ７）、変数ｎの値を１増加させる（ＳＢ８）。その後、制御演算部５０は、ステップＳＢ３からの処理を繰り返す。
　環境光の強度が第２閾値以上でない場合（ＳＢ４でＮＯ）、または、ユーザＨが太陽の方向を向いていないと判断された場合（ＳＢ５でＮＯ）、制御演算部５０は、実施形態１と同様の、虹彩認証の処理を実行する（ＳＡ２～ＳＡ８）。一方、ステップＳＢ４およびＳＢ５のいずれにおいてもＹＥＳの状態で、変数ｎの値が上限値Ｎに達した場合（ＳＢ６でＹＥＳ）、認証部５３は、ユーザＨの虹彩コードが予め登録されている虹彩コードと一致しなかった場合と同様、ユーザＨによる携帯情報端末２の使用を拒否する（ＳＡ８）。
　なお、ステップＳＢ６でＹＥＳとなった場合には、認証部５３は、太陽に対する撮像部１０の向き（すなわちユーザＨの顔の向き）が適切でない旨を示す画像、および、撮像を行う場所を変更することをユーザＨに対して示唆する画像などを表示部４０に表示してもよい。
　〔実施形態３〕
　本開示のさらに別の実施形態について、以下に説明する。本実施形態ではユーザＨの可視光画像を撮像する携帯情報端末３（撮像装置）について説明する。
　図１０は、本実施形態に係る携帯情報端末３の要部の構成を示すブロック図である。図１０に示すように、携帯情報端末３は、携帯情報端末１と比較して、光源２０、光強度センサ３０および制御演算部５０のそれぞれの代わりに、光源２０Ｂ、光強度センサ３０Ｂおよび制御演算部５０Ｂを備える。
　光源２０Ｂは、ユーザＨに対して白色光（可視光）を照射する白色光源である。また、光強度センサ３０は、環境光のうち、可視光領域の波長の光の強度を測定する照度センサである。光源２０Ｂおよび光強度センサ３０Ｂは、現在市販されているスマートフォンなどに標準的に装備されているものであってよい。
　制御演算部５０Ｂは、撮像制御部５１および画像処理部５６を備える。撮像制御部５１は、実施形態１と同様の、照明光強度制御部５１ａと照明時間制御部５１ｂとを備える。画像処理部５６は、撮像部１０が撮像した画像について、表示部４０への表示、および記憶部６０への保存処理を行う。
　図１１は、携帯情報端末３における撮像の処理の一例を示すフローチャートである。携帯情報端末３においては、まず、撮像制御部５１が、環境光の強度を示す信号を光強度センサ３０Ｂから取得する（ＳＣ１）。次に、照明光強度制御部５１ａは、環境光の強度に基づいて、光源２０Ｂが照射する照明光の強度を決定する（ＳＣ２）。さらに撮像制御部５１は、決定した強度の照明光を光源２０Ｂからユーザに照射し（ＳＣ３）、撮像部１０によりユーザＨの可視光画像を撮像する（ＳＣ４）。
　その後、画像処理部５６は、撮像した画像を表示部４０に表示させ（ＳＣ５）、当該画像を保存するか否かについてのユーザによる選択を受け付ける（ＳＣ６）。当該画像を保存することをユーザが選択した場合（ＳＣ６でＹＥＳ）、画像処理部５６は記憶部６０に当該画像を保存して（ＳＣ７）処理を終了する。一方、当該画像を保存することをユーザが選択しなかった場合（ＳＣ６でＮＯ）、画像処理部５６は記憶部６０に当該画像を保存せずに処理を終了する。
　なお、画像処理部５６は、ステップＳＣ６を行わずに、記憶部６０に画像を保存してもよい。また、画像処理部５６は、ステップＳＣ６において、画像を保存するか否かの選択だけでなく、画像の編集のためのユーザによる操作を受け付けてもよい。
　図１２は、従来の携帯情報端末により撮像した画像Ｉｍ１の問題点について説明するための図である。画像Ｉｍ１は、ユーザの自画像である。図１２に示す例では、画像Ｉｍ１の、ユーザの目の角膜の画像Ｉｍ２に、画像Ｉｍ１を撮像した場所の近傍に存在する、駅名を示す看板の画像Ｉｍ３が映り込んでいる。
　近年、携帯情報端末により撮像した自画像を、ＳＮＳ（Social Networking Service）などにアップロードすることが広く行われている。携帯情報端末が備えるカメラの高解像度化により、撮像された自画像の、目の角膜に映り込んだ画像を明瞭に認識できるようになっている。このため、ユーザが画像Ｉｍ１のような画像を公開することで、画像Ｉｍ３のように映り込んだ駅名により撮像場所が特定されるなど、ユーザが意図しない個人情報またはプライベートの情報を公開してしまうトラブルの発生が予想される。このため、虹彩認証に用いる近赤外光画像のみならず、可視光画像についても、角膜への映り込みを抑制するニーズが高まっている。
　携帯情報端末３によれば、環境光による角膜への映り込みが強いと予想される場合には、光源２０Ｂから照射する照明光の強度を増大させる。これにより、環境光による角膜への映り込みを低減することができる。一方で、環境光による角膜への映り込みが弱いと予想される場合には、光源２０Ｂから照射する照明光の強度を小さくするか、または照明光を照射しない。このように、照明光の強度を環境光の強度に応じて変化させることで、携帯情報端末３の消費電力を低減し、かつ環境光による角膜への映り込みを極力低減することができる。ただし、映り込み防止の観点からは光源２０Ｂから照明光を照射する必要がない場合であっても、暗い場所での撮像のための照明として、光源２０Ｂを点灯させてもよい。
　なお、光源２０Ｂが照射する照明光は白色光であるため、当該照明光をユーザに対して長時間照射すると、ユーザの目に与える負担が大きくなる虞がある。このため、照明時間制御部５１ｂは、光源２０Ｂからの照明光の照射を、一般的なカメラにおけるフラッシュと同様に、撮像部１０による撮像時にのみ行ってもよい。
　また、実施形態１と同様、本実施形態においても、照明光強度制御部５１ａは、照明光の強度を３段階以上に制御してもよい。このように、照明光の強度を細やかに制御することで、角膜への映り込みをより適切に低減した画像を撮像できる。
　なお、本開示の一態様に係る携帯情報端末は、上述した携帯情報端末１または２と、携帯情報端末３とを組み合わせたものであってもよい。すなわち、本開示の一態様に係る携帯情報端末は、光源２０、２０Ｂ、光強度センサ３０および３０Ｂを備えていてもよい。この場合、照明光強度制御部５１ａは、近赤外光画像を撮像する場合には、光強度センサ３０が測定した環境光の強度に基づいて、光源２０が照射する照明光の強度を決定する。また、照明光強度制御部５１ａは、可視光画像を撮像する場合には、光強度センサ３０Ｂが測定した環境光の強度に基づいて、光源２０Ｂが照射する照明光の強度を決定する。
　また、本開示の一態様は、携帯情報端末以外の撮像装置であってもよい。
　〔ソフトウェアによる実現例〕
　携帯情報端末１、２、および３の制御ブロック（特に撮像制御部５１、虹彩コード生成部５２、認証部５３、屋内外判定部５４、方角判定部５５、および画像処理部５６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、携帯情報端末１、２、および３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

Claims (6)

  1. 　撮像対象を撮像する撮像部と、
    　前記撮像対象に照明光を照射する光源と、
    　前記撮像対象の周囲の環境光の強度を測定する光強度センサと、
    　前記光強度センサが測定した前記環境光の強度に基づいて、前記照明光の強度を制御する照明光強度制御部とを備え、
    　前記光強度センサは、前記撮像部が設けられている面とは逆側の面に設けられていることを特徴とする撮像装置。
  2. 　前記照明光強度制御部は、前記環境光の強度が第１所定値以上である場合に、前記環境光の強度が前記第１所定値未満である場合よりも、前記照明光の強度を増大させることを特徴とする請求項１に記載の撮像装置。
  3. 　前記光源の点灯時間を前記撮像部の露光時間と同期させる照明時間制御部をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記光強度センサは、前記環境光のうち、近赤外領域の波長の光の強度を測定することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
  5. 　前記光強度センサは、前記環境光のうち、可視光領域の波長の光の強度を測定することを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
  6. 　方角センサ、位置情報取得センサおよび時計をさらに備え、
    　前記環境光の強度が第２所定値以上である場合に、前記方角センサが示す方向、前記位置情報取得センサが示す位置および前記時計が示す現在日時に基づいて前記撮像部の撮像方向とその時点の太陽の方角との関係が所定の関係であるかどうかの判定を行う方角判定部をさらに備えることを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
PCT/JP2019/029211 2018-08-21 2019-07-25 撮像装置 WO2020039841A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018154908A JP2021179453A (ja) 2018-08-21 2018-08-21 撮像装置
JP2018-154908 2018-08-21

Publications (1)

Publication Number Publication Date
WO2020039841A1 true WO2020039841A1 (ja) 2020-02-27

Family

ID=69592747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029211 WO2020039841A1 (ja) 2018-08-21 2019-07-25 撮像装置

Country Status (2)

Country Link
JP (1) JP2021179453A (ja)
WO (1) WO2020039841A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289502A (ja) * 2003-03-24 2004-10-14 Fuji Xerox Co Ltd 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置
JP2005301742A (ja) * 2004-04-13 2005-10-27 Denso Corp 運転者の外観認識システム
WO2008059627A1 (fr) * 2006-11-14 2008-05-22 Fujitsu Limited Dispositif de commande d'éclairage, procédé de commande d'éclairage et appareil d'imagerie
JP2009096323A (ja) * 2007-10-17 2009-05-07 Calsonic Kansei Corp カメラ照明制御装置
JP2009193197A (ja) * 2008-02-13 2009-08-27 Oki Electric Ind Co Ltd 虹彩認証方法及び虹彩認証装置
JP2010239184A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置及びその画像調整方法
JP2012138687A (ja) * 2010-12-24 2012-07-19 Kyocera Corp 携帯電子機器
JP2017147578A (ja) * 2016-02-16 2017-08-24 Smk株式会社 動画撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289502A (ja) * 2003-03-24 2004-10-14 Fuji Xerox Co Ltd 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置
JP2005301742A (ja) * 2004-04-13 2005-10-27 Denso Corp 運転者の外観認識システム
WO2008059627A1 (fr) * 2006-11-14 2008-05-22 Fujitsu Limited Dispositif de commande d'éclairage, procédé de commande d'éclairage et appareil d'imagerie
JP2009096323A (ja) * 2007-10-17 2009-05-07 Calsonic Kansei Corp カメラ照明制御装置
JP2009193197A (ja) * 2008-02-13 2009-08-27 Oki Electric Ind Co Ltd 虹彩認証方法及び虹彩認証装置
JP2010239184A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置及びその画像調整方法
JP2012138687A (ja) * 2010-12-24 2012-07-19 Kyocera Corp 携帯電子機器
JP2017147578A (ja) * 2016-02-16 2017-08-24 Smk株式会社 動画撮像装置

Also Published As

Publication number Publication date
JP2021179453A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
RU2428811C2 (ru) Фотокамера и способ, выполняемый в фотокамере
CN109547701A (zh) 图像拍摄方法、装置、存储介质及电子设备
US9413939B2 (en) Apparatus and method for controlling a camera and infrared illuminator in an electronic device
CN107743590B (zh) 用于使用飞行时间传感器来执行曝光估计的方法及设备
JP4006415B2 (ja) 撮影装置及びその制御方法並びに制御用プログラム
US11189071B2 (en) Electronic device for providing avatar animation and method thereof
CN104954661B (zh) 用于控制图像捕获的方法和装置
CN113612930A (zh) 用于捕获数字图像的***和方法
US20090175555A1 (en) Illumination systems and methods for computer imagers
CN106506909A (zh) 根据光学条件调节便携式电子装置的方法及装置
US11610558B2 (en) Method of acquiring outside luminance using camera sensor and electronic device applying the method
CN105049726A (zh) 一种移动终端拍照方法及移动终端
CN111480333A (zh) 补光拍照方法、移动终端及计算机可读存储介质
CN113906730B (zh) 获得皮肤图像的电子设备及其控制方法
KR20200089593A (ko) 카메라 센서를 이용하여 외부 조도를 획득하는 방법 및 해당 방법을 적용한 전자 장치
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
EP4047923A1 (en) Electronic device comprising camera and method of same
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP2012160978A (ja) 撮像制御装置、テンプレート取得装置、及びプログラム
US8090253B2 (en) Photographing control method and apparatus using strobe
WO2020039841A1 (ja) 撮像装置
JP2008093131A (ja) 眩しさ評価装置
US20190342490A1 (en) Electronic device, image capture method, and control device
JP2009193197A (ja) 虹彩認証方法及び虹彩認証装置
CN112383688B (zh) 摄像补光方法、装置、电子设备和智能终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19850881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP