WO2017017896A1 - 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 - Google Patents

画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 Download PDF

Info

Publication number
WO2017017896A1
WO2017017896A1 PCT/JP2016/003126 JP2016003126W WO2017017896A1 WO 2017017896 A1 WO2017017896 A1 WO 2017017896A1 JP 2016003126 W JP2016003126 W JP 2016003126W WO 2017017896 A1 WO2017017896 A1 WO 2017017896A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
captured image
pupil
image processing
luminance
Prior art date
Application number
PCT/JP2016/003126
Other languages
English (en)
French (fr)
Inventor
武 坂井
宇征 金
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US15/748,201 priority Critical patent/US10367979B2/en
Priority to JP2017530996A priority patent/JP6480586B2/ja
Priority to EP16830005.1A priority patent/EP3331235B1/en
Publication of WO2017017896A1 publication Critical patent/WO2017017896A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Definitions

  • the present invention relates to an image processing device, an imaging device, a driver monitoring system, a moving body, and an image processing method for monitoring the state of a subject such as a driver of a moving body.
  • Patent Document 1 discloses a technique for capturing an image of a driver in an image capturing apparatus that captures an image of a driver by installing illumination means for irradiating the driver with light on a steering wheel of a vehicle.
  • An image processing apparatus includes an image acquisition unit and a control unit.
  • An image acquisition part acquires the picked-up image which imaged the subject with the irradiation light from one or more light sources.
  • a control part produces
  • An imaging apparatus includes an imaging element and a control unit.
  • the image pickup device picks up an image of the subject with the irradiation light from the light source and generates a picked-up image.
  • the control unit generates adjustment information for adjusting the amount of light from the light source based on the size of the pupil of the subject determined from the captured image.
  • a driver monitoring system includes a lighting device, an imaging device, and an image processing device.
  • the illumination device irradiates light to the driver of the moving body.
  • the imaging device captures a driver irradiated with light and generates a captured image.
  • the image processing device generates adjustment information for adjusting the amount of light from the illumination device based on the size of the driver's pupil determined from the captured image.
  • a moving body includes an illumination device, an imaging device, and an image processing device.
  • the lighting device irradiates the driver with light.
  • the imaging device captures a driver irradiated with light and generates a captured image.
  • the image processing device generates adjustment information for adjusting the amount of light from the illumination device based on the size of the driver's pupil determined from the captured image.
  • An image processing method includes a step of acquiring a captured image obtained by capturing a subject with irradiation light from a light source, and a light source based on the size of the subject's pupil determined from the captured image. Generating adjustment information for adjusting the amount of light from.
  • FIG. 3 It is a block diagram which shows schematic structure of the driver
  • movement of the illuminating device of FIG. 3 is a flowchart for explaining the operation of the imaging apparatus in FIG. 1.
  • 2 is a flowchart for explaining the operation of the image processing apparatus in FIG. 1. It is a block diagram which shows schematic structure of the imaging device which concerns on other embodiment of this invention.
  • a driver monitoring system will be described with reference to FIG.
  • the driver monitoring system is mounted on the moving body.
  • the “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like.
  • a vehicle will be described as an example of a moving object.
  • the driver monitoring system 10 includes a lighting device 11, an imaging device 12, and an image processing device 13.
  • the driver monitoring system 10 may further include a warning device 14.
  • Each component of the driver monitoring system 10 can transmit and receive information via a network 15 such as wireless, wired, or CAN.
  • the lighting device 11 is arranged, for example, on the dashboard 17 of the vehicle 16 so as to be able to irradiate light on the face of a subject 18 such as a driver.
  • the imaging device 12 is disposed on, for example, the dashboard 17 of the vehicle 16 so that the face of the subject 18 irradiated with the irradiation light from the lighting device 11 can be captured.
  • the illumination device 11 and the imaging device 12 are arranged close to each other.
  • the imaging device 12 generates a captured image (bright pupil image) in which the pupil of the eye of the subject 18 on the image is bright.
  • the illumination device 11 includes one or more light sources 19, an illumination optical system 20, a communication unit 21, and an illumination control unit 22.
  • the light source 19 includes, for example, an LED.
  • the light source 19 emits light of a predetermined wavelength band.
  • the light source 19 is an infrared LED that emits diffused light in the infrared band.
  • any wavelength band and directivity of emitted light can be employed.
  • the illumination optical system 20 includes, for example, a lens whose angle of view is adjusted.
  • the illumination optical system 20 irradiates light that passes through the illumination optical system 20.
  • the light from the light source 19 that has passed through the illumination optical system 20 is applied to the entire face of the subject 18.
  • the communication unit 21 includes an interface for inputting (acquiring) and outputting information via the network 15.
  • the illumination control unit 22 includes, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific function by reading a specific program.
  • the illumination control unit 22 controls the operation of each part of the illumination device 11. For example, the illumination control unit 22 periodically causes the light source 19 to emit light in the infrared band for a predetermined emission time period according to a synchronization signal acquired from the imaging device 12 via the communication unit 21.
  • the illumination control unit 22 causes the light source 19 to emit pulses using a pulse signal (control signal) for causing the light source 19 to emit pulses.
  • a pulse signal control signal
  • the amount of irradiation light from 11 changes.
  • the illumination control unit 22 acquires adjustment information from the image processing device 13 via the communication unit 21.
  • the adjustment information is information that specifies the value of an adjustment parameter for adjusting the amount of irradiation light from the illumination device 11.
  • the adjustment parameter includes, for example, at least one of the duty ratio, the pulse width, the period, or the frequency of the control signal, the drive current value of the light source 19, and the number of the light sources 19 that emit light.
  • the illumination control unit 22 generates a control signal corresponding to the adjustment information, and causes the light source 19 to emit pulses using the control signal.
  • the adjustment information may include the control signal itself. In such a case, the illumination control unit 22 causes the light source 19 to emit pulses using a control signal included in the adjustment information.
  • the imaging device 12 includes an imaging optical system 23, an imaging element 24, an AFE 25, an image processing unit 26, a communication unit 27, and a camera control unit 28.
  • the imaging optical system 23 includes a diaphragm and a plurality of lenses.
  • the imaging optical system 23 forms a subject image.
  • the imaging optical system 23 further includes a filter that allows only light in a predetermined wavelength band, in this embodiment, light in the infrared band to pass therethrough.
  • the imaging optical system 23 is disposed in the housing of the imaging device 12 so that reflected light from the irradiation destination of the irradiation light from the illumination device 11 can be taken.
  • the imaging optical system 23 can form an image of a subject including the face of the subject 18 irradiated with the irradiation light.
  • the imaging optical system 23 is provided in the vicinity of the illumination optical system 20 of the illumination device 11.
  • the image sensor 24 includes, for example, a CCD image sensor or a CMOS image sensor.
  • the image sensor 24 captures a subject image formed by the imaging optical system 23 and generates a captured image.
  • the image sensor 24 may have the functions of the AFE 25.
  • the AFE 25 includes, for example, CDS, AGC, and ADC.
  • the AFE 25 performs predetermined pre-stage image processing such as CDS, gain adjustment (AGC), and A / D conversion (ADC) on the analog captured image generated by the image sensor 24.
  • predetermined pre-stage image processing such as CDS, gain adjustment (AGC), and A / D conversion (ADC) on the analog captured image generated by the image sensor 24.
  • the image processing unit 26 includes a processor dedicated to image processing such as a DSP.
  • the image processing unit 26 performs predetermined subsequent image processing such as exposure adjustment processing on the captured image that has been subjected to the previous image processing by the AFE 25.
  • the communication unit 27 includes an interface for inputting (acquiring) and outputting information via the network 15.
  • the camera control unit 28 includes, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific function by reading a specific program.
  • the camera control unit 28 controls the overall operation of the imaging device 12. For example, the camera control unit 28 generates a synchronization signal indicating the timing of imaging, and outputs the synchronization signal to the lighting device 11 via the communication unit 27.
  • the camera control unit 28 controls the operation of the image sensor 24 to periodically image a subject at, for example, 30 fps.
  • the camera control unit 28 controls the operations of the image processing unit 26 and the communication unit 27 to output a captured image on which subsequent image processing has been performed to the image processing apparatus 13 via the network 15.
  • the image processing apparatus 13 includes a communication unit 29, a storage unit 30, and a control unit 31.
  • the communication unit 29 includes an interface for inputting (acquiring) and outputting information via the network 15.
  • the communication unit 29 functions as an image acquisition unit that acquires a captured image generated by the imaging device 12.
  • the storage unit 30 stores various information and programs necessary for the operation of the image processing apparatus 13. For example, as illustrated in FIG. 3, the storage unit 30 stores in advance information indicating a correspondence relationship between an evaluation parameter, which will be described later, and an adjustment parameter for adjusting the amount of irradiation light from the illumination device 11.
  • the correspondence relationship can be determined in advance by, for example, experiments or simulations. Details of the correspondence will be described later.
  • the control unit 31 includes, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific function by reading a specific program.
  • the control unit 31 controls the overall operation of the image processing apparatus 13.
  • control unit 31 acquires a captured image that has been subjected to subsequent image processing by the imaging device 12 via the communication unit 29.
  • the control unit 31 determines the size of the pupil of the subject 18, that is, the amount of external light in the vehicle 16 based on the brightness of the captured image. This will be specifically described below.
  • the control unit 31 detects the eye of the subject 18 on the captured image.
  • any method such as a method using pattern matching or a method of extracting feature points on a captured image can be adopted.
  • the control unit 31 cuts out a predetermined area including the eye (pupil) of the subject 18 on the captured image.
  • FIG. 4A shows the eye of the subject 18 on the captured image captured when the amount of external light in the vehicle 16 is relatively small, such as at night. Since the amount of light in the vehicle 16 is small, the size of the pupil 32 with respect to the iris (black eye) 36 on the captured image is relatively large.
  • FIG. 4B is a diagram showing the relationship between the position on the line segment 33 passing through the center of the pupil 32 of the subject 18 and the luminance within a predetermined region on the captured image, where the horizontal axis is the position, and the vertical axis It is the graph which used as the brightness
  • the captured image is a bright pupil image. For this reason, the pupil 32 on the captured image is imaged brightly.
  • the first luminance P at the center position (first position) of the pupil 32 is the highest in a predetermined area on the captured image.
  • the central portion 37 of the pupil 32 substantially corresponds to the luminance peak portion shown in FIG.
  • the second luminance Q at a position (second position) separated from the first position by a predetermined distance (first distance) is relatively large because it is inside the pupil 32, but is smaller than the first luminance P.
  • the third luminance R at a position (third position) that is separated from the first position by a predetermined distance (second distance) longer than the first distance is relatively small because it is the iris 36 portion outside the pupil 32, and the second It is smaller than the luminance Q.
  • FIG. 5A shows the eyes of the subject 18 on a captured image captured when the amount of external light in the vehicle 16 is relatively large, such as during the daytime. Since the amount of light in the vehicle 16 is large, the size of the pupil 34 with respect to the iris 38 on the captured image is relatively small.
  • FIG. 5B is a diagram showing the relationship between the position on the line segment 35 passing through the center of the pupil 34 of the subject 18 and the luminance within a predetermined region on the captured image, where the horizontal axis represents the position and the vertical axis It is the graph which made the brightness
  • the first luminance P at the center position (first position) of the pupil 34 is the highest in a predetermined area on the captured image.
  • the central portion 39 of the pupil 34 substantially corresponds to the luminance peak portion shown in FIG.
  • the second luminance Q at a position (second position) that is a predetermined distance (first distance) away from the first position is relatively small and smaller than the first luminance P because it is the iris 38 portion outside the pupil 34.
  • the third luminance R at a position (third position) separated from the first position by a predetermined distance (second distance) longer than the first distance is relatively small because it is the iris 38 portion outside the pupil 34, and the second It is approximately equal to the luminance Q.
  • the size of the pupil is increased, and the second position on the captured image is located inside the pupil 32 (see FIG. 4). Is relatively large.
  • the amount of external light in the vehicle 16 is large, the size of the pupil is reduced, and the second position on the captured image is the iris 38 portion outside the pupil 34 (see FIG. 5).
  • the luminance Q is relatively small.
  • the control unit 31 scans a predetermined area on the captured image, and the first position with the highest luminance, the first luminance P at the first position, the second position, and the second position.
  • the second luminance Q is detected.
  • the control unit 31 may further detect the third position and the third luminance R at the third position.
  • the control unit 31 calculates an evaluation parameter having a correlation with the size of the pupil based on the first luminance P and the second luminance Q.
  • the control unit 31 may calculate the evaluation parameter based on the first luminance P, the second luminance Q, and the third luminance.
  • the evaluation parameter is the difference P ⁇ Q between the first luminance P and the second luminance Q, the ratio Q / P of the second luminance Q to the first luminance P, or the difference between the first luminance P and the third luminance R.
  • the ratio (PQ) / (PR) of the difference between the first luminance P and the second luminance Q is not limited thereto.
  • the control unit 31 determines the size of the pupil of the subject 18, that is, the amount of external light in the vehicle 16, based on the calculated evaluation parameter. For example, when the evaluation parameter is the ratio Q / P of the second luminance Q to the first luminance P, the control unit 31 determines that the pupil is larger as the evaluation parameter Q / P is closer to 1, and the inside of the vehicle 16 It is determined that the amount of external light is small. Alternatively, when the evaluation parameter is the difference PQ between the first luminance P and the second luminance Q, the control unit 31 determines that the pupil is larger as PQ, which is the evaluation parameter, is smaller. It is determined that the amount of external light is small.
  • the control unit 31 employs an arbitrary method to detect the eye of the subject 18 on the captured image, and simultaneously detects the eye size, and based on the detected eye size.
  • the first distance and the second distance may be determined. Specifically, the control unit 31 determines to increase the first distance and the second distance as the size of the detected eye is larger. Alternatively, the control unit 31 determines the first distance and the second distance by multiplying the detected eye size (for example, the length of the eye in the left-right direction) by a predetermined ratio.
  • the determination accuracy of the pupil size that is, the determination accuracy of the amount of external light in the vehicle 16 is improved as compared with the configuration using constants as the first distance and the second distance, respectively.
  • the control unit 31 is based on information (see FIG. 3) indicating a correspondence relationship between the evaluation parameter and the adjustment parameter for adjusting the amount of irradiation light from the illumination device 11 stored in the storage unit 30. An adjustment parameter corresponding to the calculated evaluation parameter is determined.
  • the correspondence relationship the larger the size of the pupil determined based on the evaluation parameter, that is, the smaller the amount of external light in the vehicle 16, the more the adjustment parameter that reduces the amount of irradiation light from the illumination device 11 corresponds. Attached.
  • the evaluation parameter is the ratio Q / P of the second luminance Q to the first luminance P and the adjustment parameter is the duty ratio of the control signal of the lighting device 11, the larger the value of Q / P that is the evaluation parameter is, The duty ratio that is an adjustment parameter is set to a small value (closer to 1).
  • the state of the subject 18 is sufficiently accurate even if the amount of light emitted from the illumination device 11 is relatively small. The probability of being judged is high.
  • the control unit 31 cannot detect the eye or pupil of the target person 18 on the captured image, for example, the first position on the captured image cannot be detected because the amount of irradiation light from the illumination device 11 is small.
  • the adjustment parameter is determined so as to increase the amount of light emitted from the illumination device 11. Specifically, when the first position on the captured image cannot be detected, the control unit 31 increases the duty ratio that is an adjustment parameter.
  • the control unit 31 generates adjustment information including information for specifying the value of the determined adjustment parameter, and outputs the adjustment information to the lighting device 11 via the communication unit 29.
  • the control part 31 may produce
  • the control unit 31 generates control information that causes the warning device 14 to issue a warning according to the detection result of the eye or pupil of the subject 18 on the captured image. For example, when the eye or pupil of the target person 18 on the captured image is not detected continuously for a predetermined time, there is a high probability that the target person 18 is looking away or sleeping. In such a case, the control unit 31 generates control information that causes the warning device 14 to issue a warning. The control unit 31 outputs the control information to the warning device 14 via the communication unit 29.
  • the warning device 14 includes, for example, a speaker and a vibrator. When the warning device 14 acquires control information from the image processing device 13, the warning device 14 warns the subject 18. The warning is performed by at least one of sound and vibration, for example.
  • the operation of the lighting device 11 will be described with reference to the flowchart of FIG. This operation is started when the vehicle 16 starts traveling, for example, and is repeatedly executed until a predetermined end condition such as engine stop is satisfied.
  • Step S100 The illumination control unit 22 acquires a synchronization signal from the imaging device 12 via the communication unit 21.
  • Step S101 The illumination control unit 22 acquires adjustment information from the image processing apparatus 13 via the communication unit 21.
  • Step S102 The illumination control unit 22 causes the light source 19 to emit pulses using the control signal generated based on the adjustment information in Step S101 or the control signal included in the adjustment information. Then, it returns to step S100.
  • the operation of the imaging device 12 will be described with reference to the flowchart of FIG. This operation is started when the vehicle 16 starts traveling, for example, and is repeatedly executed until a predetermined end condition such as engine stop is satisfied.
  • Step S200 The camera control unit 28 generates a synchronization signal indicating the timing of imaging, and outputs the synchronization signal to the illumination device 11 via the communication unit 27.
  • Step S201 The camera control unit 28 controls the operation of the image sensor 24 to image the subject and generate a captured image.
  • Step S202 The camera control unit 28 controls the operations of the image processing unit 26 and the communication unit 27 to output the captured image subjected to the subsequent image processing to the image processing apparatus 13 via the network 15. Thereafter, the process returns to step S200.
  • the operation of the image processing apparatus 13 for outputting the adjustment information will be described with reference to the flowchart of FIG. This operation is started when the vehicle 16 starts traveling, for example, and is repeatedly executed until a predetermined end condition such as engine stop is satisfied.
  • Step S300 The control unit 31 acquires a captured image that has been subjected to subsequent image processing by the imaging device 12 via the communication unit 29.
  • Step S301 Whether or not the control unit 31 has detected the eye of the target person 18 on the captured image using an arbitrary method such as a method using pattern matching or a method of extracting feature points on the captured image. Determine. If an eye on the captured image is detected (step S301—Yes), the process proceeds to step S302. On the other hand, when the eye on the captured image is not detected (step S301-No), the process proceeds to step S307.
  • an arbitrary method such as a method using pattern matching or a method of extracting feature points on the captured image.
  • Step S302 When an eye on the captured image is detected in Step S301 (Step S301-Yes), the control unit 31 cuts out a predetermined area including the eye of the subject 18 on the captured image.
  • Step S303 The control unit 31 scans a predetermined area on the captured image and determines whether or not the first position having the highest luminance and the first luminance P at the first position are detected. When the first position and the first luminance P are detected (step S303—Yes), the process proceeds to step S304. On the other hand, when the first position and the first luminance P are not detected (step S303—No), the process proceeds to step S307.
  • Step S304 When the first position and the first luminance P are detected in Step S303 (Step S303-Yes), the control unit 31 detects the second position and the second luminance Q at the second position. . The control unit 31 may further detect the third position and the third luminance R at the third position.
  • Step S305 The control unit 31 calculates an evaluation parameter having a correlation with the size of the pupil based on the first luminance P and the second luminance Q.
  • the control unit 31 may calculate the evaluation parameter based on the first luminance P, the second luminance Q, and the third luminance.
  • Step S306 Based on the calculated evaluation parameter, the control unit 31 determines the size of the pupil of the subject 18, that is, the amount of external light in the vehicle 16.
  • Step S307 When the eye on the captured image is not detected in Step S301 (Step S301-No), or when the first position and the first luminance P are not detected in Step S303 (Step S303-No)
  • the control unit 31 determines the adjustment parameter so as to increase the amount of irradiation light from the illumination device 11.
  • the control unit 31 increases the determined size of the pupil, that is, the amount of external light in the vehicle 16 is small.
  • the adjustment parameter is determined so as to reduce the amount of irradiation light from the illumination device 11.
  • Step S308 The control unit 31 generates adjustment information including information for specifying the value of the determined adjustment parameter, and outputs the adjustment information to the illumination device 11 via the communication unit 29. Or the control part 31 may produce
  • the amount of external light such as natural light that enters the vehicle varies depending on the environment outside the vehicle, such as daytime or nighttime.
  • External light includes light of various wavelengths.
  • the amount of external light when the amount of external light is large, the external light may become noise and the determination accuracy of the state of the subject may decrease. If a large amount of irradiation light is irradiated from the illumination unit in order to ensure a sufficient amount of irradiation light in various environments, the power consumption of the light source of the illumination unit may increase. Therefore, there is room for improvement in reducing the power consumption of the light source.
  • the image processing device 13 of the driver monitoring system 10 acquires a captured image obtained by capturing the subject 18 irradiated with the irradiation light from the light source 19.
  • the image processing device 13 generates adjustment information for adjusting the amount of irradiation light from the light source 19 based on the size of the pupil of the subject 18 determined from the captured image.
  • the light quantity of irradiation light is adjusted based on the magnitude
  • the structure which irradiates irradiation light of a fixed light quantity for example, reduction of the power consumption of the light source 19 of the illuminating device 11, the lifetime of the light source 19, and the eye of the subject 18 by irradiation of irradiation light The burden can be reduced.
  • the image processing device 13 generates adjustment information for increasing the amount of irradiation light when the eye or pupil of the subject 18 is not detected from the captured image. In this way, for example, when the pupil cannot be detected due to insufficient light quantity of the irradiation light, the probability that the light quantity of the irradiation light increases and the pupil can be detected increases, and thus the determination accuracy of the state of the subject 18 is improved. .
  • the image processing device 13 includes a first luminance at a center position of the pupil, that is, a first position where the luminance is maximum within a predetermined region including the pupil on the captured image, and a second distance separated from the first position by a first distance.
  • the size of the pupil is determined based on the second luminance at the position. In this way, the size of the pupil can be determined based on the luminance of two points on the captured image. For example, the size of the pupil can be determined based on the luminance of all the regions on the captured image corresponding to the eye of the subject 18. Compared with the determination method, the processing burden is reduced.
  • the image processing device 13 determines the first distance based on the size of the eye detected on the captured image. In this way, for example, when the subject 18 exists near the imaging device 12 and when the subject 18 exists away from the imaging device 12, the first distance relative to the detected eye size. The change in length is suppressed. For this reason, the determination accuracy of the size of the pupil is improved as compared with a configuration using a predetermined value as the first distance, for example.
  • the driver monitoring system 10 includes a lighting device 11, an imaging device 12, an image processing device 13, and a warning device 14.
  • each component and function of the driver monitoring system 10 can be rearranged.
  • some or all of the configurations and functions of the illumination device 11, the image processing device 13, and the warning device 14 may be included in the imaging device 12.
  • the imaging apparatus 120 including a part of the configuration and functions of the image processing apparatus 13 according to the above-described embodiment includes an imaging optical system 23, an imaging element 24, an AFE 25, and an image as illustrated in FIG.
  • a processing unit 26, a communication unit 27, a camera control unit 28, a storage unit 300, and a control unit 310 are provided.
  • the imaging optical system 23, the imaging device 24, the AFE 25, the image processing unit 26, the communication unit 27, and the camera control unit 28 are the same as those in the above-described embodiment.
  • the storage unit 300 and the control unit 310 have the same configurations and functions as the storage unit 30 and the control unit 31 of the image processing apparatus 13 according to the above-described embodiment.
  • the control unit 310 similarly to the control unit 31, the control unit 310 generates adjustment information for adjusting the amount of light from the light source based on the size of the pupil of the subject determined from the captured image.
  • the camera control unit 28 and the control unit 310 of the imaging device 120 may be configured by one or a plurality of processors.
  • the image processing device 13 or the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the driver monitoring system 10 by wire or wirelessly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

画像処理装置１３は、画像取得部２９と、制御部３１と、を備える。画像取得部２９は、１以上の光源１９からの照射光で対象者１８を撮像した撮像画像を取得する。制御部３１は、撮像画像から判定される対象者１８の瞳孔の大きさに基づいて、１以上の光源１９からの光量を調整するための調整情報を生成する。

Description

画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 関連出願の相互参照
　本出願は、２０１５年７月２９日に日本国に特許出願された特願２０１５－１５００７３の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、移動体の運転者などの対象者の状態を監視するための画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法に関する。
　従来、車両の運転者などの対象者を赤外帯域の光で照射し、赤外線カメラで撮像した撮像画像を用いて当該対象者の状態を監視し、例えば居眠り運転を防止するための警報を発生する装置が知られている。例えば、特許文献１には、運転者を撮像する撮像装置において、運転者に光を照射する照明手段を車両のステアリングホイールに設置して、運転者を撮像する技術が開示されている。
特開２００９－２００７１８号公報
　本発明の一実施形態に係る画像処理装置は、画像取得部と、制御部と、を備える。画像取得部は、１以上の光源からの照射光で対象者を撮像した撮像画像を取得する。制御部は、撮像画像から判定される対象者の瞳孔の大きさに基づいて、１以上の光源からの光量を調整するための調整情報を生成する。
　本発明の一実施形態に係る撮像装置は、撮像素子と、制御部と、を備える。撮像素子は、光源からの照射光で対象者を撮像して撮像画像を生成する。制御部は、撮像画像から判定される対象者の瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成する。
　本発明の一実施形態に係る運転者監視システムは、照明装置と、撮像装置と、画像処理装置と、を備える。照明装置は、移動体の運転者に光を照射する。撮像装置は、光が照射された運転者を撮像して撮像画像を生成する。画像処理装置は、撮像画像から判定される運転者の瞳孔の大きさに基づいて、照明装置からの光量を調整するための調整情報を生成する。
　本発明の一実施形態に係る移動体は、照明装置と、撮像装置と、画像処理装置と、を備える。照明装置は、運転者に光を照射する。撮像装置は、光が照射された運転者を撮像して撮像画像を生成する。画像処理装置は、撮像画像から判定される運転者の瞳孔の大きさに基づいて、照明装置からの光量を調整するための調整情報を生成する。
　本発明の一実施形態に係る画像処理方法は、光源からの照射光で対象者を撮像した撮像画像を取得するステップと、撮像画像から判定される対象者の瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成するステップと、を含む。
本発明の一実施形態に係る運転者監視システムの概略構成を示すブロック図である。 図１の運転者監視システムを備える車両を示す概略図である。 評価パラメータと調整パラメータとの関係を示す図である。 車両内の光量が少ない場合における、撮像画像上の運転者の眼と輝度とを示す図である。 車両内の光量が多い場合における、撮像画像上の運転者の眼と輝度とを示す図である。 図１の照明装置の動作を説明するフローチャートである。 図１の撮像装置の動作を説明するフローチャートである。 図１の画像処理装置の動作を説明するフローチャートである。 本発明の他の実施形態に係る撮像装置の概略構成を示すブロック図である。
　以下、本発明の実施形態について、図面を参照して説明する。
　図１を参照して、本発明の一実施形態に係る運転者監視システムについて説明する。運転者監視システムは、移動体に搭載される。本開示における「移動体」は、例えば車両、船舶、および航空機などを含んでもよい。以下、車両を移動体の例として説明する。
　図１に示すように、運転者監視システム１０は、照明装置１１と、撮像装置１２と、画像処理装置１３と、を備える。運転者監視システム１０は、警告装置１４をさらに備えてもよい。運転者監視システム１０の各構成要素は、無線、有線、またはＣＡＮなどのネットワーク１５を介して情報を送受信可能である。
　図２に示すように、照明装置１１は、運転者などの対象者１８の顔に光を照射可能となるように、例えば車両１６のダッシュボード１７に配置される。撮像装置１２は、照明装置１１からの照射光が照射された対象者１８の顔を撮像可能となるように、例えば車両１６のダッシュボード１７に配置される。本実施形態において、照明装置１１および撮像装置１２は、互いに近接して配置される。撮像装置１２は、画像上の対象者１８の眼の瞳孔が明るい撮像画像（明瞳孔画像）を生成する。
　運転者監視システム１０の各構成について説明する。
　照明装置１１は（図１参照）、１以上の光源１９と、照明光学系２０と、通信部２１と、照明制御部２２と、を備える。
　光源１９は、例えばＬＥＤなどを含む。光源１９は、所定の波長帯域の光を発する。本実施形態において、光源１９は赤外帯域の拡散光を発する赤外ＬＥＤである。しかしながら、発せられる光の波長帯域および指向性は任意のものを採用可能である。
　照明光学系２０は、例えば画角が調整されたレンズを含む。照明光学系２０は、照明光学系２０を透過する光を照射する。本実施形態において、照明光学系２０を透過した光源１９からの光は、対象者１８の顔全体に照射される。
　通信部２１は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。
　照明制御部２２は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。照明制御部２２は、照明装置１１の各部位の動作を制御する。例えば、照明制御部２２は、通信部２１を介して撮像装置１２から取得する同期信号に応じて周期的に、光源１９に赤外帯域の光を所定の発光時間パルス発光させる。
　照明制御部２２は、光源１９をパルス発光させるためのパルス信号（制御信号）を用いて、光源１９をパルス発光させる。制御信号のパルス幅と周期の逆数（周波数）との積であるデューティー比、光源１９の駆動電流値（パルスの大きさ）、およびパルス発光させる光源１９の数などのパラメータに応じて、照明装置１１からの照射光の光量が変化する。本実施形態において、照明制御部２２は、通信部２１を介して画像処理装置１３から調整情報を取得する。調整情報は、照明装置１１からの照射光の光量を調整するための調整パラメータの値を指定する情報である。調整パラメータは、例えば制御信号のデューティー比、パルス幅、周期、または周波数と、光源１９の駆動電流値と、発光させる光源１９の数と、のうち少なくとも１つを含む。照明制御部２２は、調整情報に応じた制御信号を生成し、当該制御信号を用いて光源１９をパルス発光させる。あるいは、調整情報に制御信号自体が含まれる構成であってもよい。かかる場合、照明制御部２２は、調整情報に含まれる制御信号を用いて、光源１９をパルス発光させる。
　撮像装置１２は、撮像光学系２３と、撮像素子２４と、ＡＦＥ２５と、画像処理部２６と、通信部２７と、カメラ制御部２８とを備える。
　撮像光学系２３は、絞りおよび複数のレンズを含む。撮像光学系２３は、被写体像を結像させる。撮像光学系２３は、所定の波長帯域の光、本実施形態では赤外帯域の光のみを通過させるフィルタをさらに含む。撮像光学系２３は、照明装置１１からの照射光の照射先からの反射光を取込可能となるように、撮像装置１２の筐体に配置される。本実施形態において、撮像光学系２３は、照射光が照射された対象者１８の顔を含む被写体の像を結像可能である。本実施形態において、撮像光学系２３は、照明装置１１の照明光学系２０の近傍に設けられる。
　撮像素子２４は、例えばＣＣＤ撮像素子またはＣＭＯＳ撮像素子を含む。撮像素子２４は、撮像光学系２３によって結像される被写体像を撮像して、撮像画像を生成する。撮像素子２４がＣＭＯＳ撮像素子である場合には、ＡＦＥ２５の各機能を撮像素子２４が有する構成であってもよい。
　ＡＦＥ２５は、例えばＣＤＳ、ＡＧＣ、およびＡＤＣを含む。ＡＦＥ２５は、撮像素子２４によって生成されたアナログの撮像画像に対し、ＣＤＳ、ゲイン調整（ＡＧＣ）、およびＡ／Ｄ変換（ＡＤＣ）等の所定の前段画像処理を施す。
　画像処理部２６は、例えばＤＳＰなどの画像処理専用のプロセッサを含む。画像処理部２６は、ＡＦＥ２５によって前段画像処理が施された撮像画像に対して、露出調整処理等の所定の後段画像処理を施す。
　通信部２７は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。
　カメラ制御部２８は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。カメラ制御部２８は、撮像装置１２全体の動作を制御する。例えば、カメラ制御部２８は、撮像のタイミングを示す同期信号を生成し、通信部２７を介して同期信号を照明装置１１へ出力する。カメラ制御部２８は、撮像素子２４の動作を制御して、周期的に、例えば３０ｆｐｓで被写体を撮像させる。カメラ制御部２８は、画像処理部２６および通信部２７の動作を制御して、後段画像処理が施された撮像画像を、ネットワーク１５を介して画像処理装置１３へ出力させる。
　画像処理装置１３は、通信部２９と、記憶部３０と、制御部３１とを備える。
　通信部２９は、ネットワーク１５を介して情報の入力（取得）および出力を行うインターフェースを含む。通信部２９は、撮像装置１２が生成した撮像画像を取得する画像取得部として機能する。
　記憶部３０は、画像処理装置１３の動作に必要な種々の情報およびプログラムを記憶する。例えば記憶部３０は、図３に示すように、後述する評価パラメータと、照明装置１１からの照射光の光量を調整するための調整パラメータと、の対応関係を示す情報を予め記憶する。当該対応関係は、例えば実験またはシミュレーションによって、予め決定可能である。当該対応関係の詳細については後述する。
　制御部３１は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の機能を実行する汎用のＣＰＵを含む。制御部３１は、画像処理装置１３全体の動作を制御する。
　例えば制御部３１は、通信部２９を介して、撮像装置１２によって後段画像処理が施された撮像画像を取得する。
　制御部３１は、撮像画像の輝度に基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。以下、具体的に説明する。
　制御部３１は、撮像画像上の対象者１８の眼を検出する。眼の検出は、例えばパターンマッチングを用いる手法や、撮像画像上の特徴点を抽出する手法など、任意の手法を採用可能である。
　制御部３１は、撮像画像上において対象者１８の眼（瞳孔）を含む所定領域を切り出す。
　図４（ａ）は、例えば夜など、車両１６内の外光の光量が比較的少ない場合に撮像された撮像画像上の対象者１８の眼を示す。車両１６内の光量が少ないため、撮像画像上の虹彩（黒目）３６に対する瞳孔３２の大きさは比較的大きい。図４（ｂ）は、撮像画像上の所定領域内で対象者１８の瞳孔３２の中心を通る線分３３上の位置と輝度との関係を示す図であって、横軸を位置、縦軸を輝度としたグラフである。上述したように、本実施形態において撮像画像は明瞳孔画像である。このため、撮像画像上の瞳孔３２は明るく撮像される。撮像画像上の所定領域内において、瞳孔３２の中心位置（第１位置）の第１輝度Ｐが最も高い。瞳孔３２の中心部分３７は、図４（ｂ）に示す輝度のピーク部分に略対応する。第１位置から所定距離（第１距離）だけ離れた位置（第２位置）の第２輝度Ｑは、瞳孔３２の内側であるため比較的大きいが、第１輝度Ｐよりも小さい。第１位置から第１距離よりも長い所定距離（第２距離）だけ離れた位置（第３位置）の第３輝度Ｒは、瞳孔３２の外側の虹彩３６部分であるため比較的小さく、第２輝度Ｑよりもさらに小さい。
　一方、図５（ａ）は、例えば昼間など、車両１６内の外光の光量が比較的多い場合に撮像された撮像画像上の対象者１８の眼を示す。車両１６内の光量が多いため、撮像画像上の虹彩３８に対する瞳孔３４の大きさは比較的小さい。図５（ｂ）は、撮像画像上の所定領域内で対象者１８の瞳孔３４の中心を通る線分３５上の位置と輝度との関係を示す図であって、横軸を位置、縦軸を輝度としたグラフである。撮像画像上の所定領域内において、瞳孔３４の中心位置（第１位置）の第１輝度Ｐが最も高い。瞳孔３４の中心部分３９は、図５（ｂ）に示す輝度のピーク部分に略対応する。第１位置から所定距離（第１距離）だけ離れた位置（第２位置）の第２輝度Ｑは、瞳孔３４の外側の虹彩３８部分であるため比較的小さく、第１輝度Ｐよりも小さい。第１位置から第１距離よりも長い所定距離（第２距離）だけ離れた位置（第３位置）の第３輝度Ｒは、瞳孔３４の外側の虹彩３８部分であるため比較的小さく、第２輝度Ｑと略等しい。
　このように、車両１６内の外光の光量が少ない場合には瞳孔の大きさが大きくなり、撮像画像上の第２位置が瞳孔３２の内側となるため（図４参照）、第２輝度Ｑは比較的大きくなる。一方、車両１６内の外光の光量が多い場合には瞳孔の大きさが小さくなり、撮像画像上の第２位置が瞳孔３４の外側の虹彩３８部分となるため（図５参照）、第２輝度Ｑは比較的小さくなる。
　本実施形態において、制御部３１は、撮像画像上の所定領域内を走査して、輝度が最も高い第１位置と、第１位置における第１輝度Ｐと、第２位置と、第２位置における第２輝度Ｑと、を検出する。制御部３１は、さらに第３位置と、第３位置における第３輝度Ｒと、を検出してもよい。そして制御部３１は、第１輝度Ｐおよび第２輝度Ｑに基づいて、瞳孔の大きさと相関関係を有する評価パラメータを算出する。制御部３１は、第１輝度Ｐ、第２輝度Ｑ、および第３輝度に基づいて、評価パラメータを算出してもよい。
　例えば評価パラメータは、第１輝度Ｐと第２輝度Ｑとの差Ｐ－Ｑ、第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐ、または、第１輝度Ｐと第３輝度Ｒの差に対する第１輝度Ｐと第２輝度Ｑの差の割合（Ｐ－Ｑ）／（Ｐ－Ｒ）などであるが、これらに限られない。
　制御部３１は、算出された評価パラメータに基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。例えば、評価パラメータが第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐである場合、制御部３１は、評価パラメータであるＱ／Ｐが１に近いほど瞳孔が大きいと判定し、車両１６内の外光の光量が少ないと判定する。あるいは、評価パラメータが第１輝度Ｐと第２輝度Ｑとの差Ｐ－Ｑである場合、制御部３１は、評価パラメータであるＰ－Ｑが小さいほど瞳孔が大きいと判定し、車両１６内の外光の光量が少ないと判定する。
　制御部３１は、上述したように任意の手法を採用して撮像画像上の対象者１８の眼を検出する際に、同時に眼の大きさを検出し、検出された眼の大きさに基づいて、第１距離および第２距離を決定してもよい。具体的には、制御部３１は、検出された眼の大きさが大きいほど、第１距離および第２距離をそれぞれ長くするように決定する。あるいは、制御部３１は、検出された眼の大きさ（例えば、眼の左右方向の長さ）に所定の割合を乗じて、第１距離および第２距離をそれぞれ決定する。このようにして、例えば車両１６内における対象者１８と撮像装置１２との距離に応じて撮像画像上の対象者１８の眼（瞳孔）の大きさが変化しても、眼の大きさに対する第１距離および第２距離の相対長さの変化が抑制される。このため、例えば第１距離および第２距離としてそれぞれ定数を用いる構成と比較して、瞳孔の大きさの判定精度、すなわち車両１６内の外光の光量の判定精度が向上する。
　制御部３１は、記憶部３０に記憶された、評価パラメータと、照明装置１１からの照射光の光量を調整するための調整パラメータと、の対応関係を示す情報（図３参照）に基づいて、算出された評価パラメータに対応する調整パラメータを決定する。当該対応関係において、評価パラメータに基づいて判定される瞳孔の大きさが大きいほど、すなわち車両１６内の外光の光量が少ないほど、照明装置１１からの照射光の光量を低減する調整パラメータが対応付けられる。
　例えば、評価パラメータが第１輝度Ｐに対する第２輝度Ｑの割合Ｑ／Ｐであり、調整パラメータが照明装置１１の制御信号のデューティー比である場合、評価パラメータであるＱ／Ｐの値が大きいほど（１に近いほど）、調整パラメータであるデューティー比が小さい値に定められる。瞳孔の大きさが大きく、車両１６内の外光の光量が少ないと判定される場合には、照明装置１１からの照射光の光量が比較的少なくても対象者１８の状態が十分な精度で判定される蓋然性が高い。かかる場合に照明装置１１からの照射光の光量が低減するので、照明装置１１の光源１９の消費電力が低減し、光源１９の長寿命化および照射光の照射による対象者１８の眼の負担の低減が可能となる。
　一方、制御部３１は、例えば照明装置１１からの照射光の光量が少ないために撮像画像上の第１位置を検出できないなど、撮像画像上の対象者１８の眼または瞳孔が検出できない場合には、照明装置１１からの照射光の光量を増加させるように調整パラメータを決定する。具体的には、制御部３１は、撮像画像上の第１位置を検出できない場合に、調整パラメータであるデューティー比を増加させる。
　制御部３１は、決定した調整パラメータの値を指定する情報を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力する。あるいは、制御部３１は、決定した調整パラメータに応じた制御信号を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力してもよい。
　制御部３１は、撮像画像上の対象者１８の眼または瞳孔の検出結果に応じて、警告装置１４に警告を行わせる制御情報を生成する。例えば、撮像画像上の対象者１８の眼または瞳孔が所定時間連続して検出されない場合には、対象者１８がよそ見運転または居眠り運転をしている蓋然性が高い。かかる場合には、制御部３１は、警告装置１４に警告を行わせる制御情報を生成する。制御部３１は、通信部２９を介して当該制御情報を警告装置１４へ出力する。
　警告装置１４は、例えばスピーカおよびバイブレータなどを備える。警告装置１４は、画像処理装置１３から制御情報を取得すると、対象者１８に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われる。
　図６のフローチャートを参照して、照明装置１１の動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。
　ステップＳ１００：照明制御部２２は、通信部２１を介して撮像装置１２から同期信号を取得する。
　ステップＳ１０１：照明制御部２２は、通信部２１を介して画像処理装置１３から調整情報を取得する。
　ステップＳ１０２：照明制御部２２は、ステップＳ１０１の調整情報に基づいて生成した制御信号、または、調整情報に含まれる制御信号を用いて、光源１９をパルス発光させる。その後、ステップＳ１００に戻る。
　図７のフローチャートを参照して、撮像装置１２の動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。
　ステップＳ２００：カメラ制御部２８は、撮像のタイミングを示す同期信号を生成し、通信部２７を介して同期信号を照明装置１１へ出力する。
　ステップＳ２０１：カメラ制御部２８は、撮像素子２４の動作を制御して、被写体を撮像させて、撮像画像を生成させる。
　ステップＳ２０２：カメラ制御部２８は、画像処理部２６および通信部２７の動作を制御して、後段画像処理が施された撮像画像を、ネットワーク１５を介して画像処理装置１３へ出力させる。その後、ステップＳ２００に戻る。
　図８のフローチャートを参照して、画像処理装置１３が調整情報を出力する動作について説明する。本動作は、例えば車両１６が走行をはじめたときに開始され、エンジンの駆動停止などの所定の終了条件を満たすまで繰り返し実行される。
　ステップＳ３００：制御部３１は、通信部２９を介して、撮像装置１２によって後段画像処理が施された撮像画像を取得する。
　ステップＳ３０１：制御部３１は、例えばパターンマッチングを用いる手法や、撮像画像上の特徴点を抽出する手法など、任意の手法を用いて、撮像画像上の対象者１８の眼を検出したか否かを判定する。撮像画像上の眼を検出した場合には（ステップＳ３０１－Ｙｅｓ）、ステップＳ３０２に進む。一方、撮像画像上の眼を検出しなかった場合には（ステップＳ３０１－Ｎｏ）、ステップＳ３０７に進む。
　ステップＳ３０２：ステップＳ３０１において撮像画像上の眼を検出した場合には（ステップＳ３０１－Ｙｅｓ）、制御部３１は、撮像画像上において対象者１８の眼を含む所定領域を切り出す。
　ステップＳ３０３：制御部３１は、撮像画像上の所定領域内を走査して、輝度が最も高い第１位置と、第１位置における第１輝度Ｐと、を検出したか否かを判定する。第１位置及び第１輝度Ｐを検出した場合には（ステップＳ３０３－Ｙｅｓ）、ステップＳ３０４に進む。一方、第１位置及び第１輝度Ｐを検出しなかった場合には（ステップＳ３０３－Ｎｏ）、ステップＳ３０７に進む。
　ステップＳ３０４：ステップＳ３０３において第１位置及び第１輝度Ｐを検出した場合には（ステップＳ３０３－Ｙｅｓ）、制御部３１は、第２位置と、第２位置における第２輝度Ｑと、を検出する。制御部３１は、さらに第３位置と、第３位置における第３輝度Ｒと、を検出してもよい。
　ステップＳ３０５：制御部３１は、第１輝度Ｐおよび第２輝度Ｑに基づいて、瞳孔の大きさと相関関係を有する評価パラメータを算出する。制御部３１は、第１輝度Ｐ、第２輝度Ｑ、および第３輝度に基づいて、評価パラメータを算出してもよい。
　ステップＳ３０６：制御部３１は、算出された評価パラメータに基づいて、対象者１８の瞳孔の大きさ、すなわち車両１６内の外光の光量を判定する。
　ステップＳ３０７：ステップＳ３０１において撮像画像上の眼が検出されなかった場合（ステップＳ３０１－Ｎｏ）、またはステップＳ３０３において第１位置及び第１輝度Ｐを検出しなかった場合には（ステップＳ３０３－Ｎｏ）、制御部３１は、照明装置１１からの照射光の光量を増加させるように調整パラメータを決定する。一方、ステップＳ３０６において瞳孔の大きさ、すなわち外光の光量が判定された場合には、制御部３１は、判定された瞳孔の大きさが大きいほど、すなわち車両１６内の外光の光量が少ないほど、照明装置１１からの照射光の光量を低減するように調整パラメータを決定する。
　ステップＳ３０８：制御部３１は、決定した調整パラメータの値を指定する情報を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力する。あるいは、制御部３１は、決定した調整パラメータに応じた制御信号を含む調整情報を生成し、通信部２９を介して当該調整情報を照明装置１１へ出力してもよい。その後、ステップＳ３００に戻る。
　一般的に、車両内に差し込む自然光などの外光の光量は、例えば昼間または夜間など、車両外部の環境に応じて異なる。外光には様々な波長の光が含まれる。このため、従来技術では、外光の光量が多い場合には、外光がノイズとなって対象者の状態の判定精度が低下する可能性がある。様々な環境下で十分な照射光の光量を確保するために、照明手段から大きな光量の照射光を照射すると、照明手段の光源の消費電力が増加する可能性がある。したがって、光源の消費電力の低減について改善の余地があった。
　一方、本実施形態に係る運転者監視システム１０の画像処理装置１３は、光源１９からの照射光が照射された対象者１８を撮像した撮像画像を取得する。画像処理装置１３は、撮像画像から判定される対象者１８の瞳孔の大きさに基づいて、光源１９からの照射光の光量を調整するための調整情報を生成する。このように、車両１６内の外光の光量に応じて変化する対象者１８の瞳孔の大きさに基づいて照射光の光量が調整される。このため、例えば一定の光量の照射光を照射する構成と比較して、照明装置１１の光源１９の消費電力の低減、光源１９の長寿命化、および照射光の照射による対象者１８の眼の負担の低減が可能となる。
　画像処理装置１３は、撮像画像から対象者１８の眼または瞳孔が検出されない場合には、照射光の光量を増加させる調整情報を生成する。このようにして、例えば照射光の光量不足によって瞳孔が検出できない場合には、照射光の光量が増加して瞳孔が検出可能となる蓋然性が高まるため、対象者１８の状態の判定精度が向上する。
　画像処理装置１３は、撮像画像上の瞳孔を含む所定領域内で、瞳孔の中心位置、すなわち輝度が最大である第１位置における第１輝度と、第１位置から第１距離だけ離れた第２位置における第２輝度と、に基づいて瞳孔の大きさを判定する。このように、撮像画像上の２点の輝度に基づいて瞳孔の大きさが判定可能であり、例えば対象者１８の眼に対応する撮像画像上の領域全ての輝度に基づいて瞳孔の大きさを判定する手法と比較して、処理負担が軽減される。
　画像処理装置１３は、撮像画像上で検出された眼の大きさに基づいて第１距離を決定する。このようにして、例えば対象者１８が撮像装置１２の近くに存在する場合と、対象者１８が撮像装置１２から離れて存在する場合とで、検出された眼の大きさに対する第１距離の相対長さの変化が抑制される。このため、例えば第１距離として所定の値を用いる構成と比較して、瞳孔の大きさの判定精度が向上する。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
　例えば、上述した実施形態に係る運転者監視システム１０は、照明装置１１と、撮像装置１２と、画像処理装置１３と、警告装置１４と、を備える。しかしながら、運転者監視システム１０の各構成要素および機能は再配置可能である。例えば、照明装置１１、画像処理装置１３、および警告装置１４の構成および機能の一部または全部を撮像装置１２に包含させてもよい。例えば、上述した実施形態に係る画像処理装置１３の構成および機能の一部を包含させた撮像装置１２０は、図９に示すように、撮像光学系２３と、撮像素子２４と、ＡＦＥ２５と、画像処理部２６と、通信部２７と、カメラ制御部２８と、記憶部３００と、制御部３１０と、を備える。撮像光学系２３、撮像素子２４、ＡＦＥ２５、画像処理部２６、通信部２７、およびカメラ制御部２８は、上述した実施形態と同様である。記憶部３００および制御部３１０は、上述した実施形態に係る画像処理装置１３の記憶部３０および制御部３１とそれぞれ同様の構成および機能を有する。例えば、制御部３１０は、制御部３１と同様に、撮像画像から判定される対象者の瞳孔の大きさに基づいて、光源からの光量を調整するための調整情報を生成する。撮像装置１２０のカメラ制御部２８および制御部３１０は、１つまたは複数のプロセッサで構成されてもよい。
　上述の実施形態に係る運転者監視システム１０の構成要素の一部は、車両１６の外部に設けられてもよい。例えば、画像処理装置１３などは、携帯電話または外部サーバなどの通信機器として実現され、運転者監視システム１０の他の構成要素と有線または無線によって接続されてもよい。
１０　　運転者監視システム
１１　　照明装置
１２、１２０　　撮像装置
１３　　画像処理装置
１４　　警告装置
１５　　ネットワーク
１６　　車両
１７　　ダッシュボード
１８　　対象者
１９　　光源
２０　　照明光学系
２１　　通信部
２２　　照明制御部
２３　　撮像光学系
２４　　撮像素子
２５　　ＡＦＥ
２６　　画像処理部
２７　　通信部
２８　　カメラ制御部
２９　　通信部
３０、３００　　記憶部
３１、３１０　　制御部
３２　　瞳孔
３３　　線分
３４　　瞳孔
３５　　線分
３６　　虹彩
３７　　中心部分
３８　　虹彩
３９　　中心部分

Claims (11)

  1. 　１以上の光源からの照射光で対象者を撮像した撮像画像を取得する画像取得部と、
    　前記撮像画像から判定される前記対象者の瞳孔の大きさに基づいて、前記１以上の光源からの光量を調整するための調整情報を生成する制御部と、
    を備える、画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記調整情報は、判定された前記瞳孔の大きさが大きいほど前記光量を減少させる。
  3. 　請求項１又は２に記載の画像処理装置であって、
    　前記調整情報は、前記撮像画像から前記対象者の眼または瞳孔が検出されない場合、前記光量を増加させる。
  4. 　請求項１乃至３の何れか一項に記載の画像処理装置であって、
    　前記調整情報は、前記光源をパルス発光させる制御信号と、該制御信号のデューティー比、パルス幅、周期、または周波数を指定する情報と、前記光源の駆動電流値を指定する情報と、発光させる前記光源の数を指定する情報と、のうち少なくとも１つを含む。
  5. 　請求項１乃至４の何れか一項に記載の画像処理装置であって、
    　前記制御部は、前記撮像画像上において前記瞳孔を含む所定領域内で輝度が最大である第１位置と、該第１位置における第１輝度と、該第１位置から前記撮像画像上において第１距離だけ離れた第２位置と、該第２位置における第２輝度と、を検出し、前記第１輝度および前記第２輝度に基づいて前記瞳孔の大きさを判定する。
  6. 　請求項５に記載の画像処理装置であって、
    　前記制御部は、前記第１輝度と前記第２輝度との差が小さいほど、または、前記第１輝度に対する前記第２輝度の割合が大きいほど、前記瞳孔の大きさが大きいと判定する。
  7. 　請求項５又は６に記載の画像処理装置であって、
    　前記制御部は、前記撮像画像上の前記対象者の眼の大きさを検出し、検出された該眼の大きさに基づいて前記第１距離を決定する。
  8. 　光源からの照射光で対象者を撮像して撮像画像を生成する撮像素子と、
    　前記撮像画像から判定される前記対象者の瞳孔の大きさに基づいて、前記光源からの光量を調整するための調整情報を生成する制御部と、
    を備える、撮像装置。
  9. 　移動体の運転者に光を照射する照明装置と、
    　前記光が照射された前記運転者を撮像して撮像画像を生成する撮像装置と、
    　前記撮像画像から判定される前記運転者の瞳孔の大きさに基づいて、前記照明装置からの光量を調整するための調整情報を生成する画像処理装置と、
    を備える、運転者監視システム。
  10. 　運転者に光を照射する照明装置と、
    　前記光が照射された前記運転者を撮像して撮像画像を生成する撮像装置と、
    　前記撮像画像から判定される前記運転者の瞳孔の大きさに基づいて、前記照明装置からの光量を調整するための調整情報を生成する画像処理装置と、
    を備える、移動体。
  11. 　光源からの照射光で対象者を撮像した撮像画像を取得するステップと、
    　前記撮像画像から判定される前記対象者の瞳孔の大きさに基づいて、前記光源からの光量を調整するための調整情報を生成するステップと、
    を含む、画像処理方法。
PCT/JP2016/003126 2015-07-29 2016-06-29 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 WO2017017896A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/748,201 US10367979B2 (en) 2015-07-29 2016-06-29 Image processing apparatus, imaging apparatus, driver monitoring system, vehicle, and image processing method
JP2017530996A JP6480586B2 (ja) 2015-07-29 2016-06-29 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法
EP16830005.1A EP3331235B1 (en) 2015-07-29 2016-06-29 Image processing device, image capture device, driver monitoring system, mobile body, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015150073 2015-07-29
JP2015-150073 2015-07-29

Publications (1)

Publication Number Publication Date
WO2017017896A1 true WO2017017896A1 (ja) 2017-02-02

Family

ID=57884358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003126 WO2017017896A1 (ja) 2015-07-29 2016-06-29 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法

Country Status (4)

Country Link
US (1) US10367979B2 (ja)
EP (1) EP3331235B1 (ja)
JP (1) JP6480586B2 (ja)
WO (1) WO2017017896A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021501517A (ja) * 2017-10-31 2021-01-14 シーイング マシーンズ リミテッド 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046816A (zh) * 2019-12-18 2020-04-21 杭州天谷信息科技有限公司 真人人脸识别***及其方法
JP2022153202A (ja) * 2021-03-29 2022-10-12 パナソニックＩｐマネジメント株式会社 インキャビンモニタリングシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0732907A (ja) * 1993-07-16 1995-02-03 Toyota Motor Corp 意識レベル検出装置
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2010176382A (ja) * 2009-01-29 2010-08-12 Toyota Motor Corp 照明装置、及び当該装置で用いられる照明方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105898A (ja) * 1996-09-26 1998-04-24 Niles Parts Co Ltd 居眠り運転警報装置
JP3315648B2 (ja) * 1998-07-17 2002-08-19 沖電気工業株式会社 アイリスコード生成装置およびアイリス認識システム
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US7744216B1 (en) 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
JP2009200718A (ja) 2008-02-20 2009-09-03 Toyota Motor Corp 撮像装置
JP5366028B2 (ja) * 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
GB2495328B (en) * 2011-10-07 2018-05-30 Irisguard Inc Improvements relating to Iris cameras
KR101417415B1 (ko) * 2012-11-19 2014-07-08 아이리텍 잉크 살아있는 눈 식별 방법 및 장치
US10321055B2 (en) * 2013-09-03 2019-06-11 Seeing Machines Limited Low power eye tracking system and method
CN105575359A (zh) * 2014-10-10 2016-05-11 鸿富锦精密工业(武汉)有限公司 亮度调节***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0732907A (ja) * 1993-07-16 1995-02-03 Toyota Motor Corp 意識レベル検出装置
JPH1156782A (ja) * 1997-08-12 1999-03-02 Techno Works:Kk 二光源及び画像差分手段を用いた眼球特徴点検出方式
JP2010176382A (ja) * 2009-01-29 2010-08-12 Toyota Motor Corp 照明装置、及び当該装置で用いられる照明方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3331235A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021501517A (ja) * 2017-10-31 2021-01-14 シーイング マシーンズ リミテッド 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
US11386709B2 (en) 2017-10-31 2022-07-12 Seeing Machines Limited System and method for improving signal to noise ratio in object tracking under poor light conditions
JP7138168B2 (ja) 2017-10-31 2022-09-15 シーイング マシーンズ リミテッド 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法

Also Published As

Publication number Publication date
JP6480586B2 (ja) 2019-03-13
EP3331235A4 (en) 2018-12-12
JPWO2017017896A1 (ja) 2018-04-05
US10367979B2 (en) 2019-07-30
EP3331235B1 (en) 2020-07-01
US20180227472A1 (en) 2018-08-09
EP3331235A1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
US11386709B2 (en) System and method for improving signal to noise ratio in object tracking under poor light conditions
CN104718743B (zh) 状态监视装置
JP6480586B2 (ja) 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法
WO2017073045A1 (ja) 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
US9762786B2 (en) Image pickup device, light projection device, beam light control method, and program
WO2017056495A1 (ja) 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法
JP6305430B2 (ja) 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP2009219042A (ja) 車両用周辺監視装置
JP6322723B2 (ja) 撮像装置および車両
WO2014196166A1 (ja) 撮像制御装置
JP6712886B2 (ja) 撮像装置、撮像方法、および車両
JP2017068385A (ja) 撮像装置、および監視システム
WO2014041758A1 (ja) 状態監視装置
JP2017161405A (ja) 距離計測装置
JP2010260380A (ja) 車両用監視システム
WO2014061175A1 (ja) 状態監視装置
JP4958845B2 (ja) 撮像装置
JPWO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
JP2016137155A (ja) 眼の開閉状態の判定方法、画像処理装置、および判定システム
JP2018074447A (ja) 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
JP2016178370A (ja) 撮像装置
JP2014146954A (ja) 画像処理装置、撮像装置および画像処理方法
JP2019020139A (ja) 情報処理装置、プログラム、および情報処理システム
JP2009234350A (ja) 乗員監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830005

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017530996

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15748201

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE