WO2017073344A1 - 撮像システム、並びにオブジェクト検出装置及びその作動方法 - Google Patents
撮像システム、並びにオブジェクト検出装置及びその作動方法 Download PDFInfo
- Publication number
- WO2017073344A1 WO2017073344A1 PCT/JP2016/080368 JP2016080368W WO2017073344A1 WO 2017073344 A1 WO2017073344 A1 WO 2017073344A1 JP 2016080368 W JP2016080368 W JP 2016080368W WO 2017073344 A1 WO2017073344 A1 WO 2017073344A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- weight
- evaluation value
- visible light
- infrared
- temperature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 147
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 141
- 238000012937 correction Methods 0.000 claims description 66
- 230000007613 environmental effect Effects 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 39
- 230000010354 integration Effects 0.000 claims description 17
- 230000036760 body temperature Effects 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000003331 infrared imaging Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 6
- 230000001151 other effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000020825 overweight Nutrition 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an imaging system, and more particularly to an imaging system including an imaging device that captures visible light and an imaging device that captures infrared light.
- the present invention also relates to an object detection device included in the imaging system and an operation method thereof.
- Patent Document 1 An imaging system having a visible light camera and an infrared camera is known (for example, Patent Document 1).
- a visible light camera and an infrared (far-infrared) camera image a target area where an object is detected with substantially the same angle and substantially the same imaging magnification.
- object detection is performed on a visible light image captured by a visible light camera and an infrared image (temperature distribution image) captured by a far-infrared camera.
- Patent Document 1 prior to object detection, for example, an overexposed or underexposed area in a visible light image is extracted as an image area not suitable for object detection, and the object is excluded from the visible light image. Detection is performed. For an infrared image, object detection is performed in a region other than a region extracted as an image region unsuitable for object detection in a visible light image. By integrating these two object detection results, an object detection result for the entire image can be obtained.
- Patent Document 1 a region where such a situation occurs is extracted as an image region that is not suitable for object detection in a visible light image, and object detection is performed on the infrared image for the image region. By doing so, an effect of improving the accuracy of object detection can be expected.
- the situation where object detection is difficult to be performed can occur not only in a visible light image but also in an infrared image.
- an image region that is not suitable for object detection in an infrared image is not considered.
- object detection is performed using a far-infrared image for an image region that is not suitable for object detection in a visible light image.
- the image region is not necessarily suitable for object detection.
- Patent Document 1 describes that, for an infrared image, object detection may be performed not only for an image region that is not suitable for object detection in a visible light image but also for the entire image. However, in that case, how is the result of object detection for the infrared image performed on the entire image integrated with the result of object detection for the visible light image performed on areas other than the image area not suitable for object detection? There is no specific description about what to do.
- Patent Document 2 describes that object detection (face detection) is performed in each of a plurality of images, and a position where a detection target face exists is determined based on the result.
- face detection face detection
- two image pickup devices are used, and an image (first image) picked up using one image pickup device and an image picked up using the other image pickup device (second image). Face detection is performed on both sides.
- the score calculated by face detection for the first image and the score calculated by face detection for the second image are weighted and added, and the score obtained by weighted addition is equal to or greater than a threshold value. In this case, it is also described that it is determined that a face exists.
- Patent Document 2 discloses that one imaging device has R (Red), G (Green), and B (Blue) color filters on the front surface of a visible light sensor (imaging device), and the other. It is described that the imaging device may include an IR (infrared) filter that transmits a light component in an infrared region in front of a visible light sensor.
- IR infrared
- Patent Document 2 since a visible light sensor generally does not have sensitivity to far infrared rays, the infrared image captured in Patent Document 2 is not a far infrared image but a near infrared image. Further, Patent Document 2 does not consider a situation where it is difficult to appropriately detect an object in a visible light image or a situation where it is difficult to properly detect an object in an infrared image. Therefore, in Patent Document 2, when an object is detected using a visible light image and an infrared image, and the situation in which object detection is difficult to be performed in the infrared image has occurred, the object is correctly detected. Can not do it.
- the present invention correctly detects an object even when it is difficult to appropriately detect an object in the infrared image when the object is detected using a visible light image and an infrared image. It is an object of the present invention to provide an object detection device capable of detecting and an operating method thereof.
- the present invention provides a first imaging device that captures infrared rays, a second imaging device that captures visible light, and an infrared image captured by the first imaging device.
- a first object candidate area extracting unit that extracts a first object candidate area that is estimated to exist, and a second object that is estimated to exist from a visible light image captured by the second imaging device.
- a second object candidate area extracting unit for extracting an object candidate area; a first evaluation value indicating a degree of object likeness in the first object candidate area; and an object in the second object candidate area.
- the score integration unit that calculates the integrated evaluation value by weighted addition of the second evaluation value indicating the degree of likelihood is used for weighted addition Oh
- a weight determination unit for determining a first weight for the first evaluation value and a second weight for the second evaluation value, and a target region for determining a target region where the target exists based on the integrated evaluation value
- an imaging system including a determination unit and an exposure correction unit that determines an exposure correction amount based on a pixel signal value in an object region in a visible light image and performs exposure correction of the visible light image.
- the first imaging device detects the infrared rays with a signal intensity corresponding to the amount of emitted energy.
- the signal intensity of the infrared detection signal corresponds to the pixel value of the infrared image.
- the amount of infrared energy emitted from the imaging region can be determined from the pixel value of the infrared image captured by the first imaging device.
- the object may be a person.
- the weight determination unit may determine the weight based on the environmental temperature. In this case, when T1 is a temperature lower than the average human body temperature and T2 is a temperature higher than the average human body temperature, the environmental temperature Is in the temperature range of T1 or more and T2 or less, it is preferable to make the first weight smaller than the second weight.
- the weight determination unit assigns a first weight to the first weight when the environmental temperature is T1 as the environmental temperature becomes lower from T1 in the temperature range that is 5 ° C. lower than T1 and lower than T1.
- the first weight is increased from T2 to the first weight when the environmental temperature is T2.
- the first weight may be increased step by step.
- the weight determination unit may determine the weight based on the amount of infrared energy. In this case, when the amount of infrared energy emitted from the object is Et, and E1 and E2 are positive real numbers, When the first object candidate region does not include a pixel having a pixel value corresponding to an infrared energy amount of Et ⁇ E1 or more and Et + E2 or less, the first weight may be smaller than the second weight.
- the object may be a person
- the weight determination unit may determine the weight based on the environmental temperature and the amount of infrared energy
- T1 is a temperature lower than the average human body temperature
- T2 is the average human body.
- the temperature is higher than the temperature
- the amount of infrared energy emitted from the object is Et
- E1 and E2 are positive real numbers
- the environmental temperature is in the temperature range from T1 to T2 and the first
- the target object area does not include a pixel having a pixel value corresponding to an infrared energy amount of Et ⁇ E1 or more and Et + E2 or less
- the first weight may be made smaller than the second weight.
- the imaging system of the present invention may further include a backlight determination unit that determines the presence or absence of a backlight state in the visible light image based on the luminance histogram of the visible light image.
- the weight determination unit may adjust at least one of the first weight and the second weight based on the determination result in the backlight determination unit.
- the weight determination unit when the backlight determination unit determines that the backlight is in the backlight state, increases the first weight more than the first weight determined based on at least one of the environmental temperature and the infrared energy amount, and / or The second weight may be less than the second weight determined based on at least one of the environmental temperature and the infrared energy amount.
- the imaging system of the present invention may further include a scene recognition unit that recognizes a photographed scene including at least one of landscape, sea, snow, and mountains based on a visible light image.
- the weight determination unit may adjust at least one of the first weight and the second weight based on the result of scene recognition by the scene recognition unit.
- the weight determining unit determines the first weight based on at least one of the environmental temperature and the infrared energy amount when the scene recognition unit recognizes that the shooting scene is a landscape, the sea, snow, or a mountain.
- the weight of 1 may be increased and / or the second weight may be decreased from a second weight determined based on at least one of ambient temperature and infrared energy content.
- the imaging system of the present invention further includes a low-temperature region determination unit that determines whether or not the area of the region whose temperature is equal to or lower than the first threshold is included in the infrared image. May be.
- the weight determination unit may adjust at least one of the first weight and the second weight based on the determination result in the low temperature region determination unit.
- the weight determination unit determines the first weight as the environment A first weight determined based on at least one of temperature and infrared energy, and / or a second weight determined based on at least one of ambient temperature and infrared energy. You may decrease rather than a weight.
- the imaging system of the present invention further includes a shielding object determination unit that determines whether there is a shielding object that shields infrared light between the first imaging device and the object based on the visible light image and the infrared image. You may have. In that case, the weight determination unit may adjust at least one of the first weight and the second weight based on the determination result in the shielding object determination unit.
- the weight determination unit determines the first weight based on at least one of the environmental temperature and the amount of infrared energy when the shield determination unit determines that there is a shield between the first imaging device and the target.
- the determined first weight may be decreased and / or the second weight may be increased above the second weight determined based on at least one of ambient temperature and infrared energy amount.
- the exposure correction includes, for example, a process of adjusting the brightness of the visible light image based on a histogram of pixel signal values in the object region in the visible light image.
- the exposure correction may include a process for adjusting the exposure time in the second imaging device.
- the present invention also includes a first object candidate area extraction unit that extracts a first object candidate area in which an object is presumed to exist from an infrared image captured by a first imaging device that captures infrared rays.
- a second object candidate area extracting unit that extracts a second object candidate area in which a target object is estimated to exist from a visible light image captured by a second imaging device that captures visible light;
- the integrated evaluation value is obtained by weighted addition of the first evaluation value indicating the degree of object-likeness in the object candidate area and the second evaluation value indicating the degree of object-likeness in the second object candidate area.
- a weight determination unit for determining a second weight, to provide an object detecting device and a determining object region determination unit an object area where an object exists on the basis of the integrated evaluation value.
- the present invention is an operation method of an object detection device, and extracts a first target candidate region in which a target is estimated to exist from an infrared image captured by a first imaging device that captures infrared rays.
- a step a step of extracting a second object candidate region in which a target object is assumed to exist from a visible light image captured by a second imaging device that captures visible light, and a surrounding environmental temperature and an imaging region Based on at least one of the amount of infrared energy emitted, the weight for the first evaluation value indicating the degree of object-likeness in the first object candidate area, and the degree of object-likeness in the second object candidate area
- a step of determining a weight for the second evaluation value to be shown, and a weighted addition of the first evaluation value and the second evaluation value using the first weight and the second weight Calculating an integrated evaluation value each, provides a method of operating an object detecting device and a determining object area where an object exists on the basis of the integrated evaluation value.
- the object candidate region is detected by each of the infrared image captured by the first imaging device and the visible light image captured by the second imaging device. Perform extraction.
- the first evaluation value in the first object candidate area extracted from the infrared image and the second evaluation value in the second object candidate area extracted from the visible light image are integrated by weighted addition,
- the object region is determined based on the integrated evaluation value obtained by weighted addition.
- the weight of the weighted addition is determined based on at least one of the environmental temperature and the amount of infrared energy emitted from the imaging region.
- FIG. 1 is a block diagram showing an imaging system according to a first embodiment of the present invention.
- the graph which shows an example of the weight setting according to environmental temperature.
- (A) is a figure which shows an example of a visible light image
- (b) is a figure which shows an example of an infrared image.
- (A) is a figure which shows another example of a visible light image
- (b) is a figure which shows another example of an infrared image.
- the flowchart which shows the operation
- the block diagram which shows the imaging system which concerns on 2nd Embodiment of this invention.
- (A) is a figure which shows an example of a visible light image
- (b) is a figure which shows an example of an infrared image.
- FIG. 1 is a block diagram showing an imaging system according to the first embodiment of the present invention.
- the imaging system 100 includes an infrared imaging device 11, a visible light imaging device 12, an object detection device 20, and an image processing device 40.
- the object detection apparatus 20 includes image input units 21 and 22, object candidate area extraction means 23 and 24, score integration means 25, weight determination means 26, and object area determination means 27.
- the image processing apparatus 40 has exposure correction means 41.
- the object detection device 20 and the image processing device 40 are configured as, for example, a computer device having a processor, and the functions of each unit are realized by the processor operating according to a program.
- the object detection device 20 and the image processing device 40 may have an LSI (Large Scale Integration) such as a DSP (Digital Signal Processor) or a PLD (Programmable Logic Device) such as an FPGA (Field-Programmable Gate Array). You may have. Note that the object detection device 20 and the image processing device 40 do not need to be separated into separate devices, and a portion that functions as the object detection device 20 and a portion that functions as the image processing device 40 are included in one device. May be configured.
- the infrared imaging device 11 is a first imaging device and images infrared rays.
- the infrared imaging device 11 typically includes an imaging optical system including one or more lenses, and an infrared imaging element (infrared sensor) that captures an optical image formed by the imaging optical system and converts it into an electrical signal. And have.
- the infrared sensor detects infrared rays having a wavelength ranging from 0.83 ⁇ m to 1000 ⁇ m, for example.
- the infrared sensor preferably detects far infrared rays having a wavelength in the range of 6 ⁇ m to 1000 ⁇ m.
- a thermal infrared sensor such as a microbolometer or an SOI (Silicon-on-insulator) diode type can be used.
- the visible light imaging device 12 is a second imaging device and images visible light.
- the visible light imaging device 12 typically includes an imaging optical system including one or more lenses, and a visible light imaging element (visible light) that captures an optical image formed by the imaging optical system and converts it into an electrical signal. Sensor).
- the visible light sensor detects visible light having a wavelength ranging from about 380 nm to about 750 nm, for example.
- the visible light sensor may have sensitivity in at least a part of the near infrared wavelength region.
- the infrared imaging device 11 and the visible light imaging device 12 image substantially the same imaging region.
- the image input unit 21 inputs an infrared image captured by the infrared imaging device 11.
- the object candidate area extracting means (first object candidate area extracting unit) 23 extracts a first object candidate area in which it is estimated that the object exists from the infrared image.
- the first target object candidate area extracting unit 23 may extract a plurality of first target object candidate areas for one infrared image.
- the first object candidate region extraction unit 23 includes, for example, a plurality of weak classifiers connected in cascade. In the first object candidate region extraction means 23, the weak classifier group is constructed by collective learning using boosting such as Adaboost, for example.
- the first target object candidate area extracting unit 23 extracts a first target candidate area by, for example, extracting a feature quantity from an infrared image and calculating a degree of fitness of the extracted feature quantity with respect to a reference feature quantity.
- Feature quantities include brightness feature quantities such as brightness distribution, various wavelet feature quantities, Haar-like feature quantities, Edgelet feature quantities, EOH (Edge of Orientation Histogram) feature amounts, and HOG (Histograms of Oriented Gradients) feature quantities Can be illustrated.
- the image input unit 22 inputs a visible light image captured by the visible light imaging device 12.
- the object candidate area extracting means (second object candidate area extracting unit) 24 extracts a second object candidate area in which it is estimated that the object exists from the visible light image.
- the extraction of the second target object candidate area in the second target object candidate area extracting unit 24 is performed by using the first target object candidate area except that the feature amount extraction source image becomes a visible light image from the infrared image. This may be the same as the extraction of the first object candidate area in the extraction means 23.
- the type of feature quantity extracted from the infrared image by the first object candidate area extraction unit 23 is the same as the type of feature quantity extracted from the visible light image by the second object candidate area extraction unit 24. Also good.
- the first object candidate area extraction unit 23 and the second object candidate area extraction unit 24 may have different types of feature amounts extracted from the image.
- the algorithm used for the extraction of the candidate object regions in the first candidate object region extraction unit 23 and the second object candidate region extraction unit 24 is not particularly limited.
- the first object candidate area extracting unit 23 and the second object candidate area extracting unit 24 may extract the object candidate areas by, for example, pattern matching, neural network, particularly deep learning which is a kind of the same. Good.
- a person is mainly considered as an object to be detected.
- the first target object candidate area extraction unit 23 outputs a first evaluation value indicating the degree of targetness for each extracted first target object candidate area.
- the second target object candidate area extraction unit 24 outputs a second evaluation value indicating the degree of targetness for each of the extracted second target object candidate areas. For example, the higher the first evaluation value, the higher the probability that a person who is a detection target exists in the portion extracted as the first target candidate region in the infrared image. Further, the higher the second evaluation value, the higher the probability that a person exists in the portion extracted as the second object candidate region in the visible light image.
- the score integration unit (score integration unit) 25 includes a first evaluation value output from the first object candidate region extraction unit 23, and a second evaluation value output from the second object candidate region extraction unit 24. Are added together to calculate an integrated evaluation value.
- the weight determination unit (weight determination unit) 26 based on the measurement result of the temperature sensor 13 that measures the environmental temperature, the first weight for the first evaluation value in the weighted addition by the score integration unit 25, and the second evaluation A second weight for the value is determined.
- the first weight and the second weight are preferably standardized so that the total value thereof is 1. Details of the determination of the weight will be described later. Here, one of the first weight and the second weight may be zero. In other words, as a result of the weighted addition, only the first evaluation value may be included in the integrated evaluation value, or only the second evaluation value may be included in the integrated evaluation value.
- the object area determination unit (target area determination unit) 27 determines an area where the object exists based on the integrated evaluation value calculated by the score integration unit 25.
- the object area determination unit 27 determines, for example, an object candidate area whose integrated evaluation value is equal to or greater than the evaluation value threshold as an area where the object exists (object area).
- the exposure correction unit (exposure correction unit) 41 performs an exposure correction process on the visible light image captured by the visible light imaging device 12. More specifically, the exposure correction unit 41 determines the exposure correction amount based on the pixel signal value in the object region in the visible light image, and performs the exposure correction of the visible light image with the exposure correction amount.
- Exposure correction includes a process of adjusting the brightness of the visible light image based on, for example, a histogram of pixel signal values in the object region in the visible light image.
- the exposure correction unit 41 may perform exposure correction of a visible light image by a method similar to a general image backlight correction method, for example, and may increase the width of the histogram in the object region compared to before correction.
- the exposure correction unit 41 may perform exposure correction only on the portion of the object area, or may perform exposure correction on the entire image. When there are a plurality of object areas, the exposure correction unit 41 may perform exposure correction on each object area.
- the exposure correction amount may be determined based on the pixel signal value in any of the plurality of object regions, for example, the one having the largest area, and the entire image may be corrected for exposure with the exposure correction amount.
- the image after exposure correction by the exposure correction means 41 is output as an output image of the imaging system 100.
- the output image is stored in an auxiliary storage device (not shown) such as a hard disk device.
- the auxiliary storage device may be installed at a location different from the imaging system 100, and the auxiliary storage device may receive and store a visible light image from the imaging system 100 via a network such as the Internet.
- the auxiliary storage device may store a visible light image before correction in addition to the corrected visible light image. In addition to a visible light image, an infrared image may be stored.
- the weight (first weight) for the first evaluation value is lowered when the temperature is in a specific range.
- the amount of infrared energy calculated by equation (1) is the total amount of energy over the entire wavelength range.
- the energy calculated by equation (1) Is assumed to be the amount of energy in a desired wavelength region.
- the human body temperature is approximately 36 ° C. to 37 ° C., but the skin temperature varies within a range of 35 ° C. to 40 ° C. due to sweating, fever, and / or rain.
- the amount of infrared energy emitted from the human body is about 0.0503 W / cm 2 to 0.0536 W / cm 2 .
- an object in the range of 45 ° C. from the object temperature 35 ° C., the released infrared energy amount is included from 0.0503W / cm 2 in the range of radiant energy of a person in the range of 0.0536W / cm 2 Exists.
- the signal intensity (pixel value in the infrared image) of the infrared detection signal detected by the infrared imaging device 11 is close.
- the object temperature is equal to the air temperature, in the temperature range of 35 ° C. to 45 ° C., there is a possibility that a person may assimilate with another object in the infrared image. The reliability is considered low.
- the weight for the first evaluation value is set to a low value, for example, 0. Also, the weight is set relatively low in the vicinity of the temperature range.
- the weight determining means 26 is a temperature that is T1 or higher and T2 or lower.
- T1 is, for example, 35 ° C.
- T2 is, for example, 45 ° C.
- the weight determining unit 26 determines that the environmental temperature is from T1 in a temperature range where the environmental temperature is lower than T1, for example, a temperature range of 5 ° C. lower than T1 and lower than T1 (T1-5 ° C ⁇ T ⁇ T1).
- the first weight may be increased stepwise from the weight when the environmental temperature is T1.
- the weight determining means 26 has an environmental temperature from T2 in a temperature range where the environmental temperature is higher than T2 and higher than T2, for example, a temperature range below 5 ° C higher than T (T2 ⁇ T ⁇ T2 + 5 ° C). As the value increases, the first weight may be increased stepwise from the weight when the environmental temperature is T2.
- FIG. 2 shows an example of weight setting according to the environmental temperature.
- the graph shown in the figure shows the relationship between the environmental temperature and the first weight ⁇ with respect to the first evaluation value.
- the first weight ⁇ for the first evaluation value takes a value between 0 and 1.
- the second weight for the second evaluation value is (1- ⁇ ).
- the weight determination unit 26 uses the first weight ⁇ for the first evaluation value when the temperature measured by the temperature sensor 13 is included in the temperature range of 35 ° C. or more and 45 ° C. or less. Is set to 0. In this temperature range, by setting the first weight to 0, the integrated evaluation value becomes equal to the second evaluation value.
- the weight determination means 26 sets the first weight ⁇ for the first evaluation value to 1 when the environmental temperature is 30 ° C. or lower and when the environmental temperature is 50 ° C. or higher. In this case, the integrated evaluation value is equal to the first evaluation value. In the temperature range higher than 30 ° C. and lower than 35 ° C. and in the temperature range higher than 45 ° C. and lower than 50 ° C., the first weight ⁇ for the first evaluation value is changed according to the change in the environmental temperature.
- the first weight ⁇ is set to 0 in the temperature range of 35 ° C. or more and 45 ° C. or less. However, in this temperature range, the first weight ⁇ is relative to the second weight (1 ⁇ ). However, the first weight is not limited to 0. Further, the first weight ⁇ is set to 1 in the temperature range of 30 ° C. or lower and the temperature range of 50 ° C. or higher. In this temperature range, the first weight ⁇ is set to the second weight (1 ⁇ ). It is sufficient that the first weight is relatively high, and the first weight is not limited to 1. In the temperature range of 30 ° C. or lower and / or the temperature range of 50 ° C. or higher, the first weight ⁇ may be set to an arbitrary value larger than 0.5 and smaller than 1.
- FIG. 3A shows an example of a visible light image
- FIG. 3B shows an example of an infrared image.
- two subjects a person 60 and a tree 70
- the exposure time at the time of imaging is slightly short
- the person 60 is imaged slightly black.
- the second evaluation is performed on the area where the person 60 exists. It is assumed that the value (score) “80” is obtained and the second evaluation value “50” is obtained for the area where the tree 70 exists.
- the threshold value of the evaluation value is “50” and an area having an evaluation value equal to or higher than the threshold value is extracted as a person candidate area
- the person 60 exists when the person candidate area is extracted by the visible light image alone. Both the area and the area where the tree 70 exists are extracted as person candidate areas.
- the first target object candidate area extracting unit 23 extracts a person candidate area from the infrared image shown in FIG.
- the first object candidate area extraction unit 23 obtains the first evaluation value “90” for the area where the person 60 exists as a result of the extraction of the person candidate area.
- the first evaluation value is low, for example, “0”, for example.
- the person candidate area is extracted by the infrared image alone, the area where the person 60 exists is extracted as the person candidate area.
- the object area determination unit 27 determines the person area based on the integrated evaluation value, the area where the person 60 exists has the integrated evaluation value “85”, which exceeds the threshold value “50”. Is determined to be a person area.
- the area where the tree 70 exists is not determined as a person area because the integrated evaluation value is lower than the threshold value.
- FIG. 4 shows a visible light image after exposure correction.
- the exposure correction means 41 performs exposure correction so that the area determined as the object area (person area) by the object area determination means 27 is an appropriate exposure.
- the histogram distribution of the pixel values of the person 60 that was slightly blackened in FIG. 3A extends to a region with a high luminance value.
- the eyes and mouth of the person 60 that could not be clearly identified in FIG.
- exposure correction is performed on the entire image, a subject outside the region where the person 60 exists, for example, the tree 70 may be out of the proper exposure and overexposure, but the subject of interest in the image is extracted. It is not a big problem because it is a target object (person).
- FIG. 5A shows another example of a visible light image
- FIG. 5B shows another example of an infrared image
- the person 60, the tree 70, and the house 80 are captured as subjects.
- the house 80 exists behind the person 60 as viewed from the imaging device side, and the person 60 and the house 80 are imaged in a spatially overlapping manner.
- a person candidate area is extracted from a visible light image, although the person 60 and the house 80 overlap, the person 60 and the house 80 can be separated by color information, and an area where the person 60 exists is a person candidate. It can be extracted as a region.
- the person 60 enters the house 80 in the infrared image as shown in FIG. Assimilate. In this case, even if a person candidate region is extracted from an infrared image, a region having a high evaluation value cannot be obtained. If the temperature is low and the house 80 is not heated, the person 60 is not assimilated to the house 80 in the background in the infrared image, and the area where the person 60 exists is extracted by extracting the person candidate area. It can be extracted as a person candidate area.
- the first weight for the first evaluation value is determined based on the temperature, and the temperature measured by the temperature sensor 13 is the house 60 in the background as shown in FIG. 5B. If it is included in the temperature range that is easily assimilated to 80, the first weight is set to 0, for example. In this case, since the person area is determined based only on the extraction result of the person candidate area performed on the visible light image, the person 60 can be extracted even in a situation where it is difficult to appropriately extract the person candidate area from the infrared image. Can be determined as a person area.
- FIG. 6 is a flowchart illustrating an operation procedure of the imaging system 100.
- the infrared imaging device 11 captures an infrared image
- the visible light imaging device 12 captures a visible light image (step S1).
- the first object candidate area extraction unit 23 acquires an infrared image via the image input unit 21, and extracts an object candidate area from the infrared image (step S2).
- the second object candidate area extraction unit 24 acquires a visible light image via the image input unit 22 and extracts an object candidate area from the visible light image.
- the score integration unit 25 determines whether or not an object candidate region has been extracted by at least one of the first object candidate region extraction unit 23 and the second object candidate region extraction unit 24 (step S3). When the target object candidate region is not extracted from either the infrared image or the visible light image, the process returns to step S1 and the next infrared image and visible light image are captured.
- the score integrating unit 25 When it is determined that at least one of the infrared image and the visible light image has extracted the candidate object region, the score integrating unit 25 outputs the first evaluation value output by the first object candidate region extracting unit 23. And the second evaluation value output from the second object candidate region extraction means 24 are weighted and added to calculate an integrated evaluation value (step S4). In step S4, the score integration unit 25 weights and adds the first evaluation value and the second evaluation value with the weight determined based on the temperature measured by the temperature sensor 13 by the weight determination unit 26. When there are a plurality of extracted object candidate areas, the first evaluation value and the second evaluation value are weighted and added for each object candidate area.
- the object area determination means 27 determines the object area based on the integrated evaluation value calculated in step S4 (step S5). In step S5, the object area determination unit 27 determines whether the extracted object candidate area is an object area, for example, by performing threshold processing on the integrated evaluation value. The object area determination unit 27 notifies the exposure correction unit 41 of the coordinate position of the area determined as the object area. When a deviation occurs in the imaging area between the infrared image and the visible light image, the exposure correction means 41 is notified of the coordinate position of the object area in the visible light image, taking the deviation into consideration.
- the exposure correction unit 41 performs an exposure correction process on the visible light image captured in step S1 (step S6).
- step S ⁇ b> 6 the exposure correction unit 41 acquires pixel values of pixels in the region determined as the target region in the visible light image.
- the exposure correction unit 41 creates a histogram of the acquired pixel values, etc., performs tone curve adjustment and histogram smoothing based on the histogram, and performs gradation correction of the visible light image.
- the visible light image subjected to exposure correction is output as an output image of the imaging system 100 (step S7).
- the candidate object region is extracted from each of the infrared image and the visible light image.
- the evaluation value (first evaluation value) of the object candidate area extracted from the infrared image and the evaluation value (second evaluation value) of the object candidate area extracted from the visible light image are weighted and integrated.
- An evaluation value is calculated, and an object region is determined based on the integrated evaluation value.
- the weight for weighted addition is determined based on the environmental temperature. In a situation where the environmental temperature is high and it is difficult to distinguish between the object and the object behind the object, the object candidate region in the visible light image can be obtained by setting the weight for the first evaluation value to 0 or decreasing the weight. It is possible to determine the object region with an emphasis on the extraction result.
- the exposure may be adjusted to another subject due to backlight or the like, and the person may not be photographed with a desired exposure.
- a person may cause overexposure or underexposure due to the characteristics of a visible light camera.
- various methods such as backlight correction and exposure correction using face detection have been proposed.
- the backlight correction corrects the exposure of a blackened area as well as a person.
- the detection accuracy of face detection changes according to the posture and angle, there is anxiety in stably determining the person area.
- the person area can be stably determined by using the information of the infrared image and the information of the visible light image in combination according to the situation. Being able to determine a person's area in a stable manner makes it possible to perform appropriate exposure compensation according to that area, greatly improving the usability of devices such as surveillance cameras that are used for shooting specific objects. it can.
- FIG. 7 is a block diagram showing an imaging system according to the second embodiment of the present invention.
- the imaging system 100a according to this embodiment is different from the imaging system 100 according to the first embodiment shown in FIG. 1 in that the object detection device 20a includes a backlight determination unit 28.
- Other configurations may be the same as those described in the first embodiment.
- the backlight determination means (backlight determination unit) 28 determines whether there is a backlight state in the visible light image.
- the backlight determination unit 28 determines the presence or absence of a backlight state by determining whether or not the brightness value is biased toward a portion close to black, for example, based on a brightness histogram of a visible light image.
- the weight determination unit 26 adjusts at least one of the first weight for the first evaluation value and the second weight for the second evaluation value based on the determination result of the backlight determination unit 28.
- adjusting the weight means increasing or decreasing the weight determined based on the environmental temperature. For example, it means that the adjustment amount based on the result of the backlight determination is added to or subtracted from the weight determined based on the environmental temperature.
- the weight may be adjusted by multiplying the weight determined based on the temperature by a coefficient based on the result of the backlight determination.
- FIG. 8A shows an example of a visible light image
- FIG. 8B shows an example of an infrared image.
- the sun or the like is present in the background and a backlight state is generated in the visible light image
- the area of the person 60 and the tree 70 may be blackened as shown in FIG.
- the infrared image even if a backlight condition occurs, the person 60 is clearly imaged and there is no problem in extracting the person candidate area. Therefore, when the backlight condition occurs, it is preferable to determine the target with more importance on the result of the person candidate region in the infrared image than when the backlight condition does not occur.
- the weight determination unit 26 preferably relatively decreases the second weight for the second evaluation value when the backlight determination unit 28 determines that the backlight is in the backlight state. For example, the weight determination unit 26 increases the first weight for the first evaluation value, for example, more than the weight determined based on the environmental temperature according to the graph shown in FIG. Instead of or in addition to this, the weight determination unit 26 may decrease the second weight for the second evaluation value from the weight determined based on the environmental temperature.
- FIG. 9 shows a visible light image after exposure correction.
- the exposure correction means 41 performs exposure correction so that the area determined as the object area (person area) by the object area determination means 27 is an appropriate exposure. By performing exposure correction, the person 60 that has been crushed in FIG. 8A is drawn with appropriate exposure.
- the backlight determination unit 28 determines whether there is a backlight state in the visible light image.
- the relative weight of the first evaluation value in the integrated evaluation value can be increased by relatively decreasing the second weight with respect to the second evaluation value, and the target is stably An object can be determined.
- Other effects are the same as those of the first embodiment.
- FIG. 10 is a block diagram showing an imaging system according to the third embodiment of the present invention.
- the imaging system 100b according to the present embodiment is different from the imaging system 100 according to the first embodiment shown in FIG. 1 in that a scene recognition unit 29 is included in the object detection device 20b.
- Other configurations may be the same as those in the first embodiment.
- Scene recognition means 29 recognizes a photographic scene based on the captured visible light image.
- the shooting scene includes at least one of landscape, sea, snow, and mountains.
- a scene analysis method in the scene recognition unit 29 for example, the method described in Japanese Patent Application Laid-Open No. 2005-310123 or the method described in Japanese Patent Application Laid-Open No. 2005-122720 can be used.
- the weight determination unit 26 adjusts at least one of the first weight and the second weight based on the result of scene recognition by the scene recognition unit 29.
- the scene recognizing unit 29 determines that the scene of the visible light image captured by the visible light imaging device 12 is a scene such as a landscape or a mountain, a mountain or a tree is captured as a subject in the visible light image. It is expected that Referring to Table 1, the infrared emissivity of wood is lower than that of the skin, and there is a difference between the amount of infrared energy emitted from the tree and the amount of infrared energy emitted from the skin even at the same temperature as the skin. is there. Therefore, even if a tree exists in the background of the person, it is considered that the person and the background are not assimilated in the infrared image.
- the sky is often the background. Since the amount of infrared energy that reaches from the sky is low, even if the sky exists in the background of the person, it is considered that the person and the background are not assimilated in the infrared image. Further, even when the temperature is high, the temperature of the sea (seawater) and snow is low, so that the person and the background are assimilated in the infrared image even when the scene recognized by the scene recognition means 29 is sea or snow. It is not considered.
- the weight determination unit 26 determines the first weight for the first evaluation value based on the environmental temperature. Increase over weight. Instead of or in addition to this, the weight determination unit 26 may decrease the second weight for the second evaluation value from the weight determined based on the environmental temperature.
- the scene recognition unit 29 recognizes a scene shot by the visible light imaging device 12, and the weight determination unit 26 adjusts the weight according to the result of the scene recognition.
- the weight determination unit 26 relatively increases the first weight for the first evaluation value when it is recognized as such a scene.
- FIG. 11 is a block diagram showing an imaging system according to the fourth embodiment of the present invention.
- the imaging system 100c of this embodiment is different from the imaging system 100 according to the first embodiment shown in FIG. 1 in that the object detection device 20c includes a low temperature region determination unit 30.
- Other configurations may be the same as in the first embodiment.
- the low temperature region determination means (low temperature region determination unit) 30 determines how many low temperature regions included in the infrared image exist.
- the low temperature region determination means 30 obtains the area of the region where the temperature is not more than the first threshold value (temperature threshold value) in the infrared image, and the area is not less than the second threshold value (area threshold value) It is determined whether or not there is.
- the first threshold value is determined based on the human body average temperature, for example.
- the weight determination unit 26 adjusts at least one of the first weight for the first evaluation value and the second weight for the second evaluation value based on the determination result by the low temperature region determination unit 30.
- the infrared image contains many low-temperature areas, for example, the sky or the sea may be the background. In that case, since the possibility that the person and the background are assimilated in the infrared image is low, it is preferable to increase the first weight for the first evaluation value. If the low temperature region determination unit 30 determines that many low temperature regions are included, the weight determination unit 26 increases the first weight more than the first weight determined based on the environmental temperature. Instead of or in addition to this, the weight determination unit 26 may decrease the second weight from the weight determined based on the environmental temperature.
- the low temperature region determination means 30 determines whether or not the infrared image includes many low temperature regions. When many low temperature regions are included, it is considered that there is a low possibility that the object and the background are assimilated in the infrared image. In such a case, the weight determination unit 26 relatively increases the first weight with respect to the first evaluation value. By doing in this way, the specific gravity of the 1st evaluation value in an integrated evaluation value can be raised, and a target object can be determined stably using the information of an infrared image. Other effects are the same as those of the first embodiment.
- FIG. 12 is a block diagram showing an imaging system according to the fifth embodiment of the present invention.
- the imaging system 100d of the present embodiment is different from the imaging system 100 according to the first embodiment shown in FIG. 1 in that the object detection device 20d includes an obstacle determination unit 31.
- Other configurations may be the same as in the first embodiment.
- the shielding object determination unit (shielding object determination unit) 31 determines whether there is a shielding object that shields infrared light between the infrared imaging device 11 and the subject based on the visible light image and the infrared image.
- the shielding object determination unit 31 compares the contour shape of the subject in the visible light image with the contour shape of the subject in the infrared image, and determines that there is a shielding object if they do not match.
- the shielding object determination unit 31 may determine whether or not there is an obstacle such as glass based on an image captured by the camera using a camera that captures an imaging region in stereo.
- the weight determination means 26 adjusts at least one of the first weight for the first evaluation value and the second weight for the second evaluation value based on the determination result in the shielding object determination means 31.
- the weight determining unit 26 determines the first weight for the first evaluation value based on the environmental temperature when the shielding object determining unit determines that there is an obstacle between the infrared imaging device 11 and the subject. Less than the set first weight. Instead of or in addition to this, the weight determination unit 26 may increase the second weight more than the weight determined based on the environmental temperature.
- the shielding object determination unit 31 determines whether or not there is a shielding object that shields infrared light between the infrared imaging device 11 and the subject.
- the shielding object appears in the visible light image, but the object may not appear in the infrared image.
- the specific weight of the first evaluation value in the integrated evaluation value can be reduced by relatively reducing the first weight with respect to the first evaluation value.
- the object can be determined stably using the information of the visible light image.
- Other effects are the same as those of the first embodiment.
- FIG. 13 is a block diagram showing an imaging system according to the sixth embodiment of the present invention.
- An imaging system 100e according to the present embodiment is different from the first embodiment in that a control device 50 is provided instead of the image processing device 40 illustrated in FIG.
- the control device 50 receives the determination result of the object area by the object detection device 20e and controls the visible light imaging device 12.
- the visible light imaging device 12 has an exposure time control unit (not shown). Other configurations may be the same as in the first embodiment.
- the control device 50 has exposure correction means 51.
- An exposure correction unit (exposure correction unit) 51 performs exposure correction processing for a visible light image.
- the exposure correction includes processing for adjusting the exposure time in the visible light imaging apparatus.
- the exposure correction unit 51 determines the exposure time in the next imaging by the visible light imaging device 12 based on the pixel signal value in the object region in the visible light image. For example, if the human region tends to be overexposed in the visible light image, the exposure correction unit 51 sets the exposure time in the visible light imaging device 12 to be shorter than the exposure time in the previous imaging. In this way, a visible light image in which the object is imaged with an appropriate exposure can also be obtained by changing the imaging conditions.
- the weight determining means 26 may determine the weight based on the amount of infrared energy emitted from the subject instead of the environmental temperature.
- the amount of infrared energy emitted from the subject corresponds to the signal intensity of the infrared detection signal in the portion where the subject exists and the pixel value of the infrared image.
- the weight determination means 26 sets the first target object region extracted from the infrared image to Et + E1 or more Et + E2 when the amount of infrared energy emitted from the object is Et and E1 and E2 are positive real numbers.
- the first weight for the first evaluation value may be smaller than the second weight for the second evaluation value.
- the amount of infrared energy emitted by the person is 0.0509 W / cm 2
- E1 and E2 may be equal values or different values.
- FIG. 14 shows an example of an infrared image.
- the person 60 is imaged as a subject.
- the person 60 uses the background of the area of the sky 85 and the area of the sea 90 where the amount of emitted infrared energy is relatively low, in other words, the relatively low temperature.
- the amount of infrared energy emitted from the person 60 is converted into a pixel value (signal intensity of the infrared detection signal), it is assumed that the value is 200.
- the value obtained by converting the amount of infrared energy emitted from the sky 85 into a pixel value is 10
- the value obtained by converting the amount of infrared energy emitted from the sea 90 into a pixel value is 50.
- the pixel value of the partial region corresponding to the person 60 is 200
- the pixel value of the partial region corresponding to the sky 85 is 10
- the pixel of the partial region corresponding to the sea 90 Assume that the value was 50.
- the region R1 includes a region where the person 60 exists. It is assumed that the maximum value of the pixel values in the region R1 is 200, the minimum value of the pixel values is 10, and the average value of the pixel values in the region is 100. On the other hand, the region R2 is a region not including the person 60. It is assumed that the maximum value of the pixel values in the region R2 is 50, the minimum value of the pixel values is 10, and the average value of the pixel values in the region is 25.
- the weight determination unit 26 applies pixel values included in a range of ⁇ 50 centering on a pixel value 200 corresponding to the amount of infrared energy emitted from the person 60 to the first person candidate region extracted from the infrared image, for example. It is checked whether or not there is a pixel having the same. If such a pixel does not exist or the number of such pixels is less than a threshold relating to the number of pixels, the weight determining means 26 determines the first person candidate area extracted from the infrared image. The weight of 1 is set to be smaller than the second weight for the second person candidate region extracted from the visible light image.
- the weight determination unit 26 does not include pixels in which the first person candidate region has a pixel value of 150 (200-50) or more and 250 (200 + 50) or less, or the number of such pixels. When there are few, the 1st weight is made smaller than the 2nd weight. When the first person candidate region includes pixels having pixel values of 150 (200-50) or more and 250 (200 + 50) or less than the threshold value regarding the number of pixels, the weight determination unit 26 sets the first weight to the second It may be larger than the weight of.
- the maximum pixel value of the region R1 is 200, and the region R1 includes a relatively large number of pixels having a pixel value of 150 to 250.
- the weight determination means 26 makes the first weight larger than the second weight for the region R1.
- the maximum pixel value is 50, and the region R2 does not include pixels having pixel values of 150 or more and 250 or less.
- the weight determination means 26 makes the first weight smaller than the second weight for the region R2.
- the weight of the first evaluation value in the integrated evaluation value is reduced, and the object candidate region extraction result in the visible light image is obtained. It is possible to determine an important object area.
- the weight determination means 26 compares the average value of the pixel values in the first person candidate region with the pixel value corresponding to the amount of infrared energy emitted from the person, and the average value is centered on the pixel value 200. Considering that the first weight is made smaller than the second weight when it is not included in the range of ⁇ 50. In that case, when the average value of the pixel values in the area is small because the pixel value of the low-temperature background area is low, although the area is a person 60 like the area R1 shown in FIG. The first weight is set smaller than the second weight.
- the first person candidate area does not include a pixel having a pixel value of 150 or more and 250 or less
- the first weight is set smaller than the second weight, a person is included. It can be suppressed that the first weight is set to be small with respect to the first person candidate region with high possibility.
- the weight determining unit 26 determines the weight based on the environmental temperature or the amount of infrared energy that is emitted from the subject.
- the weight may be determined based on both.
- the weight determining means 26 is an infrared energy whose ambient temperature is in the temperature range of T1 or more and T2 or less and the first object candidate region extracted from the infrared image is in the range of Et ⁇ E1 or more and Et + E2 or less.
- the first weight for the first evaluation value may be smaller than the second weight for the second evaluation value.
- a specific region in the infrared image may be excluded from the processing target in the first object candidate region extraction means 23 according to the amount of infrared energy.
- the first object candidate area extracting unit 23 excludes an area having an infrared energy amount of 0.0509 ⁇ E1 or less, or 0.0509 + E2 or more from the infrared image, and then the object candidate area.
- A person candidate area
- E1 it is possible to avoid erroneously extracting a tree that is easily misidentified as a person as a person candidate region.
- the configurations of the second to fifth embodiments can be arbitrarily combined.
- the object detection apparatus may include two or more means selected from the group of the backlight determination unit 28, the scene recognition unit 29, the low temperature region determination unit 30, and the shielding object determination unit 31.
- the second to fifth embodiments and the sixth embodiment and controlling the exposure time of the visible light imaging device 12 in the configurations of the second to fifth embodiments. You may perform exposure correction
- exposure correction of the visible light image may be performed by controlling the exposure time of the visible light imaging device 12.
- the imaging system, the object detection apparatus, and the operation method thereof according to the present invention are not limited to the above embodiments, and the configuration of the above embodiments. To which various modifications and changes are made within the scope of the present invention.
- Imaging system 11 Infrared imaging device (first imaging device) 12: Visible light imaging device (second imaging device) 20: Object detection device 21, 22: Image input unit 23, 24: Object candidate area extraction means 25: Score integration means 26: Weight determination means 27: Object area determination means 28: Backlight determination means 29: Scene recognition means 30 : Low temperature region determination means 31: Shielding object determination means 40: Image processing device 41: Exposure correction means 50: Control device 51: Exposure correction means 60: Person 70: Tree 80: House 85: Sky 90: Sea
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
撮像システム、並びにオブジェクト検出装置及びその作動方法において、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも対象物を正しく検出する。第1の対象物候補領域抽出手段23は、赤外線撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する。第2の対象物候補領域抽出手段24は、可視光撮像装置により撮像された可視光画像から対象物が存在すると推測される第2の対象物候補領域を抽出する。スコア統合手段25は、第1の対象物候補領域における第1の評価値と、第2の対象物候補領域における第2の評価値とを重み付け加算して統合評価値を算出する。重み決定手段26は、例えば環境温度に基づいて、重み付け加算における重みを決定する。対象物領域判定手段27は、統合評価値に基づいて対象物領域を判定する。
Description
本発明は、撮像システムに関し、更に詳しくは、可視光を撮像する撮像装置と赤外線を撮像する撮像装置とを含む撮像システムに関する。また、本発明は、上記撮像システムに含まれるオブジェクト検出装置及びその作動方法に関する。
可視光カメラと赤外線カメラとを有する撮像システムが知られている(例えば特許文献1)。特許文献1において、可視光カメラと赤外線(遠赤外線)カメラとは、ほぼ同じアングル、かつほぼ同じ撮像倍率で、オブジェクトの検出を行う対象エリアを撮像する。特許文献1では、可視光カメラにより撮像された可視光画像と、遠赤外線カメラにより撮像された赤外線画像(温度分布画像)とにおいて、それぞれオブジェクト検出が実施される。
特許文献1では、オブジェクト検出に先立って、可視光画像において例えば白とび又は黒つぶれしている領域がオブジェクト検出に適さない画像領域として抽出され、可視光画像に対してその領域を除外してオブジェクト検出が実施される。赤外線画像については、可視光画像においてオブジェクト検出に適さない画像領域として抽出された領域以外の領域において、オブジェクト検出が実施される。これら2つのオブジェクト検出の結果を統合することで、画像全体に対するオブジェクト検出の結果が得られる。
一般に、可視光画像では、逆光などの要因で、オブジェクト検出が適切に実施しにくい状況が生じる場合がある。特許文献1では、そのような状況が生じている領域を、可視光画像においてオブジェクト検出に適さない画像領域として抽出し、その画像領域については、赤外線画像においてオブジェクト検出を実施する。このようにすることにより、オブジェクト検出の精度を向上できる効果が期待できる。
しかしながら、オブジェクト検出が適切に実施しにくい状況は、可視光画像のみならず、赤外線画像においても発生しうる。例えば、人物の背景に、人物の表面温度に近い物体が存在する場合、人物と背景の物体との区別ができず、オブジェクトを正しく検出することが難しくなる。特許文献1では、赤外線画像におけるオブジェクト検出に適さない画像領域は考慮されていない。特許文献1では、可視光画像においてオブジェクト検出に適さない画像領域について遠赤外線画像によりオブジェクト検出を行うが、赤外線画像において、その画像領域がオブジェクト検出に適しているとは限らない。
また、特許文献1には、赤外線画像について、可視光画像におけるオブジェクト検出に適さない画像領域だけでなく、画像全体でオブジェクト検出を行ってもよい旨が記載されている。しかしながら、その場合に、画像全体に対して実施した赤外線画像に対するオブジェクト検出の結果を、オブジェクト検出に適さない画像領域以外の領域に対して実施した可視光画像に対するオブジェクト検出の結果とどのように統合するかについての具体的な記載はない。
ここで、複数の画像のそれぞれにおいてオブジェクト検出(顔検出)を行い、それらの結果に基づいて検出対象の顔が存在する位置を決定することが、特許文献2に記載されている。特許文献2では、2つの撮像装置を用い、一方の撮像装置を用いて撮像された画像(第1の画像)と、他方の撮像装置を用いて撮像された画像(第2の画像)との双方において顔検出を行う。特許文献2には、第1の画像に対する顔検出により算出されたスコアと、第2の画像に対する顔検出により算出されたスコアとを重み付け加算し、重み付け加算により得られたスコアがしきい値以上の場合に、顔が存在すると判定することも記載されている。撮像装置に関し、特許文献2には、一方の撮像装置は可視光センサ(撮像素子)の前面にR(Red)、G(Green)、及びB(Blue)のカラーフィルタを有するものであり、他方の撮像装置は可視光センサの前面に赤外線領域の光成分を透過するIR(infrared)フィルタを有するものであってもよいことが記載されている。
しかしながら、一般に可視光センサは遠赤外線に対して感度を有していないため、特許文献2において撮像される赤外線画像は遠赤外線画像ではなく近赤外線画像である。また、特許文献2においては、可視光画像におけるオブジェクト検出が適切に実施しにくい状況も、赤外線画像におけるオブジェクト検出が適切に実施しにくい状況も考慮されていない。したがって、特許文献2において、可視光画像と赤外線画像とを用いて対象物を検出する場合で、かつ赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合に、対象物を正しく検出することができない。
本発明は、上記事情に鑑み、可視光画像と赤外線画像とを用いて対象物を検出する場合に、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも、対象物を正しく検出することができるオブジェクト検出装置及びその作動方法を提供することを目的とする。
また、本発明は上記オブジェクト検出装置を含む撮像システムを提供することを目的とする。
上記目的を達成するために、本発明は、赤外線を撮像する第1の撮像装置と、可視光線を撮像する第2の撮像装置と、第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する第1の対象物候補領域抽出部と、第2の撮像装置により撮像された可視光画像から対象物が存在すると推測される第2の対象物候補領域を抽出する第2の対象物候補領域抽出部と、第1の対象物候補領域における対象物らしさの度合いを示す第1の評価値と、第2の対象物候補領域における対象物らしさの度合いを示す第2の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、重み付け加算における第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みを決定する重み決定部と、統合評価値に基づいて対象物が存在する対象物領域を判定する対象物領域判定部と、可視光画像における対象物領域内の画素信号値に基づいて露出補正量を決定し、可視光画像の露出補正を実施する露出補正部とを備えた撮像システムを提供する。
ここで、第1の撮像装置の撮像領域において赤外線が発せられている場合、第1の撮像装置は、赤外線を、その放出エネルギー量に応じた信号強度で検出する。赤外線検出信号の信号強度は、赤外線画像の画素値に対応する。本発明において、撮像領域から発せられる赤外線エネルギー量は、第1の撮像装置によって撮像された赤外線画像の画素値から判別することが可能である。
本発明において、対象物は人物であってよい。重み決定部は、環境温度に基づいて重みを決定するものであってよく、その場合、T1を平均人体温度よりも低い温度とし、T2を平均人体温度よりも高い温度とした場合に、環境温度がT1以上でT2以下の温度範囲にある場合は、第1の重みを第2の重みよりも小さくすることが好ましい。
上記において、重み決定部は、環境温度がT1よりも5℃低い温度以上でかつT1以下の温度範囲では、環境温度がT1から低くなるにつれて第1の重みを環境温度がT1の場合の第1の重みから段階的に増加させ、及び/又は、環境温度がT2以上T2よりも5℃高い温度以下の温度範囲では、環境温度がT2から高くなるにつれて第1の重みを環境温度がT2の場合の第1の重みから段階的に増加させてもよい。
重み決定部は、赤外線エネルギー量に基づいて重みを決定するものであってもよく、その場合、対象物から放出される赤外線エネルギー量をEtとし、E1及びE2を正の実数とした場合に、第1の対象物候補領域がEt-E1以上Et+E2以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第1の重みを第2の重みよりも小さくしてもよい。
本発明において、対象物は人物であってよく、重み決定部は、環境温度と赤外線エネルギー量とに基づいて重みを決定してよく、T1を平均人体温度よりも低い温度とし、T2を平均人体温度よりも高い温度とし、対象物から放出される赤外線エネルギー量をEtとし、E1及びE2を正の実数とした場合に、環境温度がT1以上でT2以下の温度範囲にあり、かつ、第1の対象物候補領域がEt-E1以上Et+E2以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第1の重みを第2の重みよりも小さくしてもよい。
本発明の撮像システムは、可視光画像の輝度ヒストグラムに基づいて可視光画像における逆光状態の有無を判定する逆光判定部を更に有していてもよい。その場合、重み決定部は、逆光判定部での判定結果に基づいて第1の重み及び第2の重みの少なくとも一方を調整してもよい。
重み決定部は、逆光判定部で逆光状態と判定された場合、第1の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は第2の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させてもよい。
本発明の撮像システムは、可視光画像に基づいて、風景、海、雪、及び山のうちの少なくとも1つを含む撮影シーンを認識するシーン認識部を更に有していてもよい。その場合、重み決定部は、シーン認識部でのシーン認識の結果に基づいて第1の重み及び第2の重みの少なくとも一方を調整してもよい。
重み決定部は、シーン認識部で撮影シーンが風景、海、雪、又は山であると認識された場合、第1の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は第2の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させてもよい。
本発明の撮像システムは、赤外線画像中に、温度が第1のしきい値以下の領域の面積が第2のしきい値以上含まれるか否かを判定する低温領域判定部を更に有していてもよい。その場合、重み決定部は、低温領域判定部での判定結果に基づいて第1の重み及び第2の重みの少なくとも一方を調整してもよい。
重み決定部は、低温領域判定部で赤外線画像中に温度が第1のしきい値以下の領域の面積が第2のしきい値以上含まれると判定された場合、第1の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は第2の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させてもよい。
本発明の撮像システムは、可視光画像及び赤外線画像に基づいて、第1の撮像装置と対象物との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定部を更に有していてもよい。その場合、重み決定部は、遮蔽物判定部での判定結果に基づいて第1の重み及び第2の重みの少なくとも一方を調整してもよい。
重み決定部は、遮蔽物判定部で第1の撮像装置と対象物との間に遮蔽物があると判定された場合、第1の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも減少させ、及び/又は第2の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも増加させてもよい。
本発明の撮像システムにおいて、露出補正は、例えば、可視光画像における対象物領域内の画素信号値のヒストグラムに基づいて可視光画像の明るさを調整する処理を含む。あるいは、露出補正は、第2の撮像装置における露光時間を調整する処理を含むものであってもよい。
本発明は、また、赤外線を撮像する第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する第1の対象物候補領域抽出部と、可視光線を撮像する第2の撮像装置により撮像された可視光画像から対象物が存在すると推測される第2の対象物候補領域を抽出する第2の対象物候補領域抽出部と、第1の対象物候補領域における対象物らしさの度合いを示す第1の評価値と、第2の対象物候補領域における対象物らしさの度合いを示す第2の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、重み付け加算における第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みを決定する重み決定部と、統合評価値に基づいて対象物が存在する対象物領域を判定する対象物領域判定部とを備えたオブジェクト検出装置を提供する。
さらに、本発明は、オブジェクト検出装置の作動方法であって、赤外線を撮像する第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出するステップと、可視光線を撮像する第2の撮像装置により撮像された可視光画像から対象物が存在すると推測される第2の対象物候補領域を抽出するステップと、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、第1の対象物候補領域における対象物らしさの度合いを示す第1の評価値に対する重み、及び第2の対象物候補領域における対象物らしさの度合いを示す第2の評価値に対する重みを決定するステップと、第1の重み及び第2の重みを用いて第1の評価値と第2の評価値とを重み付け加算して統合評価値を算出するステップと、統合評価値に基づいて対象物が存在する対象物領域を判定するステップとを有するオブジェクト検出装置の作動方法を提供する。
本発明の撮像システム、並びにオブジェクト検出装置及びその作動方法では、第1の撮像装置により撮像された赤外線画像と、第2の撮像装置により撮像された可視光画像とのそれぞれで対象物候補領域の抽出を行う。赤外線画像から抽出された第1の対象物候補領域における第1の評価値と、可視光画像から抽出された第2の対象物候補領域における第
2の評価値とを重み付け加算して統合し、重み付け加算により得られた統合評価値に基づいて対象物領域を判定する。本発明では、重み付け加算の重みを、環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて決定する。このようにすることで、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも、対象物を正しく検出することができる
2の評価値とを重み付け加算して統合し、重み付け加算により得られた統合評価値に基づいて対象物領域を判定する。本発明では、重み付け加算の重みを、環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて決定する。このようにすることで、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも、対象物を正しく検出することができる
以下、図面を参照しつつ本発明の実施形態を詳細に説明する。図1は、本発明の第1実施形態に係る撮像システムを示すブロック図である。撮像システム100は、赤外線撮像装置11、可視光撮像装置12、オブジェクト検出装置20、及び画像処理装置40を備える。オブジェクト検出装置20は、画像入力部21及び22と、対象物候補領域抽出手段23及び24と、スコア統合手段25と、重み決定手段26と、対象物領域判定手段27とを有する。画像処理装置40は露出補正手段41を有する。
オブジェクト検出装置20及び画像処理装置40は、例えばプロセッサを有するコンピュータ装置として構成されており、プロセッサがプログラムに従って動作することにより、各部の機能が実現される。オブジェクト検出装置20及び画像処理装置40は、DSP(Digital Signal Processor)などのLSI(Large Scale Integration)を有していてもよいし、FPGA(Field-Programmable Gate Array)などのPLD(Programmable Logic Device)を有していてもよい。なお、オブジェクト検出装置20と画像処理装置40とは個別の装置に分離している必要はなく、1つの装置の中に、オブジェクト検出装置20として機能する部分と画像処理装置40として機能する部分とが構成されていてもよい。
赤外線撮像装置11は第1の撮像装置であり、赤外線を撮像する。赤外線撮像装置11は、典型的には、1以上のレンズを含む結像光学系と、結像光学系により形成された光学像を撮像して電気信号に変換する赤外線撮像素子(赤外センサ)とを有する。赤外センサは、例えば波長0.83μmから1000μmの範囲の赤外線を検出する。赤外センサは、特に、波長6μmから1000μmの範囲の遠赤外線を検出するものであることが好ましい。赤外センサには、マイクロボロメータ又はSOI(Silicon on Insulator)ダイオード型などの熱型の赤外線センサを用いることができる。
可視光撮像装置12は第2の撮像装置であり、可視光線を撮像する。可視光撮像装置12は、典型的には、1以上のレンズを含む結像光学系と、結像光学系により形成された光学像を撮像して電気信号に変換する可視光撮像素子(可視光センサ)とを有する。可視光センサは、例えば波長約380nmから約750nmの範囲の可視光線を検出する。可視光センサは、近赤外線の波長領域の少なくとも一部において感度を有していてもよい。赤外線撮像装置11と可視光撮像装置12とは、ほぼ同じ撮像領域を撮像する。
画像入力部21は、赤外線撮像装置11により撮像された赤外線画像を入力する。対象物候補領域抽出手段(第1の対象物候補領域抽出部)23は、赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する。第1の対象物候補領域抽出手段23は、1つの赤外線画像に対して、複数の第1の対象物候補領域を抽出してもよい。第1の対象物候補領域抽出手段23は、例えばカスケード接続された複数の弱判別器を有する。第1の対象物候補領域抽出手段23において、弱判別器群は、例えばAdaboostなどのブースティングを用いた集団学習により構築されている。
第1の対象物候補領域抽出手段23は、例えば赤外線画像から特徴量を抽出し、抽出した特徴量の基準特徴量に対する適合度を算出することにより、第1の対象物候補領域を抽出する。特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Haar-like特徴量、Edgelet特徴量、EOH(Edge of Orientation Histogram)特徴量、及びHOG(Histograms of Oriented Gradients)特徴量などを例示することができる。
画像入力部22は、可視光撮像装置12により撮像された可視光画像を入力する。対象物候補領域抽出手段(第2の対象物候補領域抽出部)24は、可視光画像から対象物が存在すると推測される第2の対象物候補領域を抽出する。第2の対象物候補領域抽出手段24における第2の対象物候補領域の抽出は、特徴量の抽出元の画像が赤外線画像から可視光画像になる点を除けば、第1の対象物候補領域抽出手段23における第1の対象物候補領域の抽出と同じであってよい。第1の対象物候補領域抽出手段23において赤外線画像から抽出される特徴量の種類と第2の対象物候補領域抽出手段24において可視光画像から抽出される特徴量の種類とは同じであってもよい。あるいは、第1の対象物候補領域抽出手段23と、第2の対象物候補領域抽出手段24とで、画像から抽出される特徴量の種類が異なっていてもよい。
第1の対象物候補領域抽出手段23及び第2の対象物候補領域抽出手段24における対象物候補領域の抽出に用いられるアルゴリズムは特に限定されない。第1の対象物候補領域抽出手段23及び第2の対象物候補領域抽出手段24は、例えばパターンマッチングや、ニューラルネットワーク、特にその一種であるディープラーニングなどにより、対象物候補領域を抽出してもよい。
本実施形態では、主に検出の対象物として人物を考える。第1の対象物候補領域抽出手段23は、抽出した第1の対象物候補領域ごとに、対象物らしさの度合いを示す第1の評価値を出力する。第2の対象物候補領域抽出手段24は、抽出した第2の対象物候補領域ごとに、対象物らしさの度合いを示す第2の評価値を出力する。例えば第1の評価値が高いほど、赤外線画像における第1の対象物候補領域として抽出された部分に、検出の対象物である人物が存在する確率が高い。また、第2の評価値が高いほど、可視光画像における第2の対象物候補領域として抽出された部分に人物が存在する確率が高い。
スコア統合手段(スコア統合部)25は、第1の対象物候補領域抽出手段23が出力する第1の評価値と、第2の対象物候補領域抽出手段24が出力する第2の評価値とを重み付け加算して統合評価値を算出する。重み決定手段(重み決定部)26は、環境温度を計測する温度センサ13の計測結果に基づいて、スコア統合手段25による重み付け加算における第1の評価値に対する第1の重み、及び第2の評価値に対する第2の重みを決定する。第1の重みと第2の重みは、その合計値が1になるように規格化されていることが好ましい。重みの決定の詳細については後述する。ここで、第1の重み及び第2の重みの一方は0であることもあり得る。すなわち、重み付け加算の結果として、第1の評価値のみが統合評価値に含まれる場合もあり得るし、第2の評価値のみが統合評価値に含まれる場合もあり得る。
対象物領域判定手段(対象領域判定部)27は、スコア統合手段25により算出された統合評価値に基づいて、対象物が存在する領域を判定する。対象物領域判定手段27は、例えば統合評価値が評価値のしきい値以上の対象物候補領域を、対象物が存在する領域(対象物領域)と判定する。露出補正手段(露出補正部)41は、可視光撮像装置12により撮像された可視光画像に対して露出補正処理を実施する。より詳細には、露出補正手段41は、可視光画像における対象物領域内の画素信号値に基づいて露出補正量を決定し、その露出補正量で可視光画像の露出補正を実施する。
露出補正は、例えば可視光画像における対象物領域内の画素信号値のヒストグラムに基づいて可視光画像の明るさを調整する処理を含む。露出補正手段41は、例えば一般的な画像の逆光補正の手法と同様な手法により可視光画像の露出補正を実施し、対象物領域におけるヒストグラムの幅を補正前よりも増大させてもよい。露出補正手段41は、対象物領域の部分のみに対して露出補正を行ってもよいし、画像全体に対して露出補正を行ってもよい。露出補正手段41は、対象物領域が複数存在する場合は、個々の対象物領域に対して露出補正を行ってもよい。あるいは、複数の対象物領域の何れか、例えば面積が最大のものにおける画素信号値に基づいて露出補正量を決定し、その露出補正量で画像全体を露出補正してもよい。
露出補正手段41による露出補正後の画像は、撮像システム100の出力画像として出力される。出力画像は、例えばハードディスク装置などの図示しない補助記憶装置に記憶される。補助記憶装置は、撮像システム100とは異なる場所に設置されていてもよく、補助記憶装置は、撮像システム100からインターネットなどのネットワークを介して可視光画像を受信し、記憶してもよい。補助記憶装置は、補正後の可視光画像に加えて、補正前の可視光画像を記憶してもよい。また、可視光画像だけでなく、赤外線画像を記憶してよい。
以下、重み決定手段26における重みの決定について説明する。赤外線画像において、対象物(人物)の背景に何らかの物体が存在するときでも、その背景の物体が放出する赤外線エネルギー量と人物が放出する赤外線エネルギー量との差があれば、赤外線画像から対象物候補領域を抽出することができる。しかし、赤外線画像において、背景の物体が放出する赤外線エネルギー量と人物が放出する赤外線エネルギー量とに差がない状況では、赤外線画像において人物と背景の物体とを区別することができなくなり、対象物候補領域を抽出することができないか、或いは抽出された対象物候補領域の評価値(第1の評価値)が低くなる。
本実施形態では、環境温度に応じて物体が放出する赤外線エネルギー量が変化することに鑑み、温度が特定の範囲にある場合に、第1の評価値に対する重み(第1の重み)を下げることを考える。温度をT[K]とした場合、物体が放出する赤外線エネルギー量(I(T))は、σをステファン-ボルツマン定数(5.67×10-8[W・m-2・K-4])として、ステファン-ボルツマンの公式より下記式で計算できる。
I=σ×T4 (1)
式(1)で計算される赤外線エネルギー量は、全波長域にわたったエネルギーの総量である。本来であれば、所望の波長域、例えば波長8μmから14μmの波長域におけるエネルギー量を算出し、比較を行うことが好ましいが、ここでは説明簡略化のため、式(1)で算出されたエネルギーを所望の波長域におけるエネルギー量と仮定して説明する。
I=σ×T4 (1)
式(1)で計算される赤外線エネルギー量は、全波長域にわたったエネルギーの総量である。本来であれば、所望の波長域、例えば波長8μmから14μmの波長域におけるエネルギー量を算出し、比較を行うことが好ましいが、ここでは説明簡略化のため、式(1)で算出されたエネルギーを所望の波長域におけるエネルギー量と仮定して説明する。
放出されるエネルギー量は、物体温度以外に、各物体が持つ放射率に依存する。例えば、式(1)で算出される赤外線エネルギー量が完全黒体(放射率ε=1)から放出されるものであるとすると、放射率εが0.98の同じ温度の物体(例えば人間の皮膚)から放出される赤外線エネルギー量は、式(1)で計算された赤外線エネルギー量に0.98を乗じた値になる。35℃から45℃の温度範囲における種々の物体の放出赤外線エネルギー量をまとめたものを、下記表1に記す。
人間の体温は概ね36℃から37℃であるが、発汗、発熱、及び/又は雨などにより、皮膚温度は35℃から40℃の範囲で変化すると仮定する。その場合、人体の放出赤外線エネルギー量は、0.0503W/cm2から0.0536W/cm2程度となる。表1を参照すると、物体温度35℃から45℃の範囲において、放出赤外線エネルギー量が、人物の放射エネルギーの範囲である0.0503W/cm2から0.0536W/cm2の範囲に含まれる物体が存在する。物体の放出赤外線エネルギー量が人物の放出赤外線エネルギー量に近い場合、赤外線撮像装置11において検出される赤外線検出信号の信号強度(赤外線画像における画素値)が近くなり、赤外線画像において人物が他の物体と同化する可能性がある。物体温度が気温に等しいと仮定した場合、気温35℃から45℃の温度範囲では、赤外線画像において人物が他の物体と同化する可能性があるため、赤外線画像における対象物候補領域の抽出はその信頼性が低いと考えられる。
そこで、本実施形態では、温度が赤外線画像における対象物候補領域の抽出の信頼性が低いと考えられる温度範囲にある場合は、第1の評価値に対する重みを低い値、例えば0に設定する。また、その温度範囲の周辺においても、重みを相対的に低く設定する。このような重み設定を行うことで、赤外線画像において人物と背景の物体とが同化しやすい状況となっている場合に、赤外線画像を用いた対象物候補領域の結果が、最終的な人物領域の判定に与える影響を抑制することができる。
例えば、重み決定手段26は、環境温度をTとし、T1を平均人体温度よりも低い温度とし、T2を平均人体温度よりも高い温度とした場合に、環境温度TがT1以上でT2以下の温度範囲にある場合(T1≦T≦T2)は、第1の評価値に対する第1の重みを第2の評価値に対する第2の重みよりも小さくする。T1は例えば35℃であり、T2は例えば45℃である。重み決定手段26は、環境温度がT1よりも低いある温度、例えばT1よりも5℃低い温度以上でかつT1よりも低い温度範囲(T1-5℃≦T<T1)では、環境温度がT1から低くなるにつれて第1の重みを環境温度がT1の場合の重みから段階的に増加させてもよい。また、重み決定手段26は、環境温度がT2より高く、かつT2よりも高いある温度、例えばTよりも5℃高い温度以下の温度範囲(T2<T≦T2+5℃)では、環境温度がT2から高くなるにつれて第1の重みを環境温度がT2の場合の重みから段階的に増加させてもよい。
図2に、環境温度に応じた重み設定の一例を示す。同図に示すグラフは、環境温度と、第1の評価値に対する第1の重みαとの関係を示す。第1の評価値に対する第1の重みαは、0以上1以下の値をとる。第2の評価値に対する第2の重みは(1-α)とする。統合評価値は、下記式で計算される。
統合評価値=α×第1の評価値+(1-α)×第2の評価値
統合評価値=α×第1の評価値+(1-α)×第2の評価値
図2に示す重み設定を採用した場合、重み決定手段26は、温度センサ13が計測した温度が35℃以上45℃以下の温度範囲に含まれる場合は第1の評価値に対する第1の重みαを0とする。この温度範囲では、第1の重みを0とすることで統合評価値は第2の評価値に等しくなる。重み決定手段26は、環境温度が30℃以下の場合、及び環境温度が50℃以上の場合は、第1の評価値に対する第1の重みαを1とする。この場合、統合評価値は第1の評価値に等しくなる。30℃より高く35℃よりも低い温度範囲、及び45℃よりも高く50℃よりも低い温度範囲では、環境温度の変化に応じて、第1の評価値に対する第1の重みαを変化させる。
なお、図2では、35℃以上45℃以下の温度範囲において第1の重みαを0としているが、この温度範囲では第1の重みαが第2の重み(1-α)に対して相対的に低ければよく、第1の重みを0に設定することには限定されない。また、30℃以下の温度範囲、及び50℃以上の温度範囲では第1の重みαを1としているが、この温度範囲では第1の重みαが第2の重み(1-α)に対して相対的に高ければよく、第1の重みを1に設定することには限定されない。30℃以下の温度範囲、及び/又は50℃以上の温度範囲において、第1の重みαを、0.5より大きく1より小さい任意の値に設定してもよい。
図3(a)は可視光画像の一例を示し、(b)は赤外線画像の一例を示す。どちらの画像にも、人物60と樹木70との2つの被写体が撮像されている。図3(a)に示す可視光画像では、撮像時の露光時間が少し短く、人物60がやや黒く撮像されている。このような可視光画像に対して第2の対象物候補領域抽出手段24が対象物候補領域(人物候補領域)の抽出を実施した結果として、人物60が存在する領域に対して第2の評価値(スコア)“80”が得られ、樹木70が存在する領域に対して第2の評価値“50”が得られたとする。例えば評価値のしきい値を“50”として評価値がしきい値以上の領域を人物候補領域として抽出するとした場合、可視光画像単独で人物候補領域の抽出を行うと、人物60が存在する領域と、樹木70が存在する領域との双方が人物候補領域として抽出される。
第1の対象物候補領域抽出手段23は、図3(b)に示す赤外線画像に対して人物候補領域の抽出を実施する。第1の対象物候補領域抽出手段23は、人物候補領域の抽出の結果として、人物60が存在する領域に対して第1の評価値“90”を得る。樹木70については、放出赤外線エネルギー量が人物60のそれに対して低く、人物60とは異なり背景から明確に浮かび上がっていないため、第1の評価値は低く、例えば評価値“0”となる。この場合、赤外線画像単独で人物候補領域の抽出を行うと、人物60が存在する領域が人物候補領域として抽出される。
スコア統合手段25は、上記得られた第1の評価値と第2の評価値とを重み付け加算する。第1の評価値に対する第1の重み、及び第2の評価値に対する第2の重みが0.5であったとすると、人物60が存在する領域についてスコア統合手段25が算出する統合評価値(統合スコア)は90×0.5+80×0.5=85となる。一方、樹木70が存在する領域についてスコア統合手段25が算出する統合評価値は0×0.5+50×0.5=25となる。対象物領域判定手段27において統合評価値に基づいて人物領域を判定すると、人物60が存在する領域は統合評価値が“85”であり、しきい値“50”を超えているので、その領域は人物領域であると判定される。樹木70が存在する領域については、統合評価値がしきい値よりも低いため、人物領域と判定されない。赤外線画像を用いることで、可視光画像では形状的に人物と誤認しやすい樹木70を、人物領域と誤判定することを避けることができる。
図4は、露出補正後の可視光画像を示す。露出補正手段41は、対象物領域判定手段27において対象物領域(人物領域)と判定された領域が適正露出となるように露出補正を行う。露出補正を行うことで、図3(a)においてやや黒くつぶれていた人物60の画素値のヒストグラム分布が、輝度値が高い領域にまで広がる。これにより、図4に示すように、図3(a)においては明確に判別できなかった人物60の目や口などが視認できるようになる。画像全体に対して露出補正を行った場合、人物60が存在する領域以外にある被写体、例えば樹木70が適正露出からずれて白とびすることがあるが、画像において関心がある被写体は、抽出された対象物(人物)であるため、大きな問題にはならない。
図5(a)は可視光画像の別の一例を示し、(b)は赤外線画像の別の一例を示す。図5(a)に示す可視光画像、及び図5(b)に示す赤外線画像では、人物60と樹木70と家屋80とが被写体として撮像されている。家屋80は、人物60の撮像装置側から見て後方に存在しており、人物60と家屋80とは空間的に重なって撮像される。可視光画像から人物候補領域を抽出する場合、人物60と家屋80とが重なってはいるものの、色情報によって人物60と家屋80との分離が可能であり、人物60が存在する領域を人物候補領域として抽出できる。
一方、気温が高く、家屋80が放出する赤外線エネルギー量と人物60が放出する赤外線エネルギー量とにあまり差がない場合、図5(b)に示すように、赤外線画像において人物60が家屋80に同化する。この場合、赤外線画像から人物候補領域を抽出しても、評価値が高い領域は得られない。気温が低く、家屋80が熱を帯びていない状況であれば、赤外線画像において人物60がその背景にある家屋80に同化することはなく、人物候補領域の抽出により、人物60が存在する領域が人物候補領域として抽出できると考えられる。
本実施形態では、第1の評価値に対する第1の重みを温度に基づいて決定しており、温度センサ13が計測した温度が、図5(b)に示すように、人物60が背景の家屋80に同化しやすい温度範囲に含まれる場合には、第1の重みを例えば0に設定する。この場合は、可視光画像に対して実施された人物候補領域の抽出結果のみに基づいて人物領域が判定されるため、赤外線画像において適切に人物候補領域を抽出することが難しい状況でも、人物60が存在する領域を人物領域と判定することができる。
続いて、動作手順を説明する。図6は、撮像システム100の動作手順を示すフローチャートである。赤外線撮像装置11は赤外線画像を撮像し、可視光撮像装置12は可視光画像を撮像する(ステップS1)。第1の対象物候補領域抽出手段23は、画像入力部21を介して赤外線画像を取得し、赤外線画像から対象物候補領域を抽出する(ステップS2)。また、第2の対象物候補領域抽出手段24は、画像入力部22を介して可視光画像を取得し、可視光画像から対象物候補領域を抽出する。
スコア統合手段25は、第1の対象物候補領域抽出手段23と第2の対象物候補領域抽出手段24との少なくとも一方で対象物候補領域が抽出されたか否かを判断する(ステップS3)。赤外線画像と可視光画像との何れからも対象物候補領域が抽出されなかった場合、ステップS1に戻り、次の赤外線画像及び可視光画像が撮像される。
赤外線画像と可視光画像との少なくとも一方で対象物候補領域が抽出されていると判断された場合、スコア統合手段25は、第1の対象物候補領域抽出手段23が出力する第1の評価値と第2の対象物候補領域抽出手段24が出力する第2の評価値とを重み付け加算し、統合評価値を算出する(ステップS4)。スコア統合手段25は、ステップS4では、重み決定手段26により温度センサ13が計測した温度に基づいて決定された重みで、第1の評価値と第2の評価値とを重み付け加算する。抽出された対象物候補領域が複数ある場合は、それぞれの対象物候補領域について、第1の評価値と第2の評価値とを重み付け加算する。
対象物領域判定手段27は、ステップS4で算出された統合評価値に基づいて、対象物領域を判定する(ステップS5)。対象物領域判定手段27は、ステップS5では、例えば統合評価値をしきい値処理することで、抽出された対象物候補領域が対象物領域であるか否かを判定する。対象物領域判定手段27は、対象物領域と判定した領域の座標位置などを露出補正手段41に通知する。赤外線画像と可視光画像とで撮像領域にズレが生じている場合は、そのズレも考慮したうえで、可視光画像における対象物領域の座標位置などを露出補正手段41に通知する。
露出補正手段41は、ステップS1で撮像された可視光画像に対して露出補正処理を実施する(ステップS6)。露出補正手段41は、ステップS6では、可視光画像における、対象物領域と判定された領域内の画素の画素値を取得する。露出補正手段41は、取得した画素値のヒストグラムなどを作成し、そのヒストグラムに基づいてトーンカーブの調整やヒストグラム平滑化などを行い、可視光画像の階調補正を実施する。露出補正がなされた可視光画像は、撮像システム100の出力画像として出力される(ステップS7)。
本実施形態では、赤外線画像と可視光画像とのそれぞれにおいて対象物候補領域の抽出を行う。赤外線画像から抽出された対象物候補領域の評価値(第1の評価値)と、可視光画像から抽出された対象物候補領域の評価値(第2の評価値)とを重み付け加算して統合評価値を算出し、統合評価値に基づいて対象物領域を判定する。本実施形態では、特に、環境温度に基づいて重み付け加算の重みを決定する。環境温度が高く、対象物とその背景にある物体との区別がつきにくくなる状況では、第1の評価値に対する重みを0にし、或いは重みを小さくすることにより、可視光画像における対象物候補領域抽出の結果を重視した対象物領域の判定を行うことが可能である。このように、第1の評価値に対する重みと第2の評価値に対する重みとを適切に設定することで、両画像の特性に応じた対象物領域の判定が実現できる。本実施形態では、赤外線画像と可視光画像との特徴を利用して様々な状況において人物領域を安定して判定することができる。特に、赤外線画像において対象物の検出が適切に実施しにくい状況が生じている場合でも、対象物領域を正しく判定することができる。
撮像システム100により、特定の対象物、例えば人物をメインの被写体として撮影したい場合でも、逆光などの要因で他の被写体に露出を合わせてしまい、人物を所望の露出で撮影できない場合がある。特に、光量差の大きいシーンでは、可視光カメラの特性上、人物が白とび・黒つぶれを起こすことがある。これに対応するため、逆光補正や顔検出を利用した露出補正など、さまざまな手法が提案されている。しかし、逆光補正は人物に限らず黒つぶれした領域の露出を補正する。また、顔検出の検出精度は姿勢や角度に応じて変化するため、人物領域を安定して判定するには不安がある。本実施形態では、赤外線画像の情報と可視光画像の情報を状況に応じて組み合わせて利用することで、人物領域を安定的に判定することができる。人物領域を安定的に判定できることで、その領域に合わせて適切な露出補正を行うことができ、監視カメラなど、特定の対象物の撮影を目的とする機器の使いやすさを大きく向上させることができる。
次いで、本発明の第2実施形態を説明する。図7は、本発明の第2実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム100aは、オブジェクト検出装置20a内に逆光判定手段28を有する点で、図1に示す第1実施形態に係る撮像システム100と相違する。その他の構成は第1実施形態で説明したものと同様でよい。
逆光判定手段(逆光判定部)28は、可視光画像における逆光状態の有無を判定する。逆光判定手段28は、例えば可視光画像の輝度ヒストグラムに基づいて、輝度値が黒に近い部分に偏っているか否かを判定することにより逆光状態の有無を判定する。重み決定手段26は、逆光判定手段28での判定結果に基づいて、第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みの少なくとも一方を調整する。ここで、重みを調整するとは、環境温度に基づいて決定した重みを増減することを意味する。例えば環境温度に基づいて決定した重みに逆光判定の結果に基づく調整量を加減算することを意味する。あるいは、温度に基づいて決定した重みに逆光判定の結果に基づく係数を乗算することで重みを調整してもよい。
図8(a)は可視光画像の一例を示し、(b)は赤外線画像の一例を示す。背景に太陽などが存在し、可視光画像において逆光状態が発生している場合、図8(a)に示すように、人物60及び樹木70の領域が黒くつぶれることがある。この場合、逆光状態が発生していない場合に比べて、可視光画像から対象物候補領域(人物候補領域)を抽出しにくくなる。一方、赤外線画像では、逆光状態が発生していても、人物60が明瞭に画像化されており、人物候補領域の抽出に支障はない。したがって、逆光状態が発生している場合は、逆光状態が発生していない場合よりも、赤外線画像における人物候補領域の結果を重視して対象物の判定を行うことが好ましい。
重み決定手段26は、逆光判定手段28で逆光状態と判定された場合、第2の評価値に対する第2の重みを相対的に減少させることが好ましい。重み決定手段26は、例えば第1の評価値に対する第1の重みを、例えば図2に示すグラフに従って環境温度に基づいて決定した重みよりも増加させる。重み決定手段26は、これに代えて、又は加えて、第2の評価値に対する第2の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。
図9は、露出補正後の可視光画像を示す。露出補正手段41は、対象物領域判定手段27において対象物領域(人物領域)と判定された領域が適正露出となるように露出補正を行う。露出補正を行うことで、図8(a)において黒くつぶれていた人物60が適正露出で描画される。
本実施形態では、逆光判定手段28は可視光画像における逆光状態の有無を判定する。逆光状態が発生している場合は、第2の評価値に対する第2の重みを相対的に減少させることで、統合評価値における第1の評価値の比重を上げることができ、安定的に対象物の判定を行うことができる。その他の効果は第1実施形態と同様である。
続いて本発明の第3実施形態を説明する。図10は、本発明の第3実施形態に係る撮像システムを示すブロック図である。本実施形態に係る撮像システム100bは、オブジェクト検出装置20b内にシーン認識手段29を有する点で、図1に示す第1実施形態に係る撮像システム100と相違する。その他の構成は第1実施形態と同様でよい。
シーン認識手段29(シーン認識部)は、撮像された可視光画像に基づいて撮影シーンを認識する。撮影シーンは、風景、海、雪、及び山のうちの少なくとも1つを含む。シーン認識手段29におけるシーン解析手法としては、例えば特開2005-310123号に記載された手法、或いは特開2005-122720号に記載された手法を用いることができる。本実施形態では、重み決定手段26は、シーン認識手段29によるシーン認識の結果に基づいて第1の重み及び第2の重みの少なくとも一方を調整する。
例えば、シーン認識手段29により、可視光撮像装置12によって撮像される可視光画像のシーンが風景や山などのシーンと判定された場合、可視光画像内には山や樹木などが被写体として写っていることが予想される。表1を参照すると、木の赤外線放射率は皮膚よりも低く、皮膚と同程度の温度であっても、木から放出される赤外線エネルギー量と皮膚から放出される赤外線エネルギー量とには差がある。したがって、人物の背景に樹木が存在したとしても、赤外線画像において人物と背景とが同化することはないと考えられる。
また、撮影シーンが風景、海、及び山の場合は、空などが背景になっていることが多いと考えられる。空から届く赤外線エネルギー量は低いため、人物の背景に空が存在したとしても、赤外線画像において人物と背景とが同化することはないと考えられる。また、気温が高い場合でも、海(海水)及び雪の温度は低いことから、シーン認識手段29により認識されたシーンが海又は雪の場合も、赤外線画像において人物と背景とが同化することはないと考えられる。
重み決定手段26は、シーン認識手段29で撮影シーンが風景、海、雪、又は山であると認識された場合、第1の評価値に対する第1の重みを、環境温度に基づいて決定された重みよりも増加させる。重み決定手段26は、これに代えて、又は加えて、第2の評価値に対する第2の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。
本実施形態では、シーン認識手段29は可視光撮像装置12による撮影シーンを認識し、重み決定手段26はシーン認識の結果に応じて重みを調整する。特定の撮影シーンでは赤外線画像において対象物と背景とが同化する可能性が低いことがある。重み決定手段26は、そのような撮影シーンと認識されたときに、第1の評価値に対する第1の重みを相対的に増加させる。このようにすることで、統合評価値における第1の評価値の比重を上げることができ、赤外線画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第1実施形態と同様である。
引き続き、本発明の第4実施形態を説明する。図11は、本発明の第4実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム100cは、オブジェクト検出装置20c内に低温領域判定手段30を有する点で、図1に示す第1実施形態に係る撮像システム100と相違する。その他の構成は、第1実施形態と同様でよい。
低温領域判定手段(低温領域判定部)30は、赤外線画像中に含まれる低温の領域がどれくらい存在するかを判定する。低温領域判定手段30は、赤外線画像における、温度が第1のしきい値(温度しきい値)以下の領域の面積を求め、その面積が第2のしきい値(面積しきい値)以上であるか否かを判定する。第1のしきい値は、例えば人体平均温度に基づいて決定される。重み決定手段26は、低温領域判定手段30での判定結果に基づいて、第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みの少なくとも一方を調整する。
赤外線画像に低温の領域が多く含まれる場合、例えば空や海などが背景となっていることが考えられる。その場合には赤外線画像において人物と背景とが同化する可能性が低いため、第1の評価値に対する第1の重みを増加することが好ましい。重み決定手段26は、低温領域判定手段30で低温の領域が多く含まれると判定された場合、第1の重みを、環境温度に基づいて決定された第1の重みよりも増加させる。重み決定手段26は、これに代えて、又は加えて、第2の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。
本実施形態では、低温領域判定手段30は、赤外線画像に低温の領域が多く含まれるか否かを判定する。低温の領域が多く含まれる場合、赤外線画像において対象物と背景とが同化する可能性が低いと考えられる。重み決定手段26は、そのような場合は、第1の評価値に対する第1の重みを相対的に増加させる。このようにすることで、統合評価値における第1の評価値の比重を上げることができ、赤外線画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第1実施形態と同様である。
続いて、本発明の第5実施形態を説明する。図12は、本発明の第5実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム100dは、オブジェクト検出装置20d内に遮蔽物判定手段31を有する点で、図1に示す第1実施形態に係る撮像システム100と相違する。その他の構成は、第1実施形態と同様でよい。
遮蔽物判定手段(遮蔽物判定部)31は、可視光画像及び赤外線画像に基づいて、赤外線撮像装置11と被写体との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する。遮蔽物判定手段31は、可視光画像における被写体の輪郭形状と、赤外線画像における被写体の輪郭形状とを比較し、両者が一致しない場合に、遮蔽物が存在すると判定する。遮蔽物判定手段31は、撮像領域をステレオ撮影するカメラを用い、そのカメラにより撮影された画像に基づいてガラスなどの遮蔽物の有無を判定してもよい。
重み決定手段26は、遮蔽物判定手段31での判定結果に基づいて、第1の評価値に対する第1の重み、及び第2の評価値に対する第2の重みの少なくとも一方を調整する。重み決定手段26は、遮蔽物判定手段で赤外線撮像装置11と被写体との間に遮蔽物があると判定された場合は、第1の評価値に対する第1の重みを、環境温度に基づいて決定された第1の重みよりも減少させる。重み決定手段26は、これに代えて、又は加えて、第2の重みを、環境温度に基づいて決定された重みよりも増加させてもよい。
本実施形態では、遮蔽物判定手段31は、赤外線撮像装置11と被写体との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する。遮蔽物が存在する場合、可視光画像には対象物が写るが、赤外線画像には対象物が写らない可能性がある。そのような場合に、第1の評価値に対する第1の重みを相対的に減少させることで、統合評価値における第1の評価値の比重を下げることができる。この場合は、可視光画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第1実施形態と同様である。
続いて、本発明の第6実施形態を説明する。図13は、本発明の第6実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム100eは、図1に示す画像処理装置40に代えて制御装置50を有する点で、第1実施形態と相違する。制御装置50は、オブジェクト検出装置20eによる対象物領域の判定結果を受けて、可視光撮像装置12を制御する。可視光撮像装置12は、露光時間制御部(図示せず)を有している。その他の構成は、第1実施形態と同様でよい。
制御装置50は露出補正手段51を有する。露出補正手段(露出補正部)51は、可視光画像の露出補正処理を実施する。本実施形態では、露出補正は、可視光撮像装置における露光時間を調整する処理を含む。露出補正手段51は、可視光画像における対象物領域内の画素信号値に基づいて、可視光撮像装置12による次の撮像における露光時間を決定する。露出補正手段51は、例えば可視光画像において人物領域が白とびしがちであれば、可視光撮像装置12における露光時間を前回撮像時の露光時間よりも短くする。このように、撮像条件を変更することによっても、対象物が適切な露出で撮像された可視光画像を得ることができる。
なお、上記各実施形態では、重み決定手段26が環境温度に基づいて重みを決定する例を説明したが、これには限定されない。重み決定手段26は、環境温度に代えて、被写体の放出赤外線エネルギー量に基づいて重みを決定してもよい。被写体の放出赤外線エネルギー量は、被写体が存在する部分の赤外線検出信号の信号強度、及び赤外線画像の画素値に対応する。重み決定手段26は、対象物から放出される赤外線エネルギー量をEtとし、E1及びE2を正の実数とした場合に、赤外線画像から抽出された第1の対象物候補領域がEt-E1以上Et+E2以下の範囲の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第1の評価値に対する第1の重みを第2の評価値に対する第2の重みよりも小さくしてもよい。例えば、対象物として人物を考えた場合、人物が放出する赤外線エネルギー量が0.0509W/cm2であったとしたら、0.0509-E1以以上0.0509+E2以下の赤外線エネルギー量を持つ画素が存在しない場合は、第1の重みを下げてもよい。E1とE2とは等しい値であってもよいし、異なる値であってもよい。
上記を具体例を用いて説明する。図14は、赤外線画像の一例を示す。この赤外線画像では、人物60が被写体として撮像されている。人物60は、放出赤外線エネルギー量が比較的低い、言い換えれば比較的低温の空85の領域と海90の領域とを背景とする。人物60から放出される赤外線エネルギー量を画素値(赤外線検出信号の信号強度)に換算した場合、その値は200であったとする。同様に空85から放出される赤外線エネルギー量を画素値に換算した値は10であり、海90から放出される赤外線エネルギー量を画素値に換算した値は50であったとする。別の言い方をすれば、赤外線画像において、人物60に対応する部分領域の画素値は200であり、空85に対応する部分領域の画素値は10であり、海90に対応する部分領域の画素値は50であったとする。
赤外線画像から抽出された第1の対象物候補領域(人物候補領域)として図14に示す領域R1と領域R2の2つの領域を考える。領域R1は人物60が存在する領域を含む。領域R1内の画素値の最大値は200であり、画素値の最小値は10であり、領域内の画素値の平均値は100であったとする。一方、領域R2は人物60を含まない領域である。領域R2内の画素値の最大値は50であり、画素値の最小値は10であり、領域内の画素値の平均値は25であったとする。
重み決定手段26は、赤外線画像から抽出された第1の人物候補領域に、例えば人物60から放出される赤外線エネルギー量に対応した画素値200を中心とした±50の範囲に含まれる画素値を有する画素が存在するか否かを調べる。そのような画素が存在しないか、又はそのような画素の数が画素数に関するしきい値以よりも少なかった場合、重み決定手段26は、赤外線画像から抽出された第1の人物候補領域に対する第1の重みを、可視光画像から抽出された第2の人物候補領域に対する第2の重みよりも小さくする。別の言い方をすれば、重み決定手段26は、第1の人物候補領域が150(200-50)以上250(200+50)以下の画素値を有する画素を含まないか、又はそのような画素の数が少なかった場合、第1の重みを第2の重みよりも小さくする。重み決定手段26は、第1の人物候補領域が、150(200-50)以上250(200+50)以下の画素値を有する画素を画素数に関するしきい値以上含む場合、第1の重みを第2の重みよりも大きくしてもよい。
図14では、領域R1の画素値の最大値は200であり、領域R1には、画素値が150以上250以下の画素が比較的多く含まれる。この場合、重み決定手段26は、領域R1ついて、第1の重みを第2の重みよりも大きくする。一方、領域R2では画素値は最大で50であり、領域R2には、150以上250以下の画素値を有する画素が含まれない。この場合、重み決定手段26は、領域R2について、第1の重みを第2の重みよりも小さくする。このような重みの制御により、赤外線エネルギーの放出源が人物であると考えられる部分を含む領域について、統合評価値における第1の評価値の重みを大きくして、赤外線画像における人物候補領域抽出の結果を重視した人物領域の判定を行うことができる。逆に、赤外線エネルギーの放出源が人物であると考えられる部分を含まない領域については、統合評価値における第1の評価値の重みを小さくし、可視光画像における対象物候補領域抽出の結果を重視した対象物領域の判定を行うことができる。
ここで、重み決定手段26において、第1の人物候補領域における画素値の平均値と、人物から放出される赤外線エネルギー量に対応した画素値とを比較し、平均値が画素値200を中心とした±50の範囲に含まれない場合に第1の重みを第2の重みよりも小さくすることを考える。その場合、図14に示す領域R1のように、人物60が存在する領域であるものの、低温の背景領域の画素値が低いことから領域内の画素値の平均値が小さくなっている場合は、第1の重みが第2の重みよりも小さく設定されることになる。これに対し、上記したように、第1の人物候補領域に画素値が150以上250以下の画素が含まない場合に第1の重みを第2の重みよりも小さくする場合は、人物が含まれる可能性が高い第1の人物候補領域に対して、第1の重みが小さく設定されることを抑制できる。
上記では、重み決定手段26が環境温度又は被写体の放出赤外線エネルギー量に基づいて重みを決定したが、これには限定されず、重み決定手段26は、環境温度と被写体の放出赤外線エネルギー量との双方に基づいて重みを決定してもよい。その場合、重み決定手段26は、環境温度がT1以上でT2以下の温度範囲にあり、かつ、赤外線画像から抽出された第1の対象物候補領域がEt-E1以上Et+E2以下の範囲の赤外線エネルギー量に対応した画素値を有する画素を含まない場合に、第1の評価値に対する第1の重みを第2の評価値に対する第2の重みよりも小さくすればよい。
赤外エネルギー量に応じて重みを決定するのに代えて、赤外線エネルギー量に応じて、赤外線画像における特定の領域を、第1の対象物候補領域抽出手段23における処理対象から除外してもよい。具体的には、第1の対象物候補領域抽出手段23は、赤外線画像から、0.0509-E1以下、又は0.0509+E2以上の赤外線エネルギー量を持つ領域を除外したうえで、対象物候補領域(人物候補領域)を抽出してもよい。その場合、E1の値を適切に設定することで、形状的に人物と誤認しやすい樹木を、誤って人物候補領域として抽出することを避けることができる。
上記各実施形態は任意に組み合わせることができる。例えば、第2実施形態から第5実施形態の各実施形態における構成を任意に組み合わせることができる。つまり、オブジェクト検出装置は、逆光判定手段28、シーン認識手段29、低温領域判定手段30、及び遮蔽物判定手段31の群から選択された2以上の手段を有していてもよい。また、第2実施形態から第5実施形態と第6実施形態とを組み合わせ、第2実施形態から第5実施形態の各実施形態の構成において、可視光撮像装置12の露光時間を制御することで可視光画像の露出補正を行ってもよい。オブジェクト検出装置は、逆光判定手段28、シーン認識手段29、低温領域判定手段30、及び遮蔽物判定手段31の群から選択された2以上の手段を有している場合も、第6実施形態と同様に可視光撮像装置12の露光時間を制御することで可視光画像の露出補正を行ってもよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の撮像システム、並びにオブジェクト検出装置及びその作動方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
100:撮像システム
11:赤外線撮像装置(第1の撮像装置)
12:可視光撮像装置(第2の撮像装置)
20:オブジェクト検出装置
21、22:画像入力部
23、24:対象物候補領域抽出手段
25:スコア統合手段
26:重み決定手段
27:対象物領域判定手段
28:逆光判定手段
29:シーン認識手段
30:低温領域判定手段
31:遮蔽物判定手段
40:画像処理装置
41:露出補正手段
50:制御装置
51:露出補正手段
60:人物
70:樹木
80:家屋
85:空
90:海
11:赤外線撮像装置(第1の撮像装置)
12:可視光撮像装置(第2の撮像装置)
20:オブジェクト検出装置
21、22:画像入力部
23、24:対象物候補領域抽出手段
25:スコア統合手段
26:重み決定手段
27:対象物領域判定手段
28:逆光判定手段
29:シーン認識手段
30:低温領域判定手段
31:遮蔽物判定手段
40:画像処理装置
41:露出補正手段
50:制御装置
51:露出補正手段
60:人物
70:樹木
80:家屋
85:空
90:海
Claims (17)
- 赤外線を撮像する第1の撮像装置と、
可視光線を撮像する第2の撮像装置と、
前記第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する第1の対象物候補領域抽出部と、
前記第2の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第2の対象物候補領域を抽出する第2の対象物候補領域抽出部と、
前記第1の対象物候補領域における前記対象物らしさの度合いを示す第1の評価値と、前記第2の対象物候補領域における前記対象物らしさの度合いを示す第2の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、
周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記重み付け加算における第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みを決定する重み決定部と、
前記統合評価値に基づいて前記対象物が存在する対象物領域を判定する対象物領域判定部と、
前記可視光画像における前記対象物領域内の画素信号値に基づいて露出補正量を決定し、前記可視光画像の露出補正を実施する露出補正部とを備えた撮像システム。 - 前記対象物は人物であり、前記重み決定部は、前記環境温度に基づいて前記重みを決定するものであり、T1を平均人体温度よりも低い温度とし、T2を平均人体温度よりも高い温度とした場合に、前記環境温度がT1以上でT2以下の温度範囲にある場合は、前記第1の重みを前記第2の重みよりも小さくする請求項1に記載の撮像システム。
- 前記重み決定部は、前記環境温度がT1よりも5℃低い温度以上でかつT1以下の温度範囲では、前記環境温度がT1から低くなるにつれて前記第1の重みを前記環境温度がT1の場合の前記第1の重みから段階的に増加させ、及び/又は、前記環境温度がT2以上T2よりも5℃高い温度以下の温度範囲では、前記環境温度がT2から高くなるにつれて前記第1の重みを前記環境温度がT2の場合の前記第1の重みから段階的に増加させる請求項2に記載の撮像システム。
- 前記重み決定部は、前記赤外線エネルギー量に基づいて前記重みを決定するものであり、前記対象物から放出される赤外線エネルギー量をEtとし、E1及びE2を正の実数とした場合に、前記赤外線画像における前記第1の対象物候補領域が、Et-E1以上Et+E2以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、前記第1の重みを前記第2の重みよりも小さくする請求項1に記載の撮像システム。
- 前記対象物は人物であり、前記重み決定部は、前記環境温度と前記赤外線エネルギー量とに基づいて前記重みを決定するものであり、T1を平均人体温度よりも低い温度とし、T2を平均人体温度よりも高い温度とし、前記対象物から放出される赤外線エネルギー量をEtとし、E1及びE2を正の実数とした場合に、前記環境温度がT1以上でT2以下の温度範囲にあり、かつ、前記赤外線画像における前記第1の対象物候補領域がEt-E1以上Et+E2以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、前記第1の重みを前記第2の重みよりも小さくする請求項1に記載の撮像システム。
- 前記可視光画像の輝度ヒストグラムに基づいて前記可視光画像における逆光状態の有無を判定する逆光判定部を更に有し、前記重み決定部は、前記逆光判定部での判定結果に基づいて前記第1の重み及び前記第2の重みの少なくとも一方を調整する請求項1から5何れか1項に記載の撮像システム。
- 前記重み決定部は、前記逆光判定部で逆光状態と判定された場合、前記第1の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は前記第2の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させる請求項6に記載の撮像システム。
- 前記可視光画像に基づいて、風景、海、雪、及び山のうちの少なくとも1つを含む撮影シーンを認識するシーン認識部を更に有し、前記重み決定部は、前記シーン認識部でのシーン認識の結果に基づいて前記第1の重み及び前記第2の重みの少なくとも一方を調整する請求項1から7何れか1項に記載の撮像システム。
- 前記重み決定部は、前記シーン認識部で撮影シーンが風景、海、雪、又は山であると認識された場合、前記第1の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は前記第2の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させる請求項8に記載の撮像システム。
- 前記赤外線画像中に、温度が第1のしきい値以下の領域の面積が第2のしきい値以上含まれるか否かを判定する低温領域判定部を更に有し、前記重み決定部は、前記低温領域判定部での判定結果に基づいて前記第1の重み及び前記第2の重みの少なくとも一方を調整する請求項1から9何れか1項に記載の撮像システム。
- 前記重み決定部は、前記低温領域判定部で前記赤外線画像中に温度が第1のしきい値以下の領域の面積が第2のしきい値以上含まれると判定された場合、前記第1の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも増加させ、及び/又は前記第2の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも減少させる請求項10に記載の撮像システム。
- 前記可視光画像及び前記赤外線画像に基づいて、前記第1の撮像装置と前記対象物との間に前記赤外線を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定部を更に有し、前記重み決定部は、前記遮蔽物判定部での判定結果に基づいて前記第1の重み及び前記第2の重みの少なくとも一方を調整する請求項1から9何れか1項に記載の撮像システム。
- 前記重み決定部は、前記遮蔽物判定部で前記第1の撮像装置と前記対象物との間に遮蔽物があると判定された場合、前記第1の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第1の重みよりも減少させ、及び/又は前記第2の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第2の重みよりも増加させる請求項12に記載の撮像システム。
- 前記露出補正は、前記可視光画像における前記対象物領域内の画素信号値のヒストグラムに基づいて前記可視光画像の明るさを調整する処理を含む請求項1から13何れか1項に記載の撮像システム。
- 前記露出補正は、前記第2の撮像装置における露光時間を調整する処理を含む請求項1から13何れか1項に記載の撮像システム。
- 赤外線を撮像する第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出する第1の対象物候補領域抽出部と、
可視光線を撮像する第2の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第2の対象物候補領域を抽出する第2の対象物候補領域抽出部と、
前記第1の対象物候補領域における前記対象物らしさの度合いを示す第1の評価値と、前記第2の対象物候補領域における前記対象物らしさの度合いを示す第2の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、
周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記重み付け加算における第1の評価値に対する第1の重み及び第2の評価値に対する第2の重みを決定する重み決定部と、
前記統合評価値に基づいて前記対象物が存在する対象物領域を判定する対象物領域判定部とを備えたオブジェクト検出装置。 - オブジェクト検出装置の作動方法であって、
赤外線を撮像する第1の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第1の対象物候補領域を抽出するステップと、
可視光線を撮像する第2の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第2の対象物候補領域を抽出するステップと、
周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記第1の対象物候補領域における前記対象物らしさの度合いを示す第1の評価値に対する重み、及び前記第2の対象物候補領域における前記対象物らしさの度合いを示す第2の評価値に対する重みを決定するステップと、
前記第1の重み及び前記第2の重みを用いて前記第1の評価値と第2の評価値とを重み付け加算して統合評価値を算出するステップと、
前記統合評価値に基づいて前記対象物が存在する対象物領域を判定するステップとを有するオブジェクト検出装置の作動方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680062723.1A CN108353128B (zh) | 2015-10-27 | 2016-10-13 | 摄像***以及对象检测装置及其工作方法 |
JP2017547726A JP6356925B2 (ja) | 2015-10-27 | 2016-10-13 | 撮像システム、並びにオブジェクト検出装置及びその作動方法 |
US15/954,067 US10580161B2 (en) | 2015-10-27 | 2018-04-16 | Imaging system, object detection device and method of operating same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-210534 | 2015-10-27 | ||
JP2015210534 | 2015-10-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/954,067 Continuation US10580161B2 (en) | 2015-10-27 | 2018-04-16 | Imaging system, object detection device and method of operating same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017073344A1 true WO2017073344A1 (ja) | 2017-05-04 |
Family
ID=58630282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/080368 WO2017073344A1 (ja) | 2015-10-27 | 2016-10-13 | 撮像システム、並びにオブジェクト検出装置及びその作動方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10580161B2 (ja) |
JP (1) | JP6356925B2 (ja) |
CN (1) | CN108353128B (ja) |
WO (1) | WO2017073344A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107443387A (zh) * | 2017-09-29 | 2017-12-08 | 上海与德通讯技术有限公司 | 智能识别方法及机器人 |
US20180336398A1 (en) * | 2017-05-18 | 2018-11-22 | Sukesh Shenoy | Ambient temperature reporting through infrared facial recognition |
KR101939765B1 (ko) * | 2018-08-30 | 2019-01-17 | 엘아이지넥스원 주식회사 | 적외선 영상 획득 장치 및 그 방법 |
JP2020035443A (ja) * | 2018-08-24 | 2020-03-05 | 株式会社豊田中央研究所 | センシング装置 |
JP2020034483A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社キーエンス | 画像測定装置 |
KR20200027789A (ko) * | 2018-09-05 | 2020-03-13 | 주식회사 옵트론텍 | 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템 |
EP3683716A4 (en) * | 2017-09-15 | 2020-11-11 | Hangzhou Hikvision Digital Technology Co., Ltd. | SURVEILLANCE PROCESS, APPARATUS AND SYSTEM, ELECTRONIC DEVICE, AND COMPUTER READABLE INFORMATION MEDIA |
US12039746B2 (en) | 2019-03-28 | 2024-07-16 | Sony Group Corporation | Information processing device and information processing method for extracting information from an image |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7104523B2 (ja) * | 2018-02-05 | 2022-07-21 | キヤノン株式会社 | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム |
JP6690105B1 (ja) * | 2018-10-31 | 2020-04-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像装置、システム、制御方法、及びプログラム |
CN111160067A (zh) * | 2018-11-07 | 2020-05-15 | 北京奇虎科技有限公司 | 危险识别方法、装置、电子设备及计算机可读存储介质 |
WO2020190952A1 (en) | 2019-03-18 | 2020-09-24 | The Climate Corporation | System and method for automatic control of exposure time in an imaging instrument |
JP7427398B2 (ja) * | 2019-09-19 | 2024-02-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム及びプログラム |
CN111399731B (zh) * | 2020-03-12 | 2022-02-25 | 深圳市腾讯计算机***有限公司 | 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质 |
CN111595450B (zh) * | 2020-05-15 | 2022-03-25 | 北京百度网讯科技有限公司 | 测量温度的方法、装置、电子设备和计算机可读存储介质 |
US11553247B2 (en) * | 2020-08-20 | 2023-01-10 | The Nielsen Company (Us), Llc | Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition |
CN112418251B (zh) * | 2020-12-10 | 2024-02-13 | 研祥智慧物联科技有限公司 | 红外体温检测方法及*** |
CN113256872B (zh) * | 2020-12-31 | 2024-02-02 | 深圳怡化电脑股份有限公司 | 图像传感器参数配置方法、装置、计算机设备及存储介质 |
KR20240038294A (ko) * | 2022-09-16 | 2024-03-25 | 올리브유니온(주) | 보청기를 이용한 사용자 또는 객체의 위치 추정에 따라 마이크 지향성을 자동 설정하는 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2850890B2 (ja) * | 1996-12-02 | 1999-01-27 | 日本電気株式会社 | 複合センサ型車両感知器 |
JP2002032754A (ja) * | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | 認識処理装置、認識処理方法およびセンシングシステム |
JP2005223605A (ja) * | 2004-02-05 | 2005-08-18 | Sumitomo Electric Ind Ltd | 画像処理方法、画像処理システムおよび画像処理装置 |
JP2011086163A (ja) * | 2009-10-16 | 2011-04-28 | Mitsubishi Heavy Ind Ltd | 移動体追尾装置およびその方法 |
JP2013247492A (ja) * | 2012-05-25 | 2013-12-09 | Konica Minolta Inc | 物体検出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3968425B2 (ja) | 2002-11-13 | 2007-08-29 | 独立行政法人産業技術総合研究所 | 光導波路への光導入方法及びそれを用いた光導波路分光測定装置 |
JP4534756B2 (ja) * | 2004-12-22 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
CN101609589A (zh) * | 2008-06-17 | 2009-12-23 | 侯荣琴 | 多频图像火灾探测*** |
CN102609927A (zh) * | 2012-01-12 | 2012-07-25 | 北京理工大学 | 基于场景景深的雾天可见光/红外图像彩色融合方法 |
JP5991224B2 (ja) | 2013-02-15 | 2016-09-14 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
KR20150021353A (ko) * | 2013-08-20 | 2015-03-02 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
WO2015056358A1 (ja) * | 2013-10-17 | 2015-04-23 | ヒトミル株式会社 | 瞳孔径測定支援装置及び瞳孔径測定支援システム |
-
2016
- 2016-10-13 JP JP2017547726A patent/JP6356925B2/ja active Active
- 2016-10-13 WO PCT/JP2016/080368 patent/WO2017073344A1/ja active Application Filing
- 2016-10-13 CN CN201680062723.1A patent/CN108353128B/zh active Active
-
2018
- 2018-04-16 US US15/954,067 patent/US10580161B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2850890B2 (ja) * | 1996-12-02 | 1999-01-27 | 日本電気株式会社 | 複合センサ型車両感知器 |
JP2002032754A (ja) * | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | 認識処理装置、認識処理方法およびセンシングシステム |
JP2005223605A (ja) * | 2004-02-05 | 2005-08-18 | Sumitomo Electric Ind Ltd | 画像処理方法、画像処理システムおよび画像処理装置 |
JP2011086163A (ja) * | 2009-10-16 | 2011-04-28 | Mitsubishi Heavy Ind Ltd | 移動体追尾装置およびその方法 |
JP2013247492A (ja) * | 2012-05-25 | 2013-12-09 | Konica Minolta Inc | 物体検出装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180336398A1 (en) * | 2017-05-18 | 2018-11-22 | Sukesh Shenoy | Ambient temperature reporting through infrared facial recognition |
US11830200B2 (en) * | 2017-05-18 | 2023-11-28 | Advanced Micro Devices, Inc. | Ambient temperature reporting through infrared facial recognition |
US11275952B2 (en) | 2017-09-15 | 2022-03-15 | Hangzhou Hikvision Digital Technology Co., Ltd. | Monitoring method, apparatus and system, electronic device, and computer readable storage medium |
EP3683716A4 (en) * | 2017-09-15 | 2020-11-11 | Hangzhou Hikvision Digital Technology Co., Ltd. | SURVEILLANCE PROCESS, APPARATUS AND SYSTEM, ELECTRONIC DEVICE, AND COMPUTER READABLE INFORMATION MEDIA |
CN107443387A (zh) * | 2017-09-29 | 2017-12-08 | 上海与德通讯技术有限公司 | 智能识别方法及机器人 |
JP2020035443A (ja) * | 2018-08-24 | 2020-03-05 | 株式会社豊田中央研究所 | センシング装置 |
JP7351139B2 (ja) | 2018-08-24 | 2023-09-27 | 株式会社豊田中央研究所 | センシング装置 |
KR101939765B1 (ko) * | 2018-08-30 | 2019-01-17 | 엘아이지넥스원 주식회사 | 적외선 영상 획득 장치 및 그 방법 |
JP7152223B2 (ja) | 2018-08-31 | 2022-10-12 | 株式会社キーエンス | 画像測定装置 |
JP2020034483A (ja) * | 2018-08-31 | 2020-03-05 | 株式会社キーエンス | 画像測定装置 |
KR102146837B1 (ko) * | 2018-09-05 | 2020-08-21 | 주식회사 옵트론텍 | 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템 |
KR20200027789A (ko) * | 2018-09-05 | 2020-03-13 | 주식회사 옵트론텍 | 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템 |
US12039746B2 (en) | 2019-03-28 | 2024-07-16 | Sony Group Corporation | Information processing device and information processing method for extracting information from an image |
Also Published As
Publication number | Publication date |
---|---|
JP6356925B2 (ja) | 2018-07-11 |
US20180240251A1 (en) | 2018-08-23 |
US10580161B2 (en) | 2020-03-03 |
JPWO2017073344A1 (ja) | 2018-08-02 |
CN108353128B (zh) | 2020-05-19 |
CN108353128A (zh) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6356925B2 (ja) | 撮像システム、並びにオブジェクト検出装置及びその作動方法 | |
US10699395B2 (en) | Image processing device, image processing method, and image capturing device | |
US9398235B2 (en) | Apparatus and method for fusing images | |
JP2014053855A (ja) | 画像処理装置および方法、並びにプログラム | |
JP6911859B2 (ja) | 画像処理装置及び画像処理方法 | |
Chang et al. | Multispectral visible and infrared imaging for face recognition | |
WO2020027210A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
Pittaluga et al. | Sensor-level privacy for thermal cameras | |
KR20160047196A (ko) | 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법 | |
JP2016126750A (ja) | 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JPWO2020129138A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6321289B2 (ja) | 室外及び室内での虹彩イメージ取得装置及び方法 | |
CN111028187B (zh) | 一种光线自适应的机载双光图像侦察装置及方法 | |
CN105957020A (zh) | 图像生成装置以及图像生成方法 | |
CN114511781A (zh) | 无人机搭载多光谱相机对伪装人员识别的方法、装置及介质 | |
CN103870847A (zh) | 一种低照度环境下对地监控的运动目标检测方法 | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
CN102144915A (zh) | 图像处理装置、图像处理方法、程序及电子装置 | |
JP2019215661A (ja) | 画質調整システムおよび画質調整方法 | |
JP6795062B2 (ja) | 検出装置、検出方法及びプログラム | |
Ribeiro et al. | Algorithms for face detection on infrared thermal images | |
JP5305768B2 (ja) | 画像強調装置及び画像強調方法 | |
Chen et al. | A new algorithm for calculating the daytime visibility based on the color digital camera | |
Gallastegi et al. | Absorption-based ranging from ambient thermal radiation without known emissivities | |
CN107317971A (zh) | 图像去雾处理方法、装置、存储介质和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16859579 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017547726 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16859579 Country of ref document: EP Kind code of ref document: A1 |