CN108353128A - 摄像***以及对象检测装置及其工作方法 - Google Patents

摄像***以及对象检测装置及其工作方法 Download PDF

Info

Publication number
CN108353128A
CN108353128A CN201680062723.1A CN201680062723A CN108353128A CN 108353128 A CN108353128 A CN 108353128A CN 201680062723 A CN201680062723 A CN 201680062723A CN 108353128 A CN108353128 A CN 108353128A
Authority
CN
China
Prior art keywords
weight
infrared
temperature
candidate region
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062723.1A
Other languages
English (en)
Other versions
CN108353128B (zh
Inventor
北川润也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108353128A publication Critical patent/CN108353128A/zh
Application granted granted Critical
Publication of CN108353128B publication Critical patent/CN108353128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种摄像***以及对象检测装置及其工作方法，在摄像***以及对象检测装置及其工作方法中，即便在红外线图像中产生难以适当地实施对象检测的状况的情况下也正确地检测对象物。第1对象物候选区域提取机构(23)从通过红外线摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域。第2对象物候选区域提取机构(24)从通过可见光摄像装置而拍摄的可见光图像提取推测为对象物存在的第2对象物候选区域。分数综合机构(25)将第1对象物候选区域中的第1评价值与第2对象物候选区域中的第2评价值进行加权相加并计算综合评价值。权重确定机构(26)例如根据环境温度而确定加权相加中的权重。对象物区域判定机构(27)根据综合评价值而判定对象物区域。

Description

摄像***以及对象检测装置及其工作方法
技术领域
本发明涉及一种摄像***，更详细而言，涉及一种包括拍摄可见光的摄像装置与拍摄红外线的摄像装置的摄像***。并且，本发明涉及一种包含于上述摄像***的对象检测装置及其工作方法。
背景技术
已知有一种具有可见光相机与红外线相机的摄像***(例如专利文献1)。在专利文献1中，可见光相机与红外线(远红外线)相机以大致相同的角度，并且以大致相同的摄像倍率对进行对象的检测的对象区域进行拍摄。专利文献1中，在通过可见光相机而拍摄的可见光图像与通过远红外线相机而拍摄的红外线图像(温度分布图像)中分别实施对象检测。
专利文献1中，在对象检测之前，例如在可见光图像中发白或发黑的区域提取为不适于对象检测的图像区域，除该区域外对可见光图像实施对象检测。在可见光图像中提取为不适于对象检测的图像区域的区域以外的区域，对红外线图像实施对象检测。通过综合这2个对象检测的结果，得到相对于整个图像的对象检测的结果。
通常，可见光图像中，由于逆光等因素，存在产生难以适当地实施对象检测的状况的情况。专利文献1中，将产生这种状况的区域提取为在可见光图像中不适于对象检测的图像区域，在红外线图像中对该图像区域实施对象检测。通过如此，能够期待能够提高对象检测的精度的效果。
以往技术文献
专利文献
专利文献1：日本特开2014-157452号公报
专利文献2：日本特开2004-163257号公报
发明内容
发明要解决的技术课题
难以适当地实施对象检测的状况不仅在可见光图像中产生，也会在红外线图像中产生。例如，在人物的背景中，存在接近人物的表面温度的物体的情况下，无法区分人物与背景的物体，且变得难以正确地检测对象。专利文献1中，未考虑不适于红外线图像中的对象检测的图像区域。专利文献1中，通过远红外线图像对在可见光图像中不适于对象检测的图像区域进行对象检测，但在红外线图像中，该图像区域不一定适于对象检测。
并且，在专利文献1中记载有如下宗旨：关于红外线图像，不仅在不适于可见光图像中的对象检测的图像区域中，在整个图像中也可以进行对象检测。然而，在该情况下，没有关于如下内容的具体的记载：如何将对整个图像实施的相对于红外线图像的对象检测的结果和对除了不适于对象检测的图像区域以外的区域实施的相对于可见光图像的对象检测的结果进行综合。
在此，在专利文献2中记载有如下内容：在多个图像中分别进行对象检测(脸部检测)，并根据这些结果来确定检测对象的脸存在的位置。专利文献2中，使用2个摄像装置，在使用一个摄像装置拍摄的图像(第1图像)和使用另一个摄像装置拍摄的图像(第2图像)这两者中进行脸部检测。在专利文献2中还记载有如下内容：将通过相对于第1图像的脸部检测而计算出的分数与通过相对于第2图像的脸部检测而计算出的分数进行加权相加，并通过加权相加而得到的分数为阈值以上的情况下，判定为脸存在。与摄像装置有关，在专利文献2记载有如下内容：一个摄像装置在可见光传感器(摄像元件)的前表面具有R(红色，Red)、G(绿色，Green)及B(蓝色，Blue)的滤色器，另一个摄像装置可以在可见光传感器的前表面具有穿透红外线区域的光成分的IR(红外线，infrared)滤光片。
然而，通常，可见光传感器对远红外线不具有灵敏度，因此在专利文献2中拍摄的红外线图像是近红外线图像而不是远红外线图像。并且，在专利文献2中还未考虑如下状况：难以适当地实施可见光图像中的对象检测的状况以及难以适当地实施红外线图像中的对象检测状况。因此，在专利文献2中，在使用可见光图像与红外线图像检测对象物的情况下，并且在红外线图像中产生难以适当地实施对象检测的状况的情况下，无法正确地检测对象物。
鉴于上述情况，本发明的目的在于，提供一种在使用可见光图像与红外线图像检测对象物的情况下，即便在红外线图像中产生难以适当地实施对象检测的状况的情况下，也能够正确地检测对象物的对象检测装置及其工作方法。
并且，本发明的目的在于，提供一种包括上述对象检测装置的摄像***。
用于解决技术课题的手段
为了实现上述目的，本发明提供一种摄像***，其具备：第1摄像装置，拍摄红外线；第2摄像装置，拍摄可见光线；第1对象物候选区域提取部，从通过第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；第2对象物候选区域提取部，从通过第2摄像装置而拍摄的可见光图像提取推测为对象物存在的第2对象物候选区域；分数综合部，将表示第1对象物候选区域中的对象物确定度的程度的第1评价值与表示第2对象物候选区域中的对象物确定度的程度的第2评价值进行加权相加并计算综合评价值；权重确定部，根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于加权相加中的第1评价值的第1权重及相对于第2评价值的第2权重；对象物区域判定部，根据综合评价值而判定对象物存在的对象物区域；及曝光校正部，根据可见光图像中的对象物区域内的像素信号值而确定曝光校正量，并实施可见光图像的曝光校正。
在此，在第1摄像装置的摄像区域发出红外线的情况下，第1摄像装置以与其释放能量相应的信号强度来检测红外线。红外线检测信号的信号强度与红外线图像的像素值对应。在本发明中，从摄像区域发出的红外线能量能够根据通过第1摄像装置而拍摄的红外线图像的像素值来辨别。
在本发明中，对象物可以是人物。权重确定部可以根据环境温度而确定权重，该情况下，在将T1设为比平均人体温度低的温度，将T2设为比平均人体温度高的温度的情况下，环境温度处于T1以上且T2以下的温度范围的情况下，优选权重确定部将第1权重设为小于第2权重。
在上述内容中，在环境温度为比T1低5℃的温度以上并且为T1以下的温度范围内，随着环境温度从T1变低，权重确定部使第1权重从环境温度为T1时的第1权重逐渐增加，和/或，在环境温度为T2以上且为比T2高5℃的温度以下的温度范围内，随着环境温度从T2变高，权重确定部可以使第1权重从环境温度为T2时的第1权重逐渐增加。
权重确定部可以根据红外线能量而确定权重，该情况下，在将从对象物释放的红外线能量设为Et，将E1及E2设为正的实数的情况下，第1对象物候选区域不包含具有与Et-E1以上且Et+E2以下的红外线能量对应的像素值的像素的情况下，权重确定部可以将第1权重设为小于第2权重。
在本发明中，对象物可以是人物，权重确定部可以根据环境温度与红外线能量而确定权重，在将T1设为比平均人体温度低的温度，将T2设为比平均人体温度高的温度，将从对象物释放的红外线能量设为Et，将E1及E2设为正的实数的情况下，环境温度处于T1以上且T2以下的温度范围，并且第1对象物候选区域不包含具有与Et-E1以上且Et+E2以下的红外线能量对应的像素值的像素的情况下，权重确定部可以将第1权重设为小于第2权重。
本发明的摄像***还可以具有逆光判定部，根据可见光图像的亮度直方图，判定有无可见光图像中的逆光状态。该情况下，权重确定部可以根据逆光判定部中的判定结果而调整第1权重及第2权重中的至少一个。
在由逆光判定部判定为逆光状态的情况下，权重确定部可以使第1权重比根据环境温度及红外线能量中的至少一个而确定的第1权重增加，和/或，权重确定部可以使第2权重比根据环境温度及红外线能量中的至少一个而确定的第2权重减少。
本发明的摄像***还可以具有场景识别部，根据可见光图像而识别包括风景、海、雪及山中的至少一个的拍摄场景。该情况下，权重确定部可以根据场景识别部中的场景识别的结果而调整第1权重及第2权重中的至少一个。
在由场景识别部识别为拍摄场景是风景、海、雪或山的情况下，权重确定部可以使第1权重比根据环境温度及红外线能量中的至少一个而确定的第1权重增加，和/或，权重确定部可以使第2权重比根据环境温度及红外线能量中的至少一个而确定的第2权重减少。
本发明的摄像***还可以具有低温区域判定部，判定在红外线图像中温度为第1阈值以下的区域的面积是否包含第2阈值以上。该情况下，权重确定部可以根据低温区域判定部中的判定结果而调整第1权重及第2权重中的至少一个。
在由低温区域判定部判定为在红外线图像中温度为第1阈值以下的区域的面积包含第2阈值以上的情况下，权重确定部可以使第1权重比根据环境温度及红外线能量中的至少一个而确定的第1权重增加，和/或，权重确定部可以使第2权重比根据环境温度及红外线能量中的至少一个而确定的第2权重减少。
本发明的摄像***还可以具有屏蔽物判定部，根据可见光图像及红外线图像，判定在第1摄像装置与对象物之间是否存在屏蔽红外线的屏蔽物。该情况下，权重确定部可以根据屏蔽物判定部中的判定结果而调整第1权重及第2权重中的至少一个。
在由屏蔽物判定部判定为在第1摄像装置与对象物之间存在屏蔽物的情况下，权重确定部可以使第1权重比根据环境温度及红外线能量中的至少一个而确定的第1权重减少，和/或，权重确定部可以使第2权重比根据环境温度及红外线能量中的至少一个而确定的第2权重增加。
在本发明的摄像***中，曝光校正包括如下处理：例如根据可见光图像中的对象物区域内的像素信号值的直方图而调整可见光图像的明度。或者，曝光校正包括如下处理：调整第2摄像装置中的曝光时间。
并且，本发明提供一种对象检测装置，其具备：第1对象物候选区域提取部，从通过拍摄红外线的第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；第2对象物候选区域提取部，从通过拍摄可见光线的第2摄像装置而拍摄的可见光图像提取推测为对象物存在的第2对象物候选区域；分数综合部，将表示第1对象物候选区域中的对象物确定度的程度的第1评价值与表示第2对象物候选区域中的对象物确定度的程度的第2评价值进行加权相加并计算综合评价值；权重确定部，根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于加权相加中的第1评价值的第1权重及相对于第2评价值的第2权重；及对象物区域判定部，根据综合评价值而判定对象物存在的对象物区域。
而且，本发明提供一种对象检测装置的工作方法，所述工作方法具有如下步骤：从通过拍摄红外线的第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；从通过拍摄可见光线的第2摄像装置而拍摄的可见光图像提取推测为对象物存在的第2对象物候选区域；根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于表示第1对象物候选区域中的对象物确定度的程度的第1评价值的权重及相对于表示第2对象物候选区域中的对象物确定度的程度的第2评价值的权重；使用第1权重及第2权重，将第1评价值与第2评价值进行加权相加并计算综合评价值；及根据综合评价值而判定对象物存在的对象物区域。
发明效果
本发明的摄像***以及对象检测装置及其工作方法中，通过第1摄像装置而拍摄的红外线图像与通过第2摄像装置而拍摄的可见光图像分别进行对象物候选区域的提取。将从红外线图像提取的第1对象物候选区域中的第1评价值与从可见光图像提取的第2对象物候选区域中的第2评价值进行加权相加并综合，且根据通过加权相加而得到的综合评价值来判定对象物区域。本发明中，根据从环境温度及摄像区域发出的红外线能量中的至少一个而确定加权相加的权重。通过如此，即便在红外线图像中产生难以适当地实施对象检测的状况的情况下，也能够正确地检测对象物。
附图说明
图1是表示本发明的第1实施方式所涉及的摄像***的框图。
图2是表示与环境温度相应的权重设定的一例的曲线图。
图3中，图3(a)是表示可见光图像的一例的图，图3(b)是表示红外线图像的一例的图。
图4是表示曝光校正后的可见光图像的图。
图5中，图5(a)是表示可见光图像的另一例的图，图5(b)是表示红外线图像的另一例的图。
图6是表示摄像***的工作步骤的流程图。
图7是表示本发明的第2实施方式所涉及的摄像***的框图。
图8中，图8(a)是表示可见光图像的一例的图，图8(b)是表示红外线图像的一例的图。
图9是表示曝光校正后的可见光图像的图。
图10是表示本发明的第3实施方式所涉及的摄像***的框图。
图11是表示本发明的第4实施方式所涉及的摄像***的框图。
图12是表示本发明的第5实施方式所涉及的摄像***的框图。
图13是表示本发明的第6实施方式所涉及的摄像***的框图。
图14是表示红外线图像的一例的图。
具体实施方式
以下，参考附图，对本发明的实施方式进行详细说明。图1是表示本发明的第1实施方式所涉及的摄像***的框图。摄像***100具备红外线摄像装置11、可见光摄像装置12、对象检测装置20及图像处理装置40。对象检测装置20具有图像输入部21及图像输入部22、对象物候选区域提取机构23及对象物候选区域提取机构24、分数综合机构25、权重确定机构26及对象物区域判定机构27。图像处理装置40具有曝光校正机构41。
对象检测装置20及图像处理装置40例如构成为具有处理器的计算机装置，通过处理器按照程序进行工作，而实现各部的功能。对象检测装置20及图像处理装置40可以具有DSP(数字信号处理器，Digital Signal Processor)等LSI(大规模集成，Large ScaleIntegration)，也可以具有FPGA(现场可编程门阵列，Field-Programmable Gate Array)等PLD(可编程逻辑设备，Programmable Logic Device)。另外，无需将对象检测装置20与图像处理装置40分离为独立的装置，可以在1个装置中构成发挥对象检测装置20的功能的部分与发挥图像处理装置40的功能的部分。
红外线摄像装置11是第1摄像装置，拍摄红外线。红外线摄像装置11典型地具有：成像光学***，包括1个以上的透镜；及红外线摄像元件(红外线传感器)，拍摄通过成像光学***形成的光学像而转换成电信号。红外线传感器例如检测波长0.83μm至1000μm的范围的红外线。红外线传感器尤其优选检测波长6μm至1000μm的范围的远红外线。在红外线传感器中，能够使用微型热辐射计或SOI(绝缘体上硅结构，Silicon on Insulator)二极管型等热型的红外线传感器。
可见光摄像装置12是第2摄像装置，拍摄可见光线。可见光摄像装置12典型地具有：成像光学***，包括1个以上的透镜；及可见光摄像元件(可见光传感器)，拍摄通过成像光学***形成的光学像而转换成电信号。可见光传感器例如检测波长约380nm至约750nm的范围的可见光线。可见光传感器可以在近红外线的波长区域的至少一部分具有灵敏度。红外线摄像装置11与可见光摄像装置12拍摄大致相同的摄像区域。
图像输入部21输入通过红外线摄像装置11而拍摄的红外线图像。对象物候选区域提取机构(第1对象物候选区域提取部)23从红外线图像提取推测为对象物存在的第1对象物候选区域。第1对象物候选区域提取机构23可以对1个红外线图像提取多个第1对象物候选区域。第1对象物候选区域提取机构23例如具有级联连接的多个弱辨别器。在第1对象物候选区域提取机构23中，弱辨别器组例如通过使用Adaboost等增强(Boosting)的集体学习而构建。
第1对象物候选区域提取机构23例如通过从红外线图像提取特征量并计算相对于已提取的特征量的基准特征量的适合度，而提取第1对象物候选区域。作为特征量，能够例示亮度分布等的亮度特征量、各种小波特征量、Haar-like特征量、Edgelet特征量、EOH(边缘方向直方图，Edge of Orientation Histogram)特征量、及HOG(方向梯度直方图，Histograms of Oriented Gradients)特征量等。
图像输入部22输入通过可见光摄像装置12而拍摄的可见光图像。对象物候选区域提取机构(第2对象物候选区域提取部)24从可见光图像提取推测为对象物存在的第2对象物候选区域。除了特征量的提取源的图像从红外线图像成为可见光图像这方面，第2对象物候选区域提取机构24中的第2对象物候选区域的提取可以与第1对象物候选区域提取机构23中的第1对象物候选区域的提取相同。在第1对象物候选区域提取机构23中从红外线图像提取的特征量的种类可以与在第2对象物候选区域提取机构24中从可见光图像提取的特征量的种类相同。或者，从图像提取的特征量的种类可以在第1对象物候选区域提取机构23与第2对象物候选区域提取机构24之间不同。
对用于第1对象物候选区域提取机构23及第2对象物候选区域提取机构24中的对象物候选区域的提取的算法没有特别限定。第1对象物候选区域提取机构23及第2对象物候选区域提取机构24例如可以通过图案匹配和神经网络、尤其通过其一种即深度学习等提取对象物候选区域。
本实施方式中，主要考虑人物作为检测的对象物。第1对象物候选区域提取机构23按已提取的每个第1对象物候选区域而输出表示对象物确定度的程度的第1评价值。第2对象物候选区域提取机构24按已提取的每个第2对象物候选区域而输出表示对象物确定度的程度的第2评价值。例如，第1评价值越高，在红外线图像中的提取为第1对象物候选区域的部分中，检测的对象物即人物存在的概率越高。并且，第2评价值越高，在可见光图像中的提取为第2对象物候选区域的部分中人物存在的概率越高。
分数综合机构(分数综合部)25将第1对象物候选区域提取机构23输出的第1评价值与第2对象物候选区域提取机构24输出的第2评价值进行加权相加并计算综合评价值。权重确定机构(权重确定部)26根据测量环境温度的温度传感器13的测量结果，确定相对于基于分数综合机构25的加权相加中的相对于第1评价值的第1权重及相对于第2评价值的第2权重。优选第1权重与第2权重的其合计值被标准化成1。关于权重的确定的详细内容将后述。在此，第1权重及第2权重中的一个也可能会是0。即，作为加权相加的结果，也可能会是仅第1评价值包含于综合评价值的情况，也可能会是仅第2评价值包含于综合评价值的情况。
对象物区域判定机构(对象物区域判定部)27根据通过分数综合机构25而计算出的综合评价值，判定对象物存在的区域。对象物区域判定机构27例如将综合评价值为评价值的阈值以上的对象物候选区域判定为对象物存在的区域(对象物区域)。曝光校正机构(曝光校正部)41对通过可见光摄像装置12而拍摄的可见光图像实施曝光校正处理。更详细而言，曝光校正机构41根据可见光图像中的对象物区域内的像素信号值而确定曝光校正量，并以该曝光校正量实施可见光图像的曝光校正。
曝光校正例如包括根据可见光图像中的对象物区域内的像素信号值的直方图而调整可见光图像的明度的处理。曝光校正机构41例如可以通过与一般的图像的逆光校正的方法相同的方法实施可见光图像的曝光校正，使对象物区域中的直方图的宽度比校正前增大。曝光校正机构41可以仅对对象物区域的局部进行曝光校正，也可以对整个图像进行曝光校正。在存在多个对象物的情况下，曝光校正机构41可以对各个对象物区域进行曝光校正。或者，多个对象物区域中的任一区域例如根据面积最大的区域中的像素信号值而确定曝光校正量，且可以以该曝光校正量来对整个图像进行曝光校正。
基于曝光校正机构41的曝光校正后的图像输出为摄像***100的输出图像。输出图像例如存储于硬盘装置等未图示的辅助存储装置。辅助存储装置可以设置于与摄像***100不同的部位，辅助存储装置也可以从摄像***100经由互联网等网络而接收可见光图像并进行存储。辅助存储装置除校正后的可见光图像之外，还可以存储校正前的可见光图像。并且，不仅存储可见光图像，还可以存储红外线图像。
以下，对权重确定机构26中的权重的确定进行说明。在红外线图像中，即便在对象物(人物)的背景中存在某些物体时，若存在其背景的物体释放的红外线能量与人物释放的红外线能量的差，则也能够从红外线图像提取对象物候选区域。但是，在红外线图像中背景的物体释放的红外线能量与人物释放的红外线能量中没有差的状况下，变得无法在红外线图像中区分人物与背景的物体，而无法提取对象物候选区域，或者被提取的对象物候选区域的评价值(第1评价值)变低。
本实施方式中，鉴于根据环境温度而物体释放的红外线能量发生变化的情况，在温度处于特定的范围的情况下，考虑降低相对于第1评价值的权重(第1权重)。在将温度设为T[K]的情况下，物体释放的红外线能量(I(T))根据斯蒂芬-玻尔兹曼的公式，将σ设为斯蒂芬-玻尔兹曼常数(5.67×10-8[W·m-2·K-4])，并能够由下述式来计算。
I＝σ×T4 (1)
由式(1)计算的红外线能量是遍及总波长区域的能量的总量。按理说，优选计算所希望的波长区域，例如波长8μm至14μm的波长区域中的能量，并进行比较，但在此为了简化说明，将由式(1)计算出的能量假设成所希望的波长区域中的能量而进行说明。
被释放的能量除了物体温度以外，依赖于各物体所具有的辐射率。例如，若由式(1)计算的红外线能量从完全黑体(辐射率ε＝1)释放，则从辐射率ε为0.98的相同温度的物体(例如人类的皮肤)释放的红外线能量成为由式(1)计算出的红外线能量乘以0.98的值。将综合35℃至45℃的温度范围的各自物体的释放红外线能量记载于下述表1中。
[表1]
人类的体温大致为36℃至37℃，假设皮肤温度因发汗、发热、和/或，雨等而在35℃至40℃的范围发生变化。该情况下，人体的释放红外线能量成为0.0503W/cm2至0.0536W/cm2左右。若参考表1，在物体温度35℃至45℃的范围内，存在释放红外线能量包含于人物的放射能量的范围即0.0503W/cm2至0.0536W/cm2的范围的物体。在物体的释放红外线能量接近人物的释放红外线能量的情况下，在红外线摄像装置11中检测的红外线检测信号的信号强度(红外线图像中的像素值)变得接近，存在在红外线图像中人物与其他物体同化的可能性。在假设物体温度等于气温的情况下，在气温35℃至45℃的温度范围内，存在红外线图像中人物与其他物体同化的可能性，因此认为红外线图像中的对象物候选区域的提取的可靠性低。
因此，本实施方式中，在温度处于认为红外线图像中的对象物候选区域的提取的可靠性低的温度范围的情况下，将相对于第1评价值的权重设定成低的值，例如设定成0。并且，在该温度范围的周边，也将权重相对较低地设定。通过进行这种权重设定，在红外线图像中成为人物与背景的物体容易同化的状况的情况下，也能够抑制使用红外线图像的对象物候选区域的结果对最终的人物区域的判定赋予的影响。
例如，在将环境温度设为T，将T1设为比平均人体温度低的温度，将T2设为比平均人体温度高的温度的情况下，环境温度T处于T1以上且T2以下的温度范围的情况(T1≤T≤T2)下，权重确定机构26将相对于第1评价值的第1权重设为小于相对于第2评价值的第2权重。T1例如是35℃，T2例如是45℃。在环境温度比T1低的某一温度，例如在比T1低5℃的温度以上且比T1低的温度范围(T1-5℃≤T＜T1)内，随着环境温度从T1变低，权重确定机构26可以使第1权重从环境温度为T1时的权重逐渐增加。并且，在环境温度比T2高，并且比T2高的某一温度，例如比T高5℃的温度以下的温度范围(T2＜T≤T2+5℃)内，随着环境温度从T2变高，权重确定机构26可以使第1权重从环境温度为T2时的权重逐渐增加。
图2中示出与环境温度相应的权重设定的一例。图2中示出的曲线图表示环境温度和相对于第1评价值的第1权重α的关系。相对于第1评价值的第1权重α取0以上且1以下的值。相对于第2评价值的第2权重设为(1-α)。由下述式计算综合评价值。
综合评价值＝α×第1评价值+(1-α)×第2评价值
在采用图2中示出的权重设定的情况下，在温度传感器13测量出的温度包含于35℃以上且45℃以下的温度范围的情况下，权重确定机构26将相对于第1评价值的第1权重α设为0。该温度范围内，通过将第1权重设为0，综合评价值变得与第2评价值相等。在环境温度为30℃以下的情况以及环境温度为50℃以上的情况下，权重确定机构26将相对于第1评价值的第1权重α设为1。该情况下，综合评价值变得与第1评价值相等。在比30℃高且比35℃低的温度范围以及比45℃高且比50℃低的温度范围内，根据环境温度的变化，使相对于第1评价值的第1权重α发生变化。
另外，图2中，在35℃以上且45℃以下的温度范围内将第1权重α设为0，但在该温度范围，第1权重α相对于第2权重(1-α)而相对较低即可，并不限定于将第1权重设定成0。并且，在30℃以下的温度范围以及50℃以上的温度范围，将第1权重α设为1，但在该温度范围，第1权重α相对于第2权重(1-α)而相对较高即可，并不限定于将第1权重设定成1。在30℃以下的温度范围和/或50℃以上的温度范围，可以将第1权重α设定成比0.5大且比1小的任意的值。
图3(a)表示可见光图像的一例，图3(b)表示红外线图像的一例。在任一图像中均拍摄有人物60与树木70这2个被摄体。图3(a)中示出的可见光图像中，拍摄时的曝光时间稍微短，人物60被拍摄得略黑。作为第2对象物候选区域提取机构24对这种可见光图像实施了对象物候选区域(人物候选区域)的提取的结果，假设相对于人物60存在的区域而得到了第2评价值(分数)“80”，且相对于树木70存在的区域而得到了第2评价值“50”。例如，在将评价值的阈值设为“50”，将评价值为阈值以上的区域提取为人物候选区域的情况下，若可见光图像单独进行人物候选区域的提取，则人物60存在的区域和树木70存在的区域这两者被提取为人物候选区域。
第1对象物候选区域提取机构23对图3(b)中示出的红外线图像实施人物候选区域的提取。作为人物候选区域的提取的结果，第1对象物候选区域提取机构23相对于人物60存在的区域而得到第1评价值“90”。关于树木70，释放红外线能量相对于人物60的释放红外线能量低，而与人物60不同未从背景明确地显现出来，因此第1评价值低，例如成为评价值“0”。该情况下，若红外线图像单独进行人物候选区域的提取，则人物60存在的区域被提取为人物候选区域。
分数综合机构25将上述所得到的第1评价值与第2评价值进行加权相加。若相对于第1评价值的第1权重及相对于第2评价值的第2权重设为0.5，则关于人物60存在的区域，分数综合机构25计算的综合评价值(综合分数)成为90×0.5+80×0.5＝85。另一方面，关于树木70存在的区域，分数综合机构25计算的综合评价值成为0×0.5+50×0.5＝25。若在对象物区域判定机构27中根据综合评价值判定人物区域，则人物60存在的区域中综合评价值为“85”，超过阈值“50”，因此该区域被判定为人物区域。关于树木70存在的区域，综合评价值比阈值低，因此未被判定为人物区域。通过使用红外线图像，能够避免将可见光图像中在形状上容易误认为人物的树木70误判定为人物区域。
图4表示曝光校正后的可见光图像。曝光校正机构41进行曝光校正，以便在对象物区域判定机构27中判定为对象物区域(人物区域)的区域成为适当曝光。通过进行曝光校正，在图3(a)中略发黑的人物60的像素值的直方图分布扩展至亮度值高的区域。由此，如图4所示，变得能够观察无法在图3(a)中明确辨别的人物60的眼和口等。在对整个图像进行曝光校正的情况下，有时位于人物60存在的区域以外的被摄体，例如树木70从适当曝光偏离而发白，但在图像中具有关心的被摄体是被提取的对象物(人物)，因此不会成为大的问题。
图5(a)表示可见光图像的另一例，图5(b)表示红外线图像的另一例。在图5(a)中示出的可见光图像以及图5(b)中示出的红外线图像中，人物60、树木70及房屋80作为被摄体而被拍摄。从人物60的摄像装置侧观察时，房屋80存在于后方，人物60与房屋80在空间上重叠拍摄。在从可见光图像提取人物候选区域的情况下，人物60与房屋80重叠，但通过颜色信息能够分离人物60与房屋80，并能够将人物60存在的区域提取为人物候选区域。
另一方面，如图5(b)所示，在气温高且房屋80释放的红外线能量和人物60释放的红外线能量没有差的情况下，人物60在红外线图像中与房屋80同化。该情况下，即便从红外线图像提取人物候选区域，也无法得到评价值高的区域。若为气温低且房屋80不带热的状况，则认为在红外线图像中人物60不会与位于其背景的房屋80同化，通过人物候选区域的提取，人物60存在的区域能够被提取为人物候选区域。
本实施方式中，如图5(b)所示，根据温度而确定相对于第1评价值的第1权重，在温度传感器13测量出的温度包含在人物60容易与背景的房屋80同化的温度范围的情况下，将第1权重例如设定成0。该情况下，仅根据对可见光图像实施的人物候选区域的提取结果而判定人物区域，因此即便在红外线图像中难以适当地提取人物候选区域的状况下，也能够将人物60存在的区域判定为人物区域。
接着，对工作步骤进行说明。图6是表示摄像***100的工作步骤的流程图。红外线摄像装置11拍摄红外线图像，可见光摄像装置12拍摄可见光图像(步骤S1)。第1对象物候选区域提取机构23经由图像输入部21而获取红外线图像，并从红外线图像提取对象物候选区域(步骤S2)。并且，第2对象物候选区域提取机构24经由图像输入部22而获取可见光图像，并从可见光图像提取对象物候选区域。
分数综合机构25由第1对象物候选区域提取机构23与第2对象物候选区域提取机构24中的至少一个判断是否提取了对象物候选区域(步骤S3)。在从红外线图像与可见光图像中的任一图像均未提取到对象物候选区域的情况下，返回步骤S1，拍摄接下来的红外线图像及可见光图像。
在由红外线图像与可见光图像中的至少一个判断为提取对象物候选区域的情况下，分数综合机构25将第1对象物候选区域提取机构23输出的第1评价值与第2对象物候选区域提取机构24输出的第2评价值进行加权相加，并计算综合评价值(步骤S4)。步骤S4中，分数综合机构25以温度传感器13通过权重确定机构26测量出的温度而确定的权重，将第1评价值与第2评价值进行加权相加。在存在多个已提取的对象物候选区域的情况下，关于各自的对象物候选区域，将第1评价值与第2评价值进行加权相加。
对象物区域判定机构27根据由步骤S4计算出的综合评价值，判定对象物区域(步骤S5)。步骤S5中，对象物区域判定机构27例如对综合评价值进行阈值处理，而判定已提取的对象物候选区域是否为对象物区域。对象物区域判定机构27向曝光校正机构41通知判定为对象物区域的区域的坐标位置等。在红外线图像与可见光图像在摄像区域中产生偏差的情况下，在也考虑该偏差的基础上，向曝光校正机构41通知可见光图像中的对象物区域的坐标位置等。
曝光校正机构41对步骤S1中拍摄的可见光图像实施曝光校正处理(步骤S6)。步骤S6中，曝光校正机构41获取可见光图像中的判定为对象物区域的区域内的像素的像素值。曝光校正机构41制作已获取的像素值的直方图等，并根据该直方图进行色调曲线的调整和直方图平滑化等，从而实施可见光图像的灰度校正。进行曝光校正的可见光图像输出为摄像***100的输出图像(步骤S7)。
本实施方式中，在红外线图像与可见光图像中，分别进行对象物候选区域的提取。将从红外线图像提取的对象物候选区域的评价值(第1评价值)与从可见光图像提取的对象物候选区域的评价值(第2评价值)进行加权相加并计算综合评价值，且根据综合评价值而判定对象物区域。本实施方式中，尤其根据环境温度而确定加权相加的权重。在环境温度高且变得难以进行对象物和位于其背景的物体的区分的状况下，通过将相对于第1评价值的权重设为0，或者将权重设小，能够进行重视可见光图像中的对象物候选区域提取的结果的对象物区域的判定。如此，通过适当地设定相对于第1评价值的权重和相对于第2评价值的权重，能够实现与两个图像的特性相应的对象物区域的判定。本实施方式中，能够利用红外线图像与可见光图像的特征，而在各种状况中稳定地判定人物区域。尤其，在红外线图像中产生难以适当地实施对象物的检测的状况的情况下，也能够正确地判定对象物区域。
即便欲通过摄像***100将特定的对象物，例如将人物设为主要的被摄体而进行拍摄的情况下，存在由于逆光等因素而导致向其他被摄体对准曝光，且无法以所希望的曝光拍摄人物的情况。尤其，在光量差大的场景中，有时在可见光相机的特性上，人物会产生发白或发黑。为了与此对应，提出有利用逆光校正和脸部检测的曝光校正等多种方法。但是，逆光校正并不限于人物，对发黑的区域的曝光进行校正。并且，脸部检测的检测精度根据姿势和角度而发生变化，因此对稳定地判定人物区域存在不安。本实施方式中，通过根据状况而组合利用红外线图像的信息与可见光图像的信息，能够稳定地判定人物区域。通过能够稳定地判定人物区域，能够与该区域匹配而进行适当的曝光校正，并能够大大提高以监控摄像机等特定的对象物的拍摄为目的的设备的可用性。
接着，对本发明的第2实施方式进行说明。图7是表示本发明的第2实施方式所涉及的摄像***的框图。在对象检测装置20a内具有逆光判定机构28的方面，本实施方式的摄像***100a与图1中示出的第1实施方式所涉及的摄像***100不同。其他结构可以与第1实施方式中说明的内容相同。
逆光判定机构(逆光判定部)28判定可见光图像中有无逆光状态。逆光判定机构28例如根据可见光图像的亮度直方图，通过判定亮度值是否偏于接近黑的部分而判定有无逆光状态。权重确定机构26根据逆光判定机构28中的判定结果，调整相对于第1评价值的第1权重及相对于第2评价值的第2权重中的至少一个。在此，调整权重是指，对根据环境温度而确定的权重进行增减。例如在根据环境温度而确定的权重上对基于逆光判定的结果的调整量进行加减运算。或者，可以通过根据温度而确定的权重乘以基于逆光判定的结果的系数而调整权重。
图8(a)表示可见光图像的一例，图8(b)表示红外线图像的一例。在背景中存在太阳等，且在可见光图像中产生逆光状态的情况下，如图8(a)所示，人物60及树木70的区域有时发黑。该情况下，与未产生逆光状态的情况相比，变得难以从可见光图像提取对象物候选区域(人物候选区域)。另一方面，红外线图像中，即便产生逆光状态且人物60被明确地图像化，对人物候选区域的提取也没有妨碍。因此，与未产生逆光状态的情况相比，在产生逆光状态的情况下，优选重视红外线图像中的人物候选区域的结果而进行对象物的判定。
在由逆光判定机构28判定为逆光状态的情况下，优选权重确定机构26使相对于第2评价值的第2权重相对地减少。例如按照图2中示出的曲线图，权重确定机构26使相对于第1评价值的第1权重比并根据环境温度而确定的权重增加。代替于此或者除此之外，权重确定机构26可以使相对于第2评价值的第2权重比根据环境温度而确定的权重减少。
图9表示曝光校正后的可见光图像。曝光校正机构41进行曝光校正，以便在对象物区域判定机构27中判定为对象物区域(人物区域)的区域适当曝光。通过进行曝光校正，在图8(a)中发黑的人物60以适当曝光描绘。
本实施方式中，逆光判定机构28判定可见光图像中有无逆光状态。在产生逆光状态的情况下，通过使相对于第2评价值的第2权重相对地减少，能够提高综合评价值中的第1评价值的比重，并能够稳定地进行对象物的判定。其他效果与第1实施方式相同。
接着，对本发明的第3实施方式进行说明。图10是表示本发明的第3实施方式所涉及的摄像***的框图。在对象检测装置20b内具有场景识别机构29的方面，本实施方式所涉及的摄像***100b与图1中示出的第1实施方式所涉及的摄像***100不同。其他结构可以与第1实施方式相同。
场景识别机构29(场景识别部)根据拍摄的可见光图像而识别拍摄场景。拍摄场景包括风景、海、雪及山中的至少一个。作为场景识别机构29中的场景分析方法，能够使用例如在日本特开2005-310123号中记载的方法，或者在日本特开2005-122720号中记载的方法。本实施方式中，权重确定机构26根据基于场景识别机构29的场景识别的结果而调整第1权重及第2权重中的至少一个。
例如，在通过可见光摄像装置12而拍摄的可见光图像的场景被判定为风景或山等场景的情况下，通过场景识别机构29，可预料在可见光图像内作为被摄体而拍摄有山和树木等。若参考表1，则即便是树的红外线辐射率比皮肤低且是与皮肤相同程度的温度，在从树释放的红外线能量与从皮肤释放的红外线能量中也存在差。因此，认为即便在人物的背景中存在树木，在红外线图像中人物与背景也不会同化。
并且，在拍摄场景为风景、海及山的情况下，认为天空等成为背景的情况多。从天空到达的红外线能量低，因此认为即便在人物的背景中存在天空，在红外线图像中人物与背景也不会同化。并且，即便在气温高的情况下，海(海水)及雪的温度低，因此认为即便在通过场景识别机构29而识别的场景为海或雪的情况下，在红外线图像中人物也不会与背景同化。
在由场景识别机构29识别拍摄场景为风景、海、雪或山的情况下，权重确定机构26使相对于第1评价值的第1权重比根据环境温度而确定的权重增加。代替于此或除此之外，权重确定机构26可以使相对于第2评价值的第2权重比根据环境温度而确定的权重减少。
本实施方式中，场景识别机构29识别基于可见光摄像装置12的拍摄场景，权重确定机构26根据场景识别的结果而调整权重。在特定的拍摄场景中，有时在红外线图像中对象物与背景同化的可能性低。在识别为这种拍摄场景时，权重确定机构26使相对于第1评价值的第1权重相对增加。通过如此，能够提高综合评价值中的第1评价值的比重，并能够利用红外线图像的信息而稳定地进行对象物的判定。其他效果与第1实施方式相同。
接着，对本发明的第4实施方式进行说明。图11是表示本发明的第4实施方式所涉及的摄像***的框图。在对象检测装置20c内具有低温区域判定机构30的方面，本实施方式的摄像***100c与图1中示出的第1实施方式所涉及的摄像***100不同。其他结构可以与第1实施方式相同。
低温区域判定机构(低温区域判定部)30判定存在多少包含于红外线图像中的低温的区域。低温区域判定机构30求出红外线图像中的温度为第1阈值(温度阈值)以下的区域的面积，并判定该面积是否为第2阈值(面积阈值)以上。第1阈值例如根据人体平均温度而确定。权重确定机构26根据低温区域判定机构30中的判定结果，调整相对于第1评价值的第1权重及相对于第2评价值的第2权重中的至少一个。
在红外线图像中较多包含低温的区域的情况下，例如认为天空或海成为背景。在该情况下，在红外线图像中人物与背景同化的可能性低，因此优选增加相对于第1评价值的第1权重。在由低温区域判定机构30判定为较多包含低温的区域的情况下，权重确定机构26使第1权重比根据环境温度而确定的第1权重增加。代替于此或除此之外，权重确定机构26使第2权重比根据环境温度而确定的权重减少。
本实施方式中，低温区域判定机构30判定在红外线图像中是否较多包含低温的区域。在较多包含低温的区域的情况下，认为在红外线图像中对象物与背景同化的可能性低。在这种情况下，权重确定机构26使相对于第1评价值的第1权重相对地增加。通过如此，能够提高综合评价值中的第1评价值的比重，并能够利用红外线图像的信息而稳定地进行对象物的判定。其他效果与第1实施方式相同。
接着，对本发明的第5实施方式进行说明。图12是表示本发明的第5实施方式所涉及的摄像***的框图。在对象检测装置20d内具有屏蔽物判定机构31的方面，本实施方式的摄像***100d与图1中示出的第1实施方式所涉及的摄像***100不同。其他结构可以与第1实施方式相同。
屏蔽物判定机构(屏蔽物判定部)31根据可见光图像及红外线图像，判定在红外线摄像装置11与被摄体之间是否存在屏蔽红外线的屏蔽物。屏蔽物判定机构31对可见光图像中的被摄体的轮廓形状和红外线图像中的被摄体的轮廓形状进行比较，在两者不一致的情况下，判定为屏蔽物存在。屏蔽物判定机构31可以使用对摄像区域进行立体拍摄的相机，并根据该相机而拍摄的图像来判定有无玻璃等屏蔽物。
权重确定机构26根据屏蔽物判定机构31中的判定结果，调整相对于第1评价值的第1权重及相对于第2评价值的第2权重中的至少一个。在由屏蔽物判定机构判定为在红外线摄像装置11与被摄体之间存在屏蔽物的情况下，权重确定机构26使相对于第1评价值的第1权重比根据环境温度而确定的第1权重减少。代替于此或除此之外，权重确定机构26可以使第2权重比根据环境温度而确定的权重增加。
本实施方式中，屏蔽物判定机构31判定在红外线摄像装置11与被摄体之间是否存在屏蔽红外线的屏蔽物。在屏蔽物存在的情况下，对象物照进可见光图像，但也存在对象物没有照进红外线图像的可能性。在这种情况下，通过使相对于第1评价值的第1权重相对地减少，能够提高综合评价值中的第1评价值的比重。该情况下，能够利用可见光图像的信息而稳定地进行对象物的判定。其他效果与第1实施方式相同。
接着，对本发明的第6实施方式进行说明。图13是表示本发明的第6实施方式所涉及的摄像***的框图。在代替图1中示出的图像处理装置40具有控制装置50的方面，本实施方式的摄像***100e与第1实施方式不同。控制装置50接受基于对象检测装置20e的对象物区域的判定结果，并控制可见光摄像装置12。可见光摄像装置12具有曝光时间控制部(未图示)。其他结构可以与第1实施方式相同。
控制装置50具有曝光校正机构51。曝光校正机构(曝光校正部)51实施可见光图像的曝光校正处理。本实施方式中，曝光校正包括调整可见光摄像装置中的曝光时间的处理。曝光校正机构51根据可见光图像中的对象物区域内的像素信号值，确定基于可见光摄像装置12的接下来的拍摄的曝光时间。例如若在可见光图像中人物区域趋于发白，则曝光校正机构51使可见光摄像装置12中的曝光时间比上次拍摄时的曝光时间短。如此，根据变更拍摄条件，也能够得到以适当的曝光拍摄了对象物的可见光图像。
另外，上述各实施方式中，对权重确定机构26根据环境温度而确定权重的例子进行了说明，但并不限定于此。代替环境温度，权重确定机构26可以根据被摄体的释放红外线能量而确定权重。被摄体的释放红外线能量与被摄体存在的部分的红外线检测信号的信号强度及红外线图像的像素值对应。在将从对象物释放的红外线能量设为Et，将E1及E2设为正的实数的情况下，在从红外线图像提取的第1对象物候选区域不包含具有与Et-E1以上Et+E2以下的范围的红外线能量对应的像素值的像素的情况下，权重确定机构26可以将相对于第1评价值的第1权重设为小于相对于第2评价值的第2权重。例如，在考虑人物作为对象物的情况下，若人物释放的红外线能量为0.0509W/cm2，则在具有0.0509-E1以上且0.0509+E2以下的红外线能量的像素不存在的情况下，可以降低第1权重。E1与E2可以是相等的值，也可以是不同的值。
使用具体例对上述内容进行说明。图14表示红外线图像的一例。该红外线图像中，人物60作为被摄体而被拍摄。人物60将释放红外线能量比较低的，换言之将比较低温的天空85的区域与海90的区域作为背景。在将从人物60释放的红外线能量像素值换算成(红外线检测信号的信号强度)的情况下，其值设为200。同样地，将从天空85释放的红外线能量换算成像素值的值设为10，将从海90释放的红外线能量换算成像素值的值设为50。换句话说，在红外线图像中，与人物60对应的局部区域的像素值设为200，与天空85对应的局部区域的像素值设为10，与海90对应的局部区域的像素值设为50。
作为从红外线图像提取的第1对象物候选区域(人物候选区域)，考虑图14中示出的区域R1和区域R2这2个区域。区域R1包括人物60存在的区域。区域R1内的像素值的最大值设为200，像素值的最小值设为10，区域内的像素值的平均值设为100。另一方面，区域R2是不包括人物60的区域。区域R2内的像素值的最大值设为50，像素值的最小值设为10，区域内的像素值的平均值设为25。
权重确定机构26调查在从红外线图像提取的第1人物候选区域中是否存在具有例如包含于以与从人物60释放的红外线能量对应的像素值200为中心的±50的范围的像素值的像素。在这种像素不存在或这种像素的数量比与像素数量有关的阈值少的情况下，权重确定机构26将相对于从红外线图像提取的第1人物候选区域的第1权重设为小于相对于从可见光图像提取的第2人物候选区域的第2权重。换句话说，在第1人物候选区域不包含具有150(200-50)以上且250(200+50)以下的像素值的像素或这种像素的数量少的情况下，权重确定机构26将第1权重设为小于第2权重。在第1人物候选区域包含与像素数有关的阈值以上的具有150(200-50)以上且250(200+50)以下的像素值的像素的情况下，权重确定机构26可以将第1权重设为大于第2权重。
图14中，区域R1的像素值的最大值为200，在区域R1中，较多包含像素值为150以上且250以下的像素。该情况下，关于区域R1，权重确定机构26将第1权重设为大于第2权重。另一方面，区域R2中，像素值最大为50，在区域R2中不包含具有150以上且250以下的像素值的像素。该情况下，关于区域R2，权重确定机构26将第1权重设为小于第2权重。关于包括认为红外线能量的释放源为人物的部分的区域，通过这种权重的控制，能够将综合评价值中的第1评价值的权重设为较大，并能够进行重视红外线图像中的人物候选区域提取的结果的人物区域的判定。相反，关于不包含认为红外线能量的释放源为人物的部分的区域，能够将综合评价值中的第1评价值的权重设为较小，并能够进行重视可见光图像中的对象物候选区域提取的结果的对象物区域的判定。
在此，在权重确定机构26中，对第1人物候选区域中像素值的平均值和与从人物释放的红外线能量对应的像素值进行比较，在平均值不包含于以像素值200为中心的±50的范围的情况下，考虑将第1权重设为小于第2权重。该情况下，如图14中示出的区域R1那样，虽然是人物60存在的区域，但低温的背景区域的像素值低，因此在区域内的像素值的平均值变小的情况下，第1权重被设定得比第2权重小。相对于此，如上所述，在第1人物候选区域中不包含像素值为150以上且250以下的像素的情况下，在将第1权重设为小于第2权重的情况下，能够抑制相对于包含人物的可能性高的第1人物候选区域，第1权重被设定得较小。
上述内容中，权重确定机构26根据环境温度或被摄体的释放红外线能量而确定了权重，但并不限定于此，权重确定机构26可以根据环境温度与被摄体的释放红外线能量这两者而确定权重。该情况下，环境温度处于T1以上且T2以下的温度范围，并且从红外线图像提取的第1对象物候选区域不包含具有与Et-E1以上且Et+E2以下的范围的红外线能量对应的像素值的像素的情况下，权重确定机构26将相对于第1评价值的第1权重设为小于相对于第2评价值的第2权重即可。
代替根据红外能量而确定权重的方式，根据红外线能量，可以从第1对象物候选区域提取机构23中的处理对象排除红外线图像中的特定的区域。具体而言，第1对象物候选区域提取机构23可以从红外线图像排除具有0.0509-E1以下或0.0509+E2以上的红外线能量的区域的基础上，提取对象物候选区域(人物候选区域)。该情况下，通过适当地设定E1的值，能够避免将在形状上容易误认为人物的树木误作为人物候选区域而提取。
上述各实施方式能够任意地组合。例如，能够任意地组合第2实施方式至第5实施方式的各实施方式中的结构。即，对象检测装置可以具有选自逆光判定机构28、场景识别机构29、低温区域判定机构30及屏蔽物判定机构31的组中的2个以上的机构。并且，在从第2实施方式组合第5实施方式与第6实施方式，且第2实施方式至第5实施方式的各实施方式的结构中，可以通过控制可见光摄像装置12的曝光时间来进行可见光图像的曝光校正。在对象检测装置具有选自逆光判定机构28、场景识别机构29、低温区域判定机构30及屏蔽物判定机构31的组中的2个以上的机构的情况下，也可以与第6实施方式同样，通过控制可见光摄像装置12的曝光时间而进行可见光图像的曝光校正。
以上，根据其优选的实施方式对本发明进行了说明，但本发明的摄像***以及对象检测装置及其工作方法并不仅限定于上述实施方式，在从上述实施方式的结构实施各种修正及变更的内容也包含于本发明的范围中。
符号说明
100-摄像***，11-红外线摄像装置(第1摄像装置)，12-可见光摄像装置(第2摄像装置)，20-对象检测装置，21、22-图像输入部，23、24-对象物候选区域提取机构，25-分数综合机构，26-权重确定机构，27-对象物区域判定机构，28-逆光判定机构，29-场景识别机构，30-低温区域判定机构，31-屏蔽物判定机构，40-图像处理装置，41-曝光校正机构，50-控制装置，51-曝光校正机构，60-人物，70-树木，80-房屋，85-天空，90-海。

Claims (17)

1.一种摄像***，其具备：
第1摄像装置，拍摄红外线；
第2摄像装置，拍摄可见光线；
第1对象物候选区域提取部，从通过所述第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；
第2对象物候选区域提取部，从通过所述第2摄像装置而拍摄的可见光图像提取推测为所述对象物存在的第2对象物候选区域；
分数综合部，将表示所述第1对象物候选区域中的所述对象物确定度的程度的第1评价值与表示所述第2对象物候选区域中的所述对象物确定度的程度的第2评价值进行加权相加并计算综合评价值；
权重确定部，根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于所述加权相加中的第1评价值的第1权重及相对于第2评价值的第2权重；
对象物区域判定部，根据所述综合评价值而判定所述对象物存在的对象物区域；及
曝光校正部，根据所述可见光图像中的所述对象物区域内的像素信号值而确定曝光校正量，并实施所述可见光图像的曝光校正。
2.根据权利要求1所述的摄像***，其中，
所述对象物是人物，所述权重确定部根据所述环境温度而确定所述权重，在将T1设为比平均人体温度低的温度，将T2设为比平均人体温度高的温度的情况下，所述环境温度处于T1以上且T2以下的温度范围的情况下，所述权重确定部将所述第1权重设为小于所述第2权重。
3.根据权利要求2所述的摄像***，其中，
在所述环境温度为比T1低5℃的温度以上并且为T1以下的温度范围内，随着所述环境温度从T1变低，所述权重确定部使所述第1权重从所述环境温度为T1时的所述第1权重逐渐增加，和/或，在所述环境温度为T2以上且为比T2高5℃的温度以下的温度范围内，随着所述环境温度从T2变高，所述权重确定部使所述第1权重从所述环境温度为T2时的所述第1权重逐渐增加。
4.根据权利要求1所述的摄像***，其中，
所述权重确定部根据所述红外线能量而确定所述权重，在将从所述对象物释放的红外线能量设为Et，将E1及E2设为正的实数的情况下，所述红外线图像中的所述第1对象物候选区域不包含具有与Et-E1以上且Et+E2以下的红外线能量对应的像素值的像素的情况下，所述权重确定部将所述第1权重设为小于所述第2权重。
5.根据权利要求1所述的摄像***，其中，
所述对象物是人物，所述权重确定部根据所述环境温度与所述红外线能量而确定所述权重，在将T1设为比平均人体温度低的温度，将T2设为比平均人体温度高的温度，将从所述对象物释放的红外线能量设为Et，将E1及E2设为正的实数的情况下，所述环境温度处于T1以上且T2以下的温度范围，并且在所述红外线图像中的所述第1对象物候选区域不包含具有与Et-E1以上且Et+E2以下的红外线能量对应的像素值的像素的情况下，所述权重确定部将所述第1权重设为小于所述第2权重。
6.根据权利要求1至5中任一项所述的摄像***，其还具有：
逆光判定部，根据所述可见光图像的亮度直方图，判定有无所述可见光图像中的逆光状态，
所述权重确定部根据所述逆光判定部中的判定结果而调整所述第1权重及所述第2权重中的至少一个。
7.根据权利要求6所述的摄像***，其中，
在由所述逆光判定部判定为逆光状态的情况下，所述权重确定部使所述第1权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第1权重增加，和/或，所述权重确定部使所述第2权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第2权重减少。
8.根据权利要求1至7中任一项所述的摄像***，其还具有：
场景识别部，根据所述可见光图像而识别包括风景、海、雪及山中的至少一个的拍摄场景，
所述权重确定部根据所述场景识别部中的场景识别的结果而调整所述第1权重及所述第2权重中的至少一个。
9.根据权利要求8所述的摄像***，其中，
在由所述场景识别部识别为拍摄场景是风景、海、雪或山的情况下，所述权重确定部使所述第1权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第1权重增加，和/或，所述权重确定部使所述第2权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第2权重减少。
10.根据权利要求1至9中任一项所述的摄像***，其还具有：
低温区域判定部，判定在所述红外线图像中温度为第1阈值以下的区域的面积是否包含第2阈值以上，
所述权重确定部根据所述低温区域判定部中的判定结果而调整所述第1权重及所述第2权重中的至少一个。
11.根据权利要求10所述的摄像***，其中，
在由所述低温区域判定部判定为在所述红外线图像中温度为第1阈值以下的区域的面积包含第2阈值以上的情况下，所述权重确定部使所述第1权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第1权重增加，和/或，所述权重确定部使所述第2权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第2权重减少。
12.根据权利要求1至9中任一项所述的摄像***，其还具有：
屏蔽物判定部，根据所述可见光图像及所述红外线图像，判定在所述第1摄像装置与所述对象物之间是否存在屏蔽所述红外线的屏蔽物，
所述权重确定部根据所述屏蔽物判定部中的判定结果而调整所述第1权重及所述第2权重中的至少一个。
13.根据权利要求12所述的摄像***，其中，
在由所述屏蔽物判定部判定为在所述第1摄像装置与所述对象物之间存在屏蔽物的情况下，所述权重确定部使所述第1权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第1权重减少，和/或，所述权重确定部使所述第2权重比根据所述环境温度及所述红外线能量中的至少一个而确定的第2权重增加。
14.根据权利要求1至13中任一项所述的摄像***，其中，
所述曝光校正包括如下处理：根据所述可见光图像中的所述对象物区域内的像素信号值的直方图而调整所述可见光图像的明度。
15.根据权利要求1至13中任一项所述的摄像***，其中，
所述曝光校正包括如下处理：调整所述第2摄像装置中的曝光时间。
16.一种对象检测装置，其具备：
第1对象物候选区域提取部，从通过拍摄红外线的第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；
第2对象物候选区域提取部，从通过拍摄可见光线的第2摄像装置而拍摄的可见光图像提取推测为所述对象物存在的第2对象物候选区域；
分数综合部，将表示所述第1对象物候选区域中的所述对象物确定度的程度的第1评价值与表示所述第2对象物候选区域中的所述对象物确定度的程度的第2评价值进行加权相加并计算综合评价值；
权重确定部，根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于所述加权相加中的第1评价值的第1权重及相对于第2评价值的第2权重；及
对象物区域判定部，根据所述综合评价值而判定所述对象物存在的对象物区域。
17.一种对象检测装置的工作方法，
所述工作方法具有如下步骤：
从通过拍摄红外线的第1摄像装置而拍摄的红外线图像提取推测为对象物存在的第1对象物候选区域；
从通过拍摄可见光线的第2摄像装置而拍摄的可见光图像提取推测为所述对象物存在的第2对象物候选区域；
根据周围的环境温度及从摄像区域发出的红外线能量中的至少一个，确定相对于表示所述第1对象物候选区域中的所述对象物确定度的程度的第1评价值的权重及相对于表示所述第2对象物候选区域中的所述对象物确定度的程度的第2评价值的权重；
使用所述第1权重及所述第2权重，将所述第1评价值与第2评价值进行加权相加并计算综合评价值；及
根据所述综合评价值而判定所述对象物存在的对象物区域。
CN201680062723.1A 2015-10-27 2016-10-13 摄像***以及对象检测装置及其工作方法 Active CN108353128B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-210534 2015-10-27
JP2015210534 2015-10-27
PCT/JP2016/080368 WO2017073344A1 (ja) 2015-10-27 2016-10-13 撮像システム、並びにオブジェクト検出装置及びその作動方法

Publications (2)

Publication Number Publication Date
CN108353128A true CN108353128A (zh) 2018-07-31
CN108353128B CN108353128B (zh) 2020-05-19

Family

ID=58630282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062723.1A Active CN108353128B (zh) 2015-10-27 2016-10-13 摄像***以及对象检测装置及其工作方法

Country Status (4)

Country Link
US (1) US10580161B2 (zh)
JP (1) JP6356925B2 (zh)
CN (1) CN108353128B (zh)
WO (1) WO2017073344A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160067A (zh) * 2018-11-07 2020-05-15 北京奇虎科技有限公司 危险识别方法、装置、电子设备及计算机可读存储介质
CN111399731A (zh) * 2020-03-12 2020-07-10 深圳市腾讯计算机***有限公司 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质
CN111936927A (zh) * 2018-10-31 2020-11-13 深圳市大疆创新科技有限公司 控制装置、摄像装置、***、控制方法以及程序
CN112418251A (zh) * 2020-12-10 2021-02-26 研祥智能科技股份有限公司 红外体温检测方法及***
CN113256872A (zh) * 2020-12-31 2021-08-13 深圳怡化电脑股份有限公司 图像传感器参数配置方法、装置、计算机设备及存储介质
WO2021227350A1 (zh) * 2020-05-15 2021-11-18 北京百度网讯科技有限公司 测量温度的方法、装置、电子设备和计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830200B2 (en) * 2017-05-18 2023-11-28 Advanced Micro Devices, Inc. Ambient temperature reporting through infrared facial recognition
CN109508588A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 监控方法、装置、***、电子设备及计算机可读存储介质
CN107443387A (zh) * 2017-09-29 2017-12-08 上海与德通讯技术有限公司 智能识别方法及机器人
JP7104523B2 (ja) * 2018-02-05 2022-07-21 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP7351139B2 (ja) * 2018-08-24 2023-09-27 株式会社豊田中央研究所 センシング装置
KR101939765B1 (ko) * 2018-08-30 2019-01-17 엘아이지넥스원 주식회사 적외선 영상 획득 장치 및 그 방법
JP7152223B2 (ja) * 2018-08-31 2022-10-12 株式会社キーエンス 画像測定装置
KR102146837B1 (ko) * 2018-09-05 2020-08-21 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
WO2020190952A1 (en) 2019-03-18 2020-09-24 The Climate Corporation System and method for automatic control of exposure time in an imaging instrument
US12039746B2 (en) 2019-03-28 2024-07-16 Sony Group Corporation Information processing device and information processing method for extracting information from an image
JP7427398B2 (ja) * 2019-09-19 2024-02-05 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
US11553247B2 (en) * 2020-08-20 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition
KR20240038294A (ko) * 2022-09-16 2024-03-25 올리브유니온(주) 보청기를 이용한 사용자 또는 객체의 위치 추정에 따라 마이크 지향성을 자동 설정하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
CN101609589A (zh) * 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测***
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合***和方法
WO2015056358A1 (ja) * 2013-10-17 2015-04-23 ヒトミル株式会社 瞳孔径測定支援装置及び瞳孔径測定支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2850890B2 (ja) * 1996-12-02 1999-01-27 日本電気株式会社 複合センサ型車両感知器
JP2002032754A (ja) * 2000-07-17 2002-01-31 Mitsubishi Electric Corp 認識処理装置、認識処理方法およびセンシングシステム
JP3968425B2 (ja) 2002-11-13 2007-08-29 独立行政法人産業技術総合研究所 光導波路への光導入方法及びそれを用いた光導波路分光測定装置
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
JP5501727B2 (ja) * 2009-10-16 2014-05-28 三菱重工業株式会社 移動体追尾装置およびその方法
JP5991224B2 (ja) 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
CN101609589A (zh) * 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测***
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合***和方法
WO2015056358A1 (ja) * 2013-10-17 2015-04-23 ヒトミル株式会社 瞳孔径測定支援装置及び瞳孔径測定支援システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936927A (zh) * 2018-10-31 2020-11-13 深圳市大疆创新科技有限公司 控制装置、摄像装置、***、控制方法以及程序
CN111160067A (zh) * 2018-11-07 2020-05-15 北京奇虎科技有限公司 危险识别方法、装置、电子设备及计算机可读存储介质
CN111399731A (zh) * 2020-03-12 2020-07-10 深圳市腾讯计算机***有限公司 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质
CN111399731B (zh) * 2020-03-12 2022-02-25 深圳市腾讯计算机***有限公司 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质
WO2021227350A1 (zh) * 2020-05-15 2021-11-18 北京百度网讯科技有限公司 测量温度的方法、装置、电子设备和计算机可读存储介质
CN112418251A (zh) * 2020-12-10 2021-02-26 研祥智能科技股份有限公司 红外体温检测方法及***
CN112418251B (zh) * 2020-12-10 2024-02-13 研祥智慧物联科技有限公司 红外体温检测方法及***
CN113256872A (zh) * 2020-12-31 2021-08-13 深圳怡化电脑股份有限公司 图像传感器参数配置方法、装置、计算机设备及存储介质
CN113256872B (zh) * 2020-12-31 2024-02-02 深圳怡化电脑股份有限公司 图像传感器参数配置方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP6356925B2 (ja) 2018-07-11
US20180240251A1 (en) 2018-08-23
US10580161B2 (en) 2020-03-03
WO2017073344A1 (ja) 2017-05-04
JPWO2017073344A1 (ja) 2018-08-02
CN108353128B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108353128A (zh) 摄像***以及对象检测装置及其工作方法
CN109522819B (zh) 一种基于深度学习的火灾图像识别方法
Vipin Image processing based forest fire detection
US7184890B2 (en) Cloud shadow detection: VNIR-SWIR
CN110520768B (zh) 高光谱光场成像方法和***
JP2014053855A (ja) 画像処理装置および方法、並びにプログラム
Lin et al. High dynamic range imaging for stereoscopic scene representation
Chang et al. Multispectral visible and infrared imaging for face recognition
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6321289B2 (ja) 室外及び室内での虹彩イメージ取得装置及び方法
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법
CN113762161B (zh) 一种障碍物智能监测方法及***
CN108012135A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN114511781A (zh) 无人机搭载多光谱相机对伪装人员识别的方法、装置及介质
US10614559B2 (en) Method for decamouflaging an object
CN112434589B (zh) 一种针对类分子谱目标的天基高灵敏度差分探测方法
Antson et al. Detection and tracking of search and rescue personnel under hindered light conditions using hyperspectral imaging
Mario et al. Cromaticity improvement in images with poor lighting using the multiscale-Retinex MSR algorithm
Chen et al. A new algorithm for calculating the daytime visibility based on the color digital camera
Mirijovsky et al. Evaluation of color settings in aerial images with the use of eye-Tracking user study
Devitt et al. Urban vehicle cycle criteria for identification
Ramli et al. Aggressive Movement Feature Detection Using Color-Based Approach On Thermal Images
Long Accounting for circumsolar and horizon cloud determination errors in sky image inferral of sky cover
Dijk et al. Performance evaluation of image enhancement techniques on a digital image-intensifier
Bai Research on Auto-exposure Algorithm Based on Image Big Data and Information Entropy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant