CN103931172A - 使用热成像智能监控大街的***及方法 - Google Patents

使用热成像智能监控大街的***及方法 Download PDF

Info

Publication number
CN103931172A
CN103931172A CN201280038849.7A CN201280038849A CN103931172A CN 103931172 A CN103931172 A CN 103931172A CN 201280038849 A CN201280038849 A CN 201280038849A CN 103931172 A CN103931172 A CN 103931172A
Authority
CN
China
Prior art keywords
street
infrared imaging
imaging module
processor
heat picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280038849.7A
Other languages
English (en)
Inventor
J·D·弗兰克
A·C·泰希
N·霍根斯特恩
T·R·赫尔特
K·斯特兰德玛
P·布朗热
B·夏普
E·A·库尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Publication of CN103931172A publication Critical patent/CN103931172A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Toxicology (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

公开了使用热成像智能监控大街的***和方法的各种技术。例如,智能监控***可以包括红外成像模块、处理器、通信模块、存储器及可调部件。该***可以被固定、安装或者以其它方式布置在沿着大街的各种位置处,并捕获包括至少部分大街的场景的热图像。可以对热图像执行各种热图像处理和分析操作,以产生包括表示场景中的检测目标及与目标相关的至少一个属性的综合监控信息。基于该监控信息可以采取各种措施,例如产生各种警告及智能调整大街上的各种可调部件的操作。该监控信息可以在***的多个实例中共享,并可以被传输到外部设备。

Description

使用热成像智能监控大街的***及方法
相关申请的交叉引用
该申请要求了2012年6月7日提交的题为“SYSTEMS ANDMETHODS FOR INTELLIGENT MONITORING OF THOROUGHFARESUSING THERMAL IMAGING”的美国临时专利申请No.61/656,841的权益,在此通过引用将它的全部并入本文。
该申请还要求了2011年10月7日提交的题为“NON-UNIFORMITYCORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国临时专利申请No.61/545,056的权益,在此通过引用将它的全部并入本文。
该申请还要求了2011年6月10日提交的题为“INFRARED CAMERAPACKAGING SYSTES AND METHODS”的美国临时专利申请No.61/495,873的权益,在此通过引用将它的全部并入本文。
该申请还要求了2011年6月10日提交的题为“INFRARED CAMERASYSTE ARCHITECTURES”的美国临时专利申请No.61/495,879的权益,在此通过引用将它的全部并入本文。
该申请还要求了2011年6月10日提交的题为“INFRARED CAMERACALIBRATION TECHNIQUES”的美国临时专利申请No.61/495,888的权益,在此通过引用将它的全部并入本文
技术领域
本发明的一个或多个实施例一般涉及热成像设备,且尤其涉及例如使用热图像智能监控大街。
背景技术
已有用于主动交通管理(例如,可变限速、匝道交通调节和交通灯控制)的交通监控***的一些方案和一些有限的实现方式。这些***通常利用嵌入路面的金属探测器(例如,感应线圈)或压力传感器,它们被校准用于大的目标以粗略地检测通过的车辆。同样,现在的交通监控***通常被限制于仅提供涉及公路、主干道和其它主要道路上的车辆交通流量和/或密度(例如,估算的交通流率)的某些一般说明。当将可见光摄像机提议为可选的传感器(例如,在主要道路上的已知隘路上使用闭路式TV摄像机)时,已知使用这种传感器的监控***的检测精度严重受到包括照明条件(例如,夜间、阴暗或强光)和天气条件(例如,雾、雨或雪)的各种环境因素的影响。
还存在一种通过用诸如发光二极管(LED)光源的更高能效的光源替换气体放电灯(例如,金属卤化灯、气相灯)来增加路灯能效的举动。LED光源和其它被提议的替换光源具有对输出调整(例如,打开、关闭或调整光照强度至任意期望水平)响应时间短的附加优势,由于该光源能够仅在需要时打开并在不需要时关闭或者变暗,因此其可以允许进一步地节省能源以及减少光污染。为了检测什么时候需要照明,传统的解决方案依赖于低分辨率运动检测器或接近传感器。然而,这些传感器用于简单地感测物体是否接近,且不能提供使得能够进行用于在各种类型的大街(例如,街道、人行道、隧道通道、道路和车辆、行人和/骑自行车的人可以在上面通行的其它大街)上发现的光源和其它可调设备的智能、稳健和精确控制的高级分析所必需的详细信息。由于传统的交通监控***仅适合一般车辆交通流量监控和/或在晚上光源变暗时不能很好的工作,所以它们在这一点上还不够。
发明内容
公开了使用热成像智能监控大街(例如,街道、道路、隧道的通道、人行道)的***和方法的各种技术。例如,智能监控***可以包括红外成像模块、处理器、通信模块、存储器、可见光摄像机、全球定位***(GPS)接收器、电子罗盘和可调部件。该***可以被安装、安置或者以其它方式布置在沿着大街的各个位置,并且该***可以捕获包括至少一部分大街的场景的热图像。可以对热图像执行各种热图像处理和分析操作,以产生包括指示场景中的检测目标和与目标相关的至少一个属性的综合监控信息。基于该监控信息,可以采取各种措施,如产生各种警报和智能调整大街上的各种可调设备的操作。该监控信息可以在该***的多种情况下共享,并且可以与外部设备通信。
在一个实施例中,智能监控***包括沿大街位置布置的红外成像模块,该红外成像模块包含配置为捕获包含至少部分大街场景的热图像的焦平面阵列(FPA);和与红外成像模块通信的处理器,该处理器被配置为分析热图像,以确定一个或多个目标的存在和与场景中的目标相关的至少一个属性,并且基于存在和属性的确定产生监控信息。
在另一实施例中,智能监控的方法包括在红外成像模块的焦平面阵列(FPA)捕获包含至少部分大街场景的热图像,其中沿大街位置布置红外成像模块使得部分大街在红外成像模块的视野(FOV)范围内;分析热图像以确定一个或多个目标的存在和与该场景中的目标相关的至少一个属性;和基于存在和属性的确定产生监控信息。
该发明的范围由权利要求限定,通过引用将其并入该部分。通过考虑下面详述的一个或多个实施例,将为本领域技术人员提供对本发明实施例的更完整的理解以及对其附加优势的认识。将参考首先简略描述的附图的附加页。
附图说明
图1示出了根据本公开的实施例的配置为在主机设备中实现的红外成像模块。
图2示出了根据本公开的实施例的装配好的红外成像模块。
图3示出了根据本公开的实施例的并置在插槽上方的红外成像模块的分解图。
图4示出了根据本公开的实施例的包括红外传感器阵列的红外传感器组件的方框图。
图5示出了根据本公开的实施例的确定NUC项的各种操作的流程图。
图6示出了根据本公开的实施例的邻近像素之间的差异。
图7示出了根据本公开的实施例的平场校正技术。
图8示出了根据本公开的实施例的图5的各种图像处理技术和在图像处理流水线中应用的其它操作。
图9示出了根据本公开的实施例的时域降噪过程。
图10示出了根据本公开的实施例的图6的图像处理流水线的几个过程的特定实现方式的细节。
图11示出了根据本公开的实施例的邻近像素中的空间关连的FPN。
图12示出了根据本公开的实施例的使用热成像的智能监控***的方框图。
图13示出了根据本公开的实施例的安装在路灯中的智能监控***。
图14示出了根据本公开的实施例的安装有联网智能监控***的大街。
图15示出了根据本公开的实施例的实现为能便利地合并到路灯中的电子模块的智能监控***。
图16示出了根据本公开的实施例的使用热成像的智能监控大街的方法。
通过参考下面的详细描述,将最好地理解该发明的实施例和它们的优势。应该意识到,类似的附图标记用于识别在一个或者多个附图中示出的类似的元件。
具体实施方式
图1示出了根据本公开的实施例的配置为在主机设备102中实现的红外成像模块100(例如,红外摄像机或红外成像设备)。对于一个或多个实施例,可以用小形状因素(small form factor)和根据晶圆级封装技术或者其它封装技术实现红外成像模块100。
在一个实施例中,可以配置红外成像模块100以在例如移动电话、平板电脑设备、笔记本电脑设备、个人数字助理、可见光摄像机、音乐播放器或者任何其它适合的移动设备的小型便携式主机设备102中实现。在这一点上,红外成像模块100可以用于将红外成像特征提供给主机设备102。例如,可以配置红外成像模块100以捕获、处理和/或以其它方式管理红外图像并将这些红外图像提供给主机设备102,用于以任何所希望的方式使用(例如,用于进一步处理,以存储在存储器中、显示、由运行在主机设备102上的各种应用软件使用、输出到其它设备或其它用途)。
在各种实施例中,可以配置红外成像模块100以在低电压电平下和宽温度范围上操作。例如,在一个实施例中,红外成像模块100可以使用约2.4伏、2.5伏、2.8伏或者更低电压的电源操作,以及在约-20摄氏度到约+60摄氏度的温度范围内操作(例如,在约80摄氏度的环境温度范围内提供适当的动态范围和性能)。在一个实施例中,通过在低电压电平操作红外成像模块100,与其它类型的红外成像设备相比,红外成像模块100可以受到减少的自加热的量。结果,可以在用于补偿这种自加热的措施减少的情况下操作红外成像模块100。
如图1所示,主机设备102可以包括插槽104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其它部件198。插槽104可以被配置成接收红外成像模块100,如箭头101所标识的。在这一点上,图2示出了根据本公开的实施例的装配在插槽104中的红外成像模块100。
运动传感器194可以由可用于检测主机设备102的运动的一个或多个加速度计、陀螺仪或其它适当设备来实现。运动传感器194可以由处理模块160或处理器195监控并向处理模块160或处理器195提供信息以检测运动。在各种实施例中,运动传感器194可以实现为主机设备102(如图1所示)、红外成像模块100或者固定到或以其它方式与主机设备102连接的其它器件的一部分。
处理器195可以实现为任何适当的处理设备(例如,逻辑设备、微控制器、处理器、专用集成电路(ASIC)或其它设备),其可以被主机设备102使用以执行诸如存储器196中提供的软件指令的适当指令。显示器197可以用于显示捕获的和/或处理的红外图像和/或其它图像、数据和信息。可以使用其它部件198来实现各种应用(例如,时钟、温度传感器、可见光摄像机或其它部件)所需的主机设备102的任意特征。另外,可以提供机器可读介质193以存储载入存储器196中的并由处理器195执行的非暂时性指令。
在各种实施例中,可以为了大规模生产而实现红外成像模块100和插槽104,以促使高容量的应用,诸如在移动电话或其它设备(例如,需要小形状因素)中实现。在一个实施例中,当将红外成像模块100安装在插槽104中时,红外成像模块100和插槽104的组合的总尺寸可以为约8.5mm*8.5mm*5.9mm。
图3示出了根据本公开的实施例的并置在插槽104上方的红外成像模块100的分解图。红外成像模块100可以包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基底150和处理模块160。
透镜镜筒110可以至少部分包围经由透镜镜筒110中的光圈112在图3中部分可见的光学元件180(例如,透镜)。透镜镜筒110可以包括基本圆柱状的延伸部114,该延伸部可以用于使透镜镜筒110与外壳120中的光圈122连接。
举例来说,可以将红外传感器组件128实施为具有安装在基底140上的帽盖130(例如,盖)。红外传感器组件128可以包括以阵列或者其它形式实现在基底140上并且由帽盖130覆盖的多个红外传感器132(例如,红外探测器)。例如,在一个实施例中,可以将红外传感器组件128实现为焦平面阵列(FPA)。例如,可以将上述焦平面阵列实现为真空封装组件(例如,由帽盖130和基底140密封的)。在一个实施例中,可以将红外传感器组件128实现为晶圆级封装(例如,红外传感器组件128可以由晶圆上提供的一组真空封装组件切单而成)。在一个实施例中,红外传感器组件128可以实现为使用约2.4伏、2.5伏、2.8伏或者类似电压的电源来操作。
红外传感器132可以配置成检测来自目标场景的红外辐射(例如,红外能量),举例来说,目标场景包括在具体实现方式中所需的中波红外波段(MWIR)、长波红外波段(LWIR)和/或其它热成像波段。在一个实施例中,可以根据晶圆级封装技术提供红外传感器组件128。
例如,红外传感器132可以实现为以任一所需的阵列图案排列的以提供多个像素的微辐射探测仪或其它类型的热成像红外传感器。在一个实施例中,可以将红外传感器132实现为像素间距为17μm的氧化钒(VOx)探测器。在各种实施例中,可以使用约32*32的红外传感器132、约64*64的红外传感器132、约80*64的红外传感器132的阵列或者其它阵列尺寸。
基底140可以包括各种电路,例如,在一个实施例中包含尺寸小于约5.5mm*5.5mm的读出集成电路(ROIC)。当如图5A、5B和5C所示装配红外成像模块100时,基底140还可以包括可用于接触安置在外壳120内表面上的互补连接点的接合垫142。在一个实施例中,可以用低压差稳压器(LDO)实现ROIC,以执行电压调节从而减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比(PSRR)。而且,通过实现具有ROIC的LDO(例如,在晶圆级封装内),可以消耗较小的管芯面积并且需要较少的分立管芯(或者芯片)。
图4示出了根据本公开的实施例的包含红外传感器132的阵列的红外传感器组件128的方框图。在该示例性的实施例中,提供红外传感器132作为ROIC402的部分单元阵列。ROIC402包括偏压产生定时控制电路404、列放大器405、列复用器406、排复用器408和输出放大器410。可以通过输出放大器410将由红外传感器132捕获的图像帧(例如,热图像)提供给处理模块160、处理器195和/或任何其它适当的部件以执行在此描述的各种处理技术。虽然图4中示出的是8*8阵列,但在其它实施例中可以使用任何所需的阵列配置。在2000年2月22日发布的美国专利No.6,028,309中可以找到ROIC和红外传感器(例如,微辐射探测仪电路)的进一步描述,在此通过引用将它的全部并入本文。
红外传感器组件128可以捕获图像(例如,图像帧)并以各种速率提供来自其ROIC的这些图像。处理模块160可以用于对捕获的红外图像进行适当的处理并且可以根据任何适当的结构实施。在一个实施例中,可以将处理模块160实现为ASIC。在这一点上,这种ASIC可以配置成以高性能和/或高效率执行图像处理。在另一实施例中,处理模块160可以用通用中央处理器(CPU)来实现,其可以配置为执行适当的软件指令以执行图像处理、与各个图像处理块协调并执行图像处理、协调处理模块160和主机设备102之间的连接、和/或其它操作。在另一实施例中,可以用现场可编程门阵列(FPGA)实现处理模块160。如本领域技术人员将了解的,在其它实施例中,可以用其它类型的处理和/或逻辑电路实现处理模块160。
在这些和其它实施例中,在适当时还可以用其它部件来实现处理模块160,所述其它部件例如:易失性存储器、非易失性存储器和/或一个或多个接口(例如,红外探测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动小组(JTAG)接口(例如,IEEE1149.1标准测试访问端口和边界扫描结构),和/或其它接口)。
在一些实施例中,红外成像模块100可以进一步包括一个或多个执行器199,其可以用于调整由红外传感器组件128捕获的红外图像帧的焦点。例如,执行器199可以用于相对于彼此移动光学元件180、红外传感器132和/或其它部件,以根据在此描述的技术选择性聚焦和散焦红外图像帧。可以根据任一类型的运动感应装置或者机构实现执行器199,并且可以将执行器199安置在红外成像模块100的内部或和外部的任何位置以适合不同的应用。
当装配红外成像模块100时,外壳120可以基本包围住红外传感器组件128、基底150和处理模块160。外壳120可以便于连接红外成像模块100的各个部件。例如,在一个实施例中,外壳120可以提供电连接126以连接进一步描述的各个部件。
当装配红外成像模块100时,电连接126(例如,导电路径、迹线或其它类型的连接)可以与接合垫142电连接。在各种实施例中,可以将电连接126嵌入在外壳120中,提供在外壳120的内表面上,和/或以其它方式由外壳120提供。如图3所示,电连接126可以端接从外壳120的底表面伸出的连接124。当装配红外成像模块100时(例如,在各种实施例中外壳120可以搁在电路板170的顶上),连接124可以与电路板170连接。处理模块160可以通过适当的电连接与电路板170电连接。结果,通过例如由接合垫142、外壳120内表面上的补充连接、外壳12的电连接126、连接124和电路板170提供的导电路径,可以使红外传感器组件128与处理模块160电连接。有利地,在不需要在红外传感器组件128和处理模块160之间提供引线接合的情况下可以实现这种布置。
在各种实施例中,外壳120中的电连接126可以由任何的所需材料(例如,铜或任何其它适当的导电材料)制成。在一个实施例中,电连接126可以帮助红外传成像模块100散热。
在其它实施例中可以使用其它连接。例如,在一个实施例中,传感器组件128可以经由陶瓷板连接到处理模块160,该陶瓷板用引线接合连接至传感器组件128并且用球栅格阵列(BGA)连接至处理模块160。在另一实施例中,传感器组件128可以直接安装在刚柔性板上并且与引线接合电连接,并且处理模块160可以用引线接合或BGA安装并且连接到该刚柔性板。
出于举例,而不是限制的目的,提供了在此阐述的红外成像模块100和主机设备102的各种实现方式。在这一点上,在此描述的各种技术中的任一种都可以应用于执行红外/热成像的任何红外摄像机***、红外成像仪或其它设备。
可以将红外传感器组件128的衬底140安装在基底150上。在各种实施例中,基底150(例如,底座)可以由例如用金属注射成型(MIM)形成的并提供有黑氧化物或镍涂层磨光的铜制成。在各种实施例中,基底150可以由任意所需的材料制成,例如。根据给定应用的需要由锌、铝或镁制成,并且可以由任意所需的可应用工艺形成,例如,根据特定应用的需要通过铝铸造、MIM或锌的快速铸造形成。在各种实施例中,基底150可以被实现为提供结构性支撑、各种电路路径、热的散热性质和适当的其它特征。在一个实施例中,基底150可以是至少部分使用陶瓷材料实现的多层结构。
在各种实施例中,电路板170可以接纳外壳120,因此可以物理支撑红外成像模块100的各种部件。在各种实施例中,可以将电路板170实现为印刷电路板(例如,FR4电路板或其它类型的电路板)、刚性或者柔性互连(例如,带或其它类型的互连)、柔性电路衬底、柔性塑料衬底或其它适合的结构。在各种实施例中,可以利用针对电路板170描述的各种特征和属性实现基底150,反之亦然。
插槽104可以包括配置成接收红外成像模块100的腔106(例如,如图2的装配图所示)。红外成像模块100和/或插槽104可以包括适合的片、臂、针、紧固件或者其它适合的接合元件,其可以用于利用摩擦、压力、粘合和/或任何其它适合的方式将红外成像模块100固定到插槽104之上或之内。插槽104可以包括当将红外成像模块100***到插槽104的腔106中时可以接合外壳120的表面109的接合元件107。在其它实施例中可以使用其它类型的接合元件。
红外成像模块100可以经由适当的电连接(例如,触点、针、引线或其它的适当连接)与插槽104电连接。例如,插槽104可以包括电连接108,其可以接触红外成像模块100的相应电连接(例如,电路板170的侧表面或底表面上的互连垫、触点或其它电连接,基底150上的接合垫142或其它电连接,或其它连接)。电连接108可以由任何所需材料(例如,铜或任何其它适当的导电材料)制成。在一个实施例中,当将红外成像模块100***到插槽104的腔106中时,可以机械偏压电连接108以压紧红外成像模块100的电连接。在一个实施例中,电连接108可以将红外成像模块100至少部分地固定在插槽104中。在其它实施例中可以使用其它类型的电连接。
插槽104可以通过类似类型的电连接与主机设备102电连接。例如,在一个实施例中,主机设备102可以包括穿过孔径190与电连接108连接的电连接(例如,焊接连接、咬合连接或者其它连接)。在各种实施例中,可以将这些电连接制作在插槽104的侧面和/或底面。
红外成像模块100的各种部件可以用倒装芯片技术实现,该技术可以用于将部件直接安装到电路板上,而没有一般引线接合连接需要的附加空隙。作为实例,可以使用倒装芯片连接来减小红外成像模块100的整体尺寸,以用在紧凑的小形状因素应用中。例如,在一个实施例中,可以利用倒装芯片连接将处理模块160安装到电路板170。例如,可以用这种倒装芯片配置实现红外成像模块100。
在各种实施例中,可以根据2010年7月27日提交的美国专利申请No.12/844,124和2011年3月30日提交的美国临时专利申请No.61/469,651中阐述的各种技术(例如,晶圆级封装技术)实现红外成像模块100和/或相关部件,通过引用将它们的全部并入这里。此外,根据一个或多个实施例,可以根据诸如在2008年12月30日发布的美国专利No.7,470,902、2000年2月22日发布的美国专利No.6,028,309、2004年11月2日发布的美国专利No.6,812,465、2006年4月25日发布的美国专利No.7,034,301、2010年3月16日发布的美国专利No.7,679,048、2008年12月30日发布的美国专利No.7,470,904、2008年9月2日提交的美国专利申请No.12/202,880和2008年9月2日提交的美国专利申请No.12/202,896中阐述的各种技术来实现、校准、测试和/或使用红外成像模块100和/或相关部件,通过引用将它们的全部并入这里。
再次参考图1,在各种实施例中,主机设备102可以包括快门105。在这一点上,当在插槽104中安装红外成像模块100时,可以将快门105选择性定位在插槽104的上方(例如,如箭头103标识的那样)。在这一点上,在不使用时,例如可以使用快门105来保护红外成像模块100。如本领域技术人员将理解的,快门105还可以用作作为红外成像模块100的校准处理(例如,NUC处理或者其它校准处理)的一部分的温度参考。
在各种实施例中,快门105可以由各种材料制成,例如聚合物、玻璃、铝(例如,涂绘或阳极化的)或其它材料。在各种实施例中,快门105可以包括一个或多个涂层以选择性过滤电磁辐射和/或调整快门105的各种光学性质(例如,均匀的黑体涂层或者反光的金涂层)。
在另一实施例中,可以将快门105安装在适当的位置以一直保护红外成像模块100。在这种情况下,快门105或快门105一部分可以由没有充分过滤所希望红外波长的适当的材料(例如,聚合物或者诸如硅、锗、硒化锌或硫卤玻璃的红外透射材料)制成。在另一实施例中,如本领域技术人员所了解的,可以将快门实现为红外成像模块100的一部分(例如,在透镜镜筒内部或者作为透镜镜筒的一部分或红外成像模块100的其它部件)。
可选地,在另一实施例中,不需要提供快门(例如,快门105或其它类型的外部或内部快门),而是可以利用无快门技术执行NUC处理或其它类型的校准。在另一实施例中,可以结合以快门为基础的技术执行利用无快门技术的NUC处理或其它类型的校准。
可以根据2011年6月10提交的美国临时专利申请No.61/495,873、2011年6月10提交的美国临时专利申请No.61/495,879和2011年6月10提交的美国临时专利申请No.61/495,888中阐述的各种技术中的任何一种技术实现红外成像模块100和主机设备102,通过引用将它们的全部并入这里。
在各种实施例中,主机设备102和/或红外成像模块100的部件可以实现为具有通过有线和/或无线网络彼此通信的部件的本地或分布式***。因此,可以通过特定实现方式中希望的本地和/或远程部件执行该公开中确定的各种操作。
图5示出了根据本公开的实施例的确定NUC项的各种操作的流程图。在一些实施例中,可以通过对由红外传感器132捕获的图像帧进行操作的处理模块160或处理器195(两者一般也都称为处理器)来执行图5的操作。
在方框505,红外传感器132开始捕获场景的图像帧。通常,该场景是主机设备102当前所在位置的现实世界环境。在这一点上,可以打开快门105(如果可选地提供)以允许红外成像模块接收来自该场景的红外辐射。红外传感器132可以在图5所示的所有操作期间继续捕获图像帧。在这一点上,连续捕获的图像帧可以用于进一步论述的各种操作。在一个实施例中,捕获的图像帧可以在它们被用于图5所示的操作中之前被时域滤波(例如,根据关于图8在此进一步描述的方框826的操作)和被其它项(例如,关于图8在此进一步描述的工厂增益项812(factory gain term)、工厂偏移项816(factory offset term)、事先确定的NUC项817、列FPN项820和排FPN项824)处理。
在方框510,检测NUC处理发起事件。在一个实施例中,响应主机设备102的物理运动可以发起NUC处理。例如,可以通过可由处理器选定的运动传感器194检测这种运动。在一个实例中,用户可以以特定的方式,例如以“清除”或者“挥击”运动来回有意地晃动主机设备102,来移动主机设备102。在这一点上,用户可以根据预定的速率和方向(速度),例如向上和向下,一侧到另一侧,或者其它方式来移动主机设备102以发起NUC处理。在该实例中,使用这种运动可以允许用户直观地操作主机设备102以模拟“清除”捕获图像帧中的噪声。
在另一实例中,如果运动超出阈值(例如,运动大于通常使用的预期),可以由主机设备102发起NUC处理。设想了主机设备102的任何所需类型的空间平移都可以用于发起该NUC处理。
在又一实例中,如果自在先执行的NUC处理起经过最短时间,可以由主机设备102发起NUC处理。在另外的实例中,如果自在先执行的NUC处理起红外成像模块100经历了最小的温度变化,可以由主机设备102发起NUC处理。在另外的实例中,可以连续地发起和重复NUC处理。
在方框515,在检测NUC处理发起事件之后,确定实际上是否应执行NUC处理。在这一点上,可以基于是否满足一个或多个附加条件选择性发起NUC处理。例如,在一个实施例中,除非自在先执行的NUC处理起经过最短时间,否则将不会执行NUC处理。在另一实施例中,除非自在先执行的NUC处理起红外成像模块100经历了最小的温度变化,否则将不会执行NUC处理。在其它实施例中可以使用其它标准和条件。如果满足适当的标准和条件,则该流程图继续行至方框520。否则,该流程图返回到方框505。
在NUC处理中,可以使用模糊的图像帧来确定NUC项,这些NUC项可以应用于捕获的图像帧来校正FPN。如所述的,在一个实施例中,可以通过积累移动场景的多个图像帧(例如,场景和/或热成像仪处于运动状态时捕获的)得到模糊的图像帧。在另一实施例中,可以通过使热成像仪的光学元件或其它部件散焦得到模糊的图像帧。
因此,在方框520提供了可选方法的选择。如果使用基于运动的方法,则该流程图继续至方框525。如果使用基于散焦的方法,则该流程图继续至方框530。
现在参考基于运动的方法,在方框525中检测运动。例如,在一个实施例中,可以基于由红外传感器132捕获的图像帧检测运动。在这一点上,可以将适当的运动检测方法(例如,图像配准方法、帧间差分计算或其它适当方法)应用于捕获的图像帧以确定是否存在运动(例如,是捕获了静止图像帧还是移动图像帧)。例如,在一个实施例中,可以确定连续图像帧的像素或像素周围的区域变化是否多于用户规定的量(例如,百分数和/或阈值)。如果至少给定百分比的像素已改变了至少用户规定的量,则将足够确定检测运动以继续至方框535。
在另一实施例中,可以在每个像素基础上确定运动,其中仅积累呈现出显著变化的像素以提供模糊的图像帧。例如,可以为每个像素提供计数器,且该计数器用于确保为每个像素积累相同数量的像素值,或者用于基于为每个像素实际积累的像素值的数量求像素值的平均值。可以执行其它类型的基于图像的运动检测,例如执行拉东变换。
在另一实施例中,可以基于由运动传感器194提供的数据检测运动。在一个实施例中,这种运动检测可以包括检测主机设备102是否在空间中沿着相对直的轨迹移动。例如,如果主机设备102沿着相对直的轨迹移动,则可能成像场景中出现的某些物体不会非常模糊(例如,场景中可能与直的轨迹对齐或者基本平行于直的轨迹移动的物体)。因此,在这样的实施例中,可以在呈现的或者未呈现的特定轨迹的主机设备102上调节由运动传感器194检测的运动。
在又一实施例中,可以使用运动检测方法和运动传感器194。因此,使用这些各种实施例中的任一个,当至少部分场景和主机设备102彼此相对运动时(例如,其可以由主机设备102相对于场景移动,至少部分场景相对于主机设备102移动或者两者引起),可以确定是否捕获了每个图像帧。
由于红外传感器132的热时间常数(例如,微辐射探测仪热时间常数)与场景运动相互作用,所以期望为其检测运动的图像帧可呈现一些中等模糊的捕获场景(例如,与该场景相关的模糊的热成像数据)。
在方框535,积累为其检测运动的图像帧。例如,如果为连续的一系列图像帧检测运动,则会积累该一系列图像帧。作为另一实例,如果仅为一些图像帧检测运动,则非移动图像帧在积累时会被略过并且不包括在内。因此,基于检测的运动,可选择积累连续或非连续的图像帧组
在方框540,对积累的图像帧求平均值以提供模糊的图像帧。因为在运动期间捕获了积累的图像帧,所以期望真实的场景信息会在图像帧之间改变,从而导致该场景信息在最终的模糊的图像帧中被进一步模糊(方框545)。
相比之下,FPN(例如,由红外成像模块100的一个或多个部件引起的)在运动期间将在至少短时间内和在至少场景辐射的有限变化时保持不变。结果,在运动期间在紧密接近的时间和空间捕获的图像帧将经受相同的或者至少非常类似的FPN。因此,虽然场景信息可以在连续的图像帧中改变,但是FPN将基本上保持恒定。通过求平均值,在运动期间捕获的多个图像帧将会模糊场景信息,而不会模糊FPN。结果,与场景信息相比,FPN在方框545中提供的模糊图像帧中将保持更清晰地限定。
在一个实施例中,在方框535和540中积累32或更多图像帧并对它们求平均值。然而,在其它实施例中可以使用任何所需数量的图像帧,但在减小帧数量时通常会降低校正精度。
现在参考基于散焦的方法,在方框530,可以执行散焦操作以有意地使由红外传感器132捕获的图像帧散焦。例如,在一个实例中,可以使用一个或多个执行器199来调整、移动或以其它方式平移光学元件180、红外传感器组件128和/或红外成像模块100的其它部件,以使红外传感器132捕获场景的模糊的(例如,未聚焦的)图像帧。还可以考虑其它基于非执行器的技术,例如手动(例如,用户发起的)散焦,用于有意地使红外图像帧散焦。
虽然在图像帧中场景会显得模糊,但是FPN(例如,由红外成像模块100的一个或多个部件引起的)将通过散焦操作保持不受影响。结果,场景的模糊图像帧将被提供成具有在模糊的图像中比场景信息保持明显更清楚地限定的FPN(方框545)。
在以上论述中,已就单一捕获的图像帧描述了基于散焦的方法。在另一实施例中,该基于散焦的方法可以包括在使红外成像模块100已散焦时积累大量的图像帧,并且对散焦的图像帧求平均值以去除时域噪声的影响并在方框545提供模糊的图像帧。
因此,将意识到,通过基于运动的方法或基于散焦的方法都可以在方框545中提供模糊的图像帧。由于通过运动、散焦或者两者都将会使大量的场景信息模糊,因此模糊的图像帧可以被有效地认为是关于场景信息最初捕获的图像帧的低通滤波形式。
在方框550,处理模糊的图像帧以确定更新的排和列FPN项(例如,如果排或列FPN项不是事先确定的,则更新的排和列FPN项可以是方框550的第一迭代中新的排和列FPN项)。如在该公开中使用的,可以依据红外传感器132和/或红外成像模块100的其它部件的朝向可交换地使用术语排和列。
在一个实施例中,方框550包括为模糊的图像帧的每一排确定空间FPN校正项(例如,每一排可以具有其自有的空间FPN校正项),并且还为每列模糊的图像帧的每一列确定空间FPN校正项(例如,每一列可以具有其自有的空间FPN校正项)。这种处理可以用于减小热成像仪中固有的空间和缓慢改变(1/f)的排和列FPN,这种排和列FPN由例如可在图像帧中显示为垂直和水平线条的ROIC402中的放大器的1/f噪声特性所引起。
有利地,通过使用模糊的图像帧确定空间排和列FPN项,将会减小真实成像场景中的垂直和水平目标被误认为是排和列噪声的风险(例如,当FPN保持清晰时,真实场景内容将是模糊的)。
在一个实施例中,可以通过考虑模糊图像帧的邻近像素之间的差异确定排和列FPN项。例如,图6示出了根据本公开的实施例的邻近像素之间的差异。具体地,在图6中,像素610与它的8个最临近的水平近邻相比较:一侧的d0-d3和另一侧的d4-d7。可以平均邻近像素之间的差异以得到示例的像素组的偏移误差的估计值。可以为排或列中的每个像素计算偏移误差,并且平均结果可以用于校正整个排或列。
为了防止真实场景数据被理解为噪声,可以使用上和下阈值(thPix和-thPix)。落在这些阈值之外的像素值(在该实例中为像素d1和d4)不被用于获得偏移误差。另外,排和列FPN校正的最大量可以由这些阈值限制。
在2009年3月2日提交的美国专利申请No.12/396,340中,提出了执行空间排和列FPN校正处理的进一步技术,通过引用将它的全部并入本文。
再次参考图5,存储(方框552)在方框550中确定的更新的排和列FPN项并将其应用于(方框555)在方框545中提供的模糊的图像帧。应用这些项之后,可以减少模糊图像帧中的一些空间排和列FPN。然而,由于这些项一般被应用于排和列,所以附加的FPN可以保持,诸如与像素间漂移或者其它原因相关的空间非关连FPN。也可以保持不与个别排和列直接相关的空间校正的FPN的近邻。因此,如下所述可以执行进一步的处理以确定NUC项。
在方框560,确定模糊图像帧中的本地对比度值(例如,邻近的或小的像素组之间的梯度的边缘或绝对值)。如果模糊的图像帧中的场景信息包括不明显模糊的对比区域(例如,原始场景数据中的高的对比边缘),这种特征可以用方框560中的对比确定处理来确定。
例如,可以计算模糊图像帧中的本地对比度值,或者可以应用任何其它所需类型的边缘检测处理来确定作为本地对比区域一部分的模糊图像中的某些像素。可以将以该方式标记的像素看作是包含解释为FPN的过高空间频率的场景信息(例如,这些区域可以对应于不明显模糊的部分场景)。同样,这些像素可以被排除用在NUC项的进一步确定中。在一个实施例中,这种对比检测处理可以依赖于比与FPN相关的期望的对比度值高的阈值(例如,呈现出比阈值高的对比度值的像素可被认为是场景信息,并且对比度值比阈值小的像素被认为是呈现出FPN)。
在一个实施例中,可以在排和列FPN项应用于模糊图像帧之后,对模糊图像帧执行方框560的对比度确定(例如,如图5所示)。在另一实施例中,在确定行和列FPN项之前(例如,为了防止基于场景的对比度影响这些项的确定),可以在方框550之前执行方框560以确定对比度。
方框560之后,期望模糊图像帧中保留的任何高空间频率内容一般可归于空间非关连的FPN。在这一点上,在方框560之后,由于有意模糊图像帧(例如,通过方框520至545的运动或散焦)、应用排和列FPN项(方框555)和对比度确定(方框560),将基于大量的其它噪声或真实期望场景的信息从模糊图像帧除去或排除。
因此,可以期望在方框560之后,任何保留的高空间频率内容(例如,呈现为对比区域或模糊图像帧的差异)可归于空间非关连的FPN。因此,在方框565中,模糊的图像帧被高通滤波。在一个实施例中,这可以包括应用高通滤波器以从模糊图像帧提取高空间频率内容。在另一实施例中,这可以包括对模糊图像帧应用低通滤波器和获得低通滤波的图像帧与没有滤波的模糊图像帧之间的差异以得到高空间频率内容。根据本公开的各种实施例,高通滤波器可以通过计算传感器信号(例如,像素值)及其邻近的传感器信号之间的平均差来实现。
在方框570中,对高通滤波的模糊图像帧执行平场校正处理,以确定更新的NUC项(例如,如果不事先执行NUC处理,则该更新的NUC项可以方框570的第一迭代中新的NUC项)。
例如,图7示出了根据该公开的实施例的平场校正技术700。在图7中,对于模糊图像帧的每个像素710可以使用其邻近像素712至726的值确定NUC项。对于每个像素710,可以基于各个相邻像素值之间的绝对差确定几个梯度。例如,可以在像素712和714(左到右斜线梯度)、像素716和718(上到下垂直梯度)、像素720和722(右到左斜线梯度)以及像素724和726(左到右水平梯度)之间确定绝对值差。
可以将这些绝对差加起来以给像素710提供总梯度。可以为像素710确定与总梯度成反比的权重值。可以对模糊图像帧的所有像素710执行该处理,直到给每个像素710提供权重值。对于低梯度的区域(例如,模糊的或具有低对比度的区域),该权重值将接近1。反之,对于高梯度的区域,该权重值将会是零或接近于零。将通过高通滤波器估算的NUC项的更新与权重值相乘。
在一个实施例中,通过对NUC项确定操作施加一定量的时间衰减,可以进一步减小将场景信息引入到NUC项的风险。例如,可以选择0和1之间的时间衰减因数λ,使得存储的新NUC项(NUCNEW)是旧NUC项(NUCOLD)和估算的校正NUC项(NUCUPDATE)的加权平均值。在一个实施例中,其可以表示为NUCNEW=λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。
虽然已关于梯度描述了NUC项的确定,但如果合适的话可代替地使用本地对比度值。也可以使用其它的技术,例如,标准偏差计算。可以执行其它类型的平场校正处理,以确定包括例如在2000年2月22日发布的美国专利申请No.6,028,309和2008年5月5日提交的美国专利申请No.12/114,865中确定的各种处理的NUC项,通过引用将它们的全部并入本文。
再次参考图5,方框570可以包括NUC项的附加处理。例如,在一个实施例中,为了保存场景信号均值,可以通过从每个NUC项减去该NUC项均值来使所有NUC项的总和标准化为零。而且在方框570中,为了避免排和列噪声影响NUC项,可以从用于每排和每列的NUC项中减去每排和每列的平均值。结果,在将NUC项应用于捕获的图像之后(例如,在此进一步阐述的方框580中),使用方框550中确定的排和列FPN项的排和列FPN滤波器可能能够在进一步的迭代中更好地过滤出排和列噪声(例如,如图8进一步所示的)。在这一点上,排和列FPN滤波器通常采用更多的数据计算每排和每列的偏移系数(例如,排和列FPN项),并且因此,与基于高通滤波以捕获空间非关连噪声的NUC项相比,可以提供更强大的备选方案用于减小空间关连的FPN。
在方框571-573,可以可选地执行附加的高通滤波和进一步确定更新的NUC项,以用比由排和列FPN项事先移除的更低的空间频率移除空间关连的FPN。在这一点上,红外传感器132或红外成像模块100的其它部件的一些变化会导致不易被建模为排和列噪声的空间关连的FPN噪声。例如,这种空间关连的FPN可以包括传感器封装上或与邻近红外传感器132相比对辐射响应不同的一串红外传感器132上的窗口缺陷。在一个实施例中,这种空间关连的FPN可以用偏差校正来缓和。如果这种空间关连的FPN的数量相当大,则该噪声也能在模糊的图像帧中检测到。由于这种类型的噪声可能会影响邻近的像素,所以具有小核的高通滤波器可以不检测邻近像素的FPN(例如,高通滤波器中使用的所有值可以取自邻近的受影响的像素,并因此会受到相同偏移误差的影响)。例如,如果用小核执行方框565的高通滤波(例如,仅考虑落入受空间关连的FPN影响的邻近像素内的直接相邻的像素),则可能不会检测广泛分布的空间关连的FPN。
例如,图11示出了根据本公开的实施例的邻近像素中的空间关连的FPN。如样本图像帧1100所示,邻近像素1110可以呈现出与个别排和列没有精确相关连的且分布在邻近的几个像素(例如,在该实例中约4*4像素的邻域)上的空间关连的FPN。样本图像帧1100还包括呈现出滤波计算时没有使用的基本一致响应的一组像素1120,和用于估算邻近像素1110的低通值的一组像素1130。在一个实施例中,像素1130可以是能被2除尽的像素的数量,以有助于有效的硬件或者软件计算。
再次参考图5,在方框571-573,可以可选地执行附加的高通滤波和进一步确定更新的NUC项,以去除例如由像素1110呈现出的空间关连的FPN。在方框571,将方框570中确定的更新的NUC项应用于模糊的图像帧。因此,在这时,该模糊的图像帧为空间相联的FPN被初步校正(例如,通过在方框555中应用更新的排和列FPN项),并且还为空间非关连的FPN被初步校正(例如,通过应用在方框571中应用的校正NUC项)。
在方框572,应用具有比方框565中使用的核更大的另外的高通滤波器,并且可以在方框573中确定进一步校正的NUC项。例如,为了检测像素1110中存在的空间关连的FPN,在方框572中应用的高通滤波器可以包括来自足够大的邻近像素的数据,使得可以确定不受影响的像素(例如,像素1120)和受影响的像素(例如,像素1110)之间的差异。例如,可以使用具有大核的低通滤波器(例如,比3*3像素大得多的N*N核),并且可以减去该结果以执行适当的高通滤波。
在一个实施例中,为了计算效率,可以使用稀疏核,使得仅使用N*N邻域内的少量邻近像素。对于任何给定的使用远距离邻近像素的高通滤波操作(例如,大核),存在将真实(可能模糊的)场景信息建模为空间关连的FPN的风险。困此,在一个实施例中,对于在方框573中确定的校正的NUC项,可以将时间衰减因数λ设置得接近1。
在各种实施例中,可以重复(例如,级联)方框571-573以迭代地执行具有增大的核尺寸的高通滤波,来提供进一步更新的NUC项对所希望的邻近尺寸的空间关连的FPN进一步校正。在一个实施例中,可以通过空间关连的FPN是否已被方框571和573事先执行的更新的NUC项真正移除,来确定执行这种迭代的判定。
在方框571和573完成之后,关于是否对捕获的图像帧应用校正的NUC项作出判定(方框574)。例如,如果整个图像帧的NUC项的绝对值的平均数小于最小阈值,或者大于最大阈值,则可以将NUC项认为非真的或者不可能提供有意义的校正。可选地,阈值标准可以应用于个别像素以确定哪些像素接收校正NUC项。在一个实施例中,阈值可以对应于最新计算的NUC项和事先计算的NUC项之间的差。在另一实施例中,阈值可以与事先计算的NUC项无关。可以应用其它测试(例如,空间相关测试)确定是否应当应用NUC项。
如果断定NUC项为非真的或不可能提供有意义的校正,则流程图返回到方框505。否则,存储最新确定的NUC项(方框575)以代替先前的NUC项(例如,由图5事先执行的迭代确定)并将其应用于(方框580)捕获的图像帧。
图8示出了根据本公开的实施例的图5的各种图像处理技术和图像处理流水线800中应用的其它操作。在这一点上,在用于校正由红外成像模块100提供的图像帧的整个迭代图像处理方案的上下文中,流水线800确认了图5的各种操作。在一些实施例中,流水线800可以通过在由红外传感器132捕获的图像帧上操作的处理模块160或处理器165(两者通常也称为处理器)来提供。
可以将由红外传感器132捕获的图像帧提供给集成多重图像帧的帧平均器804以提供具有改良的信噪比的图像帧802。可以通过实现支持高图像捕获速率的红外传感器组件128的红外传感器132、ROIC402和其它部件有效地提供帧平均器804。例如,在一个实施例中,红外传感器组件128可以以240Hz的帧速率(例如,每秒240个图像)捕获红外图像帧。在该实施例中,例如,可以通过以相对低的电压(例如,与移动电话电压兼容的)操作红外传感器组件128和通过使用相对小的阵列的红外传感器132(例如,在一个实例中的64*64阵列的红外传感器),实现这种高帧速率。
在一个实施例中,这种红外图像帧可以由红外传感器组件128以高帧速率(例如,240Hz或其它帧速率)提供给处理模块160。在另一实施例中,红外传感器组件128可以在较长时间期间或多个时间期间内集成,以便以更低的帧速率(例如,30Hz、9Hz或其它帧速率)给处理模块160提供集成的(例如,平均的)红外图像帧。在先前引用于此的美国临时专利申请No.61/495,879中,可以找到有关可用于提供高图像捕获速率的实现的进一步信息。
图像帧802继续穿过流水线800,其中它们通过各种项调节、时域滤波、用于确定各种调节项并且获得补偿。
在方框810和814,将工厂增益项812和工厂偏移项816施加到图像帧802,以分别补偿在制造和测试期间确定的各种红外传感器132和/或红外成像模块100的其它部件之间的增益和偏移差。
在方框580,将NUC项817应用到图像帧802,以为所述的FPN校正。在一个实施例中,如果NUC项817还未被确定(例如,在发起NUC处理之前),则可能不会执行方框580或可以将初始化值用于NUC项817,其导致图像数据不改变(例如,每个像素的偏移将等于零)。
在方框818和822,分别将列FPN项820和排FPN项824应用到图像帧802。根据所述的方框550可以确定列FPN项820和排FPN项824。在一个实施例中,如果列FPN项820和排FPN项824还没被确定(例如,在发起NUC处理之前),则可以不执行方框818和822或者可以将初始化值用于列FPN项820和排FPN项824,其导致图像数据不改变(例如,每个像素的偏移将等于零)。
在方框826,根据时域降噪(TNR)处理对图像帧802执行时域滤波。图9示出了根据本公开的实施例的TNR过程。在图9中,处理目前接收的图像帧802a和先前时域滤波的图像帧802b,以确定新的时域滤波的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的像素803a和803b的本地近邻。邻域803a和803b对应于图像帧802a和802b内同一位置并且是图像帧802a和802b的全部像素的子集。在示例的实施例中,邻域803a和803b包括5*5像素区域。在其它实施例中可以使用其它邻域尺寸。
确定并平均邻域803a和803b的对应像素之间的差以为对应于像素805a和805b的位置提供平均的增量值805c。平均的增量值805c可以用于确定方框807中的权重值,这些权重值将被施加到图像帧802a和802b的像素805a和805b上。
在一个实施例中,如图表809所示,在方框807中确定的权重值可以与平均的增量值805c成反比,使得当邻域803a和803b之间有大的差异时,权重值就会迅速下降到零。在这一点上,邻域803a和803b之间的大的差异可以表明,场景内已发生了改变(例如,由于运动),并且在一个实施例中,可以适当加权像素802a和802b,以避免引入在帧间场景变化之间导致模糊。在各种实施例中可以使用权重值和平均的增量值805c之间的其它联系。
可以将方框807中确定的权重值施加到像素805a和805b,以确定图像帧802e的相应像素805e的值(方框811)。在这一点上,根据平均的增量值805c和方框807中确定的权重值,像素805e可以具有是像素805a和805b的加权平均(或其它结合)的值。
例如,时域滤波的图像帧802e的像素805e可以是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差是由于噪声产生的,则期望邻域805a和805b之间的平均改变将接近零(例如,对应于无关连改变的平均值)。在这种环境下,期望邻域805a和805b之间的差的总和接近零。在这种情况下,图像帧802的像素805都可以被适当加权以促成像素805e的值。
然而,如果这些差值的总和不为零(例如,在一个实施例中甚至与零少量不同),则该改变可以被解释为是由于运动代替噪声引起的。因此,可以基于由邻域805a和805b呈现出的平均改变来检测运动。在这些环境下,图像帧802a的像素805a的权重可能较高,而图像帧802b的像素805b的权重可能较轻。
也可以考虑其它实施例。例如,虽然平均的增量值805c已经被描述为基于邻域805a和805b确定,但在其它实施例中平均的增量值805c可以基于任何期望的标准确定(例如,基于个别像素或其他类型的像素集的群组)。
在上述实施例中,图像帧802a被描述为目前接收的图像帧,图帧802b被描述为先前时域滤波的图像帧。在另一实施例中,图像帧802a和802b可以是未被时域滤波的由红外成像模块100捕获的第一和第二图像帧。
图10示例了关于方框826的TNR过程的进一步的实现细节。如图10所示,可以将图像帧802a和802b分别读入到行缓冲器1010a和1010b,并且可以在将图像帧802b读入行缓冲器1010b之前将其存储在帧缓冲器1020中。在一个实施例中,可以通过由红外成像模块100和/或主机设备102的任何适当的部件提供的随机存取存储器(RAM)模块来实现行缓冲器1010a-b和帧缓冲器1020。
再次参考图8,可以将图像帧802e传送到自动增益补偿方框828用于进一步的处理,以提供如所希望的可以由主机设备102使用的最终的图像帧830。
图8进一步示例了确定所述的排和列FPN项和NUC项可执行的各种操作。在一个实施例中,如图8所示,这些操作可以使用图像帧802e。由于图像帧802e已被时域滤波,因此至少一些时域噪声可以被去除,并且因而将不会无意地影响确定排和列FPN项824和820和NUC项817。在另一实施例中,可以使用未时域滤波的图像帧802。
在图8中,图5的方框510、515和520被共同表示在一起。如所述的,可响应于发起事件的各种NUC处理并基于各种标准或条件选择性地发起并执行NUC处理。而且如所述的,可以根据基于运动的方法(方框525、535和540)或基于散焦的方法(方框530)执行NUC处理,以提供模糊的图像帧(方框545)。图8进一步示例了关于图5的先前描述的各个附加方框550、552、555、560、565、570、571、572、573和575。
如图8所示,可以以迭代的方式确定和应用排和列FPN项824和820和NUC项817,使得利用已被应用先前项的图像帧802确定更新项。结果,图8的全部过程可以重复地更新并应用这些项以连续减小被主机设备102使用的图像帧833中的噪声。
再次参考图10,结合流水线800示例了图5和8的各个方框的进一步的实现细节。例如,方框525、535和540示出为以由流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中,方框525中进行的确定表现为判定菱形,该判定菱形用于确定给出的图像帧802是否已充分改变以使得其可以被考虑为如果添加到其它图像帧则会增加模糊并因此积累(在该实施例中方框535用箭头表示)和平均(方框540)图像帧。
而且在图10中,将列FPN项820的确定(方框550)示出为以更新速率处理,在该实例中,由于方框540中执行的求平均值,更新速率为传感器帧速率(例如,标准帧速率)的1/32。在其它实施例中可以使用其它更新速率。虽然在图10中仅确定了列FPN项820,但也可以以减小的帧速率的相似的方式实现排FPN项824。
图10还示例了关于方框570的NUC确定过程的进一步的实现细节。在这一点上,可以将模糊的图像帧读到行缓冲器1030(例如,通过由红外成像模块100和/或主机设备102的任何适当部件提供的RAM块实现)。可以对模糊的图像帧执行图7的平场校正技术700。
基于本公开,将意识到,在此描述的技术可用于去除各种类型的FPN(例如,包括很高振幅的FPN),如空间关连的排和列FPN和空间非关连的FPN。
还考虑了其它实施例。例如,在一个实施例中,更新排和列FPN项和/或NUC项的速率能够与模糊图像帧中的模糊不清事物的估算数量成反比,和/或与本地对比度值的大小成反比(例如,方框560中确定的)。
在各种实施例中,描述的技术可以提供相对于传统的基于快门的噪声校正技术的优势。例如,通过使用无快门操作,不需要提供快门(例如,诸如快门105),因此允许减小尺寸、重量、成本和机械复杂度。如果不需要机械操作快门,还可以减小提供给红外成像模块100的或者由它产生的功率和最大电压。将通过移除作为潜在故障点的快门改善可靠性。无快门处理还消除了用快门临时封装成像场景引起的潜在的图像中断。
而且,通过有意地使用由真实世界场景(不是由快门提供的均匀一致的场景)捕获的模糊的图像帧校正噪声,可以对具有与将要成像的所希望的真实场景类似的辐射水平的图像帧执行噪声校正。这样可以改善根据各种描述的技术确定的噪声校正项的精确性和有效性。
现在参考图12,方框图示出了根据本公开的实施例的使用红外成像模块1202来智能监控大街1230的***1200。例如,大街1230可以是街道、道路、公路、隧道通道、铁道、小路、收费道路(pike)、小径、硬路面、通路、人行小道、人行通道、马路、人行道或者其任意组合,大街可以让人(例如,行人1232、骑自行车的人1234)、动物,和/或车辆(例如,车辆1236)在上面通行或者以其它方式占用。
***1200可以包括红外成像模块1202、处理器1204、通信模块1206、存储器1208、可调部件1210、可见光摄像机1212、全球定位***(GPS)接收器1214、电子罗盘1216和/或杂散部件1218。在各种实施例中,***1200的部件可以以与对应图1的主机设备102的部件的相同或者类似方式实现。而且,可以配置***1200的部件以执行各种NUC处理和在此描述的其它处理。
在一些实施例中,红外成像模块1202可以是根据在此公开的各种实施例实现的小形状因素红外摄像机或小形状因素红外成像设备。例如,红外成像模块1202可以包括根据在此公开的或者适当的其它的各种实施例实现的FPA。
可以配置红外成像模块1202以捕获、操作和/或以其它方式管理场景1231的红外图像(例如,包括热图像),该场景1231包括一个或多个大街1230的至少一部分。在这一点上,可以将红外成像模块附接、安装、安置或者以其它方式布置在沿着大街1230的结构或者设施上的位置处,使得将大街1230的期望部分放置在由红外成像模块1202的视野(FOV)1205确定的场景1231的范围内。例如,可以将红外成像模块1202安装在路灯、交通灯、道路标志、街道标志、建筑物墙、隧道的内壁、或大街1230上或者其附近现有的其它适合的设施和结构处。还可以将红外成像模块1202安装在专门为了固定或安装红外成像模块1202而提供的杆、柱子或任何其它适当结构处。
在各种实施例中,可以将***1200的全部或者一些其它部件与红外成像模块1202设置在同一位置。也就是,其它部件的全部或者一些还可以与红外成像模块1202一起附接、安装、安置或者以其它方式布置在结构或者设施上。例如,图13示出了根据本公开的实施例的安装在路灯1300中的***1200的部件。
如该实例所示,***1200的可调部件1210可以是路灯1300的光源1310。光源1310可以用对输出调整优选地具有短响应时间的任何灯泡或者发光设备来实现。通过非限制性实例,光源1310可以用一个或多个发光二极管(LED)来实现。众所周知,基于LED的灯泡能以小延迟甚至没有延迟地打开、关闭、变暗或者变亮。可以实现光源1310的发光设备的其它类型包括,但不限于,白炽灯、场致发光灯、荧光灯和无极灯。
可以通过例如由处理器1204产生的控制信号调整(例如,打开、关闭或者变暗至任意级)光源1310的输出。当打开时,光源1310可以照亮一部分大街1230/1330,其基本上限定了路灯1300的照亮区域1311。因此,例如,如在此进一步描述的,当确定行人1332A处于或者将要处于照明区域1311内时,处理器1204可以产生打开或者增强光源1310输出的控制信号。
在一个实施例中,光源1310可以用选择性改变由此发出的光的颜色(例如,白色、红色、桔色、黄色、绿色、蓝色和/或其它可见光颜色和/或诸如红外或其它波长的不可见光)的一个或多个光源(例如,LED和/或其它类型的光源)来实现。例如,光源1310可以包括例如在壳(例如,外壳或者共用外罩)中提供的多色光源。在另一实例中,光源1310可以包括多个单独分立的光源。在另一实例中,光源1310可以包括用于选择性通过、吸收或者阻碍各种波长的可选组的滤波器(例如,由机动化彩色滤波器轮或以其他方式实现的)。还考虑其它适当的实现。
在各种实施例中,光源1310和任何相关的滤波器实现可以用适当电路来实现,以响应一个或多个控制信号(例如,从处理器1204接收的控制信号)选择性打开用于一种或多种颜色的适当发光体,和/或选择操作适当的滤波器。
因此,例如,处理器1204可以产生控制信号以响应在此描述的各种警报改变光源1310的输出颜色,以警告在各种环境和事件的大街上或附近的人员(例如,行人、驾驶员)。例如,如果有交通事故或者人需要帮助时则光源1310的输出颜色会变成红色,如果存在危险路面环境(例如,结冰路面、下雨路面)则它会变成黄色,或者对其它环境和事件的警报会变成其它期望颜色。在一些实施例中,例如,可以进一步配置光源1310以在多个颜色中交替或者闪烁开和关,从而经由变色光传达的警报可以更引人注意。
而且如图13所示,在各种实施例中,***1200可以包括以与红外成像模块1202相同或类似的方式实现的并且具有FOV1205A-1205B的多个红外成像模块1202A-1202B。与一个红外成像模块能够覆盖的大街相比,利用多个红外成像模块(例如,红外成像模块1202A-1202B)可以允许监控更大部分的大街1230/1330。
在这种情况下,可以将多个红外成像模块安装在沿一个或多个大街分布的多个位置,以监控在更宽广区域上延伸的大街,例如,从街道或城市街区的路段延伸到整个城市或甚至更大区域。例如,图14示出了多个红外成像模块1202C-1202K,其中任何一个可以以与红外成像模块1202相同或者类似的方式实现,被安装在根据本公开的实施例分布在整个大街1400上的多个设施或结构上,诸如各种路灯1450A-1450D、交通灯1452、人行横道灯1454A-1454B、道路标志1456和摄像机杆1458上提供的多个位置处。
在一个实施例中,可以将多个红外成像模块(例如,红外成像模块1202C-1202K)中的每一个与***1200的全部其它部件设置在同一位置。换句话说,在一个实施例中,可以将多个***1200附接、安装或者以其它方式安置在分布于整个一个或多个大街(例如,大街1400)的多个结构或者设施上(例如,各种路灯1450A-1450D、交通灯1452、人行横道灯1454A-1454B、道路标志1456和摄像机杆1458)。例如,路灯1450A-1450D均可以用包括其全部部件的***1200的实例来安装。
可以配置多个***1200中的每个***,使其通过有线线路1460、无线电线路或者在此进一步描述的关于通信模块1206的其它适当的网络连接与多个***1200的一个或多个其它***通信。而且,可以配置多个***1200中的至少一个使其与中心监测站1470(例如,用一个或多个适当的处理设备实现的)通信。
在另一实施例中,可以将一个或多个红外成像模块不与或者与***1200的一些而不是所有其它部件设置在同一位置。例如,可以将红外成像模块1202H安装在人行横道灯1454A处,而可以将可作为处理器1204实例的对应的处理器布置在别处,诸如人行横道灯1454B。在这种情况和其它适当情形下,可以配置红外成像模块1202H,使其通过有线线路1460、无线电线路或者在此进一步描述的关于通信模块1206的其它适当的网络连接与位于别处的相应处理器通信。
返回参考红外成像模块1202,在一些实施例中,红外成像模块1202可以包括将红外辐射由场景1231导向到红外成像模块1202的FPA的各种光学元件1203(例如,能透射红外线的透镜、能透射红外线的棱镜、反射红外线的反光镜、红外纤维光学器件)。当在期望的角度和/或位置难以安装红外成像模块1202时,光学元件1203可能是有用的。例如,如果在街道标志上的期望的有利位置上安装红外成像模块1202的空间小或者没有,则可以利用柔韧的光纤电缆以将在有利位置收集的红外辐射发送给在别外安装的红外成像模块1202。还要注意,光学元件1203可以用于适当限定或者改变红外成像模块1202的FOV1205。可以可选地提供可开关控制的FOV(例如,可通过红外成像模块1202和/或处理器1204选择的),其例如当期望选择大街1230/1330/1400的部分特写镜头时可能是有用的。
光学元件1203还可以包括一个或多个滤波器,其适合通过某些波长而大体上阻断其它波长的红外辐射(例如,短波红外(SWIR)滤波器、中波红外(MWIR)滤波器、长波红外(LWIR)滤波器和窄频带滤波器)。可以利用这些滤波器调整红外成像模块1202,用于使其对红外波段的期望频带的灵敏度增加。例如,当检测如在此进一步描述的冰和/或水的存在时,通过利用仅在与冰、水或者两者的特定吸收率/发射光谱相匹配的波长中传送的窄频带滤波器,可以得到更好的结果。在一些实施例中,滤波器是可以可选择的(例如,提供为可选择的滤波器轮)。在其它实施例中,滤波器可以被适当固定以用于***1200的期望应用。
由红外成像模块1202捕获的、处理的和/或以其它方式管理的红外图像可以是放射测定规范化的红外图像(例如,热图像)。即,组成捕获的图像的像素可以包括校准的热数据(例如,温度)。如上所述连同图1的红外成像模块100,可以使用适当技术校准红外成像模块1202和/或相关部件,使得由红外成像模块1202捕获的图像是适当校准的热图像。在一些实施例中,可以通过红外成像模块1202和/或处理器1204周期性地执行适当的校准处理,使得红外成像模块1202和因此由其捕获的热图像可以保持适当的校准。
辐射测定规范化允许红外成像模块1202和/或处理器1204从热图像有效地检测具有特定温度范围的目标。红外成像模块1202和/或处理器1204可以高效且有效地检测这种目标,因为具有特定温度的目标的热图像可以容易地从背景和其它目标中辨别出来,而且较小受照明条件或掩蔽的影响。
例如,在一个实施例中,可以配置红外成像模块1202和/或处理器1204,以从热图像检测穿衣服的人的温度范围约为,例如,在约75°F(例如,身体的穿衣服部分)和约110°F(例如,身体的暴露部分,如脸和手)之间的像素的邻近区域(也称为“团”或者“热团”)。这种“热团”表明在场景1231中有人存在,并且可以如在此描述的对其进行进一步分析,以弄清一人或者多人存在并确定与检测的人相关的各种特征。通过检测和分析具有操作机电车辆的温度范围的目标,红外成像模块1202和/或处理器1204可以类似地检测和识别场景1231中的汽车、摩托车、公共汽车和货车。因此,通过***1200可以有效地检测场景1231中的机动车辆和人,并且较少受欺骗性目标(诸如风中摇摆的树枝)的错误检测的影响。
可以将处理器1204实现为任何适当的处理设备,如关于图1的处理器195描述的。处理器1204可以适合与***1200的其它部件连接并通信,以执行在此描述的操作和处理。可以配置处理器1204以接收由红外成像模块1202捕获的一部分大街1230/1330/1400的场景(例如,场景1231)的热图像。
在一个实施例中,可以配置处理器1204以对接收的热图像和其中包括的辐射测定信息执行各种热图像处理和分析操作,以检测在部分大街1230/1330/1400上是否存在一个或多个目标(例如,行人1232、骑自行车的人1234、车辆1236或其它人或车辆)并且确定与检测目标相关的一个或多个特征。可以配置处理器1204以编辑、分析或者以其它方式处理确定的存在和属性,以产生与部分大街1230/1330/1400相关的监控信息。在非限制性实例中,该监控信息可以识别在部分大街1230/1330/1400上是否有一个或多个目标存在,每个检测的目标的类型是什么(例如,可以在大街1230/1330/1400上存在的人、汽车、货车、公共汽车或者其它类型的目标),每个检测的目标类型的数量,每个检测的目标的位置,每个检测的目标的运动向量(即,移动方向和速率),每个目标的检测的时间和持续时间,和/或如果检测的目标是人时人的姿势(例如,站着、坐着、卧着)。
在一个实施例中,可以进一步配置处理器1204以对接收的热图像和其中包括的辐射测定信息执行在此进一步描述的各种热图像处理和分析操作,以确定与部分大街1230/1330/1400相关的表面状况。例如,可以配置处理器1204以确定在部分大街1230/1330/1400的表面上存在水(例如,湿路面1239)、冰(例如,结冰路面1238/1438)和/或雪。由处理器1204产生的监控信息可以进一步识别表面状况,从而提供部分大街1230/1330/1400的实时表面状况和天气监控。
在一个实施例中,可以进一步配置处理器1204以将部分大街1230/1330/1400的热图像转变成用户可视图像(例如,温谱图)。例如,处理器1204可以将热图像像素中包含的热数据(例如,温度数据)转变成灰度或彩色像素,以构成能够被人看到的图像。用户可见图像可以可选地包括指示对应像素颜色和/或强度的大概温度的图例或标尺。这种用户可视图像可以被与例如交通运输管理或者法律的实施相关的人看到以更好理解监控信息。
如果部分大街1230/1330/1400的可见光图像是可用的(例如,可见光摄像面捕获的),则可以进一步配置处理器1204以融合或者组合该热图像和该可见光图像,以产生具有更高解析度和/或清晰度的用户可见的图像。例如,可以配置处理器1204以执行在2011年5月11日提出的共同转让的美国专利申请No.13/105,765中公开的分辨率和对比度增强融合操作,在此通过引用将它的全部并入这里。
在各种实施例中,可以进一步配置处理器1204以基于监控信息采取各种措施。例如,在一些实施例中,可以配置处理器1204以基于监控信息产生各种控制信号来调整一个或多个可调部件1210的操作。
在一个非限制性实例中,可调部件1210可以是路灯(例如,路灯1300)、人行横道灯、安全灯的光源或者是照亮至少一部分大街1230/1330/1400的其它类似的灯和照射器的光源,以帮助人(例如,行人1232/1332A)徒步、骑自行车(例如,骑自行车的人1234)、开车(例如,乘车辆的人1236)、或者在大街1230/1330/1400上以任何其它方式存在或者行进。可以配置处理器1204以基于该监控信息产生选择性关闭、打开或者调整这种光源(例如,光源1310)输出的控制信号。通过利用目标类型、目标数量、位置、运动向量和/或其它综合且高级的监控信息,处理器1204可以比传统的自动点灯控制更精确且智能地控制光源。例如,可以配置处理器1204以产生控制信号,以与目标存在的数量和尺寸成比例地增加光源输出、选择性地为徒步行人或者骑自行车的人而不为车辆打开光源、基于由运动向量预测的轨道选择性打开或者关闭光源、和/或以其它智能方式控制光源。
相比之下,使用传统传感器的传统自动发光控制***能够做的一般限制于当目标移入或者移出区域时简单地触发光源开或者关。而且,与在此描述的热图像和辐射测量数据分析提供的强大检测不同,普通传感器的目标检测(例如,具有少量热释电单元的无源红外(PIR)运动探测器,和有源红外测距仪、超声波传感器、微波传感器,或者其它回波/变换器类型的传感器)通常易于出现欺骗性目标的错误检测并且对校准敏感。
在另一个非限制性实例中,可调部件1210可以是大街1230/1330/1400上的交通灯(例如,交通灯1452)或者指示道路右方或者以其它方式指示交通流量的其它类似的灯和信号。基于监控信息,处理器1204可以产生控制信号以调整交通灯的操作,诸如调整灯变化的定时。在另一个非限制性实例中,可调部件1210可以是行人和/或骑自行车的人的人行横道信号,例如,行人交叉路灯1454A/1454B或人行横道警告灯1457。例如,如果监控信息指示行人1432C离开人行横道的边缘,则处理器1204可以产生使人行横道警告灯1457闪烁的控制信号,或者如果监控信息指示有等待穿过人行横道的行人1432A,则可以产生触发行人交叉路灯1454A/1454B的“走”灯的控制信号。如上所述,与由传统传感器产生的检测信息,由处理器1204产生的监控信息可以允许更精确和更智能地控制交通灯或行人交叉路灯。
在一些实施例中,可以配置处理器1204以基于监控信息产生各种警告。在一个非限制性实例中,如果监控信息指示潜在危险的路面状况(如结冰路面1238/1438或湿路面1239),处理器1204会产生警告。***1200的各种部件可以可选地配置成当出现像路灯1300的色光一样的警告、闪烁路标、像可变信息显示面板1459上的消息,或经由使大街1230/1330/1400上的驾驶员保持警觉的任何适当方法,例如,通过产生和传送适当控制信号至这些警告标志或面板。可选地或者附加地,可以配置处理器1204和/或通信模块1206以向中央监测站1470、交通运输管理***、移动设备、联网的计算机或其它外部设备传输该警告,使得适当的警报可以出现在这些设备上或通过这些设备出现。
在另一非限制性实例中,可以配置处理器1204以通过分析各种属性如人的姿势(例如,人是否躺着)、人的位置、人的身体温度、人保持静止的持续时间,和/或通过处理和分析由红外成像模块1202捕获的热图像可确定的其它属性,确定在该热图像中检测的人是否需要帮助并基于该确定产生警告。例如,处理器1204可以确定躺在人行横道上超过预定持续时间的人1332B可能需要帮助,并产生警告作为反应。可以配置处理器1204和通信模块1206以向中央监测站1470、交通运输管理***、移动设备、联网的计算机或其它外部设备传输该警告,由此可以将该警告传送到能够帮助人的应急响应者或其它适当实体。还可以配置处理器1204和通信模块1206以传送调整路灯(例如,路灯1300/1450A-1450D)的颜色输出的控制信号,以警告处于需要帮助的人的大致位置处的其它人(例如,营救人员、执法人员、行人、驾驶员、骑自行车的人)。还可以产生其它警告,如产生车辆碰撞、火灾、人群聚集或监控信息可确定的其它事件的警告。
在各种实施例中,可以进一步配置处理器1204,以至少部分地基于监控大街1230/1330/1400的至少一些其它部分的***1200的一个或多个其它实例产生的并传送的监控信息,产生控制信号、产生警告或采取其它措施。例如,可以配置在图14的路灯1450A上安装的***1200的处理器1204,以至少部分地基于在路灯1450B上安装的***1200的另一个实例产生的监控信息,在路灯1450C上安装的***1200的另一实例产生的监控信息,或者两者产生调整路灯1450A的操作的控制信号。因此,例如,路灯1450A处的处理器1204可以至少部分地基于路灯1450C处的另一***1200产生的并且指示车辆1436A朝路灯1450A方向移动的监控信息,以预期的方式产生打开或者增强路灯1450A的光源输出的控制信号。举例来说,路灯的这种预期调整能够在车辆或行人之前有利地形成在行进方向上打开的灯通道。基于例如检测目标的运动向量(即,行进速率和方向)可以智能地得到多少灯和/或提前多远打开灯的决定。
在另一实例中,安装在行人交叉路灯1454A/1454B上的处理器1204可以不仅基于指示在红外成像模块1202H的FOV中行人1432A存在和/或其它属性的其自身监控信息,还基于交通灯1452处的***1200的另一实例产生的且指示红外成像模块1202G的FOV中车辆1436B存在和运动向量的监控信息,调整行走灯的起动。
在这一点上,可以配置通信模块1206以有助于沿大街1230/1330/1400分布在各个位置的多个***1200的处理器之间的通信。通信模块1206可以包括适合与网络和连接到网络的其它设备有线和/或无线通信的网络接口部件(NIC)。通过通信模块1206,处理器1204可以与***1200的其它实例的处理器通信,例如,共享在此描述的监控信息。
在各种实施例中,通信模块1206可以包括无线通信部件(例如,基于IEEE802.11WiFi标准、BluetoothTM标准、ZigBeeTM标准或其它适当的近程无线通信标准)、无线宽带部件(例如,基于WiMax技术)、移动蜂窝部件、无线卫星部件或其它适当的无线通信部件。通信模块1206还可以被配置用于基于无线电频率(RF)、微波频率(MWF)、红外频率(IRF)和/或其它适当的无线传输技术的专有无线通信协议和接口。为了无线通信,通信模块1206可以包括耦接到其上的天线。
在各种实施例中,可以配置通信模块1206以经由有线通信部件(如电力线调制解调器、数字用户线路调制解调器、公共电话交换网络(PSTN)调制解调器、以太网接口、线缆调制解调器和/或用于有线通信的其它适当的部件)与有线网络连接。通信模块1206还可以支持专有有线通信协议和接口。出于有线通信的目的,可以配置通信模块1206以在有线通信线路1360/1460上通信。例如,有线线路1360/1460可以用电力线缆、同轴线缆、光导纤维线缆或其它适当的支持有线网络通信技术的线缆或电线实现。在各种实施例中,通过通信模块1206的有线和/或无线通信可以利用***1200私有的网络、公用网络或者两者。
可以进一步配置通信模块1206以操控***1200的各种部件之间的通信和连接。在一些实施例中,***1200的部件可以通过总线或其它类似的通信结构相互连接和通信。在其它实施例中,通过如上所述的可以管理有线和/或无线通信的通信模块1206,诸如红外成像模块1202和/或可调部件1210的部件可以传输数据到处理器1204和从处理器1204接收数据。例如,可以传输由处理器1204产生的调整光源1310的控制信号,以通过通信模块1206控制光源1310的电路。在一些实施例中,可以在中央控制面板中,如在区域或者通常在交叉口出现的用于在交叉口控制交通灯的交通控制箱内的一组路灯的路灯控制面板中,实现光源1310的或者可调部件1210的其它实例的控制电路,如交通灯或行人交叉路灯。在这些实施例中,可以配置通信模块1206以适当地将来自处理器1204或者其它部件的信号路由到对应的中央控制面板,并且可以配置通信模块1206以与使用标准控制协议(如用于交通灯控制的国家智能交通运输ITS协议(NTCIP))的中央控制面板连接。
在一些实施例中,***1200可以包括与所期望的数量一样多的这种通信模块1206,以用于各种位置处的***1200的各种应用、设施和/或结构。在其它实施例中,可以将通信模块1206集成到或者实现为***1200的各种其它部件的一部分。例如,红外成像模块1202、处理器1204和可调部件1210每个均可以包括配置为执行通信模块1206操作的子部件,并且在没有分离通信模块1206的情况下可以经由有线和/无线连接相互通信。
在各种实施例中,可以通过通信模块1206将处理器1204产生的监控信息、警告、和/或用户可视图像传输到外部设备和***,如中央监控站1470、交通运输管理***、移动设备(例如,智能手机)或联网的计算机。因此,例如,通过收集、编辑、分析或以其它方式处理由沿延伸到整个城市的大街1230/1330/1400的各种位置分布的多个***1200产生和传输的监控信息,中央监控站1470、交通运输管理***或其它联网的计算机***可以方便地建立实时全市交通密度(例如,包括车辆、行人和/或自行车交通)图或者下雨或下雪地方的实时全市图。这种高分辨率交通或者天气图可以通过移动设备应用或者网页(例如,使用移动电话或车内导航***观看的)有利地提供,或者可以由交通运输管理***用于统一协调交通灯的或交通控制的其它装置。
在另一实例中,基于除交通及路/天气条件以外的在监控信息和/或警告中可以确定的危险或者意外事件(例如,火灾、洪水、交通事故),中央监控站1470、交通运输管理***或者其它联网的计算机***可以自动更新紧急情况撤离路线。通过移动设备应用或者网页可以有利地提供自动更新的撤离路线。
在另一实例中,中央监控站1470或者其它联网的计算机***可以收集、编辑、分析或者以其它方式处理该监控信息,以产生车辆(例如,包括移动和停泊的车辆)、行人和/或骑自行车人的数量和运动统计的详细报告情况。这种报告可以有利地支持城市规划活动。
在另一实例中,应急响应者可以具有可配置成在驶入紧急情况时从其道路内或附近的多个***1200接收监控信息和/或用户可视图像的移动设备。使用该监控信息和/或用户可视图像,该移动设备可以向应急响应者介绍车辆在其前面道路的精确位置的详细指示,使得应急响应者能够安全且迅速地到达紧急情况的位置。
存储器1208可以包括一个或多个存储器设备,以存储由处理器1204产生的包括热图像、监控信息、警告和/或用户可视图像的数据和信息。该一个或多个存储器设备可以包括用于热图像和其它信息存储的各种类型的存储器,其包括易失性和非易失性存储器设备,如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦只读存储器)、闪存、磁盘驱动器。在一些实施例中,可以配置处理器1204以执行存储在存储器1208上的软件指令,以便以在此描述的方式执行各种方法、处理和操作。
在一个或多个实施例中,***1200可以包括捕获部分大街1230/1330/1400的可见光图像的可见光摄像机1212。可见光摄像机1212可以用具有可见光图像传感器(例如,基于CMOS或者基于CCD的传感器)并适合集成到小型电子设备(例如,用于移动电话的摄像机模块)的适当成像模块实现。由可见光摄像机1212捕获的可见光图像可以被处理器1204接收,以融合、添加或者以其它方式结合在此进一步描述的热图像。在一些实施例中,可见光图像可以被处理器1204接收以执行一些补充的检测操作(例如,牌照识别或者其它边缘检测操作),其可以受益于可见光摄像机1212在白天能提供的更高分辨率的图像。可见光图像还可以通过通信模块1206传输到外部设备。
在一个或多个实施例中,***1200可以包括GPS接收器1214和/或电子罗盘1216。GPS接收器1214和/或电子罗盘1216可以用适合集成到小型电子设备的适当的芯片集或者电子模块实现,以提供GPS接收器功能和电子罗盘功能,或者两者。可以利用GPS接收器1214和/或电子罗盘1216来自动获得涉及红外成像模块1202/1202A-1202K安装位置的地球位置信息。该地球位置信息可以由处理器1204和/或通信模块1206使用,以自动构造用于在此进一步描述的***1200的安装实例中位置感知通信的位置测绘信息。
杂散部件1218可以包括***1200的各种应用可能需要的任何其它设备或传感器。例如,在各种实施例中,杂散部件1218可以包括可用于响应处理器1204产生的警告而产生听得见和/或看得见警报的警告信号灯(例如,频闪灯、闪光灯)、钟、产生声调的带有相关电路的扬声器或其它适当设备。在另一实例中,杂散部件1218还可以包括可以提供用于校准或校验在此描述的各种热图像分析的参考数据点的温度传感器(例如,热电偶、温度计)、湿度传感器和其它传感器。在另一实例中,杂散部件1218可以包括适当的光源控制电路。
在各种实施例中,***1200的一个或多个部件可以如期望或者依赖于应用需求被组合和/或实现或者不被组合和/或实现。例如,可以将处理器1204与红外成像模块1202、存储器1208和/或通信模块1206结合。在另一实例中,将处理器1204可以与红外成像传感器1202结合,并且仅仅处理器1204的某些操作由红外成像模块1202内的电路(例如,处理器、逻辑设备、微处理器、微控制器等)执行。
图15示出了根据本公开的实施例的能够便利地并入路灯(例如,路灯1300)的实现为电子模块1500的智能监控***1200的实例。电子模块1500可以包括红外成像模块1502、可见光摄像机1512、GPS接收器1514、电子罗盘1516、WiFi通信模块1506、光源控制电路(例如,在一个实施例中由杂散部件1218提供的)和处理器(例如,在一个实施例中由处理器1204提供的),它们中的任何一个可以以与在此描述的***1200的相应部件相同或者类似的方式实现。
电子模块1500还可以包括允许电子模块被安装、附接、翻新或以其它方式安装到传统的基于LED的路灯的外壳1520,使得可以迅速且便利地布署智能监控***1200的无线网络(例如,在一个实施例中无线网状网络)。电子模块1500还可以包括在外壳1520上布置的透明盖1519。透明盖1519可以配置成使红外线和可见光穿透到达红外成像模块1502和可见光摄像机1515,并且可以保护电子模块1500的这些和其它部件不受外部因素(例如,雨、碎片)的影响。
在一个实施例中,可以配置外壳1520以在将电子模块1500装入路灯时将其定向,使得红外成像模块1502和/或可见光摄像机1512在基本平行于路灯纵向长度的方向上向下看到大街的表面。在一个实施例中,当将电子模块1500安装在典型路灯处时,被红外成像模块1502覆盖的场景区域的大街表面面积可以约为30平方英尺。
因此,可以将***1200或电子模块1500安装、安置或以其它方式布置在沿着大街的各种位置,以提供大街的综合监控。通过捕获、处理和分析包括期望部分大街的场景的热图像,***1200或电子模块1500可以确定可在大街上出现的目标存在及其各种属性,和/或与部分大街相关的环境条件。这种综合监控信息可以被***1200或电子模块1500在各种情况下有益地利用,这些情况包括但不限于:调整路灯、交通灯和/或人行横道信号的操作,和如果存在危险环境条件、出现意外事故、或者人需要帮助时,则会产生警告。这种综合监控信息可以在***1200的多个实例或者贯穿大街分布的电子模块1500中共享,允许更智能地协调由***1200或电子模块1500可采取的各种措施。***1200或电子模块1500还可以与外部设备和***共享或者将这种综合监控信息传输给外部设备和***,它们利用该监控信息建立实时交通和/或环境条件图、收集各种统计资料或者提供其它有益的信息。
现在参考图16,流程图示出了根据本公开的实施例的使用热图像智能监控大街的方法1600。例如,方法1600可以由在路灯1300/1450A-1450D、交通灯1452、人行横道灯1454A-1454B、路标1456或者沿着大街的其它适当位置安装的***1200或电子模块1500执行。应意识到,仅出于提供实例的目的确定了***1200、电子模块1500和各种结构和设施,并且可以在街上或其附近的任何其它适当位置安装、附接或者以其它方式安置任何其它***以执行全部或者部分方法1600。
在方框1602,可以通过红外成像模块捕获包括至少部分大街的场景的热图像(例如,包括带有辐射测量数据的像素)。例如,可以通过图12的红外成像模块1202捕获FOV1205内的场景1231的热辐射图像。可以用如上所述的与红外成像模块1202有关的热图像在辐射测定上校准捕获的热图像。而且,捕获的热图像可以是比例和/或透视校准的热图像。即,真实场景中目标的几何特性(例如,尺寸和位置)能够来源于热图像中目标的像素坐标。当将红外成像模块(例如,红外成像模块1202A-1202B)首次安装在期望位置(例如,路灯1310)时,使用已知的技术可以手动或自动地执行比例/透视校准。在一些实施例中,安装之后还可以周期性使用已知的技术执行自动再校准。
例如,捕获的热图像可以被通信耦接到红外成像模块1202的处理器1204接收。在方框1604,例如,通过使用在此公开的各种NUC技术,可以对捕获的热图像执行NUC处理以去除其中的噪声。
在方框1606,可以由热图像确定场景中一个或多个目标的存在。在一个实施例中,可以由辐射测定校准的热图像检测温度值在特定范围内的邻近像素区域。温度范围可以依赖于场景中被检测的目标的类型。例如,该检测操作可以区分表面温度分布为穿衣服的人、运行的车辆或者可在大街上存在的其它目标的特征的区域(或者“团”)。例如,通过执行各种滤波操作及分析尺寸、形状和/或团的热特征,可以进一步处理和/或分析在此检测的热图像和团,以弄清场景中存在的某些类型的一个或多个目标。
在另一实施例中,例如,使用背景建模技术、边缘检测技术或者适合用于热图像的其它前景目标检测技术,可以分析该热图像以检测一个或多个候选前景目标。之后可以分析候选目标的辐射测定特性(例如,表面温度分布),以确定它们是否对应于感兴趣的目标类型的特性。例如,摇摆的树枝或者其它欺骗性目标最初会被检测为候选前景目标,但之后其辐射特性可以迅速地揭示该目标不具有人或者行驶车辆的表面温度分布特性,因此它们既不是人也不是行驶车辆。如该实例示出,与使用可见光图像的目标检测技术相比,使用热图像的目标检测可更少受欺骗性目标的错误检测的影响。还可以分析候选目标的尺寸和形状,使得可以基于被测侯选目标的尺寸、形状和辐射特性确定一个或多个某一类型目标的存在。
在该实施例的一个方面,可以使用背景建模技术来检测该场景中的目标。由于场景的背景(例如,部分空的大街)几乎不变,并且由于热图像通常对变化的照明环境不敏感,因此可以建造高精确度的背景模型(例如,属于背景的像素),且不同于背景的像素区域(也称为“感兴趣的区域”)可以被容易地辨明为候选前景目标。如上所述,之后可以分析这种感兴趣区域的辐射特性(ROI),以进一步弄清检测的ROI是否能表示某一类型的目标。
在各种实施例中,方框1606描述的各种处理和分析操作可以被省略或者被包括在内,并且可以以适合确定车辆车厢内部乘客存在的任何其它顺序执行。例如,在一些实施例中,检测热“团”足以确定目标的存在,然而在其它实施例中可以组合执行各种热图像分析以增加检测精度。方框1606还可以利用用于检测热图像中目标的其它适当的技术。
如果在方框1606检测一个或多个目标,则在方框1608可以确定与检测目标相关的各种属性。如方框1606所描述的,通过分析所检测目标的辐射测定特性、尺寸和/或形状,可以区分所检测目标的类型(例如,步行的人、骑自行车的人、动物、车辆或者可在大街上存在的其它类型的目标)。在一些实施例中,例如,当在目标检测期间在方框1606不能充分地进行类型区分时,可以在方框1608进一步分析检测的目标用于类型确定。而且,通过制表或者以其它方式计算每一类型的目标有多少可以确定检测目标的按类型计数。
可以被确定的各种属性还包括检测目标的大概位置。由于该热图像可以是比例/透视校准的热图像,可以由热图像中的检测目标的像素坐标确定检测目标的大概位置。另外,通过追踪一系列热图像中检测目标的位置,可以使用适当的视频分析技术估算检测目标的运动向量(例如,运行方向和速率)。
在一些实施例中,如果检测目标是人,还可以确定人的姿势。通过分析热图像中被检测人的外形和/或宽高比,可以检测人是直立的(例如站着或者走着)、坐着的还是躺着的。而且,通过分析被检测人的辐射测定特性(例如,通过聚集与属于被检测人的像素有关的温度数据),可以确定人的大概身体温度。还可以使用其它适当的热视频/图像分析技术确定姿势和/或身体温度。
在方框1610,还可以执行方法1600的各种应用所期望的热图像的进一步处理和/或分析。在一个实施例中,可以分析热图像以确定场景中部分大街的各种环境条件。例如,通过分析热图像可以确定大街表面上存在水(例如,路面上来自雨或者以其它方式收集的)、冰或者雪。由于水、冰和雪的辐射测定特性(例如,温度、辐射/吸收波长、发射率、反射率和透射率)通常完全不同于大街的表面的辐射测定特性,因此可以分析热图像以得出可指示在大街表面上存在这些物质(例如,包括热辐射不同于路面的图像的热图像)的差异。而且,如上文中结合图12的光学元件1203所述的,可以利用窄频带滤波器来增加对吸收的或发射自冰、水或者两者的红外辐射的灵敏性,使得可以更清晰地且相比干路面的热辐射更高对比度示出热图像中存在水或冰产生的差异。在一个实施例中,可以以周期方式选择性应用窄频带滤波器。
在另一实例中,可以从热图像确定部分大街的周围温度。通过获得已知发射率的参考目标的表面温度(例如,与周围热平衡的非热产生目标)可以确定该周围温度。可以将该参考目标布置在大街中的位置,使得可以在热图像的预定坐标处成像参考目标的热辐射。该参考目标可以是为了得到周围温度而布置在大街中的目标,或者可以是任何先前存在的目标或者先前存在的目标的一部分(例如,不邻近热源的路面的特定一小块)。在另一实施例中,代替或者除使用热图像的周围温度确定操作以外,还可以使用传统的温度传感器确定周围温度。
在另一实例中,通过热图像的进一步分析可以检测部分大街中火灾的爆发。燃烧的火和火焰燃烧的典型温度大大高于(例如,1000oF及以上)在大街上可存在的任何正常的热发射目标,可以通过识别热图像中具有这种高温的热团检测火灾的爆发。因此,相比于由于在室外不起作用而通常仅在建筑物内和在其它室内区域安装的常规火灾警告(例如,烟雾探测器),,方法1600可以用作为大街的火灾警告以检测大街上的车辆及其它目标的火灾爆发。
热图像的进一步处理和/或分析还可以包括通过使用适当的方法和算法转换热图像而产生用户可视的热图像(例如,温度记录图)。例如,可以将热图像的像素中包含的热数据(温度数据)转换成灰度或彩色像素,以构造人能够看得见的图像。用户可视的热图像可以可选地包括指示对应像素颜色和/或强度的大概温度的图例或比例。这种用户可视图像可以被与例如交通管理局或者监察执法者或者交通管制相关的人看得到。在一个实施例中,方法1600可以进一步包括用可见光图像摄像机捕获部分大街的可见光图像,融合或者组合热图像及可见光图像,以产生具有更高解析度和/或清晰度的用户可视图像,如上面结合图12的处理器1204描述的。
由方法1600的各种分析和处理操作(例如,确定目标的存在和属性,确定环境条件及1606-1610描述的其它操作)产生的各种结果、成果或者其它数据通常可被认为是监控信息。在方框1612,该监控信息可以与例如监控大街的至少一些其它部分的执行方法1600的***1200的其它实例共享。例如,通过图12的通信模块1206可以在网络上传播该监控信息。虽然共享操作的具体实现可能受或者以其它方式取决于底层的网络层和拓朴结构的影响时,但通常共享操作可以基于***1200的实例(或者网络术语中的“节点”)中的感知位置的通信。即,可以制造感知自身地球位置特性的每个节点,以及可共享监控信息的其它节点。因此,例如,在邻近节点中(例如,图14的路灯1450A-1450C),其它形式的空间位置的节点中(例如,相同道路上的路灯、相同交叉口的交通灯和人行横道灯,或者节点的其它地球位置集合),或者具有其它关系的节点中,可以共享监控信息。在这一点上,在一个实施例中,当将该节点最初安装在适当位置时,可以利用GPS接收器1214和/或电子罗盘1214自动获得与节点相关的地球位置信息,而不需要手动输入或调整。可以进一步配置通信模块1206和/或处理器1204以与其它节点共享该地球位置信息,以自动发现节点之间相对的位置映射。可以使用计算机网络领域的适当地球位置技术执行这种自动发现。因此,例如,当安装附加节点时,它可以马上且自动连接到邻近节点以构造无线网络并在节点之间建立相对的位置映射。可以在全市基础上重复这种安装操作,以最终建立一个智能监控大街的大型且紧密的互联网节点。
该监控信息还可以被传输到中央监控站(例如,中央监控站1470)、交通运输管理***、移动设备、联网的计算机或者其它外部设备和***。由于监控信息的通信可以是位置感知的,因此可以在例如各种外部设备和***上利用共享的监控信息以建立实时交通图和/或环境条件,收集各种统计资料或者提供其它有益信息,如上面参考图14描述的。
在方框1614,可以基于该监控信息采取各种措施。在一些实施例中,采取的各种措施包括产生调节一个或多个可调部件的操作的各种控制信号。例如,基于监控信息可以调节路灯、交通灯、行人/骑自行车的人交叉口灯、和/或其它可调部件,如上面参考图12的可调部件1210描述的。
在一些实施例中,可采取的各种措施包括基于监控信息产生各种警告。例如,可以产生警告以发出潜在危险的环境条件(例如,结冰或者湿表面)、人需要帮助、车辆碰撞、火灾、人群聚集或者可从监控信息确定的其它事件的警告,如上面参考图12的处理器1204描述的。
在各种实施例中,可以至少部分地基于被其它节点共享的(例如,被传输或者接收的)监控信息可以采取各种措施。因此,如上面关于处理器1204描述的,可以以智能协调的方式完成各种措施。
因此,通过捕获、处理和分析热图像及包含于其中的辐射测定数据,方法1600的各种实施例可以产生和共享大街的综合监控信息。在方法1600中可以有利地利用这种综合监控信息向驾驶员和行人产生各种警告,并且智能调整大街上的各种可调设备的操作。这种综合监控信息可以与中央监控站或者其它联网设备及***共享,基于该监控信息可以有利地建立实时交通图和/或环境条件,收集各种统计资料或者提供其它有益信息。
在此描述的各种实施例可以根据上述的实例应用及下述的其它实例应用来使用,并且可以用适合这种应用的其它特征和/或部件实现。在各种非限制性实例中,可以实现智能监控***(例如,在路灯和/或其它位置安装的)以:检测包括行人、骑自行车的人、动物及车辆的各种类型的目标;确定路灯下人和车辆行进的方向和速率;计算每个路灯下存在的车辆和人的数量;调整路灯的照明(例如,当没有人或车辆存在时调暗或者关闭,及当有人或者车辆存在时调亮或者打开);与在邻近路灯位置安装的***的其它实例通信以智能地协调路灯的调整(例如,基于目标位置、方向及速度打开灯通道);转播监控信息给交通灯控制;给服务器(例如,GoogleTM地图服务器)传递监控信息以允许建立实时的全市交通流量图;给市政府传递监控信息以允许为城市规划收集统计资料;给移动设备传递监控信息以允许路线规划;检测结冰或者湿路面并给可变信息警报转播路面状况;检测并转播路面温度;检测人聚集的人群并警告适当的当局;和/或检测并报告失速或者非法泊车的车辆。根据一个或多个实施例,可以配置该***为自动发现位置(例如,自动发现相对其它路灯的安装位置)。由于可以意识到,这些***能够显著地增加能量效率,因此允许全部或者部分这些***(例如,在路灯和/或其它位置安装的)用电池和/或太阳板提供动力。
在适当的地方,可以使用硬件、软件或者硬件和软件的组合实现由本公开提供的各种实施例。而且在适当的地方,在不偏离本公开的精神的情况下,可以将在此阐述的各种硬件部件和/或软件部件结合成包括软件、硬件和/或两者的混合部件。在适当的地方,在不偏离本公开的精神的情况下,可以将在此阐述的各种硬件部件和/或软件部件分离成包括软件、硬件和/或两者的子部件。另外,在适当的地方,预期能够将软件部件实现为硬件部件,反之亦然。
根据本公开的软件,可以将诸如非瞬时指令、程序编码和/或数据存储在一个或多个非瞬时机器可读介质上。还考虑到,使用一个或多个联网的和/或其它方式的通用或者专用计算机和/或计算机***,能够实现在此确定的软件。在适当的地方,在此描述的各种步骤的次序可以被改变,结合成复合步骤,和/或分离成子步骤,以提供在此描述的特征。
上述的实施例示例但不限制本发明。还应该理解,根据发明的原则可以有许多的修改和改变。因此,该发明的范围仅由随附的权利要求来限定。

Claims (28)

1.一种***,包括:
在沿着大街的位置布置的红外成像模块,该红外成像模块包括配置为捕获包括至少部分大街的场景的热图像的焦平面阵列(FPA);和
与红外成像模块通信的处理器,该处理器被配置为:
分析热图像以确定一个或多个目标的存在及与场景中的目标相关的至少一个属性,和
基于存在及属性的确定产生监控信息。
2.根据权利要求1所述的***,其中:
该处理器与红外成像模块共同定位在沿着大街的位置处。
3.根据权利要求1所述的***,还包括:
配置成将监控信息传输到中央监控站、移动设备或者联网的计算机中的至少一个的通信模块。
4.根据权利要求1所述的***,其中:
红外成像模块被布置在路灯、交通灯、人行横道灯、隧道内壁、街道标志或道路标志的位置。
5.根据权利要求1所述的***,其中:
处理器进一步被配置成分析热图像,以确定与部分大街相关的表面状况;和
监控信息识别表面状况。
6.根据权利要求5所述的***,其中:
表面状况为干、湿、下雨、下雪或者结冰状况中的至少一个;和
处理器进一步被配置成基于表面状况产生警告。
7.根据权利要求1所述的***,其中:
监控信息识别与一个或多个目标相关的类型、数量、位置、运行方向和/或速率中的至少一种。
8.根据权利要求7所述的***,其中:
该目标是人;
监控信息进一步识别人的姿势;并且
处理器进一步被配置成:
基于监控信息确定人是否需要帮助,和
基于需要帮助的确定产生警告。
9.根据权利要求7所述的***,其中:
处理器进一步被配置成基于监控信息产生用于调整可调部件的操作的控制信号。
10.根据权利要求9所述的***,其中:
可调部件是路灯、交通灯或者人行横道信号中的至少一个。
11.根据权利要求10所述的***,其中:
产生控制信号以打开、关闭或者调整路灯的强度。
12.根据权利要求10所述的***,其中:
路灯具有可选择的输出颜色;
产生控制信号以改变输出颜色;和
基于处理器产生的警告的类型选择输出颜色。
13.根据权利要求9所述的***,其中该红外成像模块是第一红外成像模块,该位置是第一位置,由该第一红外成像模块捕获的热图像是第一热图像,该场景是第一场景,该部分大街是第一部分大街,该处理器是第一处理器,及该监控信息是第一监控信息,该***进一步包括:
在沿大街的第二位置布置的第二红外成像模块,该第二红外成像模块包括配置为捕获包括至少第二部分大街的第二场景的第二热图像的FPA;
第二处理器被配置为:
分析第二热图像以确定一个或多个目标的存在及与第二场景中的目标相关的至少一个属性,和
基于存在及属性的确定产生第二监控信息;以及
配置成将第二监控信息传输到第一处理器的通信模块,该第一处理器被配置成至少部分地基于第二监控信息产生控制信号。
14.根据权利要求13所述的***,其中
可调部件是路灯;和
第一处理器被配置成如果第二监控信息指示预期一个或多个目标移入路灯的照明区域,则产生增加路灯强度的控制信号。
15.根据权利要求1所述的***,其中:
热图像是该场景的未模糊的热图像;
该红外成像模块被配置成捕获场景的故意模糊的热图像;和
该处理器被配置成基于故意模糊的热图像确定多个非均匀校正(NUC)项,并将NUC项应用到未模糊的热图像以从未模糊的热图像移除噪声。
16.一种方法,包括:
在红外成像模块的焦平面阵列(FPA)捕获包括至少部分大街的场景的热图像,其中该红外成像模块布置在沿大街的位置以使得该部分大街在红外成像模块的视野(FOV)内;
分析热图像以确定一个或多个目标的存在及与场景中的目标相关的至少一个属性;和
基于存在及属性的确定产生监控信息。
17.根据权利要求16所述的方法,进一步包括:
将该监控信息传输到中央监控站、移动设备或者联网的计算机中的至少一个。
18.根据权利要求16所述的方法,其中:
该分析包括确定与部分大街相关的表面状况;和
该监控信息识别表面状况。
19.根据权利要求18所述的方法,进一步包括:
基于表面状况产生警告,表面和天气状况为干的、湿的、下雨、下雪的或者结冰状况中的至少一种。
20.根据权利要求16所述的方法,其中:
该监控信息识别与一个或多个目标相关的类型、数量、位置、运行方向和/或速率中的至少一种。
21.根据权利要求20所述的方法,其中目标是人,并且该监控信息进一步识别人的姿势,该方法进一步包括:
基于监控信息确定人是否需要帮助;和
基于需要帮助的确定产生警告。
22.根据权利要求20所述的方法,进一步包括:
基于该监控信息产生用于调整可调部件的操作的控制信号。
23.根据权利要求22所述的方法,其中:
可调部件是路灯、交通灯或人行横道信号中的至少一种。
24.根据权利要求23所述的方法,其中:
产生控制信号包括配置用于打开、关闭或调整路灯强度的控制信号。
25.根据权利要求23所述的方法,其中:
路灯具有可选择的输出颜色;
产生控制信号包括配置用于改变输出颜色的控制信号;和
基于处理器产生的警告类型选择输出颜色。
26.根据权利要求22所述的方法,其中该红外成像模块是第一红外成像模块,该位置是第一位置,由第一红外成像模块捕获的热图像是第一热图像,该场景是第一场景,该部分大街是第一部分大街,及该监控信息是第一监控信息,该方法进一步包括:
在第二红外成像模块的FPA,捕获包括至少第二部分大街的第二场景的第二热图像,其中第二红外成像模块布置在沿着大街的第二位置上,使得第二部分大街在第二红外成像模块的FOV内;
分析第二热图像以确定一个或多个目标的存在及与第二场景中的目标相关的至少一个属性;
基于存在及属性的确定产生第二监控信息;和
至少部分地基于第二监控信息产生控制信号。
27.根据权利要求26所述的方法,其中
可调部件是路灯;和
产生控制信号包括如果第二监控信息指示预期一个或多个目标移入路灯的照明区域,则产生增加路灯强度的控制信号。
28.根据权利要求16所述的方法,其中热图像是未模糊的热图像,该方法进一步包括:
捕获场景的故意模糊的热图像;
基于故意模糊的热图像确定多个非均匀校正(NUC)项;和
将NUC项应用到未模糊的热图像以从未模糊的热图像移除噪声。
CN201280038849.7A 2011-06-10 2012-06-08 使用热成像智能监控大街的***及方法 Pending CN103931172A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201161495879P 2011-06-10 2011-06-10
US201161495888P 2011-06-10 2011-06-10
US201161495873P 2011-06-10 2011-06-10
US61/495,888 2011-06-10
US61/495,873 2011-06-10
US61/495,879 2011-06-10
US201161545056P 2011-10-07 2011-10-07
US61/545,056 2011-10-07
US201261656841P 2012-06-07 2012-06-07
US61/656,841 2012-06-07
PCT/US2012/041755 WO2012170953A2 (en) 2011-06-10 2012-06-08 Systems and methods for intelligent monitoring of thoroughfares using thermal imaging

Publications (1)

Publication Number Publication Date
CN103931172A true CN103931172A (zh) 2014-07-16

Family

ID=46634508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280038849.7A Pending CN103931172A (zh) 2011-06-10 2012-06-08 使用热成像智能监控大街的***及方法

Country Status (4)

Country Link
US (1) US20140112537A1 (zh)
EP (1) EP2719168A2 (zh)
CN (1) CN103931172A (zh)
WO (1) WO2012170953A2 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674878A (zh) * 2014-12-05 2016-06-15 韩华泰科株式会社 在透视图上显示热图的装置和方法
CN105702074A (zh) * 2014-11-28 2016-06-22 东莞宇龙通信科技有限公司 实时路况信息的提供方法及***
CN105764217A (zh) * 2016-05-03 2016-07-13 福建师范大学 基于红外热成像的智能道路照明***及其实现方法
CN106448143A (zh) * 2016-11-01 2017-02-22 合肥洛维信息科技有限公司 一种人行横道通行的智能监控***
CN107422434A (zh) * 2016-05-24 2017-12-01 上海共联通信信息发展有限公司 一种多功能智能光交箱
CN107728160A (zh) * 2017-08-21 2018-02-23 广州紫川电子科技有限公司 一种基于红外热像仪的视觉雷达探测方法及***
CN108605403A (zh) * 2016-01-29 2018-09-28 飞利浦照明控股有限公司 使用热成像的、基于触摸的照明控制
CN109717536A (zh) * 2018-11-30 2019-05-07 迅捷安消防及救援科技(深圳)有限公司 消防及救援智能头盔、消防救援方法及相关产品
CN109841028A (zh) * 2018-11-29 2019-06-04 广州紫川物联网科技有限公司 一种基于红外热像仪的热源探测方法、***及存储介质
CN111400423A (zh) * 2020-03-16 2020-07-10 郑州航空工业管理学院 基于多视图几何的智慧城市cim三维车辆位姿建模***
CN112067614A (zh) * 2020-09-04 2020-12-11 重庆交通大学 一种用于公路隧道内路面状态识别的室内模型及模拟方法
CN112085691A (zh) * 2019-06-12 2020-12-15 气体产品与化学公司 智能传感器测量***
CN112954265A (zh) * 2019-12-11 2021-06-11 宇龙计算机通信科技(深圳)有限公司 预警的方法、装置、电子设备及介质
CN113079613A (zh) * 2021-04-09 2021-07-06 江苏安岚特智能科技有限公司 一种智慧灯杆集中调度方法
US20220005346A1 (en) * 2020-07-02 2022-01-06 On It Solutions, LLC Illumination system for crossing zone
CN113949841A (zh) * 2020-07-17 2022-01-18 照亮亚洲(新加坡)私人有限公司 封闭环境中的活动监控***和方法
CN114058778A (zh) * 2021-11-18 2022-02-18 中国安全生产科学研究院 一种炼钢设备温度采集安全监控***
CN114502931A (zh) * 2019-10-09 2022-05-13 大众汽车股份公司 用于运输车辆操作***的多感知测量***和方法
CN114630060A (zh) * 2020-12-14 2022-06-14 菲力尔商业***公司 与红外成像相关的不确定度测量***和方法
CN115225803A (zh) * 2021-04-20 2022-10-21 深圳市臻呈科技有限公司 一种多功能自动化红外热释电感应监控相机
US11587440B2 (en) 2021-03-23 2023-02-21 Kyndryl, Inc. Prediction method for resilient interconnected traffic management

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9517679B2 (en) * 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
WO2014106210A1 (en) * 2012-12-31 2014-07-03 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
EP2719165B1 (en) 2011-06-10 2018-05-02 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US8981295B2 (en) * 2011-07-18 2015-03-17 Kenneth JAMISON Night vision device with display of ancillary environmental information
CN105009568B (zh) * 2012-12-21 2018-12-18 菲力尔***公司 用于处理可见光谱图像和红外图像的***、方法及非易失性机器的可读介质
JP6397885B2 (ja) * 2013-03-14 2018-09-26 ディーアールエス ネットワーク アンド イメージング システムズ、リミテッド ライアビリティー カンパニー 熱画像および熱写真カメラの為のシステムアーキテクチャ
JP6396290B2 (ja) * 2013-04-03 2018-09-26 株式会社小糸製作所 道路照明装置
US9336450B2 (en) * 2013-06-05 2016-05-10 Xerox Corporation Methods and systems for selecting target vehicles for occupancy detection
US9196026B2 (en) * 2013-10-04 2015-11-24 Fluke Corporation Thermal imager with large dynamic range and improved signal-to-noise ratio
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US9297755B2 (en) 2013-10-24 2016-03-29 The Regents Of The University Of Michigan Ice and supercooled water detection system
WO2015060910A1 (en) * 2013-10-24 2015-04-30 The Regents Of The University Of Michigan Ice and water detection system
US9347834B2 (en) * 2013-11-04 2016-05-24 Redwood Systems, Inc. Infrared sensor array based temperature monitoring systems for data centers and related methods
US9087263B2 (en) * 2013-12-09 2015-07-21 National Chung Shan Institute Of Science And Technology Vision based pedestrian and cyclist detection method
CN103729899B (zh) * 2014-01-15 2017-04-12 西安艾润物联网技术服务有限责任公司 用于停车场控制***的嵌入式主板及停车场控制***
EP3111134B1 (en) 2014-02-26 2019-05-01 Signify Holding B.V. Light reflectance based detection
US9355547B2 (en) * 2014-05-22 2016-05-31 International Business Machines Corporation Identifying a change in a home environment
US9613274B2 (en) 2014-05-22 2017-04-04 International Business Machines Corporation Identifying an obstacle in a route
KR101601475B1 (ko) * 2014-08-25 2016-03-21 현대자동차주식회사 야간 주행 시 차량의 보행자 검출장치 및 방법
US10602082B2 (en) 2014-09-17 2020-03-24 Fluke Corporation Triggered operation and/or recording of test and measurement or imaging tools
CA2908835C (en) 2014-10-15 2017-04-04 Abl Ip Holding Llc Lighting control with automated activation process
US9781814B2 (en) 2014-10-15 2017-10-03 Abl Ip Holding Llc Lighting control with integral dimming
US10098209B2 (en) 2014-10-17 2018-10-09 Philips Lighting Holding B.V. System and method for outdoor lighting operation and management using its protocols and connectivity infrastructure
WO2016065261A1 (en) 2014-10-24 2016-04-28 Fluke Corporation Imaging system employing fixed, modular mobile, and portable infrared cameras with ability to receive, communicate, and display data and images with proximity detection
US9704266B2 (en) 2014-12-11 2017-07-11 Rdi, Llc Non-contacting monitor for bridges and civil structures
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
CN105376522A (zh) * 2015-02-10 2016-03-02 山东华光光电子有限公司 一种带有光学警告装置的红外热成像仪及其应用
US10023118B2 (en) * 2015-03-23 2018-07-17 Magna Electronics Inc. Vehicle vision system with thermal sensor
US20160364984A1 (en) * 2015-06-11 2016-12-15 National Chung Shan Institute Of Science And Technology Infrared logical matrix-style traffic violation detection method and apparatus
US10126164B2 (en) * 2015-08-05 2018-11-13 General Electric Company Flame sensing
US20170042003A1 (en) * 2015-08-06 2017-02-09 Stmicroelectronics, Inc. Intelligent lighting and sensor system and method of implementation
US10530977B2 (en) 2015-09-16 2020-01-07 Fluke Corporation Systems and methods for placing an imaging tool in a test and measurement tool
WO2017070629A1 (en) 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
US10423839B2 (en) * 2015-11-25 2019-09-24 Laser Technology, Inc. System for monitoring vehicular traffic
US9773174B2 (en) * 2015-12-15 2017-09-26 National Chung Shan Institute Of Science And Technology Vehicle detection method based on thermal imaging
US10326733B2 (en) 2015-12-30 2019-06-18 Symantec Corporation Systems and methods for facilitating single sign-on for multiple devices
US10336465B2 (en) 2016-01-08 2019-07-02 The Regents Of The University Of Michigan Ice crystals and volcanic ash detection system
WO2017139214A1 (en) * 2016-02-10 2017-08-17 Carrier Corporation Energy usage sub-metering system utilizing infrared thermography
CN105632178B (zh) * 2016-03-02 2018-02-16 江苏中兴新泰物联网科技园有限公司 一种智慧交通安全监测报警装置
US9733129B1 (en) * 2016-03-28 2017-08-15 Honeywell International Inc. Multispectral band sensor
US10518900B2 (en) 2016-06-14 2019-12-31 Micasense, Inc. Thermal calibration of an infrared image sensor
US10375114B1 (en) 2016-06-27 2019-08-06 Symantec Corporation Systems and methods for enforcing access-control policies
US10462184B1 (en) 2016-06-28 2019-10-29 Symantec Corporation Systems and methods for enforcing access-control policies in an arbitrary physical space
WO2018052583A1 (en) * 2016-09-19 2018-03-22 Walmart Apollo, Llc Autonomous vehicle content identification system and associated methods
WO2018054831A1 (en) * 2016-09-22 2018-03-29 Philips Lighting Holding B.V. Thermal imaging for space usage analysis
US10469457B1 (en) 2016-09-26 2019-11-05 Symantec Corporation Systems and methods for securely sharing cloud-service credentials within a network of computing devices
CN109792508B (zh) * 2016-09-29 2021-07-13 菲力尔***公司 使用热成像分析法的故障安全检测
US20180098407A1 (en) * 2016-09-30 2018-04-05 Rf Digital Corporation Integrated lighting system and network
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
US10812981B1 (en) 2017-03-22 2020-10-20 NortonLifeLock, Inc. Systems and methods for certifying geolocation coordinates of computing devices
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11016459B2 (en) * 2017-07-11 2021-05-25 Ubicquia Iq Llc Governance of the control process by the state of the node
US20190026567A1 (en) * 2017-07-21 2019-01-24 Satori Worldwide, Llc System and method for counting objects on multiple roads using a pan, tilt, and zoom camera
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
US11386565B2 (en) * 2017-09-11 2022-07-12 Sony Corporation Signal processing apparatus and signal processing method, program, and moving body
US10504221B2 (en) 2017-09-28 2019-12-10 Intel Corporation Methods, apparatus and systems for monitoring devices
US20190197887A1 (en) * 2017-12-22 2019-06-27 Echelon Corporation Coordinated alert and event guidance system
US10504236B2 (en) * 2018-01-08 2019-12-10 The Boeing Company Testing a battery
US10475191B2 (en) 2018-01-17 2019-11-12 Sensormatic Electronics, LLC System and method for identification and suppression of time varying background objects
US11184588B2 (en) * 2018-03-13 2021-11-23 Trinity Innovative Solutions, Llc Data acquisition and dissemination platform
US10621865B2 (en) 2018-03-29 2020-04-14 The Regents Of The University Of Michigan Road condition monitoring system
DE102018108349A1 (de) * 2018-04-09 2019-10-10 Jacobs University Bremen Ggmbh Vorrichtung zum Detektieren einer Eisbildungswahrscheinlichkeit oder der Eisbildung auf einer Fahrbahn einer Straße
WO2019231842A1 (en) * 2018-05-30 2019-12-05 Thermworx, Llc Infrared thermography platform for determining vascular health of individuals
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
US10508952B1 (en) 2018-10-31 2019-12-17 The Regents Of The University Of Michigan Optimum spectral bands for active vision systems
CN109506809A (zh) * 2018-11-19 2019-03-22 北京英视睿达科技有限公司 基于地表温度确定大气污染热点网格的方法及装置
US10798309B2 (en) * 2018-11-21 2020-10-06 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for nonuniformity correction of IR focal planes
US11651857B2 (en) * 2018-11-21 2023-05-16 General Electric Company Methods and apparatus to capture patient vitals in real time during an imaging procedure
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
GB2582904B (en) * 2019-03-26 2021-04-14 Atsr Ltd Method and apparatus for controlling access to a vehicle
WO2020210290A1 (en) * 2019-04-12 2020-10-15 The Board Of Regents Of The University Of Texas System Passive infrared sensing and detection for traffic
ES2797534A1 (es) * 2019-04-30 2020-12-02 Univ Alicante Sistema y metodo de iluminacion inteligente
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
EP4097557A4 (en) 2020-01-31 2023-07-26 Objectvideo Labs, LLC TEMPERATURE CONTROL BASED ON THERMAL IMAGING
US11496697B2 (en) * 2020-02-28 2022-11-08 Samsung Electronics Co., Ltd. LWIR sensor with capacitive microbolometer and hybrid visible/LWIR sensor
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN115331190B (zh) * 2022-09-30 2022-12-09 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999005867A1 (en) * 1997-07-22 1999-02-04 Aviv David G Abnormality detection and surveillance system
JP2008026235A (ja) * 2006-07-24 2008-02-07 Sumitomo Electric Ind Ltd 車両検知装置及び信号制御システム
CN101293529A (zh) * 2007-04-29 2008-10-29 余亚莉 车载式轨道交通客流运能及运行安全智能监控和预警***
WO2008142238A2 (fr) * 2007-03-29 2008-11-27 Dgm Technologies Procede de determination du nombre d'objets presents dans une zone surfacique donnee par thermographie infrarouge
US20090195654A1 (en) * 2008-02-06 2009-08-06 Connell Ii Jonathan H Virtual fence
US20090256723A1 (en) * 2003-09-18 2009-10-15 Spot Devices, Inc. Methods, systems and devices related to road mounted indicators for providing visual indications to approaching traffic
US20090262189A1 (en) * 2008-04-16 2009-10-22 Videoiq, Inc. Energy savings and improved security through intelligent lighting systems
US20100001652A1 (en) * 2006-09-11 2010-01-07 Jan Willy Damsleth Control device, system and method for public illumination
US20100271497A1 (en) * 2009-04-28 2010-10-28 Monsive Jr Michael G Portable traffic monitoring system and methods for use

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028309A (en) 1997-02-11 2000-02-22 Indigo Systems Corporation Methods and circuitry for correcting temperature-induced errors in microbolometer focal plane array
US7034301B2 (en) 2002-02-27 2006-04-25 Indigo Systems Corporation Microbolometer focal plane array systems and methods
US6812465B2 (en) 2002-02-27 2004-11-02 Indigo Systems Corporation Microbolometer focal plane array methods and circuitry
JP4814655B2 (ja) * 2006-03-02 2011-11-16 富士通株式会社 路面状態判定装置および路面状態判定方法
US7470902B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera electronic architectures
US7470904B1 (en) 2006-03-20 2008-12-30 Flir Systems, Inc. Infrared camera packaging
US7679048B1 (en) 2008-04-18 2010-03-16 Flir Systems, Inc. Systems and methods for selecting microbolometers within microbolometer focal plane arrays

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999005867A1 (en) * 1997-07-22 1999-02-04 Aviv David G Abnormality detection and surveillance system
US20090256723A1 (en) * 2003-09-18 2009-10-15 Spot Devices, Inc. Methods, systems and devices related to road mounted indicators for providing visual indications to approaching traffic
JP2008026235A (ja) * 2006-07-24 2008-02-07 Sumitomo Electric Ind Ltd 車両検知装置及び信号制御システム
US20100001652A1 (en) * 2006-09-11 2010-01-07 Jan Willy Damsleth Control device, system and method for public illumination
WO2008142238A2 (fr) * 2007-03-29 2008-11-27 Dgm Technologies Procede de determination du nombre d'objets presents dans une zone surfacique donnee par thermographie infrarouge
CN101293529A (zh) * 2007-04-29 2008-10-29 余亚莉 车载式轨道交通客流运能及运行安全智能监控和预警***
US20090195654A1 (en) * 2008-02-06 2009-08-06 Connell Ii Jonathan H Virtual fence
US20090262189A1 (en) * 2008-04-16 2009-10-22 Videoiq, Inc. Energy savings and improved security through intelligent lighting systems
US20100271497A1 (en) * 2009-04-28 2010-10-28 Monsive Jr Michael G Portable traffic monitoring system and methods for use

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PRAVEN REDDY AND GERHARD DE JAGER: "Reference Free Nonuniformity Correction for Mercury Cadmium Telluride Infrared Focal Plane Arrays", 《COMMUNICATIONS AND SIGNAL PROCESSING, 1998. COMSIG’98. PROCEEDINGS OF THE 1998 SOUTH AFRICAN SYMPOSIUM》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105702074A (zh) * 2014-11-28 2016-06-22 东莞宇龙通信科技有限公司 实时路况信息的提供方法及***
CN105674878A (zh) * 2014-12-05 2016-06-15 韩华泰科株式会社 在透视图上显示热图的装置和方法
US10733774B2 (en) 2014-12-05 2020-08-04 Hanwha Techwin Co., Ltd. Device and method of displaying heat map on perspective drawing
CN105674878B (zh) * 2014-12-05 2021-03-16 韩华泰科株式会社 在透视图上显示热图的装置和方法
CN108605403A (zh) * 2016-01-29 2018-09-28 飞利浦照明控股有限公司 使用热成像的、基于触摸的照明控制
CN105764217A (zh) * 2016-05-03 2016-07-13 福建师范大学 基于红外热成像的智能道路照明***及其实现方法
CN107422434A (zh) * 2016-05-24 2017-12-01 上海共联通信信息发展有限公司 一种多功能智能光交箱
CN106448143A (zh) * 2016-11-01 2017-02-22 合肥洛维信息科技有限公司 一种人行横道通行的智能监控***
CN107728160B (zh) * 2017-08-21 2021-03-05 广州紫川电子科技有限公司 一种基于红外热像仪的视觉雷达探测方法及***
CN107728160A (zh) * 2017-08-21 2018-02-23 广州紫川电子科技有限公司 一种基于红外热像仪的视觉雷达探测方法及***
CN109841028A (zh) * 2018-11-29 2019-06-04 广州紫川物联网科技有限公司 一种基于红外热像仪的热源探测方法、***及存储介质
CN109841028B (zh) * 2018-11-29 2021-04-02 广州紫川物联网科技有限公司 一种基于红外热像仪的热源探测方法、***及存储介质
CN109717536A (zh) * 2018-11-30 2019-05-07 迅捷安消防及救援科技(深圳)有限公司 消防及救援智能头盔、消防救援方法及相关产品
CN112085691A (zh) * 2019-06-12 2020-12-15 气体产品与化学公司 智能传感器测量***
CN114502931B (zh) * 2019-10-09 2024-05-28 大众汽车股份公司 用于运输车辆操作***的多感知测量***和方法
CN114502931A (zh) * 2019-10-09 2022-05-13 大众汽车股份公司 用于运输车辆操作***的多感知测量***和方法
CN112954265A (zh) * 2019-12-11 2021-06-11 宇龙计算机通信科技(深圳)有限公司 预警的方法、装置、电子设备及介质
CN111400423A (zh) * 2020-03-16 2020-07-10 郑州航空工业管理学院 基于多视图几何的智慧城市cim三维车辆位姿建模***
US20220005346A1 (en) * 2020-07-02 2022-01-06 On It Solutions, LLC Illumination system for crossing zone
US11790770B2 (en) * 2020-07-02 2023-10-17 On It Solutions, LLC Illumination system for crossing zone
CN113949841B (zh) * 2020-07-17 2024-08-06 照亮亚洲(新加坡)私人有限公司 封闭环境中的活动监控***和方法
CN113949841A (zh) * 2020-07-17 2022-01-18 照亮亚洲(新加坡)私人有限公司 封闭环境中的活动监控***和方法
CN112067614A (zh) * 2020-09-04 2020-12-11 重庆交通大学 一种用于公路隧道内路面状态识别的室内模型及模拟方法
CN114630060A (zh) * 2020-12-14 2022-06-14 菲力尔商业***公司 与红外成像相关的不确定度测量***和方法
US11587440B2 (en) 2021-03-23 2023-02-21 Kyndryl, Inc. Prediction method for resilient interconnected traffic management
CN113079613A (zh) * 2021-04-09 2021-07-06 江苏安岚特智能科技有限公司 一种智慧灯杆集中调度方法
CN115225803A (zh) * 2021-04-20 2022-10-21 深圳市臻呈科技有限公司 一种多功能自动化红外热释电感应监控相机
CN114058778B (zh) * 2021-11-18 2022-09-20 中国安全生产科学研究院 一种炼钢设备温度采集安全监控***
CN114058778A (zh) * 2021-11-18 2022-02-18 中国安全生产科学研究院 一种炼钢设备温度采集安全监控***

Also Published As

Publication number Publication date
WO2012170953A3 (en) 2013-09-12
US20140112537A1 (en) 2014-04-24
EP2719168A2 (en) 2014-04-16
WO2012170953A2 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN103931172A (zh) 使用热成像智能监控大街的***及方法
US20220046779A1 (en) Outdoor lighting system and method
US20240046689A1 (en) Road side vehicle occupancy detection system
CN105191505B (zh) 用于室外照明网络的信息管理和控制的方法和装置
US20210071855A1 (en) Multifunction lighting control unit
KR102131250B1 (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
KR101844507B1 (ko) 열적외선 온도 어레이 센서와 영상카메라 일체형 감시장치를 구비한 감시 서비스 시스템
US11308316B1 (en) Road side vehicle occupancy detection system
KR20130120326A (ko) 지능형 가로등 시스템
US10136502B2 (en) Thermal sensing
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
EP3058508A1 (en) Method and system for determining a reflection property of a scene
Balali et al. Image-based retro-reflectivity measurement of traffic signs in day time
Mavromatis et al. A dataset of images of public streetlights with operational monitoring using computer vision techniques
RU2539676C2 (ru) Комплекс видеофиксации и измерения скорости движения и координат транспортных средств
US20210125010A1 (en) Automotive sensor integration module
Hautière et al. Daytime visibility range monitoring through use of a roadside camera
KR101667350B1 (ko) Cctv 카메라와 조명이 연동 가능한 보안 시스템
EP3073807B1 (en) Apparatus and method for controlling a lighting system
KR102038574B1 (ko) Tod 센서를 구비하고 설치가 용이한 올인원 도로 영상 감시시스템
KR101414266B1 (ko) 조도 맵을 이용한 조도 관리 시스템 및 방법
Lin et al. Integration of a robust automated pedestrian detection system for signalized intersections
KR101146726B1 (ko) 도로의 열섬현상 측정 및 모니터링 시스템
Vermeulen Automatic Incident Detection (AID) with thermal cameras
KR20240010115A (ko) 블랙아이스 탐지 비전 시스템 및 탐지 방법과 학습 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140716