CN108885688B - 占用传感器 - Google Patents
占用传感器 Download PDFInfo
- Publication number
- CN108885688B CN108885688B CN201780013543.9A CN201780013543A CN108885688B CN 108885688 B CN108885688 B CN 108885688B CN 201780013543 A CN201780013543 A CN 201780013543A CN 108885688 B CN108885688 B CN 108885688B
- Authority
- CN
- China
- Prior art keywords
- camera
- occupancy
- detection technique
- classifier
- proximity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本文描述用于占用传感器的***和技术。可以接收来自相机的图像。此处,相机有某些视野。当对象进入视野时,可以接收来自接近检测器的接近指示器。来自相机的图像被处理以提供占用指示。在没有接近指示器的情况下第一技术用于占用指示,否则使用第二技术。
Description
要求优先权
本专利申请要求2016年2月29日提交的题为“占用传感器”的美国申请序列号15/056,560的优先权,其全部内容通过引用结合于此。
技术领域
本文描述的实施方案一般涉及设施自动化,并且更具体地涉及占用传感器。
背景技术
占用检测是几个***的重要方面,例如设施自动化(例如,当人们在场时照亮区域)、安全、城市管理等。例如,室外占用感应可以为智能城市、道路中的交通监控、以及其他应用程序提供智能路灯。一些占用传感器可以使用视频、红外(IR)、深度或其他传感器来做出占用决定。
附图说明
在附图中,不一定按比例绘制,相同的附图标记可以描述不同视图中的类似组件。具有不同字母后缀的相同数字可表示类似组件的不同实例。附图通过示例而非限制的方式示出了本文件中讨论的各种实施例。
图1是根据实施方案包括占用传感器的环境的示例的框图。
图2根据实施方案描述从相机角度来看的图像。
图3根据实施方案描述占用传感器的方法的示例的流程图。
图4是描述可以在其上实现一个或多个实施方案的机器的示例的框图。
具体实施方式
目前占用传感器采用了几种技术。例如,传感器可以采用基于视频的技术来寻找帧之间的差异以在视野中建立运动。一些技术被组合,例如在激光、声纳、雷达或其他传感器触发读数之后将视频相机打开以处理运动。
各种技术可用于基于视频的运动检测。一种这样的技术采用先前帧和当前帧之间的差异比较。一种这样的差异比较是高斯混合(MOG)技术。通常,这些技术通过从一个或多个先前帧中减去当前帧来从背景中识别前景(例如,移动)对象(例如,静止对象)。例如,剩余的像素是前景对象。这些像素可以分组为斑点,斑点是前景对象。例如,如果想要检测人类的占有率,则可以测试具有人的预期体积的斑点的体积以辨别人和狗之间的体积。
其他技术可以采用各种人工智能(AI)技术,例如神经网络分类器等。通常,AI技术提供更大的能力来区分被观察但是计算量很大的对象(例如,移动对象是人还是狗),导致更大的功耗。相比之下,差异技术(如MOG)快速且省电。因此,在许多实现中,采用差异技术形式。
尽管差异技术是有效的,但是存在这些技术难以处理的情况。例如,当安装在室外时,相机视角可能会导致垃圾(例如吹气袋)或小动物(例如鸟或昆虫)形成前景斑点(因为它正在移动),其体积超过触发阈值。在这些情况下,差异技术的简单应用可能导致误报检测。在例子中,占用传感器被用来打开路灯,灯会不必要地打开,浪费电力。需要的是一种占用传感器,其可以检测到可能引起这些误报的这种入侵到相机的视野中并且区分期望的前景对象和不期望的前景对象以防止假阳性结果。
这里描述的占用传感器将一个接近检测器添加到相机。接近检测器被安排成当对象在相机的视野内的预定距离内时它发出警报。当接近检测器没有警告时(例如,当没有任何东西在预定距离内时),占用传感器使用诸如MOG的有效的基于差异的技术来处理其视频。然而,当接近检测器发出警报时,占用传感器改变其感测技术以包括分类器以区分前景对象,当分类器指示观察到目标前景对象时触发占用指示。以这种方式,占用传感器可以以有效的方式操作,同时减少误报结果。以下描述其他细节、示例和实施例。
图1是根据实施方案包括占用传感器100的环境的示例的框图。占用传感器100包括相机105,接近检测器110和控制器115。这些组件以硬件实现,包括如下面参考图4所述的电路。相机105和接近检测器110定位成使得用于接近检测器110的感测区域120与用于相机105的视野125重叠。控制器115被布置成当占用传感器100在操作时通信地耦合到相机105和接近检测器110,但是可以直接连接(例如,经由总线、互连、通用输入-输出引脚、插座等)、通过网络(例如,有线或无线)连接、或包含在单个外壳或安装中。
图1示出了有问题的户外环境。所有鸟135、狗140和汽车130都在相机的视野125中并且都在移动。如上所述,鸟135与相机105的接近可导致大的斑点。在其他***中,当需要诸如汽车130的大型对象时,这种大的斑点可能触发误报占用指示。相反,狗140可能由于其相对于轿厢130的小尺寸及其在视野125内的类似位置而被忽略。图2示出了该原理的示例。然而,如图1所示,鸟135位于接近检测器的感测区域120内,触发增强技术以在轿厢130和鸟135之间辨别。
接近检测器110可以是当对象在阈值距离内时提供接近指示器的任何类型。例如,接近检测器可以是基于声音的(例如,高超音速)检测器或主动IR传感器,其将能量发射到环境中并测量该能量的反射。在例子中,接近检测器110具有固定的阈值距离。在该例子中,接近检测器110在足够大的对象(例如,足够大以供传感器检测)移动到感测区域120中时提供接近指示器。在例子中,固定阈值距离可以由外部实体(例如维护人员等)在设置时调整,也可以稍后调整。
在例子中,接近指示器在与接近检测器110没有通信时被认为是否定的,否则是正的。在例子中,接近指示器是指示正(通知触发接近检测器110)或负(没有触发接近检测器110)的通信。在例子中,接近指示器是二进制的(例如,开或关)。在例子中,接近指示器是一个距离。然而,接近指示器不是提供对象的深度图像的深度传感器。
相机105从光产生图像。在例子中,相机105是二维相机,产生二维图像。在例子中,相机105是多波长(例如,多色)相机。
控制器115包含处理电路(例如,数字信号处理器等)和到相机105和接近检测器110的通信接口。因此,控制器115被布置成从所述相机接收图像105。控制器115还被设置为从接近检测器110接收接近指示器。
控制器115还被设置为处理来自相机105的图像以提供占用指示。占用指示是指示观察区域被目标移动对象占据的输出信号(例如,一条线、一条消息,等等)。为了提供来自相机105的占用信号,控制器115在没有接近指示器的情况下使用第一技术处理图像。这里,缺席还包括接收负接近指示器。在任何一种情况下,接近检测器110都没有检测到固定阈值距离内的对象。当接近指示器指示对象在阈值距离内时,控制器115将使用第二技术来处理占用指示的图像。
在例子中,第一技术是一种低功耗技术。在例子中,第一技术包括识别前景对象。如上所述,前景对象是移动对象而背景对象不移动。然而,可以应用各种过滤技术来消除背景对象的移动,例如树的摇摆。这些技术可能包括跟踪周期性运动并忽略它们。在例子中,可以通过差分技术识别前景对象,从而通过前一帧减去当前帧。剩余像素涉及帧之间的移动。结合前一帧的较长期视图,可以使用多个先前帧来确定背景的参考。可以采用高斯混合(MOG)技术来创建参考帧并确定与当前帧中的移动相关联的像素。
一旦针对前景对象识别出像素组(例如,斑点),则当斑点超过阈值大小时触发占用指示。这种计算是相对有效的并且允许第一技术的低功率操作,而不会例如触发对不期望目标的占用指示。例如,如果目标对象是汽车130,例如,打开灯,人们可能希望区分狗140。当每个都在移动时,使用斑点尺寸提供了区分汽车130和狗140的直接方式。下面参考图2讨论一个例子。
第二技术提供了关于观察到的前景对象类型的更多细节。在例子中,第二技术包括应用分类器来区分目标。如本文所使用的,分类器是用于处理图像并对其中发现的对象进行分类或标记的AI技术家族的实现。分类器也可称为统计学习方法,并且通常应用某种形式的模式匹配来输出给定图像的结果。例如,可以训练分类器以识别图像中的猫。当给出图像时,这样的分类器将确定例如猫是否存在、猫的类型、或图像中猫的位置。分类器可以通过多种方式实现,例如通过神经网络、内核方法(如支持向量机)、k-最近邻算法、高斯混合模型、朴素贝叶斯分类器和决策树等。
在例子中,分类器应用于图像。在例子中,分类器应用于图像的与通过第一技术识别的前景对象斑点相对应的部分。在例子中,分类器应用于斑点本身,通过首先应用第一技术来识别。在例子中,分类器仅适用于超出阈值大小的那些斑点。因此,例如,分类器不应用于狗140斑点,而是应用于鸟135和汽车130斑点。
控制器115基于所述分类器的结果提供占用指示。在例子中,分类器被训练以识别包含对象。在该例子中,当所述分类器不识别所述前景对象时提供占用指示。当例如包含对象具有有限的形状,例如有限的一组车辆时,这种方法可以具有更简单的分类器的优点。在例子中,分类器被训练以识别排除对象。在该例子中,当所述分类器不识别所述前景对象时提供占用指示。在例子中,排除对象是飞行动物(例如,鸟、昆虫等)或碎片(例如树枝、灰尘、雪、纸等)。
占用传感器100为占用传感器所具有的问题提供了一种优雅的解决方案,包括在减少假阳性占用指示的同时保持功率效率。接近检测器110的添加是基于视频的占用传感器的低成本且易于集成的修改,其避免了诸如深度相机、毫米波雷达等的复杂性。此外,谨慎地使用AI视觉分类,当对象触发接近检测器110时,允许控制器115在没有这样的触发对象时使用功率有效的视觉占用技术。
图2示出了根据实施方案的从相机角度看的图像200。图像200包括鸟类斑点205、汽车斑点220和狗斑点225,其分别对应于图1中所示的鸟类135、汽车130和狗140。如上所述,斑点是通过它们在当前图像与一个或多个先前图像之间的变化被视为前景对象的像素集合。
作为简单的说明性技术,如上所述,将阈值大小应用于斑点,以区分目标前景对象和不应触发占用的对象。例如,汽车斑点220大于阈值对象215,因此是目标前景对象,而狗斑点225小于阈值对象230,因此不是目标前景对象。这假定,例如,汽车的占用是理想的。反之亦然,例如,如果有人希望忽略汽车而不是更小的对象。
然而,鸟类斑点205示出了占用传感器100的问题地址。鸟类斑点205大于阈值对象210,而实际上,鸟130非常小。该错误是由于鸟130接近相机105和相机的视角。因此,如上所述,鸟130将错误地触发占用指示。然而,如图1所示,鸟130在感测区域135内,并且还将触发接近检测器110以提供接近指示器(例如,正接近指示器)。因此,在这种情况下,控制器115不依赖于斑点的简单阈值处理,而是调用分类器。例如,如果训练识别汽车,则分类器将拒绝鸟类斑点205。然而,剩余的汽车斑点220将触发占用指示。
图3示出了根据实施方案的用于占用传感器的方法300的示例的流程图。方法300的操作在计算机硬件上承载,例如以上关于图1或者在下面关于图4(例如,处理器、电路等)描述的。
在操作305,从相机接收图像。可以拉动(例如,请求)或推动(例如,由相机发送)图像。图像是相机所指向的场景,即由相机的视野定义的场景。在例子中,所述图像是二维图像,与深度或三维图像形成对比。
在操作310,从接近检测器接收接近指示器。接近检测器被安排成使得它检测相机视野内的对象直到阈值距离。在例子中,阈值距离在操作期间是固定的,但可以在设置期间或维护期间进行调整。在例子中,接近检测器是一种主动的红外设备。在例子中,接近传感器是基于激光的设备。
在判定315,确定接近指示器是否有效。在例子中,接近指示器在被接收时有效,例如,通过一个或多个引脚接收到通用I/O端口。在例子中,接近指示器在包含指示其处于活动状态的消息或有效负载时处于活动状态。在例子中,当接近传感器包括在可接受范围内的距离(例如,在一米内、在100厘米和两米之间等)时,接近传感器是有效的。
在操作320,当接近指示器不活动时,使用第一技术处理图像以使其占用。在例子中,第一技术是一种节能技术。在例子中,应用第一技术包括识别前景对象。在例子中,MOG技术用于从图像序列中识别前景对象。
在例子中,应用第一技术包括阈值发现前景对象对大小模型。如果前景对象小于下限阈值,则方法300将不进行到操作330。相反,如果对象小于上限阈值,则方法300将继续到操作330。
在操作325,当接近指示器有效时,使用第二技术处理图像以便占用。在例子中,第二技术包括将分类器应用于前景对象。在例子中,当前景对象超出阈值大小时,分类器应用于前景对象。如上所述,分类器也可以应用于当前图像、图像序列、当前图像的对应于前景对象的部分、或者前景对象的像素斑点。
在例子中,分类器被训练以识别排除对象。在该例子中,当分类器不识别前景对象时,方法300进行到操作330。也就是说,不排除前景对象,因为分类器不能识别它。在例子中,排除对象包括飞行动物或碎片中的至少一种。在例子中,分类器被训练以识别包含对象。在该例子中,当分类器确实识别出前景对象时,该方法进入操作330。在例子中,前景对象包括人或车辆中的至少一个。
在操作330,基于所使用的技术提供占用指示。因此,如操作320和330中所述,取决于技术的结果,方法330到达该操作以输出占用指示。在例子中,占用指示包括已过滤的前景对象的计数。在例子中,占用指示包括前景对象的翻译位置。在该例子中,对象在现实世界中的位置是从对象在图像中的位置和相机安装的已知值(例如,高度、方向、间距等)和光学特性转换而来的。在例子中,占用指示仅包括关于是否存在感兴趣的前景对象的二元指示。
图4示出了示例性机器400的框图,在其上可以执行本文所讨论的任何一种或多种技术(例如,方法)。在备选实施例中,机器400可以作为独立设备操作或者可以连接(例如,联网)到其他机器。在联网部署中,机器400可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的能力操作。在例子中,机器400可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器400可以是个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络设备、网络路由器、交换机或网桥、或者任何能够执行指定该机器要采取的动作的指令(顺序或其他)的机器。此外,虽然仅示出了单个机器,但术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的任何机器集合,如云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文所述,示例可以包括逻辑或多个组件或机制,或者可以由逻辑或多个组件或机制操作。电路是在有形实体中实现的电路的集合,其包括硬件(例如,简单电路、门、逻辑等)。电路成员资格可能会随着时间和底层硬件可变性而变得灵活。电路包括可以单独或组合地在操作时执行指定操作的成员。在例子中,电路的硬件可以不可改变地设计成执行特定操作(例如,硬连线)。在例子中,电路的硬件可以包括可变连接的物理组件(例如,执行单元、晶体管、简单电路等),包括物理修改的计算机可读介质(例如,磁性、电、可变的聚集粒子的可移动放置等)编码特定操作的指令。在连接物理组件时,硬件组件的基础电特性例如从绝缘体变为导体,反之亦然。该指令使嵌入式硬件(例如,执行单元或加载机构)能够通过可变连接在硬件中创建电路的成员,以在操作时执行特定操作的部分。因此,当设备操作时,计算机可读介质通信地耦合到电路的其他组件。在例子中,任何物理组件都可以用于多于一个电路的多个成员中。例如,在操作中,执行单元可以在一个时间点用在第一电路的第一电路中,并且由第一电路中的第二电路重用,或者在不同时间由第二电路中的第三电路重用。
机器(例如,计算机***)400可以包括硬件处理器402(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或其任何组合)、主存储器404和静态存储器406,其中的一些或全部可以经由互连链路(例如,总线)408彼此通信。机器400还可以包括显示单元410、字母数字输入设备412(例如,键盘)和用户界面(UI)导航设备414(例如,鼠标)。在例子中,显示单元410、输入设备412和UI导航设备414可以是触摸屏显示器。机器400可以另外包括存储设备(例如,驱动单元)416、信号生成设备418(例如,扬声器)、网络接口设备420、以及一个或多个传感器421,诸如全球定位***(GPS)传感器、指南针、加速度计或其他传感器。机器400可以包括输出控制器428,例如串行(例如,通用串行总线(USB)、并行或其他有线或无线(例如,红外(IR)、近场通信(NFC)等),连接以通信或控制一个或多个***设备(例如,打印机、读卡器等)。
存储设备416可以包括机器可读介质422,其上存储有由本文描述的任何一个或多个技术或功能体现或使用的一组或多组数据结构或指令424(例如,软件)。指令424还可以在机器400执行期间完全或至少部分地驻留在主存储器404内、静态存储器406内或硬件处理器402内。在例子中,硬件处理器402、主存储器404、静态存储器406或存储设备416的一个或任何组合可以构成机器可读介质。
虽然机器可读介质422被示为单个介质,但是术语“机器可读介质”可以包括被配置为存储一个或多个指令424的单个介质或多个介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。
术语“机器可读介质”可以包括能够存储、编码或携带由机器400执行的指令并且使机器400执行本公开的任何一种或多种技术的任何介质,或者包括能够存储、编码或携带由这些指令使用或与之相关的数据结构的任何介质。非限制性机器可读介质示例可包括固态存储器以及光学和磁性介质。在例子中,集合机器可读介质包括具有多个具有不变(例如静止)质量的粒子的机器可读介质。因此,集合机器可读介质不是暂时传播信号。集合机器可读介质的具体示例可以包括:非易失性存储器,诸如半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备;磁盘,如内部硬盘和可移动磁盘;磁光盘以及CD-ROM和DVD-ROM磁盘。
指令424还可以通过网络接口设备420使用传输介质在通信网络426上利用多种传输协议中的任何一种(例如,帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)来发送或接收。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如因特网)、移动电话网络(例如蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如称为的电气和电子工程师协会(IEEE)802.11标准系列、称为的IEEE 802.16标准系列)IEEE 802.15.4标准系列、对等(P2P)网络等。在例子中,网络接口设备420可以包括一个或多个物理插孔(例如,以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络426。在例子中,网络接口设备420可以包括多个天线以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一个进行无线通信。术语“传输介质”应被视为包括能够存储、编码或携带由机器400执行的指令的任何无形介质,并且包括数字或模拟通信信号或其他无形介质以促进这种软件的通信。
另外的注释和例子
例子1是装置,包括:具有视野的相机;接近检测器,布置为检测所述视野中的对象;和控制器,以:从所述相机接收图像;从所述接近检测器接收接近指示器;和处理来自所述相机的图像以提供占用指示,其中第一技术在没有所述接近指示器的情况下使用,否则使用第二技术。
在例子2中,例子1的主旨任选地包括:其中接近检测器具有固定的阈值距离,并响应于检测所述固定阈值距离内的对象而提供接近指示器。
在例子3中,例子2的主旨任选地包括:其中接近检测器是有源红外(IR)接近检测器。
在例子4中,例子1–3中任一项或多项的主旨任选地包括:其中所述图像是二维图像。
在例子5中,例子1–4中任一项或多项的主旨任选地包括:其中第一技术包括控制器,以:识别前景对象;和当所述前景对象超出阈值大小时提供占用指示。
在例子6中,例子5的主旨任选地包括:其中识别前景对象,控制器将高斯混合应用于一系列图像。
在例子7中,例子5–6中任一项或多项的主旨任选地包括:其中第二技术包括控制器,以:当所述前景对象超出阈值大小时,将分类器应用于所述前景对象;和基于所述分类器的结果提供占用指示。
在例子8中,例子7的主旨任选地包括:其中分类器被训练以识别排除对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
在例子9中,例子8的主旨任选地包括:其中排除对象包括飞行动物。
在例子10中,例子7–9中任一项或多项的主旨任选地包括:其中分类器被训练以识别包含对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
例子11是机器可读介质,包括当由机器执行时使机器执行包括以下操作的操作的指令:从相机接收图像,所述相机具有视野;从接近检测器接收接近指示器,接近检测器被布置为检测所述视野中的对象;和处理来自所述相机的图像以提供占用指示,其中第一技术在没有所述接近指示器的情况下使用,否则使用第二技术。
在例子12中,例子11的主旨任选地包括:其中接近检测器具有固定的阈值距离,并响应于检测所述固定阈值距离内的对象而提供接近指示器。
在例子13中,例子12的主旨任选地包括:其中接近检测器是有源红外(IR)接近检测器。
在例子14中,例子11–13中任一项或多项的主旨任选地包括:其中所述图像是二维图像。
在例子15中,例子11–14中任一项或多项的主旨任选地包括:其中第一技术包括:识别前景对象;和当所述前景对象超出阈值大小时提供占用指示。
在例子16中,例子15的主旨任选地包括:其中识别前景对象包括将高斯混合应用于一系列图像。
在例子17中,例子15–16中任一项或多项的主旨任选地包括:其中第二技术包括:当所述前景对象超出阈值大小时将分类器应用于所述前景对象;和基于所述分类器的结果提供占用指示。
在例子18中,例子17的主旨任选地包括:其中分类器被训练以识别排除对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
在例子19中,例子18的主旨任选地包括:其中排除对象包括飞行动物。
在例子20中,例子17–19中任一项或多项的主旨任选地包括:其中分类器被训练以识别包含对象,并且其中当所述分类器不识别所述前景对象时提供占用指示.
例子21是方法,包括:从相机接收图像,所述相机具有视野;从接近检测器接收接近指示器,接近检测器被布置为检测所述视野中的对象;和处理来自所述相机的图像以提供占用指示,其中第一技术在没有所述接近指示器的情况下使用,否则使用第二技术。
在例子22中,例子21的主旨任选地包括:其中接近检测器具有固定的阈值距离,并响应于检测所述固定阈值距离内的对象而提供接近指示器。
在例子23中,例子22的主旨任选地包括:其中接近检测器是有源红外(IR)接近检测器。
在例子24中,例子21–23中任一项或多项的主旨任选地包括:其中所述图像是二维图像。
在例子25中,例子21–24中任一项或多项的主旨任选地包括:其中第一技术包括:识别前景对象;和当所述前景对象超出阈值大小时提供占用指示。
在例子26中,例子25的主旨任选地包括:其中识别前景对象包括将高斯混合应用于一系列图像。
在例子27中,例子25–26中任一项或多项的主旨任选地包括:其中第二技术包括:当所述前景对象超出阈值大小时将分类器应用于所述前景对象;和基于所述分类器的结果提供占用指示。
在例子28中,例子27的主旨任选地包括:其中分类器被训练以识别排除对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
在例子29中,例子28的主旨任选地包括:其中排除对象包括飞行动物。
在例子30中,例子27–29中任一项或多项的主旨任选地包括:其中分类器被训练以识别包含对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
例子31是***,包括实现例子21-30中的任一项方法的构件。
例子32是机器可读介质,包括当由机器执行时使机器实现例子21-30中的任一项方法的指令。
以上详细描述包括对附图的参考,附图形成详细描述的一部分。附图通过图示的方式示出了可以实践的具体实施例。这些实施例在本文中也称为“示例”。这样的示例可以包括除了示出或描述的那些之外的元件。然而,本发明人还考虑了例子,其中仅提供了所示或所述的那些元件。此外,本发明人还考虑使用所示或所述的那些元素(或其一个或多个方面)关于特定例子(或其一个或多个方面)或者相对于本文所示或所述的其他例子(或其一个或多个方面)的任何组合或置换。
本文件中提及的所有出版物、专利和专利文献均通过引用整体并入本文,如同通过引用单独并入一样。如果本文件与通过引用并入的那些文件之间的使用不一致,则所引用的参考文献中的用法应被视为对本文件的使用的补充,对于不可调和的不一致性,以本文档中的用法控制。
在该文献中,术语“一”或“一个”在专利文献中是常见的,包括一个或多于一个、独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文件中,术语“或”用于表示非排他性的,使得“A或B”包括“A但不是B”、“B但不是A”、“A和B”,除非另有说明表示。在所附权利要求中,术语“包括”和“其中”用作相应术语“包括”和“其中”的等同词。此外,在以下权利要求中,术语“包括”和“包含”是开放式的,即,除了在权利要求中的该术语之后列出的元件之外的元件的***、装置、物品或过程仍被认为属于该权利要求的范围内。此外,在以下权利要求中,术语“第一”、“第二”和“第三”等仅用作标记,并不旨在对其对象施加数字要求。
以上描述旨在是说明性的而非限制性的。例如,上述例子(或其一个或多个方面)可以彼此组合使用。在阅读以上描述之后,例如本领域普通技术人员可以使用其他实施例。摘要是为了使读者能够快速确定技术公开的本质,并且在不理解其将不用于解释或限制权利要求的范围或含义的情况下提交。而且,在以上详细描述中,各种特征可以组合在一起以简化本公开。这不应被解释为意图无人认领的公开特征对于任何权利要求是必不可少的。相反,创造性主旨可能少于特定公开实施例的所有特征。因此,以下权利要求在此并入具体实施方式中,每个权利要求自身作为单独的实施例。应该参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定实施例的范围。
Claims (15)
1.一种用于提供占用指示的装置,该装置包括:
具有视野的相机;
接近检测器,布置为检测所述视野中的对象,所述接近检测器与所述相机分离,并且所述接近检测器的感测区域与所述相机的视场重叠,以及所述相机的至少一部分视场与所述感测区域不重叠;和
控制器,用于:
从所述相机接收图像;
从与所述相机的视野重叠的所述接近检测器的感测区域接收接近指示器,其中所述接近指示器源自所述接近检测器并且指示所述感测区域内与所述相机检测器的视野重叠的对象的存在或不存在,其中所述接近检测器具有阈值距离,并响应于在所述阈值距离内检测对象而提供接近指示器;和
基于所述接近指示器,使用第一占用检测技术或第二占用检测技术来处理来自所述相机的图像以提供占用指示,其中在没有来自所述感测区域的对象的情况下使用第一占用检测技术,并且当所述对象存在于感测区域中时使用第二占用检测技术,其中所述第一占用检测技术与所述第二占用检测技术不同,并使用比所述第二占用检测技术低的功率。
2.权利要求1所述的装置,其中所述第一占用检测技术包括:所述控制器用于:
使用来自所述相机的图像将所述对象识别为前景对象;和
当所述前景对象超出阈值大小时提供占用指示。
3.权利要求2所述的装置,其中所述第二占用检测技术包括:所述控制器用于:
当所述前景对象超出阈值大小时,将分类器的模式匹配应用于所述前景对象;和
基于所述分类器的结果提供占用指示。
4.一种用于提供占用指示的方法,该方法包括:
从相机接收图像,所述相机具有视野;
从与所述相机的视野重叠的接近检测器的感测区域接收接近指示器,所述接近检测器设置成检测视野中的对象,其中所述接近检测器与所述相机分离,并且其中所述接近指示器指示与所述相机的视野重叠的感测区域内对象存在或不存在,并且所述相机的至少一部分视野与所述感测区域不重叠,其中所述接近检测器具有阈值距离,并响应于在所述阈值距离内检测对象而提供接近指示器;和
基于所述接近指示器,使用第一占用检测技术或第二占用检测技术来处理来自所述相机的图像以提供占用指示,其中在没有来自所述感测区域的对象的情况下使用第一占用检测技术,并且当所述对象存在于感测区域中时使用第二占用检测技术,其中所述第一占用检测技术与所述第二占用检测技术不同,并使用比所述第二占用检测技术低的功率。
5.权利要求4所述的方法,其中所述阈值距离是固定阈值距离。
6.权利要求5所述的方法,其中所述接近检测器是有源红外(IR)接近检测器。
7.权利要求4–6中任一项所述的方法,其中所述图像是二维图像。
8.权利要求4–6中任一项所述的方法,其中所述第一占用检测技术包括:
识别前景对象;和
当所述前景对象超出阈值大小时提供占用指示。
9.权利要求8所述的方法,其中所述识别前景对象包括将高斯混合应用于一系列图像。
10.权利要求8所述的方法,其中所述第二占用检测技术包括:
当所述前景对象超出阈值大小时将分类器应用于所述前景对象;和
基于所述分类器的结果提供占用指示。
11.权利要求10所述的方法,其中所述分类器被训练以识别排除对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
12.权利要求11所述的方法,其中排除对象包括飞行动物。
13.权利要求10所述的方法,其中所述分类器被训练以识别包含对象,并且其中当所述分类器不识别所述前景对象时提供占用指示。
14.一种***,包括实施权利要求4-13中任一项所述的方法的构件。
15.一种机器可读介质,包括当由机器执行时使机器实现权利要求4-13中任一项所述的方法的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/056,560 US10290194B2 (en) | 2016-02-29 | 2016-02-29 | Occupancy sensor |
US15/056,560 | 2016-02-29 | ||
PCT/IB2017/000250 WO2017149386A1 (en) | 2016-02-29 | 2017-02-27 | Parking space occupancy sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108885688A CN108885688A (zh) | 2018-11-23 |
CN108885688B true CN108885688B (zh) | 2021-12-10 |
Family
ID=58632532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780013543.9A Active CN108885688B (zh) | 2016-02-29 | 2017-02-27 | 占用传感器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10290194B2 (zh) |
CN (1) | CN108885688B (zh) |
DE (1) | DE112017001044T5 (zh) |
WO (1) | WO2017149386A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10290194B2 (en) | 2016-02-29 | 2019-05-14 | Analog Devices Global | Occupancy sensor |
CN108629856B (zh) * | 2018-05-11 | 2020-12-22 | 北京易创智慧科技集团有限公司 | 一种停车场智能停车收费方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2918683A1 (en) * | 2013-07-18 | 2015-01-22 | Google Inc. | Systems and methods for processing ultrasonic inputs |
CN104573727A (zh) * | 2015-01-16 | 2015-04-29 | 山东师范大学 | 一种手写体数字图像降维方法 |
CN105225523A (zh) * | 2015-10-15 | 2016-01-06 | 浙江宇视科技有限公司 | 一种车位状态检测方法及装置 |
CN105339061A (zh) * | 2014-04-25 | 2016-02-17 | 株式会社小松制作所 | 周边监视***、作业车辆以及周边监视方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6050369A (en) | 1994-10-07 | 2000-04-18 | Toc Holding Company Of New York, Inc. | Elevator shaftway intrusion device using optical imaging processing |
US6163257A (en) | 1996-10-31 | 2000-12-19 | Detection Systems, Inc. | Security system having event detectors and keypads with integral monitor |
US6107930A (en) | 1997-10-29 | 2000-08-22 | Behlke; George Eric | Security system keypad illuminated by proximate motion |
EP1109141A1 (de) | 1999-12-17 | 2001-06-20 | Siemens Building Technologies AG | Präsenzmelder und dessen Verwendung |
US7868912B2 (en) | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US7026954B2 (en) | 2003-06-10 | 2006-04-11 | Bellsouth Intellectual Property Corporation | Automated parking director systems and related methods |
US8184154B2 (en) | 2006-02-27 | 2012-05-22 | Texas Instruments Incorporated | Video surveillance correlating detected moving objects and RF signals |
EP2243125B1 (en) * | 2007-12-13 | 2020-04-29 | Clemson University Research Foundation | Vision based real time traffic monitoring |
US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
US20120087573A1 (en) | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
US9648284B2 (en) * | 2011-05-15 | 2017-05-09 | Lighting Science Group Corporation | Occupancy sensor and associated methods |
SE537427C2 (sv) * | 2012-08-20 | 2015-04-28 | Mindmancer AB | Metod och datorprogramprodukt för övervakningssystem och övervakningssystem |
US20150117705A1 (en) | 2013-10-25 | 2015-04-30 | Chengdu Haicun Ip Technology Llc | Hybrid Parking Detection |
US20160180175A1 (en) * | 2014-12-18 | 2016-06-23 | Pointgrab Ltd. | Method and system for determining occupancy |
US9619985B2 (en) * | 2015-04-08 | 2017-04-11 | Vivint, Inc. | Home automation communication system |
US10477647B2 (en) * | 2015-05-01 | 2019-11-12 | Hubbell Incorporated | Adaptive visual intelligence outdoor motion/occupancy and luminance detection system |
US10290194B2 (en) | 2016-02-29 | 2019-05-14 | Analog Devices Global | Occupancy sensor |
-
2016
- 2016-02-29 US US15/056,560 patent/US10290194B2/en active Active
-
2017
- 2017-02-27 CN CN201780013543.9A patent/CN108885688B/zh active Active
- 2017-02-27 WO PCT/IB2017/000250 patent/WO2017149386A1/en active Application Filing
- 2017-02-27 DE DE112017001044.6T patent/DE112017001044T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2918683A1 (en) * | 2013-07-18 | 2015-01-22 | Google Inc. | Systems and methods for processing ultrasonic inputs |
CN105339061A (zh) * | 2014-04-25 | 2016-02-17 | 株式会社小松制作所 | 周边监视***、作业车辆以及周边监视方法 |
CN104573727A (zh) * | 2015-01-16 | 2015-04-29 | 山东师范大学 | 一种手写体数字图像降维方法 |
CN105225523A (zh) * | 2015-10-15 | 2016-01-06 | 浙江宇视科技有限公司 | 一种车位状态检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US10290194B2 (en) | 2019-05-14 |
CN108885688A (zh) | 2018-11-23 |
US20170249820A1 (en) | 2017-08-31 |
DE112017001044T5 (de) | 2019-01-03 |
WO2017149386A1 (en) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755575B2 (en) | Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety | |
CN108701224B (zh) | 可视车辆停车占用传感器 | |
US10657391B2 (en) | Systems and methods for image-based free space detection | |
KR20220119396A (ko) | 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정 | |
US10878276B2 (en) | Method and system for detecting change of context in video streams | |
KR102472075B1 (ko) | 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법 | |
CN108885688B (zh) | 占用传感器 | |
US20210150694A1 (en) | Vehicle-based measurement of signal object integrity | |
US11222261B2 (en) | Supporting machine learning models distributed among multiple mobile node devices | |
Dogru et al. | Tracking drones with drones using millimeter wave radar | |
US20210103738A1 (en) | Autonomous system terminus assistance techniques | |
US20220035067A1 (en) | Multiple sensor aggregation | |
US20230252649A1 (en) | Apparatus, method, and system for a visual object tracker | |
Dizon et al. | Development of an open-space visual smart parking system | |
Wafi et al. | Highways traffic surveillance system (HTSS) using OpenCV | |
EP4156049A1 (en) | Apparatuses, computer-implemented methods, and computer program products for improved object pathing | |
HemaMalini et al. | Detection of Potholes on Roads using a Drone | |
Nagarathinam et al. | Junction Monitoring System for Emergency Vehicles and Density control Using Image processing | |
WO2022034157A1 (en) | Zone based object tracking and counting | |
Pandey et al. | Towards video based collective motion analysis through shape tracking and matching | |
Liu et al. | UAV integrated internet-of-vehicle (IoV) system for flooding monitoring and rescue | |
Azfar et al. | Incorporating Vehicle Detection Algorithms via Edge Computing on a Campus Digital Twin Model | |
Biju et al. | Unseen Abyss: Implementation of pothole detection system using machine learning | |
Hamieh et al. | LiDAR and Camera-Based Convolutional Neural Network Detection for Autonomous Driving | |
Zhang | Improving Indoor Pedestrian Detection and Tracking in Crowded Environments: Deep Learning Based Multimodal Approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220104 Address after: Limerick Patentee after: ANALOG DEVICES INTERNATIONAL UNLIMITED Co. Address before: Bermuda (UK), Hamilton Patentee before: Analog Devices Global Unlimited Co. |
|
TR01 | Transfer of patent right |