CN1898960A - 视频绊索 - Google Patents

视频绊索 Download PDF

Info

Publication number
CN1898960A
CN1898960A CNA2004800389391A CN200480038939A CN1898960A CN 1898960 A CN1898960 A CN 1898960A CN A2004800389391 A CNA2004800389391 A CN A2004800389391A CN 200480038939 A CN200480038939 A CN 200480038939A CN 1898960 A CN1898960 A CN 1898960A
Authority
CN
China
Prior art keywords
video
user interface
rope
computer
stumbling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800389391A
Other languages
English (en)
Inventor
彼得·L·韦奈蒂阿奈尔
保罗·C·布鲁尔
安德鲁·J·肖萨克
约翰·I·W·克拉克
尼尔斯·黑林
艾伦·J·利普顿
加里·迈耶斯
尹春城
普拉莫德·卡拉帕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diamondback Vision Inc
Original Assignee
Diamondback Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34619801&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1898960(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Diamondback Vision Inc filed Critical Diamondback Vision Inc
Publication of CN1898960A publication Critical patent/CN1898960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/44—Colour synchronisation
    • H04N9/47—Colour synchronisation for sequential signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

一种视频绊索***可以使用户能够通过将视频绊索绘制在视频图像上或来自视频流的截图上来输入视频绊索。此绘制可以通过图形用户接口来实现。

Description

视频绊索
相关申请的交叉引用
本申请是转让给相同受让人的、2001年10月9日递交的题为“Video Tripwire”的美国专利申请No.09/972,039的延续，将其全部内容一并在此作为参考。
技术领域
本发明涉及监视***。具体地，本发明涉及基于视频的监视***。
背景技术
最初，绊索是其中将绳索等横跨道路拉紧的结构，如果某些人或某些东西绊住绳索或拉动绳索，将触发一些响应。例如，这种响应可以是起爆地雷、发出警报或记录事件(例如，触发计数器、摄像机等)。今天，例如，通常将绊索实现为光束(例如，激光、红外线或可见光)；当某些人或某些东西遮蔽光束时，触发响应。
在图1中示意性地示出了使用光束的传统绊索的示例。光源产生光束，横跨道路传输到接收机。如果光束被遮蔽，则接收机不再接收到光束。这将导致一些响应的触发，如上所述。
传统绊索的优势在于其至少在概念上易于使用。而且，一旦进行安装，需要最少的人为干预。
但是，传统绊索具有多种缺点。例如，其不能区分感兴趣的触发物体和不感兴趣的触发物体。作为示例，可能感兴趣的是有多少人而不是狗通过道路；但是，无论是人还是狗都将触发绊索。问题还在于：如果一群人一起走，将导致绊索的单次触发，而不是每个人一次。
此外，传统的绊索结构通常涉及专用设备的安装。例如，考虑激光绊索的示例，必须横跨所关心的道路安装激光源和激光检测器。此外，这种专用设备难以按照不易察觉的方式进行安装。
此外，传统的绊索不能提供高度的灵活性。传统的绊索典型地只检测是否有某些人或某些东西穿过，而不涉及穿过的方向。此外，因为只能直线延伸，传统的绊索局限于可以横跨其进行安装的区域。
今天，传统的视频监视***也得到了普遍使用。例如，普遍安装在商店、银行和多种其他建筑物中。视频监视***通常涉及一个或多个视频摄像机的使用，并记录从摄像机输出的视频，以便稍后检查，或由人类观察员监视从摄像机输出的视频，或二者兼而有之。这种***如图2所示，其中将视频摄像机1对准道路。视频摄像机1产生视频信号，通过通信介质进行传输，这里所示为电缆2。电缆2馈入可视显示设备3和记录设备4之一或二者。
与传统的绊索不同，视频监视***可以区分人和动物(即区分感兴趣的物体和不感兴趣的物体)，并且可以区分在一起行走的一群人中的个体。在能够监视的区域的形状方面，也提供了优于绊索的灵活性。同样，因为视频监视***得到了广泛的使用，不需要安装其他设备。但是，视频监视***也存在一些缺点。
传统视频监视***的最主要的缺点可能在于其需要高度的人为干预，以便从所产生的视频中提取信息。即，必须有人在其产生时观看视频，或者必须有人检查已存储的视频。
现有技术的基于视频的监视***的示例可以在授予Seeley等人的美国专利No.6,097,429和6,091,771(此后，统称为“Seeley等人”)中找到。Seeley等人涉及一种视频安全***，包括在检测到入侵时拍摄截图。Seeley等人仅致力于与虚假告警和检测一些入侵/入侵者的需要有关的一些问题。其中使用了图像区分技术和物体识别技术。但是，如稍后所述，在Seeley等人与本发明之间存在多种区别。Seeley等人最严重的缺点在于并未公开如何进行检测和识别。在这些领域所公开的内容与本发明所呈现的内容不同。
在授予Nasburg的美国专利No.5,696,503和5,801,943(以下，统称为“Nasburg”)中讨论了基于视频或其他传感器的监视***的另一示例。Nasburg处理了利用多种传感器(包括视频传感器)对车辆的跟踪。针对要跟踪的车辆，开发了“指纹”，并随后用于检测各个车辆。尽管Nasburg确实提及了视频绊索的概念，但并未公开如何实现这种视频绊索。Nasburg与本发明的区别还在于仅专注于检测和跟踪车辆。与此相反，如下面所公开以及所附权利要求所要求保护的那样，本发明的目的在于检测任意运动物体，包括刚体(如车辆等)和非刚体(如人类等)。
发明内容
考虑到上述问题，组合了绊索的优点与视频监视***的优点的视频***是有利的，这也正是本发明的目标。
本发明实现了一种视频绊索***，其中利用基于计算机的视频处理技术，在数字视频中放置了任意形状的虚拟绊索。然后，同样利用基于计算机的视频处理技术，监视此虚拟绊索。作为监视的结果，可以对统计数据进行编译、入侵检测、事件记录、响应触发等。例如，在本发明的一个实施例中，人沿着一个方向穿过虚拟绊索的事件可以触发对此人的截图捕获，以便进一步识别。
可以利用现有的视频设备结合计算机设备来实现本发明的***。因此，具有不需要扩展安装监视设备的优点。本发明的***可以部分地以包含实现了对应方法的多种步骤的软件的计算机可读介质的形式实现，或者可以实现为执行这种软件的计算机***(可以包括计算机网络)。
本发明的***也可以结合除了传统的视频(包括热成像***或红外摄像机)以外的其他成像设备一起使用。
本发明的一个实施例包括一种用于实现视频绊索***的方法，包括以下步骤：如果不存在，安装传感设备(可以是视频摄像机或其他这种设备)；校准传感设备；建立作为虚拟绊索的边界；以及收集数据。
通过以下的描述、附图和示例，其他目的和优点将变得更加显而易见。
定义
在描述本发明的过程中，始终(包括上述部分)应用以下定义。
“计算机”表示能够接受结构化输入、根据指定规则处理结构化输入、并产生处理结果作为输出的任何设备。计算机的示例包括计算机、通用计算机、超级计算机、大型机、超级迷你计算机、迷你计算机、工作站、微型计算机、服务器、交互式电视、计算机和交互式电视的混合组合、以及用于仿真计算机和/或软件的应用专用硬件。计算机可以具有单处理器或多处理器，可以并行和/或非并行操作。计算机还表示通过用于在计算机之间传输或接收信息的网络连接在一起的两个或多个计算机。这种计算机的示例包括用于通过以网络相连的计算机来处理信息的分布式计算机***。
“计算机可读介质”表示用于存储可由计算机访问的数据的任何存储设备。计算机可读介质的示例包括磁硬盘、软盘、光盘(如CD-ROM或DVD等)、磁带、存储器芯片和用于承载计算机可读电子数据的载波(如用于传输和接收电子邮件或访问网络的载波等)。
“软件”表示操作计算机的指定规则。软件的示例包括软件、代码段、指令、计算机程序和编程逻辑。
“计算机***”表示具有计算机的***，其中计算机包括实现了操作计算机的软件的计算机可读介质。
“网络”表示通过通信设施连接的多个计算机和相关设备。网络涉及如电缆等永久连接或如通过电话或其他通信链路构成的临时连接。网络的示例包括互联网(如因特网等)、内联网、局域网(LAN)、广域网(WAN)和网络的组合(如互联网和内联网的组合等)。
“视频”表示以模拟和/或数字形式表示的运动画面。视频的示例包括电视、电影、来自摄像机或其他观察器的图像序列和计算机生成的图像序列。例如，这些可以从现场馈线、存储设备、基于IEEE 1394的接口、视频数字化器、计算机图形引擎或网络连接获得。
“视频处理”表示对视频的任何操作，例如包括压缩和编辑。
“帧”表示视频内的特定图像或其他离散单元。
附图说明
通过结合附图阅读以下详细描述，本发明将得到更好的理解，在附图中，相似的参考数字始终表示相似的元件，其中：
图1示出了现有技术的绊索***；
图2示出了现有技术的视频监视***；
图3示出了根据本发明实施例的视频绊索***；
图4示出了根据本发明实施例的分析***的实施例的方框图；
图5示出了用于描述根据本发明实施例的方法的流程图；
图6示出了用于描述图5所示的校准步骤的第一实施例的流程图；
图7示出了用于描述图5所示的校准步骤的第二实施例的流程图；
图8示出了用于描述图5所示的校准步骤的第三实施例的流程图；
图9示出了图8所示的柱状图形成步骤的典型实施例；
图10示出了用于描述图7和8所示的分割步骤的典型实施例的流程图；
图11示出了用于描述检测绊索穿越的步骤的典型实施例的流程图；
图12和13示出了用于描述报告格式的典型实施例的“屏幕镜头”；以及
图14示出了用于描述本发明的典型应用的流程图。
具体实施方式
在描述如附图所示的本发明的优选实施例的过程中，为了清楚，采用了特定的术语。但是，本发明并不倾向于被局限于这样选择的特定术语。应当理解，每个特定元件均包括按照类似方式进行操作以实现类似目的的全部技术等价物。将这里所引用的每篇对比文件一并在此作为参考，如同将其单独合并在此作为参考一样。
此外，通常以人的检测来讨论以下所讨论的实施例。但是，不应当将本发明理解为局限于人的检测。相反，可以将下述实施例中的视频绊索***用于检测各种物体，有生命的或无生命的。示例包括车辆、动物、植物生长(例如用于检测何时修整灌木丛的***)、下落物体(例如用于检测何时将可回收罐投入垃圾滑槽的***)、以及微观实体(例如用于检测微生物何时透过细胞壁的***)。
图3示出了视频绊索***的实施例的概况。与图2中一样，将传感设备1对准道路，并产生输出信号。传感设备1可以是视频摄像机，如结合图2所讨论的那样；但是，也可以是产生视频型输出的任何其他类型的传感设备，例如基于热的、基于声音(例如，声波图)的或基于红外的设备。通过通信介质2传输传感设备1的输出。例如，通信介质2可以是电缆；但是，也可以是任何其他通信介质，例如，RF、网络(如因特网)或光波。如果通过通信介质2的通信需要调制、编码、压缩或其他通信相关信号处理，可以提供用于执行这些信号处理的装置，作为传感设备1的一部分或者作为与传感设备1相连的分离装置(未示出)。通信介质2将来自传感设备1的输出信号传递给分析***5。分析***5从用户接口6接收输入并向用户接口6发送输出。例如，用户接口6可以包括监视器、鼠标、键盘、触摸屏、打印机或其他输入/输出设备。利用用户接口6，用户能够提供对***的输入，包括初始化(包括创建虚拟绊索，如稍后所述)所需的输入，并提供对分析***5的命令。用户接口6还可以包括警报或其他报警设备；还可以包括用于实现对触发事件的任何其他响应的装置，或与之相连，如上所述。用户接口6通常还包括类似于图2中的监视设备3的显示设备。
分析***5执行分析任务，包括实现视频绊索所需的处理。在图4中更为详细地示出了分析***5的实施例。图4示出了与通信介质2和用户接口6相连的分析***5，如图3所示。在图4中，所示的分析***5包括接收机51、计算机***52和存储器53。接收机51从通信介质2接收传感设备1的输出信号。如果信号被调制、编码等，则接收机51包含用于执行解调、解码等的装置。此外，如果从通信介质2接收到的信号是模拟形式的，则接收机51包括用于将模拟信号转换为适合于计算机***52处理的数字信号。接收机51可以实现为分离的模块，如图所示，或者在可选实施例中，可以将其集成在计算机***52中。而且，如果在将来自通信介质2的信号发送到计算机***52之前不需要执行任何信号处理，则可以完全省略接收机51。
计算机***52具有存储器53，可以位于计算机***52的外部，如图所示，或者可以并入计算机***52中，或二者的组合。存储器53包括计算机***52所需的全部存储器资源，并且可以包括一个或多个记录设备，用于存储从通信介质2接收到的信号。
在本发明的另一实施例中，可以将传感设备1实现为用于监视相同位置的多个传感设备的形式。在这种情况下，可以在通过通信介质2传输数据之前，对每个传感设备输出的数据进行综合，或者可以将所有传感设备的输出传输给分析***5，并在分析***5进行处理。
在本发明的另一实施例中，传感设备1可以包括用于监视不同位置并将其数据发送给单一分析***5的多个传感设备。按照这种方式，单一***可以用于监视多个场所。
通过以下对本发明方法的讨论，图3和4所示的组件所执行的处理将变得更加清楚。
图5示出了本发明方法的实施例的概况流程图。如果未安装传感设备1，则必须进行安装71。然而，在大多数情况下，这种传感设备可能已经存在。例如，大多数银行已经使用了视频监视***，所以不需要安装新的视频摄像机。在本***的优选实施例中，安装固定的传感设备。理想地，按照“自然”定向进行安装(即图像中的上对应于现实世界中的上)。
在安装了传感设备1时，需要利用分析***5对其进行校准。大体上讲，可以通过显式校准或隐式校准来执行***校准，在显式校准中，告知***(或自动确定)传感设备1所需的校准参数，在隐式校准中，告知***(或自动确定)感兴趣的物体在传感设备1的视场中的多个位置处的尺寸。校准的目的是提供缩放信息，即使***知道人或感兴趣的其他物体在不同图像区域中的尺寸。此信息对于数据分析步骤74尤为重要。可以按照以下三种方式之一或其中两种或更多种的组合来执行校准：手动数值校准、辅助分割校准和全自动校准。这些方法的实施例的流程图分别如图6、7和8所示。
图6示出了手动校准方法的实施例的流程图，涉及上述显式校准。用户通过用户接口6输入与传感设备1有关的参数721。例如，这些参数可以包括传感设备1的焦距、传感设备1距离地面的高度以及传感设备1相对于地面的角度。然后，分析***5产生可视反馈722；例如，***可以将人或感兴趣的其他物体重叠在实际视频帧上。在用户接口6上，将可视反馈呈现给用户。可视反馈提供了缩放信息(例如人或感兴趣的其他物体相对于周围环境的大小)，有助于验证校准是正确的。然后，用户决定可视反馈的外观是否是可接受的，或者是否需要调整参数723。如果可接受，则结束处理；否则，处理循环回到新参数的输入721。
使用隐式校准并可能也至少在一定程度上涉及显式校准的(如下)、辅助分割校准方法的实施例如图7所示。在本实施例中，人步行通过传感设备1的视场(或者所感兴趣的其他物体运动通过传感设备1的视场；以下的讨论将参考人，但应当理解的是，可以等价地应用于感兴趣的其他物体)(步骤721A)。这使得***能够确定普通人在图像的不同区域中的预期尺寸。在校准期间，走动的人应当是视场中惟一的运动物体。然后，***分割出运动的人722A。然后，将人在图像的不同区域中的尺寸用于校准(即确定上述参数)723A。与手动校准一样，提供可视反馈724A，然后，用户评估图像的外观是否可接受725A。如果不可接受，则用户可以调整参数726A，或者可选地，完整地重新进行校准，处理循环回到步骤721A(虚线箭头)。采用这些选项中的哪一个可以由用户选择。另一方面，如果外观可接受，则处理完成。
涉及隐式校准的全自动校准方法的实施例如图8所示。首先，在一段较长时间(例如几小时到几天)中，传感设备1收集信息(图8所示的视频信息)721B。在收集数据之后，分割出物体，以便进行分析722B。然后，针对图像多个区域中的多个物体，产生柱状图723B。此步骤的细节在图9中示出。
图9示出了具体实现为两步处理的柱状图形成步骤723B，但是本发明并不局限于这些处理。在步骤1中，***确定“含混”图像区域，即存在过多混淆物体而不能可靠地跟踪物体的区域。结果，只使用能够以高置信度跟踪的物体；在本发明的一个实施例中，这些是被存储的惟一物体。在步骤2中，***只利用剩余图像区域，并形成在这些区域中所检测到的物体的柱状图。如步骤2所示，以及如图8所示，然后，***利用柱状图来确定人在图像的各个区域中的平均尺寸724B。然后，将此信息用于校准***725B。类似于图7中的步骤723A来实现校准处理。
仅当在给定区域中记录了能够获得有意义的确定的足够多物体时，执行确定人在图像区域中的平均尺寸的步骤724B。可以根据经验确定有意义的柱状图所需的确定数，或者例如，可以取决于暴露绊索的行动的数量和类型。对于这些区域，检测柱状图中的峰值。假设每个图像区域中的最高峰值(即最频繁发生)是单个人。如果确定了此信息，则成功地执行了校准725B，于是***发出准备好实际操作的信号。
典型地，执行图8所示的处理，而无需人为干预。但是，用户可以提供其中大多数物体预期为个人的时间窗口，以减少试图区分人群的问题。可以在获得信息的步骤721B中或者在其他处理步骤中施加这种时间窗口。
每种自动校准方法(辅助和全自动)均需要将图像分割为前景物体和背景(分别参见图7和8中的步骤722A和722B)。在图10中示出了此处理的实施例。典型实施例由三个步骤组成：像素级背景建模7221；前景检测和跟踪7222；和物体分析7223。
像素级背景建模7221的目的是保持图像背景的精确呈现和区分背景(BG)像素和前景(FG)像素。在典型实施例中，此步骤实现了转让给相同受让人的、2001年3月23日递交的题为“VideoSegmentation Using Statistical Pixel Modeling”的美国专利申请No.09/815,385中所公开的处理，将其全部内容一并在此作为参考。典型方法的一般想法是所有像素的历史在几个帧中得到保持，包括像素值及其统计数据。将稳定的、不变化的像素看作BG。如果像素的统计数据发生显著变化，则将其看作FG。如果像素再次稳定，则恢复成将其看作BG像素。此方法用于消除传感器噪声和自动解决背景的变化(例如，在商店中，当人从货架上取下产品时，货架将立刻被看作FG，但将在屏幕重新稳定之后恢复成BG)。
前景检测和跟踪7222的目的是将FG像素组合为FG物体，并在多个帧上进行跟踪，以确保空间-时间一致性。从像素级背景建模7221获得被确定为FG像素的像素集合及其统计属性。在典型实施例中，利用本领域公知的简单形态学和连接组件检测技术，将FG像素空间上融合为较大的FG物体。利用相关方法，在几个帧上跟踪这些物体，以获得可靠的尺寸信息。例如，在转让给相同受让人的、2000年10月24日递交的题为“Interactive Video Manipulation”的美国专利申请No.09/694,712中讨论了典型的跟踪技术，将其全部内容一并在此作为参考。同样，可以参考Wren，C.R.等人的“Pfinder：Real-TimeTracking of the Human Body”，IEEE Trans.on Pattern Matching andMachine Intelligence，1997年第19卷第780～784页；Grimson，W.E.L等人的“Using Adaptive Tracking to Classify and MonitorActivities in a Site”，CVPR，1998年6月第22～29页；以及Olson，T.J.和Brill，F.Z.的“Moving Object Detection and EventRecognition Algorithm for Smart Cameras”，IUW，1997年5月第159～175页。将每个参考文件的全部内容一并在此作为参考。
第三步骤，物体分析7223，具有多种功能。物体分析7223可以用于分离和计数物体；用于区分感兴趣的物体(例如人)和“混淆物体”(例如购物车)；用于确定物体的运动方向；以及解决物体的遮挡。在所示实施例中，根据以下内容中的一个或多个来进行与物体有关的确定：尺寸、内部运动、头状突起的个数(例如如果人是感兴趣的物体)、以及脸部检测(例如，同样，在人是感兴趣的物体的情况下)。用于执行这些功能的技术是现有技术中已知的，例如，在以下参考文件中公开了这些技术的示例：Allmen，M.和Dyer，C.的“Long-rangeSpatiotemporal Motion Understanding Using Spatiotemporal FlowCurves”，Proc.IEEE CVPR，1991年Lahaina，Maui，Hawaii，第303～309页；Gavrila，D.M.的“The Visual Analysis of Human Movement：A Survey”，CVIU，1999年1月第73卷第1号第82～98页；Collins，Lipton等人的“A System for Video Surveillance and Monitoring：VSAM Final Report”，Robotics Institute，Carnegie-MellonUniversity，Tech.Rept.No.CMU-RI-TR-00-12，2000年5月；Lipton，A.J.等人的“Moving Target Classification and Tracking fromReal-Time Video”，1998 DARPA IUW，1998年11月20～23日；以及Haering，N.等人的“Visual Event Detection”，Video ComputingSeries，M.Shah，2001版。将每个参考文件的全部内容一并在此作为参考。
现在，返回到图5，在校准步骤72之后是初始化***的步骤73。此步骤允许用户输入与***如何收集、响应和报告数据有关的多种参数。首先，用户可以将感兴趣的一条或多条线重叠在图像上；这些线将用作一个或多个绊索。这些线可以是任意朝向的，并且几乎可以放在图像中的任何位置；例外是这些线不能过于靠近图像边界，因为穿越线的物体(例如人)必须在线的两侧至少部分可视以便检测。在所示实施例中，假设绊索位于图像中的地上；即，当物体的底部(例如人的腿)穿过线时，发生检测。在更为一般的实施例中，用户可以设置每条线距地面的高度。
可以初始化的其他参数包括主动检测的时间间隔、作为事件检测的标准的穿越每条线的方向(例如，为了确定人们何时进入某一地区，与希望确定人们何时进入或离开该地区不同)、以及检测的敏感度。
本发明的实施例可以包括多种不同的绊索。例如，视频绊索不必是直的；可以根据场景中一个或多个区域的轮廓，绘制一条或多条曲线绊索。类似地，视频绊索不必是单一的线段；视频绊索可以包括由多于一个线段组成的多段绊索。另外，视频绊索不必仅包括单一绊索；与此相反，视频绊索可以包括“多条”平行的绊索，例如，需要物体按照特定的顺序或在特定的时间段内穿过所有绊索。其他变体也是可能的，而且本发明并不局限于这些实施例。
本发明的实施例可以包括图形用户接口(GUI)。在这些实施例中，用户可以通过在视频图像或作为来自视频流的截图(例如，这种“截图”可以是视频流的帧或者可以分离地获得)的图像上精确绘制绊索来初始化***。这可以利用“点取和点击”接口来完成，其中用户可以利用点取设备(如鼠标)选择图像上的点，然后沿着图像拖拽绊索，从而指定绊索。也可以利用“点取和点击”接口来选择绊索规则的其他组件，如方向性(左到右、右到左、二者之一)、物体类型(人、车辆、动物等)、物体速度等。例如，可以利用如鼠标等点取设备选择图形菜单上的选项来选择方向性；例如，可以利用如鼠标等点取设备，从列表或下拉菜单上选择物体类型等。
初始化73的另一功能是使用户选择多种记录选项。这些选项确定收集何种数据，可以包括但不局限于：
·仅在人(或一般地，感兴趣的物体)穿过时记录；
·仅在两个或更多人穿过时记录；
·记录所有穿越；
·仅在穿越的检测具有高置信度时记录；
·仅记录检测统计结果；
·拍摄“截图”或创建检测事件周围的整个视频。“截图”表示创建静态图像，可以是简单的特定视频(或其他传感设备)帧，或者可以独立地产生。
可以将这多种选项组合起来看作视频事件规则。视频事件规则可以包括指定动作(如“人”沿指定方向穿过“虚拟绊索”)和指定响应(例如，向数据库中记录具有文本和视频的报警，并向特定的电子邮件地址发送电子邮件)。视频事件规则可以包含涉及其他虚拟视频特征(如感兴趣的区域)的更为复杂的活动和其他种类的活动(如徘徊、遗留袋子或偷盗产品)以及其他响应(如启动数字视频记录器(DVR)或响起可听警报)。
在初始化73之后，***进行操作以收集和分析数据74。如果用户输入了时间窗口，***在处于此时间窗口时开始处理。当检测到绊索事件(或由用户规定的特定类型的绊索事件)时，将其与伴随信息一起进行记录；伴随信息的类型通过以下对数据报告的讨论将变得更加清楚。在一些应用的环境中，绊索事件可以触发警报或其他响应76(例如拍摄截图)。
用于执行分析和检测绊索事件的典型技术的实施例如图11所示。首先，利用物体分割740，从视频中确定FG物体。例如，物体分割740可以包括如图10所示的上述步骤7221、7222和7223。然后，测试FG对象的位置741，以确定其是否与表示绊索的线重叠742。如上所述，在总是假设绊索线位于地面上的典型实施例中，如果物体的底部与绊索线重叠，则确定物体穿过绊索。如果确定没有重叠发生，则不存在绊索事件743。如果存在重叠，则如果仅将规定方向的穿越看作绊索事件，测试穿越的方向744，并且将那些未发生在规定方向上的穿越不看作绊索事件745。如果任一方向的穿越均表示绊索事件，则处理跳过步骤744的测试。如果已经执行了步骤744并产生了肯定结果，或者如果未执行步骤744，则还可以执行额外的查询746。例如，这种查询可以包括确定相关物体的特定特性(例如，轿车、卡车、蓝色轿车、蓝色客货两用车、小于特定尺寸的轿车等)或特定物体(例如，特定人的脸、牌照号码等)。如果这种查询746返回肯定结果，或者如果未执行这些查询，则处理确定绊索事件已经发生747。当然，如果进行了这种查询746并返回否定结果，则确定未发生绊索事件。
用于实现穿越方向的确定744的几种方法是可能的。作为第一示例，可以通过对被检测为穿越绊索的物体应用光学流方法来实现；光学流方法的使用也可以用于消除对物体分割的需要。作为第二示例，可以使用来自物体跟踪(图10的步骤7222中)的轨迹信息。作为第三示例，可以通过在用户输入的每条实际绊索的一侧设置辅助(伪)绊索，并确定当穿越实际绊索时穿越辅助绊索的次序来实现。
校准72对于执行步骤74尤为重要，尤其是如果仅对特定类型的物体感兴趣。例如，如果人是感兴趣的物体，则校准72允许步骤74区分人和比人小(如猫和老鼠)或大(如人群和轿车)的物体。
当已经收集了数据时，可以将其报告给用户75。在本发明的典型实施例中，用户可以利用图形用户接口(GUI)向***查询结果。在本实施例中，可以显示与一个或多个单独检测有关的总结信息和/或详细数据。总结信息可以包括以下内容中的一个或多个：检测数、所检测到的人数(或感兴趣的其他物体的个数)、多人(多物体)检测的次数(即当多个人(或感兴趣的其他物体)同时穿越时)、每个方向穿过的人(物体)数、在用户选择的时间窗口内前述内容中的任何一个或全部、以及前述内容中的任何一个或全部的一个或多个时间柱状图。与单次检测有关的细节可以包括以下内容中的一个或多个：时间、方向、穿过的人(物体)数、穿过的物体的尺寸、以及在检测时间附近所拍摄的一个或多个截图或视频。
图12和13示出了典型实施例中示例报告显示的样本屏幕镜头。图12示出了与穿越横跨走廊的绊索124有关的总结信息121。在此特定图示中，屏幕示出了包括绊索124在内的区域的现场视频123。还包括给出了进行监视的时间段(即时间窗口)和记录穿越事件的时间段的说明125。总结信息121包括穿越数及其方向。在这种情况下，用户进一步规定应当显示特定的穿越时间和日期122。
图13示出了与特定穿越事件有关的单独信息；这些穿越事件的发生对应于图12中的特定穿越时间和日期122。在图13的显示中，用户已经选择与时间和日期一起显示每个穿越事件的截图。具体地，截图131和132对应于图12的视频123中所示的区域中的穿越事件。在另一实施例中，用户可以点击截图或与截图相关联的按钮，以查看在穿越事件的时间附近所拍摄的对应视频。
本发明的视频绊索的应用示例是检测“跟进”。跟进描述了其中允许特定数量的人(通常是一个人)进入某一区域(等)而一个或多个其他人试图紧紧跟随以便进入。图14示出了用于实现跟进检测***的方法的流程图。在本实施例中，假设视频监视摄像机安装在能够记录通过入口(例如门或十字转门)的进入的位置处。此外，已经如上所述地对摄像机进行了校准。通过检测正在通过入口进入的人，或即将通过入口进入的人，启动***141。这可以通过多种方式来实现；例如，可能需要投币、在键盘上输入代码、或通过读卡器刷卡，或者***可以使用基于视频的检测方法，可视地检测入口的打开(其优点在于不需要与外部设备(读卡器、键盘等)的接口，可以在一些环境中更容易地安装和实现)。当检测到进入时，开始监视142。在此监视期间，***检测运动通过入口的物体并进行分析，以确定进入了多少人。如果摄像机的位置能够记录脸部，则可能涉及脸部检测，如上所述。然后，***确定进入的人数是否是允许的143。在所示示例中，每次只允许进入一个人；但是，在更为一般的实施例中，可以是任意选定的数量。如果一个人(允许数量)进入，则不需要任何响应144。另一方面，如果多于一个人(多于允许数量)进入，将触发响应145。例如，这种响应可以包括响起警报、拍摄截图、或记录进入时刻附近的视频。使用后两种响应的***的附加优点在于：在***具有读卡器的情况下，能够为追踪使用盗窃卡的人提供有用的证据。
本说明书所示出和讨论的实施例仅倾向于教导本领域普通技术人员发明人所知的使用本发明的最佳方式。不应当将本说明书中的任何内容看作对本发明范围的限制。正如本领域普通技术人员根据以上教导所知，在不偏离本发明的前提下，可以修改或改变本发明的上述实施例，以及添加或省略其中的元件。因此，应当理解，在所附权利要求及其等价物的范围内，可以以不同于这里具体描述的其他方式实现本发明。

Claims (27)

1.一种视频绊索***，包括：
传感设备，产生视频输出；以及
计算机***，包括用户接口，用于执行校准，以及用于收集和处理基于从传感设备接收到的视频输出的数据，所述用户接口包括输入装置和输出装置，所述输入装置包括图形用户接口，其中所述计算机***显示处理后的数据，以及所述图形用户接口适用于使用户能够在所述视频输出的视频图像或从所述视频输出中拍摄的截图中的至少一个上绘制视频绊索。
2.根据权利要求1所述的视频绊索***，其特征在于所述图形用户接口包括点取和点击接口。
3.根据权利要求2所述的视频绊索***，其特征在于所述点取和点击接口包括至少一个菜单。
4.根据权利要求1所述的视频绊索***，其特征在于所述图形用户接口还适用于使用户能够输入至少一条绊索规则。
5.根据权利要求4所述的视频绊索***，其特征在于所述至少一条绊索规则包括方向性、物体种类和物体速度中的至少一个。
6.根据权利要求4所述的视频绊索***，其特征在于所述图形用户接口包括适用于使用户能够输入所述至少一条绊索规则的至少一个菜单。
7.一种视频绊索用户接口，包括：
图形用户接口，适用于使用户能够在视频图像和来自视频流的截图中的至少一个上绘制视频绊索。
8.根据权利要求7所述的用户接口，其特征在于所述图形用户接口包括点取和点击接口。
9.根据权利要求7所述的用户接口，其特征在于所述图形用户接口包括至少一个菜单。
10.根据权利要求7所述的用户接口，其特征在于所述图形用户接口还适用于使用户能够输入至少一条绊索规则。
11.根据权利要求7所述的用户接口，其特征在于所述图形用户接口还适用于使用户能够输入至少一条视频事件规则。
12.一种初始化视频绊索***的方法，包括：
输入参数；以及
在视频图像和来自视频流的截图中的至少一个上绘制视频绊索。
13.根据权利要求12所述的方法，其特征在于所述绘制视频绊索包括：
使用图形用户接口。
14.根据权利要求13所述的方法，其特征在于所述图形用户接口包括点取和点击接口。
15.根据权利要求12所述的方法，其特征在于还包括：
输入至少一条绊索规则。
16.根据权利要求15所述的方法，其特征在于所述绊索规则包括方向性、物体种类和物体速度中的至少一个。
17.根据权利要求15所述的方法，其特征在于所述输入包括：
使用点取和点击接口。
18.根据权利要求17所述的方法，其特征在于所述点取和点击接口包括至少一个菜单。
19.根据权利要求12所述的方法，其特征在于还包括：
输入至少一条视频事件规则。
20.一种计算机可读介质，包含当由计算机执行时，使计算机适用于使用户能够执行根据权利要求12所述的方法的指令。
21.根据权利要求20所述的计算机可读介质，其特征在于还包含当由计算机执行时，使计算机创建适用于使用户能够执行所述绘制的图形用户接口的指令。
22.根据权利要求21所述的计算机可读介质，其特征在于所述图形用户接口包括点取和点击接口。
23.根据权利要求22所述的计算机可读介质，其特征在于所述点取和点击接口包括至少一个菜单。
24.一种视频绊索***，包括：
计算机***；以及
根据权利要求20所述的计算机可读介质。
25.一种视频绊索***，包括：
传感设备，产生视频输出；以及
计算机***，包括用户接口，用于执行校准，以及用于收集和处理基于从传感设备接收到的视频输出的数据，所述用户接口包括输入装置和输出装置，其中所述计算机***显示处理后的数据，以及所述计算机***包括允许用户输入至少一条虚拟绊索的软件，所述视频绊索包括曲线视频绊索、多段视频绊索和多条平行视频绊索中的至少一种。
26.一种实现视频绊索***的方法，包括：
校准传感设备，以确定由***使用的传感设备参数；
初始化***，包括输入至少一条虚拟绊索，所述视频绊索包括曲线绊索、多段绊索和多条平行绊索中的至少一种；
从传感设备获得数据；
分析从传感设备获得的数据，以确定是否已经穿越所述至少一条虚拟绊索；以及
触发对虚拟绊索穿越的响应。
27.一种视频绊索***，包括：
传感设备，提供输出数据；以及
计算机***，接收所述输出数据，并包括：
用户接口；
至少一个处理器；以及
计算机可读介质，包含用于实现根据权利要求26所述的方法的软件。
CNA2004800389391A 2003-11-12 2004-11-12 视频绊索 Pending CN1898960A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/704,645 US6970083B2 (en) 2001-10-09 2003-11-12 Video tripwire
US10/704,645 2003-11-12

Publications (1)

Publication Number Publication Date
CN1898960A true CN1898960A (zh) 2007-01-17

Family

ID=34619801

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800389391A Pending CN1898960A (zh) 2003-11-12 2004-11-12 视频绊索

Country Status (9)

Country Link
US (1) US6970083B2 (zh)
EP (1) EP1685717A4 (zh)
JP (1) JP2007512738A (zh)
KR (1) KR101085578B1 (zh)
CN (1) CN1898960A (zh)
CA (1) CA2545535C (zh)
IL (1) IL175590A0 (zh)
MX (1) MXPA06005459A (zh)
WO (1) WO2005050971A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169614A (zh) * 2011-01-14 2011-08-31 云南电力试验研究院(集团)有限公司 一种基于图像识别的电力作业安全监护方法
CN101872524B (zh) * 2009-08-14 2012-07-18 杭州海康威视数字技术股份有限公司 基于虚拟墙的视频监控方法、***及装置

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7361180B2 (en) 2004-05-07 2008-04-22 Usgi Medical, Inc. Apparatus for manipulating and securing tissue
US8558892B2 (en) * 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
US8562516B2 (en) 2004-04-14 2013-10-22 Usgi Medical Inc. Methods and apparatus for obtaining endoluminal access
US8277373B2 (en) 2004-04-14 2012-10-02 Usgi Medical, Inc. Methods and apparaus for off-axis visualization
US8257394B2 (en) 2004-05-07 2012-09-04 Usgi Medical, Inc. Apparatus and methods for positioning and securing anchors
US8057511B2 (en) 2004-05-07 2011-11-15 Usgi Medical, Inc. Apparatus and methods for positioning and securing anchors
US7931661B2 (en) 2004-06-14 2011-04-26 Usgi Medical, Inc. Apparatus and methods for performing transluminal gastrointestinal procedures
US20070260429A1 (en) * 2005-02-23 2007-11-08 Prospect S.A. (A Chilean Corporation) Method and apparatus for monitoring
US20060233461A1 (en) * 2005-04-19 2006-10-19 Honeywell International Inc. Systems and methods for transforming 2d image domain data into a 3d dense range map
US9158975B2 (en) * 2005-05-31 2015-10-13 Avigilon Fortress Corporation Video analytics for retail business process monitoring
WO2007038986A1 (en) 2005-09-30 2007-04-12 Robert Bosch Gmbh Method and software program for searching image information
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
US8870916B2 (en) 2006-07-07 2014-10-28 USGI Medical, Inc Low profile tissue anchors, tissue anchor systems, and methods for their delivery and use
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
DE102007001649A1 (de) * 2007-01-11 2008-07-17 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
DE102007053812A1 (de) 2007-11-12 2009-05-14 Robert Bosch Gmbh Konfigurationsmodul für ein Videoüberwachungssystem, Überwachungssystem mit dem Konfigurationsmodul, Verfahren zur Konfiguration eines Videoüberwachungssystems sowie Computerprogramm
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
WO2009126151A1 (en) * 2008-04-09 2009-10-15 Utc Fire & Security Corporation Video content analysis
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US8165348B2 (en) * 2008-11-17 2012-04-24 International Business Machines Corporation Detecting objects crossing a virtual boundary line
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
TWI400670B (zh) * 2009-12-16 2013-07-01 Ind Tech Res Inst 多層次侵入事件偵測系統與方法及其電腦程式產品
US20110150272A1 (en) * 2009-12-21 2011-06-23 Honeywell International Inc. Systems and methods of tracking object paths
US9204823B2 (en) 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
US8890936B2 (en) * 2010-10-12 2014-11-18 Texas Instruments Incorporated Utilizing depth information to create 3D tripwires in video
CN102176270A (zh) * 2011-02-25 2011-09-07 广州飒特电力红外技术有限公司 安全监控及火灾预警一体化***及方法
JP5547144B2 (ja) * 2011-09-08 2014-07-09 株式会社東芝 監視装置、その方法、及び、そのプログラム
US9286678B2 (en) * 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
US8744125B2 (en) 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification
US11470285B2 (en) 2012-02-07 2022-10-11 Johnson Controls Tyco IP Holdings LLP Method and system for monitoring portal to detect entry and exit
US20130265418A1 (en) * 2012-04-06 2013-10-10 Chin-Teng Lin Alarm chain based monitoring device
JP6057562B2 (ja) * 2012-06-28 2017-01-11 キヤノン株式会社 情報処理装置およびその制御方法
US10645345B2 (en) * 2012-07-03 2020-05-05 Verint Americas Inc. System and method of video capture and search optimization
WO2014039050A1 (en) 2012-09-07 2014-03-13 Siemens Aktiengesellschaft Methods and apparatus for establishing exit/entry criteria for a secure location
JP6386217B2 (ja) 2012-09-12 2018-09-05 センシティ システムズ インコーポレイテッド 感知応用のためのネットワーク接続された照明インフラストラクチャ
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
US9197861B2 (en) 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
JP5574551B2 (ja) * 2012-12-14 2014-08-20 株式会社日立国際電気 画像処理装置および画像処理方法
CN105074791B (zh) * 2013-02-08 2018-01-09 罗伯特·博世有限公司 向视频流添加用户选择的标记
US9456293B2 (en) 2013-03-26 2016-09-27 Sensity Systems Inc. Sensor nodes with multicast transmissions in lighting sensory network
US9933297B2 (en) 2013-03-26 2018-04-03 Sensity Systems Inc. System and method for planning and monitoring a light sensory network
TWI507661B (zh) 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法
US9645279B2 (en) 2013-10-31 2017-05-09 Invis-A-Beam Llc Systems and methods for aligning objects
US9746370B2 (en) 2014-02-26 2017-08-29 Sensity Systems Inc. Method and apparatus for measuring illumination characteristics of a luminaire
EP3114658B1 (en) 2014-03-03 2019-08-28 VSK Electronics NV Intrusion detection with directional sensing
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US10362112B2 (en) 2014-03-06 2019-07-23 Verizon Patent And Licensing Inc. Application environment for lighting sensory networks
JP6381313B2 (ja) * 2014-06-20 2018-08-29 キヤノン株式会社 制御装置、制御方法、およびプログラム
CN105450918B (zh) * 2014-06-30 2019-12-24 杭州华为企业通信技术有限公司 一种图像处理方法和摄像机
JP2016062131A (ja) 2014-09-16 2016-04-25 日本電気株式会社 映像監視装置
US10110856B2 (en) 2014-12-05 2018-10-23 Avigilon Fortress Corporation Systems and methods for video analysis rules based on map data
US20160165191A1 (en) * 2014-12-05 2016-06-09 Avigilon Fortress Corporation Time-of-approach rule
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
JP6229816B2 (ja) 2015-03-27 2017-11-15 日本電気株式会社 モバイル監視装置、プログラム、及び制御方法
US10044988B2 (en) 2015-05-19 2018-08-07 Conduent Business Services, Llc Multi-stage vehicle detection in side-by-side drive-thru configurations
US9996749B2 (en) * 2015-05-29 2018-06-12 Accenture Global Solutions Limited Detecting contextual trends in digital video content
WO2017104835A1 (ja) * 2015-12-16 2017-06-22 日本電気株式会社 侵入検出装置、設定支援装置、侵入検出方法、設定支援方法及びプログラム記録媒体
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10318836B2 (en) * 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10769854B2 (en) * 2016-07-12 2020-09-08 Tyco Fire & Security Gmbh Holographic technology implemented security solution
RU2688739C2 (ru) 2017-09-04 2019-05-22 ООО "Ай Ти Ви групп" Системы и способы обнаружения тревожных траекторий движения объектов
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
US10528820B2 (en) 2017-12-07 2020-01-07 Canon Kabushiki Kaisha Colour look-up table for background segmentation of sport video
RU2671994C1 (ru) * 2018-02-06 2018-11-08 Общество с ограниченной ответственостью "Ай Ти Ви групп" Система и способ обнаружения тревожных траекторий движения объектов
CN108833967A (zh) * 2018-07-06 2018-11-16 江西洪都航空工业集团有限责任公司 一种基于视频的快速切片方法
RU2701985C1 (ru) 2018-12-06 2019-10-02 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ поиска объектов по траекториям движения на плане местности
US10776695B1 (en) 2019-03-08 2020-09-15 Ai Concepts, Llc Intelligent recognition and alert methods and systems
US11699078B2 (en) 2019-03-08 2023-07-11 Ai Concepts, Llc Intelligent recognition and alert methods and systems
AU2020272775A1 (en) * 2019-04-10 2021-11-18 Raptor Vision, Llc Monitoring systems

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) * 1969-05-12 1974-05-21 J Lemelson Video detection system
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
JPS61146085A (ja) * 1984-12-20 1986-07-03 Mitsubishi Electric Corp プラツトホ−ムの安全監視方法
JPS62276985A (ja) * 1986-05-26 1987-12-01 Matsushita Electric Works Ltd 画像監視方式
JPH03242592A (ja) * 1990-02-21 1991-10-29 Toshiba Corp 画像監視装置
US5801943A (en) * 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US5696503A (en) * 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5926210A (en) * 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
JPH10283584A (ja) * 1997-04-08 1998-10-23 Mitsubishi Heavy Ind Ltd 船舶航行監視装置及び方法
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6091771A (en) * 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US20020008758A1 (en) * 2000-03-10 2002-01-24 Broemmelsiek Raymond M. Method and apparatus for video surveillance with defined zones
US20020082769A1 (en) * 2000-11-21 2002-06-27 Gary Church Airport auditing and information system
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
JP2002312769A (ja) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd 監視装置及びそのパラメータ設定方法
WO2002087152A1 (en) * 2001-04-18 2002-10-31 Caveo Technology, Llc Universal, customizable security system for computers and other devices
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US7184777B2 (en) * 2002-11-27 2007-02-27 Cognio, Inc. Server and multiple sensor system for monitoring activity in a shared radio frequency band

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872524B (zh) * 2009-08-14 2012-07-18 杭州海康威视数字技术股份有限公司 基于虚拟墙的视频监控方法、***及装置
CN102169614A (zh) * 2011-01-14 2011-08-31 云南电力试验研究院(集团)有限公司 一种基于图像识别的电力作业安全监护方法
CN102169614B (zh) * 2011-01-14 2013-02-13 云南电力试验研究院(集团)有限公司 一种基于图像识别的电力作业安全监护方法

Also Published As

Publication number Publication date
WO2005050971A3 (en) 2005-10-06
US20040105570A1 (en) 2004-06-03
JP2007512738A (ja) 2007-05-17
WO2005050971A2 (en) 2005-06-02
MXPA06005459A (es) 2006-08-11
US6970083B2 (en) 2005-11-29
IL175590A0 (en) 2006-09-05
KR20060123289A (ko) 2006-12-01
EP1685717A4 (en) 2009-12-02
CA2545535A1 (en) 2005-06-02
CA2545535C (en) 2016-01-26
EP1685717A2 (en) 2006-08-02
KR101085578B1 (ko) 2011-11-25

Similar Documents

Publication Publication Date Title
CN1898960A (zh) 视频绊索
CN100337253C (zh) 视频绊网
Elharrouss et al. A review of video surveillance systems
Porikli et al. Video surveillance: past, present, and now the future [DSP Forum]
US9665777B2 (en) System and method for object and event identification using multiple cameras
CN1589451A (zh) 采用视频原语的视频监视***
CN101208710A (zh) 从俯视视频流进行目标检测及跟踪
CN101366045A (zh) 视频中的对象密度估算
KR20080075091A (ko) 실시간 경보 및 포렌식 분석을 위한 비디오 분석 데이터의저장
Karbalaie et al. Event detection in surveillance videos: a review
Sheu et al. STAM-CCF: suspicious tracking across multiple camera based on correlation filters
Quadri et al. Suspicious Activity Detection Using Convolution Neural Network
Kayani Real-time Violence Detection using Deep Learning Techniques
Baral et al. Motion based Object Detection based on Background Subtraction: A Review
Persia et al. High-level surveillance event detection
Persia et al. A distributed framework for event detection in video surveillance context
Al-Slemani A surveillance and security alert system based on real-time motion detection to protect secret and vital places= Kritik önemdeki yerleri korumak için gerçek zamanlı hareket algılamaya dayalı bir gözetim ve güvenlik uyarı sistemi
Dang et al. Building 3D event logs for video investigation
CN117011729A (zh) 一种无人机人体异常行为检测的方法及***
Mushuni et al. Deep Surveillance System
Cucchiara et al. Domotics for disability: smart surveillance and smart video server
Jabber Face Recognition for Multi-Camera Surveillance System
Aguilar-Ponce et al. Automated object detection and tracking for intelligent visual surveillance based on sensor network
Fairchild A real-life system for identifying and monitoring objects for user-specified scenarios in live CCTV
Onyema et al. Cluster Analysis for Automatic Vehicle Counting Management System for Road Traffic Network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1099984

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070117

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1099984

Country of ref document: HK