CN104040601A - 基于云的视频监视管理*** - Google Patents

基于云的视频监视管理*** Download PDF

Info

Publication number
CN104040601A
CN104040601A CN201280063674.5A CN201280063674A CN104040601A CN 104040601 A CN104040601 A CN 104040601A CN 201280063674 A CN201280063674 A CN 201280063674A CN 104040601 A CN104040601 A CN 104040601A
Authority
CN
China
Prior art keywords
metadata
video
network
network equipment
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280063674.5A
Other languages
English (en)
Other versions
CN104040601B (zh
Inventor
王雷
朱红卫
法曾·艾格达斯
格雷格·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN104040601A publication Critical patent/CN104040601A/zh
Application granted granted Critical
Publication of CN104040601B publication Critical patent/CN104040601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明描述的***的实例包括:网关(52),其被配置为从多个网络设备(20、42)获得视频内容和关于视频内容的元数据;元数据处理模块(82),其通信耦合到网关(52),并被配置为根据一个或多个标准过滤元数据以获得过滤的元数据集;视频处理模块(80),其与网关(52)和元数据处理模块(82)通信耦合,并被配置为分离与过滤的元数据集的相应的第一部分相关联的视频内容的视频部分;以及云服务接口(86),其与网关(52)、元数据处理模块(82)和视频处理模块(80)通信耦合,并被配置为提供至少一些过滤的元数据集或分离的视频部分给云计算服务(90)。

Description

基于云的视频监视管理***
背景技术
保安摄像机通常被用于监控室内和室外场所。保安摄像机的网络可以被用来监控指定区域。例如,数百个摄像机可以被用来提供大学校园的区域的视频馈送。在保安摄像机网络中的摄像机典型地没有意识到它们在***中的位置或***中其它摄像机的存在和位置。因此,监控由保安摄像机产生的视频馈送的用户手动地分析和处理视频馈送以跟踪和定位在监控区域中的对象。此外,传统的保安摄像机网络作为封闭的***运转,其中网络保安摄像机为单独的地理区域提供视频馈送,而用户在相同的地理区域从固定位置的用户终端观察视频馈送和操作网络。
发明内容
根据本公开的管理视频监视***的方法的实例包括:从多个网络设备获得视频内容和关于视频内容的元数据;根据一个或多个标准过滤元数据以获得过滤的元数据集;分离与过滤的元数据集的相应的第一部分相关联的视频内容的视频部分;以及提供至少一些过滤的元数据集或分离的视频部分给云计算服务。
本方法的实施方式可以包括一个或多个下列特征。网络设备包括至少一个摄像机或视频编码器。网络设备的相应的一些与相应的本地网络相关联,每个本地网络与不同的地理位置相关联。根据一个或多个标准评估元数据的质量,将具有在阈值之下的质量的元数据的第二部分归类为噪声元数据,从过滤的元数据集中排除噪声元数据。从至少第一网络设备和第二网络设备获得元数据,其中第一网络设备和第二网络设备为重叠地理区域维护元数据。识别从第一网络设备获得的元数据元素,所述元数据元素对应于第一网络设备和第二网络设备为之维护元数据的区域,确定对应的元数据元素是否已经从第二网络设备获得,如果对应的元数据元素还没从第二网络设备获得,那么将元数据元素归类为噪声。基于对应于元数据的视频内容中的空间关系或对应于元数据的视频内容中的时间关系中的至少一个评估元数据的质量。识别与由网络设备检测到的对象相关联的元数据元素,并且如果从对象的出现开始到其消失的时间在阈值时间量之内或者如果对象展示了相对于运动方向、尺寸或运动速度的至少一个阈值程度的变化,那么将元数据元素归类为噪声。元数据对应于视频监视***中跟踪的对象或视频监视***中的事件的至少一个。处理视频内容以产生一个或多个补充元数据元素。接收元数据或视频内容的至少一个的查询,并且根据一个或多个预定义规则处理查询。
根据本公开的视频监视管理***的实例包括:网关,网关被配置为从多个网络设备获得视频内容和关于视频内容的元数据;元数据处理模块,元数据处理模块通信耦合到网关,并被配置为根据一个或多个标准过滤元数据以获得过滤的元数据集;视频处理模块,其通信耦合到网关和元数据处理模块,并被配置为分离与过滤的元数据集的相应的第一部分相关联的视频内容的视频部分;以及云服务接口,云服务接口通信耦合到网关、元数据处理模块和视频处理模块,并被配置为提供至少一些过滤的元数据集或分离的视频部分给云计算服务。
***的实现可以包括一个或多个以下特征。网络设备包括至少一个摄像机或视频编码器。元数据处理模块还被配置为根据一个或多个标准,评价元数据的质量,以将具有低于阈值的质量的元数据的相应的第二部分归类为噪声元数据,并从过滤的元数据集中排除噪声元数据。网关还被配置为从至少第一网络设备和第二网络设备获得元数据,其中第一网络设备和第二网络设备为重叠地理区域维护元数据,而元数据处理模块还被配置为识别从第一网络设备获得的元数据元素,所述元数据元素对应于由第一网络设备和第二网络设备为之维护元数据的区域,被配置为确定对应的元数据元素是否已经从第二网络设备获得,并且被配置为如果对应的元数据元素还没有从第二网络设备获得,则将该元数据元素归类为噪声。元数据处理模块还被配置为基于对应于元数据的视频内容中的空间关系或对应于元数据的视频内容中的时间关系的至少一个评估元数据的质量。元数据处理模块还被配置为识别与由网络设备检测到的对象相关联的元数据元素,如果该对象从它的出现开始在阈值时间量内消失或者如果该对象展现出对于运动方向、尺寸或运动速度的至少阈值程度的变化,那么将元数据元素归类为噪声。元数据对应于视频监视***中跟踪的对象或视频监视***中的事件的至少一个。视频处理模块还被配置为基于视频内容产生一个或多个补充元数据元素。规则引擎通信耦合到网关、元数据处理模块和视频处理模块,并被配置为接收对至少一个元数据或视频内容的查询并根据一个或多个预定规则处理查询。
根据本公开的视频监视管理***的另一个实例包括:网络接口工具,其用于从多个网络设备获得视频内容和关于视频内容的元数据;元数据处理工具,其通信耦合到网络接口工具,用于根据一个或多个标准过滤元数据以获得过滤的元数据集;以及视频处理工具,视频处理工具通信耦合到网络接口工具和元数据处理工具,用于分离与过滤的元数据集的相应的第一部分相关联的视频内容的视频部分;其中网络接口工具包括用于提供至少一些过滤的元数据集或分离的视频部分给云计算服务的工具。
***的实现可以包括一个或多个以下特征。网络设备包括至少一个摄像机或视频编码器。用于根据一个或多个标准评估元数据质量的工具,其将具有低于阈值的质量的元数据的第二部分归类为噪声元数据,并从过滤的元数据集中排除噪声元数据。元数据对应于视频监视***中跟踪的对象或视频监视***中的事件的至少一个。用于基于视频内容产生一个或多个补充元数据元素的工具。查询处理工具,其通信耦合到网络接口工具、元数据处理工具和视频处理工具,用于接收至少一个元数据或视频内容的查询以及根据一个或多个预定规则处理查询。
根据本公开的计算机程序产品的实例驻留于处理器可执行的计算机储存介质上并包括处理器可执行指令,处理器可执行指令被配置为导致处理器从多个网络设备获得视频内容和关于视频内容的元数据;根据一个或多个标准过滤元数据以获得过滤的元数据集;分离与过滤的元数据集的相应的第一部分相关联的视频内容的视频部分;以及提供至少一些过滤的元数据集或分离的视频部分给云计算服务。
计算机程序产品的实现可以包括一个或多个以下特征。网络设备包括至少一个摄像机或视频编码器。配置为导致处理器去过滤的指令还被配置为导致处理器根据一个或多个标准评估元数据的质量,将具有在阈值之下的质量的元数据的第二部分归类为噪声元数据,并从过滤的元数据集中排除噪声元数据。元数据对应于视频监视***中跟踪的对象或视频监视***中的事件的至少一个。处理器可执行指令被配置为导致处理器接收至少一个元数据或视频内容的查询并根据一个或多个预定义规则处理查询。
本文描述的项目和/或技术可以提供一个或多个下列能力,也提供没有提到的其它能力。视频内容和元数据被提供给基于云的服务并被其进行处理,使得从任何位置能够监督和操作保安摄像机网络,所述位置包括距离保安摄像机网络遥远的位置。基于云的保安摄像机网络管理服务可以被利用使得单个统一的接口能够用于在不同地理区域监督和操作多个保安摄像机网络。被提供到云储存设施的视频内容和元数据被智能地选择,显著地减少了与数据传输相关联的成本。网络视频和元数据处理算法可以被利用以通过借助于所管理的保安摄像机网络***中的摄像机之间的关系提供增强的视频分析。规则引擎可以被实现以提供提供给基于云的服务的数据的增强的查询和检索。其它能力可以被提供,不是根据本公开的每个实现都必须提供任何讨论的能力,更不用说所有讨论的能力。此外,上面指出的效果通过其它非上面指出的方法完成是可能的,指出的项目/技术可能不一定产生指出的效果。
附图说明
图1是保安摄像机网络的框图。
图2是三层基于云的视频监视管理***的示图。
图3是示出由图2的视频监视管理***提供的增强功能的示图。
图4是用于管理一组视频监视网络的***的框图。
图5是示出由基于云的视频监视管理***提供的云计算服务的示图。
图6-7是用于管理将与视频监视***相关联的信息传递到网络管理服务的处理的流程框图。
图8示出了计算机***的实施方式的框图。
具体实施方式
本文描述的是用于实现和操作基于云的智能视频监视管理***的***和方法。视频监视管理***应用视频分析以从多个摄像机和其它相关联设备提供给***的视频内容提取元数据。视频内容和元数据转而被用来帮助视频管理操作,例如事件和报警管理与辅助决策。
摄像机网络中的每个摄像机具有相关联的观察点和视野。观察点指的是位置和角度(perspective),摄像机从该位置和角度对物理区域进行观察。视野指的是由摄像机成像在帧中的物理区域。每个摄像机配备了成像模块,其被实现为互补金属氧化物半导体(CMOS)器件和/或由其它装置实现,其从接收到的光产生图像;以及计算引擎,其以预定义的速率(例如,30幅图像/秒,等等)拍摄给定分辨率的图像,使用视觉压缩算法压缩图像数据,并且在本地连接上发送压缩数据。摄像机还包括数字信号处理器(DSP)和管理摄像机操作的相关联的软件,或与它们相关联。当摄像机被加电时,DSP开始使用上面描述的功能模块捕获图像。对于摄像机视野中的每个像素,DSP维护数学模型,该数学模型描述了具体像素的预期行为。例如,对于安装的摄像机,使得它捕获停车场的图像,由摄像机捕获的图像中的一个像素位置可能对应于在停车场表面上的沥青。像素具有静态数值,其由于噪声、照明变化等原因而随着时间发生变化。DSP建模了这些随时间变化的变量,例如给定均值和标准差的高斯分布。DSP可以为以更复杂方式变化的像素产生相似的模型,例如对应于建筑物侧面的有时被风中运动的树枝隐藏起来的位置的像素。
基于用于摄像机图像的每个像素的背景模型,DSP可以处理帧以确定运动的对象是否呈现在它的视野内。摄像机将元数据与运动对象(简称为“对象”)的图像相关联。这些元数据定义了对象的各种特征。例如,元数据可以定义对象在摄像机视野内的位置、对象图像的宽度或高度(例如,以像素测量)、正在运动对象的图像的方向、对象图像的速度、对象的颜色和/或对象的种类。这些是可以出现在与对象的图像相关联的元数据中的信息片段;其它元数据也是可能的。对象的种类指的是基于对象的其它特征,该对象被确定所处的种类。例如,种类可以包括:人类、动物、小汽车、小卡车、大卡车、和/或SUV。涉及运动对象的事件的相关的元数据也被摄像机传送到主计算机***。这样的事件元数据包括:对象进入摄像机的视野、对象离开摄像机的视野、摄像机正被破坏、对象停留在摄像机的视野大于阈值时间期间(例如,某个人在某区域徘徊大于某个阈值时间期间)、多个运动对象合并(例如,跑动的人跳进了运动的交通工具)、一个运动对象分成多个运动对象(例如,人从交通工具离开)、对象进入感兴趣区域(例如,预定义的区域,在该区域对象的运动是期望被监视的)、对象离开预定义区域、对象越过绊网、对象所在运动方向与预定义的对于区域或绊网的禁止方向匹配、对象计数、对象去除(例如,当对象在大于预定义的时间期间内静止,它并且的尺寸比预定义区域的很大部分要大时)、对象抛弃(例如,当对象在大于预定义的时间期间内静止,并且它的尺寸比预定义区域的很大部分要小时)和停留定时器(例如,在长于预定义的停留时间范围内,对象是静止的或者在预定义区域几乎极少运动)。
每个摄像机将与运动对象的图像相关联的元数据传输到主计算机***。每个摄像机也将视频馈送的帧(可能压缩过的)传输到主计算机***。主计算机***使得用户能够查看和分析视频内容和元数据。例如,使用从多个摄像机接收的元数据,主计算机***可以确定出现(同时地或者不同时地)在不同摄像机的视野中的运动对象的图像是否代表同样的对象。如果使用者指定这个对象将要被跟踪,那么主计算机***为用户显示来自摄像机的视频馈送的帧,该摄像机确定具有对象的更好的视图。这个跟踪也可以使用历史视频馈送执行,指的是代表对象在过去某个时刻的运动的存储的视频馈送。如另一个实例,用户可以指定一个或多个规则,响应该规则,主计算机***返回匹配指定的规则的视频内容和/或元数据。例如,用户可以要求在给定时间范围内包含指定颜色的对象的由保安摄像机网络捕获的所有的视频剪辑。其它的规则也是可能的。
图1阐释了本地保安摄像机网络10的框图。保安摄像机网络10包括含有固定位置摄像机12、PTZ(摆动倾斜变焦)摄像机14、从属摄像机16等的视频摄像机。保安摄像机网络可以具有0个、一个、或多于一个的每种类型的摄像机,使得网络可以具有一个或多个摄像机。例如,如图1所示,保安摄像机网络10包括二个固定位置摄像机12,一个PTZ摄像机14和一个从属摄像机16。摄像机的其它数量和/或配置也可以被使用。
保安摄像机网络10也包括路由器20。固定位置摄像机12、PTZ摄像机14和从属摄像机16使用有线连接(例如,局域网(LAN)连接)或无线连接与路由器20通信。路由器20与计算***通信,例如主计算机***30。路由器20使用有线连接,例如LAN连接,或者无线连接与主计算机***30通信。在一些配置中,主计算机***30可以定位在单个计算设备和/或多个计算设备(例如,像分布式计算机***一样)。
固定位置摄像机12可以被设置在固定位置,例如安装在建筑物的屋檐以捕获建筑物的紧急出口的视频馈送。这样的固定位置摄像机的视野,除非被某种外部力量移动或调整,否则将会保持不变。固定位置摄像机12包括数字信号处理器(DSP)和/或一个或多个其它处理实体以压缩、处理和/或分析由固定位置摄像机12捕获的图像。例如,随着固定位置摄像机12的视野的帧被捕获,这些帧被与固定位置摄像机12相关联的数字信号处理器处理以确定是否出现一个或多个运动对象。例如,高斯混合模型可以被用来分隔前景与背景,前景包含运动对象的图像,背景包含静态对象(例如树、建筑物和道路)的图像。这些运动对象的图像然后被处理以识别运动对象的图像的各种特征。
使用各自的检测到的对象的图像,固定位置摄像机12生成与每个对象的图像相关联的元数据。与对象相关联或链接到对象的元数据包含关于对象的图像的各种特征的信息。例如,元数据包括例如:对象的位置、对象的高度、对象的宽度、对象正在运动的方向、对象正在运动的速度、对象的颜色、和/或对象的明确的分类的特征信息。元数据也可以包括关于涉及运动对象的事件的信息。
参考对象的位置,对象在元数据中的位置表示为在与固定位置摄像机12相关联的二维坐标***中的二维坐标。这些二维坐标与由固定位置摄像机12捕获的帧中的对象的图像的位置相关联。对象的二维坐标可以被确定为由固定位置摄像机12捕获的帧中的一点。在一些配置中,对象的位置的坐标被确定为对象的最低部分的中间(例如,如果对象是一个站立的人,那么该位置将会在人的两脚之间)。二维坐标有x和y分量,但是没有第三分量。在一些配置中,x和y分量以像素数测量的。例如,位置{613,427}将意味着对象的最低部分的中间是在固定位置摄像机12的视野的沿着x轴的613像素和沿着y轴的427像素。随着对象运动,与对象位置相关联的坐标将会变化。此外,因为这个坐标***与固定位置摄像机12相关联,如果相同的对象在一个或多个其它摄像机的视野中也是可见的,那么由其它摄像机确定的对象的位置坐标可能将是不同的。
对象的高度也可以被包含在元数据中并根据像素数表示。对象的高度为定义为从对象的图像的底部到对象的图像的顶部的像素数。同样地,如果对象接近固定位置摄像机12,那么测量的高度将会大于对象远离固定位置摄像机12的测量高度。相似地,对象的宽度以像素数表示。对象的宽度可以基于对象的平均宽度或基于对象的最宽点上的宽度确定,对象的最宽点横向出现在对象的图像里。相似地,对象的速度和方向也能够以像素测量。
由固定位置摄像机12确定的元数据经由路由器20被传输到主计算机***30。除了将元数据传输到主计算机***30外,固定位置摄像机12还将帧的视频馈送传输到主计算机***30。由固定位置摄像机12捕获的帧可以被压缩或解压。压缩之后,帧经由路由器20被传输到主计算机***30。
如图1进一步所示,保安摄像机网络10可以包括多个固定位置摄像机12,其能以与上面描述大体相似的方式运行。固定位置摄像机12,假设它们定位在互不相同的位置,则它们具有不同观察点和视野。因此,即使相同对象在同一瞬间被多个固定位置摄像机12及时观察到,感知位置、对象的宽度和高度也将会在不同的摄像机之间变化。
保安摄像机网络10也包括PTZ摄像机14。PTZ摄像机14可以摆动、倾斜和变焦。如同使用固定位置摄像机12一样,PTZ摄像机14也可以包括数字信号处理器和/或其它处理设备。为了使PTZ摄像机14识别各自的感兴趣的对象,PTZ摄像机14可以具有预定义的观察点,在该观察点PTZ摄像机14分析背景,并能够将包含运动对象的前景与包含静态对象的背景区分开来。使用主计算机***30的用户可以能够控制PTZ摄像机14的运动和变焦。控制PTZ摄像机14的命令可以经由路由器20从主计算机***30被路由到PTZ摄像机14。在一些配置中,PTZ摄像机14遵循一套摆动、倾斜和变焦模式,除非被来自主计算机***30的命令中断。
从属摄像机16可以经由路由器20与主计算机***30通信。从属摄像机16可以或者是固定摄像机或者是PTZ摄像机。从属摄像机16被配置为仅捕获图像,而不能识别捕获的图像中的对象。作为替代,从属摄像机16将视频馈送的原始帧或者视频馈送的压缩帧(例如,经由视频压缩器处理)经由路由器20传输到主计算机***30。主计算机***30处理从从属摄像机16接收到的帧以识别和跟踪从从属摄像机16接收到的帧中的运动对象。
主计算机***30被配置为经由路由器20处理有摄像机12-16接收的信息。例如,主计算机***30可以充当位置服务器,其接收和储存保安摄像机网络10中各个摄像机12-16和/或其它设备的位置。基于从用户和/或设备自身获得的信息,主计算机***30计算保安摄像机网络10中的设备的位置,或者可替换地,保安摄像机网络10中的设备可以计算它们自己的位置并将这些位置提交到主计算机***30。主计算机***30也识别和跟踪由摄像机12-16监控的各个对象的位置。
如上所述,主计算机***30接收和存储来自摄像机12-16的压缩和/或非压缩的视频。主计算机***30也接收、存储和分析从摄像机12-16接收的元数据。主计算机***30可以提供用户终端或其它机制,其允许用户(例如保安人员),与从摄像机接收的视频馈送的帧和任何产生的与视频馈送相关联的元数据进行交互。在主计算机***30上的用户终端可以一次显示一个或多个视频馈送给用户。用户可以使用用户终端选择对象去跟踪。例如,如果用户正在查看来自固定位置摄像机12的视频馈送的帧,并且用户希望跟踪的对象出现在固定位置摄像机12的视野内,那么用户可以选择对象的图像。主计算机***30然后借助于保安摄像机网络10的摄像机12-16的位置,以随着对象在摄像机12-16的视野之间的运动跟踪该对象。如果对象在多个摄像机的视野中是可见的,那么由主计算机***30基于预定义的规则选择最佳的视野。用户也可以使用主计算机***30控制PTZ摄像机14。
在一些配置中,主计算机***30可以由一个计算设备或多个计算设备实现。例如,一个计算设备可以处理和存储设备位置、视频,以及作为用户终端运行。可替代地,第一计算设备可以作为用户终端运行,并与处理位置数据、视频内容和/或元数据的第二计算设备交互(例如,通过路由器20)。
本地保安摄像机网络10与数个限制相关联。例如,保安摄像机网络10不提供视频移动性;视频内容和相关联的数据只有在主计算机***30是可获得的,主计算机***30典型地物理定位于在摄像机12-16部署的场所的同一个场所内的本地控制室。此外,保安摄像机网络10作为孤岛***运转,并不被配置为接收或利用视频内容或其它与本地保安摄像机网络10的外部实体对应的其它信息。在保安摄像机网络10内,主计算机***30可能也不能为与多个摄像机12-16相关联的信息执行分析;作为替代,主计算机***30可以只提供用户接口,该用户接口使得保安摄像机网络10的操作者能够手动地检查和分析与多个摄像机12-16相关联的数据。
为了增加视频监视网络的移动性和多样性,并减少至少是上面提到的缺点,视频监视网络可以被设计成为了增强的功能性和移动性使用多层结构以借助基于云的分析和管理服务。基于云的服务指的是计算服务,该计算服务经由云计算由网络服务供应商提供和访问。图2阐释了用于智能视频监视***管理的三层基于云的***的实例。***的第一层40包括边缘设备,例如,路由器20、智能编码器和具有嵌入视频分析算法的智能摄像机42。图2中的摄像机42与图1中的摄像机12-16操作相似。***的第一层40通过一个或多个LAN32连接到***的第二层50。***的第二层50位于监视***的网关,并包括一个或多个网关设备52,网关设备52如下面进一步详细描述的一样操作。***的第二层50经由互联网34连接到***的第三层60,***的第三层60包括经由云计算服务器62和/或其它实体提供的云计算服务。如图2进一步所示,计算机***64可以被配置为经由LAN32和/或互联网34访问与***相关联的信息。计算机***64包括用户接口(UI),也包括各种功能模块使得操作者能够以智能的方式查询、处理和查看与***相关联的数据。因为***是基于云的并且经由互联网34操作,计算机***64可以被定位在任何合适的位置并且不需要与***关联的任何特定的边缘设备或网关同地定位。
图2中示出的***的功能的各个方面由图3中的图表70阐释。在智能摄像机/编码器内,视频分析算法作为场景分析器被利用以检测和跟踪场景中的对象,并生成用以描述对象和它们的事件的元数据。场景分析器作为基于背景减除的算法操作。场景分析器可以用它的颜色、场景中的位置、时间戳、速度、尺寸、运动方向等等来描述对象。场景分析器也可以触发预定义元数据事件,例如区域或绊网违规、计数、摄像机破坏、对象合并、对象分离、静止对象、对象徘徊等等。对象和事件元数据,与边缘设备产生的任何其它元数据一起,被发送到网关52。
网关52是本地网络中的储存和处理设备,本地网络存储视频和元数据内容。网关可以完全地或部分地作为网络视频记录器或独立服务器被实现。如上所述,从边缘设备产生的元数据被提供到它们相应的网关52。接着,网关52将从摄像机42捕获的视频上传到用于存储、显示和搜索的云计算服务器62。因为由摄像机42捕获的视频的容量相当大,所以上传所有与摄像机42相关的视频内容在成本和带宽方面也许过分昂贵。因此,网关52如下面描述被利用以减少发送到云计算服务器62的视频量。作为下面描述的元数据过滤和其它操作的结果,从网关52发送到云计算服务器62的信息量可以被显著地减少(例如,将要被发送到云计算服务器62的信息可以减少到如果***连续地发送所有信息时的百分之几)。除了节省成本和带宽,这个减少改进了***的可扩展性,使得公共平台能够从单独计算***64经由云计算服务器62跨越很多地理区域监控和分析监视网络。
由边缘设备提供的元数据在网关52被处理以去除噪声和减少复制对象。从边缘设备获得的视频内容的关键帧也可以基于元数据时间戳和/或与视频关联的其它信息被提取出来,并且也可以作为静态图片存储起来用于后续处理。记录的视频和静态图片可以进一步被分析以使用在网关52的增强的视频分析算法提取不是从边缘设备获得的信息。例如,诸如人脸检测/识别算法和车牌识别算法可以在网关52被执行以基于来自关联的摄像机42的运动检测结果提取信息。增强的场景分析器也可以被运行在网关52,网关52可以被用来处理高清晰度视频内容以提取更好的对象特征。
通过过滤噪声元数据,网关52减少了上传到云计算服务器62的数据量。相反地,如果在网关52的场景分析器没有正确配置,那么可能大量噪声将会被检测为对象并被作为元数据发送出去。例如,树叶、旗和一些阴影和强光可以在边缘设备产生虚假(false)对象,而对这些边缘设备来说通常很难实时地检测和去除这类噪声。然而,网关52借助在本地监视网络中的所有摄像机42和/或其它边缘设备的时间和空间信息以更少的难度去过滤这些噪声对象。噪声过滤可以基于各种标准在对象级被执行。例如,如果一个对象在它出现后很快消失,如果它变化运动方向、尺寸和/或运动速度,如果它突然出现然后静止不动等,那么该对象可以被归类为噪声。如果两个摄像机有重叠区域,并且它们互相配准(例如,经由公用地图),如果对象不能在其它摄像机上位置的周围区域被发现,那么在一个摄像机识别的对象也可以作为噪声被识别。其它标准也可以被使用。如上面执行的噪声元数据的检测可以基于预定义的阈值;例如,如果从对象的出现开始到消失的时间在阈值时间量之内或者如果对象展示出大于阈值的方向、尺寸和/或速度的变化,那么该对象可以被归类为噪声。
通过如上描述的将对象归类为噪声,网关52能够在信息被发送到云之前滤除由边缘设备提供的大部分虚假运动信息。例如,***可以经由在网关52的角度变换将摄像机42在地图上配准,场景的特征点与相应的地图上的点可以配准。这个方法使得***作为跨摄像机的监视监控***运行。因为对象可以从区域内的多个摄像机42被检测到,在该区域摄像机42重叠,所以使用这些信息从元数据对象中去除噪声是可能的。
如另一个实例,网关52可以借助由边缘设备监控的场景中的对象之间的时间关系,以促进对象检测的一致性并减少虚假确认(false positive)。再次参考观察停车场的摄像机的实例,边缘设备可以产生对应于步行穿过停车场的人的元数据。如果人的全身在摄像机是可见的,那么摄像机产生对应于人的高度的元数据。然而,如果随后人在停车场中的成排的汽车之间步行,使得其身体的下部被遮挡出摄像机,那么摄像机将会产生仅对应于人的可见部分的高度的新的元数据。因为网关52可以智能地分析由摄像机观察的对象,所以网关52可以借助所观察的对象之间的时间关系和针对持久性和功能连续性的预设规则去跟踪对象,即使对象的多个部分变得被遮挡。
在如上描述的过滤噪声元数据对象和执行增强的视频分析之后,剩下的元数据对象和关联的视频内容被网关52上传到云计算服务。在网关52处理的结果,只有与元数据相关联的视频剪辑将会被上传到云。这能显著地减少(例如,90%或更多)被传输的数据量。由网关52处理的原始视频和元数据也可以被本地存储在网关52作为备份。网关52也可以代替内容或元数据本身,或者除了内容或元数据本身之外,将视频内容和/或元数据的表示传输到云服务。例如,为进一步减少从网关52向云传输的相对应于跟踪对象的信息量,网关52可以传输对象的坐标或地图表示(例如,对应于地图的化身(avatar)或其它标志)以代替实际视频内容和/或元数据。
上传到云计算服务器62的视频可以使用低分辨率和/或帧速率被转码以减少用于大型摄像机网络的互联网34上的视频带宽。例如,为了减少上传到云的数据量,网关52可以将以视频压缩标准编码的高清晰视频转换为低带宽视频格式。
通过利用云计算服务,与***相关联的用户可以在任何地点任何时间经由在任何合适的固定的或便携的计算设备64提供的用户接口查看和搜索与***相关联的视频。用户接口可以是基于网络的(例如,经由HTML5、Flash、Java等实现)并且经由网页浏览器实现,或者可替换地,用户接口可以作为在一个或多个计算平台上的专属应用被提供。计算设备64可以是台式电脑或手提电脑、平板电脑、智能手机、个人数字助理(PDA)和/或任何其它合适的设备。
此外,云计算服务的使用为***提供了增强的可扩展性。例如,***可以被利用来合并广泛网络的监视***,例如,其对应于公司实体的不同的物理分支。***使得用户在单个计算设备64上能够观看和搜索从任何关联的位置上传到云服务的视频。此外,如果***操作者希望在很长一段时间期间内搜索大量摄像机,那么云服务可以在计算机集群上并行执行搜索以加速搜索。云计算服务器62也可以是可操作的高效地提供大范围的服务,例如:取证(forensic)搜索服务、操作性视频服务索、实时检测服务、摄像机网络服务等等。
图4示出了根据本文描述的技术用于管理一套本地视频监视网络70的***。本地监视网络70可以每个包括边缘设备,例如如上述讨论的摄像机42、路由器20等等。本地监视网络70每个提供视频内容和相关联的元数据给遍布本地网络连接的网关52。网关52利用视频处理模块80和元数据处理模块82如上面描述的去分析、过滤和/或产生与本地监视网络70相关联的元数据。为提供智能元数据和视频分析,网关52利用网络集成子***84,同样也利用给定本地监视网络70中的边缘设备,网络集成子***84合并从多个本地监视网络70获得的数据。网关52此外利用云服务接口86,如上描述的,云服务接口86有选择地上传视频内容和元数据到云服务90。
根据到云服务90的上传信息,用户可以经由远程终端92与上传的数据交互。云服务90的集中性质可以使增强的分析和搜索操作成为可能。例如,用户可以基于各种标准经由远程终端92执行视频取证搜索。作为例子,用户可以针对由本地监视网络70检测到的对象查询云服务90,该对象对应于在给定一天从下午3:00到下午5:00之间身穿蓝色牛仔裤和红色衬衫身高六英尺的男人。响应该查询,云服务90在它存储的元数据中搜索以找到匹配的对象。如果匹配的对象被发现,云服务90返回关于该对象的数据和/或选择的对应该对象的视频剪辑。
云服务90可以在本地监视网络70与本地***联合操作。例如,在上面的例子中,本地监视网络70可以存储完整的视频和元数据,使得希望附加数据而不是在云服务90可以获得的信息的用户,能够从与给定的本地监视网络70相关联的本地控制终端72能访问更详细的信息。虽然没有在图4中阐释,但是本地控制终端72可以与网关52的一些或所有分析功能交互和/或合并以使得相对于本地监视网络70或其它本地监视网络70中的各种边缘设备的高级视频和/或元数据分析成为可能。
图5示出了由云服务90采用的基于规则引擎120的功能层次。由图5阐释的功能是云服务90的功能实现的一个实例;其它实现也是可能的。如上描述,云服务90可以实现一个或多个服务,例如:取证搜索服务110、实施检测服务112、操作***114、摄像机网络监控服务116等等。云服务90执行关于关联的视频数据库(VDB)102和/或一个或多个关联的元数据数据库(MDB)122的一个或多个操作。
规则引擎120处理由用户定义的规则,用户能够使用视觉特征、时间、位置、速度、运动方向、对象关系和其它标准以查询相关数据库。规则引擎120可以使用逻辑表达式以组合多个单个规则以构造更复杂的规则。例如,规则可以被定义为,如果有人在接触所感兴趣的第一预定义区域五秒内跨过所感兴趣的第二预定义区域时触发警报。输入特征可以具有针对将要搜索的每个特征的范围。
在云服务90内实现的服务110-116使用标准应用编程接口(API)与规则引擎120通信。对于取证搜索服务110,规则引擎120经由搜索和排序为给定的查询从存储和索引在云上的MDB122确定最好的匹配元数据。这些搜索和排序操作可以是可升级的和分层的。例如,本地搜索和排序可以被实施在具有给定分布式数据集的不同的服务器上,并且选择的结果可以被合并在一起再次存储在更高级服务器上。这个过程在它达到了顶级服务器之前一直继续,在达到顶级服务器时,最终结果通过排序最终结果被给出。取证搜索服务110与规则引擎120通信以获得查询结果、检索相应的关键帧和视频剪辑并将结果交付给用户。
对于实时检测服务112,规则引擎120实时检查相关的元数据以确定满足预定义规则的事件目前是否正在发生。如果是这样的话,实时检测服务112为某些检测到的类型的事件触发警报。对于操作***114,规则引擎120帮助提供统计数据的结果(例如,对象在预定义时间期间内访问诸如百货商店内的小道的特定地点的平均计数列表等)。对于摄像机网络监控服务116,规则引擎120帮助自动地显示用户选择的或***识别的对象。摄像机网络监控服务116管理多个摄像机,这多个摄像机可以具有重叠或非重叠监控区域。显示器上的视频可以被自动地转换为跟踪嫌疑犯和/或其它兴趣对象。此外,运动对象可以在与摄像机场景配准的地图上被标注。
随着进一步参考图1-5,接着参考图6,管理将与视频监视***关联的信息传送到诸如云服务90的网络管理服务的过程130,包括示出的阶段。然而,过程130仅是实例而不是限制性的。过程130可以被改变,例如通过进行阶段添加、去除、重新排列、联合和/或同时执行。然而对示出和描述的过程130的其它改变是可能的。过程130可以通过一个或多个与多层监视管理***关联的实体被执行,例如放置在云服务90和本地监视***70之间的网关52。一个或多个在过程130中描述的操作可以在硬件和/或软件中执行。
过程130在阶段132开始,其中视频内容和相关联的元数据从多个网络设备(例如,诸如路由器20、摄像机42、编码器等的边缘设备)获得。在阶段134,获得的元数据被分析和处理,并且噪声元数据被识别。“噪声”元数据被定义为由网络设备产生的任何元数据,“噪声”元数据不对应于实际事件或对象。这些可以包括,例如,由于背景图像噪声由网络设备识别的虚假确认、根据执行摄像机之间的分析或时间关系处理由网关52识别的作为外来的(extraneous)元数据,等等。噪声元数据可以被识别,例如,根据一个或多个上面描述的标准评估元数据的质量,然后将具有在给定阈值之下的质量的元数据的部分归类为噪声元数据。在阶段136,通过从在阶段132获得的元数据中去除在阶段134识别的噪声元数据,过滤的元数据集被产生。
在阶段138,与在阶段136产生的过滤的元数据集的第一部分相关联的视频部分从在阶段132获得的视频内容中被分离出。在阶段140,在阶段138被分离的视频部分和它们的相关联的元数据被上传到网络储存实体(例如,与云服务90相关联的)。
随着进一步参考图1-5,参考图7,管理将与视频监视***相关联的信息传送到网络管理服务的第二过程150包括示出的阶段。然而,过程150仅是实例而不是限制性的。过程150可以被改变,例如通过进行阶段添加、去除、重新排列、联合和/或同时执行。然而对示出和描述的过程150的其它改变是仍可能的。与过程130相似,过程150可以通过一个或多个与多层监视管理***关联的实体被执行,例如放置在云服务90和本地监视***70之间的网关52。一个或多个在过程150中描述的操作可以在硬件和/或软件中被执行。
过程150在阶段152开始,其中视频内容和相关元数据从具有重叠覆盖区域的至少两个网络设备(例如,摄像机42,编码器等等)获得。在阶段154,在阶段152获得的元数据中表示的对象或事件被识别。在阶段156,确定对象或事件是否在一个或多个相邻设备的元数据中被表示,相邻设备也为对象或事件的区域提供覆盖范围。如果对象或事件没有在这些元数据中被表示,那么在阶段160对象或事件被归类为噪声。否则,在阶段158,进一步确定对象或事件是否是虚假确认(例如,基于设备和相关元数据之间的空间/时间关系等)。如果虚假确认被检测到,那么在阶段160对象或事件被归类为噪声;否则,在阶段162,对应于对象或事件的增强的元数据被产生。如上描述的,使用与网关52相关联的一个或多个服务,增强的元数据可以被产生。
在阶段164,在阶段162产生的增强的元数据和相关联的视频内容被上传到网络储存实体(例如,与云服务90相关联)。一旦信息被上传到网络储存实体,一个或多个云服务(例如,云服务110-116和/或规则引擎120)就可以被利用以产生除了在阶段162产生的增强的元数据之外的增强的元数据,或代替在阶段162产生的增强的元数据的增强的元数据。
为执行主计算机***30的动作,网关52、计算***64、远程终端92、云服务90的各种元件、或任何其它前面描述的计算机化***、如图8阐释的计算机***可以被使用。图8提供了计算机***200的示意图,计算机***200可以执行如本文描述的由其它各种配置提供的方法,和/或可以作为主计算机***、远程机房/终端、销售点设备、移动设备和/或计算机***运行。图8提供了各种组件的广义阐释,任何或所有组件可以适当地被利用。因此,图8概括地阐释了各个***元件怎样以相对分离的或相对更集成的方式被实现。
示出的计算机***200包括硬件元件,硬件元件可以经由总线205被电气连接(或者可以另外适当地进行通信)。硬件元件可以包括一个或多个处理器210,处理器210没有限制地包含一个或多个通用处理器和/或一个或多个专用处理器(例如,数字信号处理芯片、图形加速处理器、和/或类似设备);一个或多个输入设备215,其可以没有限制地包含鼠标、键盘和/或类似设备;和一个或多个输出设备220,其可以没有限制地包含显示器设备、打印机和/或类似设备。
主计算机***200还可以包括(和/或与之通信)一个或多个非暂时性储存设备225,其可以无限制地包括本地和/或网络可访问的储存器,和/或可以无限制地包括磁盘驱动器、驱动器阵列、光储存设备、固态储存设备(诸如随机访问存储器(“RAM”)和/或可以是可编程的闪速可更新的只读存储器(“ROM”)和/或类似存储器)。这样的储存设备可以被配置为执行任何合适的数据储存,没有限制地包括各种文件***、数据库结构和/或类似物。
计算机***200也可以包括通信子***230,其可以没有限制包括调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组(例如,蓝牙TM设备、802.11设备、无线网络(Wi-Fi)设备、全球微波互联接入(WiMax)设备、蜂窝通信设施等等)和/或类似物。通信子***230可以允许与网络(例如作为一个例子给出的下面描述的网络)、其它计算机***和/或任何其它本文描述的设备进行数据交换。在很多配置中,计算机***200还将包括工作存储器235,如上面描述的,其可以包括RAM或ROM设备。
计算机***200也可以包括软件元件,显示为目前正位于工作存储器235中,软件元件包括操作***240、设备驱动器、可执行库和/或其它代码,诸如一个或多个应用程序245,应用程序245可以包括由各种配置提供的计算机程序,和/或可以被设计为实现如本文描述的由其它配置提供的方法和/或配置***。仅仅通过实例的方式,关于上面讨论的方法的一个或多个描述步骤可以作为计算机(和/或计算机中的处理器)可执行的代码和/或指令被实现;然后,在一个方面,这样的代码和/或指令可以被用来配置和/或调整通用计算机(或其它设备)执行依据所描述的方法一个或多个操作。
这些指令和/或代码的集合可以被存储在计算机可读储存介质上,例如上面描述的储存设备225。在某些情况下,储存介质可以被包含进计算机***(例如***200)。在其它配置中,储存介质可以从计算机***分离(例如,诸如光盘的移动介质),和/或在安装包中被提供,使得储存介质可以被用来编程、配置和/或调整在其上带有存储指令/代码的通用计算机。这些指令可以采取可执行代码的形式,该代码通过计算机***200可执行,和/或可以采用源代码和/或可安装代码的形式,源代码和/或可安装代码基于在计算机***200(例如,使用任何各种通常可用的编译器、安装程序、压缩/解压工具等等)上的编译和/或安装,然后采用可执行代码的形式。
依据特定需要,可以对描述的配置做出明显的变化。例如,也可以使用定制的硬件,和/或可以在硬件、软件(包括可移植软件,例如applet等等)、或硬件和软件二者中实现特定的元件。此外,可以采用到诸如网络输入/输出设备的其它计算设备的连接。
如上面提到的,在一方面,一些配置可以采用计算机***(例如,计算机***200)以执行依据本发明的各种配置的方法。根据一组配置,这种方法的一些或所有步骤由计算机***200执行,响应处理器210执行包含在工作存储器235中的一个或多个指令(指令可以合并到操作***240和/或其它代码中,例如应用程序245)的一个或多个序列。这样的指令可以从其它计算机可读介质(例如,一个或多个存储设备225)读入到工作存储器235中。仅仅通过实例的方式,包含在工作存储器235中的指令序列的执行可以导致处理器210去执行本文描述的方法的一个或多个步骤。
本文使用的术语“机器可读介质”和“计算机可读介质”指的是参与提供导致机器以特定方式操作的数据的任何介质。在使用计算机***200实现的实施方式中,各种计算机可读介质可以参与到提供指令/代码给处理器210用于执行,和/或可以被用来存储和/或携带这样的指令/代码(例如,作为信号)。在很多实现中,计算机可读介质是物理的和/或有形的储存介质。这样的介质可以采用很多形式,包括但不限制于,非易失介质、易失介质和传输介质。例如,非易失介质包括光盘和/或磁盘(例如储存设备225)。易失介质没有限制地包括动态存储器(例如工作存储器235)。传输介质没有限制地包括同轴电缆、铜导线和光纤(包括包含总线205的导线)、以及通信子***230的各种组件(和/或通过其通信子***230提供与其它设备的通信的介质)。因此,传输介质也可以采用波的形式(没有限制地包括,例如在无线电波和红外数据通信时产生的那些无线电波、声波和/或光波)。
物理的和/或有形的计算机可读介质的普通形式包括,例如,软盘、软磁盘、硬盘、磁带或任何其它磁性介质、CD-ROM、任何其它光学介质、打孔卡、纸带、任何其它带有孔模式的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒(cartridge)、如下文描述的载波、或计算机能够从中读取指令和/或代码的任何其它介质。
计算机可读介质的各种形式可以参与到将一个或多个指令的一个或多个序列传送到处理器210用于执行。仅通过实例的方式,指令可以初始携带在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到它的动态存储器并将指令作为信号通过传输介质发送以供计算机***200接收和/或被计算机***200执行。这些信号,它们可能是以电磁信号、声信号、光信号和/或相似信号的形式,这些都是载波的实例,在载波上指令可以依据本发明的各种配置被编码。
通信子***230(和/或其中的组件)通常将接收信号,而总线205然后可以将信号(和/或由信号携带的数据、指令等等)发送到工作存储器235,处理器205从工作存储器235检索和执行指令。由工作存储器235接收的指令可以选择地在被处理器210执行之前或者之后存储在储存设备225上。
上面讨论的方法、***和设备是实例。各种替代的配置可以省略、代替或适当地添加各种步骤或组件。例如,在替代的方法中,阶段可以按不同于上面讨论的顺序被执行,并且各种阶段可以被添加、省略或合并。同样,关于特定配置的描述特征可以被合并进各种其它的配置。配置的不同方面和元件可以以相似的方式组合。同样,技术会发展,因此很多元件是例子并且不限制本公开或权利要求的范围。
具体细节在说明书中给出,用以提供实例配置(包括实现)的透彻理解。然而,配置可以没有这些具体细节被实践出来。例如,为了避免模糊配置,众所周知的电路、过程、算法、结构、以及技术已经被示出为不带有不必要的细节。本说明书仅提供了实例配置,并不限制权利要求的范围、适用性或配置。更准确地说,配置的前述的说明将为本领域普通技术人员提供用于将描述的技术实现成为可能的说明。在元件的功能和布置中可以做出各种变化而不偏离本公开的精神和范围。
此外,前述说明书详述了在保安摄像机***的环境中的技术。然而,本文描述的***和方法可以适用到其它形式的摄像机***。
而且,配置可以被描述为过程,其被描画为流程图或框图。尽管每个都可以将操作描述为顺序过程,但是很多操作可以被并行地或同时地执行。此外,操作的顺序可以被重新排列。过程可以具有图中没有包括的附加步骤。而且,方法的实例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其中的任何组合实现。当在软件、固件、中间件或微代码中实现时,用以执行必要任务的程序代码或代码段可以存储在例如储存介质的非暂时性计算机可读介质中。处理器可以执行描述的任务。
如本文使用,包含在权利要求中的由“至少一个”作为开始的一个条目列表中使用的“或”表示分隔的(disjunctive)列表,使得,例如,列表“A,B或C的至少一个”包括A或B或C或AB或AC或BC或ABC(也就是A和B和C),或与多于一个的特征的组合(例如,AA,AAB,ABBC等等)。
已经描述了多个实例配置,各种修改、替代、构造和等同物可以被使用而不偏离本公开的精神。例如,上面的元件可以是更大***的组件,其中其它规则可以优先执行,或另外修改本发明的应用。同样,许多步骤可以在上面元件被考虑到之前、之中或之后被进行。因此,上面的说明书不限制权利要求的范围。

Claims (30)

1.一种管理视频监视***的方法,包括:
从多个网络设备(20,42)获得视频内容和关于所述视频内容的元数据;
根据一个或多个标准过滤所述元数据以获得过滤的元数据集;
分离所述视频内容的与所述过滤的元数据集的相应的第一部分相关联的视频部分;以及
提供所述过滤的元数据集或所分离的视频部分中的至少一些给云计算服务(90)。
2.根据权利要求1所述的方法,其中所述多个网络设备(20,42)包括摄像机或视频编码器中的至少一个。
3.根据权利要求1所述的方法,其中所述多个网络设备中的相应的网络设备与多个本地网络(70)中的相应的本地网络相关联,并且其中所述多个本地网络(70)的每一个与不同的地理位置相关联。
4.根据权利要求1所述的方法,其中所述过滤包括:
根据所述一个或多个标准评估所述元数据的质量;
将所述元数据的具有在阈值之下的质量的第二部分归类为噪声元数据;以及
从所述过滤的元数据集中排除所述噪声元数据。
5.根据权利要求4所述的方法,其中:
获得所述元数据包括从至少第一网络设备和第二网络设备获得所述元数据,其中所述第一网络设备和所述第二网络设备为重叠地理区域维护元数据;以及
所述过滤还包括:
识别从所述第一网络设备获得的元数据元素,所述元数据元素对应于所述第一网络设备和所述第二网络设备为之维护元数据的区域;
确定是否已经从所述第二网络设备获得了对应的元数据元素;以及
如果没有从所述第二网络设备获得所述对应的元数据元素,则将所述元数据元素归类为噪声。
6.根据权利要求4所述的方法,其中所述过滤包括基于在对应于所述元数据的视频内容中的空间关系或在对应于所述元数据的视频内容中的时间关系中的至少一个评估所述元数据的质量。
7.根据权利要求6所述的方法,其中所述过滤还包括:
识别与网络设备检测到的对象相关联的元数据元素;以及
如果所述对象从它的出现开始在阈值时间量内消失或者如果所述对象展现出关于运动方向、尺寸或运动速度的至少阈值程度的变化,那么将所述元数据元素归类为噪声。
8.根据权利要求1所述的方法,其中所述元数据对应于所述视频监视***中的跟踪的对象或所述视频监视***中的事件的至少一个。
9.根据权利要求1所述的方法,还包括处理所述视频内容以产生一个或多个补充元数据元素。
10.根据权利要求1所述的方法,还包括:
接收对所述元数据或所述视频内容的至少一个的查询;以及
根据一个或多个预定义规则处理所述查询。
11.一种视频监视管理***,包括:
网关(52),其被配置为从多个网络设备(20,42)获得视频内容和关于所述视频内容的元数据;
元数据处理模块(82),其通信耦合到所述网关(52),并被配置为根据一个或多个标准过滤所述元数据以获得过滤的元数据集;
视频处理模块(80),其通信耦合到所述网关(52)和所述元数据处理模块(82),并被配置为分离所述视频内容的与所述过滤的元数据集的相应的第一部分相关联的视频部分;以及
云服务接口(86),其通信耦合到所述网关(52)、所述元数据处理模块(82)和所述视频处理模块(80),并被配置为提供所述过滤的元数据集或所分离的视频部分中的至少一些给云计算服务(90)。
12.根据权利要求11所述的***,其中所述多个网络设备(20,42)包括摄像机或视频编码器中的至少一个。
13.根据权利要求11所述的***,其中所述元数据处理模块(82)还被配置为根据所述一个或多个标准评估所述元数据的质量,以将所述元数据的具有在阈值之下的质量的相应的第二部分归类为噪声元数据,并从所述过滤的元数据集中排除所述噪声元数据。
14.根据权利要求13所述的***,其中:
所述网关(52)还被配置为从至少第一网络设备和第二网络设备获得所述元数据,其中所述第一网络设备和所述第二网络设备为重叠地理区域维护元数据;以及
所述元数据处理模块(82)还被配置为识别从所述第一网络设备获得的对应于所述第一网络设备和所述第二网络设备为之维护元数据的区域的元数据元素,确定是否已经从所述第二网络设备获得了对应的元数据元素,以及如果没有从所述第二网络设备获得所述对应的元数据元素,则将所述元数据元素归类为噪声。
15.根据权利要求13所述的***,其中所述元数据处理模块(82)还被配置为基于在对应于所述元数据的视频内容中的空间关系或在对应于所述元数据的所述视频内容中的时间关系的至少一个评估所述元数据的质量。
16.根据权利要求13所述的***,其中所述元数据处理模块(82)还被配置为识别与由网络设备检测到的对象相关联的元数据元素,并且如果所述对象从它的出现开始在阈值时间量内消失或者如果所述对象展现出关于运动方向、尺寸或运动速度的至少阈值程度的变化,那么将所述元数据元素归类为噪声。
17.根据权利要求11所述的***,其中所述元数据对应于所述视频监视***中跟踪的对象或所述视频监视***中的事件的至少一个。
18.根据权利要求11所述的***,其中所述视频处理模块(80)还被配置为基于所述视频内容产生一个或多个补充元数据元素。
19.根据权利要求11所述的***,还包括规则引擎(120),该规则引擎通信耦合到所述网关(52)、所述元数据处理模块(82)和所述视频处理模块(80),并被配置为接收对所述元数据或所述视频内容中的至少一个的查询,并根据一个或多个预定义规则处理所述查询。
20.一种视频监视管理***,包括:
网络接口工具(52),其用于从多个网络设备(20,42)获得视频内容和关于所述视频内容的元数据;
元数据处理工具(82),其通信耦合到所述网络接口工具(52),用于根据一个或多个标准过滤所述元数据以获得过滤的元数据集;以及
视频处理工具(80),其通信耦合到所述网络接口工具(52)和所述元数据处理工具(82),用于分离所述视频内容的与所述过滤的元数据集的相应的第一部分相关联的视频部分;
其中所述网络接口工具(52)包括用于提供所述过滤的元数据集或所分离的视频部分中的至少一些给云计算服务(90)的工具(86)。
21.根据权利要求20所述的***,其中所述多个网络设备(20,42)包括摄像机或视频编码器中的至少一个。
22.根据权利要求20所述的***,其中所述元数据处理工具(82)包括用于根据所述一个或多个标准评估所述元数据的质量,将所述元数据的具有在阈值之下质量的第二部分归类为噪声元数据,并从所述过滤的元数据集中排除所述噪声元数据的工具。
23.根据权利要求20所述的***,其中所述元数据对应于所述视频监视***中跟踪的对象或所述视频监视***中的事件中的至少一个。
24.根据权利要求20所述的***,其中所述视频处理工具(80)包括用于基于所述视频内容产生一个或多个补充元数据元素的工具。
25.根据权利要求20所述的***,还包括查询处理工具(120),该查询处理工具通信耦合到所述网络接口工具(52)、所述元数据处理工具(82)和所述视频处理工具(80),用于接收对所述元数据或所述视频内容中的至少一个的查询,以及根据一个或多个预定义规则处理所述查询。
26.一种驻留在处理器可执行计算机储存介质(225)上的计算机程序产品,所述计算机程序产品包括处理器可执行指令,该处理器可执行指令被配置为导致处理器(210)执行以下操作:
从多个网络设备获得视频内容和关于所述视频内容的元数据;
根据一个或多个标准过滤所述元数据以获得过滤的元数据集;
分离所述视频内容的与所述过滤的元数据集的相应的第一部分相关联的视频部分;以及
提供所述过滤的元数据集或所分离的视频部分中的至少一些给云计算服务。
27.根据权利要求26所述的计算机程序产品,其中所述多个网络设备包括摄像机或视频编码器中的至少一个。
28.根据权利要求26所述的计算机程序产品,其中被配置为导致所述处理器(210)进行过滤操作的所述指令还被配置为导致所述处理器(210)执行以下操作:
根据所述一个或多个标准评估所述元数据的质量;
将所述元数据的具有在阈值之下的质量的第二部分归类为噪声元数据;
从所述过滤的元数据集中排除所述噪声元数据。
29.根据权利要求26所述的计算机程序产品,其中所述元数据对应于所述视频监视***中跟踪的对象或所述视频监视***中的事件的至少一个。
30.根据权利要求26所述的计算机程序产品,还包括被配置为导致所述处理器(210)执行以下操作的处理器可执行指令:
接收对所述元数据或所述视频内容中的至少一个的查询;以及
根据一个或多个预定义规则处理所述查询。
CN201280063674.5A 2011-12-22 2012-10-26 基于云的视频监视管理*** Active CN104040601B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/335,591 US10769913B2 (en) 2011-12-22 2011-12-22 Cloud-based video surveillance management system
US13/335,591 2011-12-22
PCT/US2012/062114 WO2013095773A1 (en) 2011-12-22 2012-10-26 Cloud-based video surveillance management system

Publications (2)

Publication Number Publication Date
CN104040601A true CN104040601A (zh) 2014-09-10
CN104040601B CN104040601B (zh) 2016-11-16

Family

ID=48655657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063674.5A Active CN104040601B (zh) 2011-12-22 2012-10-26 基于云的视频监视管理***

Country Status (6)

Country Link
US (1) US10769913B2 (zh)
EP (1) EP2795600B1 (zh)
JP (1) JP6088541B2 (zh)
CN (1) CN104040601B (zh)
AU (1) AU2012355879B2 (zh)
WO (1) WO2013095773A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686299A (zh) * 2016-11-30 2017-05-17 陈德成 一种电子控制的电子监控装置
CN107516074A (zh) * 2017-08-01 2017-12-26 广州杰赛科技股份有限公司 一种认证识别方法及***
CN108205468A (zh) * 2016-12-16 2018-06-26 上海仪电(集团)有限公司中央研究院 一种面向海量视频图像的分布式***及实现方法
CN109117152A (zh) * 2018-07-26 2019-01-01 新华三大数据技术有限公司 服务生成***及方法
CN109690607A (zh) * 2016-10-25 2019-04-26 猫头鹰照相机股份有限公司 基于视频的数据收集、图像捕获以及分析配置
CN109791555A (zh) * 2016-06-09 2019-05-21 华为技术有限公司 用于网络连接不稳定的设备的基于云的多层文件***
CN110140153A (zh) * 2017-01-23 2019-08-16 韩华泰科株式会社 监控装置与***

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830327B2 (en) * 2010-05-13 2014-09-09 Honeywell International Inc. Surveillance system with direct database server storage
US9552648B1 (en) * 2012-01-23 2017-01-24 Hrl Laboratories, Llc Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering
US8768142B1 (en) * 2012-01-26 2014-07-01 Ambarella, Inc. Video editing with connected high-resolution video camera and video cloud server
US20140022391A1 (en) * 2012-07-19 2014-01-23 Saankhya Labs Private Limited System and method for enabling control of ptz cameras
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US20140247941A1 (en) * 2013-03-01 2014-09-04 Oplink Communications, Inc. Self-configuring wireless network
US9277255B1 (en) * 2013-03-15 2016-03-01 Google Inc. Metering of internet protocol video streams
US20150019621A1 (en) * 2013-07-10 2015-01-15 Afreey Inc. Cross-Platform System for Remote-Controlling Network Camera
WO2015013315A1 (en) * 2013-07-22 2015-01-29 Intellivision Technologies Corp. System and method for scalable video cloud services
US10482738B2 (en) 2013-08-13 2019-11-19 Sensormatic Electronics, LLC System and method for video/audio and event dispatch using positioning system
DE102013110306A1 (de) * 2013-09-18 2015-03-19 Sheng-Fu Chang Videospeichersystem
FR3011428B1 (fr) * 2013-09-30 2016-12-09 Rizze Systeme de videosurveillance permettant de suivre le deplacement des personnes a l'interieur et a l'exterieur d'un batiment
US20150112832A1 (en) * 2013-10-23 2015-04-23 Wal-Mart Stores, Inc. Employing a portable computerized device to estimate a total expenditure in a retail environment
FR3012713B1 (fr) * 2013-10-24 2016-12-16 Rizze Systeme de surveillance urbaine de terrain unifie et automatise permettant l’identification des vehicules voles ou en infraction via suivi par lunettes a realite augmentee.
US9953386B2 (en) 2013-11-16 2018-04-24 At&T Intellectual Property I, L.P. Method and system for controlling distribution of composite data of user by aggregation server
US20150142587A1 (en) * 2013-11-20 2015-05-21 Honeywell International Inc. System and Method of Dynamic Correlation View for Cloud Based Incident Analysis and Pattern Detection
FR3015093A1 (fr) * 2013-12-12 2015-06-19 Rizze Systeme et procede de controle de flux d'entree et de sortie des personnes dans des espaces fermes
US10491936B2 (en) 2013-12-18 2019-11-26 Pelco, Inc. Sharing video in a cloud video service
WO2015099675A1 (en) * 2013-12-23 2015-07-02 Pelco, Inc. Smart view selection in a cloud video service
US9584570B2 (en) * 2014-03-28 2017-02-28 Pelco, Inc. Dynamic media transcoding for P2P communications
US11120274B2 (en) * 2014-04-10 2021-09-14 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
US9405979B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems
US20160110972A1 (en) * 2014-04-10 2016-04-21 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems
US10217003B2 (en) 2014-04-10 2019-02-26 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
US20150381417A1 (en) * 2014-04-10 2015-12-31 Smartvue Corporation Systems and Methods for an Automated Cloud-Based Video Surveillance System
US9420238B2 (en) 2014-04-10 2016-08-16 Smartvue Corporation Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems
US9407879B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems
US10084995B2 (en) 2014-04-10 2018-09-25 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US9407880B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas
US9686514B2 (en) 2014-04-10 2017-06-20 Kip Smrt P1 Lp Systems and methods for an automated cloud-based video surveillance system
US11093545B2 (en) * 2014-04-10 2021-08-17 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US10057546B2 (en) * 2014-04-10 2018-08-21 Sensormatic Electronics, LLC Systems and methods for automated cloud-based analytics for security and/or surveillance
US9426428B2 (en) 2014-04-10 2016-08-23 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores
US9888266B2 (en) 2014-04-22 2018-02-06 Vivint, Inc. Pushing video to panels and sending metadata tag to cloud
WO2015184440A2 (en) 2014-05-30 2015-12-03 Placemeter Inc. System and method for activity monitoring using video data
US9887886B2 (en) 2014-07-15 2018-02-06 Sap Se Forensic software investigation
CN105450679B (zh) * 2014-08-06 2019-06-28 杭州海康威视***技术有限公司 进行数据云存储的方法及***
CN105898207B (zh) * 2015-01-26 2019-05-10 杭州海康威视数字技术股份有限公司 视频数据的智能处理方法及***
US10587844B2 (en) * 2015-02-17 2020-03-10 Innodep Co., Ltd. Image analysis system for analyzing dynamically allocated camera image, integrated control system including same, and operation method therefor
US10055672B2 (en) 2015-03-11 2018-08-21 Microsoft Technology Licensing, Llc Methods and systems for low-energy image classification
US10268886B2 (en) 2015-03-11 2019-04-23 Microsoft Technology Licensing, Llc Context-awareness through biased on-device image classifiers
US11024136B2 (en) * 2015-04-02 2021-06-01 Techcam, Llc Method and apparatus for remote surveillance
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11138442B2 (en) 2015-06-01 2021-10-05 Placemeter, Inc. Robust, adaptive and efficient object detection, classification and tracking
JP6925321B2 (ja) * 2015-08-27 2021-08-25 フォグホーン システムズ, インコーポレイテッドFoghorn Systems, Inc. エッジインテリジェンスプラットフォーム、およびインターネット・オブ・シングス・センサストリームシステム
US10616465B2 (en) * 2015-09-16 2020-04-07 Microsoft Technology Licensing, Llc Bandwidth efficient video surveillance system
EP3405889A4 (en) * 2016-01-21 2019-08-28 Wizr LLC DEMATERIALIZED PLATFORM WITH SYNCHRONIZATION OF MULTIPLE CAMERAS
CN108885686B (zh) * 2016-02-19 2022-10-14 开利公司 用于视频分析的基于云的主动调试***
US10585824B2 (en) 2016-02-26 2020-03-10 Nec Corporation Transmission control preventing transmission of similar commands in overlapping manner
US10733863B2 (en) 2016-03-04 2020-08-04 Irisity Ab (Publ) System and method for incident handling
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10764539B2 (en) * 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
EP3249651B1 (en) * 2016-05-23 2018-08-29 Axis AB Generating a summary video sequence from a source video sequence
US10410097B2 (en) 2016-06-06 2019-09-10 Mutualink, Inc. System and method for distributed intelligent pattern recognition
RU2634225C1 (ru) 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
US9848380B1 (en) * 2016-06-21 2017-12-19 International Business Machines Corporation Context-based coordinated data retrieval for mobile devices
US20170374395A1 (en) * 2016-06-28 2017-12-28 The United States Of America As Represented By The Secretary Of The Navy Video management systems (vms)
US11017647B2 (en) 2016-07-14 2021-05-25 Carrier Corporation Remote monitoring system
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
US10609338B1 (en) * 2016-09-02 2020-03-31 Western Digital Technologies, Inc. Surveillance systems and methods thereof
KR102506581B1 (ko) 2016-09-29 2023-03-06 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치
CN110036385B (zh) 2016-12-02 2023-08-08 开利公司 混合模式云内部部署(on-premise)安全通信
US10095933B2 (en) * 2016-12-05 2018-10-09 Google Llc Systems and methods for locating image data for selected regions of interest
JP6423023B2 (ja) * 2017-01-12 2018-11-14 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム
KR101884611B1 (ko) * 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
US10769808B2 (en) * 2017-10-20 2020-09-08 Microsoft Technology Licensing, Llc Apparatus and methods of automated tracking and counting of objects on a resource-constrained device
US10621838B2 (en) * 2017-12-15 2020-04-14 Google Llc External video clip distribution with metadata from a smart-home environment
EP3502952B1 (en) 2017-12-19 2020-10-14 Axis AB Method, device and system for detecting a loitering event
US10594953B2 (en) 2017-12-26 2020-03-17 Sling Media Pvt Ltd Camera identification in video production system
KR20190096748A (ko) 2018-02-09 2019-08-20 삼성전자주식회사 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
JP6845172B2 (ja) * 2018-03-15 2021-03-17 株式会社日立製作所 データ収集システムおよびデータ収集方法
CN110868564B (zh) * 2018-08-28 2021-06-04 杭州海康威视***技术有限公司 一种存储任务分配方法、云存储***及电子设备
CN109104617B (zh) * 2018-09-05 2021-04-27 杭州领智云画科技有限公司 视频请求响应方法和***
CN110266987B (zh) * 2019-07-25 2021-05-11 深圳金三立视频科技股份有限公司 被动式录像方法及计算机可读存储介质
KR20210058589A (ko) * 2019-11-14 2021-05-24 한국전자기술연구원 영상 보안 이벤트 충돌 처리 장치 및 그 방법
US11503381B2 (en) * 2020-06-29 2022-11-15 Seagate Technology Llc Distributed surveillance system with abstracted functional layers
US11463739B2 (en) 2020-06-29 2022-10-04 Seagate Technology Llc Parameter based load balancing in a distributed surveillance system
US11474799B2 (en) * 2020-07-31 2022-10-18 Snowflake Inc. Providing code translation related to resilient distributed datasets in database systems
US11710392B2 (en) 2020-09-11 2023-07-25 IDEMIA National Security Solutions LLC Targeted video surveillance processing
US11671567B2 (en) * 2021-07-08 2023-06-06 Controlled Electronic Management Systems Limited In-band video communication
US11736373B2 (en) * 2021-09-29 2023-08-22 Forescout Technologies, Inc. Agentless network traffic mapping
US11546232B1 (en) 2022-01-27 2023-01-03 Hitachi, Ltd. Video analysis and data delivery method
US20240144796A1 (en) * 2022-10-28 2024-05-02 Genetec Inc. Methods and systems for routing media

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052123A (zh) * 2006-04-03 2007-10-10 索尼株式会社 监控设备和方法
CN101097649A (zh) * 2006-06-30 2008-01-02 索尼株式会社 监视***、监视设备、搜索方法、和搜索程序
CN101098468A (zh) * 2006-06-30 2008-01-02 索尼株式会社 图像处理设备、图像处理***以及滤波器设置方法
CN101118680A (zh) * 2006-07-27 2008-02-06 索尼株式会社 监视设备、监视***、监视方法及程序
CN101127892A (zh) * 2006-07-27 2008-02-20 索尼株式会社 监视设备、过滤器校准方法和过滤器校准程序
CN101615295A (zh) * 2008-06-24 2009-12-30 索尼株式会社 图像处理***、图像处理方法和计算机程序
CN101778260A (zh) * 2009-12-29 2010-07-14 公安部第三研究所 一种基于结构化描述的视频监控管理方法及***
WO2010125483A2 (en) * 2009-05-01 2010-11-04 Koninklijke Philips Electronics, N.V. Systems and apparatus for image-based lighting control and security control
US20100321183A1 (en) * 2007-10-04 2010-12-23 Donovan John J A hierarchical storage manager (hsm) for intelligent storage of large volumes of data
CN102244774A (zh) * 2010-05-13 2011-11-16 霍尼韦尔国际公司 具有直接数据库服务存储器的监视***

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3641257A (en) * 1970-01-16 1972-02-08 Hughes Aircraft Co Noise suppressor for surveillance and intrusion-detecting system
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6698021B1 (en) * 1999-10-12 2004-02-24 Vigilos, Inc. System and method for remote control of surveillance devices
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP2003317168A (ja) * 2002-04-22 2003-11-07 Ikeno Tsuken Kk 違法行為、不法行為等の情報収集方法
JP2006514757A (ja) * 2002-07-05 2006-05-11 アスペクタス エルティーディー 多数の同時の動画像における事象検出を効率的に実行する方法およびシステム
JP2004357206A (ja) * 2003-05-30 2004-12-16 Fujitsu General Ltd ネットワークカメラシステムの制御方法
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
JP4478510B2 (ja) 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
US7205520B1 (en) * 2005-03-02 2007-04-17 United States Of America As Represented By The Secretary Of The Navy Portable air defense ground based launch detection system
JP2007324809A (ja) * 2006-05-31 2007-12-13 Victor Co Of Japan Ltd ネットワークカメラ装置
US7873982B2 (en) 2006-06-22 2011-01-18 Tivo Inc. Method and apparatus for creating and viewing customized multimedia segments
JP4363421B2 (ja) 2006-06-30 2009-11-11 ソニー株式会社 監視システム、監視システム用サーバ及び監視方法
JP5228290B2 (ja) 2006-06-30 2013-07-03 ソニー株式会社 監視システム、監視装置及び監視方法
US20080046925A1 (en) 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US20080184245A1 (en) 2007-01-30 2008-07-31 March Networks Corporation Method and system for task-based video analytics processing
US8593517B2 (en) 2007-03-26 2013-11-26 Pelco, Inc. Method and apparatus for configuring a video surveillance source
WO2009045218A1 (en) 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US8427552B2 (en) 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
US8558888B2 (en) 2009-02-27 2013-10-15 Third Iris Corp. Bandwidth shaping client to capture, transform, cache, and upload images from a remote point of recordation to a network service
US20100246669A1 (en) * 2009-03-25 2010-09-30 Syclipse Technologies, Inc. System and method for bandwidth optimization in data transmission using a surveillance device
US9313463B2 (en) * 2009-06-09 2016-04-12 Wayne State University Automated video surveillance systems
CA2716705A1 (en) 2009-10-07 2011-04-07 Telewatch Inc. Broker mediated video analytics method and system
CA2716637A1 (en) 2009-10-07 2011-04-07 Telewatch Inc. Video analytics with pre-processing at the source end
US8527549B2 (en) 2010-02-22 2013-09-03 Sookasa Inc. Cloud based operating and virtual file system
US8503539B2 (en) 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
CN201957067U (zh) 2011-03-22 2011-08-31 北京视博云科技有限公司 一种门户提供装置和视频云计算***
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
JP2015500530A (ja) * 2011-12-28 2015-01-05 インテル コーポレイション 複数車両監視システム
US11165994B2 (en) * 2013-05-13 2021-11-02 Texas Instruments Incorporated Analytics-driven summary views for surveillance networks
WO2015013315A1 (en) * 2013-07-22 2015-01-29 Intellivision Technologies Corp. System and method for scalable video cloud services

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052123A (zh) * 2006-04-03 2007-10-10 索尼株式会社 监控设备和方法
CN101097649A (zh) * 2006-06-30 2008-01-02 索尼株式会社 监视***、监视设备、搜索方法、和搜索程序
CN101098468A (zh) * 2006-06-30 2008-01-02 索尼株式会社 图像处理设备、图像处理***以及滤波器设置方法
CN101118680A (zh) * 2006-07-27 2008-02-06 索尼株式会社 监视设备、监视***、监视方法及程序
CN101127892A (zh) * 2006-07-27 2008-02-20 索尼株式会社 监视设备、过滤器校准方法和过滤器校准程序
US20100321183A1 (en) * 2007-10-04 2010-12-23 Donovan John J A hierarchical storage manager (hsm) for intelligent storage of large volumes of data
CN101615295A (zh) * 2008-06-24 2009-12-30 索尼株式会社 图像处理***、图像处理方法和计算机程序
WO2010125483A2 (en) * 2009-05-01 2010-11-04 Koninklijke Philips Electronics, N.V. Systems and apparatus for image-based lighting control and security control
CN101778260A (zh) * 2009-12-29 2010-07-14 公安部第三研究所 一种基于结构化描述的视频监控管理方法及***
CN102244774A (zh) * 2010-05-13 2011-11-16 霍尼韦尔国际公司 具有直接数据库服务存储器的监视***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791555A (zh) * 2016-06-09 2019-05-21 华为技术有限公司 用于网络连接不稳定的设备的基于云的多层文件***
CN109690607A (zh) * 2016-10-25 2019-04-26 猫头鹰照相机股份有限公司 基于视频的数据收集、图像捕获以及分析配置
CN106686299A (zh) * 2016-11-30 2017-05-17 陈德成 一种电子控制的电子监控装置
CN108205468A (zh) * 2016-12-16 2018-06-26 上海仪电(集团)有限公司中央研究院 一种面向海量视频图像的分布式***及实现方法
CN110140153A (zh) * 2017-01-23 2019-08-16 韩华泰科株式会社 监控装置与***
US11495103B2 (en) 2017-01-23 2022-11-08 Hanwha Techwin Co., Ltd. Monitoring apparatus and system
CN107516074A (zh) * 2017-08-01 2017-12-26 广州杰赛科技股份有限公司 一种认证识别方法及***
CN109117152A (zh) * 2018-07-26 2019-01-01 新华三大数据技术有限公司 服务生成***及方法
CN109117152B (zh) * 2018-07-26 2022-02-25 新华三大数据技术有限公司 服务生成***及方法

Also Published As

Publication number Publication date
US20130166711A1 (en) 2013-06-27
EP2795600A1 (en) 2014-10-29
AU2012355879A1 (en) 2014-06-05
EP2795600A4 (en) 2015-10-07
US10769913B2 (en) 2020-09-08
WO2013095773A1 (en) 2013-06-27
JP2015508591A (ja) 2015-03-19
AU2012355879B2 (en) 2016-04-14
JP6088541B2 (ja) 2017-03-01
CN104040601B (zh) 2016-11-16
EP2795600B1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
CN104040601A (zh) 基于云的视频监视管理***
CN109684916B (zh) 基于路径轨迹数据异常检测方法、***、设备及存储介质
CN101918989B (zh) 带有对象跟踪和检索的视频监控***
Haering et al. The evolution of video surveillance: an overview
US20130128050A1 (en) Geographic map based control
CN103069434B (zh) 用于多模式视频事件索引的方法和***
US7606425B2 (en) Unsupervised learning of events in a video sequence
CN103283226B (zh) 产生与视频帧关联的元数据的方法、视频摄像机***及视频处理***
US9615064B2 (en) Tracking moving objects using a camera network
CN103004188B (zh) 设备、***和方法
Lee et al. Hierarchical abnormal event detection by real time and semi-real time multi-tasking video surveillance system
JP2021514548A (ja) 目標対象物の監視方法、装置及びシステム
CN109154976A (zh) 通过机器学习训练对象分类器的***和方法
US20100214408A1 (en) Image Processing Sensor Systems
CN111325279A (zh) 一种融合视觉关系的行人与随身敏感物品跟踪方法
CN110659391A (zh) 一种视频侦查方法及装置
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
EP2618288A1 (en) Monitoring system and method for video episode viewing and mining
CN112183353A (zh) 一种图像数据处理方法、装置和相关设备
Sabri et al. Low-cost intelligent surveillance system based on fast CNN
CN116416281A (zh) 一种粮库ai视频监管分析方法及***
Picus et al. Novel Smart Sensor Technology Platform for Border Crossing Surveillance within FOLDOUT
KR20220000424A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 카메라 시스템
CN111491133A (zh) 应用电子人像锁定技术的商场安全监控***
CN118069475B (zh) 一种数字孪生监控***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant