CN105144708A - 用于视频监视的自动学习的智能巡视 - Google Patents

Abstract

使用摇摄、倾斜、变焦(PTZ)视频安全***的自动监控的传统方法涉及编程的模式/预置巡视的使用。在此处描述的***和方法提供用于在由用户主动操作的时期期间基于监视***的操作来配置照相机巡视。该配置考虑给定视图的频率和其它的测量以提供自动的巡视。当该***不在主动控制之下的时候自动的巡视被显示，并且在进一步主动控制的时期期间可以被更新。

Description

用于视频监视的自动学习的智能巡视

相关申请

本申请是于2013年3月14日提交的美国申请No.13/827,460的延续，并且要求其优先权，其整个教导作为参考资料结合在此处。

背景技术

使用摇摄/倾斜/变焦(PTZ)视频安全单元的无人操纵的监控的传统方法涉及编程的模式/预置巡视的使用。对于这些模式/预置的巡视的设置必须对于每个单元、和对于操作员确定将监控的每个区域逐个地进行。这种方法都是费时的，并且在其不能适应变化的条件方面受到限制。

发明内容

本发明的实施例提供操作视频监视***的***和方法。检测由操作员主动控制视频监视***的一段时期。在此期间，监控由操作员执行的多个操作。然后巡视可以基于多个操作的至少子集来配置。在主动控制期间之外，巡视可以被启动以利用监视***提供自动的巡视。

在另一个实施例中，检测主动控制的期间可以包括检测操作员的动作的最小阈值。巡视的配置可以包括照相机视图的序列、照相机视图的坐标、和用于每个照相机视图的显示时间的至少一个。照相机视图的坐标可以表示照相机的摇摄、倾斜和变焦的至少一个，并且可以对应于在主动控制期间监控的照相机视图，或者可以对应于基于多个操作的每个照相机视图的相对优先级。

在再一个实施例中，监视***的照相机可以被控制以获得照相机视图的序列的照相机视图，这里照相机的摇摄、倾斜和变焦可以被控制。监控用户的操作可以包括基于量度，诸如，照相机视图的显示时间和照相机的变焦水平，选择操作的子集。基于最小显示时间、最小照相机变焦，和最大照相机变焦的至少一个的阈值，操作可以被从选择中除去。照相机操作可以包括照相机视图的坐标和照相机视图的显示时间，这里坐标表示由操作员控制的照相机的摇摄、倾斜和变焦。巡视可以被不断地重复，同时监视***不在用户的主动控制之下，并且响应于检测操作员的动作，巡视可以被终止。

在另一个实施例中，提供了一种计算机可读的介质。计算机可读的介质可以提供控制视频监视***的计算机的指令，指令计算机去检测操作员对视频监视***的主动控制的一段时期，然后监控在主动控制期间由操作员执行的多个操作。该指令然后可以提供去基于多个操作的至少子集来配置巡视，并且在主动控制期间之外启动巡视。

附图说明

如在伴随的附图中图示的，从本发明的典型实施例的以下进一步特定的描述中先前所述将是清晰可见的，其中类似的参考字符贯穿不同的附图涉及相同的部分。该附图不是必然地按比例，而是重点放在本发明图示的实施例上。

图1A是图示可以采用按照本发明的实施例的监视照相机巡视的实施例的示例场景的示意图。

图1B是可以实现配置照相机的各种各样方面的监视***的一个实施例的方框图。

图2是在图1A-B中示出的工作站的一个实施例的示例方框图。

图3是在示例实施例中的摄像机视图巡视的流程图。

图4是在一个实施例中操作监视***的过程的流程图。

图5是在监视***的主动控制期间监控操作的过程的流程图。

图6是在一个实施例中配置巡视的过程的流程图。

具体实施方式

以下描述本发明的典型实施例。本申请通常涉及视频监视，尤其是，涉及将在本领域已知的照相机位置的序列配置为照相机的巡视或者模式。

模式或者预置的巡视的当前的实施需要相当大的操作员配置，并且不会自动地覆盖监视***的经常监控的(“关键”)可视的区域。当没有控制该单元的时候，为了使***操作员具有由监控的单元可视的特定的“关键”感兴趣区域，操作员必须首先在每个“关键”区域上以位置编程模式或者预置的巡视。用户然后可以具有称作停车、加电、或者手动地启动动作的一部分的模式/预置的巡视。

随着这种方法存在可能出现的几个问题。第一，用户可能不知道什么区域是利用照相机监控的“关键”区域。例如，照相机可以安装在当地主题乐园的公共广场区域中。在安装的时候，其不知道哪里存在大量的步行业务。被设计成能在这些大业务量区域中捕捉视频的一些模式/预置的巡视不能被建立，直到有人监控和跟踪在其区域中的步行业务为止。第二，“关键”感兴趣区域可以随着时间的过去而变化。继续以上的示例，由于新的主题乐园吸引力增加，如果大业务量区域变化，在业务量方面的变化必须观察和检测。一旦检测，该模式必须重新编程去捕捉新的大业务量区域。

第三个问题是当对模式/预置的巡视编程以捕捉“关键”区域的时候可能存在用户错误。模式/预置的巡视的程序员可能编程错误的预置位置以走到作为去覆盖的“关键”区域的一个。最后，第四个问题是如果用户想要在每个“关键”区域花费相称的时间量，相对于在该单元的手动控制期间他们花费的时间量，使用当前的方法建立这种行为几乎是不可能的。如果监控每个“关键”区域花费的时间的比例随着时间的过去而变化，一些预先地编程的模式/巡视将不再表示这个比例。

本发明的典型实施例通过将单元工作的3D空间(方位角/仰角)分解为许多的扇形区域提供监视***的操作。由于用户摇摄、倾斜和变焦，当由操作员主动地控制的时候，该单元保持跟踪哪个扇区是最重要的。重要性以由操作员可配置的若干因素为基础，但是，通常是在主动操作员控制期间大多数工作的扇区。一旦操作员停止该***的主动控制，“智能巡视”可以经由特定预置、加电/停车动作、或者调度事件发出。

因此，操作PTZ(摇摄倾斜变焦)安全照相机的监视***“获悉”哪个扇区或者场景是最感兴趣去自动地监控，并且当不由操作员主动地控制的时候，“巡视”这些区域。在巡视中使用的顶端扇区保持当前，因为公开的方法基于在操作员控制期间获取的历史使用数据确定该巡视扇区。如果操作员开始更加频繁地监控其它的扇区，该单元自动地调整该巡视扇区。

图1A是图示可以采用按照本发明的实施例的监视照相机巡视的实施例的示例场景的示意图。在这里，多个照相机14、16、18被配置去捕捉相应的场景(例如，在建筑物的外部正面、侧面和背面上的场景)的视频图。工作站22经网络12连接到照相机14、16、18去观看该视频场景，并且控制照相机14、16、18(例如，通过调整摇摄、倾斜和变焦)。由工作站22操作的自动巡视可以包括显示由照相机14、16、18的每个捕捉的视图序列。例如，巡视可以显示由照相机14在t＝0上捕捉的视图，可以显示由照相机16在t＝3上捕捉的视图，以及然后可以显示由照相机18在t＝8上捕捉的视图。

图1B是包括网络12的视频监视***100的方框图，网络12可以是闭环网络、局域网或者广域网，诸如因特网。多个照相机14、16和18连接到网络12以提供实时视频流。工作站22例如可以是在监视***100中的控制点、个人计算机，或者借助于膝上电脑登录到监视***100的用户，其被连接到网络12。照相机14、16和18经由网络12提供视频数据流给工作站22。储存器20被连接到网络12，并且可以是另一个工作站的一部分、控制点、网络管理器、***储存器或者其他适宜的设备。一个或多个照相机14、16和18可以是可移动的照相机，诸如，PTZ照相机，其允许用户去调整摇摄、倾斜和变焦，并且照相机14、16和18可以具有用于存储预置和巡视信息的其自己的储存器。

图2是在图1A-B中示出的工作站22的一个实施例的方框图。工作站22可以包括中央或者主处理器26，其被连接到输入端/输出端24、ROM28、RAM30、视频显示器35、储存器32和用户输入设备36。用户输入设备36可以是键盘、鼠标、控制器，或者其他适宜的输入设备。响应于来自用户输入设备36的用户输入，处理器26实施存储在ROM28或者储存器32中或者两者(例如可以是磁盘驱动器)、或者位于在网络12中其它地方的储存器20的算法和程序，并且提供输出信号给显示器35。在图1A-B中，输入端/输出端24被连接到网络12以从照相机14、16和18接收视频流，并且发送配置和控制信号给照相机14、16和18。此外，输入端/输出端24还可以从储存器20接收信号，诸如，计算机可执行的指令(在此处可互换地称为操作)，以实施配置照相机14、16和18的各种各样的方面。例如存储在储存器32中的程序和计算机可执行的指令在运行时间上加载，以允许用户借助于用户输入设备36通过与在显示器35上的图形用户界面相互作用配置一个或多个照相机14、16和18，和/或监视***100。

图3是在示例实施例中的巡视300的流程图。巡视300包括视图310、320、330、340、350、360的顺序的序列，这里每个视图是由视频监视***、诸如如上参考图1A-B所述的***100的照相机提供的配置的视图。每个视图310-360可以由在工作站(诸如工作站22)上维持的相应的视图配置数据建立，并且可以在显示器(诸如如上参考图2所述的显示器35)上显示给用户。视图配置数据提供在显示器上获得相应的视图需要的信息，诸如照相机的身份和照相机的摇摄、倾斜和变焦坐标。如果视图包括照相机的运动(即，动态的而不是静态的视图)，该数据还可以包括用于调整照相机的摇摄、倾斜和变焦、同时显示该视图的指令。

在巡视300的操作期间，在推进到后续的视图之前，每个视图310-360可以显示给用户预先配置的时间时期。用于显示每个视图310-360的时间可以是统一的，或者对每个视图可以是特定的。该巡视可以以重复、如同所示的预定义的顺序经由每个视图310-360推进，或者可以经由多个视图序列交替。做为选择，该巡视300可以以随机方式经由视图310-360推进。

巡视300的几个方面，包括视图的数目、用于显示每个视图310-360的时间时期、用于每个视图310-360的配置数据和视图的顺序可以单独或者与用户定义的设置结合通过用于配置巡视的自动过程(诸如如下参考图6所述的过程600)配置。

图4是在一个实施例中操作监视***的过程400的流程图。该过程400可以通过如上参考图1A-B所述的监视***100实施，并且借助于自动巡视的显示提供由用户主动操作的时期，以及无人操作的时期。参考图1B，***100检测用户输入(例如，在输入/输出端24上)以确定是否该***100是在由用户的主动控制之下(410)。仅仅在对于最小时间时期检测到没有用户输入之后，该***可以被配置去确定***不在主动控制之下。

如果***100被确定不在主动控制之下，那么该***可以启动自动巡视(420)。该巡视可以与如上参考图3所述的巡视300相比。如果***100被确定是在用户主动控制之下，那么该***实施与***100的照相机(例如，照相机14、16、18)有关的监控用户操作的过程(430)。这个过程可以与如下参考图5所述的过程500相比。遵循(或者同时)监控该用户操作，该***100可以采用在监控期间采集的数据以配置或者更新巡视(440)。配置或者更新巡视的过程可以与如下参考图6所述的过程600相比。该巡视然后可以在由用户主动控制之外的时期期间显示(420)。

图5是在监视***的主动控制期间监控操作的过程500的流程图。该过程500可以由用户在监视***的主动操作的时期期间运行，并且可以基于预定的阈值提供关于该操作的记录数据。

在主动操作的时期期间，用户操作监视***的照相机以在显示器上获得一个或多个视图。对于给定的视图，该视图的各种各样的特征被相对于相应的阈值检测和比较，以便确定是否记录关于该视图的数据。在特定的示例中，该视图的显示时间(即，在扇形视图边缘内的停留时间)被相对于显示时间阈值比较(510)，并且该视图的变焦水平被相对于变焦最大阈值(520)和变焦最大阈值(530)比较。该显示时间阈值可以被设置为除去与对于非实质的时间长度显示的视图有关的记录操作。同样地，变焦最大和最小阈值可以被设置为除去与视图有关的记录操作，其也被认为太大或太小而不能为在自动巡视中的值。在另一个实施例中，用户的其它的操作，诸如，照相机的摇摄和倾斜坐标可以相对于相应的阈值比较。关于通过前面提到的阈值的操作的数据然后可以被记录(540)供配置巡视使用。

图6是配置巡视的过程600的流程图。记录的操作数据以及配置参数是从存储器(610，620)中读取的。记录的操作数据可以被组织为对应于每个记录视图的“扇区项”，其可以包括显示对应于该记录操作的视图需要的信息，诸如，照相机的身份和对于给定视图的照相机的摇摄、倾斜和变焦坐标以及视图的显示时间。配置参数可以包括将要配置的巡视的参数，诸如，要在巡视中显示的视图的编号，或者分配给巡视的总的时间。

对应于记录的操作数据的视图然后可以通过记录的显示时间(也称为“停留时间”)分类(630)。这个分类是为了选择用于巡视的视图的子集起见，通过优先级用于安排记录的视图的选项。但是，优先级可以通过记录的显示时间单独或者与分类结合，通过其它的方法被分配给视图。例如，用户可以经由用户输入，手动地标记视图为是重要的，导致不考虑视图的显示时间，该视图包括在巡视中，或者导致该视图在分类的视图中给出较高优先级。

给出记录的视图的分类表，顶端n个视图被选择用于包含在巡视中，这里n是按照该配置参数要包括在巡视中视图的总数。数字n可以由配置参数表示，或者可以从其它的配置参数，诸如，该巡视的总的显示时间推导出。选择的n个视图然后按照该参数被配置用于巡视(650)。例如，用于每个选择的视图的显示时间可以按照其记录的显示时间(作为绝对值，或者作为相对于其它选择的视图的显示时间的值)，以及配置参数，诸如，用于该巡视的总的显示时间设置。

如果现有的巡视还没有创建(660)，那么，使用配置的n个视图产生新的巡视(670)。如果现有的巡视已经产生(660)，并且现有的巡视将被更新，那么，现有的巡视可以通过替换现有的视图、以另外的视图扩展巡视，或者两者更新(570)。

在如上所述的典型的实施例中的监视***可以以以下的方式配置：

记录配置：

1.最小扇区停留时间(秒)

含义：指定在其记录在将用于智能巡视分析的历史数据之前，操作员必须在扇区中停留的最小时间。

目的：当操作员跟踪对象或者迅速地扫描一个区域的时候，这个设置可以定制去防止扇区记录在历史中。

2.最大变焦水平

含义：在不能记录在用于分析的历史数据中的扇区中花费的时间之前，这个设置允许操作员去指定在操作期间允许的最大变焦水平。

目的：这个设置可以定制以防止当操作员放大和观看情形细节的时候的时间避免记录，并且考虑用于智能巡视历史分析。

●这些的一个示例是当正在监控高速公路的特定的一段路程，并且偶而操作员拉近以获取有关在公路上碰撞或者抛弃的车辆的详细的视频信息的时候。操作员变焦进入的扇区通常没有特定的兴趣，并且仅仅对特定的例子感兴趣。在这里，智能巡视考虑常规区域操作员随PTZ单元监控，因此，设置用于智能巡视采样的最大变焦水平可以防止这些情形被记录。

3.最小变焦水平

含义：与最大值相同，但是当在广角变焦限制以外的时候，防止扇区历史记录。

4.扇区大小–[大的、中等、小的]

含义：设置分割3D空间的单个扇区的相对大小。对于具有90°倾角和360°摇摄范围的穹顶，该扇区大小和数目如下。

●16个大的扇区(22.5°高度×30°宽度)[跨越4个倾角×跨越12个摇摄]

●32个中等(11.25°高度×15°宽度)[跨越8个倾角×跨越24个摇摄]

●64个小的(5.625°高度×7.5°宽度)[跨越16个倾角×跨越48个摇摄]

目的：使扇区的数目是2的乘幂允许该***去不考虑选择的扇区大小，最小化写入存储器的项目的大小为一个字节。大的、中等和小的扇区每个项目字节需要4、5和6位去分别地表示。每个项目这些剩余的几位用于行程长度编码(RLE)。特别地，4位用于大的、3位用于中等的，和2位用于小的扇区分割。

在这种情况下，RLE允许无需多个项目地在表示在一行的某个扇区中花费的间隔数目的每个项目中保持计数。

最大RLE计数值：

●大的＝16

●中等＝8

●小的＝4

存储器分配

含义：允许用户去选择用于项目的存储器量，从而控制可记录的间隔时间(参见以下的参考信息)。

注意到：在某些***上，这可以是某个允许的最大限制，并且用户仅仅选择去进一步限制用于在使用历史中修改Min/Max“可记录的间隔时间”的存储器。

参考信息：可记录的历史

含义：可记录的历史(最大[时间单位])

目的：表示可以存储在分配的存储器中的记录历史的最大量。

注意：这除去作为用户对于最小扇区停留时间、最大变焦水平和最小变焦水平不满足约束集的操作时间。

可记录的历史可以计算如下：

MEM＝存储器(以字节)

MSIT＝最小扇区间隔时间(以秒)

MRLE＝最大RLE计数(参见以上用于大的/中等/小的值)

最大(小时)：MEM×MSIT×MRLE÷60÷60

最大(天)：MEM×MSIT×MRLE÷60÷60÷24

参考信息典型地以最适宜的时间单位格式显示。

播放配置：

1.巡视扇区计数

含义：这允许用户去选择多少个顶端扇区去“巡视”。

2.巡视扇区停留时间模式

含义：用户选择多少停留时间被确定用于扇区巡视播放

i比例：

用于选择用于“巡视扇区计数”的扇区数目的停留时间与“顶端”扇区与其它的“顶端”扇区相比花费的相对时间成正比。

ii固定的：

对于这种模式，用户顺序选择固定的时间长度以在每个“顶端”扇区花费。

iii随机：

对于这种模式，用户以秒提供最小和最大停留时间以在每个“顶端”扇区花费，并且当经由它们排序的时候，***在每个步骤上随机地选择停留时间。

3.巡视放大模式

含义：这个设置可用于设置在智能扇区巡视播放中使用的放大水平。

i.1×变焦(默认)

ii扇区成帧

这个选择选择在巡视中最好可见成帧扇区的放大倍数。

实施考虑

在操作期间，***跟踪照相机指向哪个扇区。如果对于智能巡视(例如，暂停、变焦最小和最大水平)可配置的记录条件满足，那么，跟踪对于扇区花费的时间的RLE计数，直到用户离开扇区为止、最大RLE计数达到，或者变焦最小/最大约束条件中断。在该点上，扇区项被写入在存储器中分配的循环出现的项目历史。

扇区边缘

●基于由用户选择的扇区大小，对于供容易运行时间查找的扇区摇摄/倾斜边缘可以计算表，以便加快确定照相机当前指向哪个扇区的过程。存储器分析

●在启动时，用于存储在存储器中的每个扇区的计数被标记。在运行时间期间，计数被迄今为止保持。如果循环出现历史被充满，一些新的项目覆盖最老的项目。在这个条件下，对于最老项目的计数被从该扇区中减去，并且新的项目计数被增加给该扇区计数。

许多的实施例可以以硬件、固件、软件，或者任何其组合实现。许多的实施例也可以作为存储在非瞬时机器可读的介质上，可以由一个或多个过程读取和执行的指令实现。非瞬时机器可读的介质可以包括用于以由机器(例如，计算设备)可读的形式存储或者发送信息的任何机制。例如，非瞬时的机器可读的介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等等。此外，固件、软件、例行程序，或者指令可以在此处作为执行某个动作描述。但是，应该理解，这样的描述仅仅是为了方便起见，并且这样的动作实际上由计算设备、处理器、控制器或者执行固件、软件、例行程序、指令等等其它的设备产生。

虽然参考其典型实施例已经特别地示出和描述了本发明，本领域技术人员应该理解，不脱离由所附的权利要求包含或包括的本发明的范围，可以在其中在形式和细节方面进行各种各样的变化。

Claims (20)

1.一种操作视频监视***的方法，包括：

检测由操作员主动控制视频监视***的一段时期；

监控在主动控制的时期期间由操作员执行的多个操作；

基于多个操作的至少子集来配置巡视；和

在主动控制的时期之外实施巡视。

2.根据权利要求1的方法，其中检测主动控制的时期包括检测操作员的动作的最小阈值。

3.根据权利要求1或者2的方法，其中配置巡视包括配置照相机视图的序列、照相机视图的坐标，和用于每个照相机视图的显示时间的至少一个。

4.根据权利要求3的方法，其中照相机视图的坐标表示照相机的摇摄、倾斜和变焦的至少一个。

5.根据权利要求3或者4的方法，其中照相机视图的坐标对应于在主动控制的时期期间监控的照相机视图。

6.根据权利要求3-5的任何一个的方法，其中对于每个照相机视图的显示时间对应于基于多个操作的每个照相机视图的相对优先级。

7.根据权利要求3-6的任何一个的方法，进一步包括控制照相机去获得照相机视图的序列的照相机视图。

8.根据权利要求7的方法，其中控制照相机包括控制照相机的摇摄、倾斜和变焦的至少一个。

9.根据权利要求1-8的任何一个的方法，其中监控多个操作包括仅仅选择多个操作的子集，并且基于该子集配置巡视。

10.根据权利要求9的方法，其中至少选择该子集是基于照相机视图的显示时间。

11.根据权利要求9的方法，其中至少选择该子集是基于照相机视图的变焦水平。

12.根据权利要求9-11的任何一个的方法，进一步包括基于最小显示时间、最小照相机变焦，和最大照相机变焦的至少一个的阈值，从至少该子集中除去操作。

13.根据权利要求1-12的任何一个的方法，其中多个操作包括照相机视图的坐标和照相机视图的显示时间的至少一个。

14.根据权利要求13的方法，其中照相机视图的坐标表示由操作员控制的照相机的摇摄、倾斜和变焦的至少一个。

15.根据权利要求1-14的任何一个的方法，其中巡视被在主动控制期间之外不断地重复。

16.根据权利要求1-15的任何一个的方法，进一步包括响应于检测到操作员的动作，终止巡视。

17.一种包括指令的计算机可读的介质，当由控制视频监视***的计算机读取的时候，该指令使得计算机去：

检测由操作员主动控制视频监视***的一段时期；

监控在主动控制的时期由操作员执行的多个操作；

基于至少多个操作的子集来配置巡视；和

在主动控制的时期之外启动巡视。

18.一种监视***，包括：

多个摄像机；和

工作站，配置去控制多个摄像机，和从多个摄像机接收相应的视图，该工作站包括：

用户输入设备，配置去使能用户控制多个摄像机，

显示器，配置去从多个摄像机显示相应的视图，和

处理器，配置去基于用户输入设备的操作来配置巡视，并且使得在多个摄像机之中的至少一个相机去在主动用户控制的时期之外实施巡视。

19.根据权利要求18的***，其中处理器被进一步配置去基于用户输入设备的操作，检测主动的用户控制的时期。

20.根据权利要求18或者19的***，其中处理器被进一步配置去监控用户输入设备的操作。