CN108632569A - 基于枪球联动的视频监控方法及装置 - Google Patents
基于枪球联动的视频监控方法及装置 Download PDFInfo
- Publication number
- CN108632569A CN108632569A CN201710167181.0A CN201710167181A CN108632569A CN 108632569 A CN108632569 A CN 108632569A CN 201710167181 A CN201710167181 A CN 201710167181A CN 108632569 A CN108632569 A CN 108632569A
- Authority
- CN
- China
- Prior art keywords
- video pictures
- pixel
- ball
- point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种基于枪球联动的视频监控方法及装置,属于视频分析领域。所述方法包括:获取目标对象在第一视频画面中所占的区域的中心点的特征信息,并在第二视频画面中查找特征信息与获取的特征信息匹配的像素点,然后根据查找到的像素点,确定第一转动角度。由于第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需转动的角度,因此,球型IPC根据第一转动角度转动之后采集的视频画面的中心点将为目标对象在第二视频画面中所占的区域的中心点,避免出现因为球型IPC老化问题导致目标对象可能没有位于球型IPC采集的视频画面的中心的情况,从而提高对目标对象的细节进行监控的效果。
Description
技术领域
本申请涉及视频分析领域,特别涉及一种基于枪球联动的视频监控方法及装置。
背景技术
视频监控是指通过网络摄像机(Internet Protocol Camera,IPC)将采集到的视频画面发送给客户端,以供客户端对该视频画面进行查看。目前IPC主要分为枪型IPC和球型IPC,由于枪型IPC主要用于采集大范围的视频画面,而球型IPC主要用于采集小范围高精度的视频画面,因此对于大范围内移动的目标对象的视频监控,为了既可以整体监控到该目标对象的移动情况,又可以对该目标对象的细节进行监控,通常需要采用枪球联动的视频监控方法,也即服务器同时将枪型IPC采集的视频画面和服务器为该枪型IPC配置的球型IPC采集的视频画面发送给客户端,实现对目标对象基于枪球联动的视频监控。
目前,当基于枪球联动进行视频监控时,服务器预先将枪型IPC采集的视频画面均匀划分成m行n列的网格,之后,服务器可以基于枪型IPC采集的视频画面,从该m行n列的网格中确定目标对象当前所处的网格,并控制球型IPC采集该网格内的视频画面。在目标对象没有位于该网格的中心时,球型IPC采集的视频画面的中心将不是该目标对象,导致通过球型IPC对该目标对象进行视频监控的效果不佳,因此,服务器还需要预先从该网格中确定4个标定点,并确定将球型IPC采集的视频画面的中心点从该网格的中心点移动到该4个标定点时该球型IPC需要转动的偏移量,得到该4个标定点的偏移量。之后,当服务器检测到目标对象在该网格内从一个位置移动到另一个位置时,从该4个标定点中选择与该目标对象移动后的位置相对比较近的3个标定点,基于该3个标定点的偏移量,确定将球型IPC采集的视频画面的中心点从该网格的中心点移动到该另一位置时球型IPC需要转动的偏移量,并控制球型IPC按照该偏移量进行转动,从而保证目标对象位于球型IPC采集的视频画面的中心,以实现在该目标对象的位置变化后,通过球型IPC对该目标对象进行实时监控。
由于上述方法是通过理论运算来确定球型IPC需要转动的偏移量,但是实际应用中,随着球型IPC的使用时间的增加,球型IPC的转带将出现老化等问题,导致球型IPC按照理论偏移量进行偏移时,会出现与实际偏移量存在误差的情况。因此,按照上述方法进行视频监控时,目标对象可能并没有位于球型IPC采集的视频画面的中心,从而降低了通过球型IPC对目标对象的细节进行监控的效果。
发明内容
为了解决现有技术中球型IPC由于老化等问题导致球型IPC按照理论偏移量偏移之后出现目标对象可能没有位于球型IPC采集的视频画面的中心的现象,本申请提供了一种基于枪球联动的视频监控方法及装置。所述技术方案如下:
第一方面,提供了一种基于枪球联动的视频监控方法,所述方法包括:
获取目标对象在第一视频画面中所占的区域的中心点的特征信息,所述第一视频画面为枪型网络摄像机IPC采集的视频画面,所述特征信息包括所述中心点的像素值分别与多个邻域像素点的像素值之间的像素差值,所述多个邻域像素点为所述第一视频画面中处于所述中心点的邻域内的像素点;
在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,所述第二视频画面是为所述枪型IPC配置的球型IPC当前采集的视频画面;
根据查找到的像素点在所述球型IPC的球面坐标系中对应的经度和纬度,确定所述球型IPC的第一转动角度,所述第一转动角度为将所述第二视频画面的中心点转动至所述目标对象在所述第二视频画面中所占的区域的中心点时所述球型IPC需要转动的角度;
向所述球型IPC发送第一转动请求,所述第一转动请求携带所述第一转动角度,所述第一转动请求用于指示所述球型IPC根据所述第一转动角度进行转动。
在本发明实施例中,直接在第二视频画面中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,并控制球型IPC将第二视频画面的中心转动至目标对象在第二视频画面中所占区域的中心点也即查找到的像素点,以实现将目标对象在第二视频画面中所占区域的中心点置于第二视频画面的中心,避免出现因为球型IPC老化问题导致目标对象可能没有位于球型IPC采集的视频画面的中心的情况,从而提高通过球型IPC对目标对象的细节进行监控的效果。
可选地,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
在所述第二视频画面中,以所述第二视频画面的中心点为中心确定面积为预设面积的第一目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
从所述第一目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
进一步地,为了提高在第二视频画面中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的效率,可以在第二视频画面中确定第一目标区域,仅在该第一目标区域中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,所述从所述第一目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
获取所述第一目标区域包括的所有像素点的特征信息;
对于所述第一目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第一平均值和第一极差值,并将所述第一平均值和所述第一极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
从所述第一目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
在本发明实施例中,确定第一目标区域中特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,可以通过确定第一目标区域中所有像素点的特征值,并从第一目标区域包括的所有像素点的特征值中查找与目标特征值之间的差值最小的特征值来实现。
可选地,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
按照预设规则将所述第二视频画面进行多次缩小,得到多个第三视频画面;
对于所述多个第三视频画面中的每个第三视频画面,在所述第三视频画面中,以所述第三视频画面的中心点为中心确定面积为预设面积的第二目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
从得到的多个第二目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
进一步地,为了避免在当前第二视频画面中查找不到特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,可以将第二视频画面多次进行缩小,得到多个第三视频画面,在该多个第三视频画面中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,所述从得到的多个第二目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
对于所述多个第二目标区域中的每个第二目标区域,获取所述第二目标区域包括的所有像素点的特征信息;
对于所述第二目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第三平均值和第三极差值,并将所述第三平均值和所述第三极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
对于所述多个第二目标区域中的每个第二目标区域,从所述第二目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为目标像素点;
从得到的多个目标像素点的特征值中选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的目标像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
在该多个第三视频画面中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,可以通过在该多个第三视频画面确定多个第二目标区域,并在该多个第二目标区域包括的所有像素点的特征值中查找与目标特征值之间的差值最小的特征值来实现。
可选地,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点之前,还包括:
确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述枪型IPC的平面坐标系中对应的坐标;
根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,所述预设坐标转换模型用于将所述平面坐标系中的点的坐标转换至所述球面坐标系中;
根据确定出的经度和纬度,确定所述球型IPC的第二转动角度;
向所述球型IPC发送第二转动请求,所述第二转动请求携带所述第二转动角度;
接收所述球型IPC采集的第二视频画面,所述第二视频画面为所述球型IPC在接收到第二转动请求时根据所述第二转动角度转动之后采集的视频画面。
在本发明实施例中,当在第一视频画面中检测到待监控的目标对象时,可以根据该目标对象在第一视频画面中所占的区域的中心点在平面坐标系中对应的坐标和预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度,并根据确定出的经度和纬度,控制球型IPC进行转动,以使目标对象在第二视频画面中所占的区域的中心点位于第二视频画面的中心。
可选地,所述根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,包括:
根据确定出的坐标,确定所述目标对象在所述第一视频画面中所占的区域的中心点与垂直交点之间的距离x1、所述目标对象在所述第一视频画面中所占的区域的中心点与所述球面坐标系的原点之间的距离x2、以及所述目标对象在所述第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离x3,所述垂直交点为经过所述球面坐标系的原点且与所述平面坐标系垂直的直线相交于所述平面坐标系的交点,所述至少四个标定点为从所述第一视频画面中随机选择的标定点;
根据所述x1、x2、x3,按照如下预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度;
其中,θ分别为所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,和θ1分别为所述垂直交点在所述球面坐标系中的经度和纬度,和θ3分别为所述至少四个标定点中的所述任意一个标定点在所述球面坐标系中的经度和纬度。
在本发明实施例中,根据该目标对象在第一视频画面中所占的区域的中心点在平面坐标系中对应的坐标和预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度,需要先确定预设坐标转换模型中的待定参数x1、x2、x3。
可选地,所述根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度之前,还包括:
在所述第一视频画面中随机选择至少四个标定点,所述至少四个标定点中的任意三个标定点不共线;
确定所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度;
根据所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度,确定垂直交点在所述球面坐标系中的位置参数,所述位置参数包括所述垂直交点和所述球面坐标系的原点之间的距离、以及所述垂直交点在所述球面坐标系中的经度和纬度;
根据所述垂直交点在所述球面坐标系中的位置参数和所述至少四个标定点中的任一个标定点在所述球面坐标系中的经度和纬度,建立所述预设坐标转换模型。
在本发明实施例中,建立预设坐标转换模型可以通过第一视频画面中的至少四个标定点中的每个标定点在平面坐标系中的坐标和至少四个标定点中的每个标定点在球面坐标系中的经度和纬度来实现。
可选地,所述确定所述至少四个标定点中的每个标定点在所述球面坐标系中的经度和纬度,包括:
针对所述至少四个标定点中的每个标定点,控制所述球型IPC采集的视频画面的中心点从所述球面坐标系的经度和纬度均为零的位置转动至所述标定点;
确定所述球型IPC在水平方向上的转动角度和所述球型IPC在垂直方向上的转动角度;
将所述球型IPC在水平方向上的转动角度确定为所述标定点在所述球面坐标系中的经度,将所述球型IPC在垂直方向上的转动角度确定为所述标定点在所述球面坐标系中的纬度。
在本发明实施例中,确定至少四个标定点中的每个标定点在球面坐标系中的经度和纬度,也即确定当球型IPC采集的视频画面的中心点从球面坐标系的经度和纬度均为零的位置转动至标定点时,球型IPC在水平方向上的转动角度和球型IPC在垂直方向上的转动角度。
第二方面,提供了一种基于枪球联动的视频监控装置,所述基于枪球联动的视频监控装置具有实现上述第一方面中基于枪球联动的视频监控方法行为的功能。该基于枪球联动的视频监控装置包括至少一个模块,该至少一个模块用于实现上述第一方面所提供的基于枪球联动的视频监控方法。
第三方面,提供了一种基于枪球联动的视频监控装置,所述基于枪球联动的视频监控装置的结构中包括处理器和存储器,所述存储器用于存储支持基于枪球联动的视频监控装置执行上述第一方面所提供的基于枪球联动的视频监控方法的程序,以及存储用于实现上述第一方面所提供的基于枪球联动的视频监控方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的基于枪球联动视频监控方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的基于枪球联动的视频监控方法。
上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
本发明实施例提供的技术方案带来的有益效果是:获取目标对象在第一视频画面中所占的区域的中心点的特征信息,由于每个像素点的特征信息具有唯一性,因此,可以在球型IPC采集的第二视频画面中查找特征信息与获取的特征信息匹配的像素点,该查找到的像素点可以代表目标对象在第二视频画面中所占的区域的中心点;然后根据该查找到的像素点在球型IPC的球面坐标系中对应的经度和纬度,确定球型IPC的第一转动角度,由于该第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需要转动的角度,因此,当球型IPC接收到第一转动请求并根据第一转动角度转动之后,球型IPC采集的视频画面中心点将为目标对象在第二视频画面中所占的区域的中心点,避免出现因为球型IPC老化问题导致目标对象可能没有位于球型IPC采集的视频画面的中心的情况,从而提高通过球型IPC对目标对象的细节进行监控的效果。
附图说明
图1是本发明实施例提供的一种基于枪球联动的视频监控***示意图;
图2是本发明实施例提供的一种IPC的结构示意图;
图3A是本发明实施例提供的一种基于枪球联动的视频监控方法流程图;
图3B是本发明实施例提供的一种中心点的邻域内的像素点分布示意图;
图3C是本发明实施例提供的一种平面坐标系和球面坐标系的示意图;
图3D是本发明实施例提供的一种几何模型示意图;
图3E是本发明实施例提供的另一种几何模型示意图;
图4A是本发明实施例提供的一种基于枪球联动的视频监控装置框图;
图4B是本发明实施例提供的一种查找模块框图;
图4C是本发明实施例提供的另一种查找模块框图;
图4D是本发明实施例提供的另一种基于枪球联动的视频监控装置框图;
图4E是本发明实施例提供的一种第三确定模块框图;
图4F是本发明实施例提供的另一种基于枪球联动的视频监控装置框图;
图4G是本发明实施例提供的一种第五确定模块框图。
具体实施方式
下面将结合附图对本申请实施方式作进一步地详细描述。
在对本发明实施例进行详细的解释说明之前,先对本发明实施例的应用场景予以介绍。对于基于单枪型IPC的视频监控,也即仅通过一个枪型IPC实现的视频监控,当监控范围内存在待监控的目标对象时,通过枪型IPC可以检测到该目标对象。为了确定该目标对象的细节,需将该枪型IPC采集的视频画面进行变倍放大,在变倍放大后的视频画面中确定该目标对象的细节。但是由于枪型IPC用于采集大范围内的视频画面,导致枪型IPC采集的视频画面的分辨率不高,所以,在进行变倍放大之后的视频画面中确定目标对象的细节的效果并不理想。因此,对于大范围内移动的目标对象的视频监控,为了既可以整体监控到该目标对象的移动情况,又可以对该目标对象的细节进行监控,通常采用基于枪球联动的视频监控方法,也即通过枪型IPC检测是否存在待监控的目标对象,当通过枪型IPC检测出待监控的目标对象时,通过球型IPC的动态转动对该目标对象的细节进行监控。例如,对于小区监控的场景,当监控范围内存在陌生人入侵时,通过枪型IPC可以检测到该陌生人,此时控制球型IPC进行动态转动以使球型IPC转动之后采集的视频画面中包括该陌生人。由于球型IPC采集的视频画面为变倍放大后的视频画面,因此可以通过球型IPC采集的视频画面确定该陌生人的细节,如脸部特写,以提高小区监控的安全程度。而本发明实施例提供的基于枪球联动的视频监控方法应用于当通过枪型IPC检测出待监控的目标对象时,通过球型IPC的动态转动对该目标对象的细节进行监控的场景。
图1是本发明实施例提供的一种基于枪球联动的视频监控***100,如图1所示,该基于枪球联动的视频监控***100包括服务器101、客户端102,以及IPC 103。IPC 103用于采集待监控的视频画面并将采集的视频画面发送给服务器101。当服务器101接收到IPC103采集的视频画面时,服务器101将接收到的视频画面发送给客户端102。当客户端102接收到服务器101发送的视频画面时,显示接收到的视频画面,以便于用户根据客户端102显示的视频画面进行视频监控。另外,当服务器101接收到IPC 103采集的视频画面并确定IPC103采集的视频画面有待调整时,服务器101还可以控制IPC 103进行动态转动,并接收IPC103进行动态转动之后采集的视频画面。
其中,服务器101和IPC1 03之间可以通过无线网络或者有线网络的方式进行通信,服务器101和客户端102之间也可以通过无线网络或者有线网络的方式进行通信。另外,该基于枪球联动的视频监控***可以包括多个IPC 103,也即该基于枪球联动的视频监控***可以部署多个IPC,在图1仅以3个IPC 103为例进行说明。
需要说明的是,如图1所示,IPC 103包括一个枪型IPC 1031和一个球型IPC 1032,以实现本发明实施例提供的基于枪球联动的视频监控方法。也即服务器为每个枪型IPC配置有对应的球型IPC,具体地,当用户确定已安装IPC 103中的枪型IPC 1031和球型IPC1032时,通过客户端102向服务器101发送配置请求,该配置请求携带IPC 103中的枪型IPC1031的标识和球型IPC 1032的标识。当服务器101接收到该配置请求时,将IPC 103中的枪型IPC1031的标识和球型IPC 1032的标识存储在枪型IPC和球型IPC的对应关系中,以实现为IPC103中的枪型IPC 1031配置球型IPC 1032。
其中,枪型IPC 1031的标识用于唯一标识该枪型IPC 1031,球型IPC 1032的标识用于唯一标识该球型IPC 1032。值得注意的是,IPC 103可以包括一个枪型IPC和一个球型IPC,也可以包括一个枪型IPC和多个球型IPC,本发明实施例在此不做具体限定。
可选地,图1所示的IPC 103也可以通过无线网络或者有线网络的方式直接与客户端102进行通信,也即IPC 103直接将采集的视频画面发送给客户端102,无需经过服务器101将采集的视频画面发送给客户端102,此时IPC 103还用于执行当IPC 103采集的视频画面有待调整时,自动进行动态转动并重新采集视频画面的操作,也即当IPC 103通过无线网络或者有线网络的方式直接与客户端102进行通信时,本发明实施例提供的方法还可以应用于IPC 103中。特别地,在本发明实施例中,以图1所示的基于枪球联动的视频监控***为例进行说明。
图2是本发明实施例提供的一种IPC的结构示意图,该IPC可以为图1所示的IPC103包括的枪型IPC 1031或球型IPC 1032。参见图2,该IPC包括:视频采集器201、发射机202和接收机203。
其中,视频采集器201用于采集视频画面,发射机202可以用于发送数据和/或信令等。接收机203可以用于接收数据和/或信令等。
可选地,该IPC还包括存储器和处理器。其中,存储器可以用于存储一个或多个软件程序和/或模块。存储器可以是只读存储器(Read-only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁盘存储介质,或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由集成电路存取的任何其它介质,但不限于此。处理器可以是一个通用中央处理器(Central Processing Unit,CPU)、微处理器、特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。特别地,当IPC直接与客户端通过无线网络或者有线网络的方式通信时,该IPC包括的处理器可以通过运行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据实现本发明实施例提供的基于枪球联动的视频监控方法。
图3A是本发明实施例提供的一种基于枪球联动的视频监控方法,该方法应用于上述图1所示的基于枪球联动的视频监控***中。如图3A所示,该基于枪球联动的视频监控方法包括以下步骤。
步骤301:枪型IPC采集第一视频画面,并向服务器发送该第一视频画面,球型IPC采集第二视频画面,并向服务器发送该第二视频画面。
如图1所示,在服务器为枪型IPC配置球型IPC之后,枪型IPC和球型IPC开始采集视频画面,并将采集的视频画面发送给服务器。为了后续便于说明,将枪型IPC采集的视频画面称为第一视频画面,将球型IPC采集的视频画面称为第二视频画面,也即,第一视频画面为枪型IPC采集的视频画面,第二视频画面为服务器对枪型IPC配置的球型IPC当前采集的视频画面。当服务器接收到枪型IPC采集的第一视频画面和球型IPC采集的第二视频画面时,将第一视频画面和第二视频画面发送给客户端。客户端接收服务器发送的第一视频画面和第二视频画面,以便于用户通过客户端对枪型IPC采集的第一视频画面和球型IPC采集的第二视频画面进行查看。
需要说明的是,球型IPC采集的第二视频画面仅为枪型IPC采集的视频画面的部分画面,致使当前第二视频画面中可能没有包括该目标对象或者该目标对象可能没有处于第二视频画面的中心,此时为了提高对该目标对象进行视频监控的效果,服务器需要先确定第一视频画面中的待监控的目标对象,然后通过步骤302至步骤305控制球型IPC重新采集视频画面,以使目标对象处于第二视频画面的中心。其中,服务器确定第一视频画面中的待监控的目标对象可以为:服务器实时检测第一视频画面中是否存在待监控的目标对象,当检测到第一视频画面中存在待监控的目标对象时,确定第一视频画面中的目标对象。当然,服务器确定第一视频画面中的待监控的目标对象也可以为:当用户通过客户端在第一视频画面上查看到待监控的目标对象时,通过客户端向服务器发送监控请求,该监控请求携带目标对象在第一视频画面中的位置,当服务器接收到该监控请求时,根据目标对象在第一视频画面中的位置,确定第一视频画面中的目标对象。
步骤302:获取目标对象在第一视频画面中所占的区域的中心点的特征信息,该特征信息包括该中心点的像素值分别与多个邻域像素点的像素值之间的像素差值,该多个邻域像素点为第一视频画面中处于该中心点的邻域内的像素点。
当服务器在第一视频画面中检测到待监控的目标对象时,为了实现通过球型IPC对该目标对象的细节进行监控,服务器需控制球型IPC将目标对象在第二视频画面中所占区域的中心点转动至该第二视频画面的中心点,也即,服务器需要先在第二视频画面中查找目标对象在第二视频画面中所占区域的中心点。由于目标对象在第二视频画面中所占区域的中心点的特征信息和目标对象在第一视频画面中所占区域的中心点的特征信息相同,因此服务器在第一视频画面中检测到待监控的目标对象时,需先获取目标对象在第一视频画面中所占区域的中心点的特征信息。
其中,特征信息包括目标对象在第一视频画面中所占的区域的中心点的像素值分别与多个邻域像素点的像素值之间的像素差值。也即,服务器在确定目标对象在第一视频画面中所占的区域的中心点的像素值之后,获取该中心点的邻域内的像素点中每个像素点的像素值,针对该邻域内的每个像素点,确定该像素点的像素值和该中心点的像素值之间的差值,以得到多个像素差值,该多个像素差值即为该中心点的特征信息,也即该中心点的特征信息为一组数据。另外,服务器可以通过光流方式获取该中心点的像素值和该中心点的邻域内的每个像素点的像素值,本发明实施例在此不做详细阐述。如图3B所示,P点为目标对象在第一视频画面中所占区域的中心点,P1至P8为P点的邻域内的像素点,G1为P点的像素值和P1点的像素值之间的差值、G2为P点的像素值和P2点的像素值之间的差值,…,以此类推,G8为P点的像素值和P8点的像素值之间的差值,因此P点的特征信息可以表示为一个数组(G1,G2,G3,G4,G5,G6,G7,G8)。
另外,在本发明实施例中,为了便于服务器对比两个像素点之间的特征信息之间的差异,针对某个像素点的特征信息,将该像素点的特征信息经过统计处理,得到一个可以代表该像素点的特征信息的值,为了便于说明,将代表该像素点的特征信息的值称为该像素点的特征值。在一种可能的实现方式中,由于平均值可以指示一组数据的平均大小,而极差值可以指示一组数据的离散程度,因此,可以将像素点的特征信息的平均值和极差值之间的乘积确定为该像素点的特征值。例如,针对上述P点的特征信息(G1,G2,G3,G4,G5,G6,G7,G8),P点的特征值可以表示为其中,px为P点的特征值,Gmax为P点的特征信息(G1,G2,G3,G4,G5,G6,G7,G8)中的最大值,Gmin为P点的特征信息(G1,G2,G3,G4,G5,G6,G7,G8)中的最小值,为将P点的特征信息(G1,G2,G3,G4,G5,G6,G7,G8)中的八个数据相加。
值得注意的是,当服务器在第一视频画面中确定待监控的目标对象时,此时球型IPC采集的视频画面中可能包括该目标对象,也可能不包括该目标对象。当球型IPC采集的视频画面中包括目标对象时,服务器直接根据步骤303至步骤305控制球型IPC将该目标对象在第二视频画面所占区域的中心点转动至第二视频画面的中心点。当球型IPC采集的视频画面不包括该目标对象时,服务器需要先控制球型IPC采集包括该目标对象的视频画面,然后再通过步骤303至步骤305控制球型IPC将该目标对象在第二视频画面所占区域的中心点转动至第二视频画面的中心点。
具体地,服务器控制球型IPC采集包括该目标对象的视频画面的实现方式可以为:服务器确定目标对象在第一视频画面中所占的区域的中心点在枪型IPC的平面坐标系中对应的坐标;根据确定出的坐标和预设坐标转换模型,服务器确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度;根据确定出的经度和纬度,确定球型IPC的第二转动角度;服务器向球型IPC发送第二转动请求,该第二转动请求携带第二转动角度;当球型IPC接收到该第二转动请求时,根据第二转动角度进行转动,并采集转动之后的视频画面,向服务器发送转动之后采集的视频画面;当服务器接收到球型IPC采集的视频画面时,确定接收球型IPC采集的第二视频画面,也即第二视频画面为球型IPC在接收到第二转动请求时根据第二转动角度转动之后采集的视频画面。
其中,枪型IPC的平面坐标系为服务器预先根据枪型IPC采集的第一视频画面确定的平面坐标系,该平面坐标系的原点为预先设置的原点,也即对于第一视频画面中的任一点在该平面坐标系中都有对应的坐标。球面坐标系为服务器预先根据球型IPC在全视角范围内采集的所有视频画面确定的球面坐标系,该球面坐标系中预先设置有经度和纬度均为0的位置,也即对于球型IPC采集的第二视频画面,该第二视频画面中的任一点在该球面坐标系中均有对应的经度和纬度。由于球面坐标系为服务器预先根据球型IPC在全视角范围内采集的所有视频画面确定的球面坐标系,所以第一视频画面中的任一点在该球面坐标系中均有对应点,也即第一视频画面中的任一点在该球面坐标系中均有对应的经度和纬度。
因此,当服务器确定出目标对象在第一视频画面中所占的区域的中心点时,可以确定该中心点在球面坐标系中对应的经度和纬度,并根据当前第二视频画面中心点的经度和纬度,确定当前第二视频画面的中心点的经度和该中心点在球面坐标系中对应的经度之间的差值,得到第一角度,并将该第一角度确定为第二转动角度在水平方向上的角度。同时服务器确定当前第二视频画面的中心点的纬度和该中心点在球面坐标系中对应的纬度之间的差值,得到第二角度,并将该第二角度确定为第二转动角度在垂直方向上的角度,当服务器确定第二转动角度在水平方向上的角度和第二转动角度在垂直方向上的角度时,也即确定出第二转动角度。
值得注意的是,当球型IPC根据第二转动角度进行转动之后,可能由于球形IPC的老化问题,仍存在目标对象在第二视频画面所占的区域的中心点不在第二视频画面的中心点的情况,此时,服务器仍需通过步骤303至步骤305控制球型IPC将该目标对象在第二视频画面所占区域的中心点转动至第二视频画面的中心点。
另外,预设坐标转换模型用于将平面坐标系中的点的坐标转换至球面坐标系中,也即服务器根据预设坐标转换模型可以确定第一视频画面中的任一点在该球面坐标系中对应的经度和纬度。且预设坐标转换模型为服务器预先建立的坐标转换模型,具体地,服务器建立预设坐标转换模型可以通过以下几个步骤实现:
(1)、服务器确定至少四个标定点中的每个标定点在平面坐标系中的坐标以及在球面坐标系中的经度和纬度。
其中,该至少四个标定点为服务器在第一视频画面中随机选择的至少四个标定点。值得注意的是,由于该至少四个标定点用于指示该平面坐标系,因此,该至少四个标定点中的任意三个标定点不共线,同时为了提高该预设坐标转换模型的精度,该至少四个标定点在第一视频画面中的相对位置较为分散。可选地,该至少四个标定点也可以为用户通过客户端在第一视频画面中选择的标定点,也即,当客户端在第一视频画面中确定用户选择的四个标定点时,向服务器发送标定请求,该标定请求携带该至少四个标定点在平面坐标系中的坐标,当服务器接收到客户端发送的标定请求时,确定该至少四个标定点在平面坐标系中的坐标。
特别地,服务器确定该至少四个标定点在球面坐标系中的经度和纬度的实现方式可以为:针对至少四个标定点中的每个标定点,服务器控制球型IPC将采集的视频画面的中心点从球面坐标系的经度和纬度均为零的位置转动至标定点;服务器确定球型IPC在水平方向上的转动角度和球型IPC在垂直方向上的转动角度;然后将球型IPC在水平方向上的转动角度确定为该标定点在球面坐标系中的经度,将球型IPC在垂直方向上的转动角度确定为该标定点在球面坐标系中的纬度。
如图3C所示,平面T为上述平面坐标系代表的平面,球O代表上述球面坐标系的空间,O’为经过球面坐标系的原点O且与平面坐标系T垂直的直线相交于平面坐标系T的交点,A、B、C和D为服务器在平面坐标系T中随机选择的四个标定点。由于A、B、C和D为服务器在平面坐标系T中随机选择的四个标定点,服务器可以直接确定A、B、C和D在平面坐标系中的坐标分别为(xA,yA)、(xB,yB)、(xC,yC)和(xD,yD),同时服务器按照上述确定该至少四个标定点在球面坐标系中的经度和纬度的方法,确定出A、B、C和D在球面面坐标系中的经度和纬度分别为和
(2)、服务器根据该至少四个标定点中的每个标定点在平面坐标系中的坐标以及在球面坐标系中的经度和纬度,确定垂直交点在球面坐标系中的位置参数,该位置参数包括垂直交点和球面坐标系的原点之间的距离、以及垂直交点在球面坐标系中的经度和纬度,其中,垂直交点为经过球面坐标系的原点且与平面坐标系垂直的直线相交于平面坐标系的交点。
具体地,如图3C所示,从该四个标定点中选择A、B和C三个标定点,该三个标定点和垂直交点O’以及球面坐标系的原点构成如图3D所示的几何模型。根据A、B和C在平面坐标系中的坐标,可以按照下述公式(1)确定A和B之间的距离AB,B和C之间的距离BC,A和C之间的距离AC。
在球面坐标系中,当确定出A、B和C在球面坐标系中的经度和纬度分别为 和时,可以根据下述公式(2)确定出A、B和C三点在球面坐标系中的空间坐标。
其中,θ,分别为球面坐标系中的点在球面坐标系中的经度和纬度,(x,y,z)为该点在球面坐标系中的空间坐标,r为该点到原点之间的距离。特别地,当r为1时,(x,y,z)为该点和原点形成的向量的单位向量。
根据上述公式(2)确定向量的单位向量为向量的单位向量为向量的单位向量为且向量和向量之间的夹角∠AOB也即向量和向量之间的夹角,向量和向量之间的夹角∠BOC也即向量和向量之间的夹角,向量和向量之间的夹角∠AOC也即向量和向量之间的夹角。
同时,服务器可以按照下述公式(3)分别确定A'B'、B'C'和A'C'的长度。
由三角余弦定理可知,由于OA'和OB'的长度为1,将根据公式(3)确定的A'B'的值代入,即可确定∠AOB。按照同样的方法可以确定∠BOC和∠AOC。
假设AB=m,AC=n,BC=l,∠AOB=α,∠BOC=β,∠AOC=γ,OA=x,OB=y,OC=z,则根据三角余弦定理可以确定下述公式(4)。
由于上述公式(4)中,m、n、l、cosα、cosβ和cosγ为已经确定的数据,因此可以通过上述公式(4)确定OA、OB和OC的长度。需要说明的是,在根据上述公式(4)求解OA、OB和OC的长度的过程中,可能得到一组解,此时利用另一个标定点D按照上述方法确定出关于OA、OB和OD的长度的一组解,取这两组解中的公共解,即可确定出OA、OB的唯一解。同样也可以确定OC的唯一解。
至此,对于球面坐标系中的三菱锥OABC,由于A、B和C的各自的经度和纬度已知,且OA、OB和OC的长度也已确定,因此根据公式(2)可以确定A、B和C三点在球面坐标系中的空间坐标,也即在球面坐标系中三菱锥OABC的空间位置是确定的,因此可以根据空间向量几何确定三菱锥OABC中的垂直交点O’的空间坐标,也即确定OO’的长度和O’在球面坐标系中的经度和纬度,也即确定垂直交点的位置参数。
(3)根据垂直交点在球面坐标系中的位置参数和至少四个标定点中的任一个标定点在球面坐标系中的经度和纬度,建立预设坐标转换模型。
假如该至少四个标定点中的任一个标定点为图3C或图3D所示的A点,对于平面坐标系中的任一点X,该任一点X、垂直交点O’以及任一个标定点A可以构建如图3E所示的几何模型,如图3E所示,X点在平面坐标系中的坐标为已知的坐标,因此可以直接确定O’X和XA的长度,由于三角形OO’X为直角三角形,在OO’和O’X已知的前提下,可以直接确定OX的长度,此时三角形OO’X和三角形OAX的所有边长都已确定,因此可以根据三角形余弦定理,通过下述公式(5)确定∠AOX和∠O'OX。
假设X和O’在球面坐标系中的经度和纬度分别为和因此,可以确定向量的单位向量为向量的单位向量为向量的单位向量为且向量和向量之间的夹角∠AOX也即向量和向量之间的夹角,向量和向量之间的夹角∠O'OX也即向量和向量之间的夹角。
同时,服务器可以按照下述公式(6)确定长度A’X’的长度和O”X’的长度。
上述公式(6)可以简写为
又因为,O”X’的长度和A’X’的长度可以根据三角余弦定理求出,如下述公式(7):
将公式(5)代入公式(7)可以得到变换后的公式(7)如下:
在变换后的公式(7)中,由于X为平面坐标系中的任一点,也即OX、O’X、AX为待定参数,因此,变换后的公式(7)可以简写为:O”X'2=f1(XO',OX),A'X'2=f1(OX,AX)。
由简写后的公式(6)和简写后的公式(7)可以得到下述公式(8):
在公式(8)中,对于平面坐标系中的任一点X,当确定X在平面坐标系的坐标时,即可得到公式(8)中的三个待定参数OX、O’X、AX,由于公式(8)中的垂直交点O’的经度和纬度以及四个标定点中的任一个标定点A的经度和纬度为已经确定的参数,因此根据公式(8)即可确定出任一点X在球面坐标系中的经度和纬度
因此,为了确定目标对象在第一视频画面中所占的区域的中心点的球面坐标系中对应的经度和纬度,服务器可以根据公式(8)建立如下预设坐标转换模型
其中,x1为目标对象在第一视频画面中所占的区域的中心点与垂直交点之间的距离,x2为目标对象在第一视频画面中所占的区域的中心点与球面坐标系的原点之间的距离,x3为目标对象在第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离,θ分别为目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度,和θ1分别为垂直交点在球面坐标系中的经度和纬度,和θ3分别为至少四个标定点中的任意一个标定点在球面坐标系中的经度和纬度。
由上述预设坐标转换模型可知,根据确定出的坐标和预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度的实现方式可以为:根据确定出的坐标,确定目标对象在第一视频画面中所占的区域的中心点与垂直交点之间的距离x1、目标对象在第一视频画面中所占的区域的中心点与球面坐标系的原点之间的距离x2、以及目标对象在第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离x3,垂直交点为经过球面坐标系的原点且与平面坐标系垂直的直线相交于平面坐标系的交点,至少四个标定点为从第一视频画面中随机选择的标定点;根据x1、x2、x3,按照上述预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度。
步骤303:服务器在第二视频画面包括的像素点中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
具体地,步骤303可以通过以下两种可能的实现方式实现:
第一种可能的实现方式,在第二视频画面中,以第二视频画面的中心点为中心确定面积为预设面积的第一目标区域,该预设面积为根据球型IPC的老化程度确定的,从第一目标区域包括的所有像素点中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
为了提高在第二视频画面中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的效率,在第二视频画面中,可以仅在第一目标区域包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。其中,预设面积为服务器根据球型IPC的老化程度确定的预设面积,也即在服务器中存储有球型IPC的老化程度和预设面积之间的对应关系,当服务器确定该球型IPC的老化程度时,便可根据球型IPC的老化程度和预设面积之间的对应关系,确定第一目标区域的预设面积。另外,老化程度为服务器根据该球型IPC的出厂使用时间确定,也即对于每个球型IPC,服务器中存储有该球型IPC的出厂时间,根据该球型IPC的出厂时间,可以确定该球型IPC的出厂使用时间;服务器根据出厂使用时间和老化程度之间的对应关系,即可确定该球型IPC的老化程度。需要注意的是,在本发明实施例中,第一目标区域的形状可以为矩形,也可以为圆形,本发明实施例在此不做具体限定。
特别地,从第一目标区域包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的实现方式可以为:获取第一目标区域包括的所有像素点的特征信息;对于第一目标区域包括的所有像素点中的每个像素点,对该像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第一平均值和第一极差值,并将第一平均值和第一极差值之间的乘积确定为像素点的特征值;对目标对象在第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将第二平均值和第二极差值之间的乘积确定为目标特征值;从第一目标区域包括的所有像素点的特征值中,选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
例如,该第一目标区域包括50个像素点,服务器通过光流方式获取该50个像素点的特征信息分别为P1(G1,G2,G3,G4,G5,G6,G7,G8)、P2(G1,G2,G3,G4,G5,G6,G7,G8)、…、P50(G1,G2,G3,G4,G5,G6,G7,G8),针对这50个像素点中每个像素点的特征信息,根据公式确定该像素点的特征值,得到50个像素点的特征值p1、p2、…、p50;对于目标对象在第一视频画面中所占的区域的中心点的特征信息,同样按照公式确定目标对象在第一视频画面中所占的区域的中心点的特征值p,并将p确定为目标特征值;从50个像素点的特征值p1、p2、…、p50中选择和目标特征值p最接近也即差值最小的特征值,假如选择的特征值为p30,则特征值p30对应的像素点为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,目标对象在第二视频画面中所占的区域的中心点可能没有位于第一目标区域内,也即,此时在第一目标区域中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,该查找到的像素点可能不是目标对象在第二视频画面中所占的区域的中心点,因此,服务器还需将当前第二视频画面进行缩小,在缩小后的视频画面中重新查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。具体地,服务器可以按照预设规则将第二视频画面进行多次缩小,得到多个第三视频画面;对于多个第三视频画面中的每个第三视频画面,在第三视频画面中,以第三视频画面的中心点为中心确定面积为预设面积的第二目标区域,从而得到多个第二目标区域;从多个第二目标区域包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
其中,服务器从多个第二目标区域包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的实现过程可以为:对于多个第二目标区域中的每个第二目标区域,获取第二目标区域包括的所有像素点的特征信息;对于第二目标区域包括的所有像素点中的每个像素点,对该像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第三平均值和第三极差值,并将第三平均值和第三极差值之间的乘积确定为该像素点的特征值;对目标对象在第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将第二平均值和第二极差值之间的乘积确定为目标特征值;对于多个第二目标区域中的每个第二目标区域,从第二目标区域包括的所有像素点的特征值中,选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为目标像素点,从而得到多个目标像素点;从多个目标像素点的特征值中选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的目标像素点确定为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
需要说明的是,第二目标区域的面积也为预设面积,该预设面积为根据球型IPC的老化程度确定的。其中,服务器根据球型IPC的老化程度确定第二目标区域的预设面积和服务器根据球型IPC的老化程度确定第一目标区域的预设面积的实现方式相同,在此不做详细阐述。另外,第二目标区域的形状可以为矩形,也可以为圆形,本发明实施例在此不做具体限定。特别地,第二目标区域的面积和形状可以与第一目标区域的面积和形状相同。
另外,按照预设规则将第二视频画面进行多次缩小,得到多个第三视频画面的实现过程可以为:将当前第二视频画面按照预设规则进行缩小,得到第一个第三视频画面;将该第一个第三视频画面继续按照预设规则进行缩小,得到第二个第三视频画面;将该第二个第三视频画面继续按照预设规则进行缩小,得到第三个第三视频画面…,以此类推,得到多个第三视频画面。也即是,按照预设规则对第二视频画面每进行一次缩小,就可以得到一个第三视频画面。其中,预设规则可以为每次在当前的视频画面的像素行列中分别减少一个像素点,也即每次在当前视频画面的每行像素点和每列像素点中均减少一个像素点。
另外需要说明的是,当服务器按照预设规则将第二视频画面进行多次缩小时,服务器进行视频画面缩小的次数可以为预设次数,该预设次数可以为5、10或15等。特别地,服务器可以将第二视频画面进行多次缩小,直至缩小后的视频画面的缩放比例和第一视频画面的缩放比例一致。
例如,服务器将当前第二视频画面中的像素行列分别减少一个像素点,得到第一个第三视频画面;将该第一个第三视频画面中的像素行列分别继续减少一个像素点,得到第二个第三视频画面;…;依次类推,直至缩小后的视频画面和第一视频画面的缩放比例一致,此时得到20个第三视频画面;在该20个第三视频画面中按照上述方法确定20个第二目标区域;对于该20个第二目标区域中的每个第二目标区域,在该第二目标区域包括的所有像素点中,服务器确定目标像素点,该目标像素点的特征值和目标特征值之间的差值最小;当服务器对该20个第二目标区域均执行完上述操作时,得到20个目标像素点;然后从该20个目标像素点中,选择特征值与目标特征值差值最小的目标像素点,并将选择的目标像素点确定特征信息为与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
第二种可能的实现方式,在第二视频画面包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
当然服务器也可以不在第二视频画面中确定第一目标区域,直接在该第二视频画面包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,其中,服务器在第二视频画面包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的实现方式和服务器在第一目标区域包括的所有像素点中查找特征信息与该目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点的实现方式基本相同,在此不做详细阐述。
步骤304:服务器根据查找到的像素点在球型IPC的球面坐标系中对应的经度和纬度,确定球型IPC的第一转动角度,该第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需要转动的角度。
需要说明的是,由于查找到的像素点为球型IPC采集的视频画面中的像素点,且该查找到的像素点为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点,因此,该查找到的像素点可以代表目标对象在第二视频画面中所占的区域的中心点,因此第一转动角度也为将第二视频画面的中心点转动至该查找到的像素点时球型IPC需要转动的角度。
因此,服务器确定球型IPC的第一转动角度可以为:服务器确定该查找到的像素点在球面坐标系中对应的经度和纬度;根据当前球型IPC采集的视频画面的中心点的经度和纬度,确定当前球型IPC采集的视频画面的中心点的经度和查找到的像素点在球面坐标系中对应的经度之间的差值,得到第三角度,并将该第三角度确定为第一转动角度在水平方向上的角度;同时服务器确定当前球型IPC采集的视频画面的中心点的纬度和查找到的像素点在球面坐标系中对应的纬度之间的差值,得到第四角度,并将该第四角度确定为第一转动角度在垂直方向上的角度,当服务器确定第一转动角度在水平方向上的角度和第一转动角度在垂直方向上的角度时,也即确定出第一转动角度。
步骤305:服务器向球型IPC发送第一转动请求,该第一转动请求携带第一转动角度,且该第一转动请求用于指示球型IPC根据第一转动角度进行转动。
当球型IPC接收服务器发送的第一转动请求时,根据该第一转动请求中携带的第一转动角度进行转动,并在转动之后重新采集视频画面,同时向服务器发送根据第一转动角度转动之后采集的视频画面;当服务器接收到球型IPC在根据第一转动角度转动之后采集的视频画面时,向客户端发送接收到的视频画面,以使用户通过客户端可以查看到球型IPC在根据第一转动角度转动之后采集的视频画面。需要说明的是,由于第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需要转动的角度,因此在球型IPC在根据第一转动角度转动之后采集的视频画面中,目标对象在该视频画面中所占的区域的中心点为该视频画面的中心点。
在本发明实施例中,当服务器在枪型IPC采集的第一视频画面中确定出待监控的目标对象时,获取目标对象在第一视频画面中所占的区域的中心点的特征信息,由于每个像素点的特征信息具有唯一性,因此,可以在球型IPC采集的第二视频画面中查找特征信息与获取的特征信息匹配的像素点,该查找到的像素点可以代表目标对象在第二视频画面中所占的区域的中心点。然后根据该查找到的像素点在球型IPC的球面坐标系中对应的经度和纬度,确定球型IPC的第一转动角度,由于该第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需要转动的角度,因此,当球型IPC接收到第一转动请求并根据第一转动角度转动之后,球型IPC采集的视频画面中心点将为目标对象在第二视频画面中所占的区域的中心点,避免出现因为球型IPC老化问题导致目标对象可能没有位于球型IPC采集的视频画面的中心的情况,从而提高通过球型IPC对目标对象的细节进行监控的效果。另外,服务器还预先建立了预设坐标转换模型,该预设坐标转换模型用于指示枪型IPC采集的视频画面的平面坐标系中的点在球型IPC采集的视频画面的球面坐标系中的位置,也即对于枪型IPC采集的视频画面中任一点,服务器均可通过该预设坐标转换模型确定该任一点在球面坐标系中经度和纬度,并根据该任一点的经度和纬度,控制球型IPC进行转动以实现对该任一点的视频监控。
图4A是本发明实施例提供的一种基于枪球联动的视频监控装置400,该基于枪球联动的视频监控装置可以由软件、硬件或者两者的结合实现成为服务器的部分或者全部。需要说明的是,当图1所示的IPC通过无线网络或者有线网络的方式直接与客户端进行通信时,该基于枪球联动的视频监控装置也可以由软件、硬件或者两者的结合实现成为IPC的部分或者全部,该IPC该可以为图2所示的IPC。参见图4A,该装置包括获取模块401、查找模块402、第一确定模块403和第一发送模块404。
获取模块401,用于执行图3A实施例中的步骤302;
查找模块402,用于执行图3A实施例中的步骤303,其中,第二视频画面是为枪型IPC配置的球型IPC当前采集的视频画面;
第一确定模块403,用于执行图3A实施例中的步骤304;
第一发送模块404,用于执行图3A实施例中的步骤305。
可选地,参见图4B,该查找模块402包括第一确定单元4021和第一查找单元4022:
第一确定单元4021,用于在第二视频画面中,以第二视频画面的中心点为中心确定面积为预设面积的第一目标区域,该预设面积为根据球型IPC的老化程度确定的;
第一查找单元4022,用于从第一目标区域包括的所有像素点中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,第一查找单元4021具体用于:
获取第一目标区域包括的所有像素点的特征信息;
对于第一目标区域包括的所有像素点中的每个像素点,对该像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第一平均值和第一极差值,并将该第一平均值和该第一极差值之间的乘积确定为该像素点的特征值;
对目标对象在第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将该第二平均值和该第二极差值之间的乘积确定为目标特征值;
从第一目标区域包括的所有像素点的特征值中,选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,参见图4C,查找模块402包括缩小单元4023、第二确定单元4024和第二查找单元4025:
缩小单元4023,用于按照预设规则将第二视频画面进行多次缩小,得到多个第三视频画面;
第二确定单元4024,用于对于该多个第三视频画面中的每个第三视频画面,在该第三视频画面中,以该第三视频画面的中心点为中心确定面积为预设面积的第二目标区域,该预设面积为根据球型IPC的老化程度确定的;
第二查找单元4025,用于从得到的多个第二目标区域包括的所有像素点中查找特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,第二查找单元4025具体用于:
对于多个第二目标区域中的每个第二目标区域,获取该第二目标区域包括的所有像素点的特征信息;
对于该第二目标区域包括的所有像素点中的每个像素点,对该像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第三平均值和第三极差值,并将该第三平均值和该第三极差值之间的乘积确定为该像素点的特征值;
对目标对象在第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将该第二平均值和该第二极差值之间的乘积确定为目标特征值;
对于多个第二目标区域中的每个第二目标区域,从第二目标区域包括的所有像素点的特征值中,选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为目标像素点;
从得到的多个目标像素点的特征值中选择与目标特征值之间的差值最小的特征值,并将选择的特征值对应的目标像素点确定为特征信息与目标对象在第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
可选地,参见图4D,该装置400还包括第二确定模块第二确定模块405、第三确定模块406、第四确定模块407、第二发送模块408和接收模块409:
第二确定模块405,用于确定目标对象在第一视频画面中所占的区域的中心点在枪型IPC的平面坐标系中对应的坐标;
第三确定模块406,用于根据确定出的坐标和预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度,该预设坐标转换模型用于将平面坐标系中的点的坐标转换至球面坐标系中;
第四确定模块407,用于根据确定出的经度和纬度,确定球型IPC的第二转动角度;
第二发送模块408,用于向球型IPC发送第二转动请求,该第二转动请求携带第二转动角度;
接收模块409,用于接收球型IPC采集的第二视频画面,该第二视频画面为球型IPC在接收到第二转动请求时根据第二转动角度转动之后采集的视频画面。
可选地,参见图4E,第三确定模块406包括第三确定单元4061和第四确定单元4062:
第三确定单元4061,用于根据确定出的坐标,确定目标对象在第一视频画面中所占的区域的中心点与垂直交点之间的距离x1、目标对象在第一视频画面中所占的区域的中心点与球面坐标系的原点之间的距离x2、以及目标对象在第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离x3,垂直交点为经过球面坐标系的原点且与平面坐标系垂直的直线相交于平面坐标系的交点,至少四个标定点为从第一视频画面中随机选择的标定点;
第四确定单元4062,用于根据x1、x2、x3,按照如下预设坐标转换模型,确定目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度;
其中,θ分别为目标对象在第一视频画面中所占的区域的中心点在球面坐标系中对应的经度和纬度,和θ1分别为垂直交点在球面坐标系中的经度和纬度,和θ3分别为该至少四个标定点中的任意一个标定点在球面坐标系中的经度和纬度。
可选地,参见图4F,该装置400还包括:
选择模块410,用于在第一视频画面中随机选择至少四个标定点,至少四个标定点中的任意三个标定点不共线;
第五确定模块411,用于确定至少四个标定点中的每个标定点在平面坐标系中的坐标以及在球面坐标系中的经度和纬度;
第六确定模块412,用于根据至少四个标定点中的每个标定点在平面坐标系中的坐标以及在球面坐标系中的经度和纬度,确定垂直交点在球面坐标系中的位置参数,该位置参数包括垂直交点和球面坐标系的原点之间的距离、以及垂直交点在球面坐标系中的经度和纬度;
建立模块413,用于根据垂直交点在球面坐标系中的位置参数和至少四个标定点中的任一个标定点在球面坐标系中的经度和纬度,建立该预设坐标转换模型。
可选地,参见图4G,该第五确定模块411包括控制单元4111、第五确定单元4112和第六确定单元4113:
控制单元4111,用于针对至少四个标定点中的每个标定点,控制球型IPC采集的视频画面的中心点从球面坐标系的经度和纬度均为零的位置转动至该标定点;
第五确定单元4112,用于确定球型IPC在水平方向上的转动角度和球型IPC在垂直方向上的转动角度;
第六确定单元4113,用于将球型IPC在水平方向上的转动角度确定为该标定点在球面坐标系中的经度,将球型IPC在垂直方向上的转动角度确定为该标定点在球面坐标系中的纬度。
在本发明实施例中,当服务器在枪型IPC采集的第一视频画面中确定出待监控的目标对象时,获取目标对象在第一视频画面中所占的区域的中心点的特征信息,由于每个像素点的特征信息具有唯一性,因此,可以在球型IPC采集的第二视频画面中查找特征信息与获取的特征信息匹配的像素点,该查找到的像素点可以代表目标对象在第二视频画面中所占的区域的中心点。然后根据该查找到的像素点在球型IPC的球面坐标系中对应的经度和纬度,确定球型IPC的第一转动角度,由于该第一转动角度为将第二视频画面的中心点转动至目标对象在第二视频画面中所占的区域的中心点时球型IPC需要转动的角度,因此,当球型IPC接收到第一转动请求并根据第一转动角度转动之后,球型IPC采集的视频画面中心点将为目标对象在第二视频画面中所占的区域的中心点,避免出现因为球型IPC老化问题导致目标对象可能没有位于球型IPC采集的视频画面的中心的情况,从而提高通过球型IPC对目标对象的细节进行监控的效果。另外,服务器还预先建立了预设坐标转换模型,该预设坐标转换模型用于指示枪型IPC采集的视频画面的平面坐标系中的点在球型IPC采集的视频画面的球面坐标系中的位置,也即对于枪型IPC采集的视频画面中任一点,服务器均可通过该预设坐标转换模型确定该任一点在球面坐标系中经度和纬度,并根据该任一点的经度和纬度,控制球型IPC进行转动以实现对该任一点的视频监控。
需要说明的是:上述实施例提供的基于枪球联动的视频监控装置在进行视频监控时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于枪球联动的视频监控装置与图3A实施例提供的基于枪球联动的视频监控方法属于同一构思,其具体实现过程详见图3A实施例,这里不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(Digital Subscriber Line,DSL))或无线(例如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(Digital Versatile Disc,DVD))、或者半导体介质(例如:固态硬盘(Solid State Disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (18)
1.一种基于枪球联动的视频监控方法,其特征在于,所述方法包括:
获取目标对象在第一视频画面中所占的区域的中心点的特征信息,所述第一视频画面为枪型网络摄像机IPC采集的视频画面,所述特征信息包括所述中心点的像素值分别与多个邻域像素点的像素值之间的像素差值,所述多个邻域像素点为所述第一视频画面中处于所述中心点的邻域内的像素点;
在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,所述第二视频画面是为所述枪型IPC配置的球型IPC当前采集的视频画面;
根据查找到的像素点在所述球型IPC的球面坐标系中对应的经度和纬度,确定所述球型IPC的第一转动角度,所述第一转动角度为将所述第二视频画面的中心点转动至所述目标对象在所述第二视频画面中所占的区域的中心点时所述球型IPC需要转动的角度;
向所述球型IPC发送第一转动请求,所述第一转动请求携带所述第一转动角度,所述第一转动请求用于指示所述球型IPC根据所述第一转动角度进行转动。
2.如权利要求1所述的方法,其特征在于,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
在所述第二视频画面中,以所述第二视频画面的中心点为中心确定面积为预设面积的第一目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
从所述第一目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
3.如权利要求2所述的方法,其特征在于,所述从所述第一目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
获取所述第一目标区域包括的所有像素点的特征信息;
对于所述第一目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第一平均值和第一极差值,并将所述第一平均值和所述第一极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
从所述第一目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
4.如权利要求1所述的方法,其特征在于,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
按照预设规则将所述第二视频画面进行多次缩小,得到多个第三视频画面;
对于所述多个第三视频画面中的每个第三视频画面,在所述第三视频画面中,以所述第三视频画面的中心点为中心确定面积为预设面积的第二目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
从得到的多个第二目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
5.如权利要求4所述的方法,其特征在于,所述从得到的多个第二目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,包括:
对于所述多个第二目标区域中的每个第二目标区域,获取所述第二目标区域包括的所有像素点的特征信息;
对于所述第二目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第三平均值和第三极差值,并将所述第三平均值和所述第三极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
对于所述多个第二目标区域中的每个第二目标区域,从所述第二目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为目标像素点;
从得到的多个目标像素点的特征值中选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的目标像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
6.如权利要求1所述的方法,其特征在于,所述在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点之前,还包括:
确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述枪型IPC的平面坐标系中对应的坐标;
根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,所述预设坐标转换模型用于将所述平面坐标系中的点的坐标转换至所述球面坐标系中;
根据确定出的经度和纬度,确定所述球型IPC的第二转动角度;
向所述球型IPC发送第二转动请求,所述第二转动请求携带所述第二转动角度;
接收所述球型IPC采集的第二视频画面,所述第二视频画面为所述球型IPC在接收到第二转动请求时根据所述第二转动角度转动之后采集的视频画面。
7.如权利要求6所述的方法,其特征在于,所述根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,包括:
根据确定出的坐标,确定所述目标对象在所述第一视频画面中所占的区域的中心点与垂直交点之间的距离x1、所述目标对象在所述第一视频画面中所占的区域的中心点与所述球面坐标系的原点之间的距离x2、以及所述目标对象在所述第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离x3,所述垂直交点为经过所述球面坐标系的原点且与所述平面坐标系垂直的直线相交于所述平面坐标系的交点,所述至少四个标定点为从所述第一视频画面中随机选择的标定点;
根据所述x1、x2、x3,按照如下预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度;
其中,分别为所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,和θ1分别为所述垂直交点在所述球面坐标系中的经度和纬度,和θ3分别为所述至少四个标定点中的所述任意一个标定点在所述球面坐标系中的经度和纬度。
8.如权利要求6或7所述的方法,其特征在于,所述根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度之前,还包括:
在所述第一视频画面中随机选择至少四个标定点,所述至少四个标定点中的任意三个标定点不共线;
确定所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度;
根据所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度,确定垂直交点在所述球面坐标系中的位置参数,所述位置参数包括所述垂直交点和所述球面坐标系的原点之间的距离、以及所述垂直交点在所述球面坐标系中的经度和纬度;
根据所述垂直交点在所述球面坐标系中的位置参数和所述至少四个标定点中的任一个标定点在所述球面坐标系中的经度和纬度,建立所述预设坐标转换模型。
9.如权利要求8所述的方法,其特征在于,所述确定所述至少四个标定点中的每个标定点在所述球面坐标系中的经度和纬度,包括:
针对所述至少四个标定点中的每个标定点,控制所述球型IPC采集的视频画面的中心点从所述球面坐标系的经度和纬度均为零的位置转动至所述标定点;
确定所述球型IPC在水平方向上的转动角度和所述球型IPC在垂直方向上的转动角度;
将所述球型IPC在水平方向上的转动角度确定为所述标定点在所述球面坐标系中的经度,将所述球型IPC在垂直方向上的转动角度确定为所述标定点在所述球面坐标系中的纬度。
10.一种基于枪球联动的视频监控装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象在第一视频画面中所占的区域的中心点的特征信息,所述第一视频画面为枪型网络摄像机IPC采集的视频画面,所述特征信息包括所述中心点的像素值分别与多个邻域像素点的像素值之间的像素差值,所述多个邻域像素点为所述第一视频画面中处于所述中心点的邻域内的像素点;
查找模块,用于在第二视频画面包括的像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点,所述第二视频画面是为所述枪型IPC配置的球型IPC当前采集的视频画面;
第一确定模块,用于根据查找到的像素点在所述球型IPC的球面坐标系中对应的经度和纬度,确定所述球型IPC的第一转动角度,所述第一转动角度为将所述第二视频画面的中心点转动至所述目标对象在所述第二视频画面中所占的区域的中心点时所述球型IPC需要转动的角度;
第一发送模块,用于向所述球型IPC发送第一转动请求,所述第一转动请求携带所述第一转动角度,所述第一转动请求用于指示所述球型IPC根据所述第一转动角度进行转动。
11.如权利要求10所述的装置,其特征在于,所述查找模块包括:
第一确定单元,用于在所述第二视频画面中,以所述第二视频画面的中心点为中心确定面积为预设面积的第一目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
第一查找单元,用于从所述第一目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
12.如权利要求11所述的装置,其特征在于,所述第一查找单元具体用于:
获取所述第一目标区域包括的所有像素点的特征信息;
对于所述第一目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第一平均值和第一极差值,并将所述第一平均值和所述第一极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
从所述第一目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
13.如权利要求10所述的装置,其特征在于,所述查找模块包括:
缩小单元,用于按照预设规则将所述第二视频画面进行多次缩小,得到多个第三视频画面;
第二确定单元,用于对于所述多个第三视频画面中的每个第三视频画面,在所述第三视频画面中,以所述第三视频画面的中心点为中心确定面积为预设面积的第二目标区域,所述预设面积为根据所述球型IPC的老化程度确定的;
第二查找单元,用于从得到的多个第二目标区域包括的所有像素点中查找特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
14.如权利要求13所述的装置,其特征在于,所述第二查找单元具体用于:
对于所述多个第二目标区域中的每个第二目标区域,获取所述第二目标区域包括的所有像素点的特征信息;
对于所述第二目标区域包括的所有像素点中的每个像素点,对所述像素点的特征信息包括的像素差值进行平均运算和极差运算,得到第三平均值和第三极差值,并将所述第三平均值和所述第三极差值之间的乘积确定为所述像素点的特征值;
对所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息包括的像素差值进行平均运算和极差运算,得到第二平均值和第二极差值,并将所述第二平均值和所述第二极差值之间的乘积确定为目标特征值;
对于所述多个第二目标区域中的每个第二目标区域,从所述第二目标区域包括的所有像素点的特征值中,选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的像素点确定为目标像素点;
从得到的多个目标像素点的特征值中选择与所述目标特征值之间的差值最小的特征值,并将选择的特征值对应的目标像素点确定为特征信息与所述目标对象在所述第一视频画面中所占的区域的中心点的特征信息匹配的像素点。
15.如权利要求10所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述枪型IPC的平面坐标系中对应的坐标;
第三确定模块,用于根据确定出的坐标和预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,所述预设坐标转换模型用于将所述平面坐标系中的点的坐标转换至所述球面坐标系中;
第四确定模块,用于根据确定出的经度和纬度,确定所述球型IPC的第二转动角度;
第二发送模块,用于向所述球型IPC发送第二转动请求,所述第二转动请求携带所述第二转动角度;
接收模块,用于接收所述球型IPC采集的第二视频画面,所述第二视频画面为所述球型IPC在接收到第二转动请求时根据所述第二转动角度转动之后采集的视频画面。
16.如权利要求15所述的装置,其特征在于,所述第三确定模块包括:
第三确定单元,用于根据确定出的坐标,确定所述目标对象在所述第一视频画面中所占的区域的中心点与垂直交点之间的距离x1、所述目标对象在所述第一视频画面中所占的区域的中心点与所述球面坐标系的原点之间的距离x2、以及所述目标对象在所述第一视频画面中所占的区域的中心点与至少四个标定点中的任意一个标定点之间的距离x3,所述垂直交点为经过所述球面坐标系的原点且与所述平面坐标系垂直的直线相交于所述平面坐标系的交点,所述至少四个标定点为从所述第一视频画面中随机选择的标定点;
第四确定单元,用于根据所述x1、x2、x3,按照如下预设坐标转换模型,确定所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度;
其中,分别为所述目标对象在所述第一视频画面中所占的区域的中心点在所述球面坐标系中对应的经度和纬度,和θ1分别为所述垂直交点在所述球面坐标系中的经度和纬度,和θ3分别为所述至少四个标定点中的所述任意一个标定点在所述球面坐标系中的经度和纬度。
17.如权利要求15或16所述的装置,其特征在于,所述装置还包括:
选择模块,用于在所述第一视频画面中随机选择至少四个标定点,所述至少四个标定点中的任意三个标定点不共线;
第五确定模块,用于确定所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度;
第六确定模块,用于根据所述至少四个标定点中的每个标定点在所述平面坐标系中的坐标以及在所述球面坐标系中的经度和纬度,确定垂直交点在所述球面坐标系中的位置参数,所述位置参数包括所述垂直交点和所述球面坐标系的原点之间的距离、以及所述垂直交点在所述球面坐标系中的经度和纬度;
建立模块,用于根据所述垂直交点在所述球面坐标系中的位置参数和所述至少四个标定点中的任一个标定点在所述球面坐标系中的经度和纬度,建立所述预设坐标转换模型。
18.如权利要求17所述的装置,其特征在于,所述第五确定模块包括:
控制单元,用于针对所述至少四个标定点中的每个标定点,控制所述球型IPC采集的视频画面的中心点从所述球面坐标系的经度和纬度均为零的位置转动至所述标定点;
第五确定单元,用于确定所述球型IPC在水平方向上的转动角度和所述球型IPC在垂直方向上的转动角度;
第六确定单元,用于将所述球型IPC在水平方向上的转动角度确定为所述标定点在所述球面坐标系中的经度,将所述球型IPC在垂直方向上的转动角度确定为所述标定点在所述球面坐标系中的纬度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710167181.0A CN108632569B (zh) | 2017-03-20 | 2017-03-20 | 基于枪球联动的视频监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710167181.0A CN108632569B (zh) | 2017-03-20 | 2017-03-20 | 基于枪球联动的视频监控方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108632569A true CN108632569A (zh) | 2018-10-09 |
CN108632569B CN108632569B (zh) | 2020-09-29 |
Family
ID=63687749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710167181.0A Active CN108632569B (zh) | 2017-03-20 | 2017-03-20 | 基于枪球联动的视频监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108632569B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565299A (zh) * | 2020-05-06 | 2020-08-21 | 苏州新舟锐视信息技术科技有限公司 | 一种车载多个枪机一个球机联动抓拍目标的方法 |
CN112330726A (zh) * | 2020-10-27 | 2021-02-05 | 天津天瞳威势电子科技有限公司 | 一种图像处理方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607569A (zh) * | 2013-11-22 | 2014-02-26 | 广东威创视讯科技股份有限公司 | 视频监控中的监控目标跟踪方法和*** |
CN103747207A (zh) * | 2013-12-11 | 2014-04-23 | 深圳先进技术研究院 | 基于视频监控网络的定位与追踪方法 |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
CN104184995A (zh) * | 2014-08-26 | 2014-12-03 | 天津市亚安科技股份有限公司 | 一种实现联网视频监控***实时联动监控的方法及*** |
CN104185078A (zh) * | 2013-05-20 | 2014-12-03 | 华为技术有限公司 | 视频监控处理方法、装置及*** |
CN104537659A (zh) * | 2014-12-23 | 2015-04-22 | 金鹏电子信息机器有限公司 | 双摄像机的自动标定方法和*** |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及*** |
CN105635657A (zh) * | 2014-11-03 | 2016-06-01 | 航天信息股份有限公司 | 基于人脸检测的摄像机云台全方位交互方法和装置 |
CN106408551A (zh) * | 2016-05-31 | 2017-02-15 | 北京格灵深瞳信息技术有限公司 | 一种监控装置控制的方法及装置 |
-
2017
- 2017-03-20 CN CN201710167181.0A patent/CN108632569B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185078A (zh) * | 2013-05-20 | 2014-12-03 | 华为技术有限公司 | 视频监控处理方法、装置及*** |
CN103607569A (zh) * | 2013-11-22 | 2014-02-26 | 广东威创视讯科技股份有限公司 | 视频监控中的监控目标跟踪方法和*** |
CN103747207A (zh) * | 2013-12-11 | 2014-04-23 | 深圳先进技术研究院 | 基于视频监控网络的定位与追踪方法 |
CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
CN104184995A (zh) * | 2014-08-26 | 2014-12-03 | 天津市亚安科技股份有限公司 | 一种实现联网视频监控***实时联动监控的方法及*** |
CN105635657A (zh) * | 2014-11-03 | 2016-06-01 | 航天信息股份有限公司 | 基于人脸检测的摄像机云台全方位交互方法和装置 |
CN104537659A (zh) * | 2014-12-23 | 2015-04-22 | 金鹏电子信息机器有限公司 | 双摄像机的自动标定方法和*** |
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及*** |
CN106408551A (zh) * | 2016-05-31 | 2017-02-15 | 北京格灵深瞳信息技术有限公司 | 一种监控装置控制的方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565299A (zh) * | 2020-05-06 | 2020-08-21 | 苏州新舟锐视信息技术科技有限公司 | 一种车载多个枪机一个球机联动抓拍目标的方法 |
CN112330726A (zh) * | 2020-10-27 | 2021-02-05 | 天津天瞳威势电子科技有限公司 | 一种图像处理方法及装置 |
CN112330726B (zh) * | 2020-10-27 | 2022-09-09 | 天津天瞳威势电子科技有限公司 | 一种图像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108632569B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11631155B2 (en) | Equatorial stitching of hemispherical images in a spherical image capture system | |
CN103826103B (zh) | 云台摄像机巡航控制方法 | |
US8274571B2 (en) | Image zooming using pre-existing imaging information | |
US9269190B1 (en) | System and method for displaying transitions between map views | |
CN103491339B (zh) | 视频获取方法、设备及*** | |
CN101908231B (zh) | 处理含有主平面场景的三维点云重建方法和*** | |
CN103841374B (zh) | 一种视频监控图像的显示方法及*** | |
CN109962939B (zh) | 位置推荐方法、装置、服务器、终端及存储介质 | |
CN101872243B (zh) | 一种实现跟随现实空间方向的360°全景播放***及其方法 | |
CN112288853A (zh) | 三维重建方法、三维重建装置、存储介质 | |
WO2015010579A1 (zh) | 目标查找方法、装置、设备及*** | |
US20090232415A1 (en) | Platform for the production of seamless orthographic imagery | |
WO2018120519A1 (zh) | 图像处理的方法和装置 | |
WO2018024249A1 (en) | Systems and methods for video processing | |
CN111598777A (zh) | 天空云图的处理方法、计算机设备和可读存储介质 | |
US20230215047A1 (en) | Free-viewpoint method and system | |
CN108632569A (zh) | 基于枪球联动的视频监控方法及装置 | |
CN109064391A (zh) | 一种全景图像处理方法和全景图像处理装置 | |
US20220214657A1 (en) | Monitoring management and control system based on panoramic big data | |
JP2018517312A (ja) | クラスタベースのフォトナビゲーション | |
EP1372341A2 (en) | Information display system and portable information terminal | |
CN110533577B (zh) | 鱼眼图像校正方法及装置 | |
KR20210009291A (ko) | 카메라 및 발광부가 구비된 단말기를 이용하여 미세먼지 농도를 측정하는 방법, 측정된 미세먼지 농도 정보를 공유하는 방법 및 이를 위한 서버 | |
CN108282609B (zh) | 一种全景视频分发监控***及方法 | |
CN114926371B (zh) | 一种全景图的垂直校正、灭点检测方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |