CN116996749B - 多监控画面下的远程目标对象跟踪***和方法 - Google Patents

多监控画面下的远程目标对象跟踪***和方法 Download PDF

Info

Publication number
CN116996749B
CN116996749B CN202311260039.2A CN202311260039A CN116996749B CN 116996749 B CN116996749 B CN 116996749B CN 202311260039 A CN202311260039 A CN 202311260039A CN 116996749 B CN116996749 B CN 116996749B
Authority
CN
China
Prior art keywords
image
sub
monitoring
target object
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311260039.2A
Other languages
English (en)
Other versions
CN116996749A (zh
Inventor
项士锋
王象
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen Ai Technology Co ltd
Original Assignee
Beijing Zen Ai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen Ai Technology Co ltd filed Critical Beijing Zen Ai Technology Co ltd
Priority to CN202311260039.2A priority Critical patent/CN116996749B/zh
Publication of CN116996749A publication Critical patent/CN116996749A/zh
Application granted granted Critical
Publication of CN116996749B publication Critical patent/CN116996749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及图像监控技术领域，尤其涉及多监控画面下的远程目标对象跟踪***和方法，所述方法包括：拍摄显示屏幕以采集屏幕画面并将屏幕画面转化为灰度图；将所述灰度图裁剪为多个子图像；基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；收集每个子图像的亮度值的时间序列数据；计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为目标监控画面；仅将第二屏幕画面中目标对象所在的监控画面以及目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端。本发明可解决海量监控画面下目标跟踪困难等问题，提高跟踪效率。

Description

多监控画面下的远程目标对象跟踪***和方法
技术领域
本发明涉及图像监控技术领域，尤其涉及多监控画面下的远程目标对象跟踪***和方法。
背景技术
在现有技术中，一个监控中心设备虽然可以通过网络获取海量监控摄像头对应的海量监控画面，但因为网络运力有限，当传递大量画面时容易出现画面卡顿，因此，当需要查看监控画面以对某个目标对象的移动轨迹进行跟踪时，通常需要多个人同时汇聚到监控中心设备前，每个人同时紧盯多个监控画面，以便确定该目标对象下一步移动到哪个监控画面中，因此，整个跟踪过程极为耗费人力和时间，跟踪效率极低。
发明内容
针对以上问题，本申请一方面提出多监控画面下的远程目标对象跟踪方法，包括：
拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面；
接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述目标对象跟踪指令包含目标对象所在的监控画面信息，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
根据本发明的一些实施例，所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值包括：基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
根据本发明的一些实施例，所述相关度符合要求包括：所述相关度大于一个预设阈值，或者所述相关度大于所有其他相关度。
根据本发明的一些实施例，所述的计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，包括：
S51.收集每个子图像的亮度值的时间序列数据，确保它们在相应时间点上对应匹配；
S52.计算每个子图像的亮度值的时间序列数据的平均值：
S53.计算每个子图像的亮度值的时间序列数据的协方差；
S54.计算每个子图像的亮度值的时间序列数据的标准差；
S55.基于所述协方差和所述标准差计算目标对象所在的子图像的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数。
根据本发明的一些实施例，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面；以及
S7还包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
本申请还提供一种多监控画面下的远程目标对象跟踪***，其包括：监控中心设备、至少两个摄像头、图像采集和处理设备和远程监控端；
监控中心设备连接各个摄像头, 用于汇聚各个摄像头拍摄的监控画面并将其输出到显示屏幕上；
图像采集和处理设备用于拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端，供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面；
所述图像采集和处理设备还用于接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述目标对象跟踪指令包含目标对象所在的监控画面信息，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
远程监控端用于接收所述网络视频流并进行解码显示，以及还用于向所述图形采集和处理设备发送所述目标对象跟踪指令。
根据本发明的一些实施例，所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值包括：基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
根据本发明的一些实施例，所述的计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，包括：
S51.收集每个子图像的亮度值的时间序列数据，确保它们在相应时间点上对应匹配；
S52.计算每个子图像的亮度值的时间序列数据的平均值：
S53.计算每个子图像的亮度值的时间序列数据的协方差；
S54.计算每个子图像的亮度值的时间序列数据的标准差；
S55.基于所述协方差和所述标准差计算目标对象所在的子图像的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数。
根据本发明的一些实施例，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面；以及
S7还包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
根据本发明的一些实施例，远程监控端还用于将S7中接收到的网络视频流按接收时间进行存储和拼接。
通过本发明的上述实施例，通过一个监控人员即可在大量监控画面前快速锁定目标对象要进入的下一监控画面，从而避免监控人员在目标对象跨越多个监控画面时跟丢目标对象。相比于原本需要多个人同时紧盯多个屏幕才能完成的监控工作，本发明大大降低了人力成本和时间成本，提高了目标跟踪、监控效率。由于本发明只对特定的监控画面进行编码传输，而不是对所有画面进行传输，因此使得在异地也可通过网络实现对监控中心内的有效监控内容的获取，不存在原本大量监控画面传输时出现的画面卡顿、滞后等问题。
附图说明
图1示出根据本发明的一些实施例的多监控画面下的远程目标对象跟踪***示意图。
图2示出图像采集和处理设备所拍摄的屏幕画面，此时目标对象位于监控画面B处。
图3示出图像采集和处理设备所拍摄的屏幕画面，此时目标对象位于监控画面A和B的交界处。
图4示出图像采集和处理设备所拍摄的屏幕画面，此时目标对象位于监控画面A处。
图5示出根据本发明的一些实施例的图像采集和处理设备的部分处理流程图。
图6示出目标对象从监控画面A移动至监控画面C的情形。
图7示出根据本发明一些实施例的图像采集和处理设备的主要内部模块示意图。
图8示出根据本发明的一些实施例的多监控画面下的远程目标对象跟踪设备的示意性结构图。
具体实施方式
本申请中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务端或其他计算机等作为中介实现的有线或无线的网络连接，本申请为简化描述，突出发明点，在描述网络连接时有时略去了对路由器/交换机的说明。在本申请中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网(LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信***(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA2000、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信***(UMTS)、数字增强型无绳通信(DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。
下面将参考附图并结合实施例来示例性地说明本发明，需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。另外，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
在本申请中，为区分远程监控端发出目标对象跟踪指令之前和之后由图像采集和处理设备所拍摄采集的屏幕画面，将远程监控端发出目标对象跟踪指令之前图像采集和处理设备所拍摄采集的屏幕画面称为第一屏幕画面，将远程监控端发出目标对象跟踪指令之后图像采集和处理设备所拍摄采集的屏幕画面称为第二屏幕画面，此处第一和第二仅为表述上的区分起见。
图1示出根据本发明的一些实施例的多监控画面下的远程目标对象跟踪***示意图。
所述***包括图像采集和处理设备6，图像采集和处理设备包括图像拍摄设备和数据处理设备。所述***还可以包括多个摄像头（图中示出摄像头1、2、3和4）和监控中心设备5。监控中心设备5包括显示屏幕。图像采集和处理设备6和远程监控端7通过网络建立通信连接。
监控中心设备5用于汇聚各个摄像头的监控画面并将其输出到显示屏幕上，所述显示屏幕可以包括显示器。根据本发明的另一些实施例，监控中心设备可以通过投影的方式将汇聚后的画面投影到投影屏幕上，此时显示屏幕包括投影屏幕（幕布）。参考图1，监控中心设备5连接摄像头（1，2，3，4）以获取每个摄像头的画面。监控中心设备5例如可以通过HDMI线连接每个摄像头或通过网络连接每个摄像头。监控中心设备上可以显示A,B,C,D四个监控画面，其中每个监控画面分别对应摄像头1、2、3和4上拍摄的画面。
监控中心设备5可以按一种分布方式将各摄像头拍摄的画面显示在显示屏幕上，除了图中所示之外，监控中心设备5还可以以全部纵向或全部横向的方式来显示四个画面。
图像采集和处理设备6用于拍摄监控中心设备5的显示屏幕，以采集显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端7，供所述远程监控端7解码显示，使远程监控端7可以从解码显示的第一屏幕画面上查看所有监控画面。
图2中由图像采集和处理设备采集的画面和图1的监控中心设备上显示的屏幕画面重合，如图像采集和处理设备所采集的画面大于监控中心设备上显示的屏幕画面，图像采集和处理设备可以对采集的画面进行裁剪，以使其仅包含屏幕画面部分，而不包含其他背景环境。
当远程监控端7的监控人员发现接收到的来自图像采集和处理设备的第一屏幕画面包含目标对象，以及目标对象正在向监控画面边缘移动时，向远程监控端输入目标对象跟踪指令（或者远程监控端7检测到目标对象正在向监控画面边缘移动或跨过预定的范围时，可以自动生成目标对象跟踪指令），远程监控端7将所述指令发送至图像采集和处理设备6。所述目标对象跟踪指令包含目标对象所在的监控画面信息，例如目标对象目前位于哪个监控画面。图像采集和处理设备6接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述进行响应包括（如图5所示）：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图。
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面。
可以在图像采集和处理设备6中预先存储其所要拍摄的屏幕画面上的每个监控画面的位置，从而可以根据每个监控画面位置来裁剪子图像。也可以对灰度图中的各个监控画面的直角边界进行识别，根据识别结果将灰度图裁剪为多个子图像，使每个子图像对应一个所述监控画面。此处的裁剪可以包括实际裁剪为多个子图像帧，也包括仅仅区分出每个子图像的边界。
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值。
所述预定边缘区域如图2，3，4的虚线框所示，其可以位于各个监控画面的交界位置处。根据本发明的一些实施例，所述预定边缘区域也可以设定为图2的监控画面D中所示的黑色填充部分，其对应于监控画面的整个四周的边缘区域，从而可以覆盖从各个方向突然移动到监控视线中（监控画面中）的目标对象。所述预定边缘区域的大小可以根据实际目标对象的尺寸、移动速度和摄像机拍摄帧率进行适应性调整，以便可以在相机的响应时间内捕获目标对象在边缘处的活动。例如，当已知目标对象为汽车时，预定边缘区域宽度可以为a，当已知目标对象为行人时，预定边缘区域宽度可以为b，其中a大于b，以便给摄像头提供充足的时间去捕获相应的画面。
所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值可以采用以下公式：
亮度值=灰度值/最大灰度值*最大亮度值
其中，灰度值是在0到255之间的整数值，表示像素的灰度级别。最大灰度值通常为255，代表完全的白色。最大亮度值是表示亮度的最大值，可以根据需要进行设置。
假设选择最大亮度值为100，那么计算亮度值的公式将变为：
亮度值=灰度值/255*100
如果某个像素的灰度值为150，那么根据上述公式计算的亮度值将为：
亮度值=150/255*100=58.82
因此，该像素的亮度值约为58.82。
可以基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值，并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值，并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
S4. 收集每个子图像的亮度值的时间序列数据。
S5. 计算目标对象所在的子图像（设为子图像B）的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面。
所述目标对象所在的子图像可以从目标对象跟踪指令确定，所述指令中包含所述目标对象所在的子图像信息。
相关度符合要求包括：所述相关度大于一个预设阈值，或者所述相关度大于所有其他相关度。
以下使用皮尔逊相关系数计算A(t)和B(t)之间的相关度，其中B（t）为目标对象所在的监控画面的亮度值的时间序列数据，A(t)为一个其他子图像的亮度值的时间序列数据，所述计算包括S51-S55：
S51.收集每个子图像的亮度值的时间序列数据（A(t)、B(t)），确保它们在相应时间点上对应匹配。
此处要确保对应的时间点相匹配，例如，A(t)、B(t)的第一个时间点对应相同的时间。本发明通过一个摄像头对所有监控画面进行拍摄，再对统一拍摄的结果进行图像处理，可以很好地确保这个第一时间点的对应性。
S52.计算每个子图像的亮度值的时间序列数据的平均值。
计算拍摄到的监控画面A、B所对应的子图像的时间序列数据A(t)、B(t)的平均值：
平均值μA=(1/N)*ΣA(t)
平均值μB=(1/N)*ΣB(t)
其中，N表示数据点的数量。
S53.计算每个子图像的亮度值的时间序列数据的协方差。
计算A(t)和B(t)的协方差cov(A(t),B(t))：
cov(A(t),B(t))=(1/N)*Σ((A(t)-μA)*(B(t)-μB))
S54.计算每个子图像的亮度值的时间序列数据的标准差。
计算A(t)和B(t)的标准差σA和σB：
σA=sqrt((1/N)*Σ((A(t)-μA)^2))
σB=sqrt((1/N)*Σ((B(t)-μB)^2))
S55.基于所述协方差和标准差计算目标对象所在的子图像（设为子图像B）的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数：
例如，计算A(t),B(t)之间的皮尔逊相关系数：
corr(A(t),B(t))=cov(A(t),B(t))/(σA*σB)
通过以上步骤，可以计算出变量A(t)和B(t)之间的皮尔逊相关系数。
当皮尔逊相关系数大于一个预设阈值时，可以将监控画面A确定为移动目正在进入的目标监控画面。
例如，当一个目标对象从图2所示的监控画面B朝监控画面A的位置移动时（如图3和图4所示），监控画面B的左边缘的亮度值将随时间发生变化，同样，监控画面A的右边缘的亮度值也将随时间发生变化，当这种变化具有强相关度时，则判断该亮度变化是由同一目标对象引起的，B画面的亮度值变暗导致A画面亮度值变亮，或者反之。当目标对象彻底进入监控画面后，这种相关度将不复存在。
对于只有监控画面A和监控画面B的情形，通过以上方式即可确定目标对象是否进入监控画面A。
对于还包括监控画面C和D的情形，则依据上面的方式同样计算B(t)与C(t)，B(t)与D(t)的皮尔逊相关系数。此时比较多个皮尔逊相关系数，将与目标对象所在的子图像的亮度值变化相关度最大的子图像确定为目标子图像，以及将此目标子图像对应的监控画面确定为目标对象正在进入的目标监控画面。根据本发明的一些实施例，也可以设置一个阈值，当前述多个皮尔逊相关系数大于所述阈值时，将相关的监控画面确定为包含目标对象。
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
图像采集和处理设备6在确定目标对象正在进入的目标监控画面后，仅将屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流，以及通过网络将其发送至远程监控端。如图3所示，当确定发生变化的区域为监控画面A和B的边缘处时，图像采集和处理设备6随后仅对其拍摄到的监控画面A和B分别进行独立编码，将其编码形成网络视频流以及将网络视频流通过网络发送至远程监控端7。通过这种方式，可以避免对整个第二屏幕画面进行压缩编码。根据本发明的另一些实施例，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面。所述指令例如可以为“将某个坐标区域绘制成黑色”。由于指令的传输量远比图像传输量少，因此，通过这种方式并且结合前述只将屏幕画面中部分图像进行切割后分别发送（即将目标对象所在的监控画面以及目标监控画面分别编码为网络视频流），而不是将屏幕图像整张进行处理发送，可以避免大量图像编码和图像传输。例如，对于一个黑色的（本申请指纯黑色）1080p 的PNG图片，其即便经过高度压缩后，大小仍为几个KB，黑色图片数量越多，传输量越大。而对于一条黑色图像形成指令，其大小可能只有几十个字节，当黑色图像越多时，只需在指令中引入黑色图像生成位置参数。因此，传输量依然是很少的。当图像采集和处理设备6仅对其所拍摄到的监控画面A和B分别进行编码，并将其发送远程监控端7时，远程监控端7接收的也将是拍摄到的监控画面A和B。因此，远程监控端可以在没有其他干扰画面的情况下查看目标对象，从而可以快速定位目标。
S7.当确定所述目标对象所在的子图像的亮度值变化为零时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
当目标对象跨过边界区域后，可以仅将目标对象已经进入到的新监控画面编码形成网络视频流以及将网络视频流通过网络发送至远程监控端7。此时远程监控端也仅接收到目标对象所在的新的监控画面，因此，更方便了远程监控端将监控全都集中到一个监控画面上，提高监控效率。
如图4所示，当目标对象移动到图4所示的位置时，监控画面B所对应的子图像的亮度值变化为零，此时，仅将监控画面A(目标监控画面)编码为网络视频流后通过网络将其发送至所述远程监控端。由于S6采用两个视频分开独立编码和传送的方式来进行视频传送，因此，当进入图4所示的情形时，只需停止对监控画面B进行编码和发送。由此，可以进一步减少所要传递到远程监控端的视频数据量，并且也使目标跟踪更为容易和高效。
S7还可以包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
由于此时目标对象所在的监控画面已从一开始的监控画面B转为监控画面A，用新的目标对象所在的监控画面A的信息替换旧的目标对象所在的监控画面B的信息，当目标对象再次从监控画面A进入另一监控画面C（如图6所示）时，再次进入S1-S7，也可以由远程监控端重新发起一个目标对象跟踪指令，以执行S1-S7。
所述***还可以包括所述远程监控端7。远程监控端7用于接收所述网络视频流并进行解码显示；远程监控端7还用于向所述图形采集和处理设备发送所述目标对象跟踪指令。
远程监控端7还可以用于将S7中接收到的网络视频流按接收时间进行存储和拼接。例如，当t1时刻接收到监控画面B视频流，t2时刻接收到监控画面A的视频流，t3时刻接收到监控画面C的视频流时，远程监控端将B,A和C视频流按时间先后拼接在一起后，就可以全程再现目标对象是如何从A运动到B，以及从B运动到C的，由于不涉及监控画面D，因此远程监控端也直接跳过了对监控画面D的监控跟踪，因此，通过这种方式，一方面可以快捷地得到完整的目标对象活动轨迹图，另一方面也避免了所有监控人员必须全程跟踪目标对象，导致人力和时间消耗极大的问题，同时也方便后续他人回顾。
通过本发明的上述实施例，通过一个监控人员即可在大量监控画面前快速锁定目标对象要进入的下一监控画面，从而避免监控人员在目标对象跨越多个监控画面时跟丢目标对象。相比于原本需要多个人同时紧盯多个屏幕才能完成的监控工作，本发明大大降低了人力成本和时间成本，提高了目标跟踪、监控效率。由于本发明只对特定的监控画面进行编码传输，而不是对所有画面进行传输，因此使得在异地也可通过网络实现对监控中心内的有效监控内容的获取，不存在原本大量监控画面传输时出现的画面卡顿、滞后等问题。
图7示出根据本发明一些实施例的图像采集和处理设备6的主要内部模块示意图。图像采集和处理设备6包括图像采集模块6000，图像转换模块6001，图像裁剪模块6002，亮度计算模块6003，相关度计算模块6004和视频编码模块6005和视频发送模块6006。
图像采集模块6000用于采集包括至少两个监控画面（A,B,C,D）在内的屏幕画面；
图像转换模块6001用于将屏幕画面转化为灰度图。
图像裁剪模块6002用于将灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面。
亮度计算模块6003用于基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值（A1,B1,C1,D1）。
相关度计算模块6004用于收集每个子图像的亮度值的时间序列数据，计算目标对象所在的子图像的亮度值（随时间）变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像确定为目标对象正在进入的目标监控画面。相关度计算模块可以通过前述S51-S55来计算皮尔逊相关系数。
视频编码模块6005用于仅将拍摄到的目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流。
视频发送模块6006，用于通过网络将网络视频流发送至远程监控端。
此外，图像采集和处理设备还可以指令接收模块，用于接收来自远程监控端的目标对象跟踪指令。图像采集和处理设备还可以包括指令生成和发送模块（图中未示出），用于生成黑色图像形成指令，以及将黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述黑色图像形成指令在目标监控画面外的其他监控画面区域绘制黑色画面。
此外，可以通过增加更多子模块来实现前面围绕图1-图6所描述的图像采集和处理设备的各个功能，此处不再赘述。
本申请还提出一种多监控画面下的远程目标对象跟踪方法，所述方法包括：
拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面；
接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述目标对象跟踪指令包含目标对象所在的监控画面信息，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
根据本发明的一些实施例，所述的拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面包括通过摄像头拍摄显示屏幕以获取屏幕画面。
根据本发明的一些实施例，所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值包括：基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
根据本发明的一些实施例，所述相关度符合要求包括：所述相关度大于一个预设阈值，或者所述相关度大于所有其他相关度。
根据本发明的一些实施例，所述的计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，包括：
S51.收集每个子图像的亮度值的时间序列数据，确保它们在相应时间点上对应匹配；
S52.计算每个子图像的亮度值的时间序列数据的平均值：
S53.计算每个子图像的亮度值的时间序列数据的协方差；
S54.计算每个子图像的亮度值的时间序列数据的标准差；
S55.基于所述协方差和所述标准差计算目标对象所在的子图像的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数。
根据本发明的一些实施例，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面；以及S7还包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
根据本发明的一些实施例，所述方法还可以包括，远程监控端将S7中接收到的网络视频流按接收时间进行存储和拼接。例如，当t1时刻接收到监控画面B视频流，t2时刻接收到监控画面A的视频流，t3时刻接收到监控画面C的视频流时，远程监控端将B,A和C视频流按时间先后拼接在一起后，就可以全程再现目标对象是如何从A运动到B，以及从B运动到C的，由于不涉及监控画面D，因此远程监控端也直接跳过了对监控画面D的监控跟踪，因此，通过这种方式，一方面可以快捷地得到完整的目标对象活动轨迹图，另一方面也避免了所有监控人员必须全程跟踪目标对象，导致人力和时间消耗极大的问题，同时也方便后续他人回顾。
此外，所述多监控画面下的远程目标对象跟踪方法还可以包括前面参考图1-6所作的相应细节描述，如前面图像采集和处理设备所执行的各个方法步骤。为简化起见，此处不再赘述。
图8示出根据本发明的一些实施例的多监控画面下的远程目标对象跟踪设备800的示意性结构图。如图8所示，所述设备包括处理器81、存储器82和总线83。
在一些实例中，该设备还可以包括输入设备801、输入端口802、输出端口803、以及输出设备804。其中，输入端口802、处理器81、存储器82、以及输出端口803通过总线83相互连接，输入设备801和输出设备804分别通过输入端口802和输出端口803与总线83连接，进而与设备的其他组件连接。需要说明的是，这里的输出接口和输入接口也可以用I/O接口表示。具体地，输入设备801接收来自外部的输入信息，并通过输入端口802将输入信息传送到处理器81；处理器81基于存储器82中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器82中，然后通过输出端口803将输出信息传送到输出设备804；输出设备804将输出信息输出到设备的外部。输入设备801例如可以为图像采集模块。输出设备例如可以为视频发送模块等。
上述存储器82包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在设备的内部或外部。在特定实施例中，存储器82是非易失性固态存储器。在特定实施例中，存储器82包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线83包括硬件、软件或两者，将多各部件彼此耦接在一起。举例来说而非限制，总线83可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该处理器81基于存储器82中存储的计算机程序，执行以下动作：
拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面；
接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述目标对象跟踪指令包含目标对象所在的监控画面信息，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
此外，该处理器81还可以基于存储器82中存储的计算机程序，执行前述围绕图1-6所描述的图像处理和采集设备6的各个动作和相关的多监控画面下的远程目标对象跟踪方法，为简化起见，不再赘述。
根据本发明的再一些实施例，所述计算机程序可以以多种方式被分割成一个或多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述设备中的执行过程。所述计算机程序可以根据前面参考图7所描述的模块功能来分割成多个模块。为简化起见，此处不再复述。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。所述设备可以是桌上型计算机、笔记本、掌上电脑及云端服务端等计算设备或其中的一部分。所述设备可包括，但不仅限于，处理器和存储器。本领域技术人员可以理解，所述示意图仅仅是设备的示例，并不构成对设备的限定。
前此外，面参考图1-6所作的相应细节描述通过引用的方式囊括在此处，此处不再赘述。
本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下动作：
拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面；
接收来自所述远程监控端的目标对象跟踪指令并进行响应，所述目标对象跟踪指令包含目标对象所在的监控画面信息，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示。
此外，所述计算机程序被处理器执行时还可以实现前述围绕图1-6所描述的图像处理和采集设备6的更多动作，为简化起见，不再赘述。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
通过本发明的上述实施例，通过一个监控人员即可在大量监控画面前快速锁定目标对象要进入的下一监控画面，从而避免监控人员在目标对象跨越多个监控画面时跟丢目标对象。相比于原本需要多个人同时紧盯多个屏幕才能完成的监控工作，本发明大大降低了人力成本和时间成本，提高了目标跟踪、监控效率。由于本发明只对特定的监控画面进行编码传输，而不是对所有画面进行传输，因此使得在异地也可通过网络实现对监控中心内的有效监控内容的获取，不存在原本大量监控画面传输时出现的画面卡顿、滞后等问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应当注意，尽管在附图中以特定顺序描述了本发明装置的结构及其操作的方法，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims (8)

1.一种多监控画面下的远程目标对象跟踪方法，其特征在于，包括：
拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面，其中，当所述远程监控端的监控人员发现所述第一屏幕画面包含目标对象以及目标对象正在向监控画面边缘移动时，向所述远程监控端输入目标对象跟踪指令，所述目标对象跟踪指令包含目标对象所在的监控画面信息；
接收来自所述远程监控端的所述目标对象跟踪指令并进行响应，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
所述的计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，包括：
S51.收集每个子图像的亮度值的时间序列数据A(t)，B(t)，确保它们在相应时间点上对应匹配；
S52.计算每个子图像的亮度值的时间序列数据的平均值μA和μB，其中，μA=(1/N)*ΣA(t)，μB=(1/N)*ΣB(t)，N表示数据点的数量：
S53.计算每个子图像的亮度值的时间序列数据的协方差cov(A(t),B(t))，其中，cov(A(t),B(t))=(1/N)*Σ((A(t)-μA)*(B(t)-μB))；
S54.计算每个子图像的亮度值的时间序列数据的标准差σA和σB，其中，
σA=sqrt((1/N)*Σ((A(t)-μA)^2))，σB=sqrt((1/N)*Σ((B(t)-μB)^2))；
S55.基于所述协方差和所述标准差计算目标对象所在的子图像的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数corr(A(t),B(t))，其中，corr(A(t),B(t))=cov(A(t),B(t))/(σA*σB)。
2.根据权利要求1所述的多监控画面下的远程目标对象跟踪方法，其特征在于，所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值包括：基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
3.根据权利要求1所述的多监控画面下的远程目标对象跟踪方法，其特征在于，所述相关度符合要求包括：所述相关度大于一个预设阈值，或者所述相关度大于所有其他相关度。
4.根据权利要求1-3之一所述的多监控画面下的远程目标对象跟踪方法，其特征在于，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面；以及
S7还包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
5.一种多监控画面下的远程目标对象跟踪***，其特征在于，包括：图像采集和处理设备，至少两个摄像头，监控中心设备和远程监控端；
监控中心设备连接各个摄像头, 用于汇聚各个摄像头拍摄的监控画面并将其输出到显示屏幕上；
图像采集和处理设备用于拍摄监控中心设备上的显示屏幕以采集所述显示屏幕上的第一屏幕画面，以及将所述第一屏幕画面编码为网络视频流后将其通过网络发送至远程监控端，供所述远程监控端解码显示，所述第一屏幕画面包含至少两个监控画面，其中，当所述远程监控端的监控人员发现所述第一屏幕画面包含目标对象以及目标对象正在向监控画面边缘移动时，向所述远程监控端输入目标对象跟踪指令，所述目标对象跟踪指令包含目标对象所在的监控画面信息；
所述图像采集和处理设备还用于接收来自所述远程监控端的所述目标对象跟踪指令并进行响应，所述进行响应包括：
S1.拍摄所述显示屏幕以采集所述显示屏幕上的第二屏幕画面，并将所述第二屏幕画面转化为灰度图；
S2.将所述灰度图裁剪为多个子图像，其中，每个子图像对应一个所述监控画面；
S3.基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值；
S4.收集每个子图像的亮度值的时间序列数据；
S5.计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，并将其中相关度符合要求的其他一个或多个子图像所对应的监控画面确定为对应于目标对象正在进入的目标监控画面；
S6.仅将第二屏幕画面中目标对象所在的监控画面以及目标对象正在进入的目标监控画面分别编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
S7.当确定所述目标对象所在的子图像的亮度值不再变化时，仅将所述的目标对象正在进入的目标监控画面编码为网络视频流后通过网络将其发送至所述远程监控端，供所述远程监控端解码显示；
远程监控端用于接收所述网络视频流并进行解码显示，以及还用于向所述图像采集和处理设备发送所述目标对象跟踪指令；
所述的计算目标对象所在的子图像的亮度值变化与其他子图像的亮度值变化的相关度，包括：
S51.收集每个子图像的亮度值的时间序列数据A(t)，B(t)，确保它们在相应时间点上对应匹配；
S52.计算每个子图像的亮度值的时间序列数据的平均值μA和μB，其中，μA=(1/N)*ΣA(t)，μB=(1/N)*ΣB(t)，N表示数据点的数量：
S53.计算每个子图像的亮度值的时间序列数据的协方差cov(A(t),B(t))，其中，cov(A(t),B(t))=(1/N)*Σ((A(t)-μA)*(B(t)-μB))；
S54.计算每个子图像的亮度值的时间序列数据的标准差σA和σB，其中，σA=sqrt((1/N)*Σ((A(t)-μA)^2))，σB=sqrt((1/N)*Σ((B(t)-μB)^2))；
S55.基于所述协方差和所述标准差计算目标对象所在的子图像的时间序列数据与其他子图像的时间序列数据的皮尔逊相关系数corr(A(t),B(t))，其中，corr(A(t),B(t))=cov(A(t),B(t))/(σA*σB)。
6.根据权利要求5所述的多监控画面下的远程目标对象跟踪***，其特征在于，所述的基于每个子图像的预定边缘区域的灰度值计算每个子图像的亮度值包括：基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值总和作为每个子图像的亮度值，或者基于每个子图像的边缘区域的每个像素的灰度值计算每个子图像的边缘区域的每个像素的亮度值并以每个子图像的边缘区域的每个像素的亮度值的平均值作为每个子图像的亮度值。
7.根据权利要求5或6所述的多监控画面下的远程目标对象跟踪***，其特征在于，S6还包括生成第一黑色图像形成指令以及将所述第一黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第一黑色图像形成指令在第二屏幕画面中的所述目标对象所在的监控画面以及所述目标监控画面外的其他监控画面区域绘制黑色画面；以及
S7还包括生成第二黑色图像形成指令以及将所述第二黑色图像形成指令通过网络发送至所述远程监控端，以使所述远程监控端根据所述第二黑色图像形成指令在第二屏幕画面中的所述目标监控画面外的其他监控画面区域绘制黑色画面。
8.根据权利要求5或6所述的多监控画面下的远程目标对象跟踪***，所述远程监控端还用于将S7中接收到的网络视频流按接收时间进行存储和拼接。
CN202311260039.2A 2023-09-27 2023-09-27 多监控画面下的远程目标对象跟踪***和方法 Active CN116996749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311260039.2A CN116996749B (zh) 2023-09-27 2023-09-27 多监控画面下的远程目标对象跟踪***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311260039.2A CN116996749B (zh) 2023-09-27 2023-09-27 多监控画面下的远程目标对象跟踪***和方法

Publications (2)

Publication Number Publication Date
CN116996749A CN116996749A (zh) 2023-11-03
CN116996749B true CN116996749B (zh) 2023-12-15

Family

ID=88534219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311260039.2A Active CN116996749B (zh) 2023-09-27 2023-09-27 多监控画面下的远程目标对象跟踪***和方法

Country Status (1)

Country Link
CN (1) CN116996749B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304677A (ja) * 2001-04-06 2002-10-18 Fujitsu General Ltd 侵入者検出方法および装置
JP2003259343A (ja) * 2002-03-05 2003-09-12 Mitsubishi Electric Corp 画像遠隔監視システム
CN102804075A (zh) * 2009-06-29 2012-11-28 株式会社V技术 对准方法、对准装置及曝光装置
CN104320609A (zh) * 2014-09-22 2015-01-28 南开大学 一种基于光学相关的低存储监控方法
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304677A (ja) * 2001-04-06 2002-10-18 Fujitsu General Ltd 侵入者検出方法および装置
JP2003259343A (ja) * 2002-03-05 2003-09-12 Mitsubishi Electric Corp 画像遠隔監視システム
CN102804075A (zh) * 2009-06-29 2012-11-28 株式会社V技术 对准方法、对准装置及曝光装置
CN104320609A (zh) * 2014-09-22 2015-01-28 南开大学 一种基于光学相关的低存储监控方法
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法

Also Published As

Publication number Publication date
CN116996749A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN108933935B (zh) 视频通信***的检测方法、装置、存储介质和计算机设备
JP5882455B2 (ja) 高解像度マルチスペクトル画像キャプチャ
EP3499410A1 (en) Image processing method and apparatus, and electronic device
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN107948517A (zh) 预览画面虚化处理方法、装置及设备
CN112102204A (zh) 图像增强方法、装置及电子设备
CN107622497B (zh) 图像裁剪方法、装置、计算机可读存储介质和计算机设备
KR20150031766A (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
US20200380290A1 (en) Machine learning-based prediction of precise perceptual video quality
US20230127009A1 (en) Joint objects image signal processing in temporal domain
US20160210759A1 (en) System and method of detecting moving objects
US20190320090A1 (en) Lossy Compression for Images and Signals By Identifying Regions with Low Density of Features
TW201537514A (zh) 影像分析裝置、方法及電腦可讀取媒體
CN108737797B (zh) 白平衡处理方法、装置和电子设备
CN110738709A (zh) 一种基于二维码的视频评测方法及其视频评测***
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN107578372B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN116996749B (zh) 多监控画面下的远程目标对象跟踪***和方法
CN107464225B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN112261417A (zh) 视频推送方法及***、设备及可读存储介质
CN107770446B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN112565178B (zh) 基于流媒体技术的无人机电力设备巡检***
CN112241735A (zh) 一种图像处理方法、装置及***
CN115147752A (zh) 一种视频分析方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant