CN111209869A - 基于视频监控的目标跟随显示方法、***、设备及介质 - Google Patents

基于视频监控的目标跟随显示方法、***、设备及介质 Download PDF

Info

Publication number
CN111209869A
CN111209869A CN202010019820.0A CN202010019820A CN111209869A CN 111209869 A CN111209869 A CN 111209869A CN 202010019820 A CN202010019820 A CN 202010019820A CN 111209869 A CN111209869 A CN 111209869A
Authority
CN
China
Prior art keywords
target
screen display
attribute information
frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010019820.0A
Other languages
English (en)
Other versions
CN111209869B (zh
Inventor
蔡可杰
陆冠宇
何凯
陈青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202010019820.0A priority Critical patent/CN111209869B/zh
Publication of CN111209869A publication Critical patent/CN111209869A/zh
Application granted granted Critical
Publication of CN111209869B publication Critical patent/CN111209869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于视频监控的目标跟随显示方法、***、设备及介质，该方法包括获取监控视频，提取监控视频的图像帧；分析图像帧得到目标的目标状态和属性信息，按照目标状态和属性信息生成目标在屏显示信息；当检测到算法帧率小于视频流帧率时，利用时间加权滤波对目标的在屏显示信息进行插值运算，补齐目标缺失的在屏显示信息；将包含目标在屏显示信息的数据帧嵌入到视频流；提取在屏显示数据帧，解析在屏显示数据帧得到目标跟踪框位置、大小和属性信息显示在WEB端。本发明利用时间加权滤波对目标的在屏显示信息进行插值运算，补齐目标缺失的在屏显示信息；提高了在屏显示信息的刷新频率，克服了字符与图形显示时的闪烁和不流畅问题。

Description

基于视频监控的目标跟随显示方法、***、设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于视频监控的目标跟随显示方法、***、设备及介质。
背景技术
视频监控技术已经被广泛地应用在各种行业中，尤其是一些公共安全领域。人们已经可以在屏幕前查看视频监控***中各个前端摄像机所采集到的图像。在很多应用场景下，用户可能需要跟踪目标，并将该目标在视频中位置自动识别并单独标识出来。
然而，现有的视频监控中算法处理返回结果与视频流的频率(帧率)不同，例如，人脸识别算法、视频结构化算法大多采用10HZ的输入频率，而视频前端预览界面显示时往往采用频率大于25HZ，这种频率差异容易导致OSD(On-Screen Display)刷新频率低于人眼图像滞留频率，造成某些视频中没有叠加绘制跟踪框图形和属性字符，从而使得目标的OSD信息出现闪烁和不流畅的问题。
申请内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于视频监控的目标跟随显示方法、***、设备及介质，用于解决现有技术中用户观看时，OSD信息发生的闪烁和不流畅问题。
为实现上述目的及其他相关目的，本发明的第一方面，本发明提供一种基于视频监控的目标跟随显示方法，包括：
获取监控视频，提取所述监控视频的图像帧；
分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
将包含所述目标在屏显示信息的数据帧嵌入到视频流；
接收所述视频流提取在屏显示数据帧，解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端。
本发明的第二方面，提供一种基于视频监控的目标跟随显示***，包括：
图像帧模块，用于获取监控视频，提取所述监控视频的图像帧；
OSD信息生成模块，用于分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
嵌入模块，用于将包含所述目标在屏显示信息的数据帧嵌入到视频流；
显示模块，用于解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端。
本发明第三方面提供一种电子设备，包括：
一个或多个处理器；
存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备如第一方面中任一项所述的基于视频监控的目标跟随显示方法。
本发明的第四方面，提供一种计算机可读存储介质，存储至少一种程序，所述至少一个程序在被调用并执行时实现如第一方面中任一项所述的基于视频监控的目标跟随显示方法。
如上所述，本发明的基于视频监控的目标跟随显示方法、***、设备及介质具有以下有益效果：
本发明根据目标的目标状态和属性信息生成所述目标的在屏显示信息；当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息；提高了在屏显示信息的刷新频率，使其与视频流帧率相同，从而克服了叠加字符与图形显示时所带来的闪烁和不流畅问题。
附图说明
图1显示为本发明实施例提供的一种基于视频监控的目标跟随显示方法流程图；
图2显示为本发明实施例提供的目标状态切换图；
图3显示为本发明实施例提供的一种基于视频监控的目标跟随显示方法步骤S2流程图；
图4显示为本发明实施例提供的一种基于视频监控的目标跟随显示***结构框图；
图5显示为本发明实施例提供的一种电子设备结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
请参阅图1，为本发明实施例提供的一种基于视频监控的目标跟随显示方法流程图，包括：
步骤S1，获取监控视频，提取所述监控视频的图像帧；
其中，监控视频可以是公共区域摄像头拍摄到的图像也可以是某个特定场所摄像头采集的图像；截取所述监控视频得到图像帧，预处理该图像帧，例如，按照算法要求的图像尺寸裁定图像帧的大小，变换所述图像帧的格式及帧率，使其符合算法要求。
步骤S2，分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
其中，算法帧率为图像的处理帧率，视频流帧率为视频帧率，该目标可为移动目标，如人、车、无人机等。
具体地，根据所述目标前几次的在屏显示信息进行插值运算，预测出所述目标在当前图像帧中的跟踪框位置、大小和属性信息，从而补齐所述图像帧中目标缺失的在屏显示信息。
步骤S3，将包含所述目标在屏显示信息的数据帧嵌入到视频流；
其中，该数据帧结构包括目标所在的场景图、跟踪框及目标属性，将该目标所在的场景图、跟踪框及目标属性封装成一个私有数据帧，通过编码将该数据帧嵌入到视频流(视频码流)，使得该视频流中算法处理后的OSD(在屏显示)信息帧率与视频流帧率相同。
步骤S4，接收所述视频流提取在屏显示数据帧，解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端(兼容不同的操作***、浏览器、分辨率的终端)。
在本实施例中，通过检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息；提高了在屏显示信息的刷新频率，使其与视频流帧率相同，从而克服了叠加字符(属性信息)与图形(跟踪框)显示时所带来的闪烁和不流畅问题。
请参阅图3，为本发明实施例提供的一种基于视频监控的目标跟随显示方法步骤S2流程图，包括：
如果连续几帧都未跟踪到某个目标时，则将该目标的目标状态视为LOST状态，销毁该目标的历史值，停止插值运算，同时，停止该目标的在屏显示信息；否则，在所述目标不为LOST状态且判断所述目标的属性信息是否更新，如果所述目标的属性信息未更新，则根据前几帧的在屏显示信息计算当前帧所述目标的位置、大小和属性信息；如果所述目标的属性信息有更新，则叠加该属性信息在屏显示信息，保存所述目标最近几帧的目标状态和属性信息。
需要说明的是，根据所述目标前三帧中移动速度，采用时间加权平均滤波方法计算当前图像帧中目标的移动速度，根据当前图像帧中目标的移动速度得到所述目标的位置、大小；利用所述目标前三帧的属性信息得到当前帧的属性信息。
在一些示例中，摄像头传感器采集的图像，通过视频预处理单元，对图像进行裁剪和帧率控制，然后，图像输入给算法端，智能算法分析视频图像帧，利用检测跟踪算子，检测出图像中的每一目标。分析算子会逐一的分析每一个目标的属性信息、跟踪框位置、大小等信息，以及一个目标从出现到消失出摄像头视野的整个过程，该方法把每一个目标的整个过程分为4种状态：CREATE(创造)、TRACK(跟踪)、CONF(置信)和LOST(丢失)，如图2所示，为本发明实施例提供的目标状态切换图。算法端对输入的图像进行处理完成之后将当前图像帧中的所有目标框、属性信息返回给DSP端。DSP端根据上一帧中算法端输出的目标的状态，决定跟踪目标是是否需要做DSP插值运算，例如，当目标在上一帧中的状态为CONF状态，说明目标一直处于跟踪状态。并且算法端返回的是有效的属性信息。当目标在上一帧中的状态为LOST，说明目标已经丢失。算法端返回结果的帧频率低于上报WEB的视频流频率或者算法端返回的结果中却缺少该目标的跟踪框和属性信息，这需要对该目标做插值运算，将插值运算的结果叠加到OSD中显示。如果当前帧算法端返回的结果中包含该目标的跟踪框和属性信息，这不需要做插值运算，直接将算法端返回的结果封装之后叠加到OSD中进行显示，并保存最近3次的算法端返回结果。如果目标在连续3帧都没有检查跟踪到某一个目标，那么算法端就会把该目标的状态置为LOST状态返回给DSP端，DSP端就会销毁该目标的历史值，并停止插值运算，停止该目标的OSD显示。
在此，利用摄像头采集的图像帧，预处理该图像帧后，得到符合算法要求的图像尺寸、格式和帧率的图像帧，算法端处理完一帧数据会输出当前图像帧中的所有监控对象(目标)的跟踪框和属性信息。算法端把这些监控目标的结构化信息发送给DSP端，DSP端会把目标的图像，目标所在的场景图，目标的跟踪框，目标的属性等信息封装成一个私有数据帧，把私有数据帧通过RTP包发送到前端WEB，WEB解析其中的私有数据帧，并通过图形字符等方式在视频预览界面绘制出每一个目标的OSD信息。由于被监控的运动目标在时间和空间上都具有连续性，所有在监控视频的连续帧中目标的运动轨迹具有连续性。且目标的移动速度也是连续变化的，根据运动目标的这些特征，我们可以对目标的当前速度，采用时间加权平均滤波方法，公式如下：
Figure BDA0002358897430000041
式(1)中，Vxi、Vyi分别为目标在第i图像帧中的横向速度、纵向速度；Q1、Q2、Q3分别为目标在连续前三帧各自对应的权重系数，
Figure BDA0002358897430000051
分别为目标在前一帧至前三帧中各自的横向速度，、、
Figure BDA0002358897430000052
分别为目标在前一帧至前三帧中各自的纵向速度。采用时间加权的方法，距离当前帧时间间隔小的帧，其对应的权重就大，反之就小，为了降低计算的时间复杂度，本方法中选择其前面最近三帧作为参考来计算当前帧中目标的运动速度。
在另一更具体示例，以人脸识别算法为例，阐述本申请中方案。人脸识别算法将视频中的人脸和人体目标通过矩形框跟踪框选中，并显示人脸和人体的属性信息，其中跟踪框和属性信息需要通过OSD跟随目标显示出来。如表1所示，假设一个目标出现在连续的9帧图像中，其中帧号为1、2、4、6、8、9的图像是送到算法进行处理。帧号为3、5、7的图像是在DSP端通过差值运算来处理，根据算法跟踪算子返回的目标状态，当目标创建之后，经过一帧的过渡，目标将处于稳定跟踪状态即CONF状态。
表1人脸识别算法目标OSD跟随显示插值过程
Figure BDA0002358897430000053
当目标在CONF状态下，可以通过位置预测来计算目标位置在下一帧图像中的位置，计算方法是根据目标在上一帧的坐标位置和目标在前三帧中的速度。Δt是上下两帧之间的时间间隔，Δx，Δy分别是目标在X分量和Y分量上的位移，其计算方法是根据目标在前三帧中的速度值进行加权平均计算得到，
Figure BDA0002358897430000061
式(2)中，计算OSD叠加位置的计算公式。对于OSD内容的处理，当目标持续处于CONF状态时，同一个目标的属性信息依然保持上一个状态的内容，例如，人脸识别的年龄，性别，是否戴帽，是否戴眼镜等属性信息保持不变。这一过程一直持续到目标丢失，即目标状态变为LOST状态，则认为该目标已经丢失了，这时该目标的OSD内容不再需要显示。
在本实施例中，根据目标的移动速度和前后帧之间的时间间隔，计算出该目标当前图像帧中的位置。另外，目标框的大小保持算法端上一次返回的目标框大小；目标的属性信息保持算法端上一次返回的目标的属性信息；从而得到目标在当前图像帧跟踪框，属性位置、大小等信息。实验证明，该方法可以提高OSD的显示更新频率，使目标的OSD更新频率和视频显示刷新频率保持一致，降低了OSD闪烁现象，使得OSD显示更加平滑。
请参阅图4，为本发明实施例提供一种基于视频监控的目标跟随显示***，包括：
图像帧模块1，用于获取监控视频，提取所述监控视频的图像帧；
OSD信息生成模块2，用于分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
其中，OSD信息补齐单元21，用于如果连续几帧都未跟踪到某个目标时，则将该目标的目标状态视为LOST状态，否则，在所述目标不为LOST状态时且判断所述目标的属性信息是否更新，如果所述目标的属性信息未更新，则根据前几帧的在屏显示信息计算当前帧所述目标的位置、大小和属性信息；如果所述目标的属性信息有更新，则叠加该属性信息在屏显示信息，保存所述目标最近几帧的目标状态和属性信息。
具体地，根据所述目标前三帧中移动速度，采用时间加权平均滤波方法计算当前图像帧中目标的移动速度，根据当前图像帧中目标的移动速度得到所述目标的位置、大小；利用所述目标前三帧的属性信息得到当前帧的属性信息。
嵌入模块3，用于将包含所述目标在屏显示信息的数据帧嵌入到视频流；
显示模块4，用于接收所述视频流提取在屏显示数据帧，解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端。
需要说明的是，上述基于视频监控的目标跟随显示***仅为举例而非对本发明的限制。事实上，所述基于视频监控的目标跟随显示***与上述基于视频监控的目标跟随显示方法为一一对应关系，所涉及的技术细节与技术效果均相同，在此不再逐一详述。
请参阅图5，其显示为本发明的电子设备一实施例的结构示意图。如图5所示，本实施例提供的电子设备5主要包括存储器51、一个或多个处理器52、以及存储于所述存储器51中的一个或多个程序，其中，存储器51存储执行指令，当电子设备5运行时，处理器52与存储器51之间通信。
于某些实施方式中，所述处理器还与I/O端口和输入结构可操作地耦接，该I/O端口可使得电子设备50能够与各种其他电子设备进行交互，该输入结构可使得用户能够与电子设备50进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。此外，电子显示器可包括触摸部件，该触摸部件通过检测对象触摸其屏幕(例如，电子显示器的表面)的发生和/或位置来促进用户输入。
所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理器可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本发明的实施例来执行操作。例如视频监控的目标跟随显示方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于本地服务器也可位于第三方服务器中，如位于第三方云服务平台中。在此对具体云服务平台不做限制，如阿里云、腾讯云等。本发明可用于众多通用或专用的计算***环境或配置中。例如：被配置为分布式***中一个节点的个人计算机、专用服务器计算机、大型计算机等。
另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
综上所述，本发明根据目标的目标状态和属性信息生成所述目标的在屏显示信息；当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息；提高了在屏显示信息的刷新频率，使其与视频流帧率相同，从而克服了叠加字符与图形显示时所带来的闪烁和不流畅问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于视频监控的目标跟随显示方法，其特征在于，所述方法包括以下步骤：
获取监控视频，提取所述监控视频的图像帧；
分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
将包含所述目标在屏显示信息的数据帧嵌入到视频流；
接收所述视频流提取在屏显示数据帧，解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端。
2.根据权利要求1所述的基于视频监控的目标跟随显示方法，其特征在于，根据所述目标前几次的在屏显示信息进行插值运算，预测出所述目标在当前图像帧中的跟踪框位置、大小和属性信息。
3.根据权利要求1或2所述的基于视频监控的目标跟随显示方法，其特征在于，所述目标的目标状态包括CREATE、TRACK、CONF和LOST。
4.根据权利要求3所述的基于视频监控的目标跟随显示方法，其特征在于，所述补齐所述图像帧中目标缺失的在屏显示信息的步骤，包括：
如果连续几帧都未跟踪到某个目标时，则将该目标的目标状态视为LOST状态，否则，在所述目标不为LOST状态时且判断所述目标的属性信息是否更新，如果所述目标的属性信息未更新，则根据前几帧的在屏显示信息计算当前帧所述目标的位置、大小和属性信息；如果所述目标的属性信息有更新，则叠加该属性信息在屏显示信息，保存所述目标最近几帧的目标状态和属性信息。
5.根据权利要求4所述的基于视频监控的目标跟随显示方法，其特征在于，所述根据前几帧的在屏显示信息计算当前帧所述目标的位置、大小和属性信息的步骤，包括：
根据所述目标前三帧中移动速度，采用时间加权平均滤波方法计算当前图像帧中目标的移动速度，根据当前图像帧中目标的移动速度得到所述目标的位置、大小；利用所述目标前三帧的属性信息得到当前帧的属性信息。
6.根据权利要求1所述的基于视频监控的目标跟随显示方法，其特征在于，所述将包含所述目标在屏显示信息的数据帧嵌入到视频流的步骤，包括：
将所述目标所在的场景图、跟踪框及目标属性封装成一个数据帧，通过编码将该数据帧嵌入到视频流。
7.一种基于视频监控的目标跟随显示***，其特征在于，所述***包括：
图像帧模块，用于获取监控视频，提取所述监控视频的图像帧；
OSD信息生成模块，用于分析所述图像帧得到目标的目标状态和属性信息，按照所述目标状态和属性信息生成所述目标在屏显示信息；其中，当检测到算法帧率小于视频流帧率时，利用时间加权滤波对所述目标的在屏显示信息进行插值运算，补齐所述图像帧中目标缺失的在屏显示信息，该在屏显示信息包括目标的跟踪框位置、大小和属性信息；
嵌入模块，用于将包含所述目标在屏显示信息的数据帧嵌入到视频流；
显示模块，用于解析所述在屏显示数据帧得到所述目标的跟踪框位置、大小和属性信息显示在WEB端。
8.根据权利要求1所述的基于视频监控的目标跟随显示***，其特征在于，所述OSD信息生成模块包括：
OSD信息补齐单元，用于如果连续几帧都未跟踪到某个目标时，则将该目标的目标状态视为LOST状态，否则，在所述目标不为LOST状态时且判断所述目标的属性信息是否更新，如果所述目标的属性信息未更新，则根据前几帧的在屏显示信息计算当前帧所述目标的位置、大小和属性信息；如果所述目标的属性信息有更新，则叠加该属性信息在屏显示信息，保存所述目标最近几帧的目标状态和属性信息。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行权利要求1～6任一项所述的基于视频监控的目标跟随显示方法。
10.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一个程序在被调用并执行时实现权利要求1-6中任一项所述的基于视频监控的目标跟随显示方法。
CN202010019820.0A 2020-01-08 2020-01-08 基于视频监控的目标跟随显示方法、***、设备及介质 Active CN111209869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010019820.0A CN111209869B (zh) 2020-01-08 2020-01-08 基于视频监控的目标跟随显示方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010019820.0A CN111209869B (zh) 2020-01-08 2020-01-08 基于视频监控的目标跟随显示方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN111209869A true CN111209869A (zh) 2020-05-29
CN111209869B CN111209869B (zh) 2021-03-12

Family

ID=70789578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010019820.0A Active CN111209869B (zh) 2020-01-08 2020-01-08 基于视频监控的目标跟随显示方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN111209869B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709391A (zh) * 2020-06-28 2020-09-25 重庆紫光华山智安科技有限公司 一种人脸人体匹配方法、装置及设备
CN112950951A (zh) * 2021-01-29 2021-06-11 浙江大华技术股份有限公司 智能信息显示方法、电子装置和存储介质
CN113223051A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN114281024A (zh) * 2021-12-23 2022-04-05 大族激光科技产业集团股份有限公司 防撞检测方法、数控***、加工设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714744A (zh) * 2010-11-10 2012-10-03 索尼公司 图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法
US8421922B2 (en) * 2010-05-19 2013-04-16 Sony Corporation Display device, frame rate conversion device, and display method
CN104135666A (zh) * 2014-07-30 2014-11-05 北京华夏威科软件技术有限公司 一种屏幕图像的插值存储方法、***及回放方法
CN107689052A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN108933952A (zh) * 2017-05-26 2018-12-04 中兴通讯股份有限公司 一种视频播放方法、装置、计算机设备及计算机可读介质
CN109003290A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种监控***的视频跟踪方法
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110334652A (zh) * 2019-07-05 2019-10-15 无锡睿勤科技有限公司 图像处理方法、电子设备及存储介质
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8421922B2 (en) * 2010-05-19 2013-04-16 Sony Corporation Display device, frame rate conversion device, and display method
CN102714744A (zh) * 2010-11-10 2012-10-03 索尼公司 图像数据发送设备、图像数据发送方法、图像数据接收设备以及图像数据接收方法
CN104135666A (zh) * 2014-07-30 2014-11-05 北京华夏威科软件技术有限公司 一种屏幕图像的插值存储方法、***及回放方法
CN108933952A (zh) * 2017-05-26 2018-12-04 中兴通讯股份有限公司 一种视频播放方法、装置、计算机设备及计算机可读介质
CN107689052A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN109003290A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种监控***的视频跟踪方法
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110334652A (zh) * 2019-07-05 2019-10-15 无锡睿勤科技有限公司 图像处理方法、电子设备及存储介质
CN110378259A (zh) * 2019-07-05 2019-10-25 桂林电子科技大学 一种面向监控视频的多目标行为识别方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709391A (zh) * 2020-06-28 2020-09-25 重庆紫光华山智安科技有限公司 一种人脸人体匹配方法、装置及设备
CN111709391B (zh) * 2020-06-28 2022-12-02 重庆紫光华山智安科技有限公司 一种人脸人体匹配方法、装置及设备
CN112950951A (zh) * 2021-01-29 2021-06-11 浙江大华技术股份有限公司 智能信息显示方法、电子装置和存储介质
CN113223051A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN114281024A (zh) * 2021-12-23 2022-04-05 大族激光科技产业集团股份有限公司 防撞检测方法、数控***、加工设备及存储介质

Also Published As

Publication number Publication date
CN111209869B (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN111209869B (zh) 基于视频监控的目标跟随显示方法、***、设备及介质
US10593049B2 (en) System and method for real-time detection of objects in motion
US9589363B2 (en) Object tracking in encoded video streams
KR102512828B1 (ko) 이벤트 신호 처리 방법 및 장치
US10121080B2 (en) Systems and methods for controlling the recording, storing and transmitting of video surveillance content
CN108229353B (zh) 人体图像的分类方法和装置、电子设备、存储介质、程序
US10769849B2 (en) Use of temporal motion vectors for 3D reconstruction
CN112560684B (zh) 车道线检测方法、装置、电子设备、存储介质以及车辆
CN111738225B (zh) 人群聚集检测方法、装置、设备及存储介质
CN113808162B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN111601013B (zh) 用于处理视频帧的方法和装置
CN115761571A (zh) 基于视频的目标检索方法、装置、设备以及存储介质
CN113657518B (zh) 训练方法、目标图像检测方法、装置、电子设备以及介质
US11315256B2 (en) Detecting motion in video using motion vectors
CN111915713A (zh) 一种三维动态场景的创建方法、计算机设备、存储介质
CN114998275A (zh) 目标对象的状态识别方法和深度学习模型的训练方法
CN117716697A (zh) 基于事件映射的相机设置调整
CN113108919A (zh) 人体温度检测方法、装置和存储介质
CN113553905A (zh) 图像识别方法、装置及***
CN112700657B (zh) 用于生成检测信息的方法、装置、路侧设备和云控平台
CN116301361B (zh) 基于智能眼镜的目标选择方法、装置和电子设备
CN116246026B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN113780322B (zh) 一种安全检测的方法和装置
US10614290B1 (en) Object position determination circuit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant