CN110784704B - 一种监控视频的显示方法、装置及电子设备 - Google Patents

一种监控视频的显示方法、装置及电子设备 Download PDF

Info

Publication number
CN110784704B
CN110784704B CN201911096835.0A CN201911096835A CN110784704B CN 110784704 B CN110784704 B CN 110784704B CN 201911096835 A CN201911096835 A CN 201911096835A CN 110784704 B CN110784704 B CN 110784704B
Authority
CN
China
Prior art keywords
video
texture
thread
data
textures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911096835.0A
Other languages
English (en)
Other versions
CN110784704A (zh
Inventor
韩宇韬
吕琪菲
张至怡
陈银
王逸涛
曹粕佳
党建波
阳松江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Aerospace Shenkun Technology Co ltd
Original Assignee
Sichuan Aerospace Shenkun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Aerospace Shenkun Technology Co ltd filed Critical Sichuan Aerospace Shenkun Technology Co ltd
Priority to CN201911096835.0A priority Critical patent/CN110784704B/zh
Publication of CN110784704A publication Critical patent/CN110784704A/zh
Application granted granted Critical
Publication of CN110784704B publication Critical patent/CN110784704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明适用于视频显示技术领域,提供了一种监控视频的显示方法、装置及电子设备。所述方法应用于多线程机制,具体包括:第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;所述第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理,并映射至视频纹理的映射区域;在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。用于降低需要加载的视频数据的工作量,提高渲染速度。

Description

一种监控视频的显示方法、装置及电子设备
技术领域
本发明属于视频显示技术领域,尤其涉及一种监控视频的显示方法、装置及电子设备。
背景技术
目前多监控视频的集成浏览与快速显示软件的应用范围不断扩大,由传统的二维***显示转变为给用户更加直观感受的三维***显示。在通过三维***显示时,在进行视频影像渲染的同时还需要进行大量三维模型的渲染,因此对于视频源的数量有一定的限制,否则***会出现卡顿延迟现象,影响用户体验。在通过传统的单线程实现上述三维***显示时,由于单线程无法做到大量监控视频数据的同步读取与渲染,等所有数据渲染完,耗时较大,无法满足用户对时限的要求。
发明内容
本发明实施例提供一种监控视频的显示方法、装置及电子设备,旨在解决如何更加快速的在三维***中显示,且减少出现卡顿现象的问题。
本发明实施例是这样实现的,第一方面,本发明实施例提供了一种监控视频的显示方法,应用于多线程机制,所述方法包括:第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;
所述第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理,并映射至视频纹理的映射区域;所述视频纹理的映射区域是可见视频纹理的渲染显示时的位置;
在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
更进一步地,所述第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理包括:
所述的一侧线程在三维场景中任意调整视角,确定视点的位置;
对每个视频纹理进行可见性判断;其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个所述相交点与所述视点间的距离;在各个所述相交点与所述视点间的距离中,将最小值确定为当前视频纹理对应的深度值;其中,所述直连线是视频纹理的中心位置与视点间形成的直线;
根据所有视频纹理对应的深度值,生成三维场景的深度图;
计算每个所述视频纹理的中心位置与所述视点间的距离,作为参考深度值;
根据每个所述视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理。
更进一步地,所述第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据包括:
所述第三线程对视频纹理的映射区域内的每个可见视频纹理进行细节层次LOD可见性判断,根据判断结果加载所述每个可见视频纹理对应的相关数据。
更进一步地,还包括:
所述第二线程接收视频监控设备发送的视频数据;
将接收到的所述视频数据备份存储,并根据发送所述视频数据的视频监控设备的设备编号及视频数据的存储时间建立所述视频数据的视频索引,并将所述视频索引与所述存储的视频数据关联。
更进一步地,在所述第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域内的每个视频纹理的相关数据之前,还包括:
所述第三线程接收用户操作指令,并根据所述用户操作指令进行相应的操作响应。
更进一步地,上述方法,还包括:在监控视频进行二维显示时,所述第三线程从第二线程存储的视频数据中读取待显示视频数据,并将所述待显示视频数据在视频播放窗体中采用电子放大技术进行播放窗体的框选放大,并在所述视频播放窗体中播放所述待显示视频数据。
第二方面,本发明实施例还提供了一种监控视频的显示装置,应用于多线程机制,包括:处理单元,用于第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;
所述处理单元,还用于所述第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理,并映射至视频纹理的映射区域;所述视频纹理的映射区域是可见视频纹理的渲染显示时的位置;
显示单元,用于在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
更进一步地,所述处理单元,具体用于所述第一线程在三维场景中任意调整视角,确定视点的位置;
对每个视频纹理进行可见性判断;其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个所述相交点与所述视点间的距离;在各个所述相交点与所述视点间的距离中,将最小值确定为当前视频纹理对应的深度值;其中,所述直连线是视频纹理的中心位置与视点间形成的直线;
根据所有视频纹理对应的深度值,生成三维场景的深度图;
计算每个所述视频纹理的中心位置与所述视点间的距离,作为参考深度值;
根据每个所述视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理。
更进一步地,所述显示单元,具体用于第三线程对视频纹理的映射区域内的每个可见视频纹理进行细节层次LOD可见性判断,根据判断结果加载所述每个可见视频纹理对应的相关数据。
更进一步地,还包括:
接收单元,用于所述第二线程接收视频监控设备发送的视频数据;
存储单元,用于所述第二线程将接收到的所述视频数据备份存储,并根据发送所述视频数据的视频监控设备的设备编号及视频数据的存储时间建立所述视频数据的视频索引,并将所述视频索引与所述存储的视频数据关联;
所述接收单元,还用于所述第三线程接收用户操作指令;
所述处理单元,还用于所述第三线程根据所述用户操作指令进行相应的操作响应。
第三方面,本发明实施例还提供了一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述监控视频的显示方法所述的步骤。
与相关技术相比较,本发明提供的监控视频的显示方法具有如下有益效果:第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理并映射至视频纹理的映射区域;在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。这样一来,通过第一线程实现待显示视频数据的处理,通过第二线程实现视频数据的存储,通过第三线程实现待显示视频数据的渲染显示,采用多线程技术进行***效率的优化,解决了视频影像实时渲染不流畅性,即为在三维显示时,可以实现视频数据的读取与渲染同步实时进行,提高了视频数据进行三维显示的显示时间,满足用户需求。进一步的,第二线程可以先对视频纹理进行可见性判断,从而可以使第三线程仅对可见的视频纹理的相关数据进行加载,降低了需要加载的视频数据的工作量,提高了渲染速度。并且也降低了三维场景中的物体被同视角的视频影像纹理替代的现象发生,提高了用户对三维场景的真实性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种监控视频的显示方法的流程示意图;
图2为本发明实施例提供的一种视频纹理可见性检测的方法示例性图;
图3是本发明实施例提供的另一种监控视频的显示方法的流程示意图;
图4是本发明实施例提供的另一种监控视频的显示方法的流程示意图;
图5是本发明实施例提供的另一种监控视频的显示方法的流程示意图
图6是本发明实施例提供的一种监控视频的显示装置的结构示意图;
图7是本发明实施例提供的另一种监控视频的显示装置的结构示意图;
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了对本发明实施例进行有效说明,以下参照附图对本申请实施例进行详细阐述。
本发明实施例提供了一种监控视频的显示方法,如图1所示,包括:
步骤S101、第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理。
具体的,第一线程从第二线程存储的监控视频中将用户需要显示的视频数据读取出,即为读取待显示视频数据,在读取了待显示视频数据后,将待显示视频数据重新取帧,将每一帧视频数据确定为视频纹理。
步骤S102、第一线程利用预先设置的可见性检测算法,对生成的所有视频纹理进行可见性判断,确定出可见视频纹理,并映射至视频纹理的映射区域。
其中,视频纹理的映射区域是可见视频纹理的渲染显示时的位置。
具体的,由于在三维场景中,视频影像与虚拟三维视角是不一致的,当确定视点位置后,不是所有的视频都在该视点的视域范围内,即不是所有的视频都是可见的。为了避免三维场景中的物体错误的被同视角的视频影像所代替,提高三维场景的真实性,第一线程可以先对生成的所有视频纹理进行可见性判断,从而可以确定出每个视频纹理的可见范围,即为在哪些位置可见,在哪些位置不可见,得到这个视频纹理的映射区域。
进一步的,第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理包括:
第一线程在三维场景中任意调整视角,确定视点的位置。
对每个视频纹理进行可见性判断。其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个相交点与视点间的距离。在各个所述相交点与所述视点间的距离中,将最小值确定为当前视频纹理对应的深度值。其中,直连线是视频纹理的中心位置与视点间形成的直线。
利用所有视频纹理对应的深度值,生成三维场景的深度图。
计算每个视频纹理的中心位置与所述视点间的距离,作为参考深度值。
根据每个视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理。
其中,本发明实施例中预先设置的可见性检测算法为Shadow Map算法。其中,Shadow Map是一种用于生成实时阴影的技术,它的原理可以理解为:假设有一个摄像机在灯光的位置,从灯光的位置往物体看,这时候会有一张光源空间的深度信息图,这就是Shadow Map。凡是物体的深度值大于Shadow Map上的深度值的都是被遮挡的部分,都要显示阴影,通过这种判断方式,可以知道什么位置为阴影,检测可见性和生成阴影原理非常相似,将Shadow Map技术应用在三维场景中视频的可见性预测,可以快速地检测视频纹理的可见性。
具体实施方法为:
在三维场景中任意调整视角,第一线程确定视点的位置。即为,在三维场景中,用户可以根据自身的需求,任意调整场景的视角,在调整完视角之后,第一线程可以根据OSG视点获取函数得到视点的位置坐标。在得出视点位置后,对每个视频纹理进行可见性判断。对任一个视频纹理进行可见性判断时,需先确定此视频纹理的中心位置,根据视频纹理的中心位置及视点位置,确定出视频纹理的中心位置与视点位置间的直线作为直连线。由于三维场景可以在坐标轴内表示,因此,可以通过物体的坐标与视点的坐标计算出空间中两点间的直线。在三维场景中,将所有与此直连线相交的物体模型确定出,并确定出物体模型与直连线相交的相交点。计算各个相交点与视点间的距离,将其中的最小值作为该视频纹理对应的深度值Z。通过上述方法,将每个视频纹理对应的深度值计算出,并通过将这些视频纹理对应的深度值Z汇集,生成三维场景的深度图。
计算每个视频纹理的中心位置与视点间的距离,作为参考深度值Z1;将每个视频纹理的参考深度值与深度图内其对应的深度值进行比较,若Z1比Z值小,则说明视频纹理没有被三维场景的模型遮挡,判定此视频纹理可见。若Z1比Z值大,则说明视频纹理被三维场景的模型遮挡,判定此视频纹理不可见。将判断为可见的视频纹理确定为可见视频纹理。通过上述方法,可以将待显示视频数据内的所有视频纹理是否可见进行判断,确定出可见视频纹理。
需要说明的是,每个视频纹理都是由不同的监控视频数据提取出来的,而每一个监控视频都有唯一的ID编号作为标识,因此在每个视频纹理确定出其对应的深度值Z生成深度图时,会根据视频纹理的监控视频的ID,为其对应的深度值Z进行相应的标识,以便后续读取此深度值Z。也就是说,每个视频纹理都有其唯一的ID标识,这样,在生成深度值后,可以根据其自身的封ID标识来标记自身对应的深度值。
这样一来,通过使用Shadow Map算法可以解决视频影像与三维视角不一致所造成的可见性问题,增强了三维场景的真实感,同时减少视频渲染的工作量,提高了视频渲染的效率。
示例性的,如图2所示,A点为视频纹理a的中心位置,D为视点位置。根据视频纹理a的中心位置A点与视点位置D点生成直连线。在此直线上相交有物体模特b,且相交点为B、C,即为B、C为视线与物体模型b的相交点。计算各个相交点与视点的距离,即为计算BD和CD的距离,取其中最小值作为该位置的深度值即为Z值,由于CD的距离小于BD的距离,因此,将CD的值作为视频纹理a在此位置处对应的深度值。(上图仅仅是单个物体模型与直连线相交的示例,对于多个物体模型也是通过上述方法确定出视频纹理对应的深度值)确定出每个视频纹理对应的深度值之后,将各个视频纹理对应的深度值一起形成深度图。
在进行上述视频纹理a的可见性检测时,计算视频纹理a的中心位置A到视点位置D的距离AD,若AD间的距离小于此位置处视频纹理a的深度值即为CD间的距离,则判定该视频纹理a可见,若AD间的距离大于CD间的距离,视频纹理a被物体模型b遮挡,则判定该视频纹理a不可见。由于在本示例中,AD间的距离大于CD间的距离,视频纹理a被物体模型b遮挡,可以判定该视频纹理a不可见。
进一步的,在确定出可见视频纹理后,可见视频纹理并不是在任一个位置都可进行渲染显示,其渲染显示需在特定的位置,将此位置定义为视频纹理的映射区域。这样一来,可以将每个可见视频纹理与映射区域建立映射关系,从而可以通过映射区域查找到对应的可见视频纹理,进而进行相应的渲染显示。
步骤S103、在监控视频进行三维显示时,第三线程根据视频纹理的映射区域,加载视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
具体的,在监控视频进行三维显示时,即为需要将待显示数据在三维场景中显示,此时,第三线程获取视频纹理的映射区域,并针对视频纹理的映射区域对应的每个可见视频纹理进行相应的数据加载,并对数据进行渲染,进而可以对待显示视频数据在三维场景进行显示。
进一步的,第三线程根据视频纹理的映射区域,加载视频纹理的映射区域对应的每个可见视频纹理的相关数据包括:第三线程对视频纹理的映射区域对应的每个可见视频纹理进行LOD(Levels of Detail,细节层次)可见性判断,根据判断结果加载每个可见视频纹理对应的相关数据。
具体的,第三线程获取视频纹理的映射区域,根据视频纹理的映射区域,查找到对应的可见视频纹理,对每个可见视频纹理进行LOD处理,即为根据可见视频纹理内物体与视点间的距离,将与视点距离较近的细节内容判断为可见,即为将与视点距离较近的视频细节内容呈现给用户,而将与视点距离较远的细节内容判断为不可见,也就是说将与视点距离较远的视频细节内容不再呈现给用户,从而实现根据与视点距离由近至远逐次简化待显示视频数据的表面细节来减少三维场景的几何复杂性。第三线程可以根据LOD判断结果实现每个可见视频纹理的相关数据的加载,可以大大降低数据加载量,提高数据渲染显示的速度。
需要说明的是,上述第一线程,第二线程,及第三线程为三个独立的线程,不同线程之间独立处理工作,且又相互协调配合工作。
这样一来,通过第一线程实现待显示视频数据的处理,通过第二线程实现视频数据的存储,通过第三线程实现待显示视频数据的渲染显示,即为在三维显示时,可以实现视频数据的读取与渲染同步实时进行,提高了视频数据进行三维显示的显示时间,满足用户需求。进一步的,第二线程可以先对视频纹理进行可见性判断,从而可以使第三线程仅对可见的视频纹理的相关数据进行加载,降低了需要加载的视频数据的工作量,提高了视频渲染的速度。并且也降低了三维场景中的物体被同视角的视频影像纹理替代的现象发生,提高了用户对三维场景的真实性。
进一步的,如图3所示,上述方法还包括:
步骤S104、第二线程接收视频监控设备发送的视频数据。
具体的,视频监控设备在录制了监控视频后,需要将其存储备份,视频监控设备可以先与监控视频的显示装置建立连接,并将数据传输至此设备进行存储。此时,监控视频的显示装置可以与视频监控设备建立网络连接,通过TCP/IP协议进行连接与传输,每个视频监控设备对应一个唯一的IP号及端口号,将该IP号及端口号与监控视频的显示装置进行绑定,进行数据传输。在建立完网络连接后,视频监控设备可以将监控的视频数据通过网络连接发送至监控视频的显示装置。监控视频的显示装置内的第二线程接收视频监控设备发送的视频数据。
步骤S105、将接收到的视频数据备份存储,并根据发送视频数据的视频监控设备的设备编号及视频数据的存储时间建立视频数据的视频索引,并将视频索引与存储的视频数据关联。
具体的,第二线程在接收到视频数据后,将其存储备份,由于视频数据的数据量较大,为了方便后续查找方便,可以对存储的视频数据建立视频索引。此时,第二线程根据发送视频数据的视频监控设备的设备编号及视频数据的存储时间作为主键值,建立视频数据的视频索引,将视频索引与对应的视频数据关联,以便后续根据视频索引查找存储的视频数据。
需要说明的是,视频监控设备的设备编号可以是视频监控设备传输视频数据时一起发送至监控视频的显示装置。
进一步的,如图4所示,在步骤S103之前,上述方法还包括:
步骤S106、第三线程接收用户操作指令,并根据用户操作指令进行相应的操作响应。
具体的,在用户进行相关操作时,例如,三维***的浏览、缩放、定位查询等功能时,第三线程可以接收用户操作指令,并根据上述操作指令进行相应的操作响应。
这样一来,通过多线程机制在进行待显示视频数据的数据处理的同时,若接收到用户操作指令时,也可及时响应用户操作,提高用户体验,从而解决了三维场景用户操作与视频数据读取之间的响应冲突。
进一步的,如图5所示,上述方法还包括:
步骤S107、在监控视频进行二维显示时,第三线程从第二线程存储的视频数据中读取待显示视频数据,并将待显示视频数据在视频播放窗体中采用电子放大技术进行播放窗体的框选放大,并在视频播放窗体中播放所述待显示视频数据。
具体的,在用户选择将视频数据采用二维显示时,监控视频的显示装置无需执行上述步骤S101-S103,仅需第三线程从第二线程存储的视频数据中读取待显示的视频数据,并在视频播放窗体中采用电子放大技术进行播放窗体的框选放大,将待显示的视频数据在视频播放窗体中进行播放。
这样一来,监控视频的显示装置不仅可以实现三维场景的视频影像的显示,还可以实现普通二维场景的视频影像的显示,满足了用户的不同需求。
本发明实施例提供了一种监控视频的显示装置,如图6所示,应用于多线程机制,所述装置包括:
处理单元201,用于第一线程从第二线程存储的视频数据中读取待显示视频数据;根据待显示视频数据,生成视频纹理。
处理单元201,还用于所述第一线程利用预先设置的可见性检测算法,对生成的所有所述视频纹理进行可见性判断,确定出可见视频纹理,并映射至视频纹理的映射区域。
其中,视频纹理的映射区域是可见视频纹理的渲染显示时的位置。
具体的,处理单元201,具体用于第一线程在三维场景中任意调整视角,确定视点的位置。对每个视频纹理进行可见性判断;其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个相交点与所述视点间的距离;在各个所述相交点与视点间的距离中,将最小值确定为当前视频纹理对应的深度值;其中,直连线是视频纹理的中心位置与视点间形成的直线;
根据所有视频纹理对应的深度值,生成三维场景的深度图;
计算每个视频纹理的中心位置与所述视点间的距离,作为参考深度值;
根据每个视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理。
显示单元202,用于在监控视频进行三维显示时,第三线程根据视频纹理的映射区域,加载视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
具体的,显示单元202,具体用于第三线程对视频纹理的映射区域对应的每个可见视频纹理进行细节层次LOD可见性判断,根据判断结果加载每个可见视频纹理对应的相关数据。
进一步的,上述装置,如图7所示,还包括:
接收单元203,用于第二线程接收视频监控设备发送的视频数据。
存储单元204,用于第二线程将接收到的视频数据备份存储,并根据发送视频数据的视频监控设备的设备编号及视频数据的存储时间建立视频数据的视频索引,并将视频索引与存储的视频数据关联。
接收单元203,还用于第三线程接收用户操作指令。
处理单元201,还用于第三线程根据用户操作指令进行相应的操作响应。
进一步的,上述显示单元202,还用于在监控视频进行二维显示时,第三线程从第二线程存储的视频数据中读取待显示视频数据,并将待显示视频数据在视频播放窗体中采用电子放大技术进行播放窗体的框选放大,并在视频播放窗体中播放所述待显示视频数据。
这样一来,通过第一线程实现待显示视频数据的处理,通过第二线程实现视频数据的存储,通过第三线程实现待显示视频数据的渲染显示,即为在三维显示时,可以实现视频数据的读取与渲染同步实时进行,提高了视频数据进行三维显示的显示时间,满足用户需求。进一步的,第二线程可以先对视频纹理进行可见性判断,从而可以使第三线程仅对可见的视频纹理的相关数据进行加载,降低了需要加载的视频数据的工作量,提高了视频渲染的速度。并且也降低了三维场景中的物体被筒视角的视频影像纹理替代的现象发生,提高了用户对三维场景的真实性。
图8是本发明实施例提供的上述电子设备的一种框图。如图8所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述监控视频的显示方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述监控视频的显示方法。
其中,本公开实施例提供的上述计算机可读存储介质即可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述监控视频的显示方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (8)

1.一种监控视频的显示方法,其特征在于,应用于多线程机制,所述方法包括:
第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;
所述第一线程在三维场景中任意调整视角,确定视点的位置;对每个视频纹理进行可见性判断;其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个所述相交点与所述视点间的距离;在各个所述相交点与所述视点间的距离中,将最小值确定为当前视频纹理对应的深度值;其中,所述直连线是视频纹理的中心位置与视点间形成的直线;根据所有视频纹理对应的深度值,生成三维场景的深度图;计算每个所述视频纹理的中心位置与所述视点间的距离,作为参考深度值;根据每个所述视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理,并映射至视频纹理的映射区域;所述视频纹理的映射区域是可见视频纹理的渲染显示时的位置;
在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
2.根据权利要求1所述的方法,其特征在于,所述第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据包括:
所述第三线程对视频纹理的映射区域对应的每个可见视频纹理进行细节层次LOD可见性判断,根据判断结果加载所述每个可见视频纹理对应的相关数据。
3.根据权利要求1所述的方法,其特征在于,还包括:
所述第二线程接收视频监控设备发送的视频数据;
将接收到的所述视频数据备份存储,并根据发送所述视频数据的视频监控设备的设备编号及视频数据的存储时间建立所述视频数据的视频索引,并将所述视频索引与所述存储的视频数据关联。
4.根据权利要求1-3任一项所述的方法,其特征在于,在所述第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域内的每个视频纹理的相关数据之前,还包括:
所述第三线程接收用户操作指令,并根据所述用户操作指令进行相应的操作响应。
5.一种监控视频的显示装置,其特征在于,应用于多线程机制,包括:
处理单元,用于第一线程从第二线程存储的视频数据中读取待显示视频数据;根据所述待显示视频数据,生成视频纹理;
所述处理单元,用于所述第一线程在三维场景中任意调整视角,确定视点的位置;对每个视频纹理进行可见性判断;其中,对任一个视频纹理进行可见性判断包括:在三维场景中,确定与直连线相交的物体模型及相交点,计算各个所述相交点与所述视点间的距离;在各个所述相交点与所述视点间的距离中,将最小值确定为当前视频纹理对应的深度值;其中,所述直连线是视频纹理的中心位置与视点间形成的直线;根据所有视频纹理对应的深度值,生成三维场景的深度图;计算每个所述视频纹理的中心位置与所述视点间的距离,作为参考深度值;根据每个所述视频纹理的参考深度值及所述深度图内对应的深度值,确定出可见视频纹理,并映射至视频纹理的映射区域;所述视频纹理的映射区域是可见视频纹理的渲染显示时的位置;
显示单元,用于在监控视频进行三维显示时,第三线程根据所述视频纹理的映射区域,加载所述视频纹理的映射区域对应的每个可见视频纹理的相关数据,并根据加载的相关数据进行场景的数据渲染及视频显示。
6.根据权利要求5所述的装置,其特征在于,
所述显示单元,具体用于第三线程对视频纹理的映射区域对应的每个可见视频纹理进行细节层次LOD可见性判断,根据判断结果加载所述每个可见视频纹理对应的相关数据。
7.根据权利要求5-6任一项所述的装置,其特征在于,还包括:
接收单元,用于所述第二线程接收视频监控设备发送的视频数据;
存储单元,用于所述第二线程将接收到的所述视频数据备份存储,并根据发送所述视频数据的视频监控设备的设备编号及视频数据的存储时间建立所述视频数据的视频索引,并将所述视频索引与所述存储的视频数据关联;
所述接收单元,还用于所述第三线程接收用户操作指令;
所述处理单元,还用于所述第三线程根据所述用户操作指令进行相应的操作响应。
8.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-4中任一项所述方法的步骤。
CN201911096835.0A 2019-11-11 2019-11-11 一种监控视频的显示方法、装置及电子设备 Active CN110784704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911096835.0A CN110784704B (zh) 2019-11-11 2019-11-11 一种监控视频的显示方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911096835.0A CN110784704B (zh) 2019-11-11 2019-11-11 一种监控视频的显示方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110784704A CN110784704A (zh) 2020-02-11
CN110784704B true CN110784704B (zh) 2021-08-13

Family

ID=69391695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911096835.0A Active CN110784704B (zh) 2019-11-11 2019-11-11 一种监控视频的显示方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110784704B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055789B (zh) * 2023-03-24 2023-08-11 杭州星犀科技有限公司 基于安卓***的直播画面放大方法、***、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949272A (zh) * 2006-11-23 2007-04-18 北京航空航天大学 基于视域剔除和图像缓存技术的复杂场景快速绘制方法
JP4857376B2 (ja) * 2009-12-09 2012-01-18 東芝電波プロダクツ株式会社 レーダビデオ表示装置
CN103927781A (zh) * 2014-05-06 2014-07-16 苏州中科图新网络科技有限公司 一种三维场景下视觉相关的模型渐进渲染方法
CN104102488A (zh) * 2014-07-18 2014-10-15 无锡梵天信息技术股份有限公司 一种基于多线程并行化的3d引擎***
CN108573521A (zh) * 2018-04-12 2018-09-25 东南大学 基于cuda并行计算框架的实时交互式裸眼3d显示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140015832A1 (en) * 2011-08-22 2014-01-16 Dmitry Kozko System and method for implementation of three dimensional (3D) technologies
JP2017532847A (ja) * 2014-09-09 2017-11-02 ノキア テクノロジーズ オーユー 立体録画及び再生

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949272A (zh) * 2006-11-23 2007-04-18 北京航空航天大学 基于视域剔除和图像缓存技术的复杂场景快速绘制方法
JP4857376B2 (ja) * 2009-12-09 2012-01-18 東芝電波プロダクツ株式会社 レーダビデオ表示装置
CN103927781A (zh) * 2014-05-06 2014-07-16 苏州中科图新网络科技有限公司 一种三维场景下视觉相关的模型渐进渲染方法
CN104102488A (zh) * 2014-07-18 2014-10-15 无锡梵天信息技术股份有限公司 一种基于多线程并行化的3d引擎***
CN108573521A (zh) * 2018-04-12 2018-09-25 东南大学 基于cuda并行计算框架的实时交互式裸眼3d显示方法

Also Published As

Publication number Publication date
CN110784704A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
WO2018113639A1 (zh) 用户终端之间的互动方法、终端、服务器、***及存储介质
US20180261012A1 (en) Remote Object Detection and Local Tracking using Visual Odometry
US10726625B2 (en) Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US20150187137A1 (en) Physical object discovery
US20150185825A1 (en) Assigning a virtual user interface to a physical object
KR101732839B1 (ko) 컨텐츠 전달의 세그먼테이션
WO2017092334A1 (zh) 一种图像渲染处理的方法及装置
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
WO2017092332A1 (zh) 一种渲染图像的处理方法及装置
AU2016210884A1 (en) Method and system for providing virtual display of a physical environment
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
US20140181630A1 (en) Method and apparatus for adding annotations to an image
JP2008502206A (ja) デュアル・カメラ入力を用いたセンサ
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
KR20200085697A (ko) 정보 처리장치, 제어 방법, 및 프로그램
WO2018086532A1 (zh) 一种监控视频的显示控制方法及装置
US11562545B2 (en) Method and device for providing augmented reality, and computer program
US20210248810A1 (en) VR Video Processing Method and Related Apparatus
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
CN110784704B (zh) 一种监控视频的显示方法、装置及电子设备
CN115643445A (zh) 交互处理方法、装置、电子设备及存储介质
US11471773B2 (en) Occlusion in mobile client rendered augmented reality environments
CN116917844A (zh) 跨应用虚拟现实场合中的可调整个人用户界面
CN109472873B (zh) 三维模型的生成方法、装置、硬件装置
US20160091966A1 (en) Stereoscopic tracking status indicating method and display apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant