CN113810725A - 视频处理方法、装置、存储介质及视频通讯终端 - Google Patents

视频处理方法、装置、存储介质及视频通讯终端 Download PDF

Info

Publication number
CN113810725A
CN113810725A CN202111187261.5A CN202111187261A CN113810725A CN 113810725 A CN113810725 A CN 113810725A CN 202111187261 A CN202111187261 A CN 202111187261A CN 113810725 A CN113810725 A CN 113810725A
Authority
CN
China
Prior art keywords
video
target object
frame rate
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111187261.5A
Other languages
English (en)
Inventor
周建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huasheng Software Technology Co ltd
TCL Commercial Information Technology Huizhou Co Ltd
Original Assignee
Shenzhen Huasheng Software Technology Co ltd
TCL Commercial Information Technology Huizhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huasheng Software Technology Co ltd, TCL Commercial Information Technology Huizhou Co Ltd filed Critical Shenzhen Huasheng Software Technology Co ltd
Priority to CN202111187261.5A priority Critical patent/CN113810725A/zh
Publication of CN113810725A publication Critical patent/CN113810725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种视频处理方法、装置、存储介质及视频通讯终端,包括:获取拍摄场景中目标对象区域的第一视频;获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;将第一视频和第二视频发送至接收终端。通过得到视频帧率低于第一视频的第二视频,从而降低了视频整体的数据量,提高了传输效率,保证了接收终端接收第一视频和第二视频的进度,并不会造成第一视频和第二视频在接收终端上播放卡顿的情况,从而提高了视频显示效果。

Description

视频处理方法、装置、存储介质及视频通讯终端
技术领域
本申请涉及视频通讯技术领域,具体涉及一种视频处理方法、装置、存储介质及视频通讯终端。
背景技术
针对视频会议的需求,需要使用如会议机等终端设备,在发送终端进行视频采集和传输,在接收终端接收传输的视频并显示,进而实现两个终端之间的视频通讯。
其中,发送终端采集的视频的分辨率过高或过低,均会影响视频在接收终端的显示效果,比如,接收终端显示的视频图像模糊、出现噪点或马赛克,或者,存在显示卡顿现象。
发明内容
本申请实施例提供一种视频处理方法、装置、存储介质及视频通讯终端,能够提高视频显示效果。
第一方面,本申请实施例提供一种视频处理方法,包括:
获取拍摄场景中目标对象区域的第一视频;
获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;
将第一视频和第二视频发送至接收终端。
第二方面,本申请实施例还提供一种视频处理装置,包括:
第一视频处理模块,用于获取拍摄场景中目标对象区域的第一视频;
第二视频处理模块,用于获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;
视频发送模块,用于将第一视频和第二视频发送至接收终端。
第三方面,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行如本申请任一实施例提供的视频处理方法。
第四方面,本申请实施例还提供一种视频通讯终端,包括处理器和存储器,存储器有计算机程序,处理器通过调用计算机程序,用于执行如本申请任一实施例提供的视频处理方法。
本申请实施例提供的技术方案,通过在发送终端获取拍摄场景中的目标对象区域的第一视频,以及获取拍摄场景中的非目标对象区域的第二视频,进而将同一拍摄场景中的目标对象区域和非目标对象区域进行分离,并得到目标对象区域的第一视频,以及非目标对象区域的第二视频,其中,第一视频的视频帧率大于第二视频的视频帧率。相比于现有技术中不区分目标对象区域和非目标对象区域,且通过传输一个视频至接收终端而言,现有技术的处理方式由于视频数据量过大,则势必造成视频卡顿,进而影响视频在接收终端上的显示效果。而本申请实施例中由于第一视频的视频帧率较高,第二视频的视频帧率较低,则会降低视频整体的数据量,进而提高第一视频和第二视频的传输效率,以此能够保证将第一视频发送至接收终端后,在接收终端上的第一视频和第二视频能够流畅显示,提高视频的显示效果。再者,第一视频和第二视频可分别传输,也能够降低传输压力,提高视频传输效率,进而保证了传输过程的流畅性,在接收终端接收到第一视频和第二视频之后,能够流畅显示,保证视频的显示效果。基于此,本申请实施例提供的方式在视频显示时,也并不会造成视频播放卡顿,且目标对象区域的显示效果清晰,也并不会出现马赛克或噪点现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的发送终端执行视频处理方法的流程示意图。
图2为本申请实施例提供的接收终端执行视频处理方法的流程示意图。
图3为本申请实施例提供的视频处理装置的结构示意图。
图4为本申请实施例提供的视频通讯终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种视频处理方法,该视频处理方法的执行主体可以是本申请实施例提供的视频处理装置,或者集成了该视频处理装置的视频通讯终端。其中,该视频处理装置可以采用硬件或者软件的方式实现,视频通讯终端可以是智能手机、平板电脑、掌上电脑、会议机等支持视频通话的终端设备。
请参阅图1,图1为本申请实施例提供的发送终端执行视频处理方法的流程示意图。本申请实施例提供的视频处理方法的具体流程可以如下:
101、获取拍摄场景中目标对象区域的第一视频。
示例性地,发送终端获取拍摄场景中目标对象区域的第一视频。其中,可通过发送终端上配置的摄像头拍摄目标对象区域的第一视频,也可通过外置摄像头拍摄到目标对象区域的第一视频后,将第一视频发送给发送终端。可以理解地,此处并不限定获取第一视频的方式,只要能够获取到第一视频即可。
其中,目标对象区域指的是目标对象所在区域,当目标对象移动时,目标对象区域相应发生变化。其中,目标对象可为人物或移动的物品等,只要设定目标对象的某种属性,则可根据属性特征区分目标对象,以实现获取目标对象的第一视频,基于此,凡是能够实现获取目标对象区域的第一视频的方式均可用于本实施例中。
102、获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率。
其中,在同一个拍摄场景中,当定位到目标对象区域之后,除目标对象区域以外的区域则为非目标对象区域,而非目标对象区域随目标对象区域的变动而变化。
示例性地,获取第二视频的方式可通过发送终端配置的摄像头拍摄非目标对象区域得到,也可通过外置的其它摄像头拍摄非目标对象区域得到。
而第一视频和第二视频可通过同一个摄像头拍摄得到,也可通过不同的摄像头拍摄得到,此处并不进行限定,只要能够实现获取到两个视频,其中一个视频为第一视频,另一个视频为第二视频即可。
其中,第一视频的视频帧率大于第二视频的视频帧率,由于目标对象为需要关注的对象,因此,只要保证第一视频具有较高的视频帧率,即可达到所需要的显示效果,而第二视频的视频帧率只要低于第一视频的视频帧率即可,其中,也可将第二视频的视频帧率设置为最低值,在后续获取第一视频时,所获取的第一视频的视频帧率必然大于第二视频的视频帧率,以此实现降低第一视频和第二视频整体的数据量,进而保证传输效率。可以理解地,第一视频和第二视频的视频帧率的具体设置方式此处并不进行限定,只要能够实现获取到第一视频的视频帧率大于第二视频的视频帧率的方式即为本申请所要求的保护范围。
通过得到具有较高视频帧率的第一视频,以及得到具有较低视频帧率的第二视频,由于第一视频的视频帧率较高,第二视频的视频帧率较低,则会降低视频整体的数据量,进而提高第一视频和第二视频的传输效率,以此能够保证将第一视频发送至接收终端后,在接收终端上的第一视频和第二视频能够流畅显示,保证视频的显示效果,也并不会造成视频播放卡顿,且目标对象区域的显示效果清晰,也并不会出现马赛克或噪点现象。
103、将第一视频和第二视频发送至接收终端。
其中,可将第一视频和第二视频作为两个视频流分别发送至接收终端,也可将第一视频和第二视频合成一个视频流发送至接收终端,由数据终端对视频流进行解析,而具体的发送方式此处并不进行限定,只要能够将第一视频和第二视频发送至接收终端即可。
示例性地,还可通过对第一视频和第二视频进行压缩之后再发送至接收终端,进而减小了视频的传输量,提高了传输效率,相应地,也保证了视频在接收终端的显示效果。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
通过本申请实施中的发送终端获取到高帧率的第一视频和低帧率的第二视频,并将第一视频和第二视频发送至接收终端,在视频传输过程中,因第二视频的视频帧率较小,相比于现有技术中具有一个视频帧率的一个视频而言,本申请实施例的方案能够减小第二视频在传输过程中的数据量,从而减小第一视频和第二视频整体的数据量,进而提高第一视频和第二视频的传输效率,当接收终端接收到第一视频和第二视频后,则能够流畅播放第一视频和第二视频。同时,由于第一视频的视频帧率较高,并不影响第一视频的播放,且第一视频对应显示的是目标对象,能够保证目标对象在接收终端上的显示效果,因此,从整体显示效果而言,本申请方案既能够达到保证在接收终端播放视频不卡顿,也能够保证目标对象具有足够的清晰度,使得目标对象的显示效果提升。
可以理解地,当本申请实施例中的第一视频和第二视频均为高清视频时,通过本申请实施例的方案,同样能够降低第一视频和第二视频传输过程中的数据量,进而保证接收终端接收到第一视频和第二视频时并不会存在播放卡顿现象,进而保证第一视频和第二视频的播放流畅度,再者,第一视频记录的是目标对象的视频,通过在接收终端对第一视频进行流畅播放,也能够保证第一视频显示的清晰度,以及提高播放流畅度,进而提高整体的视频显示效果。
基于此,本申请实施例提供的方案不仅能够保证视频在接收终端的播放流畅度,也能够保证在接收终端显示的清晰度,从而解决了现有技术中播放高清视频存在视频卡顿,而播放非高清视频存在视频模糊等现象,能够实现同时保证高清显示和播放流畅度,极大地提高了视频显示效果,更加利于在视频通讯领域应用和普及。
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
上述获取拍摄场景中目标对象区域的第一视频,以及获取拍摄场景中非目标对象区域的第二视频的方式有多种:
比如,可通过直接对摄像头的拍摄帧率进行设置,进而拍摄得到具有高视频帧率的第一视频,以及拍摄得到具有低视频帧率的第二视频。
再比如,也可无需预先对摄像头的拍摄帧率进行设置,只要在拍摄得到第一视频和第二视频之后,通过对第一视频的视频帧率进行高帧率编码处理,对第二视频的视频帧率进行低帧率编码处理即可,进而实现第一视频的视频帧率大于第二视频的视频帧率。
可以理解地,在设置第一视频的视频帧率以及设置第二视频的视频帧率可通过设置摄像头的拍摄帧率实现,也可在拍摄后进行帧率编码处理实现,也可结合设置摄像头和帧率编码的方式实现,而具体的实现方式此处并不进行限定,只要能够实现第一视频相对于第二视频具有较高视频帧率即可。
需要说明的是,本申请实施例中的具有较高视频帧率的第一视频、具有较低视频帧率的第二视频、第一视频的视频帧率高于/大于第二视频的视频帧率,以及高帧率编码和低帧率编码,其中关于高和低的描述仅是相对意义上的表述,仅指视频帧率的数值上的相对大小。
对于获取第一视频和第二视频的方式,在以下实施例中,将以其中的两种方式进行举例描述,可以理解地,对于此两种获取第一视频和第二视频的方式并不应理解为对本申请的限定。
在一实施例中,可通过对摄像头进行设置,进而获取到第一视频和第二视频,其中,步骤101包括:
基于第一预设帧率,对拍摄场景中的目标对象区域进行拍摄,得到第一视频;
步骤102包括:
基于第二预设帧率,对拍摄场景中的非目标对象区域进行拍摄,得到第二视频,其中,第一预设帧率大于第二预设帧率。
示例性地,可通过一个摄像头对目标对象区域和非目标对象区域进行先后拍摄,也可通过两个摄像头分别拍摄目标对象区域和非目标对象区域。
其中,当通过一个摄像头拍摄时,可先将摄像头的拍摄帧率设置成第一预设帧率,当拍摄得到目标对象的第一视频之后,再将摄像头的拍摄帧率设置成第二预设帧率,通过拍摄得到非目标对象的第二视频。基于此种方式进行拍摄,能够减小摄像头的设置,且能够区分目标对象和非目标对象的具***置。
当然地,也可通过两个摄像头分别拍摄,其中,可将一个摄像头的拍摄帧率设置成第一预设帧率,进而得到具有第一预设帧率的第一视频,而将另一个摄像头的拍摄帧率设置成第二预设帧率,进而得到具有第二预设帧率的第二视频。
在一些实施例中,还可采用AI摄像头自动捕捉并追踪人脸图像,进而区分拍摄场景中的目标对象区域和非目标对象区域。
可以理解地,此处并不限定第一预设帧率和第二预设帧率的具体数值,其数值可由本领域技术人员根据实际需求设定。
在本实施例中,通过对摄像头的拍摄帧率进行设置,能够实现直接获取到具有第一预设帧率的第一视频,以及具有第二预设帧率的第二视频,且第一预设帧率大于第二预设帧率,避免了后续需要对视频帧率进行处理,提高了视频处理效率。
在另一实施例中,还可通过对获取到第一视频和第二视频分别进行视频编码处理,使得第一视频的视频帧率为第一预设帧率,而第二视频的视频帧率为第二预设帧率。
其中,步骤101包括:
对拍摄场景进行拍摄,得到拍摄场景的场景图像;
按照第一预设帧率,对目标对象区域在场景图像中的图像内容进行视频编码,得到第一视频。
步骤102包括:
按照第二预设帧率,对非目标对象区域在场景图像中的内容进行视频编码,得到第二视频,第一预设帧率大于第二预设帧率。
其中,通过同一个的帧率拍摄场景图像,在进行帧率处理时,可通过从场景图像中分割目标对象区域和非目标对象区域,进而得到目标对象区域的视频和非目标对象区域的视频,并按照第一预设帧率对目标对象区域的视频进行视频编码处理,得到第一视频,按照第二预设帧率对非目标对象区域的视频进行视频编码处理,得到第二视频,且第一预设帧率大于第二预设帧率,从而实现第一视频的视频帧率大于第二预设的视频帧率。
示例性地,目标对象区域和非目标对象区域的分割,可采用图像分割模型得到,也可通过对图像进行特征识别,进而提取出目标对象所在区域的图像内容,由于进行分割的方式有多种,此处不再进行列举,可以理解地,只要能够得到目标对象区域的第一视频的方式,以及得到非目标对象区域的第二视频的方式,均可用于本实施例中。
本实施例通过对目标对象区域的图像内容以第一预设帧率进行视频编码,得到第一视频,以及通过对非目标对象区域的图像内容以第二预设帧率进行视频编码,得到第二视频,进而实现可自由调整第一视频和/或第二视频的视频帧率,实现对视频帧率的实时调整,以更符合数据传输需求,进而解决摄像头仅能设置有限数量的拍摄帧率的局限。
基于此,本实施例中的第一预设帧率和第二预设帧率也可并不为固定数值,可根据实际需求而自动调整,或者由用户设置调整,当自动调整时,其调整依据可为网络传输量或者内存占用量,而具体的实现方式此处并不详述,只要能够实现对第一预设帧率和/或第二预设帧率进行自适应调整即可。
在一些实施例中,对拍摄场景进行拍摄,得到拍摄场景的场景图像之后,还包括:
对非目标对象区域在场景图像中的图像内容进行虚化处理,得到虚化后的场景图像;
按照第一预设帧率,对虚化后的场景图像进行视频编码,得到第一视频。
示例性地,当拍摄得到场景图像之后,还可对非目标对象区域所在场景图像中的图像内容进行虚化处理,使得非目标对象的图像显示模糊,进而与目标对象形成对比反差,以突显目标对象的显示效果,使得目标对象在视觉上显示更加清晰。
在本实施例中,并不需要对非目标对象区域的图像按照第二预设帧率进行编码,其中,通过对非目标对象区域的图像内容进行虚化处理,能够改变图像的每个像素点的位深,从而减小了非目标对象区域的图像的数据量,也能够提高传输效率,进而提高目标对象在接收终端的显示效果。
对于将第一视频和第二视频发送至接收终端进行播放,其中,可先在发送终端对第一视频和第二视频进行处理后再发送至接收终端以直接播放显示,还可先发送至接收终端之后,在接收终端上对第一视频和第二视频进行处理后播放。因此,对于第一视频和第二视频的处理,此处并不限定是基于发送终端还是基于接收终端的。
而对于第一视频和第二视频的处理,也存在多种方式:
比如,可通过对第二视频进行插帧处理,进而得到和第一视频同样的视频帧率,之后对每帧第一视频和第二视频进行拼接,得到拼接后的图像并逐帧播放。
再比如,可同时播放第一视频和第二视频,而将第一视频叠加在第二视频上播放,只要不影响第一视频的显示即可。
再比如,可通过对第二视频进行抽帧处理,进而将第二视频中和第一视频的图像帧的时间戳一致的图像帧抽取出来,形成第三视频。
在以下的实施例中,仅以插帧和抽帧两种方式进行举例说明,但需说明的是,此两种举例说明并不应理解为对本申请的限制。
在一实施例中,以抽帧方式对第二视频进行处理,步骤103包括:
根据第一视频和第二视频中图像帧的时间戳,从第二视频中抽取出与第一视频匹配的图像帧,得到第三视频;
将第一视频和第三视频发送至接收终端。
示例性地,可将第二视频中图像帧与第一视频中图像帧的时间戳一样的抽取出,进而将抽取出的图像帧作为第三视频,其中,第三视频中的每个图像帧均在第一视频中存在匹配的图像帧。
其中,与基于时间戳的一致性,指的是从第二视频的图像帧中筛选出与第一视频的图像帧在时间上同步的,也即时间重合的图像帧,而对于时间不重合的图像帧可直接丢弃,从而实现对第二视频的抽帧处理。
当得到第三视频之后,第三视频中的每个图像帧在第一视频中均具有在时间戳上匹配的图像帧,此种方式能够较小第二视频中的图像帧,从而得到的第三视频的数据量更小,极大地提高了第一视频和第三视频的传输效率。
在另一实施例中,以插帧方式对第二视频进行处理,步骤103包括:
根据第一预设帧率,对第二视频的图像帧进行复制,并逐帧***第二视频中,得到第三视频;
将第一视频和第三视频发送至接收终端。
示例性地,可通过计算第一预设帧率和第二预设帧率的差值,进而得到对第二视频的图像帧的复制率,通过对第二视频的图像帧进行复制之后,再***时间上相邻的两个图像帧之间,进而实现对第二视频进行插帧处理,提高第二视频的视频帧率,得到第三视频,其中,第三视频的视频帧率和第一视频的视频帧率相同。
此种插帧方式能够实现第一视频和第三视频的同步播放,减小了对第一视频和第三视频的处理过程。可实现对第一视频和第三视频的简单叠加能够还原拍摄场景的视频,以及还原拍摄场景的视频显示效果。
在一些实施例中,拍摄场景为会议场景,目标对象区域为会议场景中的发言人所在区域,而非目标对象区域为除发言人以外的区域,其中,非目标对象区域可为会议背景;
获取拍摄场景中目标对象区域的第一视频,包括:
对会议场景进行拍摄,得到会议场景的会议图像;
获取发言人的第一视频;
获取拍摄场景中非目标对象区域的第二视频,包括:
根据会议图像从预设会议数据库中匹配得到第二视频。
示例性地,可仅对会议场景中的发言人进行拍摄,以及进行视频编码处理,进而得到第一视频。而对于非目标对象区域的第二视频,可以通过匹配历史数据得到。
其中,预设会议数据库中存有不同的会议场景的视频,经过上述实施例的处理方式之后,得到的第二视频均可存储在预设会议数据库中,当需要使用第二视频作为背景时,可直接从预设会议数据库中匹配与会议图像对应的视频即可,当未匹配到时,可通过拍摄得到第二视频。
可以理解地,目标对象可为会议发言人,也可为会议中移动的物品,由于除目标对象外的图像均可称为会议背景,而会议背景为静态的,因此,可仅捕捉会议发言人的第一视频即可,对于会议背景也可不拍摄视频,只要能够保证拍摄到第一视频,并将第一视频发送至接收终端即可。
再者,由于会议背景为静止的,对会议背景的第二视频进行降低帧率处理,在进行播放时,第二视频的变动也不大,并不会影响显示效果。当然地,也可设置纯色背景图片,以替代第二视频,从而极大地减小视频数据量,且提高视频显示效果。
本申请实施例通过对会议场景进行拍摄,进而能够根据拍摄的会议图像匹配会议背景,其中,会议背景可为视频,也可为图片,此种方式避免了需要对会议背景进行拍摄,或者对会议图像进行处理得到会议背景的视频,进而省去了获取第二视频的流程,极大地提高了视频处理效率,于接收终端而言,能够极大地提高视频显示效果。
由上可知,本申请实施例的接收终端也可作为发送终端以实现上述的视频处理方法,当作为接收终端接收从发送终端发送的视频时,可通过对接收的两个视频进行处理后播放,也可直接播放处理好的两个视频。在以下实施例中,以对接收的两个视频进行处理后播放的方式进行详细说明。
如图2所示,图2为本申请实施例提供的接收终端执行视频处理方法的流程示意图,在该实施例中,上述步骤103之后,还包括:
201、接收第四视频和第五视频,第四视频的视频帧率大于第五视频的视频帧率;
202、将第五视频中的图像帧按照时间戳,拼接至第四视频的图像帧中,得到拼接后的第六视频;
203、播放第六视频。
其中,若第五视频为在发送终端进行抽帧处理后的视频,则第五视频的每个图像帧在第四视频中均有匹配的图像帧,可直接根据时间戳对第五视频和第四视频的图像帧进行拼接即可,需要说明的是,此处的拼接指的是对于第四视频中目标对象区域和第五视频中非目标对象区域的对齐处理,使得拼接后的第六视频在视觉效果上能够达到还原拍摄场景的图像的效果。
若第五视频在发送终端并未经过抽帧处理,也可直接对第四视频和第五视频进行不同混合播放,只需目标对象区域和非目标对象区域在图像帧中对齐即可。
当然地,也可在接收终端对第五视频进行插帧处理,插帧处理的方式可参照上述实施例提及的内容,此处不再赘述,通过对第五视频进行插帧处理,且处理成与第四视频具有同样视频帧率的视频,即可对两个视频进行拼接,得到第六视频,实现同步播放的效果。
其中,对第五视频和第四视频的处理还可通过神经网络修复模型进行处理,通过将第五视频和第四视频输入神经网络修复模型,即可得到修复后的第六视频。其中,神经网络修复模型可通过样本集训练得到。
由上可知,本发明实施例提出的视频处理方法,当作为发送终端时,可通过得到具有较高视频帧率的第一视频,以及得到具有较低视频帧率的第二视频,由于第一视频的视频帧率较高,第二视频的视频帧率较低,则会降低视频整体的数据量,进而提高第一视频和第二视频的传输效率,以此能够保证将第一视频发送至接收终端后,在接收终端上的第一视频和第二视频能够流畅显示,保证视频的显示效果,也并不会造成视频播放卡顿,且目标对象区域的显示效果清晰,也并不会出现马赛克或噪点现象。再者,还通过对第二视频进行抽帧处理,也能够极大地减小数据量,提高传输效率,以及通过将视频分成第一视频和第二视频分别传输,也缓解传输压力,提高传输效率,基于此,本申请实施例的方案通过提高传输效率,进而保证视频在接收终端的显示效果,再者,对于高清视频而言,本方案同样适用,以此解决了现有技术中视频显示效果差的问题。
在一实施例中还提供一种视频处理装置。请参阅图3,图3为本申请实施例提供的视频处理装置300的结构示意图。其中该视频处理装置300应用于视频通讯终端,该视频处理装置300包括第一视频处理模块301、第二视频处理模块302、视频发送模块303,如下:
第一视频处理模块301,用于获取拍摄场景中目标对象区域的第一视频;
第二视频处理模块302,用于获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;
视频发送模块303,用于将第一视频和第二视频发送至接收终端。
在一些实施例中,第一视频处理模块301还用于:
根据第一视频和第二视频中图像帧的时间戳,从第二视频中抽取出与第一视频匹配的图像帧,得到第三视频;
将第一视频和第三视频发送至接收终端。在一些实施例中,第一视频处理模块301还用于:
对拍摄场景进行拍摄,得到拍摄场景的场景图像;
按照第一预设帧率,对目标对象区域在场景图像中的图像内容进行视频编码,得到第一视频。
在一些实施例中,第一视频处理模块301还用于:
对非目标对象区域在场景图像中的图像内容进行虚化处理,得到虚化后的场景图像;
按照第一预设帧率,对虚化后的场景图像进行视频编码,得到第一视频。
在一些实施例中,第二视频处理模块302还用于:
按照第二预设帧率,对非目标对象区域在场景图像中的内容进行视频编码,得到第二视频,第一预设帧率大于第二预设帧率。
在一些实施例中,视频发送模块303还用于:
根据第一视频和第二视频中图像帧的时间戳,从第二视频中抽取出与第一视频匹配的图像帧,得到第三视频;
将第一视频和第三视频发送至接收终端。
在一些实施例中,拍摄场景为会议场景,目标对象区域为会议场景中的发言人所在区域:
第一视频处理模块301还用于:
对会议场景进行拍摄,得到会议场景的会议图像;
获取发言人的第一视频;
第二视频处理模块302还用于:
根据会议图像从预设会议数据库中匹配得到第二视频。
在一些实施例中,视频处理装置还包括:
视频接收模块304,用于接收第四视频和第五视频,第四视频的视频帧率大于第五视频的视频帧率;
将第五视频中的图像帧按照时间戳,拼接至第四视频的图像帧中,得到拼接后的第六视频;
播放第六视频。
应当说明的是,本申请实施例提供的视频处理装置300与上文实施例中的视频处理方法属于同一构思,通过该视频处理装置300可以实现视频处理方法实施例中提供的任一方法,其具体实现过程详见视频处理方法实施例,此处不再赘述。
由上可知,本申请实施例提出的视频处理装置,当作为发送终端时,可通过得到具有较高视频帧率的第一视频,以及得到具有较低视频帧率的第二视频,由于第一视频的视频帧率较高,第二视频的视频帧率较低,则会降低视频整体的数据量,进而提高第一视频和第二视频的传输效率,以此能够保证将第一视频发送至接收终端后,在接收终端上的第一视频和第二视频能够流畅显示,保证视频的显示效果,也并不会造成视频播放卡顿,且目标对象区域的显示效果清晰,也并不会出现马赛克或噪点现象。再者,还通过对第二视频进行抽帧处理,也能够极大地减小数据量,提高传输效率,以及通过将视频分成第一视频和第二视频分别传输,也缓解传输压力,提高传输效率,基于此,本申请实施例的方案通过提高传输效率,进而保证视频在接收终端的显示效果,再者,对于高清视频而言,本方案同样适用,以此解决了现有技术中视频显示效果差的问题。
本申请实施例还提供一种视频通讯终端,该视频通讯终端可以是智能手机、平板电脑、掌上电脑、会议机等支持视频通话的终端设备。如图4所示,图4为本申请实施例提供的视频通讯终端的结构示意图。该视频通讯终端400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中,处理器401与存储器402电性连接。本领域技术人员可以理解,图中示出的视频通讯终端结构并不构成对视频通讯终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器401是视频通讯终端400的控制中心,利用各种接口和线路连接整个视频通讯终端400的各个部分,通过运行或加载存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行视频通讯终端400的各种功能和处理数据,从而对视频通讯终端400进行整体监控。
在本申请实施例中,视频通讯终端400中的处理器401会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能:
获取拍摄场景中目标对象区域的第一视频;
获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;
将第一视频和第二视频发送至接收终端。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
由上可知,本实施例提供的视频通讯终端,当作为发送终端时,可通过得到具有较高视频帧率的第一视频,以及得到具有较低视频帧率的第二视频,由于第一视频的视频帧率较高,第二视频的视频帧率较低,则会降低视频整体的数据量,进而提高第一视频和第二视频的传输效率,以此能够保证将第一视频发送至接收终端后,在接收终端上的第一视频和第二视频能够流畅显示,保证视频的显示效果,也并不会造成视频播放卡顿,且目标对象区域的显示效果清晰,也并不会出现马赛克或噪点现象。再者,还通过对第二视频进行抽帧处理,也能够极大地减小数据量,提高传输效率,以及通过将视频分成第一视频和第二视频分别传输,也缓解传输压力,提高传输效率,基于此,本申请实施例的方案通过提高传输效率,进而保证视频在接收终端的显示效果,再者,对于高清视频而言,本方案同样适用,以此解决了现有技术中视频显示效果差的问题。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括如下步骤:
获取拍摄场景中目标对象区域的第一视频;
获取拍摄场景中非目标对象区域的第二视频,第一视频的视频帧率大于第二视频的视频帧率;
将第一视频和第二视频发送至接收终端。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
上述的存储介质可以为ROM/RAM、磁碟、光盘等。由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种视频处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种视频处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种视频处理方法、装置、介质及视频通讯终端进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种视频处理方法,其特征在于,包括:
获取拍摄场景中目标对象区域的第一视频;
获取所述拍摄场景中非目标对象区域的第二视频,所述第一视频的视频帧率大于所述第二视频的视频帧率;
将所述第一视频和所述第二视频发送至接收终端。
2.如权利要求1所述的视频处理方法,其特征在于,所述将所述第一视频和所述第二视频发送至接收终端,包括:
根据所述第一视频和所述第二视频中图像帧的时间戳,从所述第二视频中抽取出与所述第一视频匹配的图像帧,得到第三视频;
将所述第一视频和所述第三视频发送至所述接收终端。
3.如权利要求1所述的视频处理方法,其特征在于,所述获取拍摄场景中目标对象区域的第一视频,包括:
对所述拍摄场景进行拍摄,得到所述拍摄场景的场景图像;
按照第一预设帧率,对所述目标对象区域在所述场景图像中的图像内容进行视频编码,得到所述第一视频。
4.如权利要求3所述的视频处理方法,其特征在于,所述对所述拍摄场景进行拍摄,得到所述拍摄场景的场景图像之后,还包括:
对所述非目标对象区域在所述场景图像中的图像内容进行虚化处理,得到虚化后的场景图像;
按照所述第一预设帧率,对所述虚化后的场景图像进行视频编码,得到所述第一视频。
5.如权利要求3所述的视频处理方法,其特征在于,所述获取所述拍摄场景中非目标对象区域的第二视频,包括:
按照第二预设帧率,对所述非目标对象区域在所述场景图像中的内容进行视频编码,得到所述第二视频,所述第一预设帧率大于所述第二预设帧率。
6.如权利要求1-5任一项所述的视频处理方法,其特征在于,所述拍摄场景为会议场景,所述目标对象区域为所述会议场景中的发言人所在区域;
所述获取拍摄场景中目标对象区域的第一视频,包括:
对所述会议场景进行拍摄,得到所述会议场景的会议图像;
获取所述发言人的第一视频;
所述获取所述拍摄场景中非目标对象区域的第二视频,包括:
根据所述会议图像从预设会议数据库中匹配得到所述第二视频。
7.如权利要求1-5任一项所述的视频处理方法,其特征在于,所述方法还包括:
接收第四视频和第五视频,所述第四视频的视频帧率大于所述第五视频的视频帧率;
将所述第五视频中的图像帧按照时间戳,拼接至所述第四视频的图像帧中,得到拼接后的第六视频;
播放所述第六视频。
8.一种视频处理装置,其特征在于,包括:
第一视频处理模块,用于获取拍摄场景中目标对象区域的第一视频;
第二视频处理模块,用于获取所述拍摄场景中非目标对象区域的第二视频,所述第一视频的视频帧率大于所述第二视频的视频帧率;
视频发送模块,用于将所述第一视频和所述第二视频发送至接收终端。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的视频处理方法。
10.一种视频通讯终端,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的视频处理方法。
CN202111187261.5A 2021-10-12 2021-10-12 视频处理方法、装置、存储介质及视频通讯终端 Pending CN113810725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111187261.5A CN113810725A (zh) 2021-10-12 2021-10-12 视频处理方法、装置、存储介质及视频通讯终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111187261.5A CN113810725A (zh) 2021-10-12 2021-10-12 视频处理方法、装置、存储介质及视频通讯终端

Publications (1)

Publication Number Publication Date
CN113810725A true CN113810725A (zh) 2021-12-17

Family

ID=78897545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111187261.5A Pending CN113810725A (zh) 2021-10-12 2021-10-12 视频处理方法、装置、存储介质及视频通讯终端

Country Status (1)

Country Link
CN (1) CN113810725A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520873A (zh) * 2021-12-31 2022-05-20 广州文远知行科技有限公司 一种清扫车视频加速方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム
CN105635624A (zh) * 2014-10-27 2016-06-01 华为技术有限公司 视频图像的处理方法、设备及***
CN109068052A (zh) * 2018-07-24 2018-12-21 努比亚技术有限公司 视频拍摄方法、移动终端及计算机可读存储介质
JP2019036791A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
CN111405199A (zh) * 2020-03-27 2020-07-10 维沃移动通信(杭州)有限公司 一种图像拍摄方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム
CN105635624A (zh) * 2014-10-27 2016-06-01 华为技术有限公司 视频图像的处理方法、设备及***
JP2019036791A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
CN109068052A (zh) * 2018-07-24 2018-12-21 努比亚技术有限公司 视频拍摄方法、移动终端及计算机可读存储介质
CN111405199A (zh) * 2020-03-27 2020-07-10 维沃移动通信(杭州)有限公司 一种图像拍摄方法和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520873A (zh) * 2021-12-31 2022-05-20 广州文远知行科技有限公司 一种清扫车视频加速方法及***

Similar Documents

Publication Publication Date Title
US7242850B2 (en) Frame-interpolated variable-rate motion imaging system
CN111402399B (zh) 人脸驱动和直播方法、装置、电子设备及存储介质
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
US7852368B2 (en) Method and apparatus for composing images during video communications
US20160065862A1 (en) Image Enhancement Based on Combining Images from a Single Camera
WO2015024362A1 (zh) 一种图像处理方法及设备
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
CN112637517B (zh) 视频处理方法、装置、电子设备及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
KR20170106389A (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
JP2022003797A (ja) 静的な映像認識
CN111405339A (zh) 一种分屏显示方法、电子设备及存储介质
JP7218786B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113810725A (zh) 视频处理方法、装置、存储介质及视频通讯终端
Ekmekcioglu et al. Visual attention model aided non-uniform asymmetric coding of stereoscopic video
US20160142633A1 (en) Capture apparatuses of video images
CN115834795A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN116962743A (zh) 视频图像编码、抠图方法和装置及直播***
CN114640882A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN117478824B (zh) 会议视频生成方法、装置、电子设备及存储介质
CN113762156B (zh) 观影数据处理方法、装置及存储介质
CN112887655B (zh) 一种信息处理方法和信息处理装置
JP4506190B2 (ja) 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体
US20240155095A1 (en) Systems and methods for processing volumetric images
US20210134326A1 (en) Automatic slow motion video recording

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination