CN112055246B - 一种视频处理方法、装置、***及存储介质 - Google Patents
一种视频处理方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN112055246B CN112055246B CN202010953735.1A CN202010953735A CN112055246B CN 112055246 B CN112055246 B CN 112055246B CN 202010953735 A CN202010953735 A CN 202010953735A CN 112055246 B CN112055246 B CN 112055246B
- Authority
- CN
- China
- Prior art keywords
- video
- frame image
- processed
- display area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000004891 communication Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 6
- 238000011410 subtraction method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007655 standard test method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及一种视频处理方法、装置、***及存储介质。本方案通过将待处理帧图像划分为主视频显示区域和辅视频显示区域，并保留待处理帧图像的辅视频显示区域内与视频主体相关联的图像元素，得到目标帧图像，将待处理视频内未处理帧图像和目标帧图像进行组合，得到目标视频，由于目标帧图像的辅视频显示区域内只保留有与视频主体相关联的图像元素，所以在目标视频播放时，视频内的视频主体在辅视频显示区域内出现出屏效果，从而在观感上得到出屏显示的立体感，相比较于裸眼3D技术对视频处理过程的复杂和直接播放视频的局限性，本方案通过更小的成本给与了用户在观看视频时更多的视觉冲击力，从而提高视频网站的竞争力。
Description
技术领域
本发明涉及视频播放技术领域，尤其涉及一种视频处理方法、装置、***及存储介质。
背景技术
视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。
普通的视频在播放时，由于视频只能平面展示，所以用户在观看时只能通过视频的景深和图像的虚化来对视频中重点呈现的部分进行理解，不仅如此，平面展示的视频只能展示二维效果，存在很多局限性，而裸眼3D技术的发展，使得用户可以在平面视频中得到3D效果的观感，使得视频整体更加丰富，但是裸眼3D技术是针对视频的精细化处理，一小段视频的工作量就是十分庞大且复杂的，由于工程量大且工序复杂，导致呈现裸眼3D效果的视频的制作成本非常高，所以裸眼3D技术难以应用到每段视频的制作中。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种视频处理方法、装置、***及存储介质。
第一方面，本发明实施例提供了一种视频处理方法，所述处理方法包括：
在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域；
对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，所述图像元素均与所述待处理帧图像内的视频主体相关联；
根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
基于上述技术方案，本发明实施例还可以做出如下改进。
结合第一方面，在第一方面的第一种实施例中，所述处理方法还包括：
获取针对任一所述待处理帧图像中的对象添加的视频主体标记；
将所述待处理帧图像中添加视频主体标记的对象作为所述待处理帧图像的视频主体。
结合第一方面的第一种实施例，在第一方面的第二种实施例中，针对未添加视频主体标记的待处理帧图像，所述处理方法还包括：
将所述待处理帧图像中的对象与所述视频主体进行比对，得到相应的相似度值；
将所述相似度值大于预设相似度阈值的待处理帧图像的对象，作为所述待处理帧图像的视频主体。
结合第一方面，在第一方面的第三种实施例中，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
判断所述待处理帧图像的辅视频显示区域内是否存在与所述待处理帧图像的主视频显示区域内的视频主体相关联的图像元素；
若是，则在所述待处理帧图像的所述辅视频显示区域内只保留与所述视频主体相关联的图像元素，得到所述目标帧图像；
或者，若否，则隐藏所述待处理帧图像的辅视频显示区域。
结合第一方面，在第一方面的第四种实施例中，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
识别所述待处理帧图像中的视频主体；
在所述待处理帧图像的所述辅视频显示区域内只保留所述视频主体，作为所述目标帧图像。
结合第一方面，在第一方面的第五种实施例中，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
识别所述待处理帧图像中的视频背景；
将所述待处理帧图像中的辅视频显示区域内的视频背景的颜色设置为过滤颜色，作为所述目标帧图像；其中，过滤颜色的颜色值与所述待处理帧图像中任意像素的颜色值均不同。
结合第一方面或第一方面的第一、第二、第三、第四或第五种实施例，在第一方面的第六种实施例中，所述处理方法还包括：
获取用于播放所述目标视频的用户端的实时界面；
播放所述目标视频时，将所述实时界面与所述目标视频进行处理，使得所述实时界面作为所述目标视频的背景。
第二方面，本发明实施例提供了一种视频处理装置，所述播放装置包括：
第一处理单元，用于在待处理视频的至少一个待处理帧图像中确定主视频显示区域和辅视频显示区域；
第二处理单元，用于对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，所述图像元素与所述待处理帧图像内的视频主体相关联；
第三处理单元，用于根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
第三方面，本发明实施例提供了一种视频处理***，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面中任一实施例所述的视频处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一实施例所述的视频处理方法。
本发明的上述技术方案与现有技术相比具有如下优点：本方案通过对待处理视频的每一帧待处理帧图像进行处理，将待处理帧图像划分为主视频显示区域和辅视频显示区域，并保留待处理帧图像的辅视频显示区域内与视频主体相关联的图像元素，得到目标帧图像，将待处理视频内未处理帧图像和目标帧图像进行组合，得到目标视频，由于目标帧图像的辅视频显示区域内只保留有与视频主体相关联的图像元素，所以在目标视频播放时，视频内的视频主体在辅视频显示区域内出现出屏效果，从而在观感上得到出屏显示的立体感。
附图说明
图1是本发明实施例提供的一种视频处理方法流程示意图；
图2是本发明另一实施例提供的确定待播放视频中的视频主体的方法流程示意图；
图3是本发明又一实施例提供的一种视频处理方法流程示意图其一；
图4是本发明又一实施例提供的一种视频处理方法流程示意图其二；
图5是本发明又一实施例提供的一种视频处理方法流程示意图其三；
图6是本发明又一实施例提供的一种视频处理方法流程示意图其四；
图7是本发明又一实施例提供的一种视频处理装置结构示意图；
图8是本发明又一实施例提供的一种视频处理***结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的为实现本发明各个实施例的一种客户端，包括网络连接装置、存储器1130、处理器1110、通信接口1120和通信总线1140，各电子元器件通过通信总线1140完成相互间的通信，其中，客户端可以是诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
本发明实施例提供了为实现本发明各个实施例的一种服务端，包括：RF(RadioFrequency，射频)单元、音频输出单元、A/V(音频/视频)输入单元、传感器、显示单元、用户输入单元、通信接口1120、存储器1130、处理器1110、通信总线1140、以及电源等部件，各电子元器件通过通信总线1140完成相互间的通信。本领域技术人员可以理解，服务端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，本发明实施例提供了一种视频处理方法。参照图1，处理方法包括如下步骤：
S11、在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域。
在本实施例中，视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。
在本实施例中，需要被处理的待处理帧图像可以为预先在待处理视频中添加过标记的视频帧，因此在处理视频时，根据添加的标记就能确定待处理帧图像，还可以根据待处理视频中视频帧的尺寸大小确定待处理帧图像，比如，当视频帧在任一尺寸维度的尺寸大于目标区域对应尺寸维度的尺寸，将该视频帧作为待处理帧图像，其中，视频帧在任一尺寸维度的尺寸可以为帧高度或帧宽度。目标区域的尺寸可以是播放待处理视频的客户端的视频播放框的尺寸，也可以是预先设置的小于视频播放框的尺寸。
在本实施例中，可以通过对待处理帧图像进行划分，得到主视频显示区域和辅视频显示区域，辅视频显示区域至少设置有一个，比如，辅视频显示区域可以是主视频显示区域上方的图像区域、下方的图像区域、左侧的图像区域和右侧的图像区域中的至少一个，或者，辅视频显示区域可以是主视频显示区域周围的环形图像区域。
S12、对每个待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，图像元素均与待处理帧图像内的视频主体相关联。
在本实施例中，通过对待处理帧图像的辅视频显示区域进行处理，使得待处理帧图像的辅视频显示区域内保留图像元素，辅视频显示区域内的其他部分删除或者透明化，其中，每个图像元素均与待处理帧图像内的视频主体相关联，最终得到的目标帧图像保留有待处理帧图像的辅视频显示区域内的图像元素和完整的主视频显示区域。
比如，在实施例中，视频主体可以是视频当前显示的人物、场景、物品、动物等，而辅视频显示区域内与视频主体相关联的图像元素可以是视频主体的一部分，也可以是与视频主体存在联动或互动的图像。
S13、根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
在本实施例中，将待处理视频中未处理帧图像和已处理得到的目标帧图像组合，得到目标视频，具体的，本步骤中根据目标帧图像与所述待处理视频中未处理帧图像，形成目标视频，可以是将目标帧图像与待处理视频中未处理帧图像按待处理视频中视频帧的时间线排列顺序组合得到目标视频；或者，也可以是将目标帧图像替换待处理视频中对应的待处理帧图像，与待处理视频中未处理帧图像组合得到目标视频。
本方案通过对待处理视频的每一帧待处理帧图像进行处理，将待处理帧图像划分为主视频显示区域和辅视频显示区域，并在主视频显示区域内保留待处理帧图像的所有图像，在辅视频显示区域内只保留与视频主体相关联的图像元素，得到目标帧图像，将待处理视频内未处理帧图像和目标帧图像按原先待处理视频播放时帧图像的时间顺序进行组合，得到本步骤中的目标视频，由于目标帧图像的辅视频显示区域内只保留有与视频主体相关联的图像元素，所以在目标视频播放时，视频内的视频主体会出现出屏效果，从而在观感上得到出屏显示的立体感，相比较于裸眼3D技术对视频处理过程的复杂和直接播放视频的局限性，本方案通过更小的成本给与了用户在观看视频时更多的视觉冲击力，从而提高视频网站的竞争力。
如图2所示，在本实施例中，确定待播放视频中的视频主体的方法包括如下步骤：
S21、获取针对任一待处理帧图像中的对象添加的视频主体标记。
在本实施例中，可以预先由用户手动添加对于待处理帧图像中的对象的视频主体标记，也可以是通过图像识别方法对待处理帧图像进行处理，在识别得到待处理帧图像中为视频主体的对象后，对该对象添加视频主体标记，比如，可以通过识别待处理帧图像的背景，将待处理帧图像除背景以外的图像作为视频主体，其中，用于识别背景的背景识别算法包括背景差分法、帧差分法和光流场法等算法，在识别得到视频主体后，对该图像添加视频主体标记；还可以根据待处理帧图像中的各个对象所处的位置、清晰度等参数确定对象是否为视频主体，并对确定为视频主体的对象添加视频主体标记。
S22、将待处理帧图像中添加视频主体标记的对象作为待处理帧图像的视频主体。
在本实施例中，待处理帧图像中的对象可以是由用户在待处理帧图像内限定区域的图像；也可以根据待处理帧图像的色彩变化确定不同对象之间的边界，并根据边界得到待处理帧图像中的各个对象。
在本实施例中，通过直接获取待处理帧图像中对象的视频主体标记快速确定那些对象是视频主体，以实现对待处理帧图像的快速处理。
在一个具体的实施例中，结合如图2方法，如图3所示，针对未添加视频主体标记的待处理帧图像，处理方法还包括如下步骤：
S31、将待处理帧图像中的对象与视频主体进行比对，得到相应的相似度值。
在本实施例中，在对任一待处理帧图像进行处理的过程中，将该待处理帧图像中的对象和其他待处理帧图像中的视频主体进行比对，得到该待处理帧图像中的对象与其他待处理帧图像的视频主体的相似度值，在一个视频中，由于一秒的视频里包含多张帧图像，所以，相邻的帧图像之间的区别不会非常大，所以，在确定任一帧待处理帧图像中的视频主体后，相邻的待处理帧图像中也有非常大的可能存在与该视频主体相对应的对象，而且两者的相似度会很高，而时间间隔越远的待处理帧图像找那个存在与该视频主体相对应的对象的可能性也会相应降低。
具体的，还可以将确定了视频主体的待处理帧图像作为第一帧图像；将第一帧图像相邻的待处理帧图像作为第二帧图像，将第二帧图像内的对象与第一帧图像中的视频主体进行比对，得到相应的相似度值，由于只对比相邻的待处理帧图像，所以，可以减少对比过程，提高处理效率。
S32、将相似度值大于预设相似度阈值的待处理帧图像的对象，作为待处理帧图像的视频主体。
在本实施例中，待处理帧图像的对象与视频主体的相似度值越大，则说明两个待处理帧图像中均包括相类似的主要显示画面，此时，将与视频主体相似度值大于预设相似度阈值的对象，作为该待处理帧图像的视频主体。
在本实施例中，通过将待处理帧图像中的对象与其他待处理帧图像中已确定的视频主体进行比对，完成对于待处理帧图像中的对象是否为视频主体的判断，可以变相的减少待处理帧图像中的视频主体标记，比如，若是通过用户对待处理帧图像中的视频主体进行标记，用户需要对每一张待处理帧图像均做相应的标记，即使在一个时长较短的视频中，这样的工作量也十分庞大，通过本方案中的方法，用户只需在部分待处理帧图像中添加视频主体标记，后续通过比对，完成对于剩余待处理帧图像中视频主体的确定，比如，在一秒钟的视频的24帧图像中，对首尾两张帧图像添加标记，而后只需在24张帧图像中间隔添加视频主体标记即可，比如，场景变换时添加视频主体标记。
在一个具体的实施例中，视频处理方法还可以包括：获取用于播放目标视频的用户端的实时界面；播放目标视频时，将实时界面与目标视频进行处理，使得实时界面作为目标视频的背景。
在本实施例中，用户端可以是软件客户端或者网页客户端，用户端的实时界面可以是开机显示画面，或者，用户端进入任意页面后当前用户端所显示的界面，通过获取该界面，并将该界面实时加载进目标视频中，使得实时界面作为目标视频的背景，以保证目标视频播放过程的出屏效果，降低由于用户端界面的切换导致的视频播放时的失真问题，提高目标视频的播放流畅度。
如图4所示，本发明实施例提供了一种视频处理方法。参照图4，视频处理方法包括如下步骤：
S41、在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域。
有关步骤S41，详细可参见步骤S11中的描述，本实施例在此不再赘述。
S42、判断待处理帧图像的辅视频显示区域内是否存在与待处理帧图像的主视频显示区域内的视频主体相关联的图像元素。
在本实施例中，结合如图1实施例中的描述，判断待处理帧图像辅视频显示区域内是否存在与主视频显示区域内的视频主体相关联的图像元素，即判断辅显示区域内是否包括有视频主体的一部分，或者，判断辅显示区域内是否有与视频主体联动的图像。
S43a、若是，则在所述待处理帧图像的所述辅视频显示区域内只保留与视频主体相关联的图像元素，得到目标帧图像。
在本实施例中，若判断辅视频显示区域内存在与主视频显示区域内视频主体相关联的图像元素，则执行步骤S12中描述的方法，本实施例在此不再赘述。
S43b、或者，若否，则隐藏待处理帧图像的辅视频显示区域。
在本实施例中，若判断辅视频显示区域内不存在与主视频显示区域内视频主体相关联的图像元素，则此时可以隐藏该辅视频显示区域，具体的，可以删除辅视频显示区域，或者，将辅视频显示区域内的图像设置为透明等方式隐藏该待处理帧图像的辅视频显示区域。
S44、根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
有关步骤S44，详细可参见步骤S13中的描述，本实施例在此不再赘述。
在本实施例中，通过判断待处理帧图像的辅视频显示区域内是否存在与待处理帧图像的主视频显示区域内的视频主体相关联的图像元素，对不同情况下的辅视频显示区域直接进行不同的处理，提高图像处理效率。
如图5所示，本发明实施例提供了一种视频处理方法。参照图5，视频处理方法包括如下步骤：
S51、在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域。
有关步骤S51，详细可参见步骤S11中的描述，本实施例在此不再赘述。
S52、识别待处理帧图像中的视频主体。
在本实施例中，可以根据预先由用户手动添加对于待处理帧图像中的对象的视频主体标记确定待处理帧图像中的视频主体，可以通过识别待处理帧图像的背景，将待处理视频帧图像除背景以外的图像作为视频主体。
S53、在所述待处理帧图像的所述辅视频显示区域内只保留所述视频主体，作为目标帧图像。
在本实施例中，针对待处理帧图像进行处理，使得待处理帧图像中的辅视频显示区域内的视频主体保留，辅视频显示区域内其余部分直接删除或者将像素转换为透明像素，进而得到目标帧图像。
S54、根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
有关步骤S54，详细可参见步骤S13中的描述，本实施例在此不再赘述。
在本实施例中，通过直接识别待处理帧图像中的视频主体，针对待处理帧图像的辅视频显示区域进行处理，在所述辅视频显示区域内只保留视频主体，将处理完成的待处理帧图像作为目标帧图像，最终形成的目标视频在播放时视频内的视频主体在辅视频显示区域内会出现出屏效果，从而在观感上得到出屏显示的立体感。
如图6所示，本发明实施例提供了一种视频处理方法。参照图6，视频处理方法包括如下步骤：
S61、在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域。
有关步骤S61，详细可参见步骤S11中的描述，本实施例在此不再赘述。
S62、识别待处理帧图像中的视频背景。
在本实施例中，可以通过识别待处理帧图像的背景，将待处理视频帧图像除背景以外的图像作为视频主体，其中，背景识别算法包括背景差分法、帧差分法和光流场法等算法，由于，在一个图像中除了视频背景以外剩余的部分就是图像的主体部分，本方案中通过反向获取待处理帧图像的视频背景，实现确认待处理帧图像的视频主体。
S63、将待处理帧图像中的辅视频显示区域内的视频背景的颜色设置为过滤颜色，作为目标帧图像；其中，过滤颜色的颜色值与待处理帧图像中任意像素的颜色值均不同。
在本实施例中，本步骤中，在确定待处理帧图像的视频背景后，将待处理帧图像的辅视频显示区域内的视频背景的颜色进行改变，将视频背景的颜色设置为过滤颜色，其中，过滤颜色的颜色值与待处理帧图像中的任意像素的颜色值均不相同。
S64、将待处理视频中的未处理帧图像和目标帧图像组合，形成目标视频。
有关步骤S64，详细可参见步骤S13中的描述，本实施例在此不再赘述。
在本实施例中，在本方案中通过获取待处理帧图像的视频背景，并将待处理帧图像在辅视频显示区域内的视频背景的颜色进行改变，使得辅视频显示区域内的视频背景的颜色与待处理帧图像中任意像素的像素颜色均不一致，在播放该最终形成的目标视频时，当出现了被处理的待处理帧图像时，通过过滤颜色即可完成对于待处理帧图像的辅显示区域内视频背景的过滤，使得最终播放得到的视频在辅显示区域内成出屏效果，从而在观感上得到出屏显示的立体感。
在一个具体的实施例中，步骤S62中识别待处理帧图像中的视频背景的方法包括如下步骤：
第一步、获取待处理视频中任意时刻起相邻的至少两帧待处理帧图像，组成比对图像组。
第二步、将比对图像组中的待处理帧图像两两之间进行比对，得到每个待处理帧图像中相对应的第一待选区域之间的图像重合比例；其中，第一待选区域是通过对视频帧进行划分得到的具有第一预设形状的区域。
第三步、判断是否存在第一待选区域对应的所有图像重合比例是否均大于预设重合比例；
第四步、若存在第一待选区域的所有图像重合比例均大于预设重合比例，则第一待选区域为视频背景。
在本实施例中，通过比对不同待处理帧图像之间的各个相对应的区域之间的重合情况，确定相对应的每个区域重合比例，若出现一个区域在所有比对图像组中的所有待处理帧图像中的重合比例均大于预设重合比例，则说明该区域在对比图像组的各个待处理帧图像中均较类似，此时可以认定该区域为视频背景。
在本实施例中，本方案的步骤实现了对于待处理帧图像中的视频背景的确定，进一步根据本方案中得到的视频背景也可以确定图5所述实施例中的待处理帧图像中的视频主体。
在一个具体的实施例中，步骤S62中识别待处理帧图像中的视频背景的方法包括如下步骤：
第一步、获取待处理帧图像中的每个第二待选区域的清晰度平均值；其中，第二待选区域是通过对待处理帧图像进行划分得到的具有第二预设形状的区域。
在本实施例中，处理帧图像中的清晰度是指人眼宏观看到的图像的清晰程度，是由***和设备的客观性能的综合结果造成的人们对最终图像的主观感觉。虽然清晰度是主观感觉，但不像主观听音评价那样不能用一个客观标准来计量，清晰度这种主观感觉是可以进行定量测试的，即可以用黑白相间的线条的粗细来衡量，并有标准的测试方法和测试图，其测量数据有明确的单位，即电视线TVL。
第二步、判断每个第二待选区域的清晰度平均值是否小于预设阈值。
第三步、若第二待选区域的清晰度平均值小于预设阈值，则第二待选区域为视频背景。
在本实施例中，由于视频帧中的背景部分会呈现虚化的情况，所以背景部分的清晰度会弱于有主体部分的清晰度，或者，弱于视频帧整体的清晰度，视频都是以此种方式来实现平面的景深效果，所以，本方案中可以根据待选区域的清晰度平均值来确定待选区域是否是视频背景。
在本实施例中，本方案的步骤实现了对于待处理帧图像中的视频背景的确定，进一步根据本方案中得到的视频背景也可以确定如图5所述实施例中的待处理帧图像中的视频主体。
如图7所示，本发明实施例提供了一种视频处理装置，处理装置包括：第一处理单元11、第二处理单元12和第三处理单元13。
在本实施例中，第一处理单元11，用于在待处理视频的至少一个待处理帧图像中确定主视频显示区域和辅视频显示区域。
在本实施例中，第二处理单元12，用于对每个待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，图像元素与待处理帧图像内的视频主体相关联。
在本实施例中，第三处理单元13，用于根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
在本实施例中，处理装置还包括：第四处理单元，用于获取针对任一待处理帧图像中的对象添加的视频主体标记；将待处理帧图像中添加视频主体标记的对象作为待处理帧图像的视频主体。
在本实施例中，处理装置还包括：第五处理单元，用于将待处理帧图像中的对象与视频主体进行比对，得到相应的相似度值；将相似度值大于预设相似度阈值的待处理帧图像的对象，作为待处理帧图像的视频主体。
在本实施例中，第二处理单元12，具体用于判断待处理帧图像的辅视频显示区域内是否存在与待处理帧图像的主视频显示区域内的视频主体相关联的图像元素；若是，则在所述待处理帧图像的所述辅视频显示区域内只保留与视频主体相关联的图像元素，得到目标帧图像；或者，若否，则隐藏待处理帧图像的辅视频显示区域。
在本实施例中，第二处理单元12，具体用于识别待处理帧图像中的视频主体；在所述待处理帧图像的所述辅视频显示区域内只保留所述视频主体，作为目标帧图像。
在本实施例中，第二处理单元12，具体用于识别待处理帧图像中的视频背景；将待处理帧图像中的辅视频显示区域内的视频背景的颜色设置为过滤颜色，作为目标帧图像；其中，过滤颜色的颜色值与待处理帧图像中任意像素的颜色值均不同。
在本实施例中，处理装置还包括：第六处理单元，获取用于播放目标视频的用户端的实时界面；播放目标视频时，将实时界面与目标视频进行处理，使得实时界面作为目标视频的背景。
如图8所示，本发明实施例提供了一种视频处理***，包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信；
存储器1130，用于存放计算机程序；
处理器1110，用于执行存储器1130上所存放的程序时，实现如下的方法：
在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域；
对每个待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，图像元素均与待处理帧图像内的视频主体相关联；
根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
本发明实施例提供的电子设备，处理器1110通过执行存储器1130上所存放的程序实现了通过对待处理视频的每一帧待处理帧图像进行处理，将待处理帧图像划分为主视频显示区域和辅视频显示区域，并保留待处理帧图像的辅视频显示区域内与视频主体相关联的图像元素，得到目标帧图像，将待处理视频内未处理帧图像和目标帧图像进行组合，得到目标视频，由于目标帧图像的辅视频显示区域内只保留有与视频主体相关联的图像元素，所以在目标视频播放时，视频内的视频主体在辅视频显示区域内出现出屏效果，从而在观感上得到出屏显示的立体感，相比较于裸眼3D技术对视频处理过程的复杂和直接播放视频的局限性，本方案通过更小的成本给与了用户在观看视频时更多的视觉冲击力，从而提高视频网站的竞争力。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述任一实施例的视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视频处理方法，其特征在于，所述处理方法包括：
在待处理视频的至少一个待处理帧图像中确定在目标区域内显示的主视频显示区域和在目标区域外显示的辅视频显示区域；
对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，所述图像元素均与所述待处理帧图像内的视频主体相关联；
根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
2.根据权利要求1所述的视频处理方法，其特征在于，所述处理方法还包括：
获取针对任一所述待处理帧图像中的对象添加的视频主体标记；
将所述待处理帧图像中添加视频主体标记的对象作为所述待处理帧图像的视频主体。
3.根据权利要求2所述的视频处理方法，其特征在于，针对未添加视频主体标记的待处理帧图像，所述处理方法还包括：
将所述待处理帧图像中的对象与所述视频主体进行比对，得到相应的相似度值；
将所述相似度值大于预设相似度阈值的待处理帧图像的对象，作为所述待处理帧图像的视频主体。
4.根据权利要求1所述的视频处理方法，其特征在于，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
判断所述待处理帧图像的辅视频显示区域内是否存在与所述待处理帧图像的主视频显示区域内的视频主体相关联的图像元素；
若是，则在所述待处理帧图像的所述辅视频显示区域内只保留与所述视频主体相关联的图像元素，得到所述目标帧图像；
或者，若否，则隐藏所述待处理帧图像的辅视频显示区域。
5.根据权利要求1所述的视频处理方法，其特征在于，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
识别所述待处理帧图像中的视频主体；
在所述待处理帧图像的所述辅视频显示区域内只保留所述视频主体，作为所述目标帧图像。
6.根据权利要求1所述的视频处理方法，其特征在于，所述对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像，包括：
识别所述待处理帧图像中的视频背景；
将所述待处理帧图像中的辅视频显示区域内的视频背景的颜色设置为过滤颜色，作为所述目标帧图像；其中，过滤颜色的颜色值与所述待处理帧图像中任意像素的颜色值均不同。
7.根据权利要求1～6任一项 所述的视频处理方法，其特征在于，所述处理方法还包括：
获取用于播放所述目标视频的用户端的实时界面；
播放所述目标视频时，将所述实时界面与所述目标视频进行处理，使得所述实时界面作为所述目标视频的背景。
8.一种视频处理装置，其特征在于，所述处理装置包括：
第一处理单元，用于在待处理视频的至少一个待处理帧图像中确定主视频显示区域和辅视频显示区域；
第二处理单元，用于对每个所述待处理帧图像的辅视频显示区域进行图像处理，得到在所述辅视频显示区域内只保留图像元素的目标帧图像；其中，所述图像元素与所述待处理帧图像内的视频主体相关联；
第三处理单元，用于根据所述目标帧图像与所述待处理视频中未处理帧图像，形成目标视频。
9.一种视频处理***，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1～7中任一所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953735.1A CN112055246B (zh) | 2020-09-11 | 2020-09-11 | 一种视频处理方法、装置、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953735.1A CN112055246B (zh) | 2020-09-11 | 2020-09-11 | 一种视频处理方法、装置、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112055246A CN112055246A (zh) | 2020-12-08 |
| CN112055246B true CN112055246B (zh) | 2022-09-30 |
Family
ID=73610802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010953735.1A Active CN112055246B (zh) | 2020-09-11 | 2020-09-11 | 一种视频处理方法、装置、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112055246B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107920202A (zh) * | 2017-11-15 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
| CN108124194A (zh) * | 2017-12-28 | 2018-06-05 | 北京奇艺世纪科技有限公司 | 一种视频直播方法、装置及电子设备 |
| CN110876079A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置和设备 |
| CN111193965A (zh) * | 2020-01-15 | 2020-05-22 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、视频处理方法及装置 |
| CN111246196A (zh) * | 2020-01-19 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090315980A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., | Image processing method and apparatus |
| KR102321364B1 (ko) * | 2015-03-05 | 2021-11-03 | 삼성전자주식회사 | 3차원 배경 콘텐트를 합성하는 방법 및 디바이스 |
-
2020
- 2020-09-11 CN CN202010953735.1A patent/CN112055246B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107920202A (zh) * | 2017-11-15 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
| CN108124194A (zh) * | 2017-12-28 | 2018-06-05 | 北京奇艺世纪科技有限公司 | 一种视频直播方法、装置及电子设备 |
| CN110876079A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置和设备 |
| CN111193965A (zh) * | 2020-01-15 | 2020-05-22 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、视频处理方法及装置 |
| CN111246196A (zh) * | 2020-01-19 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112055246A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189378A (zh) | 一种视频处理方法、装置及电子设备 | |
| CN112954450B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| JP6336206B2 (ja) | 動画ファイルの識別子を処理する方法、装置、プログラム及び記録媒体 | |
| CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| CN112182299B (zh) | 一种视频中精彩片段的获取方法、装置、设备和介质 | |
| CN114450969B (zh) | 视频截屏方法、终端及计算机可读存储介质 | |
| CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN110781823A (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
| CN108932703B (zh) | 图片处理方法、图片处理装置及终端设备 | |
| US10733706B2 (en) | Mobile device, and image processing method for mobile device | |
| CN107770487B (zh) | 一种特征提取并优选的方法、***及终端设备 | |
| CN111654747B (zh) | 弹幕显示方法及装置 | |
| CN111161299A (zh) | 影像分割方法、计算机程序、存储介质及电子装置 | |
| CN112929728A (zh) | 一种视频渲染方法、装置、***、电子设备及存储介质 | |
| CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN112055246B (zh) | 一种视频处理方法、装置、***及存储介质 | |
| CN112055247B (zh) | 一种视频播放方法、装置、***及存储介质 | |
| CN108960130B (zh) | 视频文件智能处理方法和装置 | |
| US11647294B2 (en) | Panoramic video data process | |
| CN115134677A (zh) | 视频封面选择方法、装置、电子设备以及计算机存储介质 | |
| CN108898081B (zh) | 图片处理方法、装置、移动终端及计算机可读存储介质 | |
| CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
| JP2014085845A (ja) | 動画処理装置、動画処理方法、プログラム、および集積回路 | |
| CN111353929A (zh) | 图像处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |