CN114697758A - 视频处理方法、装置及电子设备 - Google Patents
视频处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114697758A CN114697758A CN202011614555.7A CN202011614555A CN114697758A CN 114697758 A CN114697758 A CN 114697758A CN 202011614555 A CN202011614555 A CN 202011614555A CN 114697758 A CN114697758 A CN 114697758A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- target
- frames
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000295 complement effect Effects 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000006837 decompression Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请提供了一种视频处理方法、装置及电子设备,方法包括:获取用于3D呈现的两路原始视频源分别对应的第一视频帧序列和第二视频帧序列;按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择标识信息互补的目标视频帧,得到第一目标视频帧集合和第二目标视频帧集合;按照目标视频帧的标识信息的顺序,对上述两集合中的目标视频帧进行交叉组合,得到目标视频帧序列。本申请通过对两路视频源的视频帧的交叉合并处理,能够得到具有裸眼3D视觉效果的视频帧序列,进而可以生成裸眼3D视频文件,使用户不需要依赖特殊的设备就可以裸眼观看3D效果的视频。
Description
技术领域
本申请涉及软件算法开发技术领域,尤其是涉及一种视频处理方法、装置及电子设备。
背景技术
现有技术中,想要实现3D效果,有两种方式:一种方式是用户直接配戴3D眼镜或VR眼镜,依赖专用设备;另一种方式是,对播放器进行改造,播放出3D效果的视频,人眼直接观看,但这种方式不能使用普通视频播放器,而且两个视频的快速切换会大量消耗设备计算资源,对高清高画质视频的3D效果有严重影响。
发明内容
本申请的目的在于提供一种视频处理方法、装置及电子设备,通过对两路视频源的视频帧的交叉合并处理,能够得到具有裸眼3D视觉效果的视频帧序列,进而可以生成能够利用普通播放器播放的3D裸眼视频文件,使用户不需要依赖特殊的设备就可以裸眼观看3D效果的视频。
第一方面,本申请实施例提供一种视频处理方法,该方法包括:获取用于3D呈现的两路原始视频源;对两路原始视频源分别进行解码,得到两路原始视频源分别对应的第一视频帧序列和第二视频帧序列;按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补;按照目标视频帧的标识信息的顺序,对第一目标视频帧集合和第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
进一步的,上述得到目标视频帧集合后,方法还包括:将原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行封装,得到两路原始视频源对应的裸眼3D视频文件。
进一步的,上述标识信息包括视频帧的解压时间戳或者视频帧对应的序号。
进一步的,上述获取用于3D呈现的两路原始视频源的步骤,包括:通过并联双目摄像设备采集用于3D呈现的两路原始视频源;或者,通过图像识别技术对目标视频源进行计算,得到存在视差的两路原始视频源。
进一步的,上述按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧的步骤,包括:根据第一视频帧序列中视频帧的标识信息的顺序,依次间隔指定个数的视频帧,从第一视频帧序列中选择指定个数的第一目标视频帧添加至第一目标视频帧集合中;将第二视频帧序列中,与第一视频帧序列中未选择的视频帧具有相同标识信息的第二目标视频帧,按照标识信息的顺序,依次添加至第二目标视频帧集合中。
进一步的,上述按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧的步骤,包括:按照视频帧的标识信息,从第一视频帧序列中选择奇数帧添加至第一目标视频帧集合中,从第二视频帧序列中选择偶数帧添加至第二目标视频帧集合中。
进一步的,上述按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧的步骤之前,方法还包括:如果第一视频帧序列和第二视频帧序列中,视频帧的标识信息不一致,将视频帧的标识信息在不改变顺序的前提下调整为一致。
进一步的,上述将原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行封装,得到两路原始视频源对应的裸眼3D视频文件的步骤,包括:以任一路原始视频源中的音频帧作为目标音频帧;通过预设编码算法对目标音频帧和目标视频帧序列中的目标视频帧进行进行封装,得到两路原始视频源对应的裸眼3D视频文件。
进一步的,上述预设编码算法包括以下之一:H264编码算法、H265编码算法和AV1编码算法。
第二方面,本申请实施例还提供一种视频处理装置,该装置包括:视频源获取模块,用于获取用于3D呈现的两路原始视频源;视频解码模块,用于对两路原始视频源分别进行解码,得到两路原始视频源分别对应的第一视频帧序列和第二视频帧序列;目标帧选择模块,用于按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补;帧组合模块,用于按照目标视频帧的标识信息的顺序,对第一目标视频帧集合和第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
第三方面,本申请实施例还提供一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面的方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的视频处理方法中,首先通过对用于3D呈现的两路原始视频源分别进行解码,得到两路原始视频源分别对应的第一视频帧序列和第二视频帧序列;然后按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择标识信息互补的目标视频帧,得到第一目标视频帧集合和第二目标视频帧集合;然后按照目标视频帧的标识信息的顺序,对上述两集合中的目标视频帧进行交叉组合,得到目标视频帧序列。本申请实施例能够通过对两路视频源的视频帧的交叉合并处理,能够得到具有裸眼3D视觉效果的视频帧序列,进而可以生成能够利用普通播放器播放的3D裸眼视频文件,使用户不需要依赖特殊的设备就可以裸眼观看3D效果的视频。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理方法的流程图;
图2为本申请实施例提供的一种视频帧选择方法的流程图;
图3为本申请实施例提供的一种视频交叉组合示意图;
图4为本申请实施例提供的一种视频处理装置的结构框图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,想要观看3D立体效果的视频有三种方式:
第一种:3D电影主要采用的立体视频技术,都是在拍摄时通过并联摄像直接合成一个带有双目视差的图像,后期在进行微调处理。播放时,两个视差图像同时存在于画面,通过专门设备(例如偏振光眼镜),使人左右眼同时获得相对应的视频,视差在人脑的处理后就感知为立体图像。
第二种:VR立体视频,是将两个并联摄像产生的两个带有视差的视频,同时分别播放,利用VR设备(头戴设备),使人的左右眼分别接收各自对应的视频,造成的视差经过人脑处理,感受到立体视频效果。
第三种:常规的裸眼3D技术,对播放器进行改造,将并联摄像产生的两路带有视差的视频,在一个播放器终端设备上快速交替播放,人眼直接观看时,快速切换的视频产生了视差,人脑处理视差后,感知到立体图像效果。
上述方式中,3D电影和VR 3D技术最大问题是依赖专用设备,人眼不能直接观看。常规的裸眼3D技术,播放器要专门改造,不能使用普通视频播放器,而且两个视频的快速切换会大量消耗设备计算资源,对高清高画质视频的3D效果有严重影响。
基于此,本申请实施例提供一种视频处理方法、装置及电子设备,通过对两路视频源的视频帧的交叉合并处理,能够得到具有裸眼3D视觉效果的视频帧序列,进而可以生成能够利用普通播放器播放的3D裸眼视频文件,使用户不需要依赖特殊的设备就可以裸眼观看3D效果的视频。
图1为本申请实施例提供的一种视频处理方法的流程图,该视频处理方法具体包括以下步骤:
步骤S102,获取用于3D呈现的两路原始视频源。
本申请实施例中的用于3D呈现的两路原始视频源,可以是采用硬件设备采集的存在视差的两路视频源,比如,通过并联双目摄像设备进行并联摄像产生的两路视频源;或者,也可以是通过软件技术进行视频视差计算得到的两路视频源,比如,通过图像识别技术对目标视频源进行计算,得到存在视差的两路原始视频源。上述双目摄像设备包括两个并联摄像的相机或者双目相机。
步骤S104,对两路原始视频源分别进行解码,得到两路原始视频源分别对应的第一视频帧序列和第二视频帧序列。
上述视频源解码过程可以通过硬件解码器实现,也可以利用软件解码技术实现,对两路原始视频源分别解码后,即可得到第一视频帧序列和第二视频帧序列,第一视频帧序列和第二视频帧序列均是按照视频帧的标识信息的顺序排列的。
步骤S106,按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补。
该步骤中,上述标识信息可以是视频帧的解压时间戳,或者也可以是视频帧对应的序号。从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧,可以是不均匀的交替选择,也可以是均匀地交替选择,比如,第一视频帧序列包括视频帧A1、A2、A3……A20,第二视频帧序列包括视频帧B1、B2、B3……B20,那么可以从第一视频帧序列中选择目标视频帧A1、A2,从第二视频帧序列选择目标视频帧B3、B4、B5,再从第一视频帧序列中选择目标视频帧A6,从第二视频帧序列选择目标视频帧B7、B8,以此类推,直到最后一帧,这种是不均匀的交替选择,只要第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补即可。
还有另一种方式,均匀地交替选择,比如,从第一视频帧序列中选择目标视频帧A1,从第二视频帧序列选择目标视频帧B2,再从第一视频帧序列中选择目标视频帧A3,从第二视频帧序列选择目标视频帧B4,以此类推,直到最后一帧。
从第一视频帧序列中选出的目标视频帧组成第一目标视频帧集合;从第二视频帧序列中选出的目标视频帧组成第二目标视频帧集合;第一目标视频帧集合和第二目标视频帧集合中的目标视频帧互补。
步骤S108,按照目标视频帧的标识信息的顺序,对第一目标视频帧集合和第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
在确定出上述第一目标视频帧集合和第二目标视频帧集合后,按照两集合中目标视频帧的标识信息的顺序,将目标视频帧进行交叉组合,得到目标视频帧序列。
本申请实施例提供的视频处理方法,将并联摄像产生的两路视频源,解码后按视频帧的解压时间戳的顺序,交替选择目标视频帧,并将目标视频帧交叉合并,得到具有裸眼3D视觉效果的视频帧序列,进而可以通过视频编码算法,合并为一个完整的裸眼3D视频,通过普通视频播放器,就可以实现两路带有视差的视频交替播放,观看者不需要借助特殊设备就可以观看,经过大脑处理,感知立体效果。
在上述得到目标视频帧序列后,还可以包括以下方法步骤:将原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行封装,得到两路原始视频源对应的裸眼3D视频文件。
本申请实施例只对视频帧进行交叉合并处理,而音频并没有进行特殊的处理,在最后编码时,可以采用任一路原始视频源对应的音频帧进行进行封装,即通过对原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行进行封装后,可以生成两路原始视频源对应的裸眼3D视频文件。
实际应用中,用于3D呈现的两路原始视频源的获取方式有多种,本申请实施例使用的视频源,是模拟双目视觉用双路并联摄像设备生成的两路视频文件,这也是大部分3D立体视频制作时所使用的视频源。两台并联摄像设备,模拟双目视觉进行视频采集,两路视频源要求始终统一目标,同步音频起止时间,统一两路视频帧率(不低于60帧/秒:每秒中产生60张完整画面)。另外,也可以通过图像识别技术对目标视频源进行计算,得到存在视差的两路原始视频源,也就是通过软件的方式实现视频源的获取。
为了提高裸眼3D视频文件的最终观看效果,本申请实施例提供一种优选的目标视频帧选择方式,即上述步骤S106,按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧的步骤,具体可以参见图2所示的视频帧选择方法的流程图实现:
步骤S202,根据第一视频帧序列中视频帧的标识信息的顺序,依次间隔指定个数的视频帧,从第一视频帧序列中选择指定个数的第一目标视频帧添加至第一目标视频帧集合中。
上述指定个数可以是一个,也可以是多个,间隔的视频帧个数与目标帧选择的个数是相同的,也就是从两个视频帧序列中交替均匀选择目标视频帧,这种方式能够实现更好的3D视频效果。比如,第一视频帧序列包括视频帧A1、A2、A3……A20,第二视频帧序列包括视频帧B1、B2、B3……B20,那么可以间隔两个视频帧,从第一视频帧序列中选择第一目标视频帧A3、A4,再间隔两个视频帧,从第一视频帧序列中选择第一目标视频帧A7、A8,以此类推,直到最后一帧。将上述选择的第一目标视频帧A3、A4、A7、A8……依次添加到第一目标视频帧集合中。
步骤S204,将第二视频帧序列中,与第一视频帧序列中未选择的视频帧具有相同标识信息的第二目标视频帧,按照标识信息的顺序,依次添加至第二目标视频帧集合中。
第二视频帧序列包括视频帧B1、B2、B3……B20,通常来说,通过双目摄像设备采集的两路原始视频源,在解码后两路分别对应的视频帧的标识信息是一致的,即,视频帧A1和视频帧B1的标识信息一致,视频帧A2和视频帧B2的标识信息一致……,而如果是利用软件方法计算得到的两路视频源,其解码后两路分别对应的视频帧的标识信息可能会存在一定的差异,这时,就需要首先将两路视频帧的标识信息在保持顺序不变的前提下调整为一致。
这样,在选择完第一视频帧序列中的第一目标视频帧后,就可以是直接确定出第二视频帧序列中的第二目标视频帧,即,将第二视频帧序列中,与第一视频帧序列中未选择的视频帧具有相同标识信息的第二目标视频帧,按照标识信息的顺序,依次添加至第二目标视频帧集合中。
还以上述例子进行说明,确定出第一目标视频帧集合中的第一目标视频帧分别为A3、A4、A7、A8……后,可以确定第一视频帧序列中未选择的视频帧为A1、A2、A5、A6……,在第二视频帧序列中与视频帧为A1、A2、A5、A6……具有相同的标识信息的视频帧为B1、B2、B5、B6……,因此,将视频帧B1、B2、B5、B6……作为第二目标视频帧,添加至第二目标视频帧集合中。
在一种优选的实施方式中,上述按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧的步骤,可以通过以下方式实现,参见图3所示,按照视频帧的标识信息,从第一视频帧序列中选择奇数帧,如图中的第一视频帧A1、第一视频帧A3……添加至第一目标视频帧集合中,从第二视频帧序列中选择偶数帧,如图中的第二视频帧B2、第二视频帧B4……添加至第二目标视频帧集合中。按照奇数帧和偶数帧的标识信息,对奇数帧和偶数帧进行交叉合并,得到目标视频帧序列:第一视频帧A1、第二视频帧B2、第一视频帧A3、第二视频帧B4……。这种方式也就是上述实施例中指定个数为一个的情况,即每间隔一个视频帧选择一个视频帧,这种视频帧选择方式可以更好地实现视频的3D效果。
在通过上述过程确定出第一目标视频帧集合和第二目标视频帧集合后,进一步根据目标视频帧的标识信息对两集合中的目标视频帧进行交叉合并,生成目标视频帧序列,然后将原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行封装,得到两路原始视频源对应的裸眼3D视频文件。具体的,可以任一路原始视频源中的音频帧作为目标音频帧;通过预设编码算法对目标音频帧和目标视频帧序列中的目标视频帧进行进行封装,得到两路原始视频源对应的裸眼3D视频文件。上述预设编码算法可以包括以下之一:H264编码算法、H265编码算法和AV1编码算法。
通过重新编码,新生成的视频文件与原始视频源拥有相同的帧率,但由于是两个视频文件合成的,所以每一个单眼视频(作用于一只眼睛)的帧率是原始视频源帧率的一半。因此,合并视频文件后,为了减少人眼单目感知视频时产生的顿挫感,要求原始视频源在录制时尽可能的提高帧率。新生成的裸眼3D视频文件,可以在普通视频播放器上播放。如果人只用一只眼睛观看,其效果是一个有重影的视频。如果人用双目观看,经过短暂的适应,大脑会自动将重影图像分别对应单侧眼睛接收信息,在经过人脑视觉感知区的处理,最终就产生了观看立体图像的错觉,即实现了裸眼3D视频的效果。
本申请实施例提供的视频处理方法是通过纯软件算法实现的,不依赖专有观看设备,也不依赖专用视频播放器,视频文件也可以使用市场上常用的编码格式,所有播放条件都不受限,观看者裸眼就能体验到3D立体视频效果。
基于上述方法实施例,本申请实施例还提供一种视频处理装置,参见图4所示,该装置包括:视频源获取模块402,用于获取用于3D呈现的两路原始视频源;视频解码模块404,用于对两路原始视频源分别进行解码,得到两路原始视频源分别对应的第一视频帧序列和第二视频帧序列;目标帧选择模块406,用于按照视频帧的标识信息,从第一视频帧序列和第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补;帧组合模块408,用于按照目标视频帧的标识信息的顺序,对第一目标视频帧集合和第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
在另一种可能的实施方式中,上述视频处理装置还包括:音视频封装模块,用于将原始视频源中的音频帧与目标视频帧序列中的目标视频帧进行封装,得到两路原始视频源对应的裸眼3D视频文件。
在另一种可能的实施方式中,上述标识信息包括视频帧的解压时间戳或者视频帧对应的序号。
在另一种可能的实施方式中,上述视频源获取模块402还用于:通过双目摄像设备采集用于3D呈现的两路原始视频源;或者,通过图像识别技术对目标视频源进行计算,得到存在视差的两路原始视频源。
在另一种可能的实施方式中,上述目标帧选择模块406还用于:根据第一视频帧序列中视频帧的标识信息的顺序,依次间隔指定个数的视频帧,从第一视频帧序列中选择指定个数的第一目标视频帧添加至第一目标视频帧集合中;将第二视频帧序列中,与第一视频帧序列中未选择的视频帧具有相同标识信息的第二目标视频帧,按照标识信息的顺序,依次添加至第二目标视频帧集合中。
在另一种可能的实施方式中,上述目标帧选择模块406还用于:按照视频帧的标识信息,从第一视频帧序列中选择奇数帧添加至第一目标视频帧集合中,从第二视频帧序列中选择偶数帧添加至第二目标视频帧集合中。
在另一种可能的实施方式中,上述装置还包括:时间戳调整模块,用于如果第一视频帧序列和第二视频帧序列中,视频帧的标识信息不一致,将视频帧的标识信息在保持顺序不变的前提下调整为一致。
在另一种可能的实施方式中,上述音视频封装模块还用于:以任一路原始视频源中的音频帧作为目标音频文件;通过预设编码算法对目标音频帧和目标视频帧序列中的目标视频帧进行进行封装,得到两路原始视频源对应的裸眼3D视频文件。
在另一种可能的实施方式中,上述预设编码算法包括以下之一:H264编码算法、H265编码算法和AV1编码算法。
本申请实施例提供的视频处理装置,其实现原理及产生的技术效果和前述视频处理方法实施例相同,为简要描述,视频处理装置的实施例部分未提及之处,可参考前述视频处理方法实施例中相应内容。
本申请实施例还提供了一种电子设备,如图5所示,为该电子设备的结构示意图,其中,该电子设备包括处理器51和存储器50,该存储器50存储有能够被该处理器51执行的计算机可执行指令,该处理器51执行该计算机可执行指令以实现上述方法。
在图5示出的实施方式中,该电子设备还包括总线52和通信接口53,其中,处理器51、通信接口53和存储器50通过总线52连接。
其中,存储器50可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线52可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器51可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器51读取存储器中的信息,结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使处理器实现上述方法,具体实现可参见前述方法实施例,在此不再赘述。
本申请实施例所提供的视频处理方法、装置和电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种视频处理方法,其特征在于,所述方法包括:
获取用于3D呈现的两路原始视频源;
对两路所述原始视频源分别进行解码,得到两路所述原始视频源分别对应的第一视频帧序列和第二视频帧序列;
按照视频帧的标识信息,从所述第一视频帧序列和所述第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补;
按照目标视频帧的标识信息的顺序,对所述第一目标视频帧集合和所述第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
2.根据权利要求1所述的方法,其特征在于,在得到目标视频帧序列之后,所述方法还包括:
将所述原始视频源中的音频帧与所述目标视频帧序列中的目标视频帧进行封装,得到两路所述原始视频源对应的裸眼3D视频文件。
3.根据权利要求1所述的方法,其特征在于,所述标识信息包括视频帧的解压时间戳或者所述视频帧对应的序号。
4.根据权利要求1所述的方法,其特征在于,获取用于3D呈现的两路原始视频源的步骤,包括:
通过并联双目摄像设备采集用于3D呈现的两路原始视频源;
或者,
通过图像识别技术对目标视频源进行计算,得到存在视差的两路原始视频源。
5.根据权利要求1所述的方法,其特征在于,按照视频帧的标识信息,从所述第一视频帧序列和所述第二视频帧序列分别交替选择目标视频帧的步骤,包括:
根据所述第一视频帧序列中视频帧的标识信息的顺序,依次间隔指定个数的视频帧,从所述第一视频帧序列中选择所述指定个数的第一目标视频帧添加至第一目标视频帧集合中;
将第二视频帧序列中,与所述第一视频帧序列中未选择的视频帧具有相同标识信息的第二目标视频帧,按照标识信息的顺序,依次添加至第二目标视频帧集合中。
6.根据权利要求1所述的方法,其特征在于,按照视频帧的标识信息,从所述第一视频帧序列和所述第二视频帧序列分别交替选择目标视频帧的步骤,包括:
按照视频帧的标识信息,从所述第一视频帧序列中选择奇数帧添加至第一目标视频帧集合中,从所述第二视频帧序列中选择偶数帧添加至第二目标视频帧集合中。
7.根据权利要求1所述的方法,其特征在于,按照视频帧的标识信息,从所述第一视频帧序列和所述第二视频帧序列分别交替选择目标视频帧的步骤之前,所述方法还包括:
如果所述第一视频帧序列和所述第二视频帧序列中,视频帧的标识信息不一致,将所述视频帧的标识信息在保持顺序的前提下调整为一致。
8.根据权利要求2所述的方法,其特征在于,将所述原始视频源中的音频帧与所述目标视频帧序列中的目标视频帧进行封装,得到两路所述原始视频源对应的裸眼3D视频文件的步骤,包括:
以任一路所述原始视频源中的音频帧作为目标音频帧;
通过预设编码算法对所述目标音频帧和所述目标视频帧序列中的目标视频帧进行进行封装,得到两路所述原始视频源对应的裸眼3D视频文件。
9.根据权利要求8所述的方法,其特征在于,所述预设编码算法包括以下之一:H264编码算法、H265编码算法和AV1编码算法。
10.一种视频处理装置,其特征在于,所述装置包括:
视频源获取模块,用于获取用于3D呈现的两路原始视频源;
视频解码模块,用于对两路所述原始视频源分别进行解码,得到两路所述原始视频源分别对应的第一视频帧序列和第二视频帧序列;
目标帧选择模块,用于按照视频帧的标识信息,从所述第一视频帧序列和所述第二视频帧序列分别交替选择目标视频帧,以使得到的第一目标视频帧集合和第二目标视频帧集合中的目标视频帧的标识信息互补;
帧组合模块,用于按照目标视频帧的标识信息的顺序,对所述第一目标视频帧集合和所述第二目标视频帧集合中的目标视频帧进行交叉组合,得到目标视频帧序列。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至9任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011614555.7A CN114697758B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置及电子设备 |
PCT/CN2021/129870 WO2022142757A1 (zh) | 2020-12-30 | 2021-11-10 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011614555.7A CN114697758B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697758A true CN114697758A (zh) | 2022-07-01 |
CN114697758B CN114697758B (zh) | 2023-03-31 |
Family
ID=82132974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011614555.7A Active CN114697758B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114697758B (zh) |
WO (1) | WO2022142757A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116567353B (zh) * | 2023-07-10 | 2023-09-12 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频投放方法及装置、存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212699A (zh) * | 2006-12-26 | 2008-07-02 | 三星电子株式会社 | 用于处理三维图像信号的三维图像显示装置、方法和*** |
CN103024449A (zh) * | 2011-09-28 | 2013-04-03 | ***通信集团公司 | 视频帧流处理方法、视频服务器及终端设备 |
CN103081478A (zh) * | 2010-06-24 | 2013-05-01 | 电子部品研究院 | 用于配置立体运动图片文件的方法 |
CN104363437A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种立体视频录制方法和立体视频录制设备 |
CN106303495A (zh) * | 2015-06-30 | 2017-01-04 | 深圳创锐思科技有限公司 | 全景立体图像的合成方法、装置及其移动终端 |
CN108111833A (zh) * | 2016-11-24 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 用于立体视频编解码的方法、装置及*** |
CN110868560A (zh) * | 2018-08-27 | 2020-03-06 | 青岛海信移动通信技术股份有限公司 | 一种基于双目相机的录像方法及终端设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100943950B1 (ko) * | 2008-07-14 | 2010-03-03 | 삼성에스디아이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
WO2012061549A2 (en) * | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
CN102547313A (zh) * | 2010-12-21 | 2012-07-04 | 北京睿为视讯技术有限公司 | 一种立体视频播放***及其方法 |
US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
CN107872670A (zh) * | 2017-11-17 | 2018-04-03 | 暴风集团股份有限公司 | 一种3d视频编解码方法、装置、服务器、客户端及*** |
CN111447504B (zh) * | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
-
2020
- 2020-12-30 CN CN202011614555.7A patent/CN114697758B/zh active Active
-
2021
- 2021-11-10 WO PCT/CN2021/129870 patent/WO2022142757A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212699A (zh) * | 2006-12-26 | 2008-07-02 | 三星电子株式会社 | 用于处理三维图像信号的三维图像显示装置、方法和*** |
CN103081478A (zh) * | 2010-06-24 | 2013-05-01 | 电子部品研究院 | 用于配置立体运动图片文件的方法 |
CN103024449A (zh) * | 2011-09-28 | 2013-04-03 | ***通信集团公司 | 视频帧流处理方法、视频服务器及终端设备 |
CN104363437A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 一种立体视频录制方法和立体视频录制设备 |
CN106303495A (zh) * | 2015-06-30 | 2017-01-04 | 深圳创锐思科技有限公司 | 全景立体图像的合成方法、装置及其移动终端 |
CN108111833A (zh) * | 2016-11-24 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 用于立体视频编解码的方法、装置及*** |
CN110868560A (zh) * | 2018-08-27 | 2020-03-06 | 青岛海信移动通信技术股份有限公司 | 一种基于双目相机的录像方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022142757A1 (zh) | 2022-07-07 |
CN114697758B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106303573B (zh) | 一种3d视频图像处理方法及服务器和客户端 | |
US8218855B2 (en) | Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image | |
CN102918847B (zh) | 显示图像的方法和设备 | |
US20130169543A1 (en) | Rendering Apparatuses, Display System and Methods for Rendering Multimedia Data Objects with a Function to Avoid Eye Fatigue | |
JP2009207136A (ja) | 複数のビデオストリームを処理する方法、ビデオストリームの符号化システムおよびビデオストリームの復号化システム | |
TWI539790B (zh) | 用於產生及重建一視訊串流之裝置、方法與軟體產品 | |
US20150304640A1 (en) | Managing 3D Edge Effects On Autostereoscopic Displays | |
US20110157163A1 (en) | Image processing device and image processing method | |
Battisti et al. | Toward the assessment of quality of experience for asymmetric encoding in immersive media | |
US8941718B2 (en) | 3D video processing apparatus and 3D video processing method | |
US20110157164A1 (en) | Image processing apparatus and image processing method | |
US9491435B2 (en) | Image synchronization method and associated apparatus | |
CN114697758B (zh) | 视频处理方法、装置及电子设备 | |
US10553029B1 (en) | Using reference-only decoding of non-viewed sections of a projected video | |
CN103209335A (zh) | 支持高屏幕刷新率的立体电影播放方法及*** | |
CN110198457B (zh) | 视频播放方法及其设备、***、存储介质、终端、服务器 | |
WO2012165218A1 (ja) | 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 | |
CN114040184A (zh) | 图像显示方法、***、存储介质及计算机程序产品 | |
KR20200143287A (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
CN104185005B (zh) | 图像处理装置和图像处理方法 | |
KR101433082B1 (ko) | 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 | |
US10609356B1 (en) | Using a temporal enhancement layer to encode and decode stereoscopic video content | |
Wilczewski | Analysis of content quality evaluation within 3DTV service distribution systems | |
WO2017113727A1 (zh) | 立体片源的播放优化方法及装置 | |
TWI838050B (zh) | 立體成像串流方法及應用其之電子裝置與伺服裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |