CN106303492A - 视频处理方法及装置 - Google Patents
视频处理方法及装置 Download PDFInfo
- Publication number
- CN106303492A CN106303492A CN201510278144.8A CN201510278144A CN106303492A CN 106303492 A CN106303492 A CN 106303492A CN 201510278144 A CN201510278144 A CN 201510278144A CN 106303492 A CN106303492 A CN 106303492A
- Authority
- CN
- China
- Prior art keywords
- view
- pending
- frame
- specially good
- good effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 304
- 239000000463 material Substances 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 241000533950 Leucojum Species 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000011464 Pachycereus pringlei Nutrition 0.000 description 1
- 240000006939 Pachycereus weberi Species 0.000 description 1
- 235000011466 Pachycereus weberi Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种视频处理方法及其装置,所述方法包括:获取待处理3D视频序列,待处理3D视频序列包含多帧3D待处理图像;在待处理3D视频序列中依序截取每一帧待处理图像,每一帧待处理图像包括具有视差的第一视图和第二视图;接收用户指令,确定需要为待处理图像增加的特效素材数据;根据特效属性信息,将特效素材数据分别与每一帧待处理图像对应的第一视图和第二视图融合,获得与待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图;存储待处理3D视频序列对应的每一帧待处理图像对应的具有3D特效效果的视图。本发明可以使用户获得较佳的3D观测效果,改善用户体验。
Description
技术领域
本发明涉及立体显示技术领域,具体涉及一种视频处理方法及装置。
背景技术
在立体显示技术中,人机交互不局限于二维平面,目前已拓展到三维空间。为追求真实感,在三维空间中的交互必须与视觉效果紧密结合。随着智能手机、平板电脑等便携式电子设备的普及,用户可以通过摄像头等拍摄照片或视频,并且通过软件对拍摄的照片或视频进行处理,例如,美化、修饰等。但是现有技术中对照片或者视频的处理,仍局限于增加平面效果,而不能增加立体动态效果,随着人们对立体显示效果越来越高的追求,如何在用户拍摄或者便携式电子设备中存储的3D视频序列数据中增加立体动态修饰效果,是目前亟待解决的问题。
发明内容
本发明的目的是提供一种视频处理方法,以实现对立体视频序列增加立体动态特效,使得用户能够在立体显示设备上观看修饰后的待处理3D视频序列,并且观看到立体动态特效。
为实现上述目的,本发明第一方面提供了一种视频处理方法,所述方法包括:
获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,其中,所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息;
存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
依照本发明较佳实施例所述的方法,其中,所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据,进一步包括:
接收用户对应用程序中列表的选择指令,确定所述特效素材数据。
依照本发明较佳实施例所述的方法,其中,所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据,进一步包括:
接收用户输入的文字信息指令,在特效素材数据库中查找所述特效素材数据。
依照本发明较佳实施例所述的方法,其中,所述特效属性信息通过用户输入确定、或者通过存储模型确定。
依照本发明较佳实施例所述的方法,其中,所述根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,具体包括:
获取所述第一视图与所述第二视图中每一帧视图对应的视差信息;
根据所述特效属性信息包括的特效素材在所述待处理图像中的位置信息和所述第一视图与所述第二视图中每一帧视图对应的视差信息,将每一帧视图对应大小的所述特效素材分别与每幅视图在对应位置合成,所述合成包括每幅视图的像素数据更改。
依照本发明较佳实施例所述的方法,其中,在所述根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,之前,还包括:
为融合前的每一帧待处理图像对应的所述第一视图或所述第二视图增加边框。
依照本发明较佳实施例所述的方法,其中,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后的每一帧待处理图像对应的所述第一视图和所述第二视图分别按照所来源帧的顺序进存储。
依照本发明较佳实施例所述的方法,其中,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧中待处理图像对应的所述第一视图和所述第二视图合成,组成与所述待处理3D视频序列包含帧数对应的视图序列;
按照顺序存储所述视图序列。
依照本发明较佳实施例所述的方法,其中,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后的每一帧待处理图像对应的所述第一视图和所述第二视图分别按照所来源帧的顺序进存储;
将每一帧待处理图像对应的边框按顺序存储。
依照本发明较佳实施例所述的方法,其中,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧中待处理图像对应的所述第一视图和所述第二视图合成,组成与所述3D视频序列包含帧数对应的视图序列;
按照顺序存储所述视图序列;
将每一帧待处理图像对应的边框按顺序存储。
依照本发明较佳实施例所述的方法,其中,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧待处理图像中的所述第一视图或所述第二视图与该帧对应的边框进行合成,组成与待处理3D视频序列包含帧数对应的带有边框的视图序列;
存储所述视图序列。
依照本发明较佳实施例所述的方法,其中,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
依照本发明较佳实施例所述的方法,其中,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列、边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
依照本发明较佳实施例所述的方法,其中,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;
将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;
将动态效果信息存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
依照本发明较佳实施例所述的方法,其中,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;
将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;
将所述边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
第二方面,本发明实施例提供了一种视频处理装置,所述装置包括:
视频序列获取单元,用于获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
图像处理单元,用于在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
素材确定单元,用于接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
融合单元,用于根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,其中,所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息;
存储单元,用于存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
本发明实施例提供的视频处理方法,能够对获取到的待处理3D视频序列中每一帧待处理图像,根据接收的用户指令,确定需要为所述待处理图像增加的特效素材数据和特效属性信息,并将特效素材数据与每一帧待处理的3D待处理图像融合,获得具有3D特效效果的视频,以使得用户能够获得较佳3D观看效果,满足用户需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频处理方法的效果图;
图2为本发明实施例提供的视频处理方法的流程图;
图3是本发明实施例中的一种待处理图像的示意图;
图4是本发明实施例中为每帧视图增加动态特效的过程参考图;
图5是本发明另一实施例中为待处理图像增加边框的效果示意图;
图6是本发明实施例提供的视频处理装置一种实施例的结构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。需要说明的是,在不会产生冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不局限于下面公开的具体实施例的限制。在本发明的具体实施方式中,为了便于区分,采用了“第一”、“第二”等术语来区分不同的技术特征,需要时可以将该类术语进行更换,不应理解为对本发明的限制。
本发明实施例提供的视频处理方法,可以应用于立体拍照、或者其他图像处理领域,例如应用于具有拍照功能的移动通信终端、平板电脑等,其中优选可以应用于具有光栅等分光器件的3D手机、平板电脑等便携式电子设备中,但是并不局限于此。如图1中所示的,可以在智能手机中观看具有3D动态特效的视图。例如,用户通过智能手机拍摄了3D视频之后,希望对图像进行美化,增加动态3D效果,例如增加漂浮的羽毛、雪花、气泡、雨滴等动态效果,则可以通过本实施例提供的视频处理方法,获得用户所希望得到的效果。
有鉴于此,本发明实施例第一方面提供了一种视频处理方法,图2是该实施例提供的视频处理方法的流程图,由图2可见,该实施例可以包括:
S201,获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
在该步骤中,用户可以通过电子设备上的摄像头拍摄获得待处理3D视频序列,也可以通过下载、数据交互等方式获得待处理3D视频序列,视频序列是由多帧3D图像依序排列而成,当顺序播放时,即可见动态视频。
S202,在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
在本实施例中,为了能够获得3D观看效果,每一帧图像必须具有两幅视图,其中,第一视图为3D图像的左视图,第二视图为3D图像的右视图。可以理解的是,同一帧3D视图中的第一视图与第二视图在水平位置上具有水平视差。
S203、接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
在该步骤中,电子设备(例如智能手机)可以根据用户指令,确定需要为待处理视图增加的特效素材数据。例如,在本发明实施例作为一种通过应用程序实现的实施例中,用户可以通过应用程序提供的选择列表选择需要增加的特效素材数据,也可以通过应用程序提供的搜索界面,选择特效素材数据,或者通过预设的模板或者模型,选择特效素材数据,不多赘述。
S204、根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图;
具体而言,在该步骤中、电子设备可以根据特效属性信息,将特效素材数据与待处理图像进行合成,从而获得具有3D特效效果的视图。
可以理解的是,在将特效素材数据与第一视图和第二视图融合后,获得的具有3D特效效果的视图为1个视图,该视图包括了特效素材数据、第一视图、第二视图的内容。
更具体地说,所述特效素材数据对应的同一素材在分别与待处理3D视频序列中的每一帧待处理图像对应的第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息、变化信息,需要生成的帧数通常为待处理3D视频序列中包含的图像帧数,才能够观测到完整的动态效果。
进一步地,在将特效素材数据分别与第一视图和第二视图进行融合时,可以获取第一视图与第二视图中每一帧视图对应的视差信息,所述视差信息的获取方式可以为在智能手机拍摄了3D图像后,智能手机自动对左右视图进行比对,进而存储在智能手机中;或者,可以为在智能手机拍摄了3D图像后,智能手机将该3D图像输出至第三方平台,由第三方平台进行比对后,再反馈至智能手机中;根据特效属性信息中每一帧视图对应的位置信息和每一帧3D视图中第一视图与第二视图的视差信息,其中该位置信息与视差信息一一对应,将每一帧视图对应大小的特效素材与每幅视图在对应位置合成,合成包括每幅视图的像素数据更改。
或者,不需要计算第一视图与第二视图之间的视差,直接将特效素材与背景视图融合。
但是,优选的电子设备在计算视差之后根据视差将特效素材与视图进行融合,融合时左右图中特效素材特效之间的视差大于第一视图和第二视图中相应位置处的视差。
在将特效素材与待处理视图进行融合时,具有多种方式可以实现,例如,在选择蝴蝶作为特效素材的实施例中,可以将图片某一位置区域的像素替换为蝴蝶素材对应的像素数据,即可得到所需的合成视图。
需要注意的是,在一帧3D效果视图中,通常包含两幅视图,也就是第一视图增加特效素材后的视图和第二视图增加特效后的视图,同种素材在与第一视图和第二视图分别融合时,通常具有视差,该视差可以通过位置信息确定,例如第一视图上的位置行列坐标为(100,100),相应在第二视图上的位置行列坐标为(102,100)。
在不同帧中的每幅视图中的特效素材合成位置,可以随机,也可以根据与用户的交互确定,或者通过一定的规律确定,例如运动轨迹算法确定,不多赘述。
特效属性信息中还可以包含变化信息,例如特效素材可以在尺寸上进行变化,也可以在形状上产生变化。
可以理解的是,在本发明实施例中,所述特效素材即为特效素材数据。
S205、存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
具体而言,在通过步骤S201-S205为3D视频图像增加3D效果之后,可以将具有3D特效的多帧视图存储,例如存储为MP4格式或者其他可播放的格式,之后,在3D设备上播放,即可观测到3D视频上的3D动态效果。例如,图1所示的图像中随着列车前进,具有3D动态的雪花飘落,悬浮在空中。
可参考图3所示,其为本发明实施例中电子设备从待处理3D视频序列中截取的一张待处理3D视图,该待处理3D视图包括第一视图和第二视图,其中,第一视图为3D图像的左视图,第二视图为3D图像的右视图。第一视图与第二视图中所对应的同一帧视图在水平位置上具有水平视差。用户需要通过电子设备为该视图增加3D漂浮雪花的动态效果。
在电子设备根据用户指令,确定了需要处理的视图之后,电子设备可以根据用户指令确定用户希望为视图增加的动态特效素材,例如用户通过列表,选中雪花作为动态素材。
其中,特效属性中的位置信息可以是通过随机算法生成的,也可以是通过用户点击屏幕确定的,帧数可以通过模型确定,也可以通过用户输入确定,变化信息可以是大小变化信息,也可以是轨迹变化信息,还可以是颜色变化信息。
需要注意的是,在本发明实施例中,由于第一视图与第二视图中所对应的同一帧视图在水平位置上具有水平视差,因此,在对待处理图像与特效素材数据进行融合之前,还可以获取每一帧视图对应的第一视图与第二视图的视差信息。其中,特效属性中每一帧视图对应的位置信息应可以与视差信息一一对应,进而实现快速准确地对待处理图像进行融合。
之后,根据所述特效属性信息中每一帧视图对应的位置信息和视差信息,将每一帧视图对应的特效素材与每幅视图在对应位置合成,所述合成包括像素数据更改。
或者,不需要计算第一视图与第二视图之间的视差,直接将特效素材与背景视图融合。
但是,优选的电子设备在计算视差之后根据视差将特效素材与视图进行融合,融合时左右图中特效素材特效之间的视差大于第一视图和第二视图中相应位置处的视差。
可参考图4,每一帧图像中的每一个雪花特效素材的位置各不相同,但是每一帧中的两幅视图上雪花特效素材的位置都具有偏移,不同帧上雪花的位置又有所区别,因此,当多帧包含两个视图的序列连续播放时,即可观看到动态的效果,特别是当多帧包含两幅增加了特效素材的视图在3D设备上播放时,由于特效素材在横向上具有视差,因此可以观测到3D效果,例如图1所示。
例如,为了让雪花在3D屏幕上能看到立体效果,第一视图和第二视图的雪花位置在水平方向有偏移,偏移大小也可以是围绕一定范围随机出现。此外,也可以以模板的形式为每个视图增加3D动态特效,通过模板中相关信息来生成雪花,模板中包含雪花的位置、大小、一帧视图中两视图中对应位置的视差、雪花的运动轨迹等信息。
交互式方法生成雪花的思路是用户点击处先出现雪花,然后按圆形、放射形等向四周扩散。
交互式生成算法流程与随机生成方法也相似,区别在于,交互式生成算法第一帧生成的位置一般是围绕用户的触点生成效果,运动模型可以采用圆形运动模型,以用户触点为圆心,在半径为r处的效果,运动到r',r'=kr,k是标量,并不会改变r的方向。
以上是特效融合的几种实现方式,不多赘述。
通过上述的方案,能够实现在3D观看设备上观测3D效果的同时,还可观测动态3D效果,但是,对于2D设备,则不能观测到动态3D效果,只能观测到两张具有雪花的多张连续动态图,类似GIF动图,为此,为了使得用户在2D设备上也能对视频序列观测动态3D效果,在步骤S204之前,也就是根据特效属性信息,将特效素材数据与每一帧待处理图像对应的第一视图和第二视图融合,获得与待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图之前,电子设备可以为融合前的每一帧待处理图像对应的第一视图或第二视图增加边框,可参考图5。当多帧带有边框的3D视图连续播放时,用户也能够感受到类似3D动态效果,从而达到2D和3D兼容的效果。
在通过前述的实施例对待处理视图增加了3D动态特效之后,电子设备需要存储具有3D特效效果的视图。具体有以下的几种:
第一种,将融合后的每一帧待处理图像对应的第一视图和第二视图分别按照所来源帧的顺序存储。存储之后,进行分别打包。在需要播放时依序组合后进行播放,如表1所示。
第一视图序列 | 第二视图序列 |
表1
第二种、将融合后每一帧中待处理图像对应的第一视图和第二视图合成,组成与所述待处理3D视频序列包含帧数对应的视图序列;按照顺序存储所述视图序列。存储之后,进行打包。在需要播放时依序进行播放,如表2所示。
(第二视图+第一视图)合成序列 |
表2
在需要增加边框的实施例中,所述存储所述具有3D特效效果的视图,可以是如下的几种方案:
例如,表3所示,将融合后的每一帧待处理图像对应的第一视图和第二视图分别按照所来源帧的顺序进存储;
将每一帧待处理图像对应的边框按顺序存储。
第一视图序列 | 第二视图序列 | 边框图序列 |
表3
用户如果在3D设备上进行播放,则可以直接打开播放,而如果需要传输到不具有3D显示功能的2D设备上,则可以选择只传输边框序列和融合后的一个视图序列,而无需全部传输,可以减少传输数据。
或者,如表4所示,将融合后每一帧中待处理图像对应的第一视图和第二视图合成,组成与所述待处理3D视频序列包含帧数对应的视图序列;
按照顺序存储所述视图序列;
将每一帧待处理图像对应的边框按顺序存储。
(第一视图+第二视图)合成序列 | 边框图序列 |
表4
在该实施例中,在3D设备上传输和观看时,可以只传输视图序列,而不传输边框序列,而在传输给2D设备时,则需要传输边框序列,组合后再进行播放。
此外,所述存储所述具有3D特效效果的视图,还可以将融合后每一帧待处理图像中的第一视图或第二视图分别与该帧对应的边框进行合成,组成与待处理3D视频序列包含帧数对应的带有边框的视图序列;存储所述视图序列,如表5所示。
(第一视图+第二视图+边框图)合成序列 |
表5
在传输时,需要传输全部的视图序列,在2D设备上播放时,也能直接播放观看类似3D动态的效果,不多赘述。
此外,为了满足传输需求,还可以只将待处理的图像进行存储、并且把动态特效属性信息以及素材信息进行打包之后进行存储,之后。接收到该些信息的电子设备,可以直接根据接收到的信息中的上述信息,进行图像处理,得到与发送方相同的具有相同3D动态效果的视图,由于只传输了待处理图像和相应的动态特效属性信息,可以大大节省传输数据量。
例如,在一种实施例中,电子设备可以在存储所述具有3D特效效果的视图时,如表6所示,将所述待处理3D视频序列及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
待处理3D视频序列 | 动态效果信息 |
表6
如果需要增加边框,则电子设备在存储所述具有3D特效效果的视图时,还可以如表7所示:将所述待处理3D视频序列、边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
待处理3D视频序列 | 动态效果信息 | 边框信息 |
表7
例如,在又一种实施例中,电子设备可以在存储所述具有3D特效效果的视图时,如表8所示,将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;将动态效果信息存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
第一视图序列 | 第二视图序列 | 动态效果信息 |
表8
如果需要增加边框,则电子设备在存储所述具有3D特效效果的视图时,还可以如表9所示:将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;
将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;
将所述边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
第一视图 | 序列 | 第二视图 | 序列 | 动态效果信息 | 边框信息 |
表9
通过上述实施例,本发明实施例提供的视频处理方法,能够对获取到的待处理3D视频序列中每一帧待处理图像,根据用户指令所确定的需要为所述待处理图像增加的特效素材数据和特效属性信息,将特效素材数据与每一帧待处理的3D待处理图像融合,获得具有3D特效效果的视频,以使得用户能够获得较佳3D观测效果,满足用户需求。
相应的,本发明实施例提供了一种视频处理装置,可参考图6,所述装置包括:
视频序列获取单元601,用于获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
图像处理单元602,用于在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
素材确定单元603,用于接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
融合单元604,用于根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,其中,所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息;
存储单元605,用于存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
该实施例是与前述方法实施例对应的装置实施例,因此不多赘述。
本发明实施例提供的视频处理装置,能够对获取到的待处理3D视频序列中每一帧待处理图像,根据接收的用户指令,确定需要为所述待处理图像增加的特效素材数据和特效属性信息,并将特效素材数据与每一帧待处理的3D待处理图像融合,获得具有3D特效效果的视频,以使得用户能够获得较佳3D观测效果,满足用户需求。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (16)
1.一种视频处理方法,其特征在于,所述方法包括:
获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,其中,所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息;
存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
2.如权利要求1所述的方法,其特征在于,所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据,进一步包括:
接收用户对应用程序中列表的选择指令,确定所述特效素材数据。
3.如权利要求1所述的方法,其特征在于,所述接收用户指令、确定需要为所述待处理视图增加的特效素材数据,进一步包括:
接收用户输入的文字信息指令,在特效素材数据库中查找所述特效素材数据。
4.如权利要求1所述的方法,其特征在于,所述特效属性信息通过用户输入确定、或者通过存储模型确定。
5.如权利要求4所述的方法,其特征在于,所述根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,具体包括:
获取所述第一视图与所述第二视图中每一帧视图对应的视差信息;
根据所述特效属性信息包括的特效素材在所述待处理图像中的位置信息和所述第一视图与所述第二视图中每一帧视图对应的视差信息,将每一帧视图对应大小的所述特效素材分别与每幅视图在对应位置合成,所述合成包括每幅视图的像素数据更改。
6.如权利要求1所述的方法,其特征在于,在所述根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,之前,还包括:
为融合前的每一帧待处理图像对应的所述第一视图或所述第二视图增加边框。
7.如权利要求1所述的方法,其特征在于,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后的每一帧待处理图像对应的所述第一视图和所述第二视图分别按照所来源帧的顺序进存储。
8.如权利要求1所述的方法,其特征在于,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧中待处理图像对应的所述第一视图和所述第二视图合成,组成与所述待处理3D视频序列包含帧数对应的视图序列;
按照顺序存储所述视图序列。
9.如权利要求1所述的方法,其特征在于,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后的每一帧待处理图像对应的所述第一视图和所述第二视图分别按照所来源帧的顺序进存储;
将每一帧待处理图像对应的边框按顺序存储。
10.如权利要求6所述的方法,其特征在于,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧中待处理图像对应的所述第一视图和所述第二视图合成,组成与所述3D视频序列包含帧数对应的视图序列;
按照顺序存储所述视图序列;
将每一帧待处理图像对应的边框按顺序存储。
11.如权利要求1所述的方法,其特征在于,所述存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图,进一步包括:
将融合后每一帧待处理图像中的所述第一视图或所述第二视图与该帧对应的边框进行合成,组成与待处理3D视频序列包含帧数对应的带有边框的视图序列;
存储所述视图序列。
12.如权利要求1所述的方法,其特征在于,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
13.如权利要求6所述的方法,其特征在于,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列、边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
14.如权利要求1所述的方法,其特征在于,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;
将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;
将动态效果信息存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
15.如权利要求6所述的方法,其特征在于,所述存储所述具有3D特效效果的视图,进一步包括:
将所述待处理3D视频序列中的每一帧待处理图像中的第一视图按顺序存储;
将所述待处理3D视频序列中的每一帧待处理图像中的第二视图按顺序存储;
将所述边框信息及动态效果信息分别存储,所述动态效果信息包含所述特效属性信息和特效素材数据。
16.一种视频处理装置,其特征在于,所述装置包括:
视频序列获取单元,用于获取待处理3D视频序列,所述待处理3D视频序列包含多帧待处理图像,所述待处理图像为3D图像;
图像处理单元,用于在所述待处理3D视频序列中依序截取每一帧待处理图像,所述每一帧待处理图像包括具有视差的第一视图和第二视图;
素材确定单元,用于接收用户指令,确定需要为所述待处理图像增加的特效素材数据;
融合单元,用于根据特效属性信息,将所述特效素材数据分别与每一帧待处理图像对应的所述第一视图和所述第二视图融合,获得与所述待处理3D视频序列中每一帧待处理图像对应的具有3D特效效果的视图,其中,所述特效素材数据对应的同一素材在与所述第一视图和第二视图融合后,在水平位置上具有视差;所述特效属性信息包括特效素材在所述待处理视图中的位置信息;
存储单元,用于存储所述待处理3D视频序列对应的每一帧待处理图像对应的所述具有3D特效效果的视图。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510278144.8A CN106303492A (zh) | 2015-05-27 | 2015-05-27 | 视频处理方法及装置 |
US15/165,048 US20160353085A1 (en) | 2015-05-27 | 2016-05-26 | Video processing method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510278144.8A CN106303492A (zh) | 2015-05-27 | 2015-05-27 | 视频处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106303492A true CN106303492A (zh) | 2017-01-04 |
Family
ID=57399742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510278144.8A Pending CN106303492A (zh) | 2015-05-27 | 2015-05-27 | 视频处理方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160353085A1 (zh) |
CN (1) | CN106303492A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111083438A (zh) * | 2019-12-04 | 2020-04-28 | 广东康云科技有限公司 | 基于视频融合的无人巡检方法、***、装置和存储介质 |
CN111447504A (zh) * | 2020-03-27 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106303493B (zh) * | 2015-05-27 | 2018-06-29 | 深圳超多维光电子有限公司 | 图像处理方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043262A1 (en) * | 2001-08-30 | 2003-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for handling stereoscopic images utilizing parallax images |
CN101079972A (zh) * | 2006-05-24 | 2007-11-28 | 松下电器产业株式会社 | 控制方法、控制设备及映像*** |
US20090195641A1 (en) * | 2008-02-05 | 2009-08-06 | Disney Enterprises, Inc. | Stereoscopic image generation using retinal rivalry in scene transitions |
US20120068996A1 (en) * | 2010-09-21 | 2012-03-22 | Sony Corporation | Safe mode transition in 3d content rendering |
CN102625121A (zh) * | 2011-01-25 | 2012-08-01 | Jvc建伍株式会社 | 3d图像处理装置及3d图像处理方法 |
CN102638697A (zh) * | 2011-02-14 | 2012-08-15 | 索尼公司 | 图像处理设备和图像处理方法及其程序 |
CN103458307A (zh) * | 2013-09-02 | 2013-12-18 | Tcl光电科技(惠州)有限公司 | 图像处理方法和装置 |
CN103929634A (zh) * | 2013-01-11 | 2014-07-16 | 三星电子株式会社 | 3d动画效果产生方法和*** |
CN104106263A (zh) * | 2012-02-13 | 2014-10-15 | 汤姆逊许可公司 | 将三维图形动画***到三维立体内容中的方法及设备 |
-
2015
- 2015-05-27 CN CN201510278144.8A patent/CN106303492A/zh active Pending
-
2016
- 2016-05-26 US US15/165,048 patent/US20160353085A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043262A1 (en) * | 2001-08-30 | 2003-03-06 | Sanyo Electric Co., Ltd. | Method and apparatus for handling stereoscopic images utilizing parallax images |
CN101079972A (zh) * | 2006-05-24 | 2007-11-28 | 松下电器产业株式会社 | 控制方法、控制设备及映像*** |
US20090195641A1 (en) * | 2008-02-05 | 2009-08-06 | Disney Enterprises, Inc. | Stereoscopic image generation using retinal rivalry in scene transitions |
US20120068996A1 (en) * | 2010-09-21 | 2012-03-22 | Sony Corporation | Safe mode transition in 3d content rendering |
CN102625121A (zh) * | 2011-01-25 | 2012-08-01 | Jvc建伍株式会社 | 3d图像处理装置及3d图像处理方法 |
CN102638697A (zh) * | 2011-02-14 | 2012-08-15 | 索尼公司 | 图像处理设备和图像处理方法及其程序 |
CN104106263A (zh) * | 2012-02-13 | 2014-10-15 | 汤姆逊许可公司 | 将三维图形动画***到三维立体内容中的方法及设备 |
CN103929634A (zh) * | 2013-01-11 | 2014-07-16 | 三星电子株式会社 | 3d动画效果产生方法和*** |
CN103458307A (zh) * | 2013-09-02 | 2013-12-18 | Tcl光电科技(惠州)有限公司 | 图像处理方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111083438A (zh) * | 2019-12-04 | 2020-04-28 | 广东康云科技有限公司 | 基于视频融合的无人巡检方法、***、装置和存储介质 |
CN111083438B (zh) * | 2019-12-04 | 2021-05-25 | 广东康云科技有限公司 | 基于视频融合的无人巡检方法、***、装置和存储介质 |
CN111447504A (zh) * | 2020-03-27 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
CN111447504B (zh) * | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
US11785195B2 (en) | 2020-03-27 | 2023-10-10 | Beijing Bytedance Network Technology Co., Ltd. | Method and apparatus for processing three-dimensional video, readable storage medium and electronic device |
Also Published As
Publication number | Publication date |
---|---|
US20160353085A1 (en) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10587871B2 (en) | 3D User Interface—360-degree visualization of 2D webpage content | |
CN106303491A (zh) | 图像处理方法及装置 | |
US11024085B2 (en) | Electronic system and method for three-dimensional mixed-reality space and experience construction and sharing | |
CN106296781A (zh) | 特效图像生成方法及电子设备 | |
CN105208460B (zh) | 经由web浏览器访问广播接收器的显示设备及其控制方法 | |
US11003305B2 (en) | 3D user interface | |
JP2006325165A (ja) | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 | |
CN105704478A (zh) | 用于虚拟和现实场景的立体显示方法、装置及电子设备 | |
CN107343206B (zh) | 支持多视角观看的视频生成方法、装置、介质和电子设备 | |
CN106598250B (zh) | 一种vr显示方法、装置和电子设备 | |
Knust et al. | Principles and terminology of true-3D geovisualisation | |
CN106303493A (zh) | 图像处理方法及装置 | |
CN106303492A (zh) | 视频处理方法及装置 | |
US20130257686A1 (en) | Distributed virtual reality | |
CN107945270A (zh) | 一种三维数字沙盘*** | |
CN106303494A (zh) | 视频处理方法及装置 | |
CN107635132A (zh) | 裸眼3d显示终端的显示控制方法、装置及显示终端 | |
US10623713B2 (en) | 3D user interface—non-native stereoscopic image conversion | |
CN108370437A (zh) | 多视点视频稳定化 | |
CN105975259A (zh) | 一种3d空间用户界面的实现方法及其装置 | |
CN109151443A (zh) | 高舒适度立体视频生成方法、***及终端设备 | |
WO2013024847A1 (ja) | 立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラム | |
US9201569B2 (en) | Method and recorded medium for providing 3D information service | |
CN105975179A (zh) | 一种3d空间用户界面的操作对象确定方法及其装置 | |
CN106231283B (zh) | 一种虚拟立体场景的构建方法、装置及立体显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180725 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen super Technology Co., Ltd. Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen. Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |