CN105812920B - 媒体信息处理方法及媒体信息处理装置 - Google Patents
媒体信息处理方法及媒体信息处理装置 Download PDFInfo
- Publication number
- CN105812920B CN105812920B CN201610143913.8A CN201610143913A CN105812920B CN 105812920 B CN105812920 B CN 105812920B CN 201610143913 A CN201610143913 A CN 201610143913A CN 105812920 B CN105812920 B CN 105812920B
- Authority
- CN
- China
- Prior art keywords
- media information
- segment
- information segment
- target
- target media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000331006 Euchaeta media Species 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种媒体信息处理方法及媒体信息处理装置;方法包括:第一装置确定目标媒体信息的媒体信息片段以及各所述媒体信息片段的特征,基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;确定所述目标媒体信息中除所述目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;确定所述目标媒体信息中各所述媒体信息片段的拼接方式,基于所确定的拼接方式将所述第一媒体信息片段与所述第二媒体信息片段进行拼接,得到拼接后媒体信息。实施本发明,能够将用户拍摄的媒体信息片段与用户所模仿的媒体信息进行高效、无缝地合成。
Description
技术领域
本发明涉及媒体信息处理技术,尤其涉及一种媒体信息处理方法及媒体信息处理装置。
背景技术
目前因特网等网络飞速发展,成为用户获取信息、分享信息的重要媒介。网络接入带宽不断提升和移动通信的快速发展,使用户随时随地分享媒体信息(如视频信息、音频信息)成为可能。
用户往往以多种形式分享媒体信息,如用户使用设备(如使用智能手机、平板电脑等移动终端设备中的摄像头)拍摄得到视频信息在设备本地保存,或者进行分享(如在社交网络中进行分享,或者与特定的联系人进行分享)。
随着自媒体的兴起,用户存在对已有的媒体信息(成品的影视作品如电影、电视剧等)中的片段(或者全部)进行模仿表演并拍摄为对应的媒体信息片段的需求,用户在拍摄到媒体信息片段之后利用专业媒体编辑软件对媒体信息片段进行处理,将拍摄的媒体信息片段替换媒体信息中原始的媒体信息片段,实现用户拍摄的媒体信息片段与媒体信息的融合,对于如何实现将用户拍摄的媒体信息片段与用户所模仿的媒体信息进行高效、无缝地合成,相关技术尚无有效解决方案。
发明内容
本发明实施例提供一种媒体信息处理方法及媒体信息处理装置,能够实现将用户拍摄的媒体信息片段与用户所模仿的媒体信息进行高效、无缝地合成。
本发明实施例的技术方案是这样实现的:
第一方面,本发明实施例提供一种媒体信息处理方法,所述方法包括:
第一装置确定目标媒体信息的媒体信息片段以及各所述媒体信息片段的特征,基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;
确定所述目标媒体信息中除所述目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;
确定所述目标媒体信息中各所述媒体信息片段的拼接方式;
将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述目标媒体信息、所述第一媒体信息片段、所述第二媒体信息片段均包括视频信息和音频信息;
各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中所涉及的人物角色、以及各所述人物角色的台词;
1)当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述第一媒体信息片段、所述第二媒体信息片段在时间轴上的先后顺序进行拼接;
2)当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取时,使用同步拼接方式,将所述第一媒体信息片段、所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段,包括:
加载所述目标媒体信息中各所述媒体信息片段的特征(例如,加载各所述媒体信息片段的标识供所述第一用户侧选择);
根据第一用户侧的选择操作在各所述媒体信息片段中确定所述目标媒体信息片段;
加载所述目标媒体信息片段的特征(例如,包括目标媒体信息片段的采集起始时刻、所述目标媒体信息片段的承载的人物角色、以及对应的台词),采集所述第一用户侧基于所述目标媒体信息片段的特征而实施的表演(包括对所述第一用户侧的表演进行视频采集和音频采集)。
可选地,所述目标媒体信息片段为根据用户的选取操作在所述目标媒体信息中的各所述媒体信息片段中选定,所述目标媒体信息片段的数量至少为一个,相应地,所述第一媒体信息的数量至少为一个。
可选地,各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中所涉及的人物角色、以及各所述人物角色的台词。
可选地,所述第一媒体信息片段和所述第二媒体信息片段均未承载音频信息(所述第一媒体信息片段为仅对所述第一用户侧的表演进行视频采集生成);
所述方法还包括:
获取所述目标媒体信息中的音频信息。
可选地,所述将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接,包括:
当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接;
当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取得到时,使用同步拼接方式,将成所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段,包括:
获取所述目标媒体信息中除所述第一媒体信息片段之外的各媒体信息片段为所述第二媒体信息片段;或者,
将第二装置基于所述媒体信息片段中除所述目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为所述第二媒体信息片段。
可选地,所述获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段,包括:获取所述第二装置采集第二用户侧得到的媒体信息片段,将所述第二装置采集的所述媒体信息片段的特征,与所述目标媒体信息中除所述目标媒体信息片段之外的各媒体信息片段的特征匹配,将匹配成功的所述第二装置所采集的所述媒体信息片段作为所述第二媒体信息片段。
可选地,所述第二用户侧与所述第一用户侧具有关联的社交属性。
可选地,所述方法还包括:
分析所述目标媒体信息得到所述目标媒体信息的特征,执行以下分割操作至少之一:
基于所述目标媒体信息的特征表征所述目标媒体信息的时长,对所述目标媒体信息基于时间轴分割为各所述媒体信息片段;
基于所述目标媒体信息的特征表征所述目标媒体信息的所承载的人物角色,对所述目标媒体信息中提取包括各所述人物角色的媒体信息片段,得到各所述媒体信息片段,其中各所述媒体信息片段仅承载一个所述人物角色所承载的人物角色不同。
可选地,响应所述第一用户侧的对所述媒体信息的操作指令得到所述目标媒体信息的各所述媒体信息片段;
可选地,各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中每个子片段(一个或多个帧图像)所涉及的人物角色、以及各所述人物角色的台词。
可选地,所述获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段,包括:在采集所述第一媒体信息片段的过程中,同步获取所述目标媒体信息中除所述第一媒体信息片段之外的第二媒体信息。
可选地,所述方法还包括:上传所述拼接后得到的媒体信息至服务器侧,获取所述服务器侧返回的分享链接;基于所述分享链接响应所述第一用户侧的分享操作指令。
第二方面,本发明实施例提供一种媒体信息处理装置,所述媒体信息处理装置包括:
第一确定模块,用于确定目标媒体信息的媒体信息片段以及各所述媒体信息片段的特征;
采集模块,用于基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;
第二确定模块,用于确定所述目标媒体信息中除所述目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;
第三确定模块,用于确定所述目标媒体信息中各所述媒体信息片段的拼接方式;
拼接模块,用于将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述目标媒体信息、所述第一媒体信息片段、所述第二媒体信息片段均包括视频信息和音频信息;各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中所涉及的人物角色、以及各所述人物角色的台词;
相应地,所述拼接模块,还用于1)当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述第一媒体信息片段、所述第二媒体信息片段在时间轴上的先后顺序进行拼接,
所述拼接模块,还用于2)当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取时,使用同步拼接方式,将所述第一媒体信息片段、所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述采集模块还用于加载所述目标媒体信息中各所述媒体信息片段的特征(例如,加载各所述媒体信息片段的标识供所述第一用户侧选定);
所述采集模块还用于根据第一用户侧的选择操作在各所述媒体信息片段中确定所述目标媒体信息片段;
所述采集模块还用于加载所述目标媒体信息片段的特征(可选地,包括目标媒体信息片段的采集起始时刻、所述目标媒体信息片段的承载的人物角色、以及对应的台词),采集所述第一用户侧基于所述目标媒体信息片段的特征而实施的表演(包括对所述第一用户侧的表演进行视频采集和音频采集)。
可选地,所述采集模块还用于根据用户的选取操作在所述目标媒体信息中的各所述媒体信息片段中选定所述目标媒体信息片段,所述目标媒体信息片段的数量至少为一个,相应地,所述第一媒体信息的数量至少为一个。
可选地,各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中所涉及的人物角色、以及各所述人物角色的台词。
可选地,所述第一媒体信息片段和所述第二媒体信息片段均未承载音频信息(所述第一媒体信息片段为仅对所述第一用户侧的表演进行视频采集生成);
所述拼接模块,还用于获取所述目标媒体信息中的音频信息;
所述拼接模块,还用于基于所确定的拼接方式将所获取的音频信息、所述第一媒体信息片段以及所述第二媒体信息片段进行拼接;
所述拼接模块,还用于当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接;
所述拼接模块,还用于当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取得到时,使用同步拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
可选地,所述第二确定模块,还用于获取所述目标媒体信息中除所述第一媒体信息片段之外的各媒体信息片段为所述第二媒体信息片段;或者,将第二装置基于所述媒体信息片段中除所述目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为所述第二媒体信息片段。
所述第二确定模块,还用于获取所述第二装置采集第二用户侧得到的媒体信息片段,将所述第二装置采集的所述媒体信息片段的特征,与所述目标媒体信息中除所述目标媒体信息片段之外的各媒体信息片段的特征匹配,将匹配成功的所述第二装置所采集的所述媒体信息片段作为所述第二媒体信息片段。
可选地,所述第二用户侧与所述第一用户侧具有关联的社交属性。
可选地,所述媒体信息处理装置还包括:
分析模块,用于分析所述目标媒体信息得到所述目标媒体信息的特征,执行以下分割操作至少之一:
基于所述目标媒体信息的特征表征所述目标媒体信息的时长,对所述目标媒体信息基于时间轴分割为各所述媒体信息片段;
基于所述目标媒体信息的特征表征所述目标媒体信息的所承载的人物角色,对所述目标媒体信息中提取包括各所述人物角色的媒体信息片段,得到各所述媒体信息片段,其中各所述媒体信息片段仅承载一个所述人物角色所承载的人物角色不同。
可选地,所述分析模块,还用于响应所述第一用户侧的对所述媒体信息的操作指令得到所述目标媒体信息的各所述媒体信息片段;
可选地,各所述媒体信息片段的特征包括:各所述媒体信息片段的标识(编号)、时长、各所述媒体信息片段中每个子片段(一个或多个帧图像)所涉及的人物角色、以及各所述人物角色的台词。
可选地,所述第二确定模块,还用于在所述采集模块采集所述第一媒体信息片段的过程中,同步获取所述目标媒体信息中除所述第一媒体信息片段之外的第二媒体信息。
可选地,所述媒体信息处理装置还包括:
上传模块,用于上传所述拼接后得到的媒体信息至服务器侧,获取所述服务器侧返回的分享链接;
分享模块,用于基于所述分享链接响应所述第一用户侧的分享操作指令。
第三方面,本发明实施例提供一种计算机存储介质,所述计算机存储介质中存储有可执行指令,所述可执行指令用于执行上述的媒体信息处理方法。
本发明实施例中,通过对第一用户侧期望表演的媒体信息片段的特征支持第一用户侧模仿表演目标媒体信息片段,第一用户侧在不记忆目标媒体信息片段的全部特征(如台词)的基础上即可进行模仿表演;在确定媒体信息片段后基于第一用户侧未模仿表演的媒体信息片段的特征获取需要与第一用户侧模仿目标媒体信息片段而表演的媒体信息片段进行拼接的媒体信息片段,整个过程不需要第一用户侧的任何操作,对于第一用户侧来说只需要针对目标媒体信息片段进行模仿表演,而后便可获取完整的媒体信息,这就解决了因第一用户侧无法操作专业媒体边界软件而无法生成完整的媒体信息的问题,提升了针对媒体信息的处理效率。
附图说明
图1是本发明实施例中第一设备的一个可选地硬件结构示意图;
图2是本发明实施例中媒体信息处理方法的一个可选的流程示意图;
图3是本发明实施例中媒体信息分割的一个可选的实现示意图;
图4是本发明实施例中媒体信息分割的又一个可选的实现示意图;
图5是本发明实施例中媒体信息拼接的一个可选的实现示意图;
图6是本发明实施例中媒体信息拼接的又一个可选的实现示意图;
图7是本发明实施例中采集第一媒体信息片段、获取第二媒体信息片段同步处理的示意图;
图8是本发明实施例中分享拼接后的媒体信息的场景示意图;
图9是本发明实施例中媒体信息处理方法的又一个可选的流程示意图;
图10是本发明实施例中媒体信息分割的另一个可选的实现示意图;
图11是本发明实施例中媒体信息拼接的另一个可选的实现示意图;
图12是本发明实施例中媒体信息拼接的另一个可选的实现示意图;
图13是本发明实施例中媒体信息处理装置的一个可选的***结构示意图;
图14是本发明实施例中媒体信息处理装置的又一个可选的***结构示意图。
具体实施方式
以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面首先对实施本发明以下各具体实施例的装置(在以下各具体实施例中实施为第一装置和第二装置)进行说明,装置可以采用各种方式来实施,例如在智能手机、平板电脑、笔记本电脑等移动终端设备中实施装置的全部组件,或者,在上述的移动终端设备和服务器侧以耦合的方式实施装置中的组件,以在移动终端设备实施装置的全部组件为例,参见图1示出的第一装置100的一个可选的硬件结构示意图(第二装置的硬件结构可以参考图1而实施),显示模块120用于显示第一装置中的处理器110处理的信息如媒体信息(包括视频、图像),麦克风130可以在音频采集模式中采集声音并处理为可以由处理器110处理的音频信息,摄像头140可以在图像采集模式中采集环境如对第一装置100的用户侧(以下称为第一用户侧,第一用户侧对应有至少一个用户)进行图像采集或视频采集并输出为可以由处理器110处理的视频信息,存储器150用于存储麦克风130输出的音频信息、摄像头140输出的视频信息,并存储处理器110对音频信息、视频信息进行处理的结果;通信模块160支持处理器110与服务器侧进行数据通信,如将存储器150存储的媒体信息的处理结果发送到网路侧的服务器,或者,接收服务器侧下发的信息如媒体信息供处理器110进行处理,供电模块170用于为第一装置100中的其他模块提供工作电力。
在图1中,处理器110通过总线180与第一装置100中各组件的命令以及数据的传输,对于图1中显示模块120、处理器110、麦克风130、摄像头140以及存储器150的具体实现形式不做限定,例如显示模块120可以实施为液晶显示模块、有机发光二极管显示模块等,摄像头130可以实施为单摄像头、双摄像头或3D摄像头等,麦克风130可以实施为单麦克风、双麦克风(包括主麦克风和降噪麦克风)等,存储器150可以实施为闪存(Flash)存储器、只读存储器、转移装置等;通信模块160可以实施为蜂窝通信芯片、***模块(如手机卡座、射频模块)和蜂窝天线,当然,也可以实施为无线相容性认证(WiFi)通信芯片、***模块(如射频模块)和WiFi天线。
需要指出的是,图1中示出的第一装置100中的各模块在实施以下各具体实施例中并未都是必需的,具体可以根据第一装置100在以下各具体实施例中实现的功能而实施图1示出的部分或全部硬件结构。
基于图1示出的第一装置100提出以下各具体实施例。
实施例一
本实施例记载一种媒体信息处理方法,以待处理的媒体信息包括视频信息和音频信息为例进行说明,参见图2,本实施例记载的媒体信息处理方法包括以下步骤:
步骤101,第一装置确定目标媒体信息的媒体信息片段以及各媒体信息片段的特征。
在本实施例中,第一装置本地以及服务器侧的数据库中都可以存储媒体信息,待处理的媒体信息(也就是目标媒体信息)就是第一装置的用户侧(也就是第一用户侧,例如包括第一装置的用户,还可以包括与第一装置用户配合表演模仿目标媒体信息的用户)期望模仿表演的媒体信息,第一用户侧期望模仿表演目标媒体信息的部分媒体信息片段(当然,也可以模仿表演目标媒体信息的全部媒体信息片段)。
媒体信息片段是基于目标媒体信息的特征对目标媒体信息进行分割确定,例如:方式1)基于目标媒体信息的特征表征目标媒体信息的时长,对目标媒体信息基于时间轴分割为各媒体信息片段;方式2)基于目标媒体信息的特征表征目标媒体信息的所承载的人物角色,对目标媒体信息中提取包括各人物角色的媒体信息片段,得到各媒体信息片段,其中各媒体信息片段仅承载一个人物角色所承载的人物角色不同。
以下结合上述的不同分割方式对确定媒体信息片段进行说明。
方式1)基于时间轴分割方式,根据目标媒体信息的持续时间(时长)基于时间轴的先后顺序进行平均(或不平均)分割(包括对目标媒体信息中的视频信息和音频信息进行分割,视频信息和音频信息可以从目标媒体信息中预先分离得到)得到媒体信息片段,分割得到的一个媒体信息片段包括视频信息片段和音频信息片段。
可选地,基于时间轴的先后顺序进行分割时,利用目标媒体信息的剧情(包括不同剧情在时间轴上对应的时间分段)对媒体信息进行分割,更加方便第一用户侧选择期望模仿表演的媒体信息片段。
参见图3示出的目标媒体信息基于方式1)进行分割的一个的示意图,在图3中,目标媒体信息被分割为4个媒体信息片段,媒体信息片段A、媒体信息片段B、媒体信息片段C和媒体信息片段D,其中每个媒体信息片段包括视频信息片段和音频信息片段,例如媒体信息片段A包括视频信息片段A和音频信息片段A。
方式2)基于目标媒体信息承载的不同人物角色对目标媒体信息进行分割,从目标媒体信息中依次提取仅承载不同人物角色的媒体信息片段(包括视频信息片段和音频信息片段)。
以从目标媒体信息片段中首先提取视频信息片段为例,通过图像识别技术识别出目标媒体信息的视频信息的每个帧图像,确定视频信息的每个帧图像承载的人物角色(设视频信息中承载有人物角色1和人物角色2),参见图4,在提取包括目标人物角色(设为人物角色1)的媒体信息片段时,对于只包括有人物角色1的帧图像则直接提取,对于同时包括有多个人物角色的帧图像(包括人物角色1和人物角色2的帧图像),通过图像识别技术(如人脸识别、边缘检测等技术)从帧图像提取包括目标人物角色的部分,这样从目标媒体信息的视频信息提取的帧图像将只包括人物角色1,基于所提取的包括目标人物角色的帧图像在时间轴上的位置,对目标媒体信息的音频信息进行提取同步提取,这样所提取的音频信息片段与所提取的视频信息片段在时间轴上是同步对应的,且与目标人物角色(人物角色1)对应。
在实际应用中,第一装置除了根据目标媒体信息的特征对目标媒体信息进行分割,还可以呈现目标媒体信息的特征,例如目标媒体信息的名称、分段剧情概要、时长、设计的任务角色等,供第一用户侧下达的对目标媒体信息进行分割的指令,如基于时间轴分割的指令,基于不同的人物角色进行分割的操作指令,第一装置响应第一用户侧的对媒体信息的片段操作得到目标媒体信息的各媒体信息片段。
在确定目标媒体信息所包括的媒体信息片段之后,第一装置分析出目标媒体信息中的各媒体信息片段的特征,包括以下至少之一:各媒体信息片段的标识(编号)、时长、各媒体信息片段中每个子片段(一个或多个帧图像)所涉及的人物角色(人物角色可以采用从媒体信息片段中提取的图像表征)、以及各人物角色的台词(可以通过语音识别技术对音频信息片段进行提取得到,或者从服务器侧直接获取)。
步骤102,基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段。
参见图5,第一装置100在图形界面加载目标媒体信息的列表供第一用户侧选择需要模仿表演的媒体信息也就是目标媒体信息,在第一用户侧选中目标媒体信息后第一装置加载目标媒体信息的媒体信息片段以及各媒体信息片段的特征,供第一用户侧继续选择需要模仿表演的媒体信息片段也就是目标媒体信息片段。
假设第一装置确定第一用户侧选中媒体信息片段C后,提示开始采集第一用户侧针对媒体信息片段C的表演,并存储为第一用户侧模仿表演的目标媒体信息C(也就是第一媒体信息片段,第一媒体信息片段第一用户侧所模仿表演的目标媒体信息片段,因此数量与第一用户侧选中并模仿表演的目标媒体信息片段的数量一致),由于媒体信息片段C中可能涉及大量的台词、动作等,为了提升第一用户侧的模仿表演的质量,第一装置在提示开始采集第一用户侧的表演之后,可以在图形界面中加载媒体信息片段C的特征,包括媒体信息片段C的采集起始时刻、媒体信息片段C的承载的人物角色、以及对应的台词,使第一用户侧基于提示的特征而进行表演,与此同时第一装置对第一用户侧进行视频采集和音频采集对应得到视频信息片段和音频信息片段,对视频信息片段和音频信息片段进行合成得到第一用户侧模仿媒体信息片段C而表演的媒体信息片段(也就是第一媒体信息片段)。
对于目标媒体信息为两个媒体信息片段(如媒体信息片段A和媒体信息片段C)或多个媒体信息片段(如媒体信息片段A、媒体信息片段B和媒体信息片段C)的情况,可以参照针对媒体信息片段C记载而对应实施,这里不再赘述。
步骤103,确定目标媒体信息中除目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段。
仍以图2示出媒体信息为目标媒体信息为例,第一用户侧选中媒体信息片段C为目标媒体片段并进行模仿表演,媒体信息中还包括媒体信息片段A、媒体信息片段B和媒体信息片段D,第一用户侧并未进行模仿表演,为了基于第一用户侧所模仿表演的媒体信息片段C得到与图2示出的媒体信息相应的完整的媒体信息,第一装置还需要获取与媒体信息片段A、媒体信息片段B和媒体信息片段D的特征相对应的媒体信息片段,也就是与媒体信息片段A、媒体信息片段B和媒体信息片段D中的表演(包括任务角色、动作、台词等)一致的媒体信息片段(也就是第二媒体信息片段)。
作为一种实现方式,第一装置可以直接使用将图2中示出的目标媒体信息的原始的媒体信息片段A、媒体信息片段B和媒体信息片段D与第一用户侧模仿表演的媒体信息片段C进行拼接。
作为另一种实现方式,考虑到其他的装置(以下以第二装置为例)也可能针对媒体信息片段A、媒体信息片段B和媒体信息片段D在对应的用户侧进行采集而得到模仿表演的媒体信息片段,如第二装置基于媒体信息片段中除媒体信息片段C之外的媒体信息片段(包括媒体信息片段A、媒体信息片段B和媒体信息片段D)的特征对第二用户侧的表演进行采集得到的媒体信息片段,这样可以将第一用户侧模仿表演的媒体信息片段C与第二用户侧模仿表演的媒体信息片段A、媒体信息片段B和媒体信息片段D进行拼接。
而实际应用中其他的装置在相应的用户侧采集到的模仿表演的媒体信息片段可能涉及多个媒体信息(也就是不仅仅包括前述的目标媒体信息),因此对于其他的装置在相应的用户侧采集的媒体信息片段中,需要确定哪些媒体信息片段是模仿目标媒体信息中的目标媒体信息片段而表演的。例如,获取第二装置采集第二用户侧得到的媒体信息片段,将第二装置采集的媒体信息片段的特征,与目标媒体信息中媒体信息片段A、媒体信息片段B和媒体信息片段D(也就是目标媒体信息中除目标媒体信息片段之外的各媒体信息片段的特征)匹配,例如匹配媒体信息片段的标识(如唯一表征媒体信息片段的编号、名称等),将匹配成功的第二装置所采集的媒体信息片段作为第二媒体信息片段。
步骤104,确定目标媒体信息中各媒体信息片段的拼接方式,基于所确定的拼接方式将第一媒体信息片段与第二媒体信息片段进行拼接,得到拼接后媒体信息。
以图2为例,目标媒体信息采用基于时间轴方式进行分割,并且第一装置采集了第一用户侧针对媒体信息片段C而表演的媒体信息片段(也就是第一媒体信息片段),那么,基于第一用户侧模仿表演的媒体信息片段C与媒体信息片段A、媒体信息片段B和媒体信息片段D(如前,这里的媒体信息片段A、媒体信息片段B和媒体信息片段D可以是图2示出的目标媒体信息中的媒体信息片段,也可以是其他的装置如图5中示出的第二装置200采集第二用户侧模仿目标媒体信息中的媒体信息片段A、媒体信息片段B和媒体信息片段D而表演的媒体信息片段)进行拼接时,参见图5,第一装置100使用基于时间轴依次拼接方式,将媒体信息片段C、媒体信息片段A、媒体信息片段B和媒体信息片段D基于时间轴上的先后顺序(先后顺序依次为媒体信息片段A、媒体信息片段B、媒体信息片段C、和媒体信息片段D)进行依次拼接。
以图4为例,当第一装置基于目标媒体信息承载的不同人物角色对目标媒体信息进行分割时,这里假设第一装置根据第一用户侧的操作指令确定第一用户侧期望模仿表演目标媒体信息中包括人物角色1的媒体信息片段,则加载人物角色1的媒体信息片段的特征(如起始、结束时间、不同时间点的台词、动作的提示等),对第一用户侧模仿任务角色1的媒体信息片段的表演进行采集(包括视频采集和音频采集),得到第一用户侧模仿任务角色1而表演的媒体信息片段。这里,采用同步拼接方式,参见图6,第一装置100将第一用户侧模仿任务角色1而表演的媒体信息片段(也就是第一媒体信息片段)与包括人物角色2的媒体信息片段(也就是第二媒体信息片段,可以是图4示出的目标媒体信息中基于人物角色2所提取的媒体信息片段,也可以是其他的装置如图6中示出的第二装置200采集第二用户侧模仿人物角色2的媒体信息片段而表演的媒体信息片段)基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
如前述步骤101中,媒体信息片段是基于目标媒体信息的特征对目标媒体信息进行分割确定,也就是说第一装置对目标媒体信息进行分割时并不需要在本地存储目标媒体信息的原始数据,针对此情况,在第一装置在目标媒体信息的各媒体信息片段中确定目标媒体信息片段,并针对第一用户侧模仿表演的目标媒体信息片段进行采集时,为了提升后续拼接媒体片段的处理效率,参见图7,第一装置100在采集的过程中同步获取目标媒体信息中第一用户侧未模仿表演的媒体信息片段,例如可以是目标媒体信息中的媒体信息片段A、媒体信息片段B、媒体信息片段D(也就是目标媒体信息中除目标媒体片段之外的媒体信息片段),还可以是其他的装置如第二装置200针对第二用户侧模仿媒体信息片段A、媒体信息片段B、媒体信息片段D(也就是目标媒体中除目标媒体信息片段之外的媒体信息片段)而表演的媒体信息片段。
因拼接得到的媒体信息中包括有第一用户侧的表演,实际应用中第一用户侧存在将拼接得到的媒体信息上传并分享的需求,一个较为常见的场景是,参见图8,第一装置100在获取目标媒体信息中第一用户侧未表演的媒体信息片段时,首先在服务器侧(用于承载不同的用户侧之间的社交功能)查询与第一用户侧存在社交关系的用户侧是否上传了对应的媒体信息片段,当然,根据实际需要第一装置支持对各不同的第二用户侧上传的媒体信息片段进行选择,根据服务器侧返回的媒体信息片段进行拼接,上传媒体信息至服务器侧后可以获取服务器侧返回的分享链接,基于分享连接可以进行统一资源描述符(URL)形式的分享,接收方如第二装置200可以基于该URL访问媒体信息,或者进行基于链接在HTML5页面进行分享,页面的访问者通过点击链接可以观看媒体信息。
本实施例中,通过对第一用户侧期望表演的媒体信息片段的特征支持第一用户侧模仿表演目标媒体信息片段,第一用户侧在不记忆目标媒体信息片段的全部特征(如台词)的基础上即可进行模仿表演;在确定媒体信息片段后基于第一用户侧未模仿表演的媒体信息片段的特征获取需要与第一用户侧模仿目标媒体信息片段而表演的媒体信息片段进行拼接的媒体信息片段,整个过程不需要第一用户侧的任何操作,对于第一用户侧来说只需要针对目标媒体信息片段进行模仿表演,而后便可获取完整的媒体信息,这就解决了因第一用户侧无法操作专业媒体边界软件而无法生成完整的媒体信息的问题,提升了针对媒体信息的处理效率。
实施例二
前述实施例一中,采集第一用户侧模仿目标媒体信息片段而表演的媒体信息片段时同时进行了视频采集和音频采集;第一用户侧还存在这样的需求,第一用户侧仅仅模仿目标媒体信息片段中的动作姿态进行表演,不表演目标媒体信息片段中的台词,希望第一装置采集第一用户侧表演而生成媒体信息片段中包括有第用户侧模仿表演目标媒体信息片段的影像、使用目标媒体信息中对应该目标媒体信息片段的原生的音频信息。本实施例针对此情况的处理进行说明。
参见图9,本实施例记载的媒体信息处理方法包括以下步骤:
步骤201,第一装置确定目标媒体信息的视频信息片段、音频信息以及各视频信息片段的特征。
以下结合上述的不同分割方式对确定视频信息片段进行说明,与前述实施例一中确定媒体信息片段的区别在于,由于第一装置不会采集第一用户的音频信息而是使用目标媒体信息的原生的音频信息,因此可以首先从目标媒体信息中分离出视频信息和音频信息;对视频信息进行分割为视频信息片段,而对音频信息不做处理。
方式3)基于时间轴分割方式,根据目标媒体信息的持续时间(时长)基于时间轴的先后顺序进行平均(或不平均)分割(仅对目标媒体信息中的视频信息)得到视频信息片段。
可选地,基于时间轴的先后顺序进行分割时,利用目标媒体信息的剧情(包括不同剧情在时间轴上对应的时间分段)对媒体信息中视频信息进行分割得到视频信息片段,音频信息不做处理,更加方便第一用户侧选择期望模仿表演的视频信息片段。
参见图10示出的目标媒体信息基于方式1)进行分割的一个的示意图,在图10中,目标媒体信息被分割为4个视频信息片段,视频信息片段A、视频信息片段B、视频信息片段C和视频信息片段D,而目标媒体信息中的音频信息与视频信息分离后不做分割处理。
方式4)从目标媒体信息中分离出视频信息和音频信息,基于视频信息承载的不同人物角色对视频信息进行分割,从目标媒体信息的视频信息中依次提取仅承载不同人物角色的视频信息片段,而目标媒体信息中的音频信息与视频信息分离后不做分割处理。。
例如,通过图像识别技术识别出目标媒体信息中视频信息的每个帧图像,确定视频信息的每个帧图像承载的人物角色(设视频信息中承载有人物角色1和人物角色2),参见图4,在提取包括目标人物角色(设为人物角色1)的视频信息片段时,对于只包括有人物角色1的帧图像则直接提取,对于同时包括有多个人物角色的帧图像(包括人物角色1和人物角色2的帧图像),通过图像识别技术(如人脸识别、边缘检测等技术)从帧图像提取包括目标人物角色的部分,这样从目标媒体信息的视频信息提取的帧图像将只包括人物角色1。
步骤202,基于所确定的特征对第一用户侧进行采集得到对应目标视频信息片段的第一视频信息片段。
参见图5,第一装置在图形界面加载目标媒体信息的列表供第一用户侧选择需要模仿表演的视频信息也就是目标视频信息,在第一用户侧选中目标视频信息后第一装置加载目标视频信息的视频信息片段以及各视频信息片段的特征,供第一用户侧继续选择需要模仿表演的视频信息片段也就是目标视频信息片段。
假设第一装置确定第一用户侧选中视频信息片段C后,提示开始采集第一用户侧针对视频信息片段C的表演,并存储为第一用户侧模仿表演的目标媒体信息C(也就是第一视频信息片段,第一视频信息片段第一用户侧所模仿表演的目标视频信息片段,因此数量与第一用户侧选中并模仿表演的目标视频信息片段的数量一致),由于视频信息片段C中可能涉及大量的动作等,为了提升第一用户侧的模仿表演的质量,第一装置在提示开始采集第一用户侧的表演之后,可以在图形界面中加载视频信息片段C的特征,包括视频信息片段C的采集起始、结束时刻、视频信息片段C的承载的人物角色、以及对应的动作提示等,使第一用户侧基于提示的特征而进行表演,与此同时第一装置对第一用户侧进行视频采集,得到第一用户侧模仿视频信息片段C而表演的视频信息片段(也就是第一视频信息片段)。
对于目标媒体信息为两个视频信息片段(如视频信息片段A和视频信息片段C)或多个视频信息片段(如视频信息片段A、视频信息片段B和视频信息片段C)的情况,可以参照针对视频信息片段C记载而对应实施,这里不再赘述。
步骤203,确定目标媒体信息中除目标视频信息片段之外的视频信息片段,获取与所确定的视频信息片段的特征所对应的第二视频信息片段。
仍以图10示出媒体信息为目标媒体信息为例,第一用户侧选中媒体信息中的视频信息片段C为目标视频片段并进行模仿表演,目标媒体信息中还包括视频信息片段A、视频信息片段B和视频信息片段D,第一用户侧并未进行模仿表演,为了基于第一用户侧所模仿表演的视频信息片段C得到与图10示出的媒体信息相应的完整的媒体信息,第一装置还需要获取与视频信息片段A、视频信息片段B和视频信息片段D的特征相对应的视频信息片段,也就是与视频信息片段A、视频信息片段B和视频信息片段D中的表演(包括任务角色、动作、台词等)一致的视频信息片段(也就是第二视频信息片段)。
作为一种实现方式,第一装置可以直接使用将图10中示出的目标媒体信息的原始的视频信息片段A、视频信息片段B和视频信息片段D与第一用户侧模仿表演的视频信息片段C进行拼接。
作为另一种实现方式,考虑到其他的装置(以下以第二装置为例)也可能针对视频信息片段A、视频信息片段B和视频信息片段D在对应的用户侧进行采集而得到模仿表演的视频信息片段,如第二装置基于视频信息片段中除视频信息片段C之外的视频信息片段(包括视频信息片段A、视频信息片段B和视频信息片段D)的特征对第二用户侧的表演进行采集得到的视频信息片段,这样可以将第一用户侧模仿表演的视频信息片段C与第二用户侧模仿表演的视频信息片段A、视频信息片段B和视频信息片段D、以及目标媒体信息中的音频信息进行拼接。
而实际应用中其他的装置在相应的用户侧采集到的模仿表演的视频信息片段可能涉及多个媒体信息(也就是不仅仅包括前述的目标媒体信息),因此对于其他的装置在相应的用户侧采集的视频信息片段中,需要确定哪些视频信息片段是模仿目标媒体信息中的目标视频信息片段而表演的。例如,获取第二装置采集第二用户侧得到的视频信息片段,将第二装置采集的视频信息片段的特征,与目标媒体信息中视频信息片段A、视频信息片段B和视频信息片段D(也就是目标媒体信息中除目标视频信息片段之外的各视频信息片段的特征)匹配,例如匹配视频信息片段的标识(如唯一表征视频信息片段的编号、名称等),将匹配成功的第二装置所采集的视频信息片段作为第二视频信息片段。
步骤204,确定目标媒体信息中各视频信息片段的拼接方式,基于所确定的拼接方式将第一视频信息片段与第二视频信息片段、以及音频信息进行拼接,得到拼接后媒体信息。
以图10为例,目标媒体信息采用基于时间轴方式进行分割,并且第一装置采集了第一用户侧针对视频信息片段C而表演的视频信息片段(也就是第一视频信息片段),那么,基于第一用户侧模仿表演的视频信息片段C与视频信息片段A、视频信息片段B和视频信息片段D(如前,这里的视频信息片段A、视频信息片段B和视频信息片段D可以是图10示出的目标媒体信息中的视频信息片段,也可以是其他的装置如如图11示出的第二装置200采集第二用户侧模仿目标媒体信息中的视频信息片段A、视频信息片段B和视频信息片段D而表演的视频信息片段)、以及音频信息进行拼接时,参见图11,第一装置100使用基于时间轴依次拼接方式,将视频信息片段C、视频信息片段A、视频信息片段B和视频信息片段D、以及音频信息基于时间轴上的先后顺序(先后顺序依次为视频信息片段A、视频信息片段B、视频信息片段C、和视频信息片段D)进行依次拼接。
以图4为例,当第一装置基于目标媒体信息承载的不同人物角色对目标媒体信息进行分割时,这里假设第一装置根据第一用户侧的操作指令确定第一用户侧期望模仿表演目标媒体信息中包括人物角色1的视频信息片段,则加载人物角色1的视频信息片段的特征(如起始、结束时间、动作的提示等),对第一用户侧模仿任务角色1的视频信息片段的表演进行采集(仅进行视频采集),得到第一用户侧模仿任务角色1而表演的视频信息片段。这里,采用同步拼接方式,参见图12,第一装置100将第一用户侧模仿任务角色1而表演的视频信息片段(也就是第一视频信息片段)与包括人物角色2的视频信息片段(也就是第二视频信息片段,可以是图4示出的目标媒体信息中基于人物角色2所提取的视频信息片段,也可以是其他的装置如图12示出的第二装置200采集第二用户侧模仿人物角色2的视频信息片段而表演的视频信息片段)基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
如前述步骤201中,视频信息片段是基于目标媒体信息的特征对目标媒体信息中的视频信息进行分割确定,也就是说第一装置对目标媒体信息进行分割时并不需要在本地存储目标媒体信息的原始数据,针对此情况,在第一装置在目标媒体信息的各视频信息片段中确定目标视频信息片段,并针对第一用户侧模仿表演的目标视频信息片段进行采集时,为了提升后续拼接媒体片段的处理效率,参见图7,第一装置在采集的过程中同步获取目标媒体信息中第一用户侧未模仿表演的视频信息片段,例如可以是目标媒体信息中的视频信息片段A、视频信息片段B、视频信息片段D(也就是目标媒体信息中除目标媒体片段之外的视频信息片段),还可以是其他的装置如第二装置针对第二用户侧模仿视频信息片段A、视频信息片段B、视频信息片段D(也就是目标媒体中除目标视频信息片段之外的视频信息片段)而表演的视频信息片段。
因拼接得到的媒体信息中包括有第一用户侧的表演,实际应用中第一用户侧存在将拼接得到的媒体信息上传并分享的需求,一个较为常见的场景是,第一装置在获取目标媒体信息中第一用户侧未表演的视频信息片段时,首先在服务器侧(用于承载不同的用户侧之间的社交功能)查询与第一用户侧存在社交关系的用户侧是否上传了对应的视频信息片段,当然,根据实际需要第一装置支持对各不同的第二用户侧上传的视频信息片段进行选择,根据服务器侧返回的视频信息片段进行拼接,上传媒体信息至服务器侧后可以获取服务器侧返回的分享链接,基于分享连接进行URL形式的分享,接收方可以基于该URL访问媒体信息,或者进行基于链接在HTML5页面进行分享,页面的访问者通过点击链接可以观看媒体信息。
实施例三
本实施例针对前述的媒体信息处理装置的***架构进行说明,参见图13示出的媒体信息处理装置的一个可选的***架构示意图,包括:
视频录制模块101、网络适配模块102、音视频拼接模块103和上传模块104;图13示出的***架构中的模块是对媒体信息处理装置的功能在逻辑功能模块层面的划分,媒体信息处理装置的硬件结构中存在对应的硬件来支撑模块,例如视频录制模块101至少可以由图1中示出的摄像头140实现,网络适配模块102至少可由图1中的处理器110、通信模块160配合实现,音视频拼接模块103至少可由图1中示出的处理器110实现。
本实施例中音视频拼接模块103将一段电影,或者连续剧片段中声音和视频部分分离,且将视频部分分为若干段落(如:A,B,C,D段),用户可以运行于媒体信息处理装置的,视频录制模块101进行录制视频部分的某些段落(如录制A,C段),录完之后,网络适配模块102会自动从后台拉取该电影,连续剧片段中视频的其他段落(如B,D段),音视频拼接模块103进行拼接,生成完整的视频(A+B+C+D),用户的表演就完美的融合到该视频中,达到和明星或其他人共同表演的效果,同时,在用户进行分享时,上传模块104会把用户表演的片段(A,C段)保存在后台,当其他用户录制其他片段(B,D段)时,也可以从后台拉取该用户片段进行拼接,达到共同表演的效果。
用户通过录制***进行视频录制,视频录制模块101可以在视频中加入字幕,滤镜,logo等,网络适配模块102会根据用户录制电影,连续剧片段自动下载用户没有录制的片段,并存储,音视频拼接模块103会先把视频片段进行拼接,随后,再将视频,音频进行拼接,完成完整的视频,上传模块104会把拼接后的视频和用户录制的视频片段上传到后台,拼接后的完整视频用于与其他人分享,用户录制的片段用于和其他用户录制时进行匹配拼接形成新的视频。
处理逻辑
1、视频录制模块101录制视频。通过摄像头,进行视频录制,录制过程中,只录制部分片段。如:有一段电影或连续剧,分为A,B,C,D四段,视频录制模块101录制A段和C段视频,把录制的视频保留在本地,其中A,C段视频不包含语音部分,且可以在录制过程中,同时将字幕,logo等压入视频中。
2.网络适配模块102适配片段。
当用户在录制A、C段视频的过程中,网络适配模块102会根据当前录制那段电影或连续剧、用户在录制哪段告知后台,后台自动下发B,D段视频(不包含语音)和整段视频(A+B+C+D)的语音。
3.音视频拼接模块103进行视频片段拼接。
当用户录制完A,C段视频时,此时B,D段视频理论上已经下载完毕,此时,音视频拼接模块103会把A,B,C,D段视频进行拼接,完成一段完整的不带语音的视频。
4.音视频拼接模块103进行视频与音频拼接。
完成视频的拼接后,应用随后会马上进行视频和语音的拼接,完成一段真正意义上的视频,此时,该段视频中,有自己演的部分A,C段,也有电视连续剧中的B,D段视频,当然,B,D段也可以改为其用户表演,并不局限于电影,电视剧中的原版片段。
5.上传模块104视频上传。
B,D段不仅可以是事先准备好的连续剧,电影中的片段,也可以是其他用户表演的片段,所以,视频录制模块101在完成视频录制后,不仅提供用户保持本地的功能,同时也会给用户提供上传视频的功能,上传模块104会把用户录制的A,C段,完整的视频(A+B+C+D+语音)上传到后台,对于完整视频(A+B+C+D+语音)上传后,我们会返回保存视频的地址url,供用户第六步的分享。
6.分享。步骤5中返回了视频url,可以用这个视频url做一些分享,可以纯url的分享,也可以产生H5网页进行分享,形式可以有多种多样。
以上处理逻辑中处理5、处理6可以根据需要实施,仅作为媒体信息处理装置增加友好体验的一个扩展功能选项。
实施例四
与前述实施例一和实施例二对应,本实施例针对媒体信息处理装置的另一个可选的***结构进行说明,前述实施例记载的第一装置100和第二装置200可以根据本实施例记载的媒体信息处理装置的***架构实施,参见图14,媒体信息处理装置包括:第一确定模块310,采集模块320,第二确定模块330、第三确定模块340和拼接模块350。
1)第一确定模块310和分析模块360
第一确定模块310确定目标媒体信息的媒体信息片段以及各媒体信息片段的特征,例如各媒体信息片段的特征包括:各媒体信息片段的标识(编号)、时长、各媒体信息片段中所涉及的人物角色、以及各人物角色的台词。
分析模块360响应第一用户侧的对媒体信息的操作指令得到目标媒体信息的各媒体信息片段;或者,自动对目标媒体信息进行分割,进行分割时可以对目标媒体信息中的视频信息和音频信息都进行分割,利用分割的视频信息频段和音频信息片段合并成媒体信息片段,或者从目标媒体信息中分离出视频信息和音频信息,对音频信息不做处理,而对视频信息进行分割得到视频信息片段;综合上述分割方式,可知目标媒体信息片段存在两种情况:1)包括视频信息和音频信息;2)仅包括视频信息。
分析模块360分析目标媒体信息得到目标媒体信息的特征,从以下两个维度对目标媒体信息进行分割:维度1)基于目标媒体信息的特征表征目标媒体信息的时长,对目标媒体信息基于时间轴分割为各媒体信息片段;维度2)基于目标媒体信息的特征表征目标媒体信息的所承载的人物角色,对目标媒体信息中提取包括各人物角色的媒体信息片段,得到各媒体信息片段,其中各媒体信息片段仅承载一个人物角色所承载的人物角色不同。基于以上的不同维度,视对目标媒体信息中的视频信息和音频信息均进行分割,或仅对视频信息进行分割,对应有以下分割方式:
方式1)第一确定模块310基于时间轴分割方式,根据目标媒体信息的持续时间(时长)基于时间轴的先后顺序进行平均(或不平均)分割(包括对目标媒体信息中的视频信息和音频信息进行分割,视频信息和音频信息可以从目标媒体信息中预先分离得到)得到媒体信息片段,分割得到的一个媒体信息片段包括视频信息片段和音频信息片段。
方式2)第一确定模块310基于目标媒体信息的特征表征目标媒体信息的所承载的人物角色,对目标媒体信息中提取包括各人物角色的媒体信息片段,得到各媒体信息片段,其中各媒体信息片段仅承载一个人物角色所承载的人物角色不同。
方式3)第一确定模块310基于时间轴分割方式,根据目标媒体信息的持续时间(时长)基于时间轴的先后顺序进行平均(或不平均)分割(仅对目标媒体信息中的视频信息)得到视频信息片段。
方式4)第一确定模块310从目标媒体信息中分离出视频信息和音频信息,基于视频信息承载的不同人物角色对视频信息进行分割,从目标媒体信息的视频信息中依次提取仅承载不同人物角色的视频信息片段,而目标媒体信息中的音频信息与视频信息分离后不做分割处理。
2)采集模块320
采集模块320基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段,采集的方式与第一确定模块310的分割方式有关,当第一确定模块310采用前述的方式1)或方式2)时,由于媒体信息片段中包括有视频信息和音频信息,对应地,采集模块320对第一用户侧的表演进行视频和音频的同步采集,采集得到的媒体信息片段(第一媒体信息片段)中包括有视频信息和音频信息;当第一确定模块310采用前述的方式3)或方式4)时,由于媒体信息片段中仅包括有视频信息,对应地,采集模块320对第一用户侧的表演仅仅进行视频采集,采集得到的媒体信息片段(第一媒体信息片段)中仅包括有视频信息。
为了便于第一用户侧选择模仿目标媒体信息片段进行表演,采集模块320加载目标媒体信息中各媒体信息片段的特征(例如,加载各媒体信息片段的标识供第一用户侧选定);根据第一用户侧的选择操作在各媒体信息片段中确定目标媒体信息片段;采集模块320加载目标媒体信息片段的特征(例如,包括目标媒体信息片段的采集起始时刻、目标媒体信息片段的承载的人物角色、以及对应的台词)便于第一用户为了便于第一用户侧基于特征进而表演,并采集第一用户侧基于目标媒体信息片段的特征而实施的表演(包括对第一用户侧的表演进行视频采集和音频采集)。
从上述的记载可以看出,采集模块320可以根据用户的选取操作在目标媒体信息中的各媒体信息片段中选定目标媒体信息片段,目标媒体信息片段的数量至少为一个,相应地,第一媒体信息的数量至少为一个。
3)第二确定模块330
第二确定模块330确定目标媒体信息中除目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段。
由于第二媒体信息片段是与采集模块320采集到的第一媒体信息模块进行拼接形成拼接后的媒体信息,因此,第二确定模块330确定的第二媒体信息片段包括的信息类型(如视频信息和音频信息)与第一媒体信息对应,当采集模块320采集到的第一媒体信息片段包括视频信息和音频信息时,第二确定模块330获取的第二媒体信息模块包括视频信息和音频信息;当采集模块320采集到的第一媒体信息片段仅包括视频信息时,第二确定模块330获取的第二媒体信息模块也对应仅包括视频信息。
第二确定模块330获取目标媒体信息中除第一媒体信息片段之外的各媒体信息片段为第二媒体信息片段。
或者,基于媒体信息片段中除目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为第二媒体信息片段。第二确定模块330,还用于获取第二装置200采集第二用户侧得到的媒体信息片段,将第二装置200采集的媒体信息片段的特征,与目标媒体信息中除目标媒体信息片段之外的各媒体信息片段的特征匹配,将匹配成功的第二装置200所采集的媒体信息片段作为第二媒体信息片段。
第二确定模块330在采集模块320采集第一媒体信息片段的过程中,同步获取目标媒体信息中除第一媒体信息片段之外的第二媒体信息,能够提高制作屏拼接后的媒体信息的时间,避免第一用户侧在模仿表演目标媒体信息片段后的长时间等待。
4)第三确定模块340和拼接模块350
第三确定模块340确定目标媒体信息中各媒体信息片段的拼接方式;拼接模块350基于所确定的拼接方式将第一媒体信息片段与第二媒体信息片段进行拼接,得到拼接后媒体信息。
与前述方式1)对应,当目标媒体信息的各媒体信息片段是基于时间轴上的先后时间顺序分割得到时,拼接模块350使用基于时间轴依次拼接方式,将第一媒体信息片段、第二媒体信息片段在时间轴上的先后顺序进行拼接;
与前述方式2)对应,当目标媒体信息的各媒体信息片段是基于各媒体信息片段承载的不同人物角色从目标媒体信息提取时,拼接模块350使用同步拼接方式,将第一媒体信息片段、第二媒体信息片段基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
与前述方式3)对应,当目标媒体信息的各媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,拼接模块350将目标媒体信息中的音频信息(未进行分割处理)、第一媒体信息片段和第二媒体信息片段基于时间轴上的先后顺序进行依次拼接。
与前述方式4)对应,当目标媒体信息的各媒体信息片段是基于各媒体信息片段承载的不同人物角色从目标媒体信息提取得到时,拼接模块350使用同步拼接方式,将音频信息、第一媒体信息片段和第二媒体信息片段基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
5)上传模块370和分享模块380
上传模块370(图14中未示出,与拼接模块350连接)上传拼接后得到的媒体信息至服务器侧,获取服务器侧返回的分享链接;分享模块380(图14中未示出,与拼接模块350连接),用于基于分享链接响应第一用户侧的分享操作指令,例如,将分享链接发送至与第一用户侧具有关联的社交属性的第二用户侧的终端设备,供第二用户侧基于分享链接查看拼接后的媒体信息。
媒体信息处理装置的功能模块存在对应的硬件来支撑,例如第一确定模块310、第二确定模块330、第三确定模块340、拼接模块350至少可以由图1中的处理器110、通信模块160配合实现,采集模块320至少可由图1中示出的麦克风130、摄像头140实现。
实施例五
本实施例记载一种计算机可读介质,可以为ROM(例如,只读存储器、FLASH存储器、转移装置等)、磁存储介质(例如,磁带、磁盘驱动器等)、光学存储介质(例如,CD-ROM、DVD-ROM、纸卡、纸带等)以及其他熟知类型的程序存储器;计算机可读介质中存储有计算机可执行指令,当执行指令时,引起至少一个处理器执行包括以下的操作:
确定目标媒体信息的媒体信息片段以及各媒体信息片段的特征,基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;
确定目标媒体信息中除目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;
确定目标媒体信息中各媒体信息片段的拼接方式,基于所确定的拼接方式将第一媒体信息片段与第二媒体信息片段进行拼接,得到拼接后媒体信息。
可选地,目标媒体信息、第一媒体信息片段、第二媒体信息片段均包括视频信息和音频信息。
可选地,各媒体信息片段的特征包括:各媒体信息片段的标识(编号)、时长、各媒体信息片段中所涉及的人物角色、以及各人物角色的台词。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
1)当目标媒体信息的各媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将第一媒体信息片段、第二媒体信息片段在时间轴上的先后顺序进行拼接,
2)当目标媒体信息的各媒体信息片段是基于各媒体信息片段承载的不同人物角色从目标媒体信息提取时,使用同步拼接方式,将第一媒体信息片段、第二媒体信息片段基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
加载目标媒体信息中各媒体信息片段的特征(例如,加载各媒体信息片段的标识供第一用户侧选择);
根据第一用户侧的选择操作在各媒体信息片段中确定目标媒体信息片段;
加载目标媒体信息片段的特征(例如,包括目标媒体信息片段的采集起始时刻、目标媒体信息片段的承载的人物角色、以及对应的台词),采集第一用户侧基于目标媒体信息片段的特征而实施的表演(包括对第一用户侧的表演进行视频采集和音频采集)。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
根据用户的选取操作在目标媒体信息中的各媒体信息片段中选定目标媒体信息片段,目标媒体信息片段的数量至少为一个,相应地,第一媒体信息的数量至少为一个。
可选地,各媒体信息片段的特征包括:各媒体信息片段的标识(编号)、时长、各媒体信息片段中所涉及的人物角色、以及各人物角色的台词。
可选地,第一媒体信息片段和第二媒体信息片段均未承载音频信息(第一媒体信息片段为仅对第一用户侧的表演进行视频采集生成);
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取目标媒体信息中的音频信息;
基于所确定的拼接方式将所获取的音频信息、第一媒体信息片段以及第二媒体信息片段进行拼接。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
当目标媒体信息的各媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将音频信息、第一媒体信息片段和第二媒体信息片段基于时间轴上的先后顺序进行依次拼接;
当目标媒体信息的各媒体信息片段是基于各媒体信息片段承载的不同人物角色从目标媒体信息提取得到时,使用同步拼接方式,将的音频信息、第一媒体信息片段和第二媒体信息片段基于所承载的人物角色在目标媒体信息中的提取位置进行同步拼接。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取目标媒体信息中除第一媒体信息片段之外的各媒体信息片段为第二媒体信息片段;或者,
将第二装置基于媒体信息片段中除目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为第二媒体信息片段。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取第二装置采集第二用户侧得到的媒体信息片段,将第二装置采集的媒体信息片段的特征,与目标媒体信息中除目标媒体信息片段之外的各媒体信息片段的特征匹配,将匹配成功的第二装置所采集的媒体信息片段作为第二媒体信息片段。
可选地,第二用户侧与第一用户侧具有关联的社交属性。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
分析目标媒体信息得到目标媒体信息的特征,执行以下分割操作至少之一:
基于目标媒体信息的特征表征目标媒体信息的时长,对目标媒体信息基于时间轴分割为各媒体信息片段;
基于目标媒体信息的特征表征目标媒体信息的所承载的人物角色,对目标媒体信息中提取包括各人物角色的媒体信息片段,得到各媒体信息片段,其中各媒体信息片段仅承载一个人物角色所承载的人物角色不同。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
响应第一用户侧的对媒体信息的操作指令得到目标媒体信息的各媒体信息片段;
可选地,各媒体信息片段的特征包括:各媒体信息片段的标识(编号)、时长、各媒体信息片段中每个子片段(一个或多个帧图像)所涉及的人物角色、以及各人物角色的台词。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
在采集第一媒体信息片段的过程中,同步获取目标媒体信息中除第一媒体信息片段之外的第二媒体信息。
可选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:上传拼接后得到的媒体信息至服务器侧,获取服务器侧返回的分享链接;基于分享链接响应第一用户侧的分享操作指令。
综上所述,本发明实施例中通过对第一用户侧期望表演的媒体信息片段的特征支持第一用户侧模仿表演目标媒体信息片段,第一用户侧在不记忆目标媒体信息片段的全部特征(如台词)的基础上即可进行模仿表演;在确定媒体信息片段后基于第一用户侧未模仿表演的媒体信息片段的特征获取需要与第一用户侧模仿目标媒体信息片段而表演的媒体信息片段进行拼接的媒体信息片段,整个过程不需要第一用户侧的任何操作,对于第一用户侧来说只需要针对目标媒体信息片段进行模仿表演,而后便可获取完整的媒体信息,这就解决了因第一用户侧无法操作专业媒体边界软件而无法生成完整的媒体信息的问题,提升了针对媒体信息的处理效率。
本领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储装置、随机存取存储器110(RAM,Random Access Memory)、只读存储器110(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储装置、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种媒体信息处理方法,其特征在于,所述方法包括:
第一装置确定目标媒体信息的媒体信息片段以及各所述媒体信息片段的特征,基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;
确定所述目标媒体信息中除所述目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;
确定所述目标媒体信息中各所述媒体信息片段的拼接方式;
将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接。
2.如权利要求1所述的方法,其特征在于,所述基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段,包括:
加载所述目标媒体信息中各所述媒体信息片段的特征;
根据第一用户侧的选择操作在各所述媒体信息片段中确定所述目标媒体信息片段;
加载所述目标媒体信息片段的特征,采集所述第一用户侧基于所述目标媒体信息片段的特征而实施的表演。
3.如权利要求1所述的方法,其特征在于,所述第一媒体信息片段和所述第二媒体信息片段均未承载音频信息;
所述方法还包括:
获取所述目标媒体信息中的所述音频信息。
4.如权利要求3所述的方法,其特征在于,所述将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接,包括:
当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接;
当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取得到时,使用同步拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
5.如权利要求1所述的方法,其特征在于,所述获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段,包括:
获取所述目标媒体信息中除所述第一媒体信息片段之外的各媒体信息片段为所述第二媒体信息片段;或者,
将第二装置基于所述媒体信息片段中除所述目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为所述第二媒体信息片段。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
分析所述目标媒体信息得到所述目标媒体信息的特征,执行以下分割操作至少之一:
基于所述目标媒体信息的特征表征所述目标媒体信息的时长,对所述目标媒体信息基于时间轴分割为各所述媒体信息片段;
基于所述目标媒体信息的特征表征所述目标媒体信息的所承载的人物角色,对所述目标媒体信息中提取包括各所述人物角色的媒体信息片段,得到各所述媒体信息片段,其中各所述媒体信息片段仅承载一个所述人物角色所承载的人物角色不同。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
上传所述拼接后得到的媒体信息至服务器侧,获取所述服务器侧返回的分享链接;
基于所述分享链接响应所述第一用户侧的分享操作指令。
8.一种媒体信息处理装置,其特征在于,所述媒体信息处理装置包括:
第一确定模块,用于确定目标媒体信息的媒体信息片段以及各所述媒体信息片段的特征;
采集模块,用于基于所确定的特征对第一用户侧进行采集得到对应目标媒体信息片段的第一媒体信息片段;
第二确定模块,用于确定所述目标媒体信息中除所述目标媒体信息片段之外的媒体信息片段,获取与所确定的媒体信息片段的特征所对应的第二媒体信息片段;
第三确定模块,用于确定所述目标媒体信息中各所述媒体信息片段的拼接方式;
拼接模块,用于将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接,或者,将所述目标媒体信息中的音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于各所述媒体信息片段所承载的人物角色在所述目标媒体信息中的提取位置进行同步拼接。
9.如权利要求8所述的媒体信息处理装置,其特征在于,
所述采集模块还用于加载所述目标媒体信息中各所述媒体信息片段的特征;
所述采集模块还用于根据第一用户侧的选择操作在各所述媒体信息片段中确定所述目标媒体信息片段;
所述采集模块还用于加载所述目标媒体信息片段的特征,采集所述第一用户侧基于所述目标媒体信息片段的特征而实施的表演。
10.如权利要求8所述的媒体信息处理装置,其特征在于,所述第一媒体信息片段和所述第二媒体信息片段均未承载音频信息;
所述拼接模块,还用于获取所述目标媒体信息中的音频信息。
11.如权利要求10所述的媒体信息处理装置,其特征在于,
所述拼接模块,还用于当所述目标媒体信息的各所述媒体信息片段是基于时间轴上的先后时间顺序分割得到时,使用基于时间轴依次拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于时间轴上的先后顺序进行依次拼接;
所述拼接模块,还用于当所述目标媒体信息的各所述媒体信息片段是基于各所述媒体信息片段承载的不同人物角色从所述目标媒体信息提取得到时,使用同步拼接方式,将所述音频信息、所述第一媒体信息片段和所述第二媒体信息片段基于所承载的所述人物角色在所述目标媒体信息中的提取位置进行同步拼接。
12.如权利要求8所述的媒体信息处理装置,其特征在于,
所述第二确定模块,还用于获取所述目标媒体信息中除所述第一媒体信息片段之外的各媒体信息片段为所述第二媒体信息片段;或者,将第二装置基于所述媒体信息片段中除所述目标媒体信息片段之外的媒体信息片段的特征,对第二用户侧的表演采集得到的媒体信息片段作为所述第二媒体信息片段。
13.如权利要求8所述的媒体信息处理装置,其特征在于,所述媒体信息处理装置还包括:
分析模块,用于分析所述目标媒体信息得到所述目标媒体信息的特征,执行以下分割操作至少之一:
基于所述目标媒体信息的特征表征所述目标媒体信息的时长,对所述目标媒体信息基于时间轴分割为各所述媒体信息片段;
基于所述目标媒体信息的特征表征所述目标媒体信息的所承载的人物角色,对所述目标媒体信息中提取包括各所述人物角色的媒体信息片段,得到各所述媒体信息片段,其中各所述媒体信息片段仅承载一个所述人物角色所承载的人物角色不同。
14.如权利要求8所述的媒体信息处理装置,其特征在于,所述媒体信息处理装置还包括:
上传模块,用于上传所述拼接后得到的媒体信息至服务器侧,获取所述服务器侧返回的分享链接;
分享模块,用于基于所述分享链接响应所述第一用户侧的分享操作指令。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610143913.8A CN105812920B (zh) | 2016-03-14 | 2016-03-14 | 媒体信息处理方法及媒体信息处理装置 |
PCT/CN2017/074174 WO2017157135A1 (zh) | 2016-03-14 | 2017-02-20 | 媒体信息处理方法及媒体信息处理装置、存储介质 |
US16/041,585 US10652613B2 (en) | 2016-03-14 | 2018-07-20 | Splicing user generated clips into target media information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610143913.8A CN105812920B (zh) | 2016-03-14 | 2016-03-14 | 媒体信息处理方法及媒体信息处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105812920A CN105812920A (zh) | 2016-07-27 |
CN105812920B true CN105812920B (zh) | 2019-04-16 |
Family
ID=56467379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610143913.8A Active CN105812920B (zh) | 2016-03-14 | 2016-03-14 | 媒体信息处理方法及媒体信息处理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10652613B2 (zh) |
CN (1) | CN105812920B (zh) |
WO (1) | WO2017157135A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105812920B (zh) | 2016-03-14 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 媒体信息处理方法及媒体信息处理装置 |
JP6980177B2 (ja) * | 2018-01-09 | 2021-12-15 | トヨタ自動車株式会社 | オーディオ装置 |
CN110300274B (zh) * | 2018-03-21 | 2022-05-10 | 腾讯科技(深圳)有限公司 | 视频文件的录制方法、装置及存储介质 |
US10706347B2 (en) * | 2018-09-17 | 2020-07-07 | Intel Corporation | Apparatus and methods for generating context-aware artificial intelligence characters |
CN109379633B (zh) | 2018-11-08 | 2020-01-10 | 北京微播视界科技有限公司 | 视频编辑方法、装置、计算机设备及可读存储介质 |
CN114697700B (zh) * | 2020-12-28 | 2024-07-16 | 北京小米移动软件有限公司 | 视频剪辑方法、视频剪辑装置及存储介质 |
CN114302253B (zh) * | 2021-11-25 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 媒体数据处理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719872A (zh) * | 2005-08-11 | 2006-01-11 | 上海交通大学 | 基于全身融合的电影秀娱乐*** |
CN101051457A (zh) * | 2007-03-26 | 2007-10-10 | 中山大学 | 一种电影卡拉ok的电子娱乐*** |
CN101946500A (zh) * | 2007-12-17 | 2011-01-12 | 斯坦·考塞瑞德 | 实时视频包含*** |
CN104272753A (zh) * | 2012-05-14 | 2015-01-07 | 三星电子株式会社 | 显示装置、服务器及其控制方法 |
CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营(集团)有限责任公司 | 一种替换影视剧人物的方法 |
CN104967902A (zh) * | 2014-09-17 | 2015-10-07 | 腾讯科技(北京)有限公司 | 视频分享方法、装置及*** |
CN105190699A (zh) * | 2013-06-05 | 2015-12-23 | 英特尔公司 | 基于面部运动数据的卡拉ok化身动画 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7142645B2 (en) * | 2002-10-04 | 2006-11-28 | Frederick Lowe | System and method for generating and distributing personalized media |
US7123696B2 (en) * | 2002-10-04 | 2006-10-17 | Frederick Lowe | Method and apparatus for generating and distributing personalized media clips |
US20070122786A1 (en) * | 2005-11-29 | 2007-05-31 | Broadcom Corporation | Video karaoke system |
US9083938B2 (en) * | 2007-02-26 | 2015-07-14 | Sony Computer Entertainment America Llc | Media player with networked playback control and advertisement insertion |
CN101981576A (zh) * | 2008-03-31 | 2011-02-23 | 杜比实验室特许公司 | 使用媒体内容中识别出的对象将信息与媒体内容相关联 |
US8555169B2 (en) * | 2009-04-30 | 2013-10-08 | Apple Inc. | Media clip auditioning used to evaluate uncommitted media content |
US20110126103A1 (en) * | 2009-11-24 | 2011-05-26 | Tunewiki Ltd. | Method and system for a "karaoke collage" |
CN202034042U (zh) * | 2010-12-10 | 2011-11-09 | 深圳市同洲电子股份有限公司 | 一种应用于即时点播***的多媒体信息处理*** |
US20140164507A1 (en) * | 2012-12-10 | 2014-06-12 | Rawllin International Inc. | Media content portions recommended |
CN103945234A (zh) * | 2014-03-27 | 2014-07-23 | 百度在线网络技术(北京)有限公司 | 一种提供视频相关信息的方法与设备 |
CN103916700A (zh) * | 2014-04-12 | 2014-07-09 | 深圳市晟江科技有限公司 | 一种视频文件中信息识别的方法及*** |
CN105812920B (zh) * | 2016-03-14 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 媒体信息处理方法及媒体信息处理装置 |
-
2016
- 2016-03-14 CN CN201610143913.8A patent/CN105812920B/zh active Active
-
2017
- 2017-02-20 WO PCT/CN2017/074174 patent/WO2017157135A1/zh active Application Filing
-
2018
- 2018-07-20 US US16/041,585 patent/US10652613B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1719872A (zh) * | 2005-08-11 | 2006-01-11 | 上海交通大学 | 基于全身融合的电影秀娱乐*** |
CN101051457A (zh) * | 2007-03-26 | 2007-10-10 | 中山大学 | 一种电影卡拉ok的电子娱乐*** |
CN101946500A (zh) * | 2007-12-17 | 2011-01-12 | 斯坦·考塞瑞德 | 实时视频包含*** |
CN104272753A (zh) * | 2012-05-14 | 2015-01-07 | 三星电子株式会社 | 显示装置、服务器及其控制方法 |
CN105190699A (zh) * | 2013-06-05 | 2015-12-23 | 英特尔公司 | 基于面部运动数据的卡拉ok化身动画 |
CN104967902A (zh) * | 2014-09-17 | 2015-10-07 | 腾讯科技(北京)有限公司 | 视频分享方法、装置及*** |
CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营(集团)有限责任公司 | 一种替换影视剧人物的方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180352293A1 (en) | 2018-12-06 |
US10652613B2 (en) | 2020-05-12 |
CN105812920A (zh) | 2016-07-27 |
WO2017157135A1 (zh) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105812920B (zh) | 媒体信息处理方法及媒体信息处理装置 | |
WO2020187086A1 (zh) | 一种视频剪辑方法、装置、设备和存储介质 | |
US10685460B2 (en) | Method and apparatus for generating photo-story based on visual context analysis of digital content | |
US9898847B2 (en) | Multimedia picture generating method, device and electronic device | |
US20170065888A1 (en) | Identifying And Extracting Video Game Highlights | |
US11393208B2 (en) | Video summarization using selected characteristics | |
CN105893412A (zh) | 图像分享方法及装置 | |
CN109905782A (zh) | 一种控制方法及装置 | |
CN112118395B (zh) | 视频处理方法、终端及计算机可读存储介质 | |
CN108337471B (zh) | 视频画面的处理方法及装置 | |
US20210326598A1 (en) | Systems and methods for generating a video summary | |
CN110062163B (zh) | 多媒体数据的处理方法以及装置 | |
CN110162652A (zh) | 一种图片展示方法及装置、终端设备 | |
JP7074891B2 (ja) | 撮影方法及び端末装置 | |
KR102228457B1 (ko) | 단말과 서버간의 정보 동기화 방법 및 시스템 | |
CN113709545A (zh) | 视频的处理方法、装置、计算机设备和存储介质 | |
CN108616768B (zh) | 多媒体资源的同步播放方法、装置、存储位置及电子装置 | |
CN109359203B (zh) | 运动轨迹视频的处理方法及装置 | |
KR102038938B1 (ko) | 숏클립 비디오를 제작 및 공유할 수 있도록 하는 완구 sns | |
WO2023045430A1 (zh) | 基于二维码的数据处理方法、装置及*** | |
US8896708B2 (en) | Systems and methods for determining, storing, and using metadata for video media content | |
CN105765969B (zh) | 影像处理方法、装置和设备及影像拍摄*** | |
CN109523941B (zh) | 基于云识别技术的室内伴随导游方法及装置 | |
CN110691210A (zh) | 多镜头录像方法 | |
CN114220051B (zh) | 视频处理方法、应用程序的测试方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |