CN113301436A - 播放控制方法、装置及计算机可读存储介质 - Google Patents
播放控制方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113301436A CN113301436A CN202010555613.7A CN202010555613A CN113301436A CN 113301436 A CN113301436 A CN 113301436A CN 202010555613 A CN202010555613 A CN 202010555613A CN 113301436 A CN113301436 A CN 113301436A
- Authority
- CN
- China
- Prior art keywords
- interactive
- somatosensory
- somatosensory interaction
- data
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 318
- 230000002452 interceptive effect Effects 0.000 claims abstract description 284
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 230000003993 interaction Effects 0.000 claims description 318
- 230000006399 behavior Effects 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 241000533950 Leucojum Species 0.000 description 8
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000254158 Lampyridae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了一种播放控制方法、装置及计算机可读存储介质,该方法包括:在所述互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据;根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;以及,在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
Description
技术领域
本公开实施例涉及互动技术领域,更具体地,涉及播放控制方法、播放控制装置及计算机可读存储介质。
背景技术
技术改变人们的生活方式。从3G到4G,智能手机等移动终端发展迅猛,短视频、即时通讯等社交类的应用应运而生,并为观众提供了在线互动的接口,使得观众能够在观看视频或者发送即时消息的同时,进行互动体验。
以互动视频为例,目前的互动技术主要支持观众在线发送文字、语音等弹幕,以使得任意观众能够获知其他观众的观感体验,实现观众间的互动,该种互动方式并不能影响视频本身的播放内容,不能给观众带来沉浸式的体验。因此,有必要提供一种能够通过与用户间的互动,来影响视频播放内容或者即时通讯内容的播放控制方案,进而提升用户的沉浸式互动体验。
发明内容
本公开实施例的一个目的是提供一种互动视频控制的新的技术方案。
根据本公开的第一方面,提供了一种互动视频的播放控制方法,该方法包括:
在所述互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据;
根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;
在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
可选地,检测所述互动视频是否添加有体感互动组件,其中,所述体感互动组件包括用于增加视觉元素的第一体感互动组件,所述第一体感互动组件具有关于所述互动内容的配置项;
在添加所述体感互动组件的情况下,执行所述获取数据采集装置采集到的体感互动数据的操作。
可选地,所述获取数据采集装置采集到的体感互动数据,包括:
根据所述体感互动组件关于所要调用的数据采集装置的配置信息,获取所述所要调用的数据采集装置采集到的体感互动数据。
可选地,所述根据所述体感互动数据,获得对应于所述体感互动数据的互动内容,包括:
识别所述体感互动数据反映的行为特征;
根据所述行为特征,在所述体感互动组件的关于互动内容的配置项中查找对应的互动内容。
可选地,在所述互动视频中添加所述体感互动组件的步骤,包括:
提供互动组件库;
响应于配置从所述互动组件库中选择的体感互动组件的操作,提供所述体感互动组件的配置页面;
获取针对所述配置页面的配置项输入的配置信息;
根据所述配置信息,在所述互动视频中添加所述体感互动组件。
可选地,在互动组件库中提供所述体感互动组件以供添加在互动视频中的步骤,包括:
根据互动内容平台提供的对外接口,将封装好的所述体感互动组件发布至所述互动内容平台的互动组件库。
可选地,封装所述体感互动组件的步骤,包括:
提供组件描述模板;
获取编辑所述组件描述模板得到的组件描述文件;
提供所述组件描述模板的前端页面模板;
获取编辑所述前端页面模板得到的配置页面文件,其中,所述配置页面文件中的配置项与所述组件描述文件相关联;
封装所述组件描述文件和所述配置页面文件,得到所述体感互动组件。
可选地,所述获取数据采集装置采集到的体感互动数据,包括以下至少一项:
第一项,获取图像采集装置采集到的体感互动数据;
第二项,获取音频采集装置采集到的体感互动数据;
第三项,获取运动传感器采集到的体感互动数据;
第四项,获取定位装置采集到的体感互动数据;
第五项,获取感光装置采集到的体感互动数据;
第六项,获取通过键盘或者触摸屏采集到的体感互动数据。
可选地,所述所述根据所述体感互动数据,获得对应于所述体感互动数据的互动内容,包括:
识别所述体感互动数据反映的行为特征;
根据所述行为特征,确定所述互动内容。
可选地,所述识别所述体感互动数据反映的行为特征,包括:
调用预置的识别模型,识别所述体感互动数据反映的行为特征。
可选地,所述调用预置的识别模型,识别所述体感互动数据反映的行为特征,包括:
根据所述体感互动数据的数据类型,在识别模型库中查找对应的识别模型;
在查找到所述对应的识别模型的情况下,通过查找到的识别模型识别所述体感互动数据反映的行为特征。
可选地,所述调用预置的识别模型,识别所述体感互动数据反映的行为特征,还包括:
在未查找到所述对应的识别模型的情况下,将所述体感互动数据发送至服务器进行识别处理;
获取所述服务器通过所述识别处理返回的识别结果;
根据所述识别结果,确定所述行为特征。
可选地,获得对应于任意数据类型的识别模型的步骤,包括:
获取属于所述任意数据类型的训练样本,其中,所述训练样本具有所体现的实际行为特征的标签;
根据所述训练样本,训练设定模型结构的模型参数;
根据训练得到的模型参数,获得对应于所述任意数据类型的识别模型。
可选地,所述方法还包括:
在所述互动内容包括选取一个分支剧情的情况下,控制所述互动视频播放所述分支剧情。
可选地,所述方法包括:
根据所述互动内容,更新对应观众的互动评分;
根据所述互动评分,控制所述互动视频的播放内容。
根据本公开的第二方面,还提供了一种即时通讯的播放控制方法,该方法包括:
在当前显示界面为即时通讯对话界面的情况下,获取数据采集装置采集到的体感互动数据;
根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;
在所述互动内容包括增加指定的视觉元素的情况下,在所述即时通讯对话界面上渲染所述指定的视觉元素。
根据本公开的第三方面,还提供了一种互动视频的播放控制装置,包括:
数据获取模块,用于在所述互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据;
识别模块,用于根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;以及,
播放控制模块,用于在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
根据本公开的第四方面,还提供了一种播放控制装置,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的计算机程序的控制,执行根据本公开的第一方面或者第二方面所述的播放控制方法。
根据本公开的第四方面,还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据本公开的第一方面或者第二方面所述的播放控制方法。
本公开实施例的一个有益效果在于:本实施例的方法可以调用移动终端的数据采集装置采集观众的体感互动数据,以根据采集到的该体感互动数据,确定观众通过体感动作表达的互动内容,并在该互动内容表示请求增加视觉元素的情况下,在该互动视频的指定帧的预留图层上渲染指定的视觉元素,这样,观众便可以通过体感互动的方式,控制互动视频呈现与视频场景相匹配的附加视觉元素,进而获得沉浸式的观感体验,例如,控制互动视频增加雪花、蛋糕、萤火虫等任意的视觉元素,实现根据观众的体感互动操作,控制互动视频播放的目的。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1a、1b示意了根据一个实施例的应用场景示意图;
图2是可用于实现一个实施例的播放控制方法的***的硬件配置结构图;
图3是根据一个实施例的播放控制方法的流程示意图;
图4是根据另一个实施例的播放控制方法的流程示意图;
图5是根据一个实施例的播放控制装置的示意性原理框图。
图6是根据另一实施例的播放控制装置的示意性原理框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例的一个应用场景为互动视频,互动视频是一种新兴的视频形式,其是可以和观众进行互动的视频,观众可以边看视频边互动,基本的互动设计例如是提供不同的分支剧情,以根据观众的选择,在分支节点处进入所选的分支剧情,进而影响视频的播放内容。
对于互动视频,视频的内容设计者可以在视频中添加互动组件,以支持观众与视频的互动,例如,互动组件支持观众通过点选不同的选项来进入不同的分支剧情等。
本实施例中,为了提升观众的沉浸式互动体验,可以允许观众通过更多的体感互动操作进行与视频间的互动,而不局限于观众通过播放终端的触屏点选不同选项的设计,其中,播放终端也即为播放互动视频的终端设备。例如,观众可以通过特定的面部表情、特定的情绪表达、语音指示、移动和/或转动播放终端、或者改变播放终端所在外部环境等体感互动操作,进行与视频间的互动。
以图1a所示的播放场景为例,在图1a中,播放终端1000正在播放一个互动视频文件,在播放到某一图像帧时,该图像帧嵌入了第二体感互动组件,该体感互动组件被配置为支持观众通过上、下、左、右移动播放终端1000,来选择不同的分支剧情,例如,观众可以通过向上移动播放终端1000选择分支剧情A,通过向下移动播放终端1000选择分支剧情B,通过向左移动播放终端1000选择分支剧情C,及通过向右移动播放终端1000来选择分支剧情D。对应地,如图1a所示,如果观众根据第二体感互动组件的提示,向上移动了播放终端1000,播放终端1000在检测到该体感互动操作之后,便将开始播放互动视频的分支剧情A;如果观众根据第一体感互动组件的提示,向右移动了播放终端1000,播放终端1000在检测到该体感互动操作之后,便将开始播放互动视频的分支剧情D。根据该播放场景,在互动视频具有第二体感互动组件的情况下,用户能够通过第二体感互动组件指定的体感互动方式,选择希望看到的分支剧情,进而控制互动视频的播放内容,但并不能通过体感互动,在互动视频中增加原本没有的视频元素,以提升沉浸式体验。
本实施例中,提出了一种能够在互动视频中增加新的视频元素的互动方式,以图1b所示的播放场景为例,在图1b中,播放终端1000正在播放另一个互动视频文件,在播放到某一图像帧时,该图像帧嵌入了第一体感互动组件,该体感互动组件被配置为支持观众通过语音输入等任意的体感互动方式为视频添加视觉特效,例如,该体感互动组件提示观众“想要下雪就大声说出来,惊喜就在眼前”,此时,如果观众说出“我要下雪”等表示希望下雪的话语,播放终端1000在检测到语音中包含“希望下雪”的内容时,便会根据对应的互动内容,在视频的指定帧上增加形态为雪花的视觉元素,以实现与观众的互动展示。
根据以上播放场景的举例,本实施例中,播放终端可以通过检测体感互动操作,控制互动视频播放与该操作相匹配的内容,而且能够通过体感互动操作,控制互动视频增加除视频本身内容之外的视觉元素,进而提升观众的沉浸式互动体验。
本公开的另一个应用场景为任意类型的即时通讯应用,用户可以通过终端设备上安装的即时通讯应用,向指定的消息接收方发送即时消息,该即时消息可以是文字、语音、图片或者动态的视觉元素等。本实施例中,即时通讯应用允许用户通过体感互动操作,例如,通过语音等体感互动操作方式,在当前打开的即时通讯窗口中渲染对应的视觉元素,例如,即时通讯应用检测到用户输入了关于“生日快乐”的语音,则在当前打开的即时通讯窗口中渲染下蛋糕的视觉元素,检测到用户输入了关于“下雪了”的语音,则在当前打开的即时通讯窗口中渲染雪花飘落的视觉元素等。
根据以上即时通讯场景的举例,本实施例中,终端设备可以通过检测体感互动操作,在即时通讯窗口中渲染对应的视觉元素,进而提升用户的沉浸式互动体验。
<硬件配置>
图2为可以应用本公开实施例的播放控制方法的***组成结构示意图。
如图2所示,该***可以包括播放终端1000、视频创作终端2000、组件开发终端3000和服务器4000。
本实施例中,组件开发终端3000为组件开发人员使用的终端设备,组件开发人员可以通过组件开发终端3000上的组件开发应用(可以是本地应用,也可以是web应用)开发创作互动视频所需的体感互动组件,并将开发的体感互动组件发布至服务器的组件库中,以供视频创作人员使用。
本实施例中,视频创作终端2000为视频创作人员使用的终端设备,视频创作人员可以通过视频创作终端2000上的视频创作应用(可以是本地应用,也可以是web应用)进行互动视频的创作,例如,通过组件库提供的体感互动组件创作互动视频,以使得创作出的互动视频能够支持观众通过体感互动操作控制视频播放内容,并将创作好的互动视频发布至视频平台。
本实施例中,播放终端1000为观看互动视频的观众使用的终端,播放终端1000可以通过视频应用(可以是本地应用,也可以是web应用)播放视频平台提供的互动视频,并通过检测观众的体感互动操作,控制互动视频播放与该操作相匹配的内容。
以上各种终端可以为不同的终端,也可以为同一终端,在此不做限定。
本实施例中,服务器4000为实现各终端的前端功能,提供后端支持。
服务器4000例如可以是刀片服务器、机架式服务器等,服务器4000也可以是部署在云端的服务器集群,在此不做限定。
如图2所示,服务器4000可以包括处理器4100、存储器4200、接口装置4300、通信装置4400。处理器4100用于执行计算机程序,该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集。存储器4200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置4300例如包括USB接口、串行接口等。通信装置4400例如能够进行有线或无线通信。
本实施例中,服务器4000的存储器4200用于存储计算机程序,该计算机程序用于控制处理器4100进行操作以支持实施根据任意实施例的播放控制方法。技术人员可以根据本说明书所公开方案设计计算机程序。计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
如图2所示,播放终端1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、数据采集装置1500、输出装置1600,等等。其中,处理器1100用于执行计算机程序,该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,远程或者短距离通信。数据采集装置1500例如包括键盘、触摸屏、各种运动传感器(包括重力传感器、陀螺仪等)、GPS等定位装置、摄像头等图像采集装置、麦克风等音频采集装置、光线传感器等感光装置、压力传感器等压力感应装置、磁场传感器等方向感应装置等中的至少一项。输出装置1600例如可以包括显示屏、扬声器等。
该播放终端1200可以是智能手机、便携式电脑、平板电脑、可穿戴设备等能够播放视频、且便于观众实施体感互动的任意终端,在此不做限定。
在本实施例中,播放终端1000的存储器1200用于存储计算机程序,该计算机程序用于控制所述处理器1100进行操作以实施根据任意实施例的播放控制方法。技术人员可以根据本说明书所公开方案设计计算机程序。该计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图2中示出了播放终端1000的多个装置,但是,本公开实施例的播放终端1000可以仅涉及其中的部分装置,也可以还包含其他装置,在此不做限定。
本实施例中,视频创作终端2000、组件开发终端3000可以是智能手机、便携式电脑、平板电脑、PC机等终端设备,在此不做限定。
本实施例中,视频创作终端2000、组件开发终端3000可以与播放终端1000具有类似或者相同的硬件结构,在此不再赘述。
图2所示的***仅是解释性的,并且决不是为了要限制本说明书的应用或用途。例如,尽管图2仅示出一个服务器4000、一个播放终端1000等,但不意味着限制各自的数量,该***可以涉及多个服务器4000、多个播放终端1000、多个视频创作终端2000、及多个组件开发终端3000等。
<方法实施例一>
图3示出了根据一个实施例的互动视频的播放控制方法,该播放控制方法可以由电子设备实施,该电子设备例如包括如图2所示的播放终端1000。本实施例中,播放终端1000安装有互动引擎,以实施图3所示的播放控制方法,该互动引擎例如可以是一个SDK软件包等,在此不做限定。
本实施例中,该播放控制方法可以包括如下步骤S310~S330:
步骤S310,在互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据。
本实施例中,参见图2所示,播放终端1000设置有数据采集装置1500,互动引擎可以调用播放终端1000的数据采集装置1500采集体感互动数据,并获取数据采集装置1500采集到的体感互动数据,并对体感互动数据进行解析,以识别体感互动数据体现的互动内容。
播放终端1000的数据采集装置1500能够感应观众的体感互动操作,并提供反映体感互动操作的体感互动数据。
例如,数据采集装置1500包括摄像头等图像采集装置,图像采集装置可以采集观众的面部图像,进而提供反映面部动作和/或观众情绪的图像数据,作为体感互动数据。
又例如,数据采集装置1500包括麦克风等音频采集装置,音频采集装置可以采集观众的语音,进而提供反映语音内容的音频数据,作为体感交互数据。
又例如,数据采集装置1500包括重力传感器、陀螺仪等运动传感器,运动传感器可以感应观众移动和/或转动播放终端1000的体感互动操作,进而提供反映该操作的运动数据,作为体感互动数据。
又例如,数据采集装置1500包括触摸屏,触摸屏可以感应观众的手指点击、滑动等体感互动操作,进而提供反映该操作的数据,作为体感互动数据。
又例如,数据采集装置1500包括光线传感器等感光装置,感光装置可以感应观众改变外部光线的体感互动操作,进而提供反映该操作的数据,作为体感互动数据。
又例如,数据采集装置1500包括磁场传感器,磁场传感器可以感应观众改变播放终端朝向的体感互动操作,进而提供反映该操作的方向数据,作为体感互动数据等。
再例如,数据采集装置1500包括键盘和/或触摸屏等输入装置,输入装置可以感应观众输入字符、文字等的体感互动操作,进而提供反映该操作的数据,作为体感交互数据。
在一个实施例中,该步骤S310中获取数据采集装置采集到的体感互动数据可以包括以下任意一项或者多项的组合:第一项,获取图像采集装置采集到的体感互动数据;第二项,获取音频采集装置采集到的体感互动数据;第三项,获取运动传感器采集到的体感互动数据;第四项,获取定位装置采集到的体感互动数据;第五项,获取感光装置采集到的体感互动数据;第六项,获取键盘和/或触摸屏采集到的体感互动数据;第七项,获取压力传感器采集到的体感互动数据;第八项,获取距离传感器采集到的体感互动数据;第九项,获取磁场传感器采集到的体感互动数据。
在一个实施例中,根据互动视频所添加的体感互动组件的配置信息,在播放期间始终执行根据步骤S310的操作,或者仅在播放特定帧时,执行根据步骤S310的操作。
例如,该体感互动组件的配置信息中包含对于互动有效帧的配置信息,这样,便可以根据该配置信息,执行步骤S310的操作。
该实施例中,一个互动视频可以添加有一种体感互动组件,也可以添加有两种以上(包括两种)的体感互动组件,在此不做限定。
不同种类的体感互动组件可以支持不同的体感互动操作,例如,有支持语音互动的体感互动组件,支持触屏互动的体感互动组件,支持移动操作的体感互动组件,支持转动或者晃动操作的体感互动组件,支持改变外部光线环境操作的体感互动组件等等。
该实施例中,互动视频中的体感互动组件会根据配置进行体感互动方式的提示,以使得观众可以根据该提示进行体感互动操作,以控制互动视频展示所希望的播放内容。
例如,如图1a所示的体感互动组件提示观众向上、向下、向左或者向右移动播放终端,以选择不同的分支剧情。
又例如,如图1b所示的体感互动组件提示观众可以通过语音输入增加雪花特效等等。
本实施例中,互动引擎可以设置数据获取模块,以通过数据获取模块调用播放终端1000的数据采集装置采集体感互动数据,并获取采集到的体感互动数据。
步骤S320,根据通过步骤S320获取到的体感互动数据,获得对应的互动内容。
该体感互动数据对应的互动内容为与体感互动数据相映射的互动内容,也即为观众通过体感互动操作所要表达的互动内容。例如,如图1a所示,观众通过向上移动播放播放终端1000的体感互动操作,表达希望接下来播放分支剧情A的互动内容。又例如,如图1b所示,通过说出“我要下雪”等体感互动操作,表达希望在互动视频的指定帧中增加雪花元素的互动内容。
本实施例中,互动引擎可以设置识别模块,以通过识别模块识别体感互动数据所体现的互动内容。
在一个实施例中,该步骤S320中根据体感互动数据,获得对应的互动内容可以包括如下步骤S3211~S3212:
步骤S3211,识别体感互动数据反映的行为特征。
该行为特征即为观众进行体感互动操作的方式,例如行为特征为“向上移动播放终端”,“向右滑动播放终端的触摸屏”,“说出**内容”,或者“眨眼睛”等。
由于体感互动数据与体感互动操作相对应,而体感互动操作又与行为特征相对应,因此,通过分析体感互动数据,便能够识别得到所反映的行为特征。
步骤S3212,根据识别得到的行为特征,确定互动内容。
该实施例中,体感互动组件配置有关于行为特征与互动内容间的对应关系的信息,并根据该信息指示观众进行体感互动操作,因此,互动引擎通过解析互动视频中的体感互动组件,便可以获知行为特征与互动内容之间的对应关系,进而根据识别得到的行为特征,确定对应的互动内容。
在一个实施例中,识别模块可以通过预置的识别模型识别体感交互数据所反映的行为特征。该实施例中,步骤S3211中识别体感互动数据反映的行为特征,可以包括:调用预置的识别模型,识别体感互动数据反映的行为特征。
该实施例中,识别模型可以是映射对照表,该映射对照表反映体感交互数据与行为特征之间的映射关系。
该实施例中,识别模型也可以是根据带标签的训练样本训练得到的模型,在此不做限定。
该实施例中,运行在播放终端1000上的互动引擎可以通过内置的识别模型进行该识别;也可以请求服务器进行该识别;还可以通过内置的识别模型识别一部分类型的体感交互数据,及请求服务器识别另一部分类型的体感交互数据,在此不做限定。
在一个实施例中,调用预置的识别模型,识别体感互动数据反映的行为特征,可以包括如下步骤:根据体感互动数据的数据类型,在识别模型库中查找对应的识别模型;在查找到该对应的识别模型的情况下,通过查找到的识别模型识别体感互动数据反映的行为特征。
该数据类型对应体感互动数据的来源,即表示采集体感互动数据的数据采集装置的类型,例如,图像类型的数据由图像采集装置采集得到等。
该实施例中,互动引擎可以设置识别模型库,该识别模型库中添加有用于识别不同数据类型的体感互动数据的识别模型,例如,具有以下至少一种识别模型:识别图像采集装置采集到的体感互动数据的识别模型;识别音频采集装置采集到的体感互动数据的识别模型;识别运动传感器采集到的体感互动数据的识别模型;识别通过触屏感应到的体感互动数据的识别模型;识别定位装置感应到的体感交互数据的识别模型;以及,识别感光装置感应到的体感交互数据的识别模型等。
对于不同数据类型的体感交互数据,将调用对应的识别模型进行识别,以提高识别的准确性。
在一个实施例中,调用预置的识别模型,识别体感互动数据反映的行为特征,还可以包括如下步骤:在未查找到对应的识别模型的情况下,将体感互动数据发送至服务器进行识别处理;获取服务器通过该识别处理返回的识别结果;根据该识别结果,确定该行为特征。
该实施例中,在互动引擎不具有对于某些数据类型的体感互动数据的识别能力时,可以请求服务器进行该识别。例如,请求服务器识别图像采集装置采集到的体感交互数据。又例如,请求服务器识别音频采集装置采集到的体感交互数据等。
该实施例中,互动引擎可以记录用于识别各种数据类型的识别模型的访问地址,以通过记录的访问地址,将体感互动数据发送至服务器进行识别处理。
在一个实施例中,该步骤S320中根据体感互动数据,获得对应的互动内容,也可以包括如下步骤S3221~S3222:
步骤S3221,识别体感互动数据反映的行为特征。
步骤S3222,根据该行为特征,在体感互动组件的关于互动内容的配置项中查找对应的互动内容。
该体感互动组件可以提供多个允许视频创作人员配置的配置项,例如,包括该关于互动内容的配置项等,以下简称为互动内容配置项,该互动内容配置项配置有有关不同行为特征与互动内容间的映射关系的配置信息。
步骤S330,在通过步骤S320获得的互动内容包括在互动视频的指定帧上增加指定的视觉元素的情况下,在该指定帧的预留图层上渲染该指定的视觉元素。
本实施例中,观众可以通过体感互动操作,控制互动视频播放指定的视觉元素。
本实施例中,该视觉元素可以是可供渲染的任意形状和颜色的视觉元素,例如,该视觉元素是雪花、蛋糕、萤火虫、雨滴、花瓣等等,在此不做限定。
本实施例中,该视觉元素可以以静态的方式或者动态的方式渲染在指定帧的预留图层上,在此不做限定。
本实施例中,体感交互组件可以配置有对于互动有效帧的配置信息,例如,一体感交互组件的互动有效帧为第n帧,或者第n帧至第(n+10)帧,则将在播放到这些指定帧时,增加所表示的视觉元素,例如增加雨、雪等视觉元素等。
本实施例中,互动引擎内置有渲染模块,该渲染模块用于在互动视频的预留图层上渲染所要增加的视觉元素。
以图1b为例,在互动内容为在互动视频的指定帧上增加雪花元素的情况下,控制互动视频在该指定帧上提供雪花特效。
在一个实施例中,该方法还可以包括:在互动内容表示选取一个分支剧情的情况下,控制该互动视频播放该分支剧情。
以图1a为例,在互动内容为选择分支剧情A的情况下,控制互动视频播放该分支剧情A。
根据以上步骤S310~S330可知,本实施例的方法支持观众通过体感互动的方式,控制互动视频的播放,进而为观众提供沉浸式的互动体验。
在一个实施例中,该方法还可以包括如下步骤S340~S350:
步骤S340,根据互动内容,更新对应观众的互动评分。
该实施例中,观众可以通过体感互动操作增加自己的互动评分,互动引擎可以根据体感互动组件配置的对于不同互动内容的互动评分,来不断更新观众通过体感互动得到的互动评分。
步骤S350,根据该互动评分,控制该互动视频的播放。
该实施例中,可以设置互动评分影响剧情走向,也可以设置互动评分能够影响所提供的额外剧情(或者称之为彩蛋),例如,在某一观众的互动评分大于或者等于设定分值时,便可以在互动视频的最后为该观众提供精心准备的额外剧情等。
在一个实施例中,以上对应任意数据类型的识别模型可以通过训练样本得到,以提高识别模型的识别准确性。
该实施例中,获得对应于任意数据类型的识别模型的步骤可以包括:
步骤S3011,获取属于任意数据类型的训练样本,其中,该训练样本具有所体现的实际行为特征的标签。
以图像数据类型为例,可以获取大量已知行为特征的图像作为训练样本,例如,体现咋眼特征的图像,体现张嘴特征的图像等等。
步骤S3012,根据该训练样本,训练设定模型结构的模型参数。
该设定模型结构可以是深度学习网络模型等,在此不做限定。
该实施例中,通过该训练样本,可以获得使得损失函数满足收敛条件的模型参数,而通过训练得到的模型参数对设定模型结构赋值,便得到了对应的识别模型。
步骤S3013,根据训练得到的模型参数,获得对应于该任意数据类型的识别模型。
该实施例中,获得对应于任意数据类型的识别模型的步骤可以由播放终端实施,也可以由其他设备实施,并将获得的识别模型提供给播放终端,在此不做限定。
在一个实施例中,视频创作人员通过在互动视频中设置体感互动组件,使得观众可以通过体感互动操作与该互动视频进行互动。因此,互动引擎可以在检测到互动视频中的体感互动组件时,再根据体感互动组件的配置信息,执行以上步骤S310,以提高引擎效率。
该实施例中,该方法还可以包括如下步骤:检测互动视频的当前帧是否添加有体感互动组件;以及,在添加所述体感互动组件的情况下,执行获取数据采集装置采集到的体感互动数据的操作。
该实施例中,互动引擎可以根据体感互动组件的配置信息,执行获取数据采集装置采集到的体感互动数据的操作。
该实施例中,互动引擎可以根据体感互动组件关于所要调用的数据采集装置的配置信息,获取所要调用的数据采集装置采集到的体感互动数据。
例如,该体感互动组件需要调用图像采集装置,互动引擎将根据该配置信息,获取图像采集装置采集到的体感互动数据,以执行步骤S320。此时,即使其他数据采集装置也处于采集数据的激活状态,但其采集到的数据将不会作为体感交互数据而影响互动视频的播放。
该实施例中,一个体感互动组件可以被配置为调用一种数据采集装置或者多种数据采集装置,在此不做限定。
在一个实施例中,在互动视频中添加体感互动组件的步骤可以由视频创作人员通过如图2所示的视频创作终端2000实施。
该实施例中,在互动视频中添加体感互动组件可以包括如下步骤S3021~S3024:
步骤S3021,提供互动组件库。
该互动组件库可以包括各种封装好的标准化组件,以供视频创作人员创作互动视频使用。
该实施例中,该互动组件库包括至少一种体感互动组件。
步骤S3022,响应于配置从所述互动组件库中选择的体感互动组件的操作,提供体感互动组件的配置页面。
视频创作人员可以通过拖拽互动组件库中提供的互动组件的方式,选择在视频创作中所要使用的体感互动组件。
该实施例中,视频创作人员例如可以通过点击所选择的体感互动组件,调出所选择的体感互动组件的配置页面。
该配置页面可以包括多个配置项,例如包括互动内容配置项、有效帧配置项、显示模式配置项、提示内容配置项、组件定位配置项等等,其中,组件定位配置项用于配置显示提示内容的图像帧序号等。
该实施例中,配置页面可以仅提供对应体感互动组件的部分配置项,以供视频创作人员进行个性化的配置。另一部分配置项的配置信息已经封装在体感互动组件中,无需视频创作人员配置。这可以提高体感互动组件的易用性,降低对创作互动视频的技术要求。
步骤S3023,获取针对配置页面的配置项输入的配置信息。
视频创作人员可以通过配置页面,针对各配置项输入定制化的配置信息。
步骤S3024,根据所述配置信息,在所述互动视频中添加该体感互动组件。
例如,根据对于显示模式配置项、提示内容配置项、组件定位配置项等配置信息,在互动视频中添加体感互动组件,这样,便可在针对组件定位配置项配置的图像帧上,以配置的显示模式,显示配置的提示内容。
根据该实施例,视频创作人员能够通过各种标准化的互动组件,创作出支持各种体感互动方式的互动视频,丰富了互动视频的互动方式,有利于增强观众的沉浸式体验。
在一个实施例中,在互动组件库中添加体感互动组件的步骤可以由组件开发人员通过如图2所示的组件开发终端3000实施。
该实施例中,在互动组件库中添加体感互动组件以供选择,可以包括:根据互动内容平台提供的对外接口,将封装好的体感互动组件发布至互动内容平台的互动组件库。
该实施例中,互动内容平台可以提供对外接口,组件开发人员在开发完体感互动组件之后,可以通过该对外接口,将封装好的体感互动组件发布至互动内容平台的互动组件库,这样,视频创作人员即可调用互动组件库时,查找到所发布的体感互动组件。
在一个实施例中,封装得到以上体感互动组件的步骤可以由组件开发人员通过如图2所示的组件开发终端3000实施。
该实施例中,封装得到体感互动组件可以包括如下步骤S3031~S3035:
步骤S3031,提供组件描述模板。
该组件描述模板可以按照互动引擎能够解析的数据结构设置各个配置项,组件开发人员可以通过编辑各个配置项,来获得对应所要开发的体感互动组件的组件描述文件。
该配置项例如包括所要开发的体感互动组件对应的数据采集装置的类型等。
步骤S3021,获取编辑该组件描述模板得到的组件描述文件。
步骤S3031,提供组件描述模板的前端页面模板。
该前端页面模板供组件开发人员设计体感互动组件的配置页面,配置页面可以仅包含组件描述模板中的部分配置项,即,可以包含组件描述模板中的允许或者需要视频创作人员根据创作需求,进行个性化调整的配置项。
步骤S3041,获取编辑前端页面模板得到的配置页面文件,其中,该配置页面文件中的配置项与组件描述文件相关联。
例如,该配置页面文件中的配置项是组件描述文件中的部分配置项,通过在配置页面中填写配置项的配置信息,能够更新组件描述文件中的对应配置项,或者将填写的配置信息填加至描述文件中的对应配置项下。
步骤S3051,封装该组件描述文件和该配置页面文件,得到体感互动组件。
根据该实施例,通过提供标准化的组件开发模板,能够降低组件开发人员开发体感互动组件的难度,提高开发效率,以为视频创作人员提供更丰富的体感互动组件。
<方法实施例二>
本公开实施例还提供了一种即时通讯的播放控制方法,图4示出了根据该实施例的播放控制方法的流程示意图。该方法可以由能够安装即时通讯应用的任意的终端设备实施,该终端设备可以类似于图2中播放终端1000的硬件结构,例如,包括播放终端1000的所有或者部分硬件结构,在此不做限定。下面以用户A的终端设备为例,说明该实施例的播放控制方法。
如图4所示,该方法可以包括如下步骤S410~S430:
步骤S410,在终端设备的当前显示界面为即时通讯对话界面的情况下,获取数据采集装置采集到的体感互动数据。
该即时通讯对话界面即为用户A与选定的至少一位其他用户进行即时对话的窗口。
本实施例中,在终端设备的当前显示界面为该即时对话窗口的情况下,终端设备获取数据采集装置采集到的体感互动数据。
在一个实施例中,该步骤S410中获取数据采集装置采集到的体感互动数据可以包括以下任意一项或者多项的组合:第一项,获取图像采集装置采集到的体感互动数据;第二项,获取音频采集装置采集到的体感互动数据;第三项,获取运动传感器采集到的体感互动数据;第四项,获取定位装置采集到的体感互动数据;第五项,获取感光装置采集到的体感互动数据;第六项,获取压力传感器采集到的体感互动数据;第七项,获取距离传感器采集到的体感互动数据;第八项,获取磁场传感器采集到的体感互动数据。
步骤S420,根据该体感互动数据,获得对应于所述体感互动数据的互动内容。
该体感互动数据对应的互动内容为与体感互动数据相映射的互动内容。例如,用户A实施了向终端设备输入关于“生日快乐”的语音数据的情况下,与该语音数据对应的互动内容为在即时通讯窗口上渲染蛋糕下落的动态视觉元素等。又例如,用户A实施了向终端设备输入关于“下雪了”的语音数据的情况下,与该语音数据对应的互动内容为在即时通讯窗口上渲染雪花飘落的动态视觉元素等。再例如,用户A实施了亲吻的动作,终端设备在通过图像采集装置采集到的图像类型的体感交互数据和/或音频采集装置采集到的音频类型的体感交互数据,识别到用户A实施了该动作的情况下,将根据该体感互动数据,获得对应于该体感互动数据的互动内容,该互动内容例如是在即时通讯窗口上渲染代表亲吻动作的视觉元素等。
本实施例中,即时通讯应用可以设置互动引擎来识别与体感互动数据对应的互动内容。
本实施例中,即时通讯应用同样可以通过植入体感互动组件来配置与体感互动数据对应的互动内容等。
本实施例中,对于“根据体感互动数据,获得对应的互动内容”的可供选择的实施方式,可参见以上实施例一,在此不再赘述。
步骤S430,在所述互动内容包括增加指定的视觉元素的情况下,在该即时通讯对话窗口上渲染该指定的视觉元素。
本实施例中,由于用户A与选定的其他用户均对应该即时通讯对话窗口,因此,用户A的终端设备可以将该体感互动数据或者该互动内容发送至服务器,这样,服务器便可以根据用户A的终端设备发送的体感互动数据或者互动内容,配置其他用户的终端设备也在该即时通讯对话窗口上渲染该指定的视觉元素。
根据以上步骤S410~S430可知,本实施例的方法支持用户通过体感互动的方式,控制即时通讯窗口的展示,进而为观众提供沉浸式的互动体验。
<装置实施例一>
图5示出了根据一个实施例的互动视频的播放控制装置,如图5所示,该播放控制装置500可以包括数据获取模块510、识别模块520和播放控制模块530。
该数据获取模块510可以用于在互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据。
该识别模块520可以用于根据所述体感互动数据,获得对应于所述体感互动数据的互动内容。
该播放控制模块530用于在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
在一个实施例中,该数据获取模块510在获取数据采集装置采集到的体感互动数据时,可以用于执行以下至少一项:第一项,获取图像采集装置采集到的体感互动数据;第二项,获取音频采集装置采集到的体感互动数据;第三项,获取运动传感器采集到的体感互动数据;第四项,获取定位装置采集到的体感互动数据;第五项,获取感光装置采集到的体感互动数据;以及,第六项,获取通过键盘或者触摸屏采集到的体感互动数据。
在一个实施例中,该识别模块520在根据所述体感互动数据,获得对应于所述体感互动数据的互动内容时,可以用于:识别所述体感互动数据反映的行为特征;以及,根据所述行为特征,确定所述互动内容。
在一个实施例中,该识别模块520在根据所述体感互动数据,获得对应于所述体感互动数据的互动内容时,可以用于:调用预置的识别模型,识别所述体感互动数据反映的行为特征。
在一个实施例中,该识别模块520在调用预置的识别模型,识别所述体感互动数据反映的行为特征时,可以用于:根据所述体感互动数据的数据类型,在识别模型库中查找对应的识别模型;以及,在查找到所述对应的识别模型的情况下,通过查找到的识别模型识别所述体感互动数据反映的行为特征。
在一个实施例中,该识别模块520在调用预置的识别模型,识别所述体感互动数据反映的行为特征时,还可以用于:在未查找到所述对应的识别模型的情况下,将所述体感互动数据发送至服务器进行识别处理;获取所述服务器通过所述识别处理返回的识别结果;以及,根据所述识别结果,确定所述行为特征。
在一个实施例中,该装置500还可以包括模型生成模块,该模型生成模块用于获得对应于任意数据类型的识别模型。该模型生成模块在获得对应于任意数据类型的识别模型时,可以用于:获取属于所述任意数据类型的训练样本,其中,所述训练样本具有所体现的实际行为特征的标签;根据所述训练样本,训练设定模型结构的模型参数;以及,根据训练得到的模型参数,获得对应于所述任意数据类型的识别模型。
在一个实施例中,该播放控制模块530还可以用于:在互动内容表示选取一个分支剧情的情况下,控制所述互动视频播放所述分支剧情。
在一个实施例中,该播放控制模块530还可以用于:根据所述互动内容,更新对应观众的互动评分;以及,根据所述互动评分,控制所述互动视频的播放内容。
在一个实施例中,该方法还可以包括解析模块,该解析模块用于检测互动视频的当前帧是否添加有体感互动组件;以及,在添加所述体感互动组件的情况下,通知数据获取模块510执行获取数据采集装置采集到的体感互动数据的操作。
在一个实施例中,该数据获取模块510在获取数据采集装置采集到的体感互动数据时,可以用于:根据解析模块提供的体感互动组件关于所要调用的数据采集装置的配置信息,获取所要调用的数据采集装置采集到的体感互动数据。
在一个实施例中,该识别模块520在识别所述体感互动数据体现的互动内容时,可以用于:识别所述体感互动数据反映的行为特征;以及,根据所述行为特征,在所述体感互动组件的关于互动内容的配置项中查找对应的互动内容。
在一个实施例中,该装置500还可以包括视频创作模块,该视频创作模块用于在互动视频中添加所述体感互动组件。该视频创作模块在互动视频中添加所述体感互动组件时,可以用于:提供互动组件库;响应于配置从所述互动组件库中选择的体感互动组件的操作,提供所述体感互动组件的配置页面;获取针对所述配置页面的配置项输入的配置信息;以及,根据所述配置信息,在所述互动视频中添加所述体感互动组件。
在一个实施例中,该装置500还可以包括组件开发模块,该组件开发模块用于在互动组件库中添加所述体感互动组件以供选择。该组件开发模块在互动组件库中添加所述体感互动组件以供选择时,可以用于:根据互动内容平台提供的对外接口,将封装好的体感互动组件发布至互动内容平台的互动组件库。
在一个实施例中,该组件开发模块还可以用于封装得到体感互动组件。该组件开发模块在封装得到体感互动组件时,可以用于:提供组件描述模板;获取编辑所述组件描述模板得到的组件描述文件;提供所述组件描述模板的前端页面模板;获取编辑所述前端页面模板得到的配置页面文件,其中,所述配置页面文件中的配置项与所述组件描述文件相关联;以及,封装所述组件描述文件和所述配置页面文件,得到体感互动组件。
<装置实施例二>
图6示出了根据另一个实施例的播放控制装置,如图6所示,该播放控制装置600可以包括至少一个处理器610和至少一个存储器620。
该存储器620用于存储可执行的计算机程序。该处理器610用于根据该可执行的计算机程序的控制,执行根据任意方法实施例一或者方法实施例二的播放控制方法。
该播放控制装置可以包括至少一个终端设备。
例如,对于互动视频的播放控制装置,该播放控制装置可以包括一个终端设备作为播放控制终端、视频创作终端和组件开发终端,也可以包括多个终端设备,分别作为播放控制终端、视频创作终端和组件开发终端等,在此不做限定。
<介质实施例>
在本实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质存储有可被计算机读取并运行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行如本发明以上任意方法实施例一或者方法实施例二的播放控制方法。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (19)
1.一种互动视频的播放控制方法,包括:
在所述互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据;
根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;
在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
2.根据权利要求1所述的方法,其中,所述方法还包括:
检测所述互动视频是否添加有体感互动组件,其中,所述体感互动组件包括用于增加视觉元素的第一体感互动组件,所述第一体感互动组件具有关于所述互动内容的配置项;
在添加所述体感互动组件的情况下,执行所述获取数据采集装置采集到的体感互动数据的操作。
3.根据权利要求2所述的方法,其中,所述获取数据采集装置采集到的体感互动数据,包括:
根据所述体感互动组件关于所要调用的数据采集装置的配置信息,获取所述所要调用的数据采集装置采集到的体感互动数据。
4.根据权利要求2所述的方法,其中,所述根据所述体感互动数据,获得对应于所述体感互动数据的互动内容,包括:
识别所述体感互动数据反映的行为特征;
根据所述行为特征,在所述体感互动组件的关于互动内容的配置项中查找对应的互动内容。
5.根据权利要求2所述的方法,其中,在所述互动视频中添加所述体感互动组件的步骤,包括:
提供互动组件库;
响应于配置从所述互动组件库中选择的体感互动组件的操作,提供所述体感互动组件的配置页面;
获取针对所述配置页面的配置项输入的配置信息;
根据所述配置信息,在所述互动视频中添加所述体感互动组件。
6.根据权利要求5所述的方法,其中,在互动组件库中提供所述体感互动组件以供添加在互动视频中的步骤,包括:
根据互动内容平台提供的对外接口,将封装好的所述体感互动组件发布至所述互动内容平台的互动组件库。
7.根据权利要求6所述的方法,其中,封装所述体感互动组件的步骤,包括:
提供组件描述模板;
获取编辑所述组件描述模板得到的组件描述文件;
提供所述组件描述模板的前端页面模板;
获取编辑所述前端页面模板得到的配置页面文件,其中,所述配置页面文件中的配置项与所述组件描述文件相关联;
封装所述组件描述文件和所述配置页面文件,得到所述体感互动组件。
8.根据权利要求1至7中任一项所述的方法,其中,所述获取数据采集装置采集到的体感互动数据,包括以下至少一项:
第一项,获取图像采集装置采集到的体感互动数据;
第二项,获取音频采集装置采集到的体感互动数据;
第三项,获取运动传感器采集到的体感互动数据;
第四项,获取定位装置采集到的体感互动数据;
第五项,获取感光装置采集到的体感互动数据;
第六项,获取通过键盘或者触摸屏采集到的体感互动数据。
9.根据权利要求1至7中任一项所述的方法,其中,所述所述根据所述体感互动数据,获得对应于所述体感互动数据的互动内容,包括:
识别所述体感互动数据反映的行为特征;
根据所述行为特征,确定所述互动内容。
10.根据权利要求9所述的方法,其中,所述识别所述体感互动数据反映的行为特征,包括:
调用预置的识别模型,识别所述体感互动数据反映的行为特征。
11.根据权利要求10所述的方法,其中,所述调用预置的识别模型,识别所述体感互动数据反映的行为特征,包括:
根据所述体感互动数据的数据类型,在识别模型库中查找对应的识别模型;
在查找到所述对应的识别模型的情况下,通过查找到的识别模型识别所述体感互动数据反映的行为特征。
12.根据权利要求11所述的方法,其中,所述调用预置的识别模型,识别所述体感互动数据反映的行为特征,还包括:
在未查找到所述对应的识别模型的情况下,将所述体感互动数据发送至服务器进行识别处理;
获取所述服务器通过所述识别处理返回的识别结果;
根据所述识别结果,确定所述行为特征。
13.根据权利要求11所述的方法,其中,获得对应于任意数据类型的识别模型的步骤,包括:
获取属于所述任意数据类型的训练样本,其中,所述训练样本具有所体现的实际行为特征的标签;
根据所述训练样本,训练设定模型结构的模型参数;
根据训练得到的模型参数,获得对应于所述任意数据类型的识别模型。
14.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括:
在所述互动内容包括选取一个分支剧情的情况下,控制所述互动视频播放所述分支剧情。
15.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括:
根据所述互动内容,更新对应观众的互动评分;
根据所述互动评分,控制所述互动视频的播放内容。
16.一种即时通讯的播放控制方法,包括:
在当前显示界面为即时通讯对话界面的情况下,获取数据采集装置采集到的体感互动数据;
根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;
在所述互动内容包括增加指定的视觉元素的情况下,在所述即时通讯对话界面上渲染所述指定的视觉元素。
17.一种互动视频的播放控制装置,包括:
数据获取模块,用于在所述互动视频处于播放状态下,获取数据采集装置采集到的体感互动数据;
识别模块,用于根据所述体感互动数据,获得对应于所述体感互动数据的互动内容;以及,
播放控制模块,用于在所述互动内容包括在所述互动视频的指定帧上增加指定的视觉元素的情况下,在所述指定帧的预留图层上渲染所述指定的视觉元素。
18.一种播放控制装置,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的计算机程序的控制,执行根据权利要求1-16中任意一项所述的播放控制方法。
19.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有可被计算机读取执行的计算机程序,所述计算机程序用于在被所述计算机读取运行时,执行根据权利要求1-16中任一项所述的播放控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010555613.7A CN113301436A (zh) | 2020-06-17 | 2020-06-17 | 播放控制方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010555613.7A CN113301436A (zh) | 2020-06-17 | 2020-06-17 | 播放控制方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113301436A true CN113301436A (zh) | 2021-08-24 |
Family
ID=77318039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010555613.7A Pending CN113301436A (zh) | 2020-06-17 | 2020-06-17 | 播放控制方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113301436A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422843A (zh) * | 2022-03-10 | 2022-04-29 | 北京达佳互联信息技术有限公司 | 视频彩蛋的播放方法、装置、电子设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5465384A (en) * | 1992-11-25 | 1995-11-07 | Actifilm, Inc. | Automatic polling and display interactive entertainment system |
US20050120389A1 (en) * | 2003-12-01 | 2005-06-02 | International Business Machines Corporation | Selecting divergent storylines using branching techniques |
CN105872838A (zh) * | 2016-04-28 | 2016-08-17 | 徐文波 | 即时视频的媒体特效发送方法和装置 |
CN106303658A (zh) * | 2016-08-19 | 2017-01-04 | 百度在线网络技术(北京)有限公司 | 应用于视频直播的交互方法和装置 |
WO2017004059A1 (en) * | 2015-06-30 | 2017-01-05 | Microsoft Technology Licensing, Llc | Layered interactive video platform for interactive video experiences |
CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 视频互动方法、装置及可读介质 |
US10616666B1 (en) * | 2018-02-27 | 2020-04-07 | Halogen Networks, LLC | Interactive sentiment-detecting video streaming system and method |
-
2020
- 2020-06-17 CN CN202010555613.7A patent/CN113301436A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5465384A (en) * | 1992-11-25 | 1995-11-07 | Actifilm, Inc. | Automatic polling and display interactive entertainment system |
US20050120389A1 (en) * | 2003-12-01 | 2005-06-02 | International Business Machines Corporation | Selecting divergent storylines using branching techniques |
WO2017004059A1 (en) * | 2015-06-30 | 2017-01-05 | Microsoft Technology Licensing, Llc | Layered interactive video platform for interactive video experiences |
CN105872838A (zh) * | 2016-04-28 | 2016-08-17 | 徐文波 | 即时视频的媒体特效发送方法和装置 |
CN106303658A (zh) * | 2016-08-19 | 2017-01-04 | 百度在线网络技术(北京)有限公司 | 应用于视频直播的交互方法和装置 |
US10616666B1 (en) * | 2018-02-27 | 2020-04-07 | Halogen Networks, LLC | Interactive sentiment-detecting video streaming system and method |
CN108769814A (zh) * | 2018-06-01 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 视频互动方法、装置及可读介质 |
Non-Patent Citations (2)
Title |
---|
电影控控: "新浪微博" * |
童飞波与叶春庭: "网络视频的互动性发展之路简析――兼论交互式视频的发展策略" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422843A (zh) * | 2022-03-10 | 2022-04-29 | 北京达佳互联信息技术有限公司 | 视频彩蛋的播放方法、装置、电子设备及介质 |
CN114422843B (zh) * | 2022-03-10 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 视频彩蛋的播放方法、装置、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160012136A1 (en) | Simultaneous Local and Cloud Searching System and Method | |
KR20210001859A (ko) | 3차원 가상 인물 입모양 변화 제어 방법 및 장치 | |
US10678855B2 (en) | Generating descriptive text contemporaneous to visual media | |
CN110602516A (zh) | 基于视频直播的信息交互方法、装置及电子设备 | |
CN110968362B (zh) | 应用运行方法、装置及存储介质 | |
CN112817790B (zh) | 模拟用户行为的方法 | |
CN115082602A (zh) | 生成数字人的方法、模型的训练方法、装置、设备和介质 | |
CN113778419B (zh) | 多媒体数据的生成方法、装置、可读介质及电子设备 | |
CN108449255B (zh) | 评论交互方法、设备、客户端装置及电子设备 | |
CN112037756A (zh) | 语音处理方法、装置和介质 | |
US10965629B1 (en) | Method for generating imitated mobile messages on a chat writer server | |
CN110413834B (zh) | 语音评论修饰方法、***、介质和电子设备 | |
CN110379406B (zh) | 语音评论转换方法、***、介质和电子设备 | |
Guedes et al. | Extending multimedia languages to support multimodal user interactions | |
KR102353797B1 (ko) | 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템 | |
CN111818279A (zh) | 字幕的生成方法、展示方法及交互方法 | |
CN113301436A (zh) | 播放控制方法、装置及计算机可读存储介质 | |
CN116974676A (zh) | 一种页面内容发送方法、装置和设备 | |
US10915778B2 (en) | User interface framework for multi-selection and operation of non-consecutive segmented information | |
CN108255917B (zh) | 图像管理方法、设备及电子设备 | |
CN116126177A (zh) | 一种数据交互控制方法、装置、电子设备和存储介质 | |
CN115981769A (zh) | 页面显示方法、装置、设备、计算机可读存储介质及产品 | |
US11809481B2 (en) | Content generation based on multi-source content analysis | |
CN110853643A (zh) | 快应用中进行语音识别的方法、装置、设备及存储介质 | |
JP7128222B2 (ja) | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |