发明内容
本发明实施例提供一种视频的信息处理方法、装置、电子设备及存储介质,能够更形象、细致地向用户展现视频的关键内容,使得用户可以更好、更快地了解视频,同时丰富了视频内容介绍的方式,有利于视频的传播。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种视频的信息处理方法,包括:
在视频的播放界面中,呈现对应所述视频的关键内容展示图的生成功能项;
响应于针对所述生成功能项的触发操作,呈现用于表征所述视频的关键内容的关键内容展示图;
其中,所述关键内容展示图,包括所述视频的至少一个关键视频帧及与所述关键视频帧相关联的文本内容。
本发明实施例还提供一种视频的信息处理装置,包括:
呈现模块,用于在视频的播放界面中,呈现对应所述视频的关键内容展示图的生成功能项;
生成模块,用于响应于针对所述生成功能项的触发操作,呈现用于表征所述视频的关键内容的关键内容展示图;
其中,所述关键内容展示图,包括所述视频的至少一个关键视频帧及与所述关键视频帧相关联的文本内容。
上述方案中,所述生成模块,还用于响应于针对所述生成功能项的触发操作,呈现视频帧选择界面,并
在所述视频帧选择界面中呈现至少一个关键视频帧;
响应于基于所述视频帧选择界面触发的视频帧选择操作,基于所述视频帧选择操作所选择的关键视频帧,生成用于表征所述视频的关键内容的关键内容展示图并呈现。
上述方案中,所述呈现模块,还用于呈现对应所述关键内容展示图的存储功能项;
响应于针对所述存储功能项的触发操作,保存所述关键内容展示图至所述存储功能项所关联的存储路径下;
呈现所述关键内容展示图已存储至所述存储路径下的提示信息。
上述方案中,所述呈现模块,还用于呈现对应所述关键内容展示图的第一分享功能项;
响应于针对所述第一分享功能项的触发操作,呈现对应所述关键内容展示图的第一分享界面,并在所述第一分享界面中呈现供选择的分享对象;
响应于基于所述第一分享界面触发的分享对象选择操作,分享所述关键内容展示图,至所述分享对象选择操作所选择的分享对象。
上述方案中,所述呈现模块,还用于呈现对应所述关键内容展示图的第二分享功能项;
响应于针对所述第二分享功能项的触发操作,呈现对应所述关键内容展示图的第二分享界面,并在所述第二分享界面中呈现供选择的分享方式;
响应于基于所述第二分享界面触发的分享方式选择操作,基于所述分享方式选择操作所选择的分享方式,分享所述关键内容展示图。
上述方案中,所述装置还包括:
编码模块,用于获取所述视频的播放界面所对应的链接;
对所述链接进行编码,得到所述视频对应的图形码,所述图形码,用于供电子设备触发针对所述图形码的扫描操作时,跳转页面至所述视频的播放界面。
上述方案中,所述生成模块,还用于获取所述视频的至少一个关键视频帧,及与各个所述关键视频帧相关联的文本内容,所述文本内容用于描述相应关键视频帧的视频内容;
获取所述视频对应的展示图生成模板;
基于所述展示图生成模板,将所述文本内容与相应的关键视频帧进行组合,以基于组合结果生成用于表征所述视频的关键内容的关键内容展示图并呈现。
上述方案中,所述生成模块,还用于当所述关键视频帧的数量为至少两个时,分别获取与各所述关键视频帧相关联的文本内容,所述文本内容用于描述相应关键视频帧的视频内容;
分别将各所述关键视频帧与相应的文本内容进行组合,得到对应各所述关键视频帧的组合视频帧;
将得到的对应各所述关键视频帧的组合视频帧进行拼接,得到所述关键内容展示图并呈现。
上述方案中,所述装置还包括:
接收模块,用于接收并呈现分享的目标视频的关键内容展示图,所述目标视频的关键内容展示图中包含所述目标视频对应的图形码;
响应于针对所述图形码的扫描操作,从当前页面跳转至所述目标视频的播放界面,以基于所述目标视频的播放界面播放所述目标视频。
上述方案中,所述生成模块,还用于获取所述视频中每个播放时间点对应的视频信息,所述视频信息包含历史播放速度、历史交互数据以及背景音乐中至少之一;
识别所述视频中对应关键人物的视频片段;
基于获取的所述每个播放时间点对应的视频信息,从所述视频片段中确定至少一个关键视频帧;
基于确定的所述至少一个关键视频帧,生成用于表征所述视频的关键内容的关键内容展示图并呈现。
上述方案中,所述生成模块,还用于基于所述每个播放时间点对应的视频信息,确定所述视频中相应播放时间点对应的视频帧的分数;其中,所述分数用于表征所述播放时间点对应的视频帧为关键视频帧的可能性;
基于所述每个播放时间点对应的视频帧的分数,从所述视频片段中确定至少一个关键视频帧。
上述方案中,所述生成模块,还用于基于所述每个播放时间点对应的历史播放速度,确定所述视频中相应播放时间点对应的视频帧的第一分数;
基于所述每个播放时间点对应的历史交互数据,确定所述视频中相应播放时间点对应的视频帧的第二分数;
基于所述每个播放时间点对应的背景音乐,确定所述视频中相应播放时间点对应的视频帧的第三分数;
分别获取所述第一分数、第二分数以及第三分数对应的权重;
基于所述第一分数、第二分数、第三分数、以及相应的权重,确定所述视频中相应播放时间点对应的视频帧的分数。
本发明实施例还提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的视频的信息处理方法。
本发明实施例还提供一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时,实现本发明实施例提供的视频的信息处理方法。
本发明实施例具有以下有益效果:
通过在视频的播放界面,呈现对应视频的关键内容展示图的生成功能项,当接收到针对该生成功能项的触发操作时,生成用于表征该视频的关键内容的关键内容展示图,这里,该关键内容展示图基于视频的关键视频帧、以及与关键视频帧相关联的文本内容组合生成,能够更形象、细致地向用户展现视频的关键内容,使得用户可以更好、更快地了解视频,同时丰富了视频内容介绍的方式,有利于视频的传播。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
基于上述对本发明实施例中涉及的名词和术语的解释,下面说明本发明实施例提供的视频的信息处理方法的实施场景,参见图1,图1是本发明实施例提供的视频的信息处理方法的实施场景示意图,为实现支撑一个示例性应用,终端(包括终端200-1和终端200-2)通过网络300连接服务器100,其中,终端200-1位于视频的分享侧,终端200-2位于视频的接收侧,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
终端200-1,用于在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项;响应于针对生成功能项的触发操作,通过对视频的至少一个关键视频帧及与关键视频帧相关联的文本内容进行组合,生成用于表征视频的关键内容的关键内容展示图;发送指示分享关键内容展示图的请求至服务器100;
服务器100,用于接收并响应于指示分享关键内容展示图的请求,将视频的关键内容展示图分享至终端200-2;
终端200-2,用于接收视频的关键内容展示图并呈现。
在一些实施例中,视频的关键内容展示图也可以由终端200-2生成。具体地,终端200-2在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项;响应于针对生成功能项的触发操作,通过对视频的至少一个关键视频帧及与关键视频帧相关联的文本内容进行组合,生成用于表征视频的关键内容的关键内容展示图;发送指示分享关键内容展示图的请求至服务器100;服务器100接收并响应于指示分享关键内容展示图的请求,将视频的关键内容展示图分享至终端200-1;终端200-1接收视频的关键内容展示图并呈现。
在一些实施例中,视频的关键内容展示图还可以由服务器100生成。具体地,终端(如终端200-1)在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项;响应于针对生成功能项的触发操作,发送对应视频的关键内容展示图的生成指令至服务器100;服务器100接收并响应于关键内容展示图的生成指令,通过对视频的至少一个关键视频帧及与关键视频帧相关联的文本内容组合,生成用于表征视频的关键内容的关键内容展示图;将生成的关键内容展示图返回至终端;终端(如终端200-1)接收视频的关键内容展示图并呈现。在该实施例中,终端(如终端200-1)还可以将从服务器100接收的视频的关键内容展示图分享至其他终端。
在实际应用中,服务器100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
基于上述对本发明实施例的视频的信息处理方法的实施场景的说明,下面说明本发明实施例提供的视频的信息处理方法。参见图2,图2是本发明实施例提供的视频的信息处理方法的流程示意图;在一些实施例中,本发明实施例提供的视频的信息处理方法可由服务器或终端单独实施,或由服务器及终端协同实施,以终端实施为例,本发明实施例提供的视频的信息处理方法包括:
步骤201:终端在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项。
这里,终端设置有用于视频播放的客户端。当用户在通过设置于终端的客户端观看视频时,如果需要获取该视频的关键内容、或者向他人分享该视频时,可以生成用于表征视频的关键内容的关键内容展示图。
在实际应用中,终端通过播放界面呈现对应视频的关键内容展示图的生成功能项,用户可通过该生成功能项,触发关键内容展示图的生成操作。
步骤202:响应于针对生成功能项的触发操作,呈现用于表征视频的关键内容的关键内容展示图。
其中,该关键内容展示图,通过对视频的至少一个关键视频帧及与关键视频帧相关联的文本内容组合得到。
在实际应用中,终端在接收到针对生成功能项的触发操作后,响应于该触发操作,对视频的关键视频帧、以及与关键视频帧相关联的文本内容进行组合,生成用于表征视频的关键内容的关键内容展示图并呈现。
示例性地,参见图3,图3是本发明实施例提供的关键内容展示图的生成示意图。这里,该视频的播放界面通过“生成长图”功能按钮来展现关键内容展示图的生成功能项。用户可通过点击该“生成长图”功能按钮,触发关键内容展示图的生成操作;终端接收到针对“生成长图”功能按钮的点击操作后,生成该视频的关键内容展示图,包括关键视频帧、及与关键视频帧相关联的文本内容,比如字幕信息。
在一些实施例中,当确定的关键视频帧如果没有相关联的文本内容时,该关键内容展示图还可以仅基于关键视频帧的拼接而生成。
在一些实施例中,终端可通过如下方式生成视频的关键内容的关键内容展示图:响应于针对生成功能项的触发操作,呈现视频帧选择界面,并在视频帧选择界面中呈现至少一个关键视频帧;响应于基于视频帧选择界面触发的视频帧选择操作,基于视频帧选择操作所选择的关键视频帧,生成用于表征视频的关键内容的关键内容展示图并呈现。
在实际应用中,还可为用户提供视频帧选择界面,以便于用户根据个人需求生成视频的关键内容展示图。基于此,终端在接收到针对生成功能项的触发操作后,响应于该触发操作,呈现供用户选择关键视频帧的视频帧选择界面。在该视频帧选择界面可以呈现至少一个关键视频帧,以供用户选择。当接收到用户基于视频帧选择界面触发的视频帧选择操作后,响应于该视频帧选择操作,确定用户所选择的关键视频帧,从而基于所选择的关键视频帧,呈现视频的关键内容展示图。
示例性地,参见图4,图4是本发明实施例提供的关键内容展示图的生成流程图。这里,终端响应于用户针对“生成长图”功能按钮的点击操作,呈现包含三个关键视频帧的视频帧选择界面,并针对每个关键视频帧均对应呈现选择功能项“□”。当接收到用户针对“关键视频帧1”和“关键视频帧2”的选择操作,并确认后,则基于“关键视频帧1”和“关键视频帧2”生成视频的关键内容展示图。
在一些实施例中,终端可呈现对应关键内容展示图的存储功能项;响应于针对存储功能项的触发操作,保存关键内容展示图至存储功能项所关联的存储路径下;呈现关键内容展示图已存储至存储路径下的提示信息。
在实际应用中,终端还可以呈现对应关键内容展示图的存储功能项。当接收到用户针对该存储功能项的触发操作时,则将生成的关键内容展示图保存到该存储功能项所关联的存储路径下;并同时呈现关键内容展示图已存储成功的提示信息。这里,终端还可以在生成关键内容展示图后,默认将关键内容展示图保存到预设的存储路径下。
示例性地,参见图5,图5是本发明实施例提供的关键内容展示图的存储流程示意图。这里,在播放界面呈现关键内容展示图的同时,还呈现相应的存储功能项“保存长图”;当接收到用户针对该“保存长图”的点击操作后,保存该关键内容展示图至存储功能项关联的存储路径,并呈现“保存成功”的提示信息。
在一些实施例中,终端可通过如下方式对关键内容展示图进行分享:呈现对应关键内容展示图的第一分享功能项;响应于针对第一分享功能项的触发操作,呈现对应关键内容展示图的第一分享界面,并在第一分享界面中呈现供选择的分享对象;响应于基于第一分享界面触发的分享对象的选择操作,分享关键内容展示图,至分享对象选择操作所选择的分享对象。
在实际应用中,终端在生成视频的关键内容展示图后,还可以将该关键内容展示图分享给他人。此时,终端还可以呈现对应关键内容展示图的第一分享功能项,该第一分享功能项可以默认关联相应的分享客户端,比如即时通讯客户端。当接收到针对该第一分享功能项的触发操作时,则响应于该触发操作,呈现包含供用户选择的分享对象的第一分享界面。然后在接收到基于第一分享界面触发的分享对象的选择操作后,将关键内容展示图分享至用户基于分享对象选择操作所选择的分享对象。
示例性地,参见图6A,图6A是本发明实施例提供的关键内容展示图的分享流程示意图一。这里,终端在播放界面呈现关键内容展示图的同时,还呈现相应的第一分享功能项“分享”;响应于针对该“分享”功能项的点击操作,从当前页面跳转至包含待选择的分享对象的第一分享界面;接收到用户针对“分享对象1”和“分享对象2”的选择操作,并确认后,将关键内容展示图分享至“分享对象1”和“分享对象2”。
在一些实施例中,终端还可通过如下方式对关键内容展示图进行分享:呈现对应关键内容展示图的第二分享功能项;响应于针对第二分享功能项的触发操作,呈现对应关键内容展示图的第二分享界面,并在第二分享界面中呈现供选择的分享方式;响应于基于第二分享界面触发的分享方式选择操作,基于分享方式选择操作所选择的分享方式,分享关键内容展示图。
在实际应用中,终端还可以呈现对应关键内容展示图的第二分享功能项,当接收到针对该第二分享功能项的触发操作时,则响应于该触发操作,呈现包含供用户选择的分享方式的第二分享界面。然后在接收到基于第二分享界面触发的分享方式的选择操作后,基于该分享方式选择操作所选择的分享方式,分享关键内容展示图。
示例性地,参见图6B,图6B是本发明实施例提供的关键内容展示图的分享流程示意图二。这里,终端在播放界面呈现关键内容展示图的同时,还呈现相应的第二分享功能项“分享”;响应于针对该“分享”功能项的点击操作,呈现包含供用户选择的分享方式的第二分享界面,比如图6B所示的包含“朋友圈”、“QQ空间”以及“微信”等分享方式的第二分享界面;接收到用户针对分享方式“朋友圈”的选择操作,从当前页面跳转至“朋友圈”的信息编辑页面;或者直接完成关键内容展示图的“朋友圈”分享,呈现发表有该关键内容展示图的朋友圈浏览界面,如图6B所示。
在一些实施例中,终端可通过如下方式生成关键内容展示图中包含的图形码:获取视频的播放界面所对应的链接;对链接进行编码,得到视频对应的图形码。
在实际应用中,为方便视频的传播和分享,还可以在关键内容展示图中呈现该视频的图形码。该图形码,用于供电子设备触发针对图形码的扫描操作时,跳转页面至视频的播放界面。具体地,该图形码可基于视频的播放界面所对应的网页链接编码得到。
基于此,在一些实施例中,终端可通过如下方式基于图形码实现目标视频的播放:接收并呈现分享的目标视频的关键内容展示图,该目标视频的关键内容展示图中包含目标视频对应的图形码;响应于针对图形码的扫描操作,从当前页面跳转至目标视频的播放界面,以基于目标视频的播放界面播放目标视频。
终端在接收到分享的目标视频的关键内容展示图后,该目标频的关键内容展示图中包含目标视频对应的图形码。用户可通过操作对该图形码进行扫描识别,从而实现目标视频的观看。终端接收到针对图形码的扫描操作后,响应于该扫描操作,从当前页面跳转至目标视频的播放界面,以基于该播放界面播放目标视频。
示例性地,参见图7,图7是本发明实施例提供的基于关键内容展示图实现目标视频播放的流程示意图。这里,用户查看关键内容展示图时,可发现其中包含有二维码,并且于二维码下发呈现有“扫一扫识别二维码,观看视频”的提示信息。当终端接收到用户针对该二维码的扫描操作后,则从当前页面跳转至目标视频的播放页面。
在一些实施例中,终端可通过如下方式生成视频的关键内容的关键内容展示图:获取视频的至少一个关键视频帧,及与各个关键视频帧相关联的文本内容,该文本内容用于描述相应关键视频帧的视频内容;并,获取视频对应的展示图生成模板;基于展示图生成模板,将文本内容与相应的关键视频帧进行组合,以基于组合结果生成用于表征视频的关键内容的关键内容展示图。
在实际应用中,还可以设置针对关键内容展示图的展示图生成模板,该展示图生成模板可以描述在生成关键内容展示图时,视频帧的位置、文本内容的位置、以及不同类型文本内容中每个类型文件内容的位置等。
当确定该视频的至少一个关键视频帧之后,获取该关键视频帧的内容、以及与各关键视频帧相关联的文本内容,比如字幕信息、历史背景信息、关键人物信息以及情节信息等。同时获取该视频对应的展示图生成模板。
基于获取的展示图生成模板,将文本内容与相应的关键视频帧进行组合,从而基于组合结果生成视频的关键内容展示图。
示例性地,参见图8A,图8A是本发明实施例提供的基于展示图生成模板生成关键内容展示图的流程示意图。这里,首先获取关键视频帧、关键视频帧相关联的字幕信息、历史背景信息和关键人物信息,然后获取该视频的展示图生成模板,该展示图生成模板分别描述了字幕信息、历史背景信息和关键人物信息在关键视频帧的位置;从而基于该展示图生成模板,分别将相应的文本内容填充到关键视频帧的相应位置进行组合,从而得到关键内容展示图。
在一些实施例中,终端还可通过如下方式生成视频的关键内容的关键内容展示图:当关键视频帧的数量为至少两个时,分别获取与各关键视频帧相关联的文本内容,该文本内容用于描述相应关键视频帧的视频内容;分别将各关键视频帧与相应的文本内容进行组合,得到对应各关键视频帧的组合视频帧;将得到的对应各关键视频帧的组合视频帧进行拼接,得到关键内容展示图。
在实际应用中,当确定的关键视频帧的数量为至少两个时,则获取与各关键视频帧相关联的文本内容,比如各关键视频帧对应的字幕信息、情节信息等。针对每个关键视频帧,将该关键视频帧与相应的文本内容进行组合,得到该关键视频帧对应的组合视频帧,具体在将关键视频帧与相应的文本内容进行组合时,同样可以按照上述基于展示图生成模板的方式组合。在得到各关键视频帧对应的组合视频帧之后,对得到的组合视频帧进行拼接,从而生成关键内容展示图。具体可按照每个关键视频帧的播放时间进行拼接得到关键内容展示图。
示例性地,参见图8B,图8B是本发明实施例提供的关键内容展示图的示意图一。这里,该关键内容展示图由两个关键视频帧拼接得到,具体是将组合有文本内容(如图8B所示的字幕信息)的两个关键视频帧,按照播放时间进行拼接得到。
在实际应用中,当确定的关键视频帧的数量为一个时,则获取该关键视频帧对应的文本内容、以及该关键视频帧所在视频片段的相关联的文本内容。该视频片段为该关键视频帧所在时间点的前后预设时间段内的视频。从而将该一个关键视频帧与其相关联的文本内容进行组合,得到关键内容展示图。参见图8C,图8C是本发明实施例提供的关键内容展示图的示意图二。这里,该关键内容展示图由一个关键视频帧、及其所在视频片段的相关联的文本内容(如图8C所示的字幕信息)组合得到。
在一些实施例中,终端可通过如下方式生成视频的关键内容的关键内容展示图:获取视频中每个播放时间点对应的视频信息,视频信息包含历史播放速度、历史交互数据以及背景音乐中至少之一;识别视频中对应关键人物的视频片段;基于获取的每个播放时间点对应的视频信息,从视频片段中确定至少一个关键视频帧;基于确定的至少一个关键视频帧,生成用于表征视频的关键内容的关键内容展示图。
在实际应用中,终端可获取视频中每个播放时间点的视频信息,比如历史播放速度、历史交互数据以及背景音乐中至少之一。这里,该历史交互数据为视频在历史播放过程中,用户对每个播放时间点的视频帧所执行的交互行为数据,比如用户发送弹幕数据、用户对弹幕的点赞行为数据等。然后对视频中的每个视频帧进行关键人物识别,基于识别到的关键人物,对视频进行划分,得到包含关键人物的视频片段。最后基于获取的每个播放时间点对应的视频信息,从视频片段中确定至少一个关键视频帧,以生成视频的关键内容的关键内容展示图。
基于此,生成视频的关键内容展示图最主要的是准确地获取视频的关键视频帧,在本发明实施例中,终端可基于历史播放速度、历史交互数据、背景音乐以及关键人物识别等不同方面进行确定,以提高关键视频帧的获取精确度。
在一些实施例中,终端可通过如下方式从视频片段中确定至少一个关键视频帧:基于每个播放时间点对应的视频信息,确定视频中相应播放时间点对应的视频帧的分数;基于每个播放时间点对应的视频帧的分数,从视频片段中确定至少一个关键视频帧;其中,该分数用于表征播放时间点对应的视频帧为关键视频帧的可能性。
在一些实施例中,终端可通过如下方式确定视频中相应播放时间点对应的视频帧的分数:基于每个播放时间点对应的历史播放速度,确定视频中相应播放时间点对应的视频帧的第一分数;基于每个播放时间点对应的历史交互数据,确定视频中相应播放时间点对应的视频帧的第二分数;基于每个播放时间点对应的背景音乐,确定视频中相应播放时间点对应的视频帧的第三分数;分别获取第一分数、第二分数以及第三分数对应的权重;基于第一分数、第二分数、第三分数、以及相应的权重,确定视频中相应播放时间点对应的视频帧的分数。
在实际应用中,终端可通过如下方式确定视频中相应播放时间点对应的视频帧的第一分数。这里,终端获取用户播放视频的历史播放速度,比如2倍速、0.5倍速等。针对每个用户,确定该用户播放整个视频时,对应播放时长最长的目标历史播放速度,以该目标历史播放速度为基准进行分析。具体地,由于可根据用户是否开启了倍速来判断视频内容的精彩程度,因此在本发明实例中,预先设置了播放速度和精彩等级的对应关系,共包括6个等级,如表1所示:
播放速度 |
0.5 |
1 |
1.25 |
1.5 |
2 |
跳过 |
精彩等级 |
5 |
4 |
3 |
2 |
1 |
0 |
表1播放速度和精彩等级的对应关系
在实际应用中,可将基准播放速度对应的视频帧的分数设置为1,跳过的视频帧的分数设置为0,这里,该分数用于表征播放时间点对应的视频帧为关键视频帧的可能性。其他播放速度对应的视频帧的分数Sn可通过如下公式进行计算:
Sn=1+(Ln-L)*0.2
其中,Ln为播放速度对应的等级,L为基准等级。例如在一个40分钟的视频中,用户使用1.5倍速观看了30分钟的内容,用1倍速观看了5分钟的内容,跳过了五分钟的内容,那么1.5倍速观看的视频帧的分数为1,1倍速观看的视频帧的分数为1+(4-2)*0.2=1.4,跳过的视频帧的分数为0。
基于此,针对每个用户均可得到每个播放时间点的视频帧的分数,最后将所有用户对应每个播放时间点的视频帧的分数进行相加并求平均,则得到该视频的每个播放时间点的视频帧的第一分数。
在实际应用中,终端可通过如下方式确定视频中相应播放时间点对应的视频帧的第二分数。这里,终端对视频是否存在背景音乐进行识别,得到识别结果;并基于识别结果,确定该视频的每个播放时间点的视频帧的第二分数。具体地,可以将存在背景音乐的视频帧的分数设置为1,不存在背景音乐的视频帧的分数设置为0,以得到该视频的每个播放时间点的视频帧的第二分数。
在实际应用中,终端可通过如下方式确定视频中相应播放时间点对应的视频帧的第三分数。这里,终端获取视频在播放过程中,用户对每个播放时间点的视频帧所执行的交互信息,比如弹幕、弹幕的点赞等,以基于每个播放时间点的交互信息,确定该视频的每个播放时间点的视频帧的第三分数。具体地,可以根据每个播放时间点的视频帧对应的弹幕数量、以及针对每个弹幕的点赞量确定第三分数,比如一条弹幕的分数设置为1,一个点赞的分数设置为0.5。同时为避免基于此计算得到的分数过高,影响其他分数,对计算得到的分数进行归一化处理,从而得到该视频的每个播放时间点的视频帧的第三分数。
在得到该视频的每个播放时间点的视频帧的第一分数、第二分数和第三分数后,分别获取该第一分数、第二分数和第三分数对应的权重,从而基于第一分数、第二分数、第三分数以及相应的权重,得到该视频每个播放时间点的视频帧的分数。
最后基于得到的视频中每个播放时间点的视频帧的分数,从基于关键人物识别得到的视频片段中,选择至少一个关键视频帧,以基于选择的至少一个关键视频帧生成视频的关键内容的关键内容展示图。
应用本发明上述实施例,通过在视频的播放界面,呈现对应视频的关键内容展示图的生成功能项,当接收到针对该生成功能项的触发操作时,生成用于表征该视频的关键内容的关键内容展示图,这里,该关键内容展示图基于视频的关键视频帧、以及与关键视频帧相关联的文本内容组合生成,能够更形象、细致地向用户展现视频的关键内容,使得用户可以更好、更快地了解视频,同时丰富了视频内容介绍的方式,有利于视频的传播。
下面继续说明本发明实施例提供的视频的信息处理方法,在一些实施例中,本发明提供的视频的信息处理方法可以由第一客户端、第二客户端以及服务器协同实施,其中,第一客户端用于触发关键内容展示图的生成指令,向服务器请求到关键内容展示图后,分享至第二客户端,第一客户端设置于第一终端,第二客户端设置于第二终端。参见图9,图9是本发明实施例提供的视频的信息处理方法的流程示意图,本发明实施例提供的视频的信息处理方法包括:
步骤901:第一终端运行第一客户端,在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项。
这里,第一终端设置有用于视频播放的第一客户端。用户在通过设置于终端的客户端观看视频时,如果需要生成视频的关键内容展示图,可通过点击视频的播放界面中呈现的生成功能项,以触发对应视频的关键内容展示图的生成指令。
步骤902:响应于针对生成功能项的触发操作,发送对应视频的关键内容展示图的生成指令至服务器。
步骤903:服务器接收并响应于生成指令,获取视频对应的视频信息,并识别视频中对应关键人物的视频片段。
这里,该视频信息包含历史播放速度、历史交互数据以及背景音乐中至少之一。服务器可基于每个播放时间点对应的视频信息,确定视频中相应播放时间点对应的视频帧的分数,该分数用于表征播放时间点对应的视频帧为关键视频帧的可能性。
步骤904:基于获取的每个播放时间点对应的视频信息,从视频片段中确定至少一个关键视频帧。
这里,具体是服务器基于每个播放时间点对应的视频帧的分数,从视频片段中确定至少一个关键视频帧。
步骤905:获取视频的至少一个关键视频帧,及与各个关键视频帧相关联的文本内容。
步骤906:将文本内容与相应的关键视频帧进行组合,以基于组合结果生成关键内容展示图。
服务器在确定该视频的至少一个关键视频帧之后,获取该关键视频帧、以及与各关键视频帧相关联的文本内容,比如字幕信息、历史背景信息、关键人物信息以及情节信息等。
将关键视频帧、以及与各关键视频帧相关联的文本内容进行组合,得到关键内容展示图。具体地,可以获取视频对应的展示图生成模板,基于获取的展示图生成模板,将文本内容与相应的关键视频帧进行组合,以基于组合结果生成关键内容展示图。
步骤907:发送视频的关键内容展示图至第一终端。
步骤908:第一终端接收到服务器返回的关键内容展10示图,并将关键内容展示图分享至第二终端。
这里,播放界面中还呈现有对应关键内容展示图的分享功能项,用户可通过该分享功能项,将关键内容展示图分享给其他人。第一终端接收到基于该分享功能项触发的分享指令后,将生成的关键内容展示图分享给其他用户(即发送至第二终端),以实现视频的传播与分享。
步骤909:第二终端接收关键内容展示图,并接收到针对关键内容展示图中图形码的扫描操作。
这里,该关键内容展示图中还包含有视频对应的图形码,用户可通过操作对该图形码进行扫描识别,从而实现视频的观看。
步骤910:响应于针对图形码的扫描操作,从当前页面跳转至视频的播放界面,以基于视频的播放界面播放视频。
应用上述实施例,通过设置视频的关键内容展示图的生成功能项,可以快速生成用于表征视频的关键内容的关键内容展示图,帮助用户更好地了解视频的内容;并且该关键内容中还设置有视频对应的图形码,从而方便用户快速进入视频的观看界面,有利于视频的传播。
下面将说明本发明实施例在一个实际的应用场景中的示例性应用。
目前如果用户想要快速浏览一段视频,只能通过预告片或者文字简介,而这些都需要人工进行干预,并且成本较高。目前并没有自动生成视频介绍长图的方案,虽然长图的拼接技术十分简单,但是要生成介绍长图,最关键的部分是对视频内容的解读。相关技术中,通过一个曲线来表示视频的热度,如图10所示,该曲线是根据用户是否跳过该片段来判断热度从而生成的,虽然可以给用户一定参考,但是从图10可以看出,曲线十分平缓,对于用户想要了解视频的关键内容来说,非常不易。另外还可通过传统的镜头分割、机器学习等方法分析体育比赛视频的精彩镜头,但是该方案仅适用于视频场景单一,比较容易对镜头进行分割检测的情况,而大部分视频(比如电影、电视剧、综艺等),对镜头使用了多种艺术手法进行处理,很难使用类似的方法对内容进行分析,得到视频的关键内容。
基于此,本发明实施例提供一种视频的信息处理方法,以至少解决上述存在的问题,接下来进行详细说明。参见图11,图11是本发明实施例提供的视频的信息处理方法的流程示意图,本发明实施例提供的视频的信息处理方法包括:
步骤1101:终端运行客户端。
这里,终端设置有用于视频播放的客户端。
步骤1102:在视频的播放界面中,呈现对应视频的关键内容展示图的生成功能项。
步骤1103:响应于针对生成功能项的触发操作,发送对应视频的关键内容展示图的生成指令至服务器。
这里,用户在通过设置于终端的客户端观看视频时,如果需要生成视频的关键内容展示图,可通过点击视频的播放界面中呈现的生成功能项,以触发对应视频的关键内容展示图的生成指令,可参见图3。
步骤1104:服务器接收并响应于生成指令,获取视频的视频信息。
步骤1105:确定视频是否存在人工节点的标注,若是,则执行步骤1109,若否,则执行步骤1106。
参见图12,图12是本发明实施例提供的标注有人工节点的视频的示意图,这里,在视频的显示进度条上,通过节点的方式对视频内容进行了标注,每个节点均对应视频的关键视频帧。当接收到用户针对某个节点的触发操作时,则可呈现该节点视频对应的标注内容,比如“XXX对XX歌曲”。在实际应用中,如果该视频标注有人工节点,则可以直接使用这些节点对应的视频帧、以及标注的文字内容,组合生成关键内容展示图。
步骤1106:确定是否存在视频对应的预告片,若是,则执行步骤1107,若否,则执行步骤1108。
由于视频的内容很多,为了减少计算时间,在实际应用中,还可以对视频是否存在相应的预告片进行判断,如果存在,则可以直接对视频的预告片进行分析得到关键视频帧,以生成关键内容展示图;如果不存在,则对视频的内容进行分析得到关键视频帧,以生成关键内容展示图。
步骤1107:对视频对应的预告片进行内容分析。
步骤1108:对视频进行内容分析。
这里,服务器可基于播放速度、交互信息、背景音乐以及关键人物识别等方式进行内容分析,接下来以服务器对视频进行内容分析为例进行详细说明。
第一,服务器基于播放速度对视频进行内容分析。这里,服务器获取用户播放视频的历史播放速度,比如2倍速、0.5倍速等。针对每个用户,确定该用户播放整个视频时,对应播放时长最长的目标历史播放速度,以该目标历史播放速度为基准进行分析。具体地,由于可根据用户是否开启了倍速来判断视频内容的精彩程度,因此在本发明实例中,预先设置了播放速度和精彩等级的对应关系,共包括6个等级,如表1所示:
播放速度 |
0.5 |
1 |
1.25 |
1.5 |
2 |
跳过 |
精彩等级 |
5 |
4 |
3 |
2 |
1 |
0 |
表1播放速度和精彩等级的对应关系
在实际应用中,可将基准播放速度对应的视频帧的分数设置为1,跳过的视频帧的分数设置为0,这里,该分数用于表征播放时间点对应的视频帧为关键视频帧的可能性。其他播放速度对应的视频帧的分数可通过如下公式进行计算:
Sn=1+(Ln-L)*0.2
其中,Ln为播放速度对应的等级,L为基准等级。例如在一个40分钟的视频中,用户使用1.5倍速观看了30分钟的内容,用1倍速观看了5分钟的内容,跳过了五分钟的内容,那么1.5倍速观看的视频帧的分数为1,1倍速观看的视频帧的分数为1+(4-2)*0.2=1.4,跳过的视频帧的分数为0。
基于此,针对每个用户均可得到每个播放时间点的视频帧的分数,最后将所有用户对应每个播放时间点的视频帧的分数进行相加并求平均,则得到该视频的每个播放时间点的视频帧的第一分数。
第二,服务器基于背景音乐对视频进行内容分析。这里,服务器对视频是否存在背景音乐进行识别,得到识别结果;并基于识别结果,确定该视频的每个播放时间点的视频帧的第二分数。具体地,可以将存在背景音乐的视频帧的分数设置为1,不存在背景音乐的视频帧的分数设置为0,以得到该视频的每个播放时间点的视频帧的第二分数。
第三,服务器基于交互信息对视频进行内容分析。这里,服务器获取视频在播放过程中,用户对每个播放时间点的视频帧所执行的交互信息,比如弹幕、弹幕的点赞等,以基于每个播放时间点的交互信息,确定该视频的每个播放时间点的视频帧的第三分数。具体地,可以根据每个播放时间点的视频帧对应的弹幕数量、以及针对每个弹幕的点赞量确定第三分数,比如一条弹幕的分数设置为1,一个点赞的分数设置为0.5。同时为避免基于此计算得到的分数过高,影响其他分数,对计算得到的分数进行归一化处理,从而得到该视频的每个播放时间点的视频帧的第三分数。
第四,服务器基于关键人物识别对视频进行内容分析。这里,服务器对视频的每个视频帧进行关键人物识别,基于识别到的关键人物,对视频进行划分,得到包含每个关键人物的视频片段。例如对于一个20分钟的片段,0-5分钟为女主角片段,5-8分钟为男主角片段,10-14分钟为男女主同屏片段,那么我们将影片划分为0-5、5-8、8-10、10-14、14-20五个视频片段。
步骤1109:基于分析结果,确定视频对应的关键视频帧。
这里,基于分析结果,得到该视频每个播放时间点的视频帧的分数。具体的,根据人工调查和实际情况分析第一分数、第二分数以及第三分数的权重,并基于相应的权重,得到该视频每个播放时间点的视频帧的分数。
然后,基于每个播放时间点的视频帧的分数,从视频片段中选择至少一个关键视频帧。在实际应用中,对基于关键人物识别划分的每一个视频片段,给定一个最低阈值N和波动范围a,选取视频帧的最高分数S1,对应时间点t1,如果S1小于N,则舍弃该视频片段,如果S1大于N,则选择一个时间段[ta,tb],以使t1包含在ta和tb之间,且保证ta和tb之间的每个视频帧的分数均大于N-a。同样,我们以该规则选取第二个时间段。在得到两个时间段后,将最高分数对应的视频帧、或者按照分数排序后靠前的若干个视频帧作为视频的关键视频帧。
步骤1110:基于选择的关键视频帧,生成视频的关键内容展示图。
这里,在得到关键视频帧后,可以获取与各个关键视频帧相关联的文本内容,比如字幕信息等,从而通过对关键视频帧及与关键视频帧相关联的文本内容组合拼接,生成视频的关键内容展示长图。
具体地,服务器中可以存储针对视频的播放时间点的表,当确定关键视频帧之后,可以根据每个关键视频帧的播放时间点,对关键视频帧、以及相关联的文本内容进行拼接。
同时,在生成关键内容展示长图时,还可生成对应视频的图形码,以供电子设备触发针对该图形码的扫描操作时,可直接跳转页面至该视频的播放界面,以便于视频的传播。
步骤1111:发送视频的关键内容展示图至终端。
步骤1112:终端接收到服务器返回的关键内容展示图并呈现。
这里,终端接收到服务器返回的关键内容展示图,可以对该关键内容展示长图进行存储、分享等操作。
此外,该关键内容展示图还包括视频的图形码,用户可通过扫描该图形码进入视频的播放界面,以观看视频。
应用上述实施例,可以充分利用已有的用户针对视频的反馈信息,生成用于介绍该视频的关键内容展示长图,帮助用户更好地了解视频的内容,也有利于原视频的传播。
下面继续说明本发明实施例提供的视频的信息处理装置,参见图13,图13是本发明实施例提供的视频的信息处理装置1300的结构示意图,本发明实施例提供的视频的信息处理装置1300包括:
呈现模块1310,用于在视频的播放界面中,呈现对应所述视频的关键内容展示图的生成功能项;
生成模块1320,用于响应于针对所述生成功能项的触发操作,生成并呈现用于表征所述视频的关键内容的关键内容展示图;
其中,所述关键内容展示图,通过对所述视频的至少一个关键视频帧及与所述关键视频帧相关联的文本内容组合得到。
在一些实施例中,所述生成模块1320,还用于响应于针对所述生成功能项的触发操作,呈现视频帧选择界面,并
在所述视频帧选择界面中呈现至少一个关键视频帧;
响应于基于所述视频帧选择界面触发的视频帧选择操作,基于所述视频帧选择操作所选择的关键视频帧,生成用于表征所述视频的关键内容的关键内容展示图并呈现。
在一些实施例中,所述呈现模块1310,还用于呈现对应所述关键内容展示图的存储功能项;
响应于针对所述存储功能项的触发操作,保存所述关键内容展示图至所述存储功能项所关联的存储路径下;
呈现所述关键内容展示图已存储至所述存储路径下的提示信息。
在一些实施例中,所述呈现模块1310,还用于呈现对应所述关键内容展示图的第一分享功能项;
响应于针对所述第一分享功能项的触发操作,呈现对应所述关键内容展示图的第一分享界面,并在所述第一分享界面中呈现供选择的分享对象;
响应于基于所述第一分享界面触发的分享对象选择操作,分享所述关键内容展示图,至所述分享对象选择操作所选择的分享对象。
在一些实施例中,所述呈现模块1310,还用于呈现对应所述关键内容展示图的第二分享功能项;
响应于针对所述第二分享功能项的触发操作,呈现对应所述关键内容展示图的第二分享界面,并在所述第二分享界面中呈现供选择的分享方式;
响应于基于所述第二分享界面触发的分享方式选择操作,基于所述分享方式选择操作所选择的分享方式,分享所述关键内容展示图。
在一些实施例中,所述装置还包括:
编码模块,用于获取所述视频的播放界面所对应的网页链接;
对所述网页链接进行编码,得到所述视频对应的图形码,所述图形码,用于供电子设备触发针对所述图形码的扫描操作时,跳转页面至所述视频的播放界面。
在一些实施例中,所述生成模块1320,还用于获取所述视频的至少一个关键视频帧,及与各个所述关键视频帧相关联的文本内容,所述文本内容用于描述相应关键视频帧的视频内容;
并,获取所述视频对应的展示图生成模板;
基于所述展示图生成模板,将所述文本内容与相应的关键视频帧进行组合,以基于组合结果生成用于表征所述视频的关键内容的关键内容展示图。
在一些实施例中,所述生成模块1320,还用于当所述关键视频帧的数量为至少两个时,分别获取与各所述关键视频帧相关联的文本内容,所述文本内容用于描述相应关键视频帧的视频内容;
分别将各所述关键视频帧与相应的文本内容进行组合,得到对应各所述关键视频帧的组合视频帧;
将得到的对应各所述关键视频帧的组合视频帧进行拼接,得到所述关键内容展示图。
在一些实施例中,所述装置还包括:
接收模块,用于接收并呈现分享的目标视频的关键内容展示图,所述目标视频的关键内容展示图中包含所述目标视频对应的图形码;
响应于针对所述图形码的扫描操作,从当前页面跳转至所述目标视频的播放界面,以基于所述目标视频的播放界面播放所述目标视频。
在一些实施例中,所述生成模块1320,还用于获取所述视频中每个播放时间点对应的视频信息,所述视频信息包含历史播放速度、历史交互数据以及背景音乐中至少之一;
识别所述视频中对应关键人物的视频片段;
基于获取的所述每个播放时间点对应的视频信息,从所述视频片段中确定至少一个关键视频帧;
基于确定的所述至少一个关键视频帧,生成用于表征所述视频的关键内容的关键内容展示图。
在一些实施例中,所述生成模块1320,还用于基于所述每个播放时间点对应的视频信息,确定所述视频中相应播放时间点对应的视频帧的分数;其中,所述分数用于表征所述播放时间点对应的视频帧为关键视频帧的可能性;
基于所述每个播放时间点对应的视频帧的分数,从所述视频片段中确定至少一个关键视频帧。
在一些实施例中,所述生成模块1320,还用于基于所述每个播放时间点对应的历史播放速度,确定所述视频中相应播放时间点对应的视频帧的第一分数;
基于所述每个播放时间点对应的历史交互数据,确定所述视频中相应播放时间点对应的视频帧的第二分数;
基于所述每个播放时间点对应的背景音乐,确定所述视频中相应播放时间点对应的视频帧的第三分数;
分别获取所述第一分数、第二分数以及第三分数对应的权重;
基于所述第一分数、第二分数、第三分数、以及相应的权重,确定所述视频中相应播放时间点对应的视频帧的分数。
应用本发明上述实施例,通过在视频的播放界面,呈现对应视频的关键内容展示图的生成功能项,当接收到针对该生成功能项的触发操作时,生成用于表征该视频的关键内容的关键内容展示图,这里,该关键内容展示图基于视频的关键视频帧、以及与关键视频帧相关联的文本内容组合生成,能够更形象、细致地向用户展现视频的关键内容,使得用户可以更好、更快地了解视频,同时丰富了视频内容介绍的方式,有利于视频的传播。
本发明实施例还提供一种电子设备,参见图14,图14为本发明实施例提供的电子设备400的结构示意图,在实际应用中,电子设备400可以为图1中的终端或服务器,以电子设备为图1所示的终端为例,对实施本发明实施例的视频的信息处理方法的电子设备进行说明,本发明实施例提供的电子设备包括:
存储器450,用于存储可执行指令;
处理器410,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的视频的信息处理方法。
这里,处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中还可包括至少一个网络接口420和用户接口430。电子设备400中的各个组件通过总线***440耦合在一起。可理解,总线***440用于实现这些组件之间的连接通信。总线***440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图14中将各种总线都标为总线***440。
本发明实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本发明实施例提供的视频的信息处理方法。
本发明实施例还提供一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时,实现本发明实施例提供的视频的信息处理方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。