CN116264625A - 视频剧情的可视化方法、装置、设备及存储介质 - Google Patents

视频剧情的可视化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116264625A
CN116264625A CN202111521920.4A CN202111521920A CN116264625A CN 116264625 A CN116264625 A CN 116264625A CN 202111521920 A CN202111521920 A CN 202111521920A CN 116264625 A CN116264625 A CN 116264625A
Authority
CN
China
Prior art keywords
scenario
video
storyline
original
authored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111521920.4A
Other languages
English (en)
Inventor
钟尚儒
黎琪
朱斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111521920.4A priority Critical patent/CN116264625A/zh
Publication of CN116264625A publication Critical patent/CN116264625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了一种视频剧情的可视化方法、装置、设备及存储介质,涉及视频播放领域。所述方法包括:获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。本申请能够基于海量的二次创作视频为原始剧集视频生成剧情故事线。

Description

视频剧情的可视化方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频播放领域,特别涉及一种视频剧情的可视化方法、装置、设备及存储介质。
背景技术
诸如电影、电视剧之类的IP(Intellectual Property,知识产权)剧集是目前最受欢迎的多媒体内容。各大在线视频平台都提供有独占的IP剧集来吸引追剧爱好者。
由于很多追剧爱好者的追剧时间有限,因此在线视频平台上提供有IP剧集的剧情介绍界面。以20集电视剧为例,该剧情介绍界面包括每1集电视剧的分级剧情介绍,或者每3-5集电视剧的分级剧情介绍。该分级剧情介绍是由工作人员或热心网友帮忙编撰的。
但是上述剧情介绍的形式比较单一化,仅能查看有限的剧情信息,而且该剧情信息的准确性很大程度受限于工作人员或热心网友的个人水平。
发明内容
本申请提供了一种视频剧情的可视化方法、装置、设备及存储介质,能够基于海量的二次创作视频为原始剧集视频生成剧情故事线。所述技术方案如下:
根据本申请的一个方面,提供了一种视频剧情的可视化方法,所述方法包括:
获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;
从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;
基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。
根据本申请的一个方面,提供了一种视频剧情的可视化方法,所述方法包括:
显示原始剧集视频的第一剧情故事线的故事线页面,所述故事线页面包括属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
接收对所述至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频。
根据本申请的一个方面,提供了一种视频剧情的可视化装置,所述装置包括:
视频获取模块,用于获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;
剧情挖掘模块,用于从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;
剧情脉络模块,用于基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。
根据本申请的一个方面,提供了一种视频剧情的可视化装置,所述装置包括:
显示模块,用于显示原始剧集视频的第一剧情故事线的故事线页面,所述故事线页面包括属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
人机交互模块,用于接收对所述至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
所述显示模块,用于响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频。
根据本申请的一个方面,提供了一种计算机设备,所述计算机设备包括:处理器和存储器,所述存储器存储有计算机程序,所述计算机程序由所述处理器运行以使得所述计算机设备以实现如上所述的视频剧情的可视化方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序由处理器运行以实现如上所述的视频剧情的可视化方法。
根据本申请的另一方面,提供了一种计算机程序产品,所述计算机程序产品存储有计算机程序,所述计算机程序由处理器运行以实现如上所述的视频剧情的可视化方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
在存在基于原始剧集视频剪辑得到的多个二次创作视频(短视频)的情况下,从多个二次创作视频中筛除出属于剧情关键片段的目标二次创作视频,基于该目标二次创作视频来生成原始剧集视频的剧情故事线,提供了一种基于二次创作视频为主要可视化元素来展示视频剧情的技术方案,由于短视频的表现形式更加丰富和直观,因此能够提供远比简单的图文故事线更为多样化的剧情展示方式。
而且由于不同的二次创作视频可能来源于不同的作者对精彩剧情片段的剪辑,因此能够更加准确地表达大众口味的剧情故事线梳理,避免剧情故事线受限于个别工作人员或热心网友的思维局限中。
附图说明
图1示出了本申请一个实施例提供的计算机***的结构框图;
图2示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图3示出了本申请一个实施例提供的剧情故事线的构建过程示意图;
图4示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图5示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图6示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图7示出了本申请一个实施例提供的基于“消费信号”和“生产信号”计算得到的剧情关键指数的统计示意图;
图8示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图9示出了本申请一个实施例提供的剧情故事线的相关界面图;
图10示出了本申请一个实施例提供的视频剧情的可视化方法的流程图;
图11示出了本申请一个实施例提供的剧情故事线的相关界面图;
图12示出了本申请一个实施例提供的剧情故事线的相关界面图;
图13示出了本申请一个实施例提供的剧情故事线的相关界面图;
图14示出了本申请一个实施例提供的剧情故事线的相关界面图;
图15示出了本申请一个实施例提供的剧情故事线的相关界面图;
图16示出了本申请一个实施例提供的剧情图谱的构建过程示意图;
图17示出了本申请一个实施例提供的视频剧情的可视化装置的框图;
图18示出了本申请一个实施例提供的视频剧情的可视化装置的框图;
图19示出了本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
短视频创作是目前自媒体作者创作的主要对象。在播出一部热门的IP剧集后,众多的自媒体作者会基于该IP剧集进行二次创作,出现基于该IP剧集剪辑的海量短视频。本申请提供了一种视频剧情的可视化技术方案。基于多个短视频来生成原始剧集视频的剧情故事线,每条剧情故事线中包括一个或多个短视频,由多个短视频(高能剧情片段)来展示剧情故事线。
图1示出了本申请一个示例性实施例提供的计算机***的结构框图。该计算机***100包括:终端120和服务器140。
终端120安装和运行有应用程序(也称客户端)。该应用程序可以是在线视频程序、短视频程序、微博程序、浏览器程序、即时通讯程序、电子商务程序、社交程序等等中的任意一种。示意性的,终端120是第一用户使用的终端。可选地,终端120登录有用户账号。终端120通过用户账号使用服务器 140提供的服务(比如在线视频服务、短视频服务、搜索服务、百科服务、社交服务)。该终端120包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
终端120通过无线网络或有线网络与服务器140相连。
服务器140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。示例性的,服务器140包括处理器144和存储器142,存储器142 又包括接收模块1421、控制模块1422和发送模块1423,接收模块1421用于接收客户端发送的请求,比如IP剧集的播放请求,或者,IP剧集的搜索请求,或者IP剧集的剧情搜索请求、或者IP剧情的剧情人物搜索请求等等;数据处理模块1422用于提供IP剧集的故事线分析、处理和输出等功能。服务器140 用于为客户端提供后台服务,响应终端120的各种请求,提供IP剧集的剧情可视化信息。可选地,服务器140承担主要计算工作,终端120承担次要计算工作;或者,服务器140承担次要计算工作,终端120承担主要计算工作;或者,服务器140和终端120之间采用分布式计算架构进行协同计算。
本申请实施例以终端140包括智能手机来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。比如上述终端可以仅为一个,或者上述终端为几十个或几百个,或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
图2示出了本申请一个示例性实施例提供的视频剧情的可视化方法的流程图。本实施例以该方法应用于在服务器140中举例说明。该方法包括:
步骤202:获取原始剧集视频和多个二次创作视频,二次创作视频是对原始剧集视频剪辑得到的视频;
原始剧集视频可以是电影、电视剧、纪录片、动漫等形式的视频。原始剧集视频的视频长度较长,比如原始剧集视频的视频长度大于第一阈值。该第一阈值为10分钟、30分钟等。原始剧集视频可称为“长视频”。原始剧集视频的制作方可以是某影视出品方。
二次创作视频是对原始剧集视频剪辑得到的视频。比如,将原始剧集视频中的一个或多个视频片段剪辑为一个短视频。二次创作视频的制作方可以是自媒体作者、剧集前期宣传单位、热心网友等。二次创作视频的制作方与原始剧集视频的制作方可以不同。
一些实施例中,原始剧集视频和二次创作视频在同一网络平台上,该网络平台的服务器在该网络平台的数据库中获取原始剧集视频和多个二次创作视频。在另一些实施例中,原始剧集视频、全部或部分二次创作视频在不同网络平台上,服务器通过网络爬虫工具获取原始剧集视频和多个二次创作视频。
示例性的参考图3,针对比较热门的原始剧集视频1,可能会出现基于该原始剧集视频1剪辑得到的海量二次创作视频。该二次创作视频可以是自媒体作者A剪辑的,可以是视频号作者B剪辑的,可以是网友C剪辑的。每个二次创作视频包括一个或多个剧情片段。
步骤204:从多个二次创作视频中筛选出属于原始剧集视频的剧情关键片段的目标二次创作视频;
由于二次创作视频在人为剪辑时,本身就会倾向于精彩片段、高能片段、甜蜜镜头、特效镜头等方面的剪辑,因此二次创作视频携带有较为关键的剧情片段。服务器从多个二次创作视频中,筛选出属于原始剧集视频的剧情关键片段的目标二次创作视频,该目标二次创作视频可以为一个或多个。
原始剧集视频具有第一视频数据,该第一视频数据包括与原始剧集视频的消费过程相关的数据。示意性的,消费过程相关的数据包括与播放时间点对应的弹幕数、评论数、点赞数、收藏数和跳转播放数中的至少一种。比如,在一个时间点t上,存在26条弹幕、12条评论和3个点赞等等;又比如,在另一个时间点上,存在123条弹幕、26条评论和4个点赞。
二次创作视频具有第二视频数据,第二视频数据包括与二次创作视频的生产过程和/或消费过程相关的数据。示意性的,生产过程相关的数据包括:作者级别、粉丝数量、制作视频数量、参与网络平台数量中的至少一种。消费过程相关的数据包括与播放时间点对应的弹幕数、评论数、点赞数、收藏数和跳转播放数中的至少一种。
在一些实施例中,服务器基于第一视频数据和/或第二视频数据来计算每个播放时间点的剧情关键指数,基于多个播放时间点的剧情关键指数,筛选出属于原始剧集视频的剧情关键片段的目标二次创作视频。其中,播放时间点是指原始剧集视频的播放进度条上的时间点。由于二次创作视频是基于原始剧集视频进行剪辑得到的,因此将二次创作视频与原始剧集视频上的视频帧进行对齐后,能够得到二次创作视频上各个视频帧的播放时间点。
在一些实施例中,服务器基于第一视频数据来计算每个播放时间点的剧情关键指数,比如基于每个播放时间点的弹幕数量,来计算每个播放时间点的剧情关键指数。在一些实施例中,服务器基于第二视频数据来计算每个播放时间点的剧情关键指数,比如基于每个播放时间点的二次创作视频的数量,来计算每个播放时间点的剧情关键指数。在一些实施例中,服务器同时基于第一视频数据和第二视频数据来计算每个播放时间点的剧情关键指数,比如将原始剧集视频在某个播放时间点的弹幕数和该播放时间点对应的二次创作视频的数量进行加权求和,来计算每个播放时间点的剧情关键指数。
示意性的参考图3,服务器计算多个播放时间点上的剧情关键指数,得到剧情关键指数曲线2。基于该剧情关键指数曲线2上的一个或多个峰值剧情关键指数对应的播放时间片段确定为剧情关键片段。比如,时间点t是一个局部峰值剧情指数,该时间点t的剧情关键指数=弹幕数*a+短视频数*b。该弹幕数是原始视频剧集中与该时间点t对应的弹幕数,或者说在该时间点t时会播放的弹幕数。短视频数是播放区间包括时间点t的短视频的数量,或者说,含时间点t对应的视频帧画面的短视频的数量。其中,a和b为预设权重。
由于播放区间包括剧情关键片段的短视频的数量可能为多个,因此可以从多个短视频中选择1个目标短视频,作为与该剧情关键片段对应的目标二次创作视频。
步骤206:基于目标二次创作视频生成原始剧集视频的剧情故事线,剧情故事线包括至少两个目标二次创作视频。
服务器基于筛选出的多个目标二次创作视频,生成原始剧集视频的一个或多条剧情故事线,每条剧情故事线包括至少两个目标二次创作视频。
在同一个剧情关键片段对应有多个目标二次创作视频的情况下,服务器为筛选出与该剧情关键片段对应的目标二次创作视频。将不同的剧情关键片段按照剧情脉络进行分组后,将属于同一组的剧情关键片段对应的目标二次创作视频,生成为原始剧集视频的一条剧情故事线。
针对一部原始剧集视频来讲,可以存在有一条剧情故事线,也可以存在有多条剧情故事线。在一些实施例中,按照原始剧集视频中的不同人物角色划分,可以得到不同人物角色对应的故事线,比如与人物角色A对应的故事线,与人物角色B对应的故事线;在一些实施例中,按照原始剧集视频中的不同事件划分,可以得到不同事件对应的故事线,比如与事件A对应的故事线,与事件B对应的故事线。
示意性的参考图3,服务器基于筛选得到的多个短视频,生成原始视频1 的剧情故事线3。终端显示该剧情故事线3的故事线界面,在该故事线界面上显示有剧情片段播放区以及故事线概览区,该故事线概览区包括按照顺序排列的多个剧情片段,每个剧情片段对应一个目标二次创作视频。用户可以点击该多个剧情片段中的某一个剧情片段,在剧情片段播放区中进行播放。
综上所述,本实施例提供的方法,在存在基于原始剧集视频剪辑得到的多个二次创作视频(短视频)的情况下,从多个二次创作视频中筛除出属于剧情关键片段的目标二次创作视频,基于该目标二次创作视频来生成原始剧集视频的剧情故事线,提供了一种基于二次创作视频为主要可视化元素来展示视频剧情的技术方案,由于短视频的表现形式更加丰富和直观,因此能够提供远比简单的图文故事线更为多样化的剧情展示方式。
而且由于不同的二次创作视频可能来源于不同的作者对精彩剧情片段的剪辑,因此能够更加准确地表达大众口味的剧情故事线梳理,避免剧情故事线受限于个别工作人员或热心网友的思维局限中。
图4示出了本申请一个示例性实施例提供的视频剧情的可视化方法的流程图。本实施例以该方法应用于在服务器140中举例说明。该方法包括:
步骤302:获取原始剧集视频和多个二次创作视频,二次创作视频是对原始剧集视频剪辑得到的视频;
原始剧集视频可以是电影、电视剧、纪录片、动漫等形式的视频。原始剧集视频的视频长度较长,比如原始剧集视频的视频长度大于第一阈值。该第一阈值为10分钟、30分钟等。原始剧集视频可称为“长视频”。原始剧集视频的制作方可以是某影视出品方。
二次创作视频是对原始剧集视频剪辑得到的视频。比如,将原始剧集视频中的一个或多个视频片段剪辑为一个短视频。二次创作视频的制作方可以是自媒体作者、剧集前期宣传单位、热心网友等。二次创作视频的制作方与原始剧集视频的制作方可以不同。
一些实施例中,原始剧集视频和二次创作视频在同一网络平台上,该网络平台的服务器在该网络平台的数据库中获取原始剧集视频和多个二次创作视频。在另一些实施例中,原始剧集视频、全部或部分二次创作视频在不同网络平台上,服务器通过网络爬虫工具获取原始剧集视频和多个二次创作视频。
可选地,服务器还对多个二次创作视频进行过滤处理。该过滤处理包括但不限于:过滤视频内容差于第一条件的二次创作视频、过滤视频清晰度差于第二条件的二次创作视频、过滤多集混剪类型的二次创作视频等等。
步骤304:获取原始剧集视频的第一视频数据,以及获取二次创作视频的第二视频数据;
原始剧集视频具有第一视频数据,该第一视频数据包括与原始剧集视频的消费过程相关的数据。示意性的,消费过程相关的数据包括与播放时间点对应的弹幕数、评论数、点赞数、收藏数和跳转播放数中的至少一种。
二次创作视频具有第二视频数据,第二视频数据包括与二次创作视频的生产过程和/或消费过程相关的数据。示意性的,生产过程相关的数据包括:作者级别、粉丝数量、制作视频数量、参与网络平台数量中的至少一种。消费过程相关的数据包括与播放时间点对应的弹幕数、评论数、点赞数、收藏数和跳转播放数中的至少一种。
步骤306:基于第一视频数据和第二视频数据,计算原始剧集视频中多个播放时间点的剧情关键指数;
服务器可以基于第一视频数据和第二视频数据中的至少一个,计算原始剧集视频中多个播放时间点的剧情关键指数。
本实施例以服务器同时基于第一视频数据和第二视频数据进行计算来举例说明。如图5所示,本步骤可以包括如下三个步骤:
306a,基于二次创作视频的起始时间点和结束时间点,确定原始剧集视频的播放进度条上的多个播放时间点;
由于二次创作视频都是基于原始剧集视频剪辑得到的。因此,服务器通过视频内容理解技术,比如视频帧的模式识别,将每个二次创作视频与原始剧集视频进行匹配,得到每个二次创作视频在原始剧集视频的播放进度条上的起始时间点和结束时间点。
比如,以视频剧集《悬疑剧集A》为例,得到的分析数据包括如下表一所示:
表一
Figure BDA0003407829230000071
Figure BDA0003407829230000081
服务器将这些起始时间点和结束时间点,作为原始剧集视频的播放进度条上需要计算的多个播放时间点。
可选地,服务器也可以按照其它策略选择多个播放时间点,比如按照固定步长选择出多个播放时间点,或者,按照随机策略选择出多个播放时间点,本实施例对此不加以限定。
306b,对于每个播放时间点,获取与该播放时间点对应的第一视频数据和第二视频数据;
针对每个播放时间点,服务器筛选出与该播放时间点对应的第一视频数据,以及与该播放时间点对应的第二视频数据。
该第一视频数据包括原始视频剧集的弹幕数,第二视频数据包括二次创作视频的数量为例。
针对第一视频数据,原始剧集视频具有很多个弹幕,每个弹幕具有各自的时间戳。基于每个弹幕的播放时间戳,筛选出与播放时间点A对应的弹幕,计算得到与播放时间点A对应的弹幕数量。
针对第二视频数据,服务器筛选出播放区间含播放时间点A的二次创作视频,对与播放时间点A对应的二次创作视频进行求和,计算得到与播放时间点 A对应的二次创作视频数量。
需要说明的是,第一视频数据还可以涵盖其它类型,比如,评论数、点赞数等;第二视频数据还可以涵盖其它类型,比如,二次创作视频的作者的粉丝数量等,本实施例不再一一赘述。
306c,将播放时间点对应的第一视频数据和第二视频数据进行加权求和,计算得到播放时间点的剧情关键指数。
针对每个播放时间点,将播放时间点对应的第一视频数据和第二视频数据进行加权求和,计算得到播放时间点的剧情关键指数。
示意性的,播放时间点的剧情关键指数=弹幕数*a+短视频数*b。其中,a 和b均为预设权重。示意性的,a+b=1。
步骤308:基于多个播放时间点的剧情关键指数,筛选出含有原始剧集视频的剧情关键片段的目标二次创作视频;
基于多个播放时间点中满足局部峰值条件的剧情关键指数,筛选出含有原始剧集视频的剧情关键片段的目标二次创作视频。其中,局部峰值条件是在时间维度上,检测播放时间点的剧情关键指数在一个局部时间段内是否属于峰值剧情关键指数的条件。比如,局部峰值条件包括:当前峰值剧情关键指数大于前向预定时长内的其它剧情关键指数,且当前峰值剧情关键指数大于后向预定时长内的其它剧情关键指数,且大于幅度超过阈值。
示意性的,本步骤可以包括如下子步骤,如图6所示:
308a,以播放时间点对应的时间轴为第一坐标轴,以剧情关键指数对应的指数轴为第二坐标轴,构建剧情关键指数的对比信息,对比信息包括函数曲线、直方图和离散点序列中的任意一种;
如图5所示,以播放时间点对应的时间轴为x轴,以剧情关键指数对应的指数轴为y轴,构建剧情关键指数的离散点序列。以该原始剧集视频的视频长度为42:54分为例,该离散点序列中存在多个满足局部峰值条件的峰值剧情关键指数。
308b,基于剧情关键指数的对比信息,筛选出满足局部峰值条件的峰值剧情关键指数;
308c,基于峰值剧情关键指数对应的播放时间点确定剧情关键片段;
示意性的,对于一个峰值剧情关键指数对应的播放时间点,确定与该播放时间点最近的起始时间点和结束时间点,将该起始时间点和结束时间点之间的剧情片段,确定为剧情关键片段。
或者,将位于局部峰值的相邻2个播放时间点,确定与该播放时间点最近的起始时间点和结束时间点;将该起始时间点和结束时间点之间的剧情片段,确定为剧情关键片段。
或者,将峰值剧情关键指数对应的播放时间点确定为起始时间点,和峰值剧情关键指数相邻的下一个(或后方第i个)剧情关键指数的播放时间点确定为结束时间点,将该起始时间点和结束时间点之间的剧情片段,确定为剧情关键片段。
或者,将峰值剧情关键指数对应的播放时间点确定为结束时间点,和峰值剧情关键指数相邻的前一个(或前方第i个)剧情关键指数的播放时间点确定为起始时间点,将该起始时间点和结束时间点之间的剧情片段,确定为剧情关键片段。其中,i大于1的整数。
比如,仍然以视频剧集《悬疑剧集A》为例,得到的剧情关键片段包括如下表二所示:
表二
Figure BDA0003407829230000091
Figure BDA0003407829230000101
308d,筛选出播放区间含剧情关键片段的目标二次创作视频。
示意性的,剧情关键片段为多个,每个剧情关键片段对应有各自的目标二次创作视频。同一个剧情关键片段对应的目标二次创作视频可以为多个。
步骤310:基于目标二次创作视频挖掘每个剧情关键片段的剧情片段名;
剧情片段名是用于介绍一个剧情关键片段的剧情概要的文字内容。可选地,每个剧情关键片段都具有自身的剧情片段名。
对于每个剧情关键片段,根据该剧情关键片段对应的一个或多个目标二次创作视频,挖掘该剧情关键片段的剧情片段名。
示意性的,在同一个剧情关键片段对应有至少两个目标二次创作视频的情况下,对至少两个目标二次创作视频的视频标题进行聚类,得到至少两个候选剧情片段名。基于视频标题中的剧情关键词,对至少两个候选剧情片段名进行打分。基于打分结果,从至少两个候选剧情片段名中确定出与剧情关键片段对应的剧情片段名。
比如,某一个剧情关键片段对应有120个短视频,将这120个短视频的视频标题进行聚类,得到3个候选剧情片段名。然后对这3个候选剧情片段名中的分词结果,分别统计每个分词在120个短视频的视频标题中的出现词频。基于该出现词频以及每个分词的重要性权重,加权计算3个候选剧情片段名的打分。按照打分结果由高到低的顺序,将得分最高的一个候选剧情片段名,确定为与当前剧情关键片段对应的剧情片段名。
示意性的,在一个剧情关键片段对应一个目标二次创作视频的情况下,将这一个目标二次创作视频的视频标题作为该剧情关键片段的剧情片段名;或者,在同一个剧情关键片段对应有至少两个目标二次创作视频的情况下,对至少两个目标二次创作视频的视频标题中的随机一个,作为该剧情关键片段的剧情片段名。
又比如,某一个剧情关键片段仅对应有1个短视频,则将这1个短视频的视频标题,确定为与当前剧情关键片段对应的剧情片段名;再比如,某一个剧情关键片段仅对应有2个短视频,则随机将这2个短视频的视频标题中的一个,确定为与当前剧情关键片段对应的剧情片段名。
本实施例对剧情片段名的生成方式不加以限定,在一些实施例中,还可以基于预先训练得到的文本生成模型来进行剧情片段名的生成,比如将某一个剧情关键片段对应的多个短视频的视频标题输入至该文本生成模型,由该文本生成模型输出该剧情关键片段对应的剧情片段名。
步骤312:对剧情关键片段的剧情片段名按照剧情脉络进行分组,将属于同一组的剧情关键片段对应的目标二次创作视频,生成为原始剧集视频的一条剧情故事线。
示意性的,剧情脉络可以按照剧情人物划分,或者,按照剧情类型划分,或者按照剧情人物和剧情类型来划分,本实施例对剧情脉络的划分方式不加以限定。不同剧集中,还可能按照时间线、正派、反派、某个门派、某个地点来进行剧情脉络的划分。本实施例中,以剧情脉络包括该剧情人物和/或剧情类型来进行举例说明。
剧情人物是剧情关键片段中出现的人物。不同的剧情人物之间具有人物关系,比如好友、父子、夫妻、大学同学等等。
剧情类型是剧情创作的分类信息。比如,剧情类型包括爱情、悬疑、音乐、歌舞、正派、反派、武打动作、寻宝、探墓、查案等等。本实施例对剧情类型的具体形式不加以限定。
本步骤包括如下步骤中的至少一个:
·对剧情关键片段的剧情片段名按照剧情人物进行分组,将属于同一个剧情人物的剧情关键片段对应的目标二次创作视频,生成为原始剧集视频的一条剧情故事线。
比如,将属于同一个剧情人物的多个剧情关键片段对应的目标二次创作视频,按照播放时间点由前到后的顺序生成为原始剧集视频的一条剧情故事线,或者按照剧中时间线由前到后的顺序生成为原始剧集视频的一条剧情故事线。
·对剧情关键片段的剧情片段名按照剧情类型进行分组,将属于同一种剧情类型的剧情关键片段生成原始剧集视频的一条剧情故事线。
比如,将属于同一个剧情类型的多个剧情关键片段对应的目标二次创作视频,按照播放时间点由前到后的顺序生成为原始剧集视频的一条剧情故事线,或者按照剧中时间线由前到后的顺序生成为原始剧集视频的一条剧情故事线。
·对剧情关键片段的剧情片段名按照“剧情人物和剧情类型”进行分组,将属于同一种“剧情人物和剧情类型”的剧情关键片段生成原始剧集视频的一条剧情故事线。
比如,将属于同一个“剧情人物和剧情类型”的多个剧情关键片段对应的目标二次创作视频,按照播放时间点由前到后的顺序生成为原始剧集视频的一条剧情故事线,或者按照剧中时间线由前到后的顺序生成为原始剧集视频的一条剧情故事线。
针对剧情脉络包括剧情人物的情况:
服务器还需要确定原始剧集视频中候选的剧情人物。
在一些实施例中,服务器对目标二次创作视频的视频标题或剧情关键片段的剧情片段名进行命名实体识别,得到人物实体识别结果;基于人物实体识别结果确定或挖掘或识别出剧情人物。比如,识别出10个人物名称,选择出现次数最高的3个人物名称作为主要的剧情人物。
一些实施例中,服务器存储有预构建的剧集人物实体词典,服务器基于预构建的剧集人物实体词典,对剧情关键片段的剧情片段名进行相似实体识别,得到相似实体识别结果;基于相似实体识别结果确定或挖掘或识别剧情人物。比如,预构建的剧情人物实体词典中含有主角“清风大师”,将与“清风大师”相似的“清风老人、清风师祖”识别为同一剧情人物。
需要说明的是,上述命名实体识别和相似实体挖掘的技术可以联合使用。
针对剧情脉络包括剧情类型的情况:
在一些实施例中,上述剧情类型是工作人员配置的。
在一些实施例中,基于无监督方法,统计剧情关键片段的剧情片段名的文本统计信息,该文本统计信息可以是词频信息、文本排序(Text Rank)信息等;基于文本统计信息,挖掘剧情类型。比如,在视频标题中频繁出现“感情”时,确定或挖掘或识别剧情类型为爱情类型;又比如,在视频标题中频繁出现“古墓”时,确定或挖掘或识别剧情类型为探墓类型。其中,剧情类型关键词可以是基于预设词库得到的。
在一些实施例中,基于有监督方法,将剧情关键片段的剧情片段名中的剧情类型关键词与n个候选剧情类型进行组合,得到n个组合文本对;将n个组合文本对输入至匹配模型中进行打分;基于n个组合文本对的打分结果,挖掘剧情类型;
其中,n为正整数,匹配模型是用于识别输入文本与候选剧情类型之间的匹配程度的机器学习模型。
示意性的,表三示出了挖掘出的剧情片段名、剧情人物、剧情类型的对应关系。
表三
Figure BDA0003407829230000121
Figure BDA0003407829230000131
示意性的,对于同一剧情故事线,服务器还可以使用摘要文本生成模型,对属于该剧情故事线的多个剧情关键片段的剧情片段名进行摘要生成,得到该剧情故事线的故事线名;或者,服务器还可以对属于该剧情故事线的多个剧情关键片段的剧情片段名中的关键词进行聚类,将高频出现的关键词组合为该剧情故事线的故事线名;或者,由工作人员人工生成该剧情故事线名。
示意性的,在同一个剧情关键片段对应有至少两个目标二次创作视频的情况下,基于打分维度从至少两个目标二次创作视频中选择一个目标二次创作视频,作为在剧情故事线中与剧情关键片段对应的目标二次创作视频,也即最终针对该剧情关键片段播放的二次创作视频。
综上所述,本实施例提供的方法,在存在基于原始剧集视频剪辑得到的多个二次创作视频(短视频)的情况下,从多个二次创作视频中筛除出属于剧情关键片段的目标二次创作视频,基于该目标二次创作视频来生成原始剧集视频的剧情故事线,提供了一种基于二次创作视频为主要可视化元素来展示视频剧情的技术方案,由于短视频的表现形式更加丰富和直观,因此能够提供远比简单的图文故事线更为多样化的剧情展示方式。
而且由于不同的二次创作视频可能来源于不同的作者对精彩剧情片段的剪辑,因此能够更加准确地表达大众口味的剧情故事线梳理,避免剧情故事线受限于个别工作人员或热心网友的思维局限中。
图8示出了本申请一个示例性实施例提供的视频剧情的可视化方法的流程图。该方法可以由终端执行,所述方法包括:
步骤602:显示原始剧集视频的第一剧情故事线的故事线页面,故事线页面包括属于第一剧情故事线的至少两个剧情关键片段的介绍信息;
故事线页面是用于显示原始剧集视频的剧情故事线的用户界面。示例性的,一条剧情故事线采用一个故事线页面进行展示。或者,多条剧情故事线采用同一个故事线页面进行展示。本实施例以一条剧情故事线采用一个故事线页面进行展示来举例说明。
同一个原始剧集视频可以有一条或多条剧情故事线。在存在多条剧情故事线的情况下,第一剧情故事线是多条剧情故事线中的一条。比如,第一剧情故事线是多条剧情故事线中最主要的一条;又比如,第一剧情故事线是多条剧情故事线中与用户的搜索关键词最匹配的一条;又比如,第一剧情故事线是多条剧情故事线中的任意一条或随机一条。
示意性的参考图9,故事线页面10包括剧情片段播放区域11和剧情介绍区域12。剧情介绍区域12中显示有第一剧情故事线“故事线1:李xx调查师傅林xx死因”,以及属于该第一剧情故事线的多个剧情关键片段的介绍信息13。以排序在第二个的剧情关键片段为例,该剧情关键片段的介绍信息13中包括如下信息:
·剧情关键片段的剧情片段名“与何xx老同学重逢”;
·剧情关键片段的标识“片段02”;
·剧情关键片段对应的二次创作视频的时长“05:36”;
·剧情关键片段中出现的剧情人物“何xx”;
·剧情关键片段的片段标签“高能”。
需要说明的是,除至少两个剧情关键片段的介绍信息之外,第一剧情故事线还可以包括其它剧情介绍信息,比如文字,图片,音频等,本实施例对第一剧情故事线还包括的剧情介绍信息的具体形式不限定。
步骤604:接收对至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
第一剧情关键片段是至少两个剧情关键片段中的任意一个,或者,第一剧情关键片段是至少两个剧情关键片段中用户感兴趣的一个。
该触发操作可以是单击操作、双击操作、长按操作、滑动操作、压力触控操作、悬浮触控操作、双眼注视操作、手势操作、体感操作中的至少一种。
示意性的,若用户对至少两个剧情关键片段中的第一剧情关键片段感兴趣,则可以点击第一剧情关键片段。相应地,终端接收用户对至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作。
步骤606:响应于触发操作,播放第一剧情关键片段对应的二次创作视频,二次创作视频是对原始剧集视频剪辑得到的视频。
在一些实施例中,响应于触发操作,从故事线页面跳转至另一视频播放页面,在另一视频播放页面中播放第一剧情关键片段对应的二次创作视频。
其中,第一剧情关键片段对应的二次创作视频,即为上述实施例提及的第一剧情关键片段对应的目标二次创作视频。在第一剧情关键片段对应有多个目标二次创作视频的情况下,此处播放的二次创作视频通常为从多个目标二次创作视频中为第一剧情关键片段筛除出的一个。
在一些实施例中,故事线页面包括剧情片段播放区域,响应于触发操作,在故事线页面的剧情片段播放区域中播放第一剧情关键片段对应的二次创作视频。
示意性的参考图9,在用户点击第一剧情关键片段“片段02”后,在故事线页面的剧情片段播放区域11中播放第一剧情关键片段“片段02”对应的二次创作视频。
综上所述,本实施例提供的方法,本实施例提供的方法,在存在基于原始剧集视频剪辑得到的多个二次创作视频(短视频)的情况下,从多个二次创作视频中筛除出属于剧情关键片段的目标二次创作视频,基于该目标二次创作视频来生成原始剧集视频的剧情故事线,提供了一种基于二次创作视频为主要可视化元素来展示视频剧情的技术方案,由于短视频的表现形式更加丰富和直观,因此能够提供远比简单的图文故事线更为多样化的剧情展示方式。
图10示出了本申请一个示例性实施例提供的视频剧情的可视化方法的流程图。该方法可以由终端执行,方法包括:
步骤602a:显示原始剧集视频的第一剧情故事线的查看入口;
终端上运行有客户端程序,该客户端程序可以是在线视频程序、浏览器程序、短视频程序、微博程序等等。
在客户端程序中显示有原始剧集视频的第一剧情故事线的查看入口。该查看入口是按钮、菜单项、搜索入口等形式的图形用户界面(User Interface, UI)元素。
示意性的,本步骤可以采用如下四种可能的设计中的至少一种:
可能设计一
假设第一剧情故事线是与第一剧情人物对应的剧情故事线;本步骤包括:
显示第一剧情人物的人物介绍界面,人物介绍界面包括第一剧情人物对应的剧情故事线的查看入口。可选地,第一剧情人物具有多条剧情故事线的情况下,人物介绍界面可以包括多条剧情故事线。
参考图11,终端显示第一剧情人物“李xx”的人物介绍界面20。该人物介绍界面20中包括2条与“李xx”相关的故事线:
故事线1:李xx调查师傅林xx死因。
故事线2:十四年后麦xx案重启调查。
若与第一剧情人物“李xx”相关的故事线较多,则可以采用多个卡片显示多个剧情故事线,每个剧情故事线对应一个卡片。用户通过上下滑动故事线卡片,来查看不同的故事线卡片。当用户点击某个故事线卡片(故事线的查看入口)时,进入该剧情故事线对应的故事线页面。
示意性的,剧情故事线的查看入口上显示有如下信息中的至少一种:
·剧情故事线的名称;
·属于当前剧情故事线的剧情关键片段的数量;
·属于当前剧情故事线的精选或高能或精彩剧情关键片段的简介。
示意性的,在显示第一剧情人物的人物介绍界面时,还可以采用如下方式:
显示原始剧集视频的人物关系图,人物关系图包括第一剧情人物和除第一剧情人物之外的其它人物的剧中人物关系;
响应于对第一剧情人物的选中操作,显示第一剧情人物的人物介绍界面。
参考图11,终端显示有原始剧集视频的人物关系图24。以该人物关系图 24包括:李xx、何xx和马xx为例。李xx和何xx为大学同学,李xx和马xx 为好友。若用户选中李xx,则终端显示李xx的人物介绍界面;若用户选中何 xx,则终端显示何xx的人物介绍界面;若用户选中马xx,则终端显示马xx的人物介绍界面。
可能设计二
假设第一剧情故事线是与第一剧情类型对应的剧情故事线;本步骤包括:
显示原始剧集视频的故事线聚合界面,故事线聚合界面包括至少两个不同剧情类型的剧情故事线,至少两个不同剧情类型的剧情故事线包括第一剧情类型对应的剧情故事线的查看入口。
参考图12,假设原始剧集视频包括至少四条剧情故事线:
故事线1:“李xx调查师傅林xx死因”;
故事线2:“十四年后麦xx案重启调查”;
故事线3:“牢狱中马xx突然身亡”;
故事线4:“究竟谁是内鬼”。
则可以将这四条剧情故事线先聚合显示至同一个故事线聚合界面中进行显示,也即剧情故事线的查看入口。若剧情故事线为多条,还可以折叠一部分剧情故事线,在点击按钮“查看更多故事线”后,查看被折叠的剩余剧情故事线。
可能设计三
假设第一剧情故事线是与搜索关键字匹配的剧情故事线;本步骤包括:
在接收到搜索关键字的情况下,显示与搜索关键字匹配的搜索结果界面,搜索结果界面包括与搜索关键字匹配的剧情故事线的查看入口。
参考图13,用户在搜索框31中输入搜索关键字“悬疑剧集A”,终端显示与搜索关键字“悬疑剧集A”匹配的搜索结果界面,搜索结果界面包括与搜索关键字匹配的剧情故事线的查看入口。比如,该搜索结果界面中包括角色“李 xx”的剧情故事线1。若存在多条匹配的剧情故事线,则可以以多个故事线卡片进行分别显示。在图12中,若用户将剧情故事线1的故事线卡片32向左滑动,则可以查看剧情故事线2的故事线卡片。
可能设计四
第一剧情故事线是目标二次创作视频所属的剧情故事线;本步骤包括:
显示目标二次创作视频的视频播放界面,视频播放界面包括与目标二次创作视频所属的剧情故事线的查看入口。
参考图14,终端显示短视频的视频播放界面,视频播放界面的今日推荐下方显示有短视频“《xx风暴》高能片段”的播放入口。以及与短视频“《xx风暴》高能片段”所属的剧情故事线的查看按钮“查看该故事线更多视频推荐”。在用户点击该查看按钮“查看该故事线更多视频推荐”后,可以查看短视频“《xx风暴》高能片段”所属的剧情故事线的其它短视频。
需要说明的是,上述不同的设计还可以组合实施。如图15所示,用户在浏览器的搜索入口中输入搜索关键字“悬疑剧集A”,终端显示原始视频剧集“悬疑剧集A”的搜索结果页面30,该搜索结果页面30包括“悬疑剧集A”的简介、各个剧集的播放入口以及按照不同剧情角色进行聚合的故事线聚合卡片。
在用户选中剧情角色“李xx”的故事线聚合卡片后,终端显示剧情角色“李xx”的人物介绍页面20。该人物介绍页面20包括剧情角色“李xx”的人物关系图、故事线1和故事线2。当用户点击该故事线1的查看入口后,显示与剧情角色“李xx”对应的故事线1的故事线页面10,该故事线页面10上包括多个剧情关键片段的介绍信息。
由于剧情角色“李xx”有2条故事线,当前显示为故事线1的故事线页面,响应于滑动操作(比如左滑),终端将第一剧情“故事线1”的故事线页面切换显示为第二剧情故事线“故事线2”的故事线页面。
步骤602b:响应于查看入口上的触发操作,故事线页面包括属于第一剧情故事线的至少两个剧情关键片段的介绍信息;
属于第一剧情故事线的至少两个剧情关键片段的介绍信息,可以按照时间轴的顺序由前向后排列显示。若当前页面无法显示所有剧情关键片段的介绍信息,可以通过上下滑动操作来触发查看其它剧情关键片段的介绍信息。
步骤604:接收对至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
响应于触发操作,在剧情片段播放区域播放第一剧情关键片段对应的二次创作视频。
第一剧情关键片段是至少两个剧情关键片段中的任意一个,或者,第一剧情关键片段是至少两个剧情关键片段中用户感兴趣的一个。
该触发操作可以是单击操作、双击操作、长按操作、滑动操作、压力触控操作、悬浮触控操作、双眼注视操作、手势操作、体感操作中的至少一种。
示意性的,若用户对至少两个剧情关键片段中的第一剧情关键片段感兴趣,则可以点击第一剧情关键片段。相应地,终端接收用户对至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作。
步骤606:响应于触发操作,播放第一剧情关键片段对应的二次创作视频,二次创作视频是对原始剧集视频剪辑得到的视频。
在一些实施例中,响应于触发操作,从故事线页面跳转至另一视频播放页面,在另一视频播放页面中播放第一剧情关键片段对应的二次创作视频。
在一些实施例中,故事线页面包括剧情片段播放区域,响应于触发操作,在故事线页面的剧情片段播放区域中播放第一剧情关键片段对应的二次创作视频。
示意性的参考图9,用户可以在下方的剧情介绍区域选择不同的剧情关键片段,然后在上方的剧情片段播放区域11中查看选中的剧情关键片段。
综上所述,本实施例提供的方法,本实施例提供的方法,在存在基于原始剧集视频剪辑得到的多个二次创作视频(短视频)的情况下,从多个二次创作视频中筛除出属于剧情关键片段的目标二次创作视频,基于该目标二次创作视频来生成原始剧集视频的剧情故事线,提供了一种基于二次创作视频为主要可视化元素来展示视频剧情的技术方案,由于短视频的表现形式更加丰富和直观,因此能够提供远比简单的图文故事线更为多样化的剧情展示方式。
在一个具体的例子中,以原始视频剧集为长视频,二次创作视频为短视频为例,参考图16,上述服务器的处理流程包括两个阶段:剧情挖掘阶段92和剧情脉络阶段94。
剧情挖掘阶段92
剧情挖掘依赖原始剧集视频的长视频资源和基于长视频资源进行二次创作 (剪辑、拼接)得到的短视频资源。长视频资源包括原始剧集视频的视频数据及对应消费数据(如用户弹幕、评论等);短视频资源包括二次创作短视频数据及相关生产/消费数据(作者等级、作者发文、作者粉丝数、短视频点赞数、短视频评论数等)。
具体挖掘步骤包括剧情检测(关键剧情片段提取)和剧情抽取:
剧情检测
“短带长”:利用视频内容理解能力(主要是视频帧模式识别),召回和长视频片段部分匹配的多个短视频资源及初步匹配信息(短视频匹配到长视频的大致起始时间点和结束时间点,即原始剧集时间区间)。基于短视频资源的信号初步过滤掉多集混剪等低质量资源。以IP剧集《扫黑xx》为例得到的“短带长”数据
对于每集长视频内容,统计每个时间点上的“生产信号”和“消费信号”,通过峰值检测策略获取峰值时间片段,即为每集的关键剧情时间片段。统计每个时间点上的“生产信号”,即累加多个候选的生产短视频对应的原始剧集时间区间,得到生产短视频在整个时间线上的数目分布。同理,对于“消费信号”(如用户的弹幕信号),也可以进行时间线上的直方图分布统计。
两种信号以一定权重进行加权累计,通过策略(如判断信号值大于前后时间的信号值、且大于一定阈值)筛选信号局部峰值对应的多个时间区间,得到多个关键剧情的时间片段。累计时间片段中每个时间点关联的短视频资源,可以得到每个时间片段相关的短视频资源。
剧情抽取
从剧情检测得到的多个关键剧情的时间片段及对应短视频资源,进行剧情名、剧情人物、剧情类型等结构化信息挖掘抽取。
剧情人物挖掘:基于命名实体识别技术和预构建的剧集人物实体词典(名称、别称),从相关短视频资源的标题、描述等信息中进行挖掘。
剧情名挖掘:可以对与剧情关键片段相关的短视频标题进行聚类。对于同一个剧情关键片段,结合剧情人物、剧情关键词信息对候选短视频标题进行打分,选取打分最高的短视频标题作为该剧情关键片段的剧情名;也可以考虑训练文本生成模型进行剧情名生成。
剧情类型挖掘:无监督方法则通过统计词频或Text Rank方法,从相关短视频的标题、短视频的描述中挖掘类型关键词(如感情、枪击案),作为剧情类型信息;有监督方法则是通过人工指定多个剧情线类型,如人物故事线(如“李成阳调查师傅林汉死因”),通过对剧情名和候选剧情类型组成文本对进行匹配模型打分,选择最佳剧情类型。
剧情脉络阶段94
剧情检测步骤可以得到每个剧情关键片段对应的一个或多个短视频资源,从这些候选短视频资源中可以进一步筛选出最佳匹配短视频,用来作为该剧情的描述视频。筛选方法是基于短视频标题和剧情名匹配程度、短视频映射时间和剧情检测时间匹配程度、短视频自身质量(是否内容清晰度、作者等级等),进行综合打分排序,取最高分短视频。
通过上述三个步骤,可以挖掘出每集的关键剧情时间片段,以及对应的结构化剧情内容信息(剧情名、剧情人物、剧情类型等)和最佳匹配短视频,可以进行后续的剧情脉络构建和搜索结果满足。
图17示出了本申请一个示例性实施例提供的视频剧情的可视化装置的框图。该视频剧情的可视化装置包括:
视频获取模块1720,用于获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;
剧情挖掘模块1740,用于从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;
剧情脉络模块1760,用于基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。
在一些实施例中,剧情挖掘模块1740,用于基于第一视频数据和第二视频数据中的至少一种,计算所述原始剧集视频中多个播放时间点的剧情关键指数;基于所述多个播放时间点的剧情关键指数,筛选出含有所述原始剧集视频的剧情关键片段的二次创作视频;
其中,所述第一视频数据包括与所述原始剧集视频的消费过程相关的数据,所述第二视频数据包括与所述二次创作视频的生产过程和/或消费过程相关的数据。
在一些实施例中,剧情挖掘模块1740,用于对于每个所述播放时间点,获取所述播放时间点对应的所述第一视频数据和所述第二视频数据;将所述播放时间点对应的所述第一视频数据和所述第二视频数据进行加权求和,计算得到所述播放时间点的剧情关键指数。
在一些实施例中,剧情挖掘模块1740,用于以所述播放时间点对应的时间轴为第一坐标轴,以所述剧情关键指数对应的指数轴为第二坐标轴,构建所述剧情关键指数的对比信息,所述对比信息包括函数曲线、直方图和离散点序列中的任意一种;基于所述剧情关键指数的对比信息,筛选出满足局部峰值条件的峰值剧情关键指数;基于所述峰值剧情关键指数对应的播放时间点确定所述剧情关键片段;筛选出播放区间含所述剧情关键片段的目标二次创作视频。
在一些实施例中,剧情脉络模块1760,用于基于所述目标二次创作视频挖掘每个所述剧情关键片段的剧情片段名;
对所述剧情关键片段的剧情片段名按照剧情脉络进行分组,将属于同一组的所述剧情关键片段对应的目标二次创作视频,生成为所述原始剧集视频的一条剧情故事线。
在一些实施例中,剧情脉络模块1760,用于在同一个所述剧情关键片段对应有至少两个所述目标二次创作视频的情况下,对所述至少两个所述目标二次创作视频的视频标题进行聚类,得到至少两个候选剧情片段名;基于所述视频标题中的剧情关键词,对所述至少两个候选剧情片段名进行打分;基于打分结果,从所述至少两个候选剧情片段名中确定出与所述剧情关键片段对应的剧情片段名。
在一些实施例中,所述剧情脉络包括剧情人物;
所述剧情脉络模块1760,用于对所述剧情关键片段的剧情片段名按照所述剧情人物进行分组,将属于同一个所述剧情人物的所述剧情关键片段对应的目标二次创作视频,生成为所述原始剧集视频的一条剧情故事线。
剧情脉络模块1760,用于对所述剧情关键片段的剧情片段名进行命名实体识别,得到人物实体识别结果;基于所述人物实体识别结果识别所述剧情人物;和/或;基于预构建的剧集人物实体词典,对所述剧情关键片段的剧情片段名进行相似实体识别,得到相似实体识别结果;基于所述相似实体识别结果识别所述剧情人物。
在一些实施例中,所述剧情脉络包括剧情类型;
所述剧情脉络模块1760,用于对所述剧情关键片段的剧情片段名按照所述剧情类型进行分组,将属于同一种所述剧情类型的所述剧情关键片段生成所述原始剧集视频的一条剧情故事线。
在一些实施例中,所述剧情脉络模块1760,用于统计所述剧情关键片段的剧情片段名的文本统计信息;基于所述文本统计信息,挖掘所述剧情类型;和/ 或,将所述剧情关键片段的剧情片段名与n个候选剧情类型进行组合,得到n 个组合文本对;将所述n个组合文本对输入至匹配模型中进行打分;基于所述 n个组合文本对的打分结果,挖掘所述剧情类型;
其中,n为正整数,所述匹配模型是用于识别输入文本与候选剧情类型之间的匹配程度的机器学习模型。
在一些实施例中,所述剧情脉络模块1760,用于:
在同一个所述剧情关键片段对应有至少两个目标二次创作视频的情况下,基于打分维度从所述至少两个目标二次创作视频中选择一个目标二次创作视频,作为在所述剧情故事线中与所述剧情关键片段对应的目标二次创作视频。
图18示出了本申请一个示例性实施例提供的视频剧情的可视化装置的框图。该视频剧情的可视化装置包括:
显示模块1820,用于显示原始剧集视频的第一剧情故事线的故事线页面,所述故事线页面包括属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
人机交互模块1840,用于接收对所述至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作,以及其它触发操作或选中操作或人机交互操作;
所述显示模块1820,用于响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频。
在一些实施例中,所述显示模块1820,用于显示所述原始剧集视频的所述第一剧情故事线的查看入口;
响应于所述查看入口上的触发操作,显示所述原始剧集视频的所述第一剧情故事线的故事线页面。
在一些实施例中,所述第一剧情故事线是与第一剧情人物对应的剧情故事线;
所述显示模块1820,用于显示所述第一剧情人物的人物介绍界面,所述人物介绍界面包括所述第一剧情人物对应的剧情故事线的查看入口。
在一些实施例中,所述显示模块1820,用于显示所述原始剧集视频的人物关系图,所述人物关系图包括所述第一剧情人物和除所述第一剧情人物之外的其它人物的剧中人物关系;响应于对所述第一剧情人物的选中操作,显示所述第一剧情人物的所述人物介绍界面。
在一些实施例中,所述第一剧情故事线是与第一剧情类型对应的剧情故事线;
所述显示模块1820,用于显示所述原始剧集视频的故事线聚合界面,所述故事线聚合界面包括至少两个不同剧情类型的剧情故事线,所述至少两个不同剧情类型的剧情故事线包括所述第一剧情类型对应的剧情故事线的查看入口。
在一些实施例中,所述第一剧情故事线是与搜索关键字匹配的剧情故事线;
所述显示模块1820,用于在接收到所述搜索关键字的情况下,显示与所述搜索关键字匹配的搜索结果界面,所述搜索结果界面包括与所述搜索关键字匹配的剧情故事线的查看入口。
在一些实施例中,所述第一剧情故事线是目标二次创作视频所属的剧情故事线;
所述显示模块1820,用于显示所述目标二次创作视频的视频播放界面,所述视频播放界面包括与所述目标二次创作视频所属的剧情故事线的查看入口。
在一些实施例中,所述故事线页面包括剧情介绍区域和剧情片段播放区域,所述剧情介绍区域显示有属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
所述显示模块1820,用于响应于所述触发操作,在所述剧情片段播放区域播放所述第一剧情关键片段对应的二次创作视频。
在一些实施例中,所述第一剧情关键片段的介绍信息,包括如下信息中的至少一种:
所述第一剧情关键片段的剧情片段名;
所述第一剧情关键片段的标识;
所述第一剧情关键片段对应的所述二次创作视频的时长;
所述第一剧情关键片段中出现的剧情人物;
所述第一剧情关键片段的片段标签。
图19是本申请实施例提供的一种计算机设备的结构示意图。通常,计算机设备1900包括有:处理器1920和存储器1940。
处理器1920可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1920可以采用DSP(Digital Signal Processing,数字数据处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA (Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1920也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1920可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1920还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1940可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1940还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1940中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1920所执行以实现本申请中方法实施例提供的方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的视频剧情的可视化方法。
本申请还提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的视频剧情的可视化方法。
可选地,本申请还提供了一种包含指令的计算机程序产品,当其在计算机设备上运行时,使得计算机设备执行上述各方面所述的视频剧情的可视化方法。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (20)

1.一种视频剧情的可视化方法,其特征在于,所述方法包括:
获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;
从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;
基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。
2.根据权利要求1所述的方法,其特征在于,所述从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频,包括:
基于第一视频数据和第二视频数据中的至少一种,计算所述原始剧集视频中多个播放时间点的剧情关键指数;
基于所述多个播放时间点的剧情关键指数,筛选出含有所述原始剧集视频的剧情关键片段的二次创作视频;
其中,所述第一视频数据包括与所述原始剧集视频的消费过程相关的数据,所述第二视频数据包括与所述二次创作视频的生产过程和/或消费过程相关的数据。
3.根据权利要求2所述的方法,其特征在于,所述基于第一视频数据和第二视频数据中的至少一种,计算所述原始剧集视频中多个播放时间点的剧情关键指数,包括:
对于每个所述播放时间点,获取所述播放时间点对应的所述第一视频数据和所述第二视频数据;
将所述播放时间点对应的所述第一视频数据和所述第二视频数据进行加权求和,计算得到所述播放时间点的剧情关键指数。
4.根据权利要求2所述的方法,其特征在于,所述基于所述多个播放时间点的剧情关键指数,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频,包括:
以所述播放时间点对应的时间轴为第一坐标轴,以所述剧情关键指数对应的指数轴为第二坐标轴,构建所述剧情关键指数的对比信息,所述对比信息包括函数曲线、直方图和离散点序列中的任意一种;
基于所述剧情关键指数的对比信息,筛选出满足局部峰值条件的峰值剧情关键指数;
基于所述峰值剧情关键指数对应的播放时间点确定所述剧情关键片段;
筛选出播放区间含所述剧情关键片段的目标二次创作视频。
5.根据权利要求1至4任一所述的方法,其特征在于,所述基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,包括:
基于所述目标二次创作视频挖掘每个所述剧情关键片段的剧情片段名;
对所述剧情关键片段的剧情片段名按照剧情脉络进行分组,将属于同一组的所述剧情关键片段对应的目标二次创作视频,生成为所述原始剧集视频的一条剧情故事线。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标二次创作视频挖掘每个所述剧情关键片段的剧情片段名,包括:
在同一个所述剧情关键片段对应有至少两个所述目标二次创作视频的情况下,对所述至少两个所述目标二次创作视频的视频标题进行聚类,得到至少两个候选剧情片段名;
基于所述视频标题中的剧情关键词,对所述至少两个候选剧情片段名进行打分;
基于打分结果,从所述至少两个候选剧情片段名中确定出与所述剧情关键片段对应的剧情片段名。
7.根据权利要求5所述的方法,其特征在于,所述剧情脉络包括剧情人物和/或剧情类型;
所述对所述剧情关键片段的剧情片段名按照剧情脉络进行分组,将属于同一组的所述剧情关键片段生成所述原始剧集视频的一条剧情故事线,包括:
对所述剧情关键片段的剧情片段名按照所述剧情人物进行分组,将属于同一个所述剧情人物的所述剧情关键片段对应的目标二次创作视频,生成为所述原始剧集视频的一条剧情故事线;
或者,
对所述剧情关键片段的剧情片段名按照所述剧情类型进行分组,将属于同一种所述剧情类型的所述剧情关键片段生成所述原始剧集视频的一条剧情故事线;
或者,
对所述剧情关键片段的剧情片段名按照所述剧情人物和所述剧情类型进行分组,将属于同一种所述剧情人物和所述剧情类型的所述剧情关键片段生成所述原始剧集视频的一条剧情故事线。
8.一种视频剧情的可视化方法,其特征在于,所述方法包括:
显示原始剧集视频的第一剧情故事线的故事线页面,所述故事线页面包括属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
接收对所述至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频。
9.根据权利要求8所述的方法,其特征在于,所述显示原始剧集视频的第一剧情故事线的故事线页面,包括:
显示所述原始剧集视频的所述第一剧情故事线的查看入口;
响应于所述查看入口上的触发操作,显示所述原始剧集视频的所述第一剧情故事线的故事线页面。
10.根据权利要求8所述的方法,其特征在于,所述第一剧情故事线是与第一剧情人物对应的剧情故事线;
所述显示所述原始剧集视频的所述第一剧情故事线的查看入口,包括:
显示所述第一剧情人物的人物介绍界面,所述人物介绍界面包括所述第一剧情人物对应的剧情故事线的查看入口。
11.根据权利要求10所述的方法,其特征在于,所述显示所述第一剧情人物的人物介绍界面,包括:
显示所述原始剧集视频的人物关系图,所述人物关系图包括所述第一剧情人物和除所述第一剧情人物之外的其它人物的剧中人物关系;
响应于对所述第一剧情人物的选中操作,显示所述第一剧情人物的所述人物介绍界面。
12.根据权利要求8所述的方法,其特征在于,所述第一剧情故事线是与第一剧情类型对应的剧情故事线;
所述显示所述原始剧集视频的所述第一剧情故事线的查看入口,包括:
显示所述原始剧集视频的故事线聚合界面,所述故事线聚合界面包括至少两个不同剧情类型的剧情故事线,所述至少两个不同剧情类型的剧情故事线包括所述第一剧情类型对应的剧情故事线的查看入口。
13.根据权利要求8所述的方法,其特征在于,所述第一剧情故事线是与搜索关键字匹配的剧情故事线;
所述显示所述原始剧集视频的所述第一剧情故事线的查看入口,包括:
在接收到所述搜索关键字的情况下,显示与所述搜索关键字匹配的搜索结果界面,所述搜索结果界面包括与所述搜索关键字匹配的剧情故事线的查看入口。
14.根据权利要求8所述的方法,其特征在于,所述第一剧情故事线是目标二次创作视频所属的剧情故事线;
所述显示所述原始剧集视频的所述第一剧情故事线的查看入口,包括:
显示所述目标二次创作视频的视频播放界面,所述视频播放界面包括与所述目标二次创作视频所属的剧情故事线的查看入口。
15.根据权利要求8至14任一所述的方法,其特征在于,所述故事线页面包括剧情介绍区域和剧情片段播放区域,所述剧情介绍区域显示有属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
所述响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,包括:
响应于所述触发操作,在所述剧情片段播放区域播放所述第一剧情关键片段对应的二次创作视频。
16.一种视频剧情的可视化装置,其特征在于,所述装置包括:
视频获取模块,用于获取原始剧集视频和多个二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频;
剧情挖掘模块,用于从所述多个二次创作视频中,筛选出含有所述原始剧集视频的剧情关键片段的目标二次创作视频;
剧情脉络模块,用于基于所述目标二次创作视频生成所述原始剧集视频的剧情故事线,所述剧情故事线包括至少两个所述目标二次创作视频。
17.一种视频剧情的可视化装置,其特征在于,所述装置包括:
显示模块,用于显示原始剧集视频的第一剧情故事线的故事线页面,所述故事线页面包括属于所述第一剧情故事线的至少两个剧情关键片段的介绍信息;
人机交互模块,用于接收对所述至少两个剧情关键片段中的第一剧情关键片段的介绍信息的触发操作;
所述显示模块,用于响应于所述触发操作,播放所述第一剧情关键片段对应的二次创作视频,所述二次创作视频是对所述原始剧集视频剪辑得到的视频。
18.一种计算机设备,其特征在于,所述计算机设备包括:处理器和存储器,所述存储器存储有计算机程序,所述计算机程序由所述处理器运行以使得所述计算机设备以实现如权利要求1至15任一所述的视频剧情的可视化方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序由处理器运行以使得具有所述处理器的设备以实现如权利要求1至15任一所述的视频剧情的可视化方法。
20.一种计算机程序产品,其特征在于,所述计算机程序产品存储有计算机程序,所述计算机程序由处理器运行以使得具有所述处理器的设备以实现如权利要求1至15任一所述的视频剧情的可视化方法。
CN202111521920.4A 2021-12-13 2021-12-13 视频剧情的可视化方法、装置、设备及存储介质 Pending CN116264625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521920.4A CN116264625A (zh) 2021-12-13 2021-12-13 视频剧情的可视化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521920.4A CN116264625A (zh) 2021-12-13 2021-12-13 视频剧情的可视化方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116264625A true CN116264625A (zh) 2023-06-16

Family

ID=86722108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521920.4A Pending CN116264625A (zh) 2021-12-13 2021-12-13 视频剧情的可视化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116264625A (zh)

Similar Documents

Publication Publication Date Title
CN111143610B (zh) 一种内容推荐方法、装置、电子设备和存储介质
US11048752B2 (en) Estimating social interest in time-based media
EP3855753B1 (en) Method and apparatus for locating video playing node, device and storage medium
US9253511B2 (en) Systems and methods for performing multi-modal video datastream segmentation
CN108776676B (zh) 信息推荐方法、装置、计算机可读介质及电子设备
CN112533051B (zh) 弹幕信息显示方法、装置、计算机设备和存储介质
US20160014482A1 (en) Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
CN111984689A (zh) 信息检索的方法、装置、设备以及存储介质
CN108028962A (zh) 处理视频使用情况信息以投放广告
CN109511015B (zh) 多媒体资源推荐方法、装置、存储介质及设备
CN111597446B (zh) 基于人工智能的内容推送方法、装置、服务器和存储介质
US20170046440A1 (en) Information processing device, information processing method, and program
CN113010701A (zh) 以视频为中心的融媒体内容推荐方法及装置
Zhao et al. A novel system for visual navigation of educational videos using multimodal cues
US20110179003A1 (en) System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same
EP2874102A2 (en) Generating models for identifying thumbnail images
Chen et al. Livesense: Contextual advertising in live streaming videos
CN111581435A (zh) 一种视频封面图像生成方法、装置、电子设备及存储介质
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN116264625A (zh) 视频剧情的可视化方法、装置、设备及存储介质
CN110309415B (zh) 新闻信息生成方法、装置及电子设备可读存储介质
CN113709529B (zh) 视频合成方法、装置、电子设备及计算机可读介质
CN116980693A (zh) 图像处理方法、装置、电子设备及存储介质
CN117221623A (zh) 资源确定方法、装置、电子设备以及存储介质
Tropnikov The Description of the Structure of Social Identity in the Information Space, Using Automated Data Processing Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40087305

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination