CN111479168B - 用于标记多媒体内容热点的方法、装置、服务器以及介质 - Google Patents

用于标记多媒体内容热点的方法、装置、服务器以及介质 Download PDF

Info

Publication number
CN111479168B
CN111479168B CN202010289336.XA CN202010289336A CN111479168B CN 111479168 B CN111479168 B CN 111479168B CN 202010289336 A CN202010289336 A CN 202010289336A CN 111479168 B CN111479168 B CN 111479168B
Authority
CN
China
Prior art keywords
multimedia
segment
interoperation
statistics
segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010289336.XA
Other languages
English (en)
Other versions
CN111479168A (zh
Inventor
康战辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010289336.XA priority Critical patent/CN111479168B/zh
Publication of CN111479168A publication Critical patent/CN111479168A/zh
Application granted granted Critical
Publication of CN111479168B publication Critical patent/CN111479168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了一种用于标记多媒体内容热点的方法、装置、服务器以及介质。所述方法包括:将多媒体内容分割为至少两个多媒体片段;对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果;对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果;以及基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段。

Description

用于标记多媒体内容热点的方法、装置、服务器以及介质
技术领域
本申请涉及多媒体内容处理领域,更具体地涉及一种用标记多媒体内容热点的方法、装置、服务器以及介质。
背景技术
在视频内容播放的过程中,可以在视频内容中标记视频的热点片段。这样,用户在观看视频时可以直接快进到当前视频中的热点片段或直接观看视频中的热点片段的集锦。通过人工的方式实现在视频中标记热点片段的时间戳的方式需要耗费大量的人工成本,并且由于人工标记存在主观性的影响,对热点片段的识别可能不够准确。
发明内容
根据本申请的一方面,提出了一种用于标记多媒体内容热点的方法,包括:将多媒体内容分割为至少两个多媒体片段;对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果;对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果;以及基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段。
在一些实施例中,所述交互操作包括与所述多媒体片段相关联的即时评论或播放进度调整。
在一些实施例中,每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内进行所述交互操作的用户数量和未进行所述交互操作的用户数量。
在一些实施例中,对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果包括:对于相邻的两个多媒体片段中的第一多媒体片段,确定观看该第一多媒体片段的用户中执行所述交互操作的用户数量作为第一用户数量、未执行所述交互操作的用户数量作为第二用户数量;对于相邻的两个多媒体片段中的第二多媒体片段,确定观看该第二多媒体片段的用户中执行所述交互操作的用户数量作为第三用户数量、未执行所述交互操作的用户数量作为第四用户数量;利用所述第一用户数量、所述第二用户数量、所述第三用户数量和所述第四用户数量确定所述相邻的两个多媒体片段的交互操作统计结果之间是否具有显著差异;在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,将所述相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为所述具有显著差异的交互操作统计结果。
在一些实施例中,基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段包括:基于所述相邻的两个多媒体片段中一个多媒体片段的时间戳确定热点片段的候选区间标记;基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段。
在一些实施例中,基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段包括:将第2m-1个出现的候选区间标记和第2m个出现的候选区间标记之间的时间区间确定为热点片段,其中m是大于零的整数。
在一些实施例中,每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内所述交互操作的数量。
在一些实施例中,对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果包括:基于每个多媒体片段的交互操作数量确定所述至少两个多媒体片段的交互操作数量的平均值和标准差;针对所述至少两个多媒体片段中的每个多媒体片段,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值是否具有显著差异,在确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异的情况下,确定该多媒体片段的交互操作统计结果为所述具有显著差异的交互操作统计结果。
在一些实施例中,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异包括:基于所述标准差确定该多媒体片段的交互操作统计结果相对于所述平均值的标准分数;基于所述标准分数确定该多媒体片段的交互操作统计结果是否具有差异显著性。
在一些实施例中,基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段包括:对于所述至少两个多媒体片段中的每个多媒体片段,在所述标准分数大于预定义的标准分数阈值的情况下,将该多媒体片段确定为热点片段。
根据本申请的另一方面,还提出了一种用于标记多媒体内容热点的装置,包括:预处理单元,配置成将多媒体内容分割为至少两个多媒体片段;统计单元,配置成对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果;检验单元,配置成对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果;以及热点标记单元,配置成基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段。
在一些实施例中,所述交互操作包括与所述多媒体片段相关联的即时评论或播放进度调整。
在一些实施例中,每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内进行所述交互操作的用户数量和未进行所述交互操作的用户数量。
在一些实施例中,所述检验单元配置成:对于相邻的两个多媒体片段中的第一多媒体片段,确定观看该第一多媒体片段的用户中执行所述交互操作的用户数量作为第一用户数量、未执行所述交互操作的用户数量作为第二用户数量;对于相邻的两个多媒体片段中的第二多媒体片段,确定观看该第二多媒体片段的用户中执行所述交互操作的用户数量作为第三用户数量、未执行所述交互操作的用户数量作为第四用户数量;利用所述第一用户数量、所述第二用户数量、所述第三用户数量和所述第四用户数量确定所述相邻的两个多媒体片段的交互操作统计结果之间是否具有显著差异;在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,将所述相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为所述具有显著差异的交互操作统计结果。
在一些实施例中,所述热点标记单元配置成:基于所述相邻的两个多媒体片段中一个多媒体片段的时间戳确定热点片段的候选区间标记;基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段。
在一些实施例中,基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段包括:将第2m-1个出现的候选区间标记和第2m个出现的候选区间标记之间的时间区间确定为热点片段,其中m是大于零的整数。
在一些实施例中,其中每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内所述交互操作的数量。
在一些实施例中,所述统计单元配置成:基于每个多媒体片段的交互操作数量确定所述至少两个多媒体片段的交互操作数量的平均值和标准差;针对所述至少两个多媒体片段中的每个多媒体片段,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值是否具有显著差异,在确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异的情况下,确定该多媒体片段的交互操作统计结果为所述具有显著差异的交互操作统计结果。
在一些实施例中,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异包括:基于所述标准差确定该多媒体片段的交互操作统计结果相对于所述平均值的标准分数;对于所述至少两个多媒体片段中的每个多媒体片段,在所述标准分数大于预定义的标准分数阈值的情况下,将该多媒体片段确定为热点片段。
在一些实施例中,所述热点标记单元配置成:在基于所述标准分数大于预定义的标准分数阈值的情况下,将该多媒体片段确定为热点片段。
根据本申请的又一方面,还提供了一种多媒体内容服务器,包括:处理器;以及存储器,其中存储计算机可读程序指令,其中,在所述计算机可读程序指令被所述处理器运行时执行如前所述的方法。
根据本申请的又一方面,还提供了一种计算机可读存储介质,其上存储计算机可读指令,当所述计算机可读指令由计算机执行时,所述计算机执行如前所述的方法。
利用本申请提供的用于标记多媒体内容热点的方法、装置、服务器、介质,可以基于对多媒体内容中不同时间段内的交互操作的统计的差异显著性检验结果确定多媒体内容中具有差异显著性的多媒体片段,并根据具有差异显著性的多媒体片段的时间戳确定多媒体内容中的热点片段。由于多媒体内容中不同时间段内的交互操作的统计能够反应用户在观看多媒体内容中不同时间段的内容时的群体性的用户评价,利用本申请的原理确定的热门情节更准确。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在没有做出创造性劳动的前提下,还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制,重点在于示出本申请的主旨。
图1A示出了根据本申请的用户交互界面的示例;
图1B示出了视频内容中的热点标记的示例;
图1C中示出了热点片段的列表的示意图;
图2示出了根据本申请的视频处理***的示例性的场景图;
图3示出了根据本申请的实施例的用于标记视频热点的方法的示意性的流程图;
图4示出了根据本申请的实施例的基于卡方检验的原理对相邻的两个交互操作统计结果执行差异显著性检验的示例性的过程;
图5示出了根据本申请的实施例的基于Z分数的原理对相邻的两个交互操作统计结果执行差异显著性检验的示例性的过程;
图6示出了根据本申请的实施例的用于标记视频热点的装置的示意性的框图;以及
图7示出了根据本申请的实施例的电子设备的架构。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本申请将人工智能技术应用于多媒体内容处理领域,通过对多媒体内容中的交互操作进行统计来确定多媒体内容中是否存在与其他片段具有显著差异的热点片段,从而能够向用户提供更准确的热点片段的信息。本申请中涉及的热点片段指的是用户有可能感兴趣程度较高的多媒体内容片段。本申请所说的与其他片段具有显著差异的热点片段指的是其中的统计特征与其他片段的统计特征相比超过一定的阈值。
本申请提供的技术方案具体涉及多媒体内容处理技术。在向用户播放多媒体内容的过程中为了提高多媒体内容播放的效率,可以在播放的多媒体内容内容中标记多媒体内容的热点片段,使得用户能够直接观看多媒体内容中的热点。
为了克服人工标注热点内容的过程中的主观性强的问题,本申请提供了一种基于用户在观看多媒体内容的过程中的用户交互行为的统计结果确定热点片段的方法,从而使得能够更有效地确定多媒体内容中的热点片段。这样,当尚未观看多媒体内容的用户第一次观看多媒体内容时,可以根据提示将播放进度直接快进到热点片段,或者直接观看热点片段的集锦。
图1A示出了根据本申请的用户交互界面的示例。如图1A所示,在观看的过程中,用户可以对多媒体内容内容进行即时评论,这样的即时评论可以以弹幕的形式显示在用于播放多媒体内容的用户界面中。例如,在图1A示出的示例中,用户可以在观看多媒体内容的过程中通过输入框110输入评论内容,该评论内容可以以实时的方式显示在播放多媒体内容的界面中。在图1A中以弹幕为例示出了用户发送的即时评论。然而,本领域技术人员可以理解,也可以通过其他任何形式展示用户的即时评论。
可以理解的是,如果当前观看多媒体内容的用户对正在播放的多媒体内容很感兴趣,用户进行即时评论的动机会更强,也就是说,发送即时评论的用户数量(或用户发送的即时评论的数量)会更多。因此,可以通过对发送即时评论的用户数量(或用户发送的即时评论的数量)进行统计来确定多媒体内容中的热点。
图1B示出了多媒体内容中的热点标记的示例。在图1B示出的示例中,点120-1和点120-2是多媒体内容中的热点片段的标记。可以看出,图1B示出的当前时间点(120-0)位于热点片段中。在热点片段中用户会发送更多的即时评论(例如图1B中展示的更多的弹幕数量)。点120-1可以是热点片段的开始点,点120-2可以是多媒体内容中的热点片段的结束点。在观看多媒体内容的过程中,用户可以直接将进度条快进到热点片段的时间段(即点120-1至点120-2之间的时间段),来观看多媒体内容中的热点片段。
图1B中还示出了图标130。通过选择图标130,用户可以观看多媒体内容中的热点片段的集锦。在一些实施例中,通过选择图标130,可以在用户交互界面上显示的播放进度条上显示指示热点片段的标记。用户可以通过点击这样的标记使得进度条直接跳转到热点片段的位置。在另一些实施例中,通过选择图标130,可以向用户进一步展示多媒体内容中存在的一个或更多的热点片段的列表。图1C中示出了热点片段的列表的示意图。在一些示例中,用户可以通过在热点片段的列表中选择一个(如图1C中示出的热点片段140-1或140-2)进行观看或收听。在另一些示例中,用户可以选择观看热点片段的集锦,即,连续观看或收听所有热点片段的内容。
尽管图1A和图1B中以弹幕为例示出了观看多媒体内容时的用户交互行为,然而本申请涉及的用户交互行为不限于此。事实上,用户在观看多媒体内容时在用户交互界面进行的任何交互行为都可以用于根据本申请提供的原理实现多媒体内容的热点标记。例如,用户交互行为还可以包括用户针对播放进度的调整行为(例如前进、后退、快进、快退等)、用户在观看多媒体内容时执行的查询行为(例如搜索多媒体内容相关的人物、情节等)、用户在观看多媒体内容时在当前用户界面上点击链接的行为、用户针对当前多媒体内容播放界面的截屏行为等等。
图2示出了根据本申请的多媒体内容处理***的示例性的场景图。如图2所示,该多媒体内容处理***200可以包括用户终端210、网络220、多媒体内容服务器230以及数据库240。
用户终端210可以是例如图2中示出的电脑210-1、手机210-2。可以理解的是,事实上,用户终端可以是任何能够向用户播放多媒体内容的电子设备,包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备等。
网络220可以是单个网络,或至少两个不同网络的组合。例如,网络220可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器230可以是一个单独的服务器,或一个服务器群组,群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的,例如数据中心,也可以是分布式的。服务器230可以是本地的或远程的。
根据本申请提供的服务器230可以用于接收待处理的多媒体内容,并利用本申请提供的方法在待处理的多媒体内容中标记热点。例如,服务器230可以从用户终端接收待处理的多媒体内容。用户终端可以通过用户终端上设置的图像采集设备(例如照相机、摄像机、录音机等)采集待处理的多媒体内容。又例如,用户终端也可以从独立设置的图像采集设备(例如照相机、摄像机、扫描仪等)获取待处理的多媒体内容。再例如,服务器230也可以经由网络从数据库中接收待处理的多媒体内容。这里所说的待处理的多媒体内容可以是包括至少两个连续的图像帧的视频内容。也可以是包含一定时长的音轨的音频内容,还可以是视频内容和音频内容以及任何用户可感知的内容形式的组合。
在一些实现方式中,服务器230可以利用服务器内置的应用程序执行本申请提供的多媒体内容处理方法。在另一些实现方式中,服务器230可以通过调用服务器外部存储的应用程序执行本申请提供的多媒体内容处理方法。
在一些示例中,服务器230可以将待处理的多媒体内容发送至用户终端,并利用用户终端的处理单元执行本申请提供的多媒体内容处理方法。
数据库240可以泛指具有存储功能的设备。数据库240主要用于存储从用户终端210和服务器230工作中所利用、产生和输出的各种数据。数据库240可以是本地的,或远程的。数据库240可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子,该***可以使用的存储设备并不局限于此。
数据库240可以经由网络220与服务器230或其一部分相互连接或通信,或直接与服务器230相互连接或通信,或是上述两种方式的结合。
在一些实施例中,数据库240可以是独立的设备。在另一些实施例中,数据库240也可以集成在用户终端210和服务器230中的至少一个中。例如,数据库240可以设置在用户终端210上,也可以设置在服务器240上。又例如,数据库240也可以是分布式的,其一部分设置在用户终端210上,另一部分设置在服务器230上。
下文中将详细阐述本申请提供的用于标记视频或音频热点的方法的流程。下文中将以视频为例描述本申请的原理,然而本领域技术人员可以理解,可以对音频进行类似的处理,以实现针对音频的热点标记。
图3示出了根据本申请的实施例的用于标记视频热点的方法的示意性的流程图。可以利用例如图2中示出的用户终端210和/或服务器230执行图3中示出的方法。
在步骤S302中,可以将待处理的多媒体内容分割为至少两个多媒体片段。在一些实施例中,待处理的多媒体内容中交互操作的数量大于预定义的数量阈值。例如,待处理的视频中的即时评论的数量可以大于1000条。当待处理的视频中包括足够数量的交互操作时,根据本申请的原理标记的视频热点的结果将更准确。
下文中可以利用符号Ti表示待处理的视频中的第i个视频片段,其中i是大于0的整数。在一些实施例中,可以按照预设的时间间隔对待处理的视频进行分割。在一些示例中,预设的时间间隔可以是5s。也就是说,每个视频片段的时间长度是5s。
可以理解的是,本领域技术人员也可以利用任何其他方式对待处理的视频进行分割,例如,每个视频片段可以包括预设的帧数。在此不限制对待处理的视频进行分割的具体方式。
在步骤S304中,可以对与每个多媒体片段相关联的交互操作进行统计,以获得每个多媒体片段的交互操作统计结果。
在一些实施例中,可以对与每个视频片段相关联的交互操作进行统计,以获得分别与至少两个视频片段相对应的至少两个交互操作统计结果。
交互操作可以包括与每个视频片段相关联的即时评论或播放进度调整。在一些示例中,交互操作可以包括与每个视频片段中任一视频帧的时间戳相关联的即时评论(如弹幕)或播放进度调整(如前进、快退等)。在另一些示例中,交互操作还可以包括与每个视频片段中的时间戳相关联的用户在观看视频内容时执行的查询行为(例如搜索视频相关的人物、情节等)、用户在观看视频内容时在当前用户界面上点击链接的行为、用户针对当前视频播放界面的截屏行为等等。在下文中将以交互操作是即时评论为例描述本申请的原理。
在一些实现方式中,每个视频片段的交互操作统计结果可以是该视频片段的时间段内进行交互操作的用户数量、以及未进行交互操作的用户数量。例如,每个视频片段的交互操作统计结果可以是在该视频片段的时间段内发表即时评论的用户数量以及在该视频片段的时间段内未发表即时评论的用户数量。这里所说的进行交互操作的用户数量、以及未进行交互操作的用户数量可以指的是绝对数量,即实际的用户人数,也可以是相对数量,即进行交互操作的用户在所有用户中的百分比以及未进行交互操作的用户在所有用户中的百分比。
在另一些实现方式中,每个视频片段的交互操作统计结果包括该视频片段的时间段内交互操作的数量。例如,每个视频片段的交互操作统计结果可以包括该视频片段的时间段内被发表的即时评论的数量。
在步骤S306中,可以对步骤S304中得到的交互统计结果执行差异显著性的检验。可以通过对至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果。具有显著差异的交互操作统计结果可以用于指示上述至少两个视频片段中是否存在与其他视频片段具有显著差异的视频片段。例如,具有显著差异的交互操作统计结果可以指示上述至少两个视频片段中的某个视频片段的交互操作统计结果与至少另一视频片段的交互操作统计结果之间具有显著差异。在这种情况下,该视频片段可能属于热点片段。
在一些实施例中,在每个视频片段的交互操作统计结果是该视频片段的时间段内进行交互操作的用户数量以及未进行交互操作的用户数量的情况下。可以基于卡方检验的原理对相邻的两个视频片段的交互操作统计结果执行差异显著性的检验。在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,可以将相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为具有显著差异的交互操作统计结果。
下文中将结合图4描述基于卡方检验的原理对相邻的两个视频片段的交互操作统计结果执行差异显著性检验的过程,在此不再加以赘述。
利用基于卡方检验的原理执行的差异显著性的检验,可以确定某个视频片段中进行交互操作的用户数量相对该视频片段在视频的时间轴上的前一视频片段中进行交互操作的用户数量发生显著改变。例如,可以基于卡方检验的原理确定该视频片段中发表即时评论的用户数量相对于前一视频片段中进行交互操作的用户数量显著增加或减少。
在另一些实施例中,在每个视频片段的交互操作统计结果包括该视频片段的时间段内交互操作的数量的情况下,可以基于Z分数(Z-score)的原理对至少两个交互操作统计结果执行差异显著性的检验。下文中将结合图5描述基于Z分数的原理对至少两个交互操作统计结果执行差异显著性检验的过程,在此不再加以赘述。
利用基于Z分数的原理执行的差异显著性的检验,可以确定某个视频片段的时间段内发生的交互操作的数量相对于每个视频片段的时间段内发生的交互操作的数量的平均值是否具有显著差异。在确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异的情况下,可以确定该多媒体片段的交互操作统计结果为所述具有显著差异的交互操作统计结果。
在步骤S308中,可以基于步骤S306中得到的具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段。
如前所述,在利用卡方检验的原理执行差异显著性的检验的情况下,可以确定某一视频片段中进行交互操作的用户数量相对该视频片段在视频的时间轴上的前一视频片段中进行交互操作的用户数量发生显著改变,例如显著增加或显著减少。当该视频片段中进行交互操作的用户数量显著增加时,意味着该视频片段指示热点片段的开始。当该视频片段中进行交互操作的用户数量显著减少时,意味着该视频片段指示热点片段的结束。
在利用卡方检验的原理执行差异显著性的检验的实施例中,在确定相邻的两个视频片段的统计结果之间具有显著差异的情况下,可以基于相邻的两个视频片段中的一个视频片段的时间戳确定热点片段的候选区间标记。其中候选区间标记可以用于指示热点片段的开始或结束。
例如,可以将相邻的两个视频片段中的前一视频片段或后一视频片段中的任一帧(如第一帧或最后一帧)的时间戳确定为热点片段的候选区间标记。又例如,可以将相邻的两个视频片段中的前一视频片段或后一视频片段中的任一帧(如第一帧或最后一帧)的时间戳向前减去K秒的位置确定为候选区间标记。这是因为考虑到从用户开始观看热门片段的时间点到用户发表即时评论的时间点之间存在时间的滞后。K可以是任何预设的值,例如K=2。
在一些实施例中,可以基于候选区间标记在视频中出现的顺序确定至少一个热点片段的时间区间。例如,可以将第2m-1个出现的候选区间标记确定为指示一个热点片段的开始,第2m个出现的候选区间标记确定为指示一个热点片段的结束,其中m是大于零的整数。因此,可以将第2m-1个出现的候选区间标记和第2m个出现的候选区间标记之间的时间段确定为热点片段的时间区间。这样的设置是基于通常视频的开头不存在热点片段的假设。也就是说,在视频的开头部分的片段中一般包含较少的交互操作。基于卡方检验的原理检验到的第一个显著变化体现了交互操作的用户数量的显著增加。因此,第一个候选区间标记意味着第一个热点片段的开始。对应的第二个显著变化体现了热点片段结束后进行交互操作的用户数量的显著减少。因此,第二个候选区间标记意味着第一个热点片段的结束。类似地,第三个候选区间标记意味着第二个热点片段的开始,以此类推。
在利用Z分数的原理执行差异显著性的检验的实施例中,在确定某个视频片段的时间段内发生的交互操作的数量相对于每个视频片段的时间段内发生的交互操作的数量的平均值具有显著差异的情况下,可以将该视频片段确定为热点片段的时间区间。
利用本申请提供的用于在多媒体内容中标注热点的方法,可以基于对多媒体内容中不同时间段内的交互操作的统计的差异显著性检验结果确定视频中具有差异显著性的多媒体片段,并根据具有差异显著性的多媒体片段的时间戳确定多媒体内容中的热点片段。由于多媒体内容中不同时间段内的交互操作的统计能够反应用户在观看多媒体内容中不同时间段的内容时的群体性的用户评价,因此利用上述方法确定的热门情节更准确。
图4示出了根据本申请的实施例的基于卡方检验的原理对相邻的两个交互操作统计结果执行差异显著性检验的示例性的过程。
在步骤S402中,对于相邻的两个视频片段中的第一视频片段,可以确定观看该第一视频片段的用户中执行交互操作的用户数量作为第一用户数量、未执行交互操作的用户数量作为第二用户数量。
在步骤S404中,对于相邻的两个视频片段中的第二视频片段,可以确定观看该第二视频片段的用户中执行所述交互操作的用户数量作为第三用户数量、未执行所述交互操作的用户数量作为第四用户数量。
在步骤S406中,可以利用上述第一用户数量、第二用户数量、第三用户数量和第四用户数量确定相邻的两个视频片段的交互操作统计结果之间是否具有显著差异。
下面以卡方检验的四格表为例解释如何利用上述第一用户数量、第二用户数量、第三用户数量和第四用户数量确定相邻的两个视频片段的交互操作统计结果之间是否具有显著差异。
假设有两个分类变量X和Y,它们的值域分别为{x1,x2}和{y1,y2},可以根据x1、x2、y1、y2构造表1中示出的用于卡方检验的独立样本四格表:
表1
y1 y2 总计
x1 a b a+b
x2 c d c+d
总计 a+c b+d n=a+b+c+d
可以利用独立性检验来考察两个变量是否有关系。
根据本申请的原理,可以利用卡方检验确定相邻的两个视频片段Ti和Ti+1的交互操作统计结果之间是否具有显著差异。上述分类变量X可以是待处理的视频中的视频片段T,x1可以是第i个视频片段Ti,x2可以是第i+1个视频片段Ti+1。上述分类变量Y可以是视频片段的交互操作统计结果,y1可以指的是观看视频片段的用户中执行交互操作的用户数量,y2可以指的是观看视频片段的用户中未执行交互操作的用户数量。利用上述方式建立的独立样本四格表可以检验假设“视频片段Ti中执行交互操作的用户数量和视频片段Ti+1中执行交互操作的用户数量不存在显著差异”是否成立。
基于上述分类变量X、Y的定义,上述独立样本四个表中的a指的是观看视频片段Ti的用户中执行交互操作的用户数量,b指的是观看视频片段Ti的用户中未执行交互操作的用户数量,c指的是观看视频片段Ti+1的用户中执行交互操作的用户数量,d指的是观看视频片段Ti+1的用户中未执行交互操作的用户数量,n是上述a、b、c、d的总和。
基于上述独立样本四格表,可以基于公式(1)确定检验统计量χ2
Figure BDA0002449782290000141
可以根据基于公式(1)得到的检验统计量χ2在卡方分布临界值表中查找对应的概率值。当查找到的概率值小于预定的概率阈值时,可以确定相邻的两个视频片段的交互操作统计结果之间具有显著差异。
表2示出了卡方分布临界值表,其中P(χ2≥k)表示检验统计量χ2大于参数k的概率:
表2
P(χ<sup>2</sup>≥k) 0.5 0.4 0.25 0.15 0.1
k 0.455 0.708 1.323 2.072 2.706
P(χ<sup>2</sup>≥k) 0.05 0.025 0.010 0.005 0.001
k 3.841 5.024 6.635 7.879 10.828
例如,可以将概率阈值预定为0.05。当基于公式(1)确定的检验统计量χ2的值大于3.841时,可以认为对应于检验统计量χ2的概率值小于0.05,即假设“视频片段Ti中执行交互操作的用户数量和视频片段Ti+1中执行交互操作的用户数量不存在显著差异”成立的概率小于0.05。因此可以认为相邻的两个视频片段的交互操作统计结果之间具有显著差异。在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,可以将相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为具有显著差异的交互操作统计结果。
图5示出了根据本申请的实施例的基于Z分数的原理对相邻的两个交互操作统计结果执行差异显著性检验的示例性的过程。
在步骤S502中,可以基于每个视频片段的交互操作数量确定视频中包括的至少两个视频片段的交互操作数量的平均值μ和标准差σ。
在步骤S504中,可以针对至少两个视频片段中的每个视频片段,基于平均值和标准差,确定该视频片段的交互操作的数量相对于平均值是否具有显著差异。
在一些实施例中,针对每个视频片段,如果该视频片段的交互操作的数量大于平均值超过预定义的m个标准差,可以认为该视频片段的交互操作的数量相对于平均值具有显著差异。
在一些实现方式中,针对第i个视频片段,可以基于标准差确定该视频片段的交互操作的数量相对于平均值的标准分数。例如,可以基于公式(2)确定上述标准分数Zi
Figure BDA0002449782290000151
其中ti是第i个视频片段Ti的交互操作的数量,μ是至少两个视频片段的交互操作数量的平均值,σ是至少两个视频片段的交互操作数量的标准差。
可以通过比较基于公式(2)得到的标准分数Zi和预定义的标准分数阈值Zthr来确定ti相对于平均值μ是否具有显著差异。在一些示例中,Zthr可以设置为2.5、3.0或3.5。当|Zi|>Zthr时,可以认为ti相对于平均值μ具有显著差异。例如,由于当第i个视频片段Ti的交互操作的数量显著大于平均值时,可以认为用户对这段视频片段的观看热情较高,因此,当Zi>Zthr时,可以认为ti相对于平均值μ具有显著差异。在确定多媒体片段的交互操作数量相对于平均值具有显著差异的情况下,可以确定该多媒体片段的交互操作统计结果为具有显著差异的交互操作统计结果。
图6示出了根据本申请的实施例的用于标记视频热点的装置的示意性的框图。
如图6所示,装置600可以包括预处理单元610、统计单元620、检验单元630以及热点标记单元640。
预处理单元610可以配置成将待处理的多媒体内容分割为至少两个多媒体片段。在一些实施例中,待处理的多媒体内容中交互操作的数量大于预定义的数量阈值。例如,待处理的视频中的即时评论的数量可以大于1000条。当待处理的视频中包括足够数量的交互操作时,根据本申请的原理标记的视频热点的结果将更准确。
在一些实施例中,可以按照预设的时间间隔对待处理的视频进行分割。在一些示例中,预设的时间间隔可以是5s。也就是说,每个视频片段的时间长度是5s。
可以理解的是,本领域技术人员也可以利用任何其他方式对待处理的视频进行分割,例如,每个视频片段可以包括预设的帧数。在此不限制对待处理的视频进行分割的具体方式。
统计单元620可以配置成对与每个视频片段相关联的交互操作进行统计,以获得每个视频片段的交互操作统计结果。
在一些实施例中,统计单元620可以配置成对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果。
交互操作可以包括与每个视频片段相关联的即时评论或播放进度调整。在一些示例中,交互操作可以包括与每个视频片段中的时间戳相关联的即时评论(如弹幕)或播放进度调整(如前进、快退等)。在另一些示例中,交互操作还可以包括与每个视频片段中的时间戳相关联的用户在观看视频内容时执行的查询行为(例如搜索视频相关的人物、情节等)、用户在观看视频内容时在当前用户界面上点击链接的行为、用户针对当前视频播放界面的截屏行为等等。在下文中将以交互操作是即时评论为例描述本申请的原理。
在一些实现方式中,每个视频片段的交互操作统计结果可以是该视频片段的时间段内进行交互操作的用户数量、以及未进行交互操作的用户数量。例如,每个视频片段的交互操作统计结果可以是在该视频片段的时间段内发表即时评论的用户数量以及在该视频片段的时间段内未发表即时评论的用户数量。这里所说的进行交互操作的用户数量、以及未进行交互操作的用户数量可以指的是绝对数量,即实际的用户人数,也可以是相对数量,即进行交互操作的用户在所有用户中的百分比以及未进行交互操作的用户在所有用户中的百分比。
在另一些实现方式中,每个视频片段的交互操作统计结果包括该视频片段的时间段内交互操作的数量。例如,每个视频片段的交互操作统计结果可以包括该视频片段的时间段内被发表的即时评论的数量。
检验单元630可以配置成对统计单元620得到的交互统计结果执行差异显著性的检验。可以通过对至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果。具有显著差异的交互操作统计结果可以用于指示上述至少两个视频片段中是否存在与其他视频片段具有显著差异的视频片段。例如,具有显著差异的交互操作统计结果可以指示上述至少两个视频片段中的某个视频片段的交互操作统计结果与至少另一视频片段的交互操作统计结果之间具有显著差异。在这种情况下,该视频片段可能属于热点片段。
在一些实施例中,在每个视频片段的交互操作统计结果是该视频片段的时间段内进行交互操作的用户数量以及未进行交互操作的用户数量的情况下。可以基于卡方检验的原理对相邻的两个视频片段的交互操作统计结果执行差异显著性的检验。在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,可以将相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为具有显著差异的交互操作统计结果。
检验单元630可以配置成执行结合图4描述的基于卡方检验的原理对相邻的两个视频片段的交互操作统计结果执行差异显著性的过程,在此不再加以赘述。
利用基于卡方检验的原理执行的差异显著性的检验,可以确定某个视频片段中进行交互操作的用户数量相对该视频片段在视频的时间轴上的前一视频片段中进行交互操作的用户数量发生显著改变。例如,可以基于卡方检验的原理确定该视频片段中发表即时评论的用户数量相对于前一视频片段中进行交互操作的用户数量显著增加或减少。
在另一些实施例中,在每个视频片段的交互操作统计结果包括该视频片段的时间段内交互操作的数量的情况下,可以基于Z分数(Z-score)的原理对至少两个交互操作统计结果执行差异显著性的检验。
检验单元630可以配置成执行结合图5描述的基于Z分数的原理对至少两个交互操作统计结果执行差异显著性的过程,在此不再加以赘述。
利用基于Z分数的原理执行的差异显著性的检验,可以确定某个视频片段的时间段内发生的交互操作的数量相对于每个视频片段的时间段内发生的交互操作的数量的平均值是否具有显著差异。在确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异的情况下,可以确定该多媒体片段的交互操作统计结果为所述具有显著差异的交互操作统计结果。
热点标记单元640可以配置成基于检验单元630得到的具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段。
如前所述,在利用卡方检验的原理执行差异显著性的检验的情况下,可以确定某一视频片段中进行交互操作的用户数量相对该视频片段在视频的时间轴上的前一视频片段中进行交互操作的用户数量发生显著改变,例如显著增加或显著减少。当该视频片段中进行交互操作的用户数量显著增加时,意味着该视频片段指示热点片段的开始。当该视频片段中进行交互操作的用户数量显著减少时,意味着该视频片段指示热点片段的结束。
在利用卡方检验的原理执行差异显著性的检验的实施例中,在确定相邻的两个视频片段的统计结果之间具有显著差异的情况下,可以基于相邻的两个视频片段中的一个视频片段的时间戳确定热点片段的候选区间标记。其中候选区间标记可以用于指示热点片段的开始或结束。
例如,可以将相邻的两个视频片段中的前一视频片段或后一视频片段中的任一帧(如第一帧或最后一帧)的时间戳确定为热点片段的候选区间标记。又例如,可以将相邻的两个视频片段中的前一视频片段或后一视频片段中的任一帧(如第一帧或最后一帧)的时间戳向前减去K秒的位置确定为候选区间标志。这是因为考虑到从用户开始观看热门片段的时间点到用户发表即时评论的时间点之间存在时间的滞后。K可以是任何预设的值,例如K=2。
在一些实施例中,可以基于候选区间标记在视频中出现的顺序确定至少一个热点片段的时间区间。例如,可以将第2m-1个出现的候选区间标记确定为指示一个热点片段的开始,第2m个出现的候选区间标记确定为指示一个热点片段的结束,其中m是大于零的整数。因此,可以将第2m-1个出现的候选区间标记和第2m个出现的候选区间标记之间的时间段确定为热点片段的时间区间。
在利用Z分数的原理执行差异显著性的检验的实施例中,在确定某个视频片段的时间段内发生的交互操作的数量相对于每个视频片段的时间段内发生的交互操作的数量的平均值具有显著差异的情况下,可以将该视频片段确定为热点片段的时间区间。
利用本申请提供的用于在多媒体内容中标注热点的装置,可以基于对多媒体内容中不同时间段内的交互操作的统计的差异显著性检验结果确定多媒体内容中具有差异显著性的多媒体片段,并根据具有差异显著性的多媒体片段的时间戳确定多媒体内容中的热点片段。由于多媒体内容中不同时间段内的交互操作的统计能够反应用户在观看多媒体内容中不同时间段的内容时的群体性的用户评价,因此利用上述方法确定的热门情节更准确。
此外,根据本申请实施例的方法或装置也可以借助于图7所示的电子设备的架构来实现。图7示出了该电子设备的架构。如图7所示,电子设备700可以包括总线710、一个或至少两个CPU 720、只读存储器(ROM)730、随机存取存储器(RAM)740、连接到网络的通信端口750、输入/输出组件760、硬盘770等。电子设备700中的存储设备,例如ROM 730或硬盘770可以存储本申请提供的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。电子设备700还可以包括用户界面780。当然,图7所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图7示出的电子设备中的一个或至少两个组件。
根据本申请的另一方面,还提供了一种非易失性的计算机可读存储介质,其上存储有处理器可读的指令,当利用处理器执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”,通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如,各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信,如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如:从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台,或其他实现***的计算机环境,或与提供目标检测所需要的信息相关的类似功能的***。因此,另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接,例如光波、电波、电磁波等,通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质,其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
上面是对本发明的说明,而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解,上面是对本发明的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (11)

1.一种用于标记多媒体内容热点的方法,包括:
将多媒体内容分割为至少两个多媒体片段;
对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果;
对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果;以及
基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段;
其中,每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内进行所述交互操作的用户数量和未进行所述交互操作的用户数量;
其中,对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果包括:
对于相邻的两个多媒体片段中的第一多媒体片段,确定观看该第一多媒体片段的用户中执行所述交互操作的用户数量作为第一用户数量、未执行所述交互操作的用户数量作为第二用户数量;
对于相邻的两个多媒体片段中的第二多媒体片段,确定观看该第二多媒体片段的用户中执行所述交互操作的用户数量作为第三用户数量、未执行所述交互操作的用户数量作为第四用户数量;
利用所述第一用户数量、所述第二用户数量、所述第三用户数量和所述第四用户数量确定所述相邻的两个多媒体片段的交互操作统计结果之间是否具有显著差异;
在确定相邻的两个多媒体片段的交互操作统计结果之间具有显著差异的情况下,将所述相邻的两个多媒体片段中的一个多媒体片段的交互操作统计结果确定为所述具有显著差异的交互操作统计结果。
2.如权利要求1所述的方法,其中,所述交互操作包括与所述多媒体片段相关联的即时评论或播放进度调整。
3.如权利要求1或2所述的方法,其中,基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段包括:
基于所述相邻的两个多媒体片段中一个多媒体片段的时间戳确定热点片段的候选区间标记;
基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段。
4.如权利要求3所述的方法,其中,基于所述候选区间标记在所述多媒体内容中出现的顺序,选择两个候选区间标记之间的时间区间作为热点片段包括:
将第2m-1个出现的候选区间标记和第2m个出现的候选区间标记之间的时间区间确定为热点片段,其中m是大于零的整数。
5.一种用于标记多媒体内容热点的方法,包括:
将多媒体内容分割为至少两个多媒体片段;
对与每个多媒体片段相关联的交互操作进行统计,以获得分别与至少两个多媒体片段相对应的至少两个交互操作统计结果;
对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果;以及
基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段;
其中,每个多媒体片段的交互操作统计结果包括该多媒体片段的时间段内所述交互操作的数量,
其中,对所述至少两个交互操作统计结果执行差异显著性的检验,以确定具有显著差异的交互操作统计结果包括:
基于每个多媒体片段的交互操作数量确定所述至少两个多媒体片段的交互操作数量的平均值和标准差;
针对所述至少两个多媒体片段中的每个多媒体片段,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值是否具有显著差异,
在确定该多媒体片段的交互操作数量相对于所述平均值具有显著差异的情况下,确定该多媒体片段的交互操作统计结果为所述具有显著差异的交互操作统计结果。
6.如权利要求5所述的方法,其中,所述交互操作包括与所述多媒体片段相关联的即时评论或播放进度调整。
7.如权利要求5或6所述的方法,其中,基于所述平均值和所述标准差,确定该多媒体片段的交互操作数量相对于所述平均值是否具有显著差异包括:
基于所述标准差确定该多媒体片段的交互操作统计结果相对于所述平均值的标准分数;
基于所述标准分数确定该多媒体片段的交互操作统计结果是否具有差异显著性。
8.如权利要求7所述的方法,其中,基于所述具有显著差异的交互操作统计结果在所述至少两个多媒体片段中确定至少一个热点片段包括:
对于所述至少两个多媒体片段中的每个多媒体片段,在所述标准分数大于预定义的标准分数阈值的情况下,将该多媒体片段确定为热点片段。
9.一种用于标记多媒体内容热点的装置,被配置为执行如权利要求1-8任一项所述的方法。
10.一种多媒体内容服务器,包括:
处理器;以及
存储器,其中存储计算机可读程序指令,
其中,在所述计算机可读程序指令被所述处理器运行时执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其上存储计算机可读指令,当所述计算机可读指令由处理器执行时,所述处理器执行如权利要求1-8任一项所述的方法。
CN202010289336.XA 2020-04-14 2020-04-14 用于标记多媒体内容热点的方法、装置、服务器以及介质 Active CN111479168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010289336.XA CN111479168B (zh) 2020-04-14 2020-04-14 用于标记多媒体内容热点的方法、装置、服务器以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010289336.XA CN111479168B (zh) 2020-04-14 2020-04-14 用于标记多媒体内容热点的方法、装置、服务器以及介质

Publications (2)

Publication Number Publication Date
CN111479168A CN111479168A (zh) 2020-07-31
CN111479168B true CN111479168B (zh) 2021-12-28

Family

ID=71752428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010289336.XA Active CN111479168B (zh) 2020-04-14 2020-04-14 用于标记多媒体内容热点的方法、装置、服务器以及介质

Country Status (1)

Country Link
CN (1) CN111479168B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653906B (zh) * 2020-12-16 2023-07-18 Vidaa美国公司 显示设备上视频热点播放方法及显示设备
CN114630141A (zh) * 2022-03-18 2022-06-14 北京达佳互联信息技术有限公司 视频处理方法及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486796A (zh) * 2010-12-03 2012-06-06 腾讯科技(深圳)有限公司 获取视频信息的方法和装置
CN102737036A (zh) * 2011-04-07 2012-10-17 腾讯科技(深圳)有限公司 一种获取热点价值词的方法及装置
CN104469508A (zh) * 2013-09-13 2015-03-25 中国电信股份有限公司 基于弹幕信息内容进行视频定位的方法、服务器和***
CN104581400A (zh) * 2015-02-10 2015-04-29 飞狐信息技术(天津)有限公司 视频内容处理方法及装置
CN107071587A (zh) * 2017-04-25 2017-08-18 腾讯科技(深圳)有限公司 视频片段的获取方法及装置
CN107666623A (zh) * 2017-03-07 2018-02-06 腾讯科技(深圳)有限公司 播放信息的展示方法和装置
CN108062409A (zh) * 2017-12-29 2018-05-22 北京奇艺世纪科技有限公司 直播视频摘要的生成方法、装置及电子设备
CN108924576A (zh) * 2018-07-10 2018-11-30 武汉斗鱼网络科技有限公司 一种视频标注方法、装置、设备及介质
CN109104642A (zh) * 2018-09-26 2018-12-28 北京搜狗科技发展有限公司 一种视频生成方法及装置
CN110248258A (zh) * 2019-07-18 2019-09-17 腾讯科技(深圳)有限公司 视频片段的推荐方法、装置、存储介质和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266652B2 (en) * 2009-10-15 2012-09-11 At&T Intellectual Property I, L.P. Apparatus and method for transmitting media content
CN108874832B (zh) * 2017-05-15 2022-06-10 腾讯科技(深圳)有限公司 目标评论确定方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486796A (zh) * 2010-12-03 2012-06-06 腾讯科技(深圳)有限公司 获取视频信息的方法和装置
CN102737036A (zh) * 2011-04-07 2012-10-17 腾讯科技(深圳)有限公司 一种获取热点价值词的方法及装置
CN104469508A (zh) * 2013-09-13 2015-03-25 中国电信股份有限公司 基于弹幕信息内容进行视频定位的方法、服务器和***
CN104581400A (zh) * 2015-02-10 2015-04-29 飞狐信息技术(天津)有限公司 视频内容处理方法及装置
CN107666623A (zh) * 2017-03-07 2018-02-06 腾讯科技(深圳)有限公司 播放信息的展示方法和装置
CN107071587A (zh) * 2017-04-25 2017-08-18 腾讯科技(深圳)有限公司 视频片段的获取方法及装置
CN108062409A (zh) * 2017-12-29 2018-05-22 北京奇艺世纪科技有限公司 直播视频摘要的生成方法、装置及电子设备
CN108924576A (zh) * 2018-07-10 2018-11-30 武汉斗鱼网络科技有限公司 一种视频标注方法、装置、设备及介质
CN109104642A (zh) * 2018-09-26 2018-12-28 北京搜狗科技发展有限公司 一种视频生成方法及装置
CN110248258A (zh) * 2019-07-18 2019-09-17 腾讯科技(深圳)有限公司 视频片段的推荐方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN111479168A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN110210883B (zh) 群控账号识别方法、装置、服务器及存储介质
CN111479168B (zh) 用于标记多媒体内容热点的方法、装置、服务器以及介质
US10097888B2 (en) Determining audience engagement
CN111090813B (zh) 一种内容处理方法、装置和计算机可读存储介质
CN101365102B (zh) 基于视频内容识别的收视率统计的方法和***
CN105718861A (zh) 一种识别视频流数据类别的方法及装置
CN110677718B (zh) 一种视频识别方法和装置
CN108924381B (zh) 图像处理方法、图像处理装置及计算机可读介质
CN109389096A (zh) 检测方法和装置
US20090092313A1 (en) Information processing apparatus and method, program, and recording medium
CN111444362B (zh) 恶意图片拦截方法、装置、设备和存储介质
CN113296666A (zh) 主播曝光数据上报方法、装置、终端设备及存储介质
CN110719506B (zh) 用户对视频的兴趣度确定方法、装置、服务器及存储介质
CN113515670A (zh) 影视资源状态识别方法、设备及存储介质
CN110321517B (zh) 浏览资源播放比例的检测方法、检测装置及可读存储介质
CN113869926A (zh) 广告识别方法、装置、电子设备及存储介质
CN111259194B (zh) 用于确定重复视频的方法和装置
CN113408470A (zh) 数据处理方法、装置、电子设备、存储介质及程序产品
CN113486211A (zh) 帐号识别方法、装置、电子设备、存储介质及程序产品
CN112613396A (zh) 一种任务紧急程度处理方法及***
CN117177012B (zh) 视频播出监测方法、***、设备及存储介质
CN117119255B (zh) 违规视频播放的监测方法、***、设备及存储介质
CN117499477B (zh) 一种基于大模型训练的信息推送方法以及***
CN117809221A (zh) 对象检测方法及装置、电子设备、存储介质
CN117478838B (zh) 一种基于信息安全的分布式视频处理监管***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025834

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant