CN110198482A - 一种视频重点桥段标注方法、终端及存储介质 - Google Patents
一种视频重点桥段标注方法、终端及存储介质 Download PDFInfo
- Publication number
- CN110198482A CN110198482A CN201910290257.8A CN201910290257A CN110198482A CN 110198482 A CN110198482 A CN 110198482A CN 201910290257 A CN201910290257 A CN 201910290257A CN 110198482 A CN110198482 A CN 110198482A
- Authority
- CN
- China
- Prior art keywords
- barrage
- bridge section
- video
- classification
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及通信技术领域,公开了一种视频重点桥段标注方法、终端及存储介质。本发明中,获取原始弹幕数据集,其中,原始弹幕数据集中包含待标注视频中所包含的弹幕;识别原始弹幕数据集中每一个弹幕的类别,其中,类别包括情感丰富类别和情感不丰富类别;将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集;根据情感丰富弹幕数据集标注待标注视频中的重点桥段。使得在减少处理工作量的同时,还能够实现对重点桥段的快速标注。
Description
技术领域
本发明实施例涉及通信技术领域,特别涉及一种视频重点桥段标注方法、终端及存储介 质。
背景技术
随着人们生活节奏的加快,相对于完整的视频内容,人们更希望选择一些重点桥段来观 看,例如,观看足球比赛中的进球片段以及热门电影中的重点桥段集锦,从而在获得感官体 验的同时还可以节省时间。
发明人发现现有技术中至少存在如下问题:现有技术中在对重点片段进行标注时,通常 采用对视频的图像信息和音频信息进行分析,并根据分析结果确定出重点桥段,但由于一段 完整的视频中的图像信息和音频信息的数据非常庞大,因此采用上述方式进行重点桥段标注 时会增加处理的工作量,从而降低重点桥段标注的效率。
发明内容
本发明实施方式的目的在于提供一种视频重点桥段标注方法、终端及存储介质,使得在 减少处理工作量的同时,还能够实现对重点桥段的快速标注。
为解决上述技术问题,本发明的实施方式提供了一种视频重点桥段标注方法、终端及存 储介质,包括以下步骤:
获取原始弹幕数据集,其中,原始弹幕数据集中包含待标注视频中所包含的弹幕;识别 原始弹幕数据集中每一个弹幕的类别,其中,类别包括情感丰富类别和情感不丰富类别;将 类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集;根据情感丰富弹幕数据 集标注待标注视频中的重点桥段。
本发明的实施方式还提供了一种终端,包括:至少一个处理器;以及,与至少一个处理 器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一 个处理器执行,以使至少一个处理器能够执行如上的视频重点桥段标注方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序 被处理器执行时实现如上的视频重点桥段标注方法。
本发明实施方式相对于现有技术而言,从待标注视频中获取原始弹幕数据集,通过对原 始弹幕数据集中的每一个弹幕进行分类处理,将类别为情感丰富类别的弹幕进行保留获得情 感丰富弹幕数据集,并直接根据情感丰富弹幕数据集标注待标注视频中的重点桥段,从而根 据待标注视频中所包含的弹幕就可以实现对重点桥段的标注,而无需再对待标注视频中庞大 的图像信息和音频信息处理,从而能够在减少处理工作量的同时,实现对重点桥段的快速标 注过程。
另外,识别原始弹幕数据集中每一个弹幕的类别,包括:对原始弹幕数据集中的弹幕进 行去噪处理获得去噪弹幕数据集;识别去噪弹幕数据集中每一个弹幕的类别。该实现中,通 过对原始弹幕数据集中的弹幕进行去噪处理,从而使去噪弹幕数据集中每一个弹幕的类别识 别更加准确。该实现中,在识别原始弹幕数据集中每一个弹幕的类别时,首先对第一弹幕集 合中的弹幕进行去噪处理获得去噪弹幕数据集,从而排除噪声的干扰,使得视频重点桥段标 记更加准确。
另外,识别去噪弹幕数据集中每一个弹幕的类别,包括:提取去噪弹幕数据集中每一个 弹幕的特征信息并构成特征向量,其中,特征信息包括:时间、颜文字、情感词、符号、语 气词、否定词和程度副词;将每一个弹幕的特征向量输入弹幕情感类别识别模型,获得每一 个弹幕的特征向量所对应的类别,其中,弹幕情感类别识别模型中保存了特征向量与类别之 间对应关系的参数。该实现中,通过所提取的去噪弹幕数据集中每一个弹幕的特征信息以及 已知的弹幕情感类别识别模型,识别出去噪弹幕数据集中每一个弹幕为情感丰富类别还是情 感不丰富类别。
另外,将每一个弹幕的特征向量输入弹幕情感类别识别模型,获得每一个弹幕的特征向 量所对应的类别之前,还包括:获取第一样本弹幕,其中,第一样本弹幕的数量为M个,M 为正整数;提取每一个第一样本弹幕中的样本特征信息并构成第一样本特征向量,并对第一 样本特征向量进行标注,获得第一样本弹幕训练集;对第一样本弹幕训练集进行训练,获得 弹幕情感类别识别模型。
另外,根据情感丰富弹幕数据集标注待标注视频中的重点桥段,包括:获取待标注视频 所对应的播放时间轴;根据情感丰富类别弹幕的时间特征信息,确定在播放时间轴上每一时 刻所对应的情感丰富类别弹幕的总数量;根据播放时间轴上每一时刻所对应的情感丰富类别 弹幕的总数量标注待标注视频中的重点桥段。该实现中,通过获取待标注视频所对应的播放 时间轴,并根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频 中的重点桥段,使得根据情感丰富类别的总数量所标注的重点桥段更加准确。
另外,根据播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频 中的重点桥段,包括:确定播放时间轴上的关键时刻,其中,关键时刻上所对应的情感丰富 类别弹幕的总数量超过预设阈值;根据关键时刻以及预设时长确定在播放时间轴上的时间区 间;将时间区间内所对应的视频内容标注为重点桥段。
另外,根据情感丰富弹幕数据集标注待标注视频中的重点桥段之后,还包括:获取重点 桥段中所包含的弹幕;识别重点桥段中的每一个弹幕的情感类型,其中,情感类型包括:乐、 哀、怒、惊和恶;确定每一个情感类型中所包含的重点桥段中的弹幕数量,并将弹幕数量最 多的情感类型标注为重点桥段的情感类型。该实现中,在标注待标注视频中的重点桥段之后, 通过对重点桥段的情感类型进行标注,从而便于用户根据需要选择观看所对应情感类型的重 点桥段。该实现中,在对待标注视频中的重点桥段进行标注之后,进一步对重点桥段的情感 类型进行标注,从而便于用户根据情感片段中所标记的情感类型,选择所需要观看的重点桥 段。
另外,识别重点桥段中的每一个弹幕的情感类型,包括:对重点桥段中的每一个弹幕进 行分词处理获得分词结果;确定分词结果与每一个关键词的最高相似度,其中,每一个关键 词分别对应着一个情感类型;根据分词结果与每一个关键词的最高相似度,确定重点桥段中 的每一个弹幕的N纬向量信息,其中,N为关键词的数量;将重点桥段中的每一个弹幕的N 纬向量信息输入情感倾向分类模型,获得重点桥段中的每一个弹幕的N纬向量信息所对应的 情感类型,其中,情感倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系 的参数。
另外,将重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型,获得重点桥 段中的每一个弹幕的N纬向量信息所对应的情感类型之前,还包括:获取第二样本弹幕,其 中,第二样本弹幕的数量为L个,L为正整数;获取每一个第二样本弹幕的N纬样本向量信 息,并对第二样本弹幕的N纬样本向量信息进行情感标注,获得第二样本弹幕训练集;对第 二样本弹幕训练集进行训练,获得情感倾向分类模型。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不 构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别 申明,附图中的图不构成比例限制。
图1是本申请第一实施例中视频重点桥段标注方法的流程图;
图2是本申请第二实施例中视频重点桥段标注方法的流程图;
图3是本申请第三实施例中视频重点桥段标注装置的方框示意图;
图4是本申请第四实施例中视频重点桥段标注装置的方框示意图;
图5是本申请第五实施例中终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实 施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中, 为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于 以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频重点桥段标注方法,应用于终端。具体流程如图1 所示,包括以下步骤:
步骤101,获取原始弹幕数据集。
具体的说,在本实施方式中,待标记视频可以是用户所选定的一段包含有弹幕的视频资 源,该视频资源具体可以是一场足球比赛视频或电影片段,而视频资源中所包含的弹幕体现 了观众在观看该时刻的视频时的主观感受,弹幕中既可以包含观众对视频内容的评价,也可 以包含观众观看该时刻视频的情感变化。因此,在原始弹幕数据集合中包含待标注视频中所 包含的弹幕,
步骤102,识别原始弹幕数据集中每一个弹幕的类别。
具体的说,在本实施方式中弹幕的类别包括情感丰富类别和情感不丰富类别,情感丰富 类别表示当前视频内容比较精彩的情况下,弹幕中包含观众的强烈情感变化,例如,“哈哈 哈太好笑了”或“好难过啊都看哭了!”,每一条弹幕分别对应着一个播放时刻。而情感不 丰富类别表示当前视频内容比较平淡的情况下,弹幕中包含观众较少的情感变化,甚至没有。 并且由于所获得的原始弹幕数据集中会存在语义表达不清或词语错误的弹幕,这一类弹幕对 视频重点桥段的标注是无效的,因此在获取原始弹幕数据集后,需要对原始弹幕数据集中的 弹幕进行去噪处理获得去噪弹幕数据集,即将上述无效的弹幕去除掉,并识别所获得的去噪 弹幕数据集中每一个弹幕的类别。
其中,在识别去噪弹幕数据集中每一个弹幕的类别时,具体可以采用如下方式,提取去 噪弹幕数据集中每一个弹幕的特征信息并构成特征向量,其中,特征信息包括:时间、颜文 字、情感词、符号、语气词、否定词和程度副词,将每一个弹幕的特征向量输入弹幕情感类 别识别模型,获得每一个弹幕的特征向量所对应的类别,其中,弹幕情感类别识别模型中保 存了特征向量与类别之间对应关系的参数。
例如,获取一条时刻为3:25的一条弹幕为“非常难过啊都看哭了T_T,不开心!”,确定该条弹幕的特征信息分别为:时间-3:25、颜文字-T_T、情感词-难过,符号-叹号、语气词-啊、否定词-不、程度副词-非常。并且可以将所提取的七维特征信息作为一个向量,输入弹幕情感类别识别模型,从而获得该条弹幕所对应的类型为情感类。
需要说明的是,在本实施方式中,将每一个弹幕的特征信息输入弹幕情感类别识别模型, 获得每一个弹幕的特征信息所对应的类别之前还需要获得弹幕情感类别识别模型,所采用的 方式具体为:获取第一样本弹幕,其中,第一样本弹幕的数量为M个,并且在实际应用中第 一样本弹幕的数量要足够多,M的取值可以是几万甚至更多。提取每一个样本弹幕中的样本 特征信息并构成第一样本特征向量,并对第一样本特征向量进行标注,获得第一样本弹幕训 练集,对第一样本弹幕训练集进行训练,获得弹幕情感类别识别模型。
步骤103,将类别识别为情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集。
具体的说,在本实施方式中,在识别出去噪弹幕数据集中每一个弹幕的类别之后,由于 情感不丰富类别的弹幕通常表示当前时刻的视频内容比较平淡,对待标注视频中的重点桥段 没有作用,从而可以仅将去噪弹幕数据集中标记为情感丰富类别的弹幕提取出来进行保留, 并构成情感丰富弹幕数据集。
步骤104,根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
具体的说,获取待标注视频所对应的播放时间轴,根据情感丰富类别弹幕的时间特征信 息,确定在播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量,根据播放时间轴上 每一时刻所对应的情感丰富类别弹幕的总数量标注待标注视频中的重点桥段。
其中,确定播放时间轴上的关键时刻,并且关键时刻上所对应的情感丰富类别弹幕的总 数量超过预设阈值,根据关键时刻以及预设时长确定在播放时间轴上的时间区间,将时间区 间内所对应的视频内容标注为重点桥段。
在一个具体实现中,待标注视频所对应的播放时间轴的起点为00:00,终点为25:00,由 于每一条弹幕分别对应着一个播放时刻,即时间特征信息,并且存在多个弹幕具有相同时间 特征的情况,这种情况表示在一个相同的时刻有多个观众同时对视频进行了评价。计算出在 播放时间轴上每一时刻所对应的情感丰富类别弹幕的总数量,假设预设阈值为60,并确定出 播放时间轴上情感丰富类别弹幕的总数量超过60的时刻,如果确定15:25和22:15时刻所对 应的情感丰富类别弹幕的总数量超过预设阈值60,则将15:25和22:15时刻作为关键时刻。 并且确定预设时长为10秒,则以关键时刻15:25为基准,分别向前倒推10秒和向后延长10 秒,获得第一个时间区间为15:15至15:35,并将第一个时间区间内所对应的视频内容标注为 第一个重点桥段;另外,以关键时刻22:15为基准,分别向前倒推10秒和向后延长10秒, 获得第二个时间区间为22:05至22:25,并将第二个时间区间内所对应的视频内容标注为第二 个重点桥段。
与现有技术相比,本实施方式提供的视频重点桥段标注方法,从待标注视频中获取原始 弹幕数据集,通过对原始弹幕数据集中的每一个弹幕进行分类处理,将类别为情感丰富类别 的弹幕进行保留获得情感丰富弹幕数据集,并直接根据情感丰富弹幕数据集标注待标注视频 中的重点桥段,从而根据待标注视频中所包含的弹幕就可以实现对重点桥段的标注,而无需 再对待标注视频中庞大的图像信息和音频信息处理,从而能够在减少处理工作量的同时,实 现对重点桥段的快速标注过程。
本发明的第二实施方式涉及一种视频重点桥段标注方法。本实施例在第一实施例的基础 上做了进一步改进,具体改进之处为:在标注完待标注视频中的重点桥段之后,增加了对重 点桥段进行情感类型标注的步骤。本实施例中的视频重点桥段标注方法的流程如图2所示。 具体的说,在本实施例中,包括步骤201至步骤207,其中步骤201至步骤204与第一实施 方式中的步骤101至步骤104大致相同,此处不再赘述,下面主要介绍不同之处,未在本实 施方式中详尽描述的技术细节,可参见第一实施例所提供的视频重点桥段标注方法,此处不 再赘述。
在步骤201至步骤204之后,执行步骤205。
步骤205,获取重点桥段中所包含的弹幕。
具体的说,对于所获取的每一段重点桥段,确定重点桥段的播放区间,并通过弹幕的时 间特征信息,确定在重点桥段的播放区间内的弹幕,将所确定出的弹幕作为重点桥段中所包 含的弹幕。
步骤206,识别重点桥段中的每一个弹幕的情感类型。
具体的说,情感类型包括:乐、哀、怒、惊和恶五中类型,并且在识别每一个弹幕的情 感类型时,具体所采用的方式可以是:对重点桥段中的每一个弹幕进行分词处理获得分词结 果;确定分词结果与每一个关键词的最高相似度,其中,每一个关键词分别对应着一个情感 类型;根据分词结果与每一个关键词的最高相似度,确定重点桥段中的每一个弹幕的N纬向 量信息,其中,N为关键词的数量;将重点桥段中的每一个弹幕的N纬向量信息输入情感倾 向分类模型,获得重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型,其中,情感 倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系的参数。
例如,假设有五类情感,以每一类情感有33个关键词为例提前确定出关键词表,如表1 所示
以弹幕“我今天很开心呀”为例,对其进行分词处理获得分词结果为:我今天很开心 呀。确定出分词结果与每一个关键词的最高相似度,例如,得出分词结果与每一个关键词的 相似度表如表2所示
因为关于计算词汇之间的相似度现有技术已经比较成熟,并且关于具体如何计算相似度也不 是本申请的重点,因此本实施方式中不再进行赘述,由于关键词共有165个,数量较多,所 以表2中也仅是以第一关键词和第二关键词为例进行的举例说明,从表2中的第一行可以看 出,分词结果中的“开心”与第一关键词“开心”的相似度最高为1,因此将1作为分词结 果与第一关键词“开心”的最高相似度,同理将0.6571作为分词结果与第二关键词“哈哈” 的最高相似度,由于有165个关键词,因此可以获得165个最高相似度比值,并可以将所获 得的165个相似度比值构成一个165维的向量,如A=(1,0.6571......0.8753)。将165维的 向量A输入情感倾向分类模型,由于情感倾向分类模型中保存了弹幕的165维向量与情感类 型之间对应关系的参数,因此利用上述参数可以获得弹幕“我今天很开心呀”所对应的情感 类型为“乐”。
需要说明的是,在将重点桥段中每一个弹幕的N维向量信息输入情感倾向分类模型之前, 还需要:获取第二样本弹幕,其中,第二样本弹幕的数量为L个,L为正整数,获取每一个 第二样本弹幕的N纬样本向量信息,并对第二样本弹幕的N纬样本向量信息进行情感标注, 获得第二样本弹幕训练集;对第二样本弹幕训练集进行训练,获得情感倾向分类模型。
步骤207,确定每一个情感类型中所包含的重点桥段中的弹幕数量,并将弹幕数量最多 的情感类型标注为重点桥段的情感类型。
具体的说,由于每一个重点桥段内弹幕的情感类型都是已知的,因此,针对一段重点桥 段,确定出该重点桥段中每一个情感类型的数量,例如,针对一段重点桥段,确定其中情感 类型为乐的弹幕的数量为100条,情感类型为哀的弹幕的数量为80条,情感类型为怒的弹幕 的数量为60条,情感类型为惊的弹幕的数量为40条,情感类型为恶的弹幕的数量为70条, 由于其中情感类型为乐的弹幕的数量最多,所以将该重点桥段的情感类型标记为乐,当然还 可以根据每一类情感类型下所包含的弹幕的数量,生成五维情感雷达图,从而更直观的体现 视频重点桥段的情感倾向。
与现有技术相比,本实施方式提供的视频重点桥段标注方法,从待标注视频中获取原始 弹幕数据集,通过对原始弹幕数据集中的每一个弹幕进行分类处理,将类别为情感丰富类别 的弹幕进行保留获得情感丰富弹幕数据集,并直接根据情感丰富弹幕数据集标注待标注视频 中的重点桥段,从而根据待标注视频中所包含的弹幕就可以实现对重点桥段的标注,而无需 再对待标注视频中庞大的图像信息和音频信息处理,从而能够在减少处理工作量的同时,实 现对重点桥段的快速标注过程。并且通过进一步对重点桥段的情感类型进行标注,从而便于 用户根据情感片段中所标记的情感类型,选择所需要观看的重点桥段。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些 步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对 算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的 核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种视频重点桥段标注装置,具体结构如图3所示。
如图3所示,视频重点桥段标注装置包括:第一获取模块301、类别识别模块302、第二 获取模块303和重点桥段标注模块304。
其中,原始弹幕数据集获取模块301,用于获取原始弹幕数据集。
弹幕类别识别模块302,用于识别原始弹幕数据集中每一个弹幕的类别。
情感丰富弹幕数据集获取模块303,用于将类别识别为情感丰富类别的弹幕进行保留获 得情感丰富弹幕数据集。
重点桥段标注模块304,用于根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
不难发现,本实施方式为与第一实施方式相对应的装置实施例,本实施方式可与第一实 施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了 减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施 方式中。
本发明第四实施方式涉及一种视频重点桥段标注装置。该实施方式与第三实施方式大致 相同,具体结构如图4所示。其中,主要改进之处在于:第四实施方式在第三实施方式的基 础上增加了第三获取模块305、情感类型识别模块306和情感类型标注模块307。
其中,原始弹幕数据集获取模块301,用于获取原始弹幕数据集。
弹幕类别识别模块302,用于识别原始弹幕数据集中每一个弹幕的类别。
情感丰富弹幕数据集获取模块303,用于将类别识别为情感丰富类别的弹幕进行保留获 得情感丰富弹幕数据集。
重点桥段标注模块304,用于根据情感丰富弹幕数据集标注待标注视频中的重点桥段。
重点桥段中的弹幕获取模块305,用于获取重点桥段中所包含的弹幕。
情感类型识别模块306,用于识别重点桥段中的每一个弹幕的情感类型。
情感类型标注模块307,用于确定每一个情感类型中所包含的重点桥段中的弹幕数量, 并将弹幕数量最多的情感类型标注为重点桥段的情感类型。
不难发现,本实施方式为与第二实施方式相对应的装置实施例,本实施方式可与第二实 施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了 减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施 方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻 辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组 合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的 技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种终端,如图5所示,包括至少一个处理器501;以及,与 至少一个处理器501通信连接的存储器502;其中,存储器502存储有可被至少一个处理器 501执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够执行上述 实施例中的视频重点桥段标注方法。
本实施例中,处理器501以中央处理器(Central Processing Unit,CPU)为例,存储器 502以可读写存储器(Random Access Memory,RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接,图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中实现视频重点桥段标注方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述视频重点桥段标注方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至 少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速 随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或 其他非易失性固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程 设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限 于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个程序模块存储在存储器502中,当被一个或者多个处理器501执行时,执 行上述任意方法实施例中的视频重点桥段标注方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果, 未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的视频重点桥段标注方法。
本申请的第六实施方式涉及一种计算机可读存储介质,该计算机可读存储介质中存储有 计算机程序,该计算机程序被处理器执行时能够实现本发明任意方法实施例中涉及的视频重 点桥段标注方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来 指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可 以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分 步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、 随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码 的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实 际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (11)
1.一种视频重点桥段标注方法,其特征在于,应用于终端,包括:
获取原始弹幕数据集,其中,所述原始弹幕数据集中包含待标注视频中所包含的弹幕;
识别所述原始弹幕数据集中每一个所述弹幕的类别,其中,所述类别包括情感丰富类别和情感不丰富类别;
将类别识别为所述情感丰富类别的弹幕进行保留获得情感丰富弹幕数据集;
根据所述情感丰富弹幕数据集标注所述待标注视频中的重点桥段。
2.根据权利要求1所述的视频重点桥段标注方法,其特征在于,所述识别所述原始弹幕数据集中每一个所述弹幕的类别,包括:
对所述原始弹幕数据集中的弹幕进行去噪处理获得去噪弹幕数据集;
识别所述去噪弹幕数据集中每一个所述弹幕的类别。
3.根据权利要求2所述的视频重点桥段标注方法,其特征在于,所述识别所述去噪弹幕数据集中每一个所述弹幕的类别,包括:
提取所述去噪弹幕数据集中每一个所述弹幕的特征信息并构成特征向量,其中,所述特征信息包括:时间、颜文字、情感词、符号、语气词、否定词和程度副词;
将每一个所述弹幕的特征向量输入弹幕情感类别识别模型,获得每一个所述弹幕的特征向量所对应的类别,其中,所述弹幕情感类别识别模型中保存了特征向量与类别之间对应关系的参数。
4.根据权利要求3所述的视频重点桥段标注方法,其特征在于,所述将每一个所述弹幕的特征向量输入弹幕情感类别识别模型,获得每一个所述弹幕的特征向量所对应的类别之前,还包括:
获取第一样本弹幕,其中,所述第一样本弹幕的数量为M个,M为正整数;
提取每一个所述第一样本弹幕中的样本特征信息并构成第一样本特征向量,并对所述第一样本特征向量进行标注,获得第一样本弹幕训练集;
对所述第一样本弹幕训练集进行训练,获得所述弹幕情感类别识别模型。
5.根据权利要求3所述的视频重点桥段标注方法,其特征在于,所述根据所述情感丰富弹幕数据集标注所述待标注视频中的重点桥段,包括:
获取所述待标注视频所对应的播放时间轴;
根据所述情感丰富类别弹幕的所述时间特征信息,确定在所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量;
根据所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量标注所述待标注视频中的重点桥段。
6.根据权利要求5所述的视频重点桥段标注方法,其特征在于,所述根据所述播放时间轴上每一时刻所对应的所述情感丰富类别弹幕的总数量标注所述待标注视频中的重点桥段,包括:
确定所述播放时间轴上的关键时刻,其中,所述关键时刻上所对应的所述情感丰富类别弹幕的总数量超过预设阈值;
根据所述关键时刻以及预设时长确定在所述播放时间轴上的时间区间;
将所述时间区间内所对应的视频内容标注为所述重点桥段。
7.根据权利要求1所述的视频重点桥段标注方法,其特征在于,所述根据所述情感丰富弹幕数据集标注所述待标注视频中的重点桥段之后,还包括:
获取所述重点桥段中所包含的弹幕;
识别所述重点桥段中的每一个弹幕的情感类型,其中,所述情感类型包括:乐、哀、怒、惊和恶;
确定每一个情感类型中所包含的所述重点桥段中的弹幕数量,并将弹幕数量最多的情感类型标注为所述重点桥段的情感类型。
8.根据权利要求7所述的视频重点桥段标注方法,其特征在于,所述识别所述重点桥段中的每一个弹幕的情感类型,包括:
对所述重点桥段中的每一个弹幕进行分词处理获得分词结果;
确定所述分词结果与每一个关键词的最高相似度,其中,每一个关键词分别对应着一个情感类型;
根据所述分词结果与每一个所述关键词的最高相似度,确定所述重点桥段中的每一个弹幕的N纬向量信息,其中,N为所述关键词的数量;
将所述重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型,获得所述重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型,其中,所述情感倾向分类模型中保存了弹幕的N纬向量信息与情感类型之间对应关系的参数。
9.根据权利要求8所述的视频重点桥段标注方法,其特征在于,所述将所述重点桥段中的每一个弹幕的N纬向量信息输入情感倾向分类模型,获得所述重点桥段中的每一个弹幕的N纬向量信息所对应的情感类型之前,还包括:
获取第二样本弹幕,其中,所述第二样本弹幕的数量为L个,L为正整数;
获取每一个所述第二样本弹幕的N纬样本向量信息,并对所述第二样本弹幕的N纬样本向量信息进行情感标注,获得第二样本弹幕训练集;
对所述第二样本弹幕训练集进行训练,获得所述情感倾向分类模型。
10.一种终端,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9任一项所述的视频重点桥段标注方法。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的视频重点桥段标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290257.8A CN110198482B (zh) | 2019-04-11 | 2019-04-11 | 一种视频重点桥段标注方法、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290257.8A CN110198482B (zh) | 2019-04-11 | 2019-04-11 | 一种视频重点桥段标注方法、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110198482A true CN110198482A (zh) | 2019-09-03 |
CN110198482B CN110198482B (zh) | 2022-05-20 |
Family
ID=67751802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290257.8A Active CN110198482B (zh) | 2019-04-11 | 2019-04-11 | 一种视频重点桥段标注方法、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110198482B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110401847A (zh) * | 2019-07-17 | 2019-11-01 | 咪咕文化科技有限公司 | 云dvr视频的压缩存储方法、电子设备及*** |
CN111741362A (zh) * | 2020-08-11 | 2020-10-02 | 恒大新能源汽车投资控股集团有限公司 | 与视频用户互动的方法和装置 |
CN111860237A (zh) * | 2020-07-07 | 2020-10-30 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
CN113347491A (zh) * | 2021-05-24 | 2021-09-03 | 北京格灵深瞳信息技术股份有限公司 | 一种视频剪辑方法、装置、电子设备和计算机存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100114937A1 (en) * | 2008-10-17 | 2010-05-06 | Louis Hawthorne | System and method for content customization based on user's psycho-spiritual map of profile |
US20140075317A1 (en) * | 2012-09-07 | 2014-03-13 | Barstow Systems Llc | Digital content presentation and interaction |
CN104469508A (zh) * | 2013-09-13 | 2015-03-25 | 中国电信股份有限公司 | 基于弹幕信息内容进行视频定位的方法、服务器和*** |
CN106303675A (zh) * | 2016-08-24 | 2017-01-04 | 北京奇艺世纪科技有限公司 | 一种视频片段提取方法和装置 |
CN107105318A (zh) * | 2017-03-21 | 2017-08-29 | 华为技术有限公司 | 一种视频热点片段提取方法、用户设备和服务器 |
CN108537176A (zh) * | 2018-04-11 | 2018-09-14 | 武汉斗鱼网络科技有限公司 | 目标弹幕的识别方法、装置、终端及存储介质 |
CN108537139A (zh) * | 2018-03-20 | 2018-09-14 | 校宝在线(杭州)科技股份有限公司 | 一种基于弹幕信息的在线视频精彩片段分析方法 |
-
2019
- 2019-04-11 CN CN201910290257.8A patent/CN110198482B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100114937A1 (en) * | 2008-10-17 | 2010-05-06 | Louis Hawthorne | System and method for content customization based on user's psycho-spiritual map of profile |
US20140075317A1 (en) * | 2012-09-07 | 2014-03-13 | Barstow Systems Llc | Digital content presentation and interaction |
CN104469508A (zh) * | 2013-09-13 | 2015-03-25 | 中国电信股份有限公司 | 基于弹幕信息内容进行视频定位的方法、服务器和*** |
CN106303675A (zh) * | 2016-08-24 | 2017-01-04 | 北京奇艺世纪科技有限公司 | 一种视频片段提取方法和装置 |
CN107105318A (zh) * | 2017-03-21 | 2017-08-29 | 华为技术有限公司 | 一种视频热点片段提取方法、用户设备和服务器 |
CN108537139A (zh) * | 2018-03-20 | 2018-09-14 | 校宝在线(杭州)科技股份有限公司 | 一种基于弹幕信息的在线视频精彩片段分析方法 |
CN108537176A (zh) * | 2018-04-11 | 2018-09-14 | 武汉斗鱼网络科技有限公司 | 目标弹幕的识别方法、装置、终端及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110401847A (zh) * | 2019-07-17 | 2019-11-01 | 咪咕文化科技有限公司 | 云dvr视频的压缩存储方法、电子设备及*** |
CN111860237A (zh) * | 2020-07-07 | 2020-10-30 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
CN111860237B (zh) * | 2020-07-07 | 2022-09-06 | 中国科学技术大学 | 一种视频情感片段的识别方法及装置 |
CN111741362A (zh) * | 2020-08-11 | 2020-10-02 | 恒大新能源汽车投资控股集团有限公司 | 与视频用户互动的方法和装置 |
CN113347491A (zh) * | 2021-05-24 | 2021-09-03 | 北京格灵深瞳信息技术股份有限公司 | 一种视频剪辑方法、装置、电子设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110198482B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110198482A (zh) | 一种视频重点桥段标注方法、终端及存储介质 | |
CN110046304A (zh) | 一种用户推荐方法和装置 | |
WO2020232796A1 (zh) | 多媒体数据匹配方法、装置和存储介质 | |
CN108319723A (zh) | 一种图片分享方法和装置、终端、存储介质 | |
CN108780654A (zh) | 生成用于视频的移动缩略图 | |
JP2011215963A (ja) | 電子機器、画像処理方法及びプログラム | |
CN107562680A (zh) | 数据处理方法、装置和终端设备 | |
CN113688167A (zh) | 基于深度兴趣网络的深度兴趣捕获模型构建方法及装置 | |
CN106528894B (zh) | 设置标签信息的方法及装置 | |
CN108304493B (zh) | 一种基于知识图谱的上位词挖掘方法及装置 | |
CN109871490A (zh) | 媒体资源匹配方法、装置、存储介质和计算机设备 | |
CN113779381B (zh) | 资源推荐方法、装置、电子设备和存储介质 | |
Vonikakis et al. | A probabilistic approach to people-centric photo selection and sequencing | |
CN108563731A (zh) | 一种情感分类方法及装置 | |
CN109388725A (zh) | 通过视频内容进行搜索的方法及装置 | |
CN115661302A (zh) | 一种视频编辑方法、装置、设备及存储介质 | |
CN108614872A (zh) | 课程内容展示方法及装置 | |
CN103942247B (zh) | 多媒体资源的信息提供方法及装置 | |
CN108170845A (zh) | 多媒体数据处理方法、装置及存储介质 | |
CN109062905B (zh) | 一种弹幕文本价值评价方法、装置、设备及介质 | |
CN113573128B (zh) | 一种音频处理方法、装置、终端以及存储介质 | |
CN109726329A (zh) | 内容推荐方法、装置及设备 | |
CN110569447B (zh) | 一种网络资源的推荐方法、装置及存储介质 | |
CN116541114A (zh) | 一种信息展示方法、装置、计算机设备以及存储介质 | |
CN112507214B (zh) | 基于用户名的数据处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |