CN110381367B - 一种视频处理方法、设备及计算机可读存储介质 - Google Patents

一种视频处理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110381367B
CN110381367B CN201910619956.2A CN201910619956A CN110381367B CN 110381367 B CN110381367 B CN 110381367B CN 201910619956 A CN201910619956 A CN 201910619956A CN 110381367 B CN110381367 B CN 110381367B
Authority
CN
China
Prior art keywords
video
information
segment
emotion
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910619956.2A
Other languages
English (en)
Other versions
CN110381367A (zh
Inventor
张进
莫东松
钟宜峰
马丹
张健
赵璐
马晓琳
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201910619956.2A priority Critical patent/CN110381367B/zh
Publication of CN110381367A publication Critical patent/CN110381367A/zh
Application granted granted Critical
Publication of CN110381367B publication Critical patent/CN110381367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频处理方法、设备及计算机可读存储介质，涉及视频处理技术领域，以解决现有的视频剪辑方法无法获得满足用户个性化需求的视频片段的问题。该方法包括：从待处理视频中获得第一视频片段；获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。本发明实施例可使得获得的目标视频片段更加符合用户的个性化需求。

Description

一种视频处理方法、设备及计算机可读存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频处理方法、设备及计算机可读存储介质。
背景技术
通常，视频剪辑都是以人工为主，由专业剪辑师利用视频的编辑工具来完成。但是，人工剪辑的效率较低，无法满足互联网直播内容快速露出业务的需求。
人工智能的兴起，特别是深度学习在计算机视觉方面的发展，出现了使用深度学习来进行视频剪辑的技术。跟人工剪辑相比，人工智能的剪辑方法可以大幅度的提升特定场景的剪辑速度。
但是，基于人工智能的视频剪辑方法中，对于精彩视频的定义是基于运营人员预先设定的。因此，剪辑出来的视频片段无法满足用户的个性化需求。
发明内容
本发明实施例提供一种视频处理方法、设备及计算机可读存储介质，以解决现有的视频剪辑方法无法获得满足用户个性化需求的视频片段的问题。
第一方面，本发明实施例提供了一种视频处理方法，包括：
从待处理视频中获得第一视频片段；
获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；
基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；
利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。
其中，在所述个性化特征信息包括所述第一情绪信息的情况下，获取所述第一情绪信息，包括：
采集所述用户在观看所述待处理视频时的影像信息；
将所述影像信息输入到第一情绪分析模型；
将所述第一情绪分析模型的输出，作为所述第一情绪信息。
其中，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧；
利用所述第一视频帧形成所述第二视频片段；
其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
其中，在所述个性化特征信息包括所述第二情绪信息的情况下，获取用所述第二情绪信息，包括：
采集所述用户输入的文本信息；
对所述文本信息进行预处理，得到文本预处理结果；
将所述文本预处理结果输入到第二情绪分析模型中；
将所述第二情绪分析模型的输出，作为所述第二情绪信息。
其中，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧；
利用所述第二视频帧形成所述第二视频片段；
其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
其中，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
从所述第一视频片段中选取第一目标视频片段；
从所述第二视频片段中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
其中，所述第二视频片段包括第三视频片段和第四视频片段；
所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段；
在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段；
其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
其中，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合；
从所述第一视频片段中选取第一目标视频片段；
从所述包含情绪特征的视频片段集合中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
第二方面，本发明实施例还提供一种视频处理设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如前所述的视频处理方法中的步骤。
第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的视频处理方法中的步骤。
在本发明实施例中，将获取的第一视频片段和基于用户的个性化特征信息获取的第二视频片段相结合，获取待剪辑的目标视频片段。因此，利用本发明实施例的方案，可使得获得的目标视频片段更加符合用户的个性化需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频处理方法的流程图；
图2是本发明实施例提供的视频处理***的示意图；
图3是本发明实施例提供的视频处理装置的结构图之一；
图4是本发明实施例提供的视频处理装置中的第二获取模块的结构图之一；
图5是本发明实施例提供的视频处理装置中的第三获取模块的结构图之一；
图6是本发明实施例提供的视频处理装置中的第二获取模块的结构图之二；
图7是本发明实施例提供的视频处理装置中的第三获取模块的结构图之二；
图8是本发明实施例提供的视频处理装置中的处理模块的结构图之一；
图9是本发明实施例提供的视频处理装置中的第二获取模块的结构图之三；
图10是本发明实施例提供的视频处理装置中的第三获取模块的结构图之三；
图11是本发明实施例提供的视频处理装置中的处理模块的结构图之二；
图12是本发明实施例提供的视频处理装置的结构图之二；
图13是本发明实施例提供的视频处理设备的结构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的视频处理方法的流程图，如图1所示，包括以下步骤：
步骤101、从待处理视频中获得第一视频片段。
在本发明实施例中，可利用任意的方式获得在此的第一视频片段。
例如，用户选择观看视频直播时，***获取用户观看视频ID号，按照预定义规则使用AI(Artificial Intelligence，人工智能)视频剪辑设备对视频内容进行精彩视频剪辑。
如图2所示，为本发明实施例的视频处理***的示意图。图2中，该***包括：AI视频剪辑设备、视频信息采集设备、文本信息采集设备。其中，AI视频剪辑设备用于利用基于AI的剪辑方式对输入的直播流进行剪辑。视频信息采集设备用于采集用户的影像信息，并分析出用户的情绪信息。文本信息采集设备，用于采集用户输入的文本信息，并分析出用户的情绪信息。AI视频剪辑设备、视频信息采集设备、文本信息采集设备可分别获得各自剪辑的视频片段。之后，上述三个设备获得的视频片段再可经过视频处理模块进行处理，从而形成发送给客户端的视频剪辑片段。
在图2中，AI视频剪辑设备包括：3D模块，人脸识别模块以及OCR(OpticalCharacter Recognition，光学字符识别)模块。其中，3D模块用于处理识别视频中的动作，人脸识别模块用于识别视频中的人物，OCR模块用于识别视频中的文字。利用上述AI视频剪辑设备，可生成第一视频片段。例如一场足球比赛中的进球、犯规、射门、比分信息等，可以生成第一视频片段。
步骤102、获取用户的个性化特征信息。
在本发明实施例中，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个。
其中，在所述个性化特征信息包括所述第一情绪信息的情况下，所述第一情绪信息可包括：
采集所述用户在观看所述待处理视频时的影像信息。之后，将所述影像信息输入到第一情绪分析模型，将所述第一情绪分析模型的输出，作为所述第一情绪信息。其中，所述第一情绪分析模型可以是任意的情绪分析模型，如VGG19预处理模型等。通过这种方式，可使得获得的情绪信息更为准确。
在本发明实施例中，获取到的情绪信息包括但不限于为：高兴、愤怒、恐惧、悲伤、厌恶和惊奇。
在上述基础上，为提高处理速度，在本发明实施例中，还可在采集了影像信息之后，对所述影像信息进行采样处理，得到采样影像信息。那么，之后，将所述采样影像信息输入到所述第一情绪分析模型。其中，所述采样处理指的是，从采集的影响信息中按照预设的规则选取其中的一部分影响信息输入到情绪分析模型中。例如，可将采集的每8张图片进行一次采样，总共采样8张图片。
结合图2所示，所述***还可包括：视频信息采集设备。该设备包括：摄像头模块及视频处理模块。
其中，摄像头模块用于实时采集用户影像，如用户观看视频时的情绪和动作等。视频处理模块具备两个功能：一是将用户影像帧与视频直播流帧对齐处理。通过这种方式，可以确认用户的表情、动作帧对应的视频直播流帧，从而确认用户针对哪部分视频发生了表情与动作变化；二是对用户影像进行视频预处理。在本发明实施例中，将采集的用户影像进行采样，获得8*8(每8张图片进行一次采样，总共采样8张图片)的视频片段。之后，将该视频片段输入到训练好的情绪分析模型中。
在实际应用中，在训练情绪分析模型时，也可使用与上述预处理相同的采样策略，在直播流中用滑动窗口的方式，输入一段视频片段，输出这段视频片段属于不同情绪类别的置信度。具体的，使用已经训练好的VGG19预处理模型，获取用户的情绪，包括：高兴、愤怒、恐惧、悲伤、厌恶和惊奇，同时获取该情绪对应的直播流帧。
其中，在所述个性化特征信息包括所述第二情绪信息的情况下，获取所述第二情绪信息可包括：
采集所述用户输入的文本信息。其中，所述文本信息包括用户输入的评论，弹幕等等。接着，对所述文本信息进行预处理，得到文本预处理结果。然后，将所述文本预处理结果输入到第二情绪分析模型中，并将所述第二情绪分析模型的输出，作为所述第二情绪信息。
其中，所述预处理包括：对文本进行分词、特征提取、文本分类等。
结合图2所示，所述***还可包括：文本信息采集设备。该设备包括：文本采集模块和文本处理模块。其中文本采集模块可以实时地获取用户弹幕或者评论时的文本。文本处理模块具备两个功能：一是将用户文本与视频直播流帧对齐处理，从而可以确认用户输入的文本对应的视频直播流帧；二是对文本进行情感识别。
在对文本进行情感识别时，首先采用分词工具对文本进行分词，其次对文本进行特征提取，接下来进行文本分类。其中，文本分类可采用朴素贝叶斯方法，具体公式如下：
Figure BDA0002125163610000071
其中，cNB表示公式右侧部分取值最大时的情感类别，P(cj)表示该情绪出现的概率，
Figure BDA0002125163610000072
表示该种情绪下，文本信息中各词出现的概率。
其中，
Figure BDA0002125163610000073
Count(c)表示情绪的类别个数，Count(w,c)表示某种情绪下某个词出现的次数；
Figure BDA0002125163610000074
表示某种情绪下某个词出现的概率，V标识当前文本的词汇量。
其中，在所述个性化特征信息包括所述第一情绪信息和所述第二情绪信息的情况下，在此步骤中，则是上述两种方式的结合。具体的，采集所述用户在观看所述待处理视频时的影像信息，将所述影像信息输入到第一情绪分析模型，并将所述第一情绪分析模型的输出，作为所述第一情绪信息。采集用户输入的文本信息，对所述文本信息进行预处理，得到文本预处理结果。之后，将所述文本预处理结果输入到第二情绪分析模型中，并将所述第二情绪分析模型的输出，作为所述第二情绪信息。其中，获取第一情绪信息和第二情绪信息无严格的先后关系。
步骤103、基于所述个性化特征信息，从所述待处理视频中获取第二视频片段。
对于不同的个性化特征信息，获得第二视频片段的方式不同。
其中，在所述个性化特征信息包括所述第一情绪信息的情况下，在此步骤中，在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧，利用所述第一视频帧形成所述第二视频片段。其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
其中，在所述个性化特征信息包括所述第二情绪信息的情况下，在此步骤中，在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧，并利用所述第二视频帧形成所述第二视频片段。其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
通过这种方式，可使得获得的第二视频片段准确的对应用户表现出的情绪变化。
在所述个性化特征信息包括所述第一情绪信息和所述第二情绪信息的情况下，在此步骤中，所述第二视频片段包括第三视频片段和第四视频片段。具体的，在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段，在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段。
其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
其中，获取第三视频片段和所述第四视频片段的先后无严格的先后关系。
步骤104、利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。
其中，在所述个性化特征信息仅包括所述第一情绪信息的情况下或者在所述个性化特征信息仅包括所述第二情绪信息的情况下，在此步骤中，从所述第一视频片段中选取第一目标视频片段，并从所述第二视频片段中选取第二目标视频片段。然后，利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
在此，所述属性信息可以是内容相同，视频片段在待处理视频中的起止时间相同等等。那么，所述目标视频片段是所述第一目标视频片段和所述第二目标视频片段取交集后的结果。
其中，在所述个性化特征信息包括所述第一情绪信息的情况下以及所述第二情绪信息的情况下，在此步骤中，利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合。之后，从所述第一视频片段中选取第一目标视频片段，从所述包含情绪特征的视频片段集合中选取第二目标视频片段。接着，利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
其中，包含情绪特征的视频片段集合为所述第三视频片段和所述第四视频片段去并集之后的结果。在此，所述属性信息可以是内容相同，视频片段在待处理视频中的起止时间相同等等。那么，所述目标视频片段是所述第一目标视频片段和所述第二目标视频片段取交集后的结果。
通过上述方式，使得获得的目标视频片段不仅符合一般的视频剪辑需求，还将用户的个性化特征考虑在内，从而使得获得的目标视频片段更加符合用户的需求。
在本发明实施例中，将获取的第一视频片段和基于用户的个性化特征信息获取的第二视频片段相结合，获取待剪辑的目标视频片段。因此，利用本发明实施例的方案，可使得获得的目标视频片段更加符合用户的个性化需求。
在获得了目标视频片段后，还可将其注入后台视频内容存储模块，生成对应的ID，以便于后续查找或者使用等。
在上述实施例的基础上，为便于后续为用户提供更加符合用户需求的视频片段，还可获取所述用户的标识信息，之后将所述目标视频片段和所述标识进行关联。其中，所述标识信息例如可以是用户名称，ID等。获得了目标视频片段后，还可为其配置视频播放地址，并推送给客户端程序，由用户点击观看。
本发明实施例还提供了一种视频处理装置。参见图3，图3是本发明实施例提供的视频处理装置的结构图。由于视频处理装置解决问题的原理与本发明实施例中视频处理方法相似，因此该视频处理装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，视频处理装置包括：第一获取模块301，用于从待处理视频中获得第一视频片段；第二获取模块302，用于获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；第三获取模块303，用于基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；处理模块304，用于利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。
可选的，在所述个性化特征信息包括所述第一情绪信息的情况下，如图4所示，所述第二获取模块302可包括：
第一采集子模块3021，用于采集所述用户在观看所述待处理视频时的影像信息；第一处理子模块3022，用于将所述影像信息输入到第一情绪分析模型，将所述第一情绪分析模型的输出，作为所述第一情绪信息。
可选的，所述第二获取模块302还可包括：采样子模块，用于对所述影像信息进行采样处理，得到采样影像信息；所述第一处理子模块具体用于，将所述采样影像信息输入到所述第一情绪分析模型。
可选的，如图5所示，所述第三获取模块303可包括：第一标记子模块3031，用于在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧；第一获取子模块3032，用于利用所述第一视频帧形成所述第二视频片段；其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
可选的，在所述个性化特征信息包括所述第二情绪信息的情况下，如图6所示，所述第二获取模块302可包括：
第二采集子模块3023，用于采集所述用户输入的文本信息；预处理子模块3024，用于对所述文本信息进行预处理，得到文本预处理结果；第二处理子模块3025，用于将所述文本预处理结果输入到第二情绪分析模型中，并将所述第二情绪分析模型的输出，作为所述第二情绪信息。
可选的，如图7所示，所述第三获取模块303可包括：第二标记子模块3033，用于在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧；第二获取子模块3034，用于利用所述第二视频帧形成所述第二视频片段；其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
可选的，如图8所示，所述处理模块304可包括：第一选择子模块3041，用于从所述第一视频片段中选取第一目标视频片段；第二选择子模块3042，用于从所述第二视频片段中选取第二目标视频片段；第一处理子模块3043，用于利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
可选的，如图9所示，所述第二获取模块302可包括：
第三采集子模块3026，用于采集所述用户在观看所述待处理视频时的影像信息；
第三处理子模块3027，用于将所述影像信息输入到第一情绪分析模型，并将所述第一情绪分析模型的输出，作为所述第一情绪信息；
第四采集子模块3028，用于采集用户输入的文本信息；
第四处理子模块3029，用于对所述文本信息进行预处理，得到文本预处理结果；
第五处理子模块3020，用于将所述文本预处理结果输入到第二情绪分析模型中，并将所述第二情绪分析模型的输出，作为所述第二情绪信息。
可选的，所述第二视频片段包括第三视频片段和第四视频片段。如图10所示，所述第三获取模块303可包括：
第一获取子模块3035，用于在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段；第二获取子模块3036，用于在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段；其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
可选的，如图11所示，所述处理模块304可包括：
第一处理子模块3044，用于利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合；第三选择子模块3045，用于从所述第一视频片段中选取第一目标视频片段；第四选择子模块3046，用于从从所述包含情绪特征的视频片段集合中选取第二目标视频片段；第二处理子模块3047，用于利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
可选的，如图12所示，所述装置还可包括：
获取模块305，用于获取所述用户的标识信息；关联模块306，用于将所述目标视频片段和所述标识进行关联。
本发明实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
如图13所示，本发明实施例的视频处理设备，包括：处理器1300，用于读取存储器1320中的程序，执行下列过程：
从待处理视频中获得第一视频片段；
获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；
基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；
利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。
收发机1310，用于在处理器1300的控制下接收和发送数据。
其中，在图13中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1300代表的一个或多个处理器和存储器1320代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1310可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器1300负责管理总线架构和通常的处理，存储器1320可以存储处理器1300在执行操作时所使用的数据。
处理器1300负责管理总线架构和通常的处理，存储器1320可以存储处理器1300在执行操作时所使用的数据。
处理器1300还用于读取所述计算机程序，执行如下步骤:
在所述个性化特征信息包括所述第一情绪信息的情况下，采集所述用户在观看所述待处理视频时的影像信息；
将所述影像信息输入到第一情绪分析模型；
将所述第一情绪分析模型的输出，作为所述第一情绪信息。
处理器1300还用于读取所述计算机程序，执行如下步骤:
在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧；
利用所述第一视频帧形成所述第二视频片段；
其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
处理器1300还用于读取所述计算机程序，执行如下步骤:
在所述个性化特征信息包括所述第二情绪信息的情况下，采集所述用户输入的文本信息；
对所述文本信息进行预处理，得到文本预处理结果；
将所述文本预处理结果输入到第二情绪分析模型中；
将所述第二情绪分析模型的输出，作为所述第二情绪信息。
处理器1300还用于读取所述计算机程序，执行如下步骤:
在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧；
利用所述第二视频帧形成所述第二视频片段；
其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
处理器1300还用于读取所述计算机程序，执行如下步骤:
从所述第一视频片段中选取第一目标视频片段；
从所述第二视频片段中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
所述第二视频片段包括第三视频片段和第四视频片段；处理器1300还用于读取所述计算机程序，执行如下步骤:
在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段；
在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段；
其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
处理器1300还用于读取所述计算机程序，执行如下步骤:
利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合；
从所述第一视频片段中选取第一目标视频片段；
从所述包含情绪特征的视频片段集合中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
本发明实施例提供的设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
此外，本发明实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现以下步骤：
从待处理视频中获得第一视频片段；
获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；
基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；
利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段。
其中，在所述个性化特征信息包括所述第一情绪信息的情况下，获取所述第一情绪信息，包括：
采集所述用户在观看所述待处理视频时的影像信息；
将所述影像信息输入到第一情绪分析模型；
将所述第一情绪分析模型的输出，作为所述第一情绪信息。
其中，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧；
利用所述第一视频帧形成所述第二视频片段；
其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
其中，在所述个性化特征信息包括所述第二情绪信息的情况下，获取所述第二情绪信息，包括：
采集所述用户输入的文本信息；
对所述文本信息进行预处理，得到文本预处理结果；
将所述文本预处理结果输入到第二情绪分析模型中；
将所述第二情绪分析模型的输出，作为所述第二情绪信息。
其中，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧；
利用所述第二视频帧形成所述第二视频片段；
其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
其中，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
从所述第一视频片段中选取第一目标视频片段；
从所述第二视频片段中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
其中，所述第二视频片段包括第三视频片段和第四视频片段；
所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段；
在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段；
其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
其中，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合；
从所述第一视频片段中选取第一目标视频片段；
从所述包含情绪特征的视频片段集合中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
从待处理视频中获得第一视频片段；
获取用户的个性化特征信息，所述个性化特征信息包括用户观看所述待处理视频时的第一情绪信息和用户输入的文本信息所表示的第二情绪信息中的至少一个；
基于所述个性化特征信息，从所述待处理视频中获取第二视频片段；
利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段；
所述目标视频片段是第一目标视频片段和第二目标视频片段取交集后的结果，所述第一目标视频片段是从所述第一视频片段中选取的，所述第二目标视频片段是从所述第二视频片段中选取的；
其中，所述第一目标视频片段和所述第二目标视频片段的内容相同，或者，所述第一目标视频片段和所述第二目标视频片段在所述待处理视频中的起止时间相同。
2.根据权利要求1所述的方法，其特征在于，在所述个性化特征信息包括所述第一情绪信息的情况下，获取所述第一情绪信息，包括：
采集所述用户在观看所述待处理视频时的影像信息；
将所述影像信息输入到第一情绪分析模型；
将所述第一情绪分析模型的输出，作为所述第一情绪信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第一视频帧；
利用所述第一视频帧形成所述第二视频片段；
其中，所述第一情绪信息为所述用户观看所述第一视频帧时体现的情绪信息。
4.根据权利要求1或2所述的方法，其特征在于，在所述个性化特征信息包括所述第二情绪信息的情况下，获取所述第二情绪信息，包括：
采集所述用户输入的文本信息；
对所述文本信息进行预处理，得到文本预处理结果；
将所述文本预处理结果输入到第二情绪分析模型中；
将所述第二情绪分析模型的输出，作为所述第二情绪信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第二情绪信息时，在所述待处理视频中标记第二视频帧；
利用所述第二视频帧形成所述第二视频片段；
其中，所述第二情绪信息是所述用户观看所述第二视频帧时输入的文本所体现的情绪信息。
6.根据权利要求1所述的方法，其特征在于，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
从所述第一视频片段中选取第一目标视频片段；
从所述第二视频片段中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
7.根据权利要求4所述的方法，其特征在于，所述第二视频片段包括第三视频片段和第四视频片段；
所述基于所述个性化特征信息，从所述待处理视频中获取第二视频片段，包括：
在获取到所述第一情绪信息时，在所述待处理视频中标记第三视频帧，利用所述第三视频帧形成所述第三视频片段；
在获取到所述第二情绪信息时，在所述待处理视频中标记第四视频帧，利用所述第四视频帧形成所述第四视频片段；
其中，所述第一情绪信息为所述用户观看所述第三视频帧时体现的情绪信息；所述第二情绪信息是所述用户观看所述第四视频帧时输入的文本所体现的情绪信息。
8.根据权利要求7所述的方法，其特征在于，所述利用所述第一视频片段和所述第二视频片段，得到待剪辑的目标视频片段，包括：
利用所述第三视频片段和所述第四视频片段形成包含情绪特征的视频片段集合；
从所述第一视频片段中选取第一目标视频片段；
从所述包含情绪特征的视频片段集合中选取第二目标视频片段；
利用所述第一目标视频片段和所述第二目标视频片段，得到所述目标视频片段；
其中，所述第一目标视频片段和所述第二目标视频片段具有相同的属性信息。
9.一种视频处理设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至8中任一项所述的视频处理方法中的步骤。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的视频处理方法中的步骤。
CN201910619956.2A 2019-07-10 2019-07-10 一种视频处理方法、设备及计算机可读存储介质 Active CN110381367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910619956.2A CN110381367B (zh) 2019-07-10 2019-07-10 一种视频处理方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910619956.2A CN110381367B (zh) 2019-07-10 2019-07-10 一种视频处理方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110381367A CN110381367A (zh) 2019-10-25
CN110381367B true CN110381367B (zh) 2022-01-25

Family

ID=68250904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910619956.2A Active CN110381367B (zh) 2019-07-10 2019-07-10 一种视频处理方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110381367B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205534A (zh) * 2020-09-02 2022-03-18 华为技术有限公司 一种视频编辑方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856833A (zh) * 2012-12-05 2014-06-11 三星电子株式会社 视频处理设备和方法
CN104796781A (zh) * 2015-03-31 2015-07-22 小米科技有限责任公司 视频片段提取方法及装置
CN108595477A (zh) * 2018-03-12 2018-09-28 北京奇艺世纪科技有限公司 一种视频数据的处理方法和装置
CN108924576A (zh) * 2018-07-10 2018-11-30 武汉斗鱼网络科技有限公司 一种视频标注方法、装置、设备及介质
CN109657100A (zh) * 2019-01-25 2019-04-19 深圳市商汤科技有限公司 视频集锦生成方法及装置、电子设备及存储介质
CN109842805A (zh) * 2019-01-04 2019-06-04 平安科技（深圳）有限公司 视频看点的生成方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431689B (zh) * 2007-11-05 2012-01-04 华为技术有限公司 生成视频摘要的方法及装置
US8682809B2 (en) * 2012-04-18 2014-03-25 Scorpcast, Llc System and methods for providing user generated video reviews
CN104123396B (zh) * 2014-08-15 2017-07-07 三星电子（中国）研发中心 一种基于云电视的足球视频摘要生成方法及装置
EP3185137A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method, apparatus and arrangement for summarizing and browsing video content
US20180014037A1 (en) * 2016-07-09 2018-01-11 N. Dilip Venkatraman Method and system for switching to dynamically assembled video during streaming of live video
US10743053B2 (en) * 2016-07-09 2020-08-11 N. Dilip Venkatraman Method and system for real time, dynamic, adaptive and non-sequential stitching of clips of videos
US10410060B2 (en) * 2017-12-14 2019-09-10 Google Llc Generating synthesis videos
CN108391164B (zh) * 2018-02-24 2020-08-21 Oppo广东移动通信有限公司 视频解析方法及相关产品
CN109688463B (zh) * 2018-12-27 2020-02-18 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856833A (zh) * 2012-12-05 2014-06-11 三星电子株式会社 视频处理设备和方法
CN104796781A (zh) * 2015-03-31 2015-07-22 小米科技有限责任公司 视频片段提取方法及装置
CN108595477A (zh) * 2018-03-12 2018-09-28 北京奇艺世纪科技有限公司 一种视频数据的处理方法和装置
CN108924576A (zh) * 2018-07-10 2018-11-30 武汉斗鱼网络科技有限公司 一种视频标注方法、装置、设备及介质
CN109842805A (zh) * 2019-01-04 2019-06-04 平安科技（深圳）有限公司 视频看点的生成方法、装置、计算机设备及存储介质
CN109657100A (zh) * 2019-01-25 2019-04-19 深圳市商汤科技有限公司 视频集锦生成方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110381367A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
WO2021088510A1 (zh) 视频分类方法、装置、计算机以及可读存储介质
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
CN112818906B (zh) 一种基于多模态信息融合理解的全媒体新闻智能编目方法
US11321583B2 (en) Image annotating method and electronic device
CN111967302B (zh) 视频标签的生成方法、装置及电子设备
US8280158B2 (en) Systems and methods for indexing presentation videos
CN109034069B (zh) 用于生成信息的方法和装置
CN110781347A (zh) 一种视频处理方法、装置、设备以及可读存储介质
CN109862397B (zh) 一种视频分析方法、装置、设备和存储介质
CN113542777B (zh) 直播视频剪辑方法、装置及计算机设备
CN110740389B (zh) 视频定位方法、装置、计算机可读介质及电子设备
CN115994230A (zh) 一种融合人工智能和知识图谱技术的智慧档案构建方法
CN111160134A (zh) 一种以人为主体的视频景别分析方法和装置
CN113761105A (zh) 文本数据处理方法、装置、设备以及介质
CN110381367B (zh) 一种视频处理方法、设备及计算机可读存储介质
CN114051154A (zh) 一种新闻视频拆条方法和***
WO2022062027A1 (zh) 酒品定位方法、酒品信息管理方法、装置、设备及存储介质
CN113949828A (zh) 视频剪辑方法、装置、电子设备及存储介质
CN107656760A (zh) 数据处理方法及装置、电子设备
CN111949820A (zh) 视频关联兴趣点的处理方法、装置及电子设备
CN115665508A (zh) 视频摘要生成的方法、装置、电子设备及存储介质
CN115035453A (zh) 一种视频片头片尾识别方法、装置、设备及可读存储介质
CN113965798A (zh) 一种视频信息生成、展示方法、装置、设备及存储介质
CN113542910A (zh) 生成视频摘要的方法、装置、设备、计算机可读存储介质
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant