CN113283327A - 一种视频文本生成方法、装置、设备及存储介质 - Google Patents

一种视频文本生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113283327A
CN113283327A CN202110535422.9A CN202110535422A CN113283327A CN 113283327 A CN113283327 A CN 113283327A CN 202110535422 A CN202110535422 A CN 202110535422A CN 113283327 A CN113283327 A CN 113283327A
Authority
CN
China
Prior art keywords
video
data
recognition model
character information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110535422.9A
Other languages
English (en)
Inventor
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Guangzhou Duoyi Network Co ltd
Duoyi Network Co ltd
Original Assignee
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Guangzhou Duoyi Network Co ltd
Duoyi Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD, Guangzhou Duoyi Network Co ltd, Duoyi Network Co ltd filed Critical GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Priority to CN202110535422.9A priority Critical patent/CN113283327A/zh
Publication of CN113283327A publication Critical patent/CN113283327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种视频文本生成方法、装置、设备及存储介质，其中方法包括：获取待处理的视频数据，并提取视频数据中的关键帧图像数据和音频数据；根据关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到视频数据的文字信息；根据关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到视频数据的人物信息；根据文字信息和人物信息，生成视频数据对应的视频文本。本申请通过融合生物特征识别、光学字符识别、语音识别技术使得生成的视频文本包含更全面的图像和语音、文字等内容信息，可极大提高用户对视频内容的搜索、阅读的效率，解决了现有的视频数据搜索存在效率低的技术问题。

Description

一种视频文本生成方法、装置、设备及存储介质
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频文本生成方法、装置、设备及存储介质。
背景技术
随着多媒体产业的兴起，视频数据已经融入到日常生活当中，大量的视频数据充斥在我们的日常生活中。为了能够准确搜索出想要的视频数据或快速了解视频主要内容，视频文本的生成质量至关重要。
传统的视频文本生成侧重光学字符识别或语音识别，难以获取更全面的视频信息用以生成视频文本，从而导致现有的视频数据搜索存在效率低的技术问题。
发明内容
本申请提供了一种视频文本生成方法、装置、设备及存储介质，用于解决现有的视频数据搜索存在效率低的技术问题。
本申请第一方面提供了一种视频文本生成方法，包括：
获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；
根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；
根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；
根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。
优选地，根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息具体包括：
根据所述关键帧图像数据，通过光学字符识别模型识别所述关键帧图像数据中的文字字符，得到所述视频数据的图像文字信息；
根据所述音频数据，通过语音识别模型，将所述音频数据转换为文本数据，得到所述视频数据的语音文字信息。
优选地，包括：所述生物特征识别模型包括：人脸识别模型和声纹识别模型。
优选地，根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息具体包括：
根据所述关键帧图像数据，通过人脸识别模型，识别所述关键帧图像数据中的人脸特征，以根据所述人脸特征进行特征比对得到所述视频数据的图像人物信息；
根据所述音频数据，通过声纹识别模型，识别所述音频数据中的声纹特征，以根据所述声纹特征进行特征比对得到所述视频数据的语音人物信息。
优选地，根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本具体包括：
根据所述图像文字信息的时间信息和所述语音文字信息的时间信息，确定第一对应关系，其中，所述第一对应关系为所述图像文字信息和所述语音文字信息的对应关系；
根据所述图像人物信息的时间信息和所述语音人物信息的时间信息，确定第二对应关系，其中，所述第二对应关系为所述图像人物信息和所述语音人物信息的对应关系；
基于所述第一对应关系和所述第二对应关系，对图像人物信息、图像文字信息和语音人物信息、语音文字信息进行汇总，得到视频文本。
优选地，所述关键帧图像数据的获取过程具体包括：
对所述视频数据进行抽帧处理，得到多个视频帧图像；
根据图像相似度计算方式，计算所述视频帧图像之间的相似度；
根据所述相似度和预设的相似度阈值，对所述视频帧图像进行相似度比较、筛选，得到关键帧图像。
优选地，所述音频数据的获取过程具体包括：
对所述视频数据进行音频提取处理，得到所述视频数据的内嵌音频数据；
对所述内嵌音频数据进行语音端点活动检测，并根据检测到的语音端点对所述内嵌音频数据进行音频切分处理，得到切分成多段的音频数据。
本申请第二方面提供了一种视频文本生成装置，包括：
数据提取单元，用于获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；
文字信息获取单元，用于根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；
人物信息获取单元，用于根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；
视频文本生成单元，用于根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。
本申请第三方面提供了一种视频文本生成设备，包括：存储器和处理器；
所述存储器用于存储与如本申请第一方面提供的视频文本生成方法相对应的程序代码；
所述处理器用于执行所述程序代码。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中保存有与如本申请第一方面提供的视频文本生成方法相对应的程序代码。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种视频文本生成方法、装置、设备及存储介质，其中方法包括：获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。本申请通过融合生物特征识别、光学字符识别、语音识别技术使得生成的视频文本包含更全面的图像和语音、文字等内容信息，可极大提高用户对视频内容的搜索、阅读的效率，解决了现有的视频数据搜索存在效率低的技术问题，也能精准的迁移应用到搜索、推荐等场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种视频文本生成方法的第一个实施例的流程示意图；
图2为本申请提供的一种视频文本生成方法的第二个实施例的流程示意图；
图3为本申请提供的一种视频文本生成方法中获取关键帧图像数据的流程示意图；
图4为本申请提供的一种视频文本生成方法中获取音频数据的流程示意图；
图5为本申请提供的一种视频文本生成装置的第一个实施例的结构示意图。
具体实施方式
本申请实施例提供了一种视频文本生成方法、装置、设备及存储介质，用于解决现有的视频数据搜索存在效率低的技术问题。
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图1，本申请第一个实施例提供了一种视频文本生成方法，包括：
步骤101、获取待处理的视频数据，并提取视频数据中的关键帧图像数据和音频数据。
步骤102、根据关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到视频数据的文字信息。
步骤103、根据关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到视频数据的人物信息。
步骤104、根据文字信息和人物信息，生成视频数据对应的视频文本。
需要说明的是，在实施本实施例提供的一种视频文本生成方法，首先从步骤101开始，获取待处理的视频数据，并从该视频数据中提取出若干关键帧图像和音频数据，然后基于步骤101获得的关键帧图像数据和音频数据，分别通过预设的光学字符识别模型和语音识别模型进行相应的内容识别运算，从而得到该视频数据的文字信息，同时，还通过预设的生物特征识别模型，识别关键帧图像数据以及音频数据中的人物特征，用以进行人物识别，得到视频数据的人物信息，最后，根据步骤102获得的文字信息和根据步骤103获得的人物信息，生成相应的视频文本，以便于根据生成的视频文本做摘要、关键字标签等处理，极大提高用户对视频内容的搜索、阅读的效率。
其中，虽然本申请实施例提供的方法流程是先获取文字信息再获取人物信息，但是在实际执行时获取文字信息的步骤和获取人物信息的步骤可以相互调换，也可以同步执行，在此不做赘述。
以上为本申请提供的一种视频文本生成方法的第一个实施例的详细说明，下面为本申请提供的一种视频文本生成方法的第二个实施例的详细说明。
请参阅图2、图3和图4，本申请第二个实施例在上述第一个实施例的基础上，提供了一种视频文本生成方法，包括：
进一步地，上述第一个实施例中的步骤102具体包括：
步骤1021、根据关键帧图像数据，通过光学字符识别模型识别关键帧图像数据中的文字字符，得到视频数据的图像文字信息；
需要说明的是，本实施例的步骤1021通过将视频关键帧输入预训练的光学字符识别模型，得到每个视频关键帧对应的图片文字结果；然后对相似视频关键帧的图片文字结果进行筛选，得到图像文字信息。
其中，本实施例的光学字符识别模型具体为通过预先准备好带文字标签的图像文本数据，结合深度神经网络结构训练得到的识别模型。
步骤1022、根据音频数据，通过语音识别模型，将音频数据转换为文本数据，得到视频数据的语音文字信息。
需要说明的是，本实施例的步骤1022通过将音频数据中的音频特征向量输入预训练的语音识别模型得到语音文字结果；然后对语音结果进行标点恢复、数字转换、热词纠错等后处理生成语音文字信息。
其中，本实施例的语音识别模型具体为预先准备好大量的带文字标签的语音数据结合深度神经网络结构训练得到的识别模型。
进一步地，包括：生物特征识别模型包括：人脸识别模型和声纹识别模型。
进一步地，上述第一个实施例中的步骤103具体包括：
步骤1031、根据关键帧图像数据，通过人脸识别模型，识别关键帧图像数据中的人脸特征，以根据人脸特征进行特征比对得到视频数据的图像人物信息；
步骤1032、根据音频数据，通过声纹识别模型，识别音频数据中的声纹特征，以根据声纹特征进行特征比对得到视频数据的语音人物信息。
进一步地，上述第一个实施例中的步骤104具体包括：
步骤1041、根据图像文字信息的时间信息和语音文字信息的时间信息，确定第一对应关系，其中，第一对应关系为图像文字信息和语音文字信息的对应关系；
步骤1042、根据图像人物信息的时间信息和语音人物信息的时间信息，确定第二对应关系，其中，第二对应关系为图像人物信息和语音人物信息的对应关系；
步骤1043、基于第一对应关系和第二对应关系，对图像人物信息、图像文字信息和语音人物信息、语音文字信息进行汇总，得到视频文本。
进一步地，上述第一个实施例中提及的关键帧图像数据，其获取过程具体包括：
步骤201、对视频数据进行抽帧处理，得到多个视频帧图像；
步骤202、根据图像相似度计算方式，计算视频帧图像之间的相似度；
步骤203、根据相似度和预设的相似度阈值，对视频帧图像进行相似度比较、筛选，得到关键帧图像。
需要说明的是，本实施例根据从视频数据中抽取的视频帧图像进行图像相似度计算，然后基于计算的相似度以及预设的相似度阈值，对视频帧图像进行相似度比较，根据得到的相似度比较结果，从多个视频帧图像中筛选出关键帧图像。
进一步地，上述第一个实施例中提及的音频数据，其获取过程具体包括：
步骤301、对视频数据进行音频提取处理，得到视频数据的内嵌音频数据；
步骤302、对内嵌音频数据进行语音端点活动检测，并根据检测到的语音端点对内嵌音频数据进行音频切分处理，得到切分成多段的音频数据。
以上为本申请提供的一种视频文本生成方法的第二个实施例的详细说明，下面为本申请提供的一种视频文本生成装置的一个实施例的详细说明。
请参阅图5，本申请第三个实施例提供了一种视频文本生成装置，包括：
数据提取单元301，用于获取待处理的视频数据，并提取视频数据中的关键帧图像数据和音频数据；
文字信息获取单元302，用于根据关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到视频数据的文字信息；
人物信息获取单元303，用于根据关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到视频数据的人物信息；
视频文本生成单元304，用于根据文字信息和人物信息，生成视频数据对应的视频文本。
以上为本申请提供的一种视频文本生成装置的一个实施例的详细说明，下面为本申请提供的一种视频文本生成设备的一个实施例以及一种计算机可读存储介质的一个实施例的详细说明。
本申请第四个实施例提供了一种视频文本生成设备，包括：存储器和处理器；
存储器用于存储与如本申请第一个实施例或第二个实施例提供的视频文本生成方法相对应的程序代码；
处理器用于执行程序代码。
本申请第五个实施例提供了一种计算机可读存储介质，计算机可读存储介质中保存有与如本申请第一个实施例或第二个实施例提供的视频文本生成方法相对应的程序代码。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种视频文本生成方法，其特征在于，包括：
获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；
根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；
根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；
根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。
2.根据权利要求1所述的一种视频文本生成方法，其特征在于，根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息具体包括：
根据所述关键帧图像数据，通过光学字符识别模型识别所述关键帧图像数据中的文字字符，得到所述视频数据的图像文字信息；
根据所述音频数据，通过语音识别模型，将所述音频数据转换为文本数据，得到所述视频数据的语音文字信息。
3.根据权利要求2所述的一种视频文本生成方法，其特征在于，包括：所述生物特征识别模型包括：人脸识别模型和声纹识别模型。
4.根据权利要求3所述的一种视频文本生成方法，其特征在于，根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息具体包括：
根据所述关键帧图像数据，通过人脸识别模型，识别所述关键帧图像数据中的人脸特征，以根据所述人脸特征进行特征比对得到所述视频数据的图像人物信息；
根据所述音频数据，通过声纹识别模型，识别所述音频数据中的声纹特征，以根据所述声纹特征进行特征比对得到所述视频数据的语音人物信息。
5.根据权利要求4所述的一种视频文本生成方法，其特征在于，根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本具体包括：
根据所述图像文字信息的时间信息和所述语音文字信息的时间信息，确定第一对应关系，其中，所述第一对应关系为所述图像文字信息和所述语音文字信息的对应关系；
根据所述图像人物信息的时间信息和所述语音人物信息的时间信息，确定第二对应关系，其中，所述第二对应关系为所述图像人物信息和所述语音人物信息的对应关系；
基于所述第一对应关系和所述第二对应关系，对图像人物信息、图像文字信息和语音人物信息、语音文字信息进行汇总，得到视频文本。
6.根据权利要求1所述的一种视频文本生成方法，其特征在于，所述关键帧图像数据的获取过程具体包括：
对所述视频数据进行抽帧处理，得到多个视频帧图像；
根据图像相似度计算方式，计算所述视频帧图像之间的相似度；
根据所述相似度和预设的相似度阈值，对所述视频帧图像进行相似度比较、筛选，得到关键帧图像。
7.根据权利要求1所述的一种视频文本生成方法，其特征在于，所述音频数据的获取过程具体包括：
对所述视频数据进行音频提取处理，得到所述视频数据的内嵌音频数据；
对所述内嵌音频数据进行语音端点活动检测，并根据检测到的语音端点对所述内嵌音频数据进行音频切分处理，得到切分成多段的音频数据。
8.一种视频文本生成装置，其特征在于，包括：
数据提取单元，用于获取待处理的视频数据，并提取所述视频数据中的关键帧图像数据和音频数据；
文字信息获取单元，用于根据所述关键帧图像数据和音频数据，通过预设的光学字符识别模型和语音识别模型，得到所述视频数据的文字信息；
人物信息获取单元，用于根据所述关键帧图像数据和音频数据，通过预设的生物特征识别模型，得到所述视频数据的人物信息；
视频文本生成单元，用于根据所述文字信息和所述人物信息，生成所述视频数据对应的视频文本。
9.一种视频文本生成设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储与如权利要求1至7任意一项所述的视频文本生成方法相对应的程序代码；
所述处理器用于执行所述程序代码。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中保存有与如权利要求1至7任意一项所述的视频文本生成方法相对应的程序代码。
CN202110535422.9A 2021-05-17 2021-05-17 一种视频文本生成方法、装置、设备及存储介质 Pending CN113283327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535422.9A CN113283327A (zh) 2021-05-17 2021-05-17 一种视频文本生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535422.9A CN113283327A (zh) 2021-05-17 2021-05-17 一种视频文本生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113283327A true CN113283327A (zh) 2021-08-20

Family

ID=77279457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535422.9A Pending CN113283327A (zh) 2021-05-17 2021-05-17 一种视频文本生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113283327A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923521A (zh) * 2021-12-14 2022-01-11 深圳市大头兄弟科技有限公司 一种视频的脚本化方法
CN114143479A (zh) * 2021-11-29 2022-03-04 中国平安人寿保险股份有限公司 视频摘要的生成方法、装置、设备以及存储介质
CN114283851A (zh) * 2021-12-21 2022-04-05 天翼爱音乐文化科技有限公司 基于视频彩铃识别客户的方法、***、装置及存储介质
CN116108492A (zh) * 2023-04-07 2023-05-12 安羚科技(杭州)有限公司 可横向扩展的数据防泄漏***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN110781347A (zh) * 2019-10-23 2020-02-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备以及可读存储介质
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN111787356A (zh) * 2020-07-09 2020-10-16 易视腾科技股份有限公司 目标视频片段提取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744292A (zh) * 2016-02-02 2016-07-06 广东欧珀移动通信有限公司 一种视频数据的处理方法及装置
CN110781347A (zh) * 2019-10-23 2020-02-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备以及可读存储介质
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN111787356A (zh) * 2020-07-09 2020-10-16 易视腾科技股份有限公司 目标视频片段提取方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143479A (zh) * 2021-11-29 2022-03-04 中国平安人寿保险股份有限公司 视频摘要的生成方法、装置、设备以及存储介质
CN114143479B (zh) * 2021-11-29 2023-07-25 中国平安人寿保险股份有限公司 视频摘要的生成方法、装置、设备以及存储介质
CN113923521A (zh) * 2021-12-14 2022-01-11 深圳市大头兄弟科技有限公司 一种视频的脚本化方法
CN114283851A (zh) * 2021-12-21 2022-04-05 天翼爱音乐文化科技有限公司 基于视频彩铃识别客户的方法、***、装置及存储介质
CN114283851B (zh) * 2021-12-21 2023-03-14 天翼爱音乐文化科技有限公司 基于视频彩铃识别客户的方法、***、装置及存储介质
CN116108492A (zh) * 2023-04-07 2023-05-12 安羚科技(杭州)有限公司 可横向扩展的数据防泄漏***
CN116108492B (zh) * 2023-04-07 2023-06-30 安羚科技(杭州)有限公司 可横向扩展的数据防泄漏***

Similar Documents

Publication Publication Date Title
CN107305541B (zh) 语音识别文本分段方法及装置
CN113283327A (zh) 一种视频文本生成方法、装置、设备及存储介质
CN106328147B (zh) 语音识别方法和装置
CN110444198B (zh) 检索方法、装置、计算机设备和存储介质
CN104598644B (zh) 喜好标签挖掘方法和装置
CN110348362B (zh) 标签生成、视频处理方法、装置、电子设备及存储介质
CN111723791A (zh) 文字纠错方法、装置、设备及存储介质
CN111666746A (zh) 会议纪要的生成方法及装置、电子设备及存储介质
CN112257437B (zh) 语音识别纠错方法、装置、电子设备和存储介质
CN110413998B (zh) 一种面向电力行业的自适应中文分词方法及其***、介质
CN111275097B (zh) 视频处理方法及***、图片处理方法及***、设备、介质
CN111444349A (zh) 信息抽取方法、装置、计算机设备和存储介质
CN110738061A (zh) 古诗词生成方法、装置、设备及存储介质
CN111400513A (zh) 数据处理方法、装置、计算机设备和存储介质
US20160283582A1 (en) Device and method for detecting similar text, and application
CN112270191A (zh) 提取工单文本主题的方法及装置
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN112784009A (zh) 一种主题词挖掘方法、装置、电子设备及存储介质
CN115408488A (zh) 用于小说场景文本的分割方法及***
CN113891177B (zh) 一种音视频数据的摘要生成方法、装置、设备和存储介质
CN109213974B (zh) 一种电子文档转换方法及装置
CN111488813A (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN113362832A (zh) 一种用于音视频人物的命名方法及相关装置
CN111950327A (zh) 口型纠正方法、装置、介质和计算设备
CN111930885B (zh) 文本话题的抽取方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination