CN114143613B - 一种视频字幕时间对齐方法、***及存储介质 - Google Patents

一种视频字幕时间对齐方法、***及存储介质 Download PDF

Info

Publication number
CN114143613B
CN114143613B CN202111470116.8A CN202111470116A CN114143613B CN 114143613 B CN114143613 B CN 114143613B CN 202111470116 A CN202111470116 A CN 202111470116A CN 114143613 B CN114143613 B CN 114143613B
Authority
CN
China
Prior art keywords
paragraph
ocr recognition
sentence
recognition result
substring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111470116.8A
Other languages
English (en)
Other versions
CN114143613A (zh
Inventor
程梓益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moviebook Science And Technology Co ltd
Original Assignee
Beijing Moviebook Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moviebook Science And Technology Co ltd filed Critical Beijing Moviebook Science And Technology Co ltd
Priority to CN202111470116.8A priority Critical patent/CN114143613B/zh
Publication of CN114143613A publication Critical patent/CN114143613A/zh
Application granted granted Critical
Publication of CN114143613B publication Critical patent/CN114143613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

本申请公开了一种视频字幕时间对齐方法、***及存储介质。该方法包括首先获取带字幕的原始视频以及描述文本，其中，描述文本的内容与原始视频中字幕的内容相对应；根据预设的取帧间隔时间截取原始视频中的字幕区域得到字幕区域图像集；将字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；将OCR识别结果与描述文本每个段落通过公共子串算法进行匹配，确定出OCR识别结果在每个段落的首句和尾句；根据每个段落的首句和尾句分别对应的时间戳确定描述文本各个段落在原始视频中的持续时间。可以看出，本申请实施例提供的技术方案提高视频字幕与描述文本进行时间匹配的准确性。

Description

一种视频字幕时间对齐方法、***及存储介质
技术领域
本发明涉及多媒体技术领域，特别涉及一种视频字幕时间对齐方法、***及存储介质。
背景技术
随着互联网技术和多媒体技术的不断发展，视频作为信息的载体之一，受到众多用户的青睐。为了更好地展示视频内容，在用户观看视频的时候，通常会同步显示与视频所对应的字幕，并且与视频字幕相对应的还会有描述文本，然而描述文本通常分为几段甚至十几段文本。
现有技术在对描述文本中的段落与视频字幕进行时间匹配时，常见的做法是用OCR识别视频中当前帧的文字并记录当前时间，然后与对应的文本匹配，但是因为错别字，生僻字的存在，以及视频背景的干扰，使得常见的做法不能自动化地完成该任务。
发明内容
基于此，本申请实施例提供了一种视频字幕时间对齐方法、***及存储介质，可以提高视频字幕与描述文本进行时间匹配的准确性。
第一方面，提供了一种视频字幕时间对齐方法，该方法包括：
获取带字幕的原始视频以及描述文本，所述描述文本的内容与所述原始视频中字幕的内容相对应；
根据预设的取帧间隔时间截取所述原始视频中的字幕区域得到字幕区域图像集，其中，所述字幕区域图像集包括在所述原始视频中对应的时间戳；
将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；
将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句和尾句；
根据所述每个段落的首句和尾句分别对应的时间戳确定所述描述文本各个段落在原始视频中的持续时间。
可选地，将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句，包括：
将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串，所述首子串用于表征第一个连续的公共子串；
当所述首子串在所述目标段落中的起始字符范围内时，将所述首子串对应的OCR识别结果与所述起始字符范围内的字符进行字符比较；
当字符比较得到的子串小于首句阈值时，则将当前字符比较得到的子串作为所述目标段落中的首句；
遍历所述描述文本的各个段落，确定出所述OCR识别结果在每个段落的首句。
可选地，将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串之后，还包括：
当所述首子串在所述目标段落中的结束字符范围内时，则将所述首子串对应的OCR识别结果的时间戳作为目标段落下一段的开始时间。
可选地，将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的尾句，包括：
将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串，所述尾子串用于表征最后一个连续的公共子串；
当所述尾子串在所述目标段落中的结束字符范围内时，将所述尾子串对应的OCR识别结果与所述结束字符范围内的字符进行字符比较；
当字符比较得到的子串小于尾句阈值时，则将当前字符比较得到的子串作为所述目标段落中的尾句；
遍历所述描述文本的各个段落，确定出所述OCR识别结果在每个段落的尾句。
可选地，将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串之后，还包括：
当所述尾子串在所述目标段落中的起始字符范围内时，则将所述尾子串对应的OCR识别结果的时间戳作为目标段落上一段的结束时间。
可选地，将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果，包括：
对所述OCR识别结果进行检查，将包含中文且置信度大于预设阈值的OCR识别结果进行匹配并进行保存。
可选地，根据所述描述文本的首句和尾句分别对应的时间戳确定所述描述文本在原始视频中对应的持续时间，还包括：
当首句对应的时间戳与尾句对应的时间戳存在重合时，将时间范围合并后的持续时间作为输出结果。
可选地，所述描述文本中包括错别字和/或生僻字。
第二方面，提供了一种视频字幕时间对齐装置，该装置包括：
获取模块，用于获取带字幕的原始视频以及描述文本，所述描述文本的内容与所述原始视频中字幕的内容相对应；
截取模块，用于根据预设的取帧间隔时间截取所述原始视频中的字幕区域得到字幕区域图像集，其中，所述字幕区域图像集包括在所述原始视频中对应的时间戳；
识别模块，用于将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；
匹配模块，用于将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句和尾句；
确定模块，用于根据所述每个段落的首句和尾句分别对应的时间戳确定所述描述文本各个段落在原始视频中的持续时间。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的视频字幕时间对齐方法。
本申请实施例提供的技术方案中，首先获取带字幕的原始视频以及描述文本，其中，描述文本的内容与原始视频中字幕的内容相对应；根据预设的取帧间隔时间截取原始视频中的字幕区域得到字幕区域图像集；将字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；将OCR识别结果与描述文本每个段落通过公共子串算法进行匹配，确定出OCR识别结果在每个段落的首句和尾句；根据每个段落的首句和尾句分别对应的时间戳确定描述文本各个段落在原始视频中的持续时间。可以看出，本申请实施例提供的技术方案解决了由于错别字，生僻字以及视频背景干扰的存在而产生的视频字幕时间匹配问题，提高视频字幕与描述文本进行时间匹配的准确性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本申请实施例提供的一种视频字幕时间对齐方法的步骤流程图；
图2为本申请实施例提供的一种带字幕的原始视频示意图；
图3为本申请实施例提供的一种描述文本示意图；
图4为本申请实施例提供的一种包含错别字的字幕区域图像示意图；
图5为本申请可选的一种实施例提供的步骤流程图；
图6为本申请实施例提供的一种视频字幕时间对齐***的框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种视频字幕时间对齐方法进行详细介绍。
首先介绍本申请实施例所在的应用场景：给一个视频和一个描述文本，文本内容与视频中的字幕对应，但文本中有错别字，文本已经分了段，每段200字左右，目的是自动标记每一段文本在视频中的持续时间。
请参考图1，其示出了本申请实施例提供的一种视频字幕时间对齐方法的流程图，该方法可以包括以下步骤：
步骤101，获取带字幕的原始视频以及描述文本。
其中，描述文本的内容与原始视频中字幕的内容相对应。
在本申请实施例中，获取带字幕的原始视频以及描述文本如图2和图3所示，文本内容和视频的字幕对应，其中LF表示文本编辑器显示的换行符，如图4，文本中有很多错别字，如图中的“分”应该对应字幕的“峰”，由于错别字的存在现有文本匹配方法进行匹配时可能存在匹配不成功的情况。
步骤102，根据预设的取帧间隔时间截取原始视频中的字幕区域得到字幕区域图像集。
步骤103，将字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果。
其中，字幕区域图像集包括在原始视频中对应的时间戳，预设的取帧间隔时间可以是一秒。
在本申请实施例中，输入一个完整的带字幕的原始视频，每隔一秒取一帧，每帧截取字幕区域，输入OCR识别，对于OCR的输出结果，检查是否包含中文且置信度大于0.99，保存所有的历史OCR结果用于去重。
步骤104，将OCR识别结果与描述文本每个段落通过公共子串算法进行匹配，确定出OCR识别结果在每个段落的首句和尾句。
在本申请实施例中，将OCR识别的结果与当前的文本段落匹配，需要检查OCR结果是否在文本中并且确定具***置，本申请使用公共子串算法来进行匹配。
其中，公共子串算法原理如下：输入字符串A和字符串B，依次将A中的每一个字符和B中的字符进行比较，找出所有连续的子串。比如输入A＝’ACCBCDC’，B＝’ACGSBCDEF’，输出‘AC’和‘BCD’。
在本申请实施例中，将OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串，首子串用于表征第一个连续的公共子串；当首子串在目标段落中的起始字符范围内时，将首子串对应的OCR识别结果与起始字符范围内的字符进行字符比较；当字符比较得到的子串小于首句阈值时，则将当前字符比较得到的子串作为目标段落中的首句；遍历描述文本的各个段落，确定出OCR识别结果在每个段落的首句。
在一个可选的实施例中，当OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串之后，当首子串在目标段落中的结束字符范围内时，则将首子串对应的OCR识别结果的时间戳作为目标段落下一段的开始时间。
在本申请实施例中，将OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串，尾子串用于表征最后一个连续的公共子串；当尾子串在目标段落中的结束字符范围内时，将尾子串对应的OCR识别结果与结束字符范围内的字符进行字符比较；当字符比较得到的子串小于尾句阈值时，则将当前字符比较得到的子串作为目标段落中的尾句；遍历描述文本的各个段落，确定出OCR识别结果在每个段落的尾句。
在一个可选的实施例中，将OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串之后，当尾子串在目标段落中的起始字符范围内时，则将尾子串对应的OCR识别结果的时间戳作为目标段落上一段的结束时间。
步骤105，根据每个段落的首句和尾句分别对应的时间戳确定描述文本各个段落在原始视频中的持续时间。
其中，当首句对应的时间戳与尾句对应的时间戳存在重合时，将时间范围合并后的持续时间作为输出结果。
如图5，以下给出本申请可选的一种实施例提供的基于公共子串算法的视频字幕匹配方法流程，其中在公共子串算法中设置当起始字符范围与结束字符范围均为25个字符，首句阈值与尾句阈值均为4个字符：
(1)，输入一个完整的视频，每隔一秒取一帧，每帧截取字幕区域，输入OCR识别，对于OCR的输出结果，检查是否包含中文且置信度大于0.99，保存所有的历史OCR结果用于去重。
(2)，将OCR识别的结果与当前的文本段落匹配，需要检查OCR结果是否在文本中并且确定具***置。这里用公共子串算法来进行匹配，
(3)，对于公共子串算法的输出结果，只取第一个和最后一个，然后分别查找这两个公共子串在文本中的位置，如果这两个子串都不在文本的开头25个字符或者结尾25个字符范围内则认为该条OCR结果无用，丢弃之；
(4)，如果第一个子串在文本开头25个字符范围内，则认为该条OCR结果可能有用，进一步将该OCR结果与文本开头25个字符求公共子串，然后取第一个公共子串，如果它在文本开头25字符中的起始位置小于4则认为该OCR结果匹配到了该段文本的第一句；
(5)，与(4)类似地，如果最后一个子串在文本结尾25个字符范围内，则认为该条OCR结果可能有用，进一步将该OCR结果与文本结尾25个字符求公共子串，然后取最后一个公共子串，如果它的结尾距离文本的结束位置小于4则认为该OCR结果匹配到了该段文本的最后一句；
(6)，在(4)和(5)的基础上，如果匹配到文本的第一句，则记录当前时间作为开始时间，如果匹配到文本的最后一句，则读取下一段文本；如果匹配到了第二段文本的开头，则认为上一段文本已经结束，记录当前时间作为上一段文本的结束时间，同时该时间也是当前这段文本的开始时间。
(7)，对于最终的结果，再进行一个后处理过程，先把完全重复的内容合并，再把同一段文本对应的多个时间范围合并，得到最终的输出结果。
综上可以看出，本申请实现了基于公共子串算法的视频字幕时间对齐任务，该方法具有较高的鲁棒性，能够很好的处理OCR被视频背景干扰以及错别字，生僻字的情况。
请参考图6，其示出了本申请实施例提供的一种视频字幕时间对齐***200的框图。如图6所示，该***200可以包括：获取模块201、截取模块202、识别模块203、匹配模块204与确定模块205。
获取模块201，用于获取带字幕的原始视频以及描述文本，描述文本的内容与原始视频中字幕的内容相对应；
截取模块202，用于根据预设的取帧间隔时间截取原始视频中的字幕区域得到字幕区域图像集，其中，字幕区域图像集包括在原始视频中对应的时间戳；
识别模块203，用于将字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；
匹配模块204，用于将OCR识别结果与描述文本每个段落通过公共子串算法进行匹配，确定出OCR识别结果在每个段落的首句和尾句；
确定模块205，用于根据每个段落的首句和尾句分别对应的时间戳确定描述文本各个段落在原始视频中的持续时间。
关于视频字幕时间对齐***的具体限定可以参见上文中对于视频字幕时间对齐方法的限定，在此不再赘述。上述视频字幕时间对齐***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述视频字幕时间对齐方法的步骤。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以M种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyMchliMk)DRAM(SLDRAM)、存储器总线(RaMbus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频字幕时间对齐方法，其特征在于，所述方法包括：
获取带字幕的原始视频以及描述文本，所述描述文本的内容与所述原始视频中字幕的内容相对应；
根据预设的取帧间隔时间截取所述原始视频中的字幕区域得到字幕区域图像集，其中，所述字幕区域图像集包括在所述原始视频中对应的时间戳；
将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；
将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句和尾句；
根据所述每个段落的首句和尾句分别对应的时间戳确定所述描述文本各个段落在原始视频中的持续时间。
2.根据权利要求1所述的方法，其特征在于，将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句，包括：
将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串，所述首子串用于表征第一个连续的公共子串；
当所述首子串在所述目标段落中的起始字符范围内时，将所述首子串对应的OCR识别结果与所述起始字符范围内的字符进行字符比较；
当字符比较得到的子串小于首句阈值时，则将当前字符比较得到的子串作为所述目标段落中的首句；
遍历所述描述文本的各个段落，确定出所述OCR识别结果在每个段落的首句。
3.根据权利要求2所述的方法，其特征在于，将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的首子串之后，还包括：
当所述首子串在所述目标段落中的结束字符范围内时，则将所述首子串对应的OCR识别结果的时间戳作为目标段落下一段的开始时间。
4.根据权利要求1所述的方法，其特征在于，将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的尾句，包括：
将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串，所述尾子串用于表征最后一个连续的公共子串；
当所述尾子串在所述目标段落中的结束字符范围内时，将所述尾子串对应的OCR识别结果与所述结束字符范围内的字符进行字符比较；
当字符比较得到的子串小于尾句阈值时，则将当前字符比较得到的子串作为所述目标段落中的尾句；
遍历所述描述文本的各个段落，确定出所述OCR识别结果在每个段落的尾句。
5.根据权利要求4所述的方法，其特征在于，将所述OCR识别结果与目标段落进行字符比较，找出所有连续的公共子串，选取其中的尾子串之后，还包括：
当所述尾子串在所述目标段落中的起始字符范围内时，则将所述尾子串对应的OCR识别结果的时间戳作为目标段落上一段的结束时间。
6.根据权利要求1所述的方法，其特征在于，将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果，包括：
对所述OCR识别结果进行检查，将包含中文且置信度大于预设阈值的OCR识别结果进行匹配并进行保存。
7.根据权利要求1所述的方法，其特征在于，根据所述描述文本的首句和尾句分别对应的时间戳确定所述描述文本在原始视频中对应的持续时间，还包括：
当首句对应的时间戳与尾句对应的时间戳存在重合时，将时间范围合并后的持续时间作为输出结果。
8.根据权利要求1所述的方法，其特征在于，所述描述文本中包括错别字和/或生僻字。
9.一种视频字幕时间对齐***，其特征在于，所述***包括：
获取模块，用于获取带字幕的原始视频以及描述文本，所述描述文本的内容与所述原始视频中字幕的内容相对应；
截取模块，用于根据预设的取帧间隔时间截取所述原始视频中的字幕区域得到字幕区域图像集，其中，所述字幕区域图像集包括在所述原始视频中对应的时间戳；
识别模块，用于将所述字幕区域图像集输入到OCR识别模型进行OCR识别得到带有时间戳的OCR识别结果；
匹配模块，用于将所述OCR识别结果与所述描述文本每个段落通过公共子串算法进行匹配，确定出所述OCR识别结果在每个段落的首句和尾句；
确定模块，用于根据所述每个段落的首句和尾句分别对应的时间戳确定所述描述文本各个段落在原始视频中的持续时间。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一所述的视频字幕时间对齐方法。
CN202111470116.8A 2021-12-03 2021-12-03 一种视频字幕时间对齐方法、***及存储介质 Active CN114143613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111470116.8A CN114143613B (zh) 2021-12-03 2021-12-03 一种视频字幕时间对齐方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111470116.8A CN114143613B (zh) 2021-12-03 2021-12-03 一种视频字幕时间对齐方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN114143613A CN114143613A (zh) 2022-03-04
CN114143613B true CN114143613B (zh) 2023-07-21

Family

ID=80387606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111470116.8A Active CN114143613B (zh) 2021-12-03 2021-12-03 一种视频字幕时间对齐方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN114143613B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833638A (zh) * 2012-07-26 2012-12-19 北京数视宇通技术有限公司 基于字幕信息的视频自动切分及标注方法及***
CN104980790A (zh) * 2015-06-30 2015-10-14 北京奇艺世纪科技有限公司 语音字幕的生成和装置、播放方法和装置
CN104978961A (zh) * 2015-05-25 2015-10-14 腾讯科技（深圳）有限公司 一种音频处理方法、装置及终端
CN108268539A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于文本分析的视频匹配***
CN108683924A (zh) * 2018-05-30 2018-10-19 北京奇艺世纪科技有限公司 一种视频处理的方法和装置
CN109803173A (zh) * 2017-11-16 2019-05-24 腾讯科技（深圳）有限公司 一种视频转码方法、装置及存储设备
CN113052169A (zh) * 2021-03-15 2021-06-29 北京小米移动软件有限公司 视频字幕识别方法、装置、介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833638A (zh) * 2012-07-26 2012-12-19 北京数视宇通技术有限公司 基于字幕信息的视频自动切分及标注方法及***
CN104978961A (zh) * 2015-05-25 2015-10-14 腾讯科技（深圳）有限公司 一种音频处理方法、装置及终端
CN104980790A (zh) * 2015-06-30 2015-10-14 北京奇艺世纪科技有限公司 语音字幕的生成和装置、播放方法和装置
CN108268539A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于文本分析的视频匹配***
CN109803173A (zh) * 2017-11-16 2019-05-24 腾讯科技（深圳）有限公司 一种视频转码方法、装置及存储设备
CN108683924A (zh) * 2018-05-30 2018-10-19 北京奇艺世纪科技有限公司 一种视频处理的方法和装置
CN113052169A (zh) * 2021-03-15 2021-06-29 北京小米移动软件有限公司 视频字幕识别方法、装置、介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Text Detection, Tracking and Recognition in Video: A Comprehensive Survey;Xu-Cheng Yin，Ze-Yu Zuo.et.al.;《 IEEE Transactions on Image Processing》;2752 - 2773 *
图像及视频文字检测提取算法;李娟;《中国优秀硕士论文全文数据库电子期刊》;全文 *

Also Published As

Publication number Publication date
CN114143613A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN108769731B (zh) 一种检测视频中目标视频片段的方法、装置及电子设备
CN101821734B (zh) 时基媒体之间的匹配的检测和分类
US20220262119A1 (en) Method, apparatus and device for automatically generating shooting highlights of soccer match, and computer readable storage medium
CN109756760B (zh) 视频标签的生成方法、装置及服务器
CN109766072B (zh) 信息校验输入方法、装置、计算机设备和存储介质
CN113052169A (zh) 视频字幕识别方法、装置、介质及电子设备
EP3745727A1 (en) Method and device for data processing
JP2013069015A (ja) 情報処理装置及び情報処理プログラム
CN111368061B (zh) 短文本过滤方法、装置、介质及计算机设备
CN112995749A (zh) 视频字幕的处理方法、装置、设备和存储介质
CN111914926B (zh) 基于滑窗的视频抄袭检测方法、装置、设备和介质
CN111858977B (zh) 票据信息采集方法、装置、计算机设备和存储介质
CN109919017B (zh) 人脸识别优化方法、装置、计算机设备和存储介质
CN109656474B (zh) 数据存储方法、装置、计算机设备和存储介质
CN114143613B (zh) 一种视频字幕时间对齐方法、***及存储介质
CN113297499A (zh) 一种信息推荐***、方法、计算机设备及存储介质
KR20170063077A (ko) 미디어 콘텐츠 식별 방법
KR20080046490A (ko) 몽타주 얼굴 영상을 이용한 얼굴 인식 방법 및 그 장치
CN114187556B (zh) 一种基于画面特征的高清视频智能分割方法
CN111414908A (zh) 一种视频中字幕字符的识别方法及装置
CN109657210B (zh) 基于语义解析的文本准确率计算方法、装置、计算机设备
CN109525890B (zh) 一种基于字幕识别的mv字幕移植方法及装置
CN114222193B (zh) 一种视频字幕时间对齐模型训练方法及***
CN110719520A (zh) 一种视频信息提取方法、***及装置
CN109710904B (zh) 基于语义解析的文本准确率计算方法、装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A video subtitle time alignment method, system, and storage medium

Effective date of registration: 20231113

Granted publication date: 20230721

Pledgee: Shanghai Pudong Development Bank Co.,Ltd. Xuhui sub branch

Pledgor: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd.|Beijing qingmou Management Consulting Co.,Ltd.|Shanghai Yingpu Technology Co.,Ltd.

Registration number: Y2023310000727

PE01 Entry into force of the registration of the contract for pledge of patent right