CN107277645A - 一种字幕内容的纠错方法和装置 - Google Patents

一种字幕内容的纠错方法和装置 Download PDF

Info

Publication number
CN107277645A
CN107277645A CN201710624479.XA CN201710624479A CN107277645A CN 107277645 A CN107277645 A CN 107277645A CN 201710624479 A CN201710624479 A CN 201710624479A CN 107277645 A CN107277645 A CN 107277645A
Authority
CN
China
Prior art keywords
text
text message
error correction
audio
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710624479.XA
Other languages
English (en)
Inventor
王金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201710624479.XA priority Critical patent/CN107277645A/zh
Publication of CN107277645A publication Critical patent/CN107277645A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

本发明实施例公开了一种字幕内容的纠错方法和装置,所述方法包括:提取视频文件中目标字幕条对应的第一文本信息;识别所述目标字幕条的音频信息得到对应的第二文本信息;将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。实现了对字幕内容的智能纠错,解决人工纠错效率低下以及投入成本高的问题。

Description

一种字幕内容的纠错方法和装置
技术领域
本发明实施例涉及多媒体技术,尤其涉及一种字幕内容的纠错方法和装置。
背景技术
通常在音视频的字幕制作时,一般是一边看视频或者边听音频,一边录入字幕文本,而录好的字幕文本内容是否与视频中的音频内容相符或对应,影响用户观看视频或收听音频的体验。
现有技术中通常是人工去检查,反复核对去发现问题。人工纠错带来的结果是效率地下,投入成本高。
发明内容
本发明实施例提供一种字幕内容的纠错方法和装置,实现了对字幕内容的智能纠错,解决人工纠错效率低下以及投入成本高的问题。
第一方面,本发明实施例提供了一种字幕内容的纠错方法,所述方法包括:
提取视频文件中目标字幕条对应的第一文本信息;
识别所述目标字幕条的音频信息得到对应的第二文本信息;
将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
进一步的,所述提取视频文件中目标字幕条的第一文本信息包括:
判断当前图像帧是否有字幕,若是,则确定所述字幕条的位置以及所述字幕条的起始帧和终止帧;
提取所述字幕条的第一文本信息。
进一步的,所述识别所述目标字幕条的音频信息对应的第二文本信息包括:
根据所述起始帧和所述终止帧确定时间间隔;
根据所述时间间隔解析和切割视频中的音频信息;
将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
进一步的,所述将所述第一文本信息和所述第二文本信息通过文本比对进行纠错,输出纠错结果包括:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;
记录所述第二文本中与所述第一文本不同的字或词语;
将所述字或词语作为纠错结果进行输出。
进一步的,所述预设文本库存储在与语音识别模块相连的服务器中。
第二方面,本发明实施例提供了一种字幕内容的纠错装置,所述装置包括:
信息提取模块,用于提取视频文件中目标字幕条对应的第一文本信息;
信息识别模块,识别所述目标字幕条的音频信息得到对应的第二文本信息;
信息比对模块,用于将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
进一步的,所述信息提取模块具体用于:
判断当前图像帧是否有字幕,若是,则确定所述字幕条的位置以及所述字幕条的起始帧和终止帧;
提取所述字幕条的第一文本信息。
进一步的,所述信息识别模块具体用于:
根据所述起始帧和所述终止帧确定时间间隔;
根据所述时间间隔解析和切割视频中的音频信息;
将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
进一步的,所述信息比对模块具体用于:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;
记录所述第二文本中与所述第一文本不同的字或词语;
将所述字或词语作为纠错结果进行输出。
进一步的,所述预设文本库存储在与语音识别模块相连的服务器中。
本发明实施例中,提取视频文件中目标字幕条对应的第一文本信息;识别所述目标字幕条的音频信息得到对应的第二文本信息;将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。实现了对字幕内容的智能纠错,解决人工纠错效率低下以及投入成本高的问题。
附图说明
图1是本发明实施例一中的一种字幕内容的纠错方法的流程图;
图2是本发明实施例二中的一种字幕内容的纠错方法的流程图;
图3是本发明实施例三中的一种字幕内容的纠错方法的流程图;
图4是本发明实施例四中的一种字幕内容的纠错装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种字幕内容的纠错方法的流程图,本实施例可适用于对字幕内容进行纠错的情况,该方法可以由本发明是实施例提供的一种字幕内容的纠错装置来执行,该装置可采用软件和/或硬件的方式实现。参考图1,该方法具体可以包括如下步骤:
S110、提取视频文件中目标字幕条对应的第一文本信息。
具体的,用户观看视频的过程中,需要结合视频中的字幕信息和用户听到的音频信息来欣赏视频中的画面。通常字幕条位于用户观看画面的整个屏幕的中下部,在视频播放的过程中,会出现多个字幕条,在多个字幕条中根据用户的需求确定至少一个字幕条为目标字幕条,提取视频文件中目标字幕条对应的第一文本信息。其中,第一文本信息与目标字幕条上的字幕一一对应。
可选的,利用纹理去噪方法提取目标字幕条对应的第一文本信息。具体过程如下:求存在同一条字幕的多帧图像帧亮度图像的字幕条区域的平均和图像;将平均和图像进行通过最大类间方差法进行分割,生成只有黑白两种颜色连通域的字幕区域图像;对最大类间方差法分割后的图像确定哪种颜色为文字区域;最后剔除非文字噪声。
S120、识别所述目标字幕条的音频信息得到对应的第二文本信息。
其中,对目标字幕条对应的音频信息进行语音识别,识别结果标记为第二文本信息,其中,第二文本信息与目标字幕条的音频信息相对应。
S130、将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
具体的,将第一文本信息与第二文本信息通过文本比对方法进行纠错,可选的,由于第二文本信息为对音频信息进行语音识别获得,可以将第二文本信息作为目标文本信息,将第一文本信息与目标文本信息进行比对。比对结果中,将两个文本信息中不同的部分定义为错误部分,也即,纠错结果,然后输出纠错结果。
本发明实施例中,提取视频文件中目标字幕条对应的第一文本信息;识别所述目标字幕条的音频信息得到对应的第二文本信息;将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。实现了对字幕内容的智能纠错,解决人工纠错效率低下以及投入成本高的问题。
在上述技术方案的基础上,“将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果”具体可以是:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;记录所述第二文本信息中与所述第一文本信息不同的字或词语;将所述字或词语作为纠错结果进行输出。
可选的,在对文本的具体纠错实现方式上,可以将第一文本信息和第二文本信息以字或词语为单位一一进行比对。在一个具体的例子中,词语可以是短词语或者长词语,对具体的词语长度不做具体限定。需要说明的是,词语的长度越短,比对的结果越准确。对比对不同的字或词语进行记录,将记录结果作为进错结果进行输出。
实施例二
图2为本发明实施例二提供的一种字幕内容的纠错方法的流程图,本实施例在上述实施例的基础上,对“提取视频文件中目标字幕条的第一文本信息”进行了优化。参考图2,该方法具体可以包括如下步骤:
S210、判断当前图像帧是否有字幕,若是,则执行S220,若否,则返回执行S210。
具体的,根据正在播放的视频中确定当前的图像帧,并判断当前的图像帧中行是否有字幕,如果没有字幕,则返回继续判断当前图像帧是否有字幕,直到有字幕出现。
S220、确定所述字幕条的位置以及所述字幕条的起始帧和终止帧。
具体的,确定字幕条的位置时,首先采集图像帧的亮度图像,生成纹理图,通过垂直纹理图水平投影求差分,先确定水平字幕条的上下边框,再确定水平字幕条的左右边框,从而确定字幕条的水平位置;接着确定垂直字幕条的位置,通过水平纹理图垂直投影求查分,先确定垂直字幕条左右边框,再确定垂直字幕条上下边框,最后进行字幕条去噪,确定字幕条的位置。
其中,如果出现字幕条,设当前图像帧为字幕条关键帧,则在前一个关键帧和该字幕条关键帧之间确定字幕条的起始帧,然后该字幕条关键帧的字幕条区域依次匹配后面的关键帧,如果匹配一致,则继续匹配,直到匹配不一致,则在前一个关键帧和当前关键帧确定字幕条的终止帧。
S230、提取所述字幕条的第一文本信息。
S240、识别所述目标字幕条的音频信息得到对应的第二文本信息。
S250、将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
本发明实施例中,通过判断当前图像帧中是否有字幕,若有,则确定字幕条的位置以及该字幕条的起始帧和终止帧,若没有则一直进行判断直到检测到存在字幕为止。通过字幕条的起始帧和终止帧的判断,实现了对字幕条中字幕信息的提取。
实施例三
图3为本发明实施例三提供的一种字幕内容的纠错方法的流程图,本实施例在上述实施例的基础上,对“识别所述目标字幕条的音频信息对应的第二文本信息”进行了优化。参考图3,该方法具体可以包括如下步骤:
S310、判断当前图像帧是否有字幕,若是,则执行S320,若否,则返回执行S310。
S320、确定所述字幕条的位置以及所述字幕条的起始帧和终止帧。
S330、提取所述字幕条的第一文本信息。
S340、根据所述起始帧和所述终止帧确定时间间隔。
具体的,根据起始帧和终止帧确定一个时间间隔,给时间间隔可以即为T,也即,从同一个字幕条的起始帧到终止帧的时间为T。
S350、根据所述时间间隔解析和切割视频中的音频信息。
其中,以确定的时间间隔为基准,对视频中的音频信息进行解析和分割。在一个具体的例子中,将视频以时间间隔T为基准,将视频中的音频进行分割成若干段音频信息,并对分割后的音频信息进行解析。
S360、将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
具体的,将解析和切割后的音频信息与预设文本库进行比对,可选的,预设文本库可以通过语音识别功能获得,在一个具体的例子中,可以通过调用科大讯飞语音识别的开源接口来获得。其中,预设文本库中存储有各音频内容和与其对应的文本信息的对应关系。将解析和切割后的音频信息与预设文本库进行比对,识别音频信息对应的第二文本信息。
可选的,所述预设文本库存储在与语音识别模块相连的服务器中。
其中,语音识别模块与服务器相连,预设文本库存储在该服务器中。服务器中存储有该预设文本,实现了根据用于需求对预设文本库的实时调用。
S370、将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
本发明实施例中,首选图像帧的起始帧和所述终止帧确定时间间隔,并根据所述时间间隔解析和切割视频中的音频信息,将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。实现了对音频信息对应的第二文本信息的识别。
实施例四
图4是本发明是实施例四提供的一种字幕内容的纠错装置的结构示意图,该装置适用于执行本发明实施例提供给的一种字幕内容的纠错方法。如图4所示,该装置具体可以包括:
信息提取模块410,用于提取视频文件中目标字幕条对应的第一文本信息;
信息识别模块420,识别所述目标字幕条的音频信息得到对应的第二文本信息;
信息比对模块430,用于将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
进一步的,信息提取模块410具体用于:
判断当前图像帧是否有字幕,若是,则确定所述字幕条的位置以及所述字幕条的起始帧和终止帧;
提取所述字幕条的第一文本信息。
进一步的,信息识别模块420具体用于:
根据所述起始帧和所述终止帧确定时间间隔;
根据所述时间间隔解析和切割视频中的音频信息;
将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
进一步的,信息比对模块430具体用于:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;
记录所述第二文本中与所述第一文本不同的字或词语;
将所述字或词语作为纠错结果进行输出。
进一步的,所述预设文本库存储在与语音识别模块相连的服务器中。
本发明实施例提供的字幕内容的纠错装置可执行本发明任意实施例提供的字幕内容的纠错方法,具备执行方法相应的功能模块和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种字幕内容的纠错方法,其特征在于,包括:
提取视频文件中目标字幕条对应的第一文本信息;
识别所述目标字幕条的音频信息得到对应的第二文本信息;
将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
2.根据权利要求1所述的方法,其特征在于,所述提取视频文件中目标字幕条的第一文本信息包括:
判断当前图像帧是否有字幕,若是,则确定所述字幕条的位置以及所述字幕条的起始帧和终止帧;
提取所述字幕条的第一文本信息。
3.根据权利要求2所述的方法,其特征在于,所述识别所述目标字幕条的音频信息对应的第二文本信息包括:
根据所述起始帧和所述终止帧确定时间间隔;
根据所述时间间隔解析和切割视频中的音频信息;
将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
4.根据权利要求1所述的方法,其特征在于,所述将所述第一文本信息和所述第二文本信息通过文本比对进行纠错,输出纠错结果包括:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;
记录所述第二文本中与所述第一文本不同的字或词语;
将所述字或词语作为纠错结果进行输出。
5.根据权利要求3所述的方法,其特征在于,所述预设文本库存储在与语音识别模块相连的服务器中。
6.一种字幕内容的纠错装置,其特征在于,包括:
信息提取模块,用于提取视频文件中目标字幕条对应的第一文本信息;
信息识别模块,识别所述目标字幕条的音频信息得到对应的第二文本信息;
信息比对模块,用于将所述第一文本信息与所述第二文本信息通过文本比对进行纠错,输出纠错结果。
7.根据权利要求6所述的装置,其特征在于,所述信息提取模块具体用于:
判断当前图像帧是否有字幕,若是,则确定所述字幕条的位置以及所述字幕条的起始帧和终止帧;
提取所述字幕条的第一文本信息。
8.根据权利要求7所述的装置,其特征在于,所述信息识别模块具体用于:
根据所述起始帧和所述终止帧确定时间间隔;
根据所述时间间隔解析和切割视频中的音频信息;
将解析和切割后的音频信息与预设文本库进行比对,识别所述音频信息对应的第二文本信息。
9.根据权利要求6所述的装置,其特征在于,所述信息比对模块具体用于:
将所述第一文本信息和所述第二文本信息以字或词语为单位一一进行比对;
记录所述第二文本中与所述第一文本不同的字或词语;
将所述字或词语作为纠错结果进行输出。
10.根据权利要求8所述的装置,其特征在于,所述预设文本库存储在与语音识别模块相连的服务器中。
CN201710624479.XA 2017-07-27 2017-07-27 一种字幕内容的纠错方法和装置 Pending CN107277645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710624479.XA CN107277645A (zh) 2017-07-27 2017-07-27 一种字幕内容的纠错方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710624479.XA CN107277645A (zh) 2017-07-27 2017-07-27 一种字幕内容的纠错方法和装置

Publications (1)

Publication Number Publication Date
CN107277645A true CN107277645A (zh) 2017-10-20

Family

ID=60079240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710624479.XA Pending CN107277645A (zh) 2017-07-27 2017-07-27 一种字幕内容的纠错方法和装置

Country Status (1)

Country Link
CN (1) CN107277645A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377416A (zh) * 2018-02-27 2018-08-07 维沃移动通信有限公司 一种视频播放方法及移动终端
CN108833403A (zh) * 2018-06-11 2018-11-16 颜彦 一种具有嵌入式代码移植的融媒体信息发布生成方法
CN111968649A (zh) * 2020-08-27 2020-11-20 腾讯科技(深圳)有限公司 一种字幕纠正方法、字幕显示方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448100A (zh) * 2008-12-26 2009-06-03 西安交通大学 一种快速准确的视频字幕提取方法
CN101464896A (zh) * 2009-01-23 2009-06-24 安徽科大讯飞信息科技股份有限公司 语音模糊检索方法及装置
US8544049B2 (en) * 2006-09-27 2013-09-24 Hitachi, Ltd. Contents receiving system and client
CN106529529A (zh) * 2016-10-31 2017-03-22 腾讯科技(深圳)有限公司 一种视频字幕识别方法及***
CN106604125A (zh) * 2016-12-29 2017-04-26 北京奇艺世纪科技有限公司 一种视频字幕的确定方法及装置
CN106782560A (zh) * 2017-03-06 2017-05-31 海信集团有限公司 确定目标识别文本的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8544049B2 (en) * 2006-09-27 2013-09-24 Hitachi, Ltd. Contents receiving system and client
CN101448100A (zh) * 2008-12-26 2009-06-03 西安交通大学 一种快速准确的视频字幕提取方法
CN101464896A (zh) * 2009-01-23 2009-06-24 安徽科大讯飞信息科技股份有限公司 语音模糊检索方法及装置
CN106529529A (zh) * 2016-10-31 2017-03-22 腾讯科技(深圳)有限公司 一种视频字幕识别方法及***
CN106604125A (zh) * 2016-12-29 2017-04-26 北京奇艺世纪科技有限公司 一种视频字幕的确定方法及装置
CN106782560A (zh) * 2017-03-06 2017-05-31 海信集团有限公司 确定目标识别文本的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377416A (zh) * 2018-02-27 2018-08-07 维沃移动通信有限公司 一种视频播放方法及移动终端
CN108833403A (zh) * 2018-06-11 2018-11-16 颜彦 一种具有嵌入式代码移植的融媒体信息发布生成方法
CN111968649A (zh) * 2020-08-27 2020-11-20 腾讯科技(深圳)有限公司 一种字幕纠正方法、字幕显示方法、装置、设备及介质
CN111968649B (zh) * 2020-08-27 2023-09-15 腾讯科技(深圳)有限公司 一种字幕纠正方法、字幕显示方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11190853B2 (en) Event prompting method and apparatus based on live broadcasting
CN108347646B (zh) 多媒体内容播放方法和装置
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
CN104429091B (zh) 用于识别媒体的方法和装置
CN107277645A (zh) 一种字幕内容的纠错方法和装置
CN110881115B (zh) 会议视频的拆条方法及***
CN101448100A (zh) 一种快速准确的视频字幕提取方法
CN106982344B (zh) 视频信息处理方法及装置
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN110072140A (zh) 一种视频信息提示方法、装置、设备及存储介质
CN108153882A (zh) 一种数据处理方法及装置
JP3873926B2 (ja) 字幕挿入方法、字幕挿入システム、および字幕挿入プログラム
CN109545232A (zh) 信息推送方法、信息推送装置和语音交互设备
CN109743613A (zh) 一种字幕处理方法、装置、终端及存储介质
KR102136059B1 (ko) 그래픽 객체를 이용한 자막 생성 시스템
CN106507175A (zh) 视频图像处理方法及装置
CN105657395A (zh) 一种3d视频的字幕播放方法及装置
US20200227069A1 (en) Method, device and apparatus for recognizing voice signal, and storage medium
CN113345439B (zh) 字幕生成方法、装置、电子设备和存储介质
CN113992972A (zh) 一种字幕显示方法、装置、电子设备和可读存储介质
JP2019213064A (ja) Cm区間検出装置、cm区間検出方法、及びプログラム
WO2021061511A1 (en) Obtaining artist imagery from video content using facial recognition
US10504519B1 (en) Transcription of communications
CN106658167A (zh) 一种视频互动的方法及装置
KR20190119240A (ko) 메타 데이터 제공 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020