CN109756684A - 一种字幕移植方法及装置 - Google Patents

Abstract

本发明涉及视频处理技术领域，特别是涉及一种字幕移植方法及装置，其中方法权项包括：将原视频进行分帧处理，并将其当前帧按预设范围进行截图；根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；将所述至少一个图形做按位或，得到目标字幕图形；将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。本发明通过将原视频和目标视频进行迭代、分帧，并逐帧进行歌词移植，实现了目标视频中歌词文本与原视频歌词文本的绝对同步，实现了逐字歌词字幕的移植。

Description

一种字幕移植方法及装置

技术领域

本发明涉及视频处理技术领域，特别是涉及一种字幕移植方法及装置。

背景技术

现有技术中，在无逐字歌词文本的情况下，无法将原MV中的字幕歌词提取出来并移植到其它MV或者视频中。

发明内容

为解决现有技术中的问题，本发明实施例提供一种字幕移植方法及装置，通过将原视频和目标视频进行迭代，并逐帧进行歌词移植，以实现逐字歌词字幕的移植。

为达到上述目的，本发明一方面提供一种字幕移植方法，包括：

将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

将所述至少一个图形做按位或，得到目标字幕图形；

将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

可选的，在将所述原视频当前帧按预设范围进行截图之前，包括：迭代所述原视频和目标视频；

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，包括：返回迭代。

可选的，所述根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜，包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

可选的，所述根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜，包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

可选的，所述分别将至少一种颜色的掩膜与所述原视频当前帧做按位与，包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。

另一方面，本发明提供一种字幕移植装置，包括：

截图单元，用于将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

颜色提取单元，用于根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

颜色组合单元，用于将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

字幕生成单元，用于将所述至少一个图形做按位或，得到目标字幕图形；

字幕移植单元，用于将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

可选的，包括迭代单元，用于在所述将所述原视频当前帧按预设范围进行截图之前，迭代所述原视频和目标视频；以及，

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，返回迭代。

可选的，所述颜色提取单元包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

可选的，所述颜色提取单元包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

可选的，所述颜色组合单元包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。

上述技术方案具有如下有益效果：

本发明通过将原视频和目标视频进行迭代、分帧，并逐帧进行歌词移植，实现了目标视频中歌词文本与原视频歌词文本的绝对同步，实现了逐字歌词字幕的移植。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一，一种字幕移植方法的流程示意图；

图2是现有技术中广告投放时进行人群匹配的示意图；

图3是本发明实施例的一种广告投放方法的流程示意图；

图4是本发明实施例的语义广告前端页面示意图；

图5是本发明实施例的语义分析广告***逻辑示意图；

图6是本发明实施例的一种广告投放***的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图对本发明进行进一步说明。

实施例一

图1是本实施例一种字幕移植方法的流程示意图，如图所示，包括：

步骤101，将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

字幕一般都是在视频的下部，位置基本固定，所以截取字幕所在范围的图即可。

本实施例优选的，同时对目标视频进行分帧处理，分帧后的原视频和目标视频，每一帧都可以一一对应起来。即，本实施例是逐帧进行字幕移植。

步骤102，根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

HSV(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)，这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。

一般歌曲字幕颜色为白边内嵌字体颜色，字体基本的色调基本为蓝色、绿色和红色区间，所以，本实施例优选的，根据HSV提供的颜色分量范围来提取白蓝绿红这四个色值即可提取到所有字幕颜色。即，预设颜色包括白、蓝、绿、红四种颜色。但提取到的颜色中，可能只有2种或3种颜色，并非与预设的颜色种类相同。

步骤103，将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

得到每个颜色的掩膜后都与原视频做按位与，得到该颜色对应的图形。

本实施例优选地，这里所述的图形是指原视频与掩膜的交集，各个颜色对应的图形的大小比例一致，不会出现白色对应的图形和绿色对应的图形比例不一致的问题。

步骤104，将所述至少一个图形做按位或，得到目标字幕图形；

在一个可选的实施方式中，得到目标字幕图形之后，还可以删除不连续且不规则的图形删除：比如，将其设置为黑色像素点。

本实施例优选的，若仅有一个图形，该步骤104可以省略。但本实施例优选的，至少有2种颜色，得到至少2个图形，将该至少2个图形做按位或，得到目标字幕图形。即，取该至少2个图形的并集。

步骤105，将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

原视频与目标视频的尺寸可能不同，这里要将目标字幕图形调整至与目标视频帧的大小一致再进行贴入。

可选的，在将所述原视频当前帧按预设范围进行截图之前，包括：迭代所述原视频和目标视频；

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，包括：返回迭代。

即，将原视频与目标视频都进行分帧和迭代，每个帧进行字幕移植完成之后，自动进入下一帧。

本实施例优选的，需要将每一帧与上一帧进行关联去误差。

可选的，步骤102包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

如上所述，本实施例可选的，所述预设颜色为白、蓝、绿、红四种颜色。

可选的，步骤102包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

可见，如果不存在该范围内的像素点，则全部记为0。若全为0，则不再对该颜色进行后续操作。

可选的，步骤103包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。

实施例二

图2是本实施例一种字幕移植装置的结构框图，如图所示，包括：

截图单元201，用于将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

字幕一般都是在视频的下部，位置基本固定，所以截取字幕所在范围的图即可。

本实施例优选的，同时对目标视频进行分帧处理，分帧后的原视频和目标视频，每一帧都可以一一对应起来。即，本实施例是逐帧进行字幕移植。

颜色提取单元202，用于根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

HSV(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)，这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。

一般歌曲字幕颜色为白边内嵌字体颜色，字体基本的色调基本为蓝色、绿色和红色区间，所以，本实施例优选的，根据HSV提供的颜色分量范围来提取白蓝绿红这四个色值即可提取到所有字幕颜色。即，预设颜色包括白、蓝、绿、红四种颜色。但提取到的颜色中，可能只有2种或3种颜色，并非与预设的颜色种类相同。

颜色组合单元203，用于将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

得到每个颜色的掩膜后都与原视频做按位与，得到该颜色对应的图形。

本实施例优选地，这里所述的图形是指原视频与掩膜的交集，各个颜色对应的图形的大小比例一致，不会出现白色对应的图形和绿色对应的图形比例不一致的问题。

字幕生成单元204，用于将所述至少一个图形做按位或，得到目标字幕图形；

在一个可选的实施方式中，得到目标字幕图形之后，还可以删除不连续且不规则的图形删除：比如，将其设置为黑色像素点。

本实施例优选的，若仅有一个图形，该字幕生成单元204可以省略。但本实施例优选的，至少有2种颜色，得到至少2个图形，将该至少2个图形做按位或，得到目标字幕图形。即，取该至少2个图形的并集。

字幕移植单元205，用于将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

原视频与目标视频的尺寸可能不同，这里要将目标字幕图形调整至与目标视频帧的大小一致再进行贴入。

可选的，包括迭代单元，用于在所述将所述原视频当前帧按预设范围进行截图之前，迭代所述原视频和目标视频；以及，

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，返回迭代。

即，将原视频与目标视频都进行分帧和迭代，每个帧进行字幕移植完成之后，自动进入下一帧。

本实施例优选的，需要将每一帧与上一帧进行关联去误差。

可选的，所述颜色提取单元202包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

如上所述，本实施例可选的，所述预设颜色为白、蓝、绿、红四种颜色。

可选的，所述颜色提取单元202包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

可见，如果不存在该范围内的像素点，则全部记为0。若全为0，则不再对该颜色进行后续操作。

可选的，所述颜色组合单元203包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。

以下结合一具体实例，进一步对本发明进行说明。

实施例三

图3是本实施例一种字幕移植方法的流程示意图，如图示，包括：

步骤301，迭代原视频以及目标视频的每一帧。

首先迭代原视频以及需要移植的目标视频的每一帧，因各个MV字幕位置基本固定，所以截取原MV字幕范围来减小识别的误差；

步骤302，截取当前帧的字幕图片；

如图5所示，为提取前的字幕示意图；可见，图5示出了截取的范围。

本实施例截取的图片两点坐标为(0,1.45)(长,宽-20px)得到基本只有字幕的部分。

步骤303，提取字幕；

之后利用opencv提取字幕颜色。

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库。

一般歌曲字幕颜色为白边内嵌字体颜色字体基本的色调基本为蓝色、绿色和红色区间，所以只需根据HSV提供的颜色分量范围来提取白蓝绿红这四个色值即可提取到所有字幕颜色，根据图4所示将六角锥体换算成表1对应的数值。

表1

可确定白蓝绿红四种颜色的取值范围，根据字幕颜色来逐步缩小范围最后确定的字幕中白色HSV范围值为(0，0，255)-(180，30，255)蓝色HSV范围值为(119，43，150)-(120，255，255)绿色HSV范围值(50，43，46)-(60，255，255)红色H取值因为在六角锥中从156度逆向到10度所以红色取值范围为(165，43，200)-(170，255，255)和(0，43，200)-(5，255，255)两种范围。确定取值范围后按照此范围依次调用opencv中的inRange方法提取相应的颜色的掩膜(在此范围的像素点为1否则为0)，提取后分别调用opencv中bitwise_and把原图与掩膜进行按位与操作(像素点1的在所述原视频当前帧中保留，为0的置为黑色像素点)，得到的所有提取出的字幕图形调用bitwise_or合成在一起，即可提取字幕部分。

如图5所示，为提取之前的字幕；图6为提取后的字幕。

步骤304，将提取的字幕贴到目标视频相应的帧中。

将提取后的图片按照截取字幕比例贴到目标视频的相应帧字幕部分，并把提取后的图片中黑色像素点用新视频帧的像素点代替，即可将字幕移植到目标视频中。

之前MV字幕添加或者字幕迁移都是基于逐字并标注时间歌词文本文件lrc或者krc，如果没有这种逐字歌词文件的话字幕将不能正确的添加或者移植，此方法在没有歌词文件的前提下可以正确的将MV视频中的歌词准确的截取并贴到新MV中，可以方便的进行无逐字歌词MV的更新和转换。

步骤305，返回迭代，进入下一帧的移植。

上述技术方案具有如下有益效果：

本发明通过将原视频和目标视频进行迭代、分帧，并逐帧进行歌词移植，实现了目标视频中歌词文本与原视频歌词文本的绝对同步，实现了逐字歌词文本的移植。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种字幕移植方法，其特征在于，包括：

将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

将所述至少一个图形做按位或，得到目标字幕图形；

将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

2.根据权利要求1所述的方法，其特征在于，在将所述原视频当前帧按预设范围进行截图之前，包括：迭代所述原视频和目标视频；

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，包括：返回迭代。

3.根据权利要求1所述的方法，其特征在于，所述根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜，包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

4.根据权利要求1所述的方法，其特征在于，所述根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜，包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

5.根据权利要求4所述的方法，其特征在于，所述分别将至少一种颜色的掩膜与所述原视频当前帧做按位与，包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。

6.一种字幕移植装置，其特征在于，包括：

截图单元，用于将原视频进行分帧处理，并将其当前帧按预设范围进行截图；

颜色提取单元，用于根据多个预设颜色的HSV范围值分别对所述截图进行颜色提取，得到至少一种颜色的掩膜；

颜色组合单元，用于将至少一种颜色的掩膜分别与所述原视频当前帧做按位与，得到至少一个图形；

字幕生成单元，用于将所述至少一个图形做按位或，得到目标字幕图形；

字幕移植单元，用于将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中。

7.根据权利要求6所述的装置，其特征在于，包括迭代单元，用于在所述将所述原视频当前帧按预设范围进行截图之前，迭代所述原视频和目标视频；以及，

在所述将所述目标字幕图形贴入与所述原视频当前帧对应的目标视频帧中之后，返回迭代。

8.根据权利要求6所述的装置，其特征在于，所述颜色提取单元包括：

按任意排列顺序，依次分别对所述预设颜色进行提取。

9.根据权利要求6所述的装置，其特征在于，所述颜色提取单元包括：

在根据任一颜色的HSV范围值分别对所述截图进行颜色提取时，范围值在该任一颜色的HSV范围内时，将像素点记为1，否则记为0。

10.根据权利要求9所述的装置，其特征在于，所述颜色组合单元包括：

将所述记为1的像素点在所述原视频当前帧中保留，记为0的像素点设为黑色像素点。