CN111010606B - 视频处理方法和装置 - Google Patents

视频处理方法和装置 Download PDF

Info

Publication number
CN111010606B
CN111010606B CN201911275794.1A CN201911275794A CN111010606B CN 111010606 B CN111010606 B CN 111010606B CN 201911275794 A CN201911275794 A CN 201911275794A CN 111010606 B CN111010606 B CN 111010606B
Authority
CN
China
Prior art keywords
frame
index
target
segment
elimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911275794.1A
Other languages
English (en)
Other versions
CN111010606A (zh
Inventor
张文杰
李果
张玉梅
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911275794.1A priority Critical patent/CN111010606B/zh
Publication of CN111010606A publication Critical patent/CN111010606A/zh
Application granted granted Critical
Publication of CN111010606B publication Critical patent/CN111010606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了视频处理方法和装置。所述方法包括：获取待消除标志集合；在所述视频中存在含有所述标志的帧画面的情况下，在所述视频中划分与所述标志对应的帧片段；根据预设的K项第一指标，计算得到所述帧片段的消除指数；根据所述帧片段的消除指数，从全部帧片段中选取目标帧片段；对所述视频的所述目标帧片段进行目标标志的消除处理。

Description

视频处理方法和装置
技术领域
本说明书涉及视频处理技术，更具体的，涉及视频处理方法和视频处理装置。
背景技术
目前的视频节目，节目内容经常会含有不符合播出方要求的标志或者不符合法律规定的标志等，需要对视频中的这些标志进行处理，例如有可能需要对植入广告的品牌标志进行处理。
现有的标志替换技术主要以人为手动替换为主，处理效率比较低下。
发明内容
本说明书公开的实施例提供一种高效率的视频处理方案。
根据本发明公开的第一方面，提供了一种视频处理方法，包括以下步骤：
获取待消除标志集合，所述待消除标志集合中包括至少一种标志；
在所述视频中存在含有所述标志的帧画面的情况下，在所述视频中划分与所述标志对应的帧片段，所述帧片段包括含有所述标志的一个帧画面或者包括含有所述标志的多个连续的帧画面；
根据预设的K项第一指标，计算得到所述帧片段的消除指数，所述帧片段的消除指数是与消除所述帧片段中的目标标志有关的指数，所述目标标志是与所述帧片段对应的标志，所述K为整数并且K≥1；
根据所述帧片段的消除指数，从全部帧片段中选取目标帧片段；
对所述视频的所述目标帧片段进行目标标志的消除处理。
可选地，所述标志为待消除品牌的品牌标志。
可选地，当所述帧片段包括多个帧画面时，任意相邻的两个帧画面的目标区域的交并比均大于预设的阈值，所述目标区域是所述目标标志在帧画面中所占的区域。
可选地，采用下列方法任一对所述目标帧片段进行目标标志的消除处理：
对所述目标帧片段中的帧画面的目标区域进行模糊处理；
对所述目标帧片段中的帧画面的目标区域进行遮挡处理；
对所述目标帧片段中的帧画面的目标区域的图像进行替换处理；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
可选地，所述根据预设的K项第一指标，计算得到所述帧片段的消除指数，包括：
根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分；
根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数。
可选地，所述根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分，包括：
根据第k项第一指标对应的评价机制，计算得到所述帧片段的每个帧画面的第k项第一指标的得分，k为整数并且1≤k≤K；
计算得到所述帧片段的所有帧画面的第k项第一指标的得分的平均值，将所述平均值作为所述帧片段的第k项第一指标的得分。
可选地，所述根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数，包括：
在所述帧片段的K项第一指标中至少存在一项第一指标的得分小于该项第一指标对应的指标阈值的情况下，确定所述帧片段的消除指数为零；
在其它情况下，按照每项第一指标的权重，对所述帧片段的K项第一指标的得分进行加权求和得到第一和值，将所述第一和值作为所述帧片段的消除指数。
可选地，在所述视频中划分的所帧片段一共有M个，M为整数并且M≥2；
在对所述帧片段的K项第一指标的得分进行加权求和之前，对所述帧片段的每项第一指标的得分进行调整；
所述对所述帧片段的每项第一指标的得分进行调整，包括：
计算得到第一比值，所述第一比值是第m个所述帧片段的第k项第一指标的得分与第一参数的比值，所述第一参数是M个所述帧片段的第k项第一指标的得分中最大的一个得分，k为整数并且1≤k≤K；
将所述第一比值作为第m个所述帧片段的第k项第一指标的得分，m为整数并且1≤m≤M。
可选地，所述K项第一指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
所述帧片段的帧数；
所述帧画面与前一帧画面或者后一帧画面的目标区域的面积的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的中心坐标的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的图像的亮度的变换程度；
其中，所述目标区域是所述目标标志在所述帧画面中所占的区域。
可选地，在所述目标帧片段包括多个帧画面的情况下，对所述目标帧片段进行目标标志的消除处理，包括：
根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，所述帧画面的消除指数是与消除所述帧画面中的目标标志有关的指数，所述P为整数并且P≥1；
将所述目标帧片段中消除指数最高的帧画面确定为起始帧画面；
对起始帧画面进行目标标志的消除处理；
从起始帧的前一帧开始朝向所述目标帧片段的第一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的后一帧的处理结果对当前帧进行处理；
从起始帧的后一帧开始朝向所述目标帧片段的最后一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的前一帧的处理结果对当前帧进行处理。
可选地，所述根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，包括：
根据每项第二指标对应的评价机制，计算得到所述帧画面的每项第二指标的得分；
在所述帧画面的P项第二指标中存在至少一项第二指标的得分小于该项第二指标对应的指标阈值的情况下，确定所述帧画面的消除指数为零；
在其它情况下，按照每项第二指标的权重，对所述帧画面的P项第二指标的得分进行加权求和得到第二和值，将所述第二和值作为所述帧画面的消除指数。
可选地，所述目标帧片段一共包括N个帧画面，N为整数并且N≥2；
在对所述帧画面的P项第二指标的得分进行加权求和之前，对所述帧画面的每项第二指标的得分进行调整；
所述对所述帧画面的每项第二指标的得分进行调整，包括：
计算得到第二比值，所述第二比值是第n个所述帧画面的第p项第二指标的得分与第二参数的比值，所述第二参数是N个所述帧画面的第p项第二指标的得分中最大的一个得分；
将所述第二比值作为第n个所述帧画面的第p项第二指标的得分，n为整数并且1≤n≤N。
可选地，所述P项第二指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
根据本发明公开的第二方面，提供了一种视频处理装置，包括检测模块、计算模块、筛选模块、消除模块；
所述检测模块，用于获取待消除标志集合，所述待消除标志集合中包括至少一种标志；在所述视频中存在含有所述标志的帧画面的情况下，在所述视频中划分与所述标志对应的帧片段，所述帧片段包括含有所述标志的一个帧画面或者包括含有所述标志的多个连续的帧画面；
所述计算模块，用于根据预设的K项第一指标，计算得到所述帧片段的消除指数，所述帧片段的消除指数是与消除所述帧片段中的目标标志有关的指数，所述目标标志是与所述帧片段对应的标志，所述K为整数并且K≥1；
所述筛选模块，用于根据所述帧片段的消除指数，从全部帧片段中选取目标帧片段；
所述消除模块，用于对所述视频的所述目标帧片段进行目标标志的消除处理。
可选地，所述标志为待消除品牌的品牌标志。
可选地，当所述帧片段包括多个帧画面时，任意相邻的两个帧画面的目标区域的交并比均大于预设的阈值，所述目标区域是所述目标标志在帧画面中所占的区域。
可选地，所述消除模块，用于采用下列方法任一对所述目标帧片段进行目标标志的消除处理：
对所述目标帧片段中的帧画面的目标区域进行模糊处理；
对所述目标帧片段中的帧画面的目标区域进行遮挡处理；
对所述目标帧片段中的帧画面的目标区域的图像进行替换处理；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
可选地，所述计算模块，用于根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分；根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数。
可选地，所述计算模块，用于根据第k项第一指标对应的评价机制，计算得到所述帧片段的每个帧画面的第k项第一指标的得分，k为整数并且1≤k≤K；计算得到所述帧片段的所有帧画面的第k项第一指标的得分的平均值，将所述平均值作为所述帧片段的第k项第一指标的得分。
可选地，所述计算模块，用于在所述帧片段的K项第一指标中至少存在一项第一指标的得分小于该项第一指标对应的指标阈值的情况下，确定所述帧片段的消除指数为零；在其它情况下，按照每项第一指标的权重，对所述帧片段的K项第一指标的得分进行加权求和得到第一和值，将所述第一和值作为所述帧片段的消除指数。
可选地，在所述视频中划分的所帧片段一共有M个，M为整数并且M≥2；所述计算模块，用于在对所述帧片段的K项第一指标的得分进行加权求和之前，对所述帧片段的每项第一指标的得分进行调整；所述对所述帧片段的每项第一指标的得分进行调整，包括：计算得到第一比值，所述第一比值是第m个所述帧片段的第k项第一指标的得分与第一参数的比值，所述第一参数是M个所述帧片段的第k项第一指标的得分中最大的一个得分，k为整数并且1≤k≤K；将所述第一比值作为第m个所述帧片段的第k项第一指标的得分，m为整数并且1≤m≤M。
可选地，所述K项第一指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
所述帧片段的帧数；
所述帧画面与前一帧画面或者后一帧画面的目标区域的面积的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的中心坐标的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的图像的亮度的变换程度；
其中，所述目标区域是所述目标标志在所述帧画面中所占的区域。
可选地，所述消除模块，用于在所述目标帧片段包括多个帧画面的情况下，对所述目标帧片段进行目标标志的消除处理，包括：根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，所述帧画面的消除指数是与消除所述帧画面中的目标标志有关的指数，所述P为整数并且P≥1；将所述目标帧片段中消除指数最高的帧画面确定为起始帧画面；对起始帧画面进行目标标志的消除处理；从起始帧的前一帧开始朝向所述目标帧片段的第一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的后一帧的处理结果对当前帧进行处理；从起始帧的后一帧开始朝向所述目标帧片段的最后一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的前一帧的处理结果对当前帧进行处理。
可选地，所述消除模块，用于根据每项第二指标对应的评价机制，计算得到所述帧画面的每项第二指标的得分；在所述帧画面的P项第二指标中存在至少一项第二指标的得分小于该项第二指标对应的指标阈值的情况下，确定所述帧画面的消除指数为零；在其它情况下，按照每项第二指标的权重，对所述帧画面的P项第二指标的得分进行加权求和得到第二和值，将所述第二和值作为所述帧画面的消除指数。
可选地，所述目标帧片段一共包括N个帧画面，N为整数并且N≥2；所述消除模块，用于在对所述帧画面的P项第二指标的得分进行加权求和之前，对所述帧画面的每项第二指标的得分进行调整；所述对所述帧画面的每项第二指标的得分进行调整，包括：计算得到第二比值，所述第二比值是第n个所述帧画面的第p项第二指标的得分与第二参数的比值，所述第二参数是N个所述帧画面的第p项第二指标的得分中最大的一个得分；将所述第二比值作为第n个所述帧画面的第p项第二指标的得分，n为整数并且1≤n≤N。
可选地，所述P项第二指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
根据本发明公开的第三方面，提供了一种视频处理装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述计算机指令被所述处理器运行时执行前述任一项所述的视频处理方法。
根据本发明公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行前述任一项所述的视频处理方法。
本发明实施例提供的视频处理方法，利用计算机技术对待消除标志进行消除，节省了人力成本并且提高了处理效率。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的实施例的特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书实施例的原理。
图1是本说明书一个实施例提供的视频处理***的框图；
图2是本说明书一个实施例提供的视频处理方法的流程示意图；
图3是本说明书一个实施例提供的帧画面的示意图；
图4是本说明书一个实施例提供的视频处理装置的框图；
图5是本说明书一个实施例提供的视频处理装置的框图。
具体实施方式
现在将参照附图来详细描述本说明书的各种示例性实施例。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本说明书实施例及其应用或使用的任何限制。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<视频处理装置>
图1是本说明书一个实施例提供的视频处理***的框图。如图1所示，该视频处理***包括提供视频处理的视频处理装置101和视频库103。视频处理装置101和视频库103之间可以通过网络102通信连接。
视频处理装置101，可以是用于提供视频处理的服务器，该服务器的配置可以包括但不限于：处理器1011、存储器1012、接口装置1013、通信装置1014、输入装置1015、输出装置1016。处理器1011可以包括但不限于中央处理器CPU、微处理器MCU等。处理器1011还可以包括图像处理器GPU(Graphics Processing Unit)等。存储器1012可以包括但不限于ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1013可以包括但不限于USB接口、串行接口、并行接口等。通信装置1014例如能够进行有线通信或无线通信，具体的可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。输入装置1015可以包括但不限于键盘、鼠标等。输出装置1016可以包括但不限于显示屏等。该服务器的配置也可以仅包括上述装置中的部分装置。
视频处理装置101，也可以是用于提供视频处理的终端设备，该终端设备例如可以是安装有智能操作***(例如安卓、IOS、Windows、Linux等***)的电子设备，包括但不限于便携式电脑、台式计算机、手机、平板电脑等。终端设备的配置包括但不限于：处理器、存储器、接口装置、通信装置、输入装置、输出装置、扬声器、麦克风、以及相机。处理器可以包括但不限于中央处理器CPU、微处理器MCU等。处理器还可以包括图像处理器GPU等。存储器可以包括但不限于ROM、RAM、诸如硬盘的非易失性存储器等。接口装置可以包括但不限于USB接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。输入装置可以包括但不限于键盘、鼠标、触摸屏等。输出装置可以包括但不限于显示屏等，显示屏例如可以是液晶屏、触摸屏等。该终端的配置也可以仅包括上述装置中的部分装置。
应用于本说明书的一个实施例中，视频处理装置101用于对视频库103中的视频进行处理。图1所示的视频处理***仅仅是说明性的并且绝不意味着对本说明书实施例、其应用或使用的任何限制。本领域技术人员应当理解，尽管前面描述了视频处理装置101的多个装置，但是，本说明书实施例可以仅涉及其中的部分装置。本领域技术人员可以根据本说明书实施例所公开的方案设计指令，指令如何控制处理器进行操作，是本领域公知技术，故在此不再详细描述。
<视频处理方法>
图2是本说明书的一个实施例提供的视频处理方法的示意图。该实施例提供的视频处理方法，通过计算机技术实现，可以由图1所述的视频处理装置实施。
该实施例提供的视频处理方法，包括步骤S202-S210。
S202、获取待消除标志集合。
该待消除标志集合中包括一种或多种需要消除的标志，这些标志可以是不符合视频播出方要求的标志、不符合法律法规的标志等，例如可以是待消除品牌的品牌标志(例如商标)等。
在一个实施例中，待消除标志集合中包括标志A，标志B，标志C，以及标志D。
S204、在视频中存在含有所述标志的帧画面的情况下，在该视频中划分与所述标志对应的帧片段。
视频是由连续的多帧图像组成，一个帧图像也就是一个帧画面。在视频中，划分出的帧片段包括含有所述标志的一个帧画面或者包括含有所述标志的多个连续的帧画面。也就是说，本发明实施例中“帧片段”有可能是由单帧构成的帧片段，也有可能是由多个连续的帧构成的帧片段。
在一个实施例中，可以通过深度学习算法等方法对视频进行逐帧检测，确定视频的每个帧画面中是否含有待消除标志集合中的标志并且确定标志在帧画面中所占的区域。本发明实施例不限定于此，也可以采用其他方法对视频进行逐帧检测。
以图3为例做说明，图3示出了从视频的第j帧到第j+4帧的连续5帧的检测结果，其中j为整数并且j≥1。在第j帧的帧画面中检测出了标志A，标志A在第j帧的帧画面中所占的区域为区域A1。在第j+1帧的帧画面中检测出了标志B和标志C，标志B在第j+1帧的帧画面中所占的区域为区域B1，标志C在第j+1帧的帧画面中所占的区域为区域C1。在第j+2帧的帧画面中检测出了标志B和标志C，标志B在第j+2帧的帧画面中所占的区域为区域B2，标志C在第j+2帧的帧画面中所占的区域为区域C2。在第j+3帧的帧画面中检测出了标志B、标志C和标志D，标志B在第j+3帧的帧画面中所占的区域为区域B3，标志C在第j+3帧的帧画面中所占的区域为区域C3，标志D在第j+3帧的帧画面中所占的区域为区域D1。在第j+4帧的帧画面中，没有检测出待消除标志集合中的标志。
对于任一个标志，在视频中存在含有该标志的帧画面的情况下，在该视频中划分与该标志对应的帧片段。例如：如果视频中存在含有标志A的帧画面，存在含有标志B的帧画面，存在含有标志C的帧画面，但是不存在含有标志D的帧画面，则分别为标志A划分与标志A对应的帧片段，为标志B划分与标志B对应的帧片段，为标志C划分与标志C对应的帧片段。
下面以图3为例，假设j＝1，第j帧是视频的第1帧，可以采用以下两种方式划分与标志对应的帧片段。
<第一种方式>
如果前后相邻两帧都含有某个标志，则这两帧被划分至与该标志对应的同一个帧片段。
根据图3所示，按照第一种方式得到4个帧片段：第j帧本身构成一个与标志A对应的帧片段。第j+1帧、第j+2帧、第j+3帧一起构成一个与标志B对应的帧片段。第j+1帧、第j+2帧、第j+3帧一起构成一个与标志C对应的帧片段。第j+3帧本身构成一个与标志D对应的帧片段。
<第二种方式>
如果前后相邻两帧都含有某个标志并且该标志在这两帧的帧画面中所占的区域的交并比大于预设的阈值，则这两帧被划分至与该标志对应的同一个帧片段。如果前后相邻两帧都含有某个标志并且该标志在这两帧的帧画面中所占的区域的交并比小于等于预设的阈值，则前一帧划分至与该标志对应的一个帧片段，后一帧划分至与该标志对应的另一个帧片段。两个区域的交并比是这两个区域的交集和这两个区域的并集的比值，交并比越大，说明这两个区域的重合度越高，交并比越低，说明这两个区域的重合度越低。
根据图3所示，按照第二种方式得到5个帧片段：第j帧本身构成一个与标志A对应的帧片段。区域B1和区域B2的交并比大于预设的阈值，区域B2和区域B3的交并比大于预设的阈值，第j+1帧、第j+2帧、第j+3帧这连续的三帧一起构成一个与标志B对应的帧片段。区域C1和区域C2的交并比大于预设的阈值，区域C2和区域C3的交并比小于等于预设的阈值，第j+1帧和j+2帧一起构成一个与标志C对应的帧片段，第j+2帧和第j+3帧一起构成另一个与标志C对应的帧片段。第j+3帧本身构成一个与标志D对应的帧片段。
在本发明实施例中，将帧片段对应的标志称之为该帧片段的目标标志，将目标标志在帧画面中所占的区域称之为目标区域。按照第二种方式得到的帧片段有：
帧片段1(第j帧)：目标标志为标志A，目标区域包括区域A1。
帧片段2(第j+1帧、第j+2帧、第j+3帧)：目标标志为标志B，目标区域包括区域B1、区域B2、区域B3。
帧片段3(第j+1帧、j+2帧)：目标标志为标志C，目标区域包括区域C1、区域C2。
帧片段4(第j+2帧、j+3帧)：目标标志为标志C，目标区域包括区域C2、区域C3。
帧片段5(第j+3帧)：目标标志为标志D，目标区域包括区域D1。
按照第二种方式得到的帧片段，当帧片段包括多个帧画面时，任意相邻的两个帧画面的目标区域的交并比均大于预设的阈值。
S206、根据预设的K项第一指标，计算得到帧片段的消除指数。
帧片段的消除指数是与消除该帧片段中的目标标志有关的指数，也就是说，帧片段的消除指数与该帧片段中可能含有的其它标志无关。K为整数并且K≥1。
在一个实施例中，K项第一指标至少包括从下列11个指标中选取的一个指标：
(1)目标区域的大小。目标区域越大，说明目标标志在帧画面中越明显，更应该被消除。
(2)目标区域的中心坐标。目标区域的中心坐标越靠近帧画面的中心，说明目标标志在帧画面中越明显，更应该被消除。
(3)目标区域的形状与矩形的近似度。在本发明实施例中，可以通过对目标区域进行消除处理实现对目标标志的消除，目标区域的形状越近似于矩形，目标区域越容易被消除，也就更应该被消除。
(4)目标标志被前景遮挡的程度。目标标志被前景遮挡的越少，说明目标标志在帧画面中越明显，更应该被消除。
(5)目标区域的图像的模糊程度。目标区域的图像的模糊程度越低，即目标区域的图像的清晰程度越高，说明目标标志在帧画面中越明显，更应该被消除。
(6)目标区域的图像的颜色对比度。目标区域的图像的颜色对比度越高，说明目标标志在帧画面中越明显，更应该被消除。
(7)目标区域的图像的亮度。目标区域的图像的亮度和帧画面的平均亮度的差异越大，说明目标标志在帧画面中越明显，更应该被消除。
(8)帧片段的帧数。帧片段的帧数越多，说明更应该消除该帧片段中的目标标志。
(9)当前帧画面与前一帧画面或后一帧画面的目标区域的面积的变化程度。在本发明实施例中，可以利用前一帧画面或后一帧画面的消除处理结果对当前帧进行消除处理，当前帧画面与前一帧画面或后一帧画面的目标区域的面积的变化程度越小，对当前帧的消除处理会越容易，运算量会越小，当前帧更应该被消除，更应该对当前帧进行消除处理。
(10)当前帧画面与前一帧画面或后一帧画面的目标区域的中心坐标的变化程度。在本发明实施例中，可以利用前一帧画面或后一帧画面的消除处理结果对当前帧进行消除处理，当前帧画面与前一帧画面或后一帧画面的目标区域的中心坐标的变化程度越小，对当前帧的消除处理会越容易，运算量会越小，更应该对当前帧进行消除处理。
(11)当前帧画面与前一帧画面或后一帧画面的目标区域的图像的亮度的变化程度。在本发明实施例中，可以利用前一帧画面或后一帧画面的消除处理结果对当前帧进行消除处理，当前帧画面与前一帧画面或后一帧画面的目标区域的图像的亮度的变化程度越小，对当前帧的消除处理会越容易，运算量会越小，更应该对当前帧进行消除处理。
假设经过步骤S204后，在视频中划分出的帧片段一共有M个，第m个帧片段中的帧数为N，即第m个帧片段中一共有N个帧画面，其中，M为整数并且M≥2，m为整数并且1≤m≤M，N为整数并且N≥1。
下面以第m个帧片段为例，详细说明如何根据预设的K项第一指标，计算得到第m个帧片段的消除指数，包括步骤S302和S304。
S302、根据每项第一指标对应的评价机制，计算得到第m个帧片段的每项第一指标的得分。
在一个具体的例子中，首先，根据第k项第一指标对应的评价机制，计算得到第m个帧片段的每个帧画面的第k项第一指标的得分，其中，k为整数并且1≤k≤K。然后，计算得到第m个帧片段的全部N个帧画面的第k项第一指标的得分的平均值，将该平均值作为第m个帧片段的第k项第一指标的得分。具体的，按照公式(1)计算得到第m个帧片段的第k项第一指标的得分。
Figure BDA0002315515960000151
在公式(1)中，m表征第m个帧片段，m为整数并且1≤m≤M。i表征第m个帧片段中的第i个帧画面，i为整数并且1≤i≤N。k表征第k项第一指标，k为整数并且1≤k≤K。
Figure BDA0002315515960000152
是第m个帧片段的第i个帧画面的第k项第一指标的得分。
Figure BDA0002315515960000153
是第m个帧片段的第k项第一指标的得分。
S304、根据第m个帧片段的K项第一指标的得分，计算得到第m个帧片段的消除指数。具体的，可以采用以下三种方式：
<第一种方式>
按照每项第一指标的权重，对第m个帧片段的K项第一指标的得分进行加权求和得到第一和值，将第一和值作为第m个帧片段的消除指数。具体的，可以根据公式(2)计算得到第m个帧片段的消除指数。
Figure BDA0002315515960000154
在公式(2)中，m表征第m个帧片段，m为整数并且1≤m≤M。k表征第k项第一指标，k为整数并且1≤k≤K。
Figure BDA0002315515960000155
是第m个帧片段的第k项第一指标的得分。Wk是第k项第一指标的权重。Qm是第m个帧片段的消除指数。
<第二种方式>
第m个帧片段的K项第一指标的得分中，只要有一项第一指标的得分小于该项第一指标对应的指标阈值，将第m个帧片段的消除指数设置为零。例如，第m个帧片段的K项第一指标的得分中，第k项第一项指标的得分
Figure BDA0002315515960000156
小于第k项第一项指标对应的指标阈值Tk，将第m个帧片段的消除指数Qm设置为零。
在其它情况下，也就是在第m个帧片段的K项第一指标的得分全部大于等于对应的指标阈值的情况下，按照每项第一指标的权重，对第m个帧片段的K项第一指标的得分进行加权求和得到第一和值，将第一和值作为第m个帧片段的消除指数。具体的，这里可以根据公式(2)计算得到第m个帧片段的消除指数。
<第三种方式>
第m个帧片段的K项第一指标的得分中，只要有一项第一指标的得分小于该项第一指标对应的指标阈值，将第m个帧片段的消除指数设置为零。例如，第m个帧片段的K项第一指标的得分中，第k项第一项指标的得分
Figure BDA0002315515960000161
小于第k项第一项指标对应的指标阈值Tk，将第m个帧片段的消除指数Qm设置为零。
在其它情况下，也就是在第m个帧片段的K项第一指标的得分全部大于等于对应的指标阈值的情况下，先对第m个帧片段的每项第一指标的得分进行调整，然后按照每项第一指标的权重，对第m个帧片段的K项第一指标的得分进行加权求和得到第一和值，将第一和值作为第m个帧片段的消除指数。具体的，这里可以根据公式(3)计算第m个帧片段的消除指数。
对第m个帧片段的第k项第一指标的得分进行调整，包括：计算得到第一比值，第一比值是第m个帧片段的第k项第一指标的得分与第一参数的比值，第一参数是全部M个帧片段的第k项第一指标的得分中最大的一个得分。
具体的，在其它情况下，也就是在第m个帧片段的K项第一指标的得分全部大于等于对应的指标阈值的情况下，根据公式(3)计算得到第m个帧片段的消除指数。
Figure BDA0002315515960000162
在公式(3)中，m表征第m个帧片段，m为整数并且1≤m≤M。k表征第k项第一指标，k为整数并且1≤k≤K。
Figure BDA0002315515960000163
分别是第1个帧片段的第k项第一指标的得分，第2个帧片段的第k项第一指标的得分，…，第M个帧片段的第k项第一指标的得分。
Figure BDA0002315515960000164
是全部M个帧片段的第k项第一指标的得分中最大的一个，将该最大的得分作为第一参数。
Figure BDA0002315515960000165
是第m个帧片段的第k项第一指标的得分。Wk是第k项第一指标的权重。Qm是第m个帧片段的消除指数。
S208、根据帧片段的消除指数，从全部帧片段中选取目标帧片段。
在一个实施例中，将全部M个帧片段按照消除指数从高到低进行排序，选取消除指数最高的帧片段作为目标片段。
在一个实施例中，从M个帧片段中选取消除指数大于预设的消除指数阈值的帧片段作为目标帧片段。如果M个帧片段中没有消除指数大于预设的消除指数阈值的帧片段，说明该视频中没有比较明显的待消除标志，可以不需要进行消除。消除指数阈值可以根据仿真试验和工程经验确定，本发明实施例对此不作限定。
S210、对视频的目标帧片段进行目标标志的消除处理。
在一个实施例中，通过对目标帧片段中的帧画面的目标区域进行模糊处理或者遮挡处理，实现所述消除处理。例如，利用视频播出方许可的标志的图片替换目标区域的图像，实现所述消除处理。例如，通过对目标区域进行马赛克处理，实现所述消除处理。在一个实施例中，通过对目标帧片段中的帧画面的目标区域的图像进行替换处理，实现所述消除处理，例如，使用一个含有视频播出方许可的标志的图像替换目标区域的图像。其中，所述目标区域是所述目标标志在帧画面中所占的区域。
在一个实施例中，如果目标帧片段包括多个帧画面，按照步骤S402-S410对目标帧片段进行目标标志的消除处理：
S402、根据预设的P项第二指标，计算得到目标帧片段中的每个帧画面的消除指数。
S404、将目标帧片段中消除指数最高的帧画面确定为起始帧画面。
S406、对起始帧画面进行目标标志的消除处理。
S408、从起始帧的前一帧开始朝向目标帧片段的第一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的后一帧的处理结果对当前帧进行处理。
S410、从起始帧的后一帧开始朝向目标帧片段的最后一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的前一帧的处理结果对当前帧进行处理。
帧画面的消除指数是与消除该帧画面中的目标标志有关的指数，也就是说，帧画面的消除指数与该帧画面中可能含有的其它标志无关。P为整数并且P≥1。
在一个实施例中，P项第二指标至少包括从下列7个指标中选取的一个指标：
(1)目标区域的大小。目标区域越大，说明目标标志在帧画面中越明显，更应该被消除。
(2)目标区域的中心坐标。目标区域的中心坐标越靠近帧画面的中心，说明目标标志在帧画面中越明显，更应该被消除。
(3)目标区域的形状与矩形的近似度。在本发明实施例中，可以通过对目标区域进行消除处理实现对目标标志的消除，目标区域的形状越近似于矩形，目标区域越容易被消除，也就更应该被消除。
(4)目标标志被前景遮挡的程度。目标标志被前景遮挡的越少，说明目标标志在帧画面中越明显，更应该被消除。
(5)目标区域的图像的模糊程度。目标区域的图像的模糊程度越低，即目标区域的图像的清晰程度越高，说明目标标志在帧画面中越明显，更应该被消除。
(6)目标区域的图像的颜色对比度。目标区域的图像的颜色对比度越高，说明目标标志在帧画面中越明显，更应该被消除。
(7)目标区域的图像的亮度。目标区域的图像的亮度和帧画面的平均亮度的差异越大，说明目标标志在帧画面中越明显，更应该被消除。
在一个实施例中，某项第一指标和某项第二指标可能是相同的指标，它们具有相同的评价机制和指标阈值。
下面继续以第m个帧片段为目标帧片段为例，详细说明如何根据预设的P项第二指标，计算得到第m个帧片段中的每个帧画面的消除指数，包括步骤S502和S504。
S502、根据每项第二指标对应的评价机制，计算得到第m个帧片段的第i个帧画面的每项第二指标的得分，i为整数并且1≤i≤N。
S504、根据第m个帧片段的第i个帧画面的P项第二指标的得分，计算得到第m个帧片段的第i个帧画面的消除指数。
下面继续以第m个帧片段为例，详细说明如何根据第m个帧片段的第i个帧画面的P项第二指标的得分，计算得到第m个帧片段的第i个帧画面的消除指数，具体的，可以采用以下三种方式：
<第一种方式>
按照每项第二指标的权重，对第m个帧片段的第i个帧画面的P项第二指标的得分进行加权求和得到第二和值，将第二和值作为第m个帧片段的第i个帧画面的消除指数。具体的，可以根据公式(4)计算得到第m个帧片段的第i个帧画面的消除指数。
Figure BDA0002315515960000191
在公式(4)中，i表征第m个帧片段中的第i个帧画面，i为整数并且1≤i≤N。p表征第p项第二指标，p为整数并且1≤p≤P。
Figure BDA0002315515960000192
表征第m个帧片段的第i个帧画面的第p项第二指标的得分。Wp是第p项第二指标的权重。Si是第m个帧片段的第i个帧画面的消除指数。
<第二种方式>
第m个帧片段的第i个帧画面的P项第二指标的得分中，只要有一项第二指标的得分小于该项第二指标对应的指标阈值，将第m个帧片段的第i个帧画面的消除指数设置为零。例如，第m个帧片段的第i个帧画面的P项第二指标的得分中，第p项第二项指标的得分
Figure BDA0002315515960000193
小于第p项第二项指标对应的指标阈值Lp，将第m个帧片段的第i个帧画面的消除指数Si设置为零。
在其它情况下，也就是在第m个帧片段的第i个帧画面的P项第二指标的得分全部大于等于对应的指标阈值的情况下，按照每项第二指标的权重，对第m个帧片段的第i个帧画面的P项第二指标的得分进行加权求和得到第二和值，将第二和值作为第m个帧片段的第i个帧画面的消除指数。具体的，这里可以根据公式(4)计算得到第m个帧片段的第i个帧画面的消除指数。
<第三种方式>
第m个帧片段的第i个帧画面的P项第二指标的得分中，只要有一项第二指标的得分小于该项第二指标对应的指标阈值，将第m个帧片段的第i个帧画面的消除指数设置为零。例如，第m个帧片段的第i个帧画面的P项第二指标的得分中，第p项第二项指标的得分
Figure BDA0002315515960000194
小于第p项第二项指标对应的指标阈值Lp，将第m个帧片段的第i个帧画面的消除指数Si设置为零。
在其它情况下，也就是在第m个帧片段的第i个帧画面的P项第二指标的得分全部大于等于对应的指标阈值的情况下，先对第m个帧片段的第i个帧画面的每项第二指标的得分进行调整，然后按照每项第二指标的权重，对第m个帧片段的第i个帧画面的P项第二指标的得分进行加权求和得到第二和值，将第二和值作为第m个帧片段的第i个帧画面的消除指数。
对第m个帧片段的第i个帧画面的第p项第二指标的得分进行调整，包括：计算得到第二比值，第二比值是第m个帧片段的第i个帧画面的第p项第二指标的得分与第二参数的比值，第二参数是第m个帧片段的全部N个帧画面的第p项第二指标的得分中最大的一个得分。
具体的，在其它情况下，也就是在第m个帧片段的第i个帧画面的P项第二指标的得分全部大于等于对应的指标阈值的情况下，根据公式(5)计算得到第m个帧片段的消除指数。
Figure BDA0002315515960000201
在公式(5)中，i表征第m个帧片段中的第i个帧画面，i为整数并且1≤i≤N。p表征第p项第二指标，p为整数并且1≤p≤P。
Figure BDA0002315515960000202
分别是第1个帧画面的第p项第二指标的得分，第2个帧画面的第p项第二指标的得分，…，第N个帧画面的第p项第二指标的得分。
Figure BDA0002315515960000203
是第m个帧片段的全部N个帧画面的第p项第二指标的得分中最大一个，将该最大的得分作为第二参数。
Figure BDA0002315515960000204
是第m个帧片段的第i个帧画面的第p项第二指标的得分。Lp是第p项第二指标的权重。Si是第m个帧片段的第i个帧画面的消除指数。
现有的标志替换方案对人力要求较高，并且处理速度较慢。目前综艺视频或电视剧视频中，帧率通常为30帧/秒甚至更高，处理时长为1分钟的视频就至少需要对1800帧的图像进行处理，使用现有的标志替换方案特别消耗人力和时间。本发明实施例提供的视频处理方法，可以自动化地从视频中选出需要处理的片段并进行消除处理，节省了人力物力，提升了处理效率。
本发明实施例提供的视频处理方法，在划分帧片段时利用了相邻帧的目标区域的交并比，使得帧片段的任意相邻两帧的目标标志的区域是比较近似的，在对当前帧进行目标标志的消除处理时，可以充分利用相邻帧的处理结果，从而减少运算量，提高处理效率。
本发明实施例提供的视频处理方法，利用一项或者多项第一指标评估每个帧片段的消除指数，帧片段的消除指数可以从整体上表现对该帧片段进行目标标志消除的消除效果和/或消除容易程度，可以只对消除指数比较高的帧片段进行目标标注的消除处理。相比于对视频的每帧都进行消除处理，本发明实施例的这种选择性消除方式的消除效果不会有太大差别，但是能够节省大量的时间，实现了消除效果和运算量、消除时间的平衡。
本发明实施例提供的视频处理方法，利用一项或者多项第二指标评估目标帧片段中的每个帧画面的消除指数，帧画面的消除指数可以从整体上表现对该帧画面进行目标标志消除的消除效果和/或消除容易程度，选取消除指数最高的帧画面作为起始帧，从起始帧开始向前逐帧进行消除处理，以及从起始帧开始向后逐帧进行消除处理，能够充分利用起始帧的处理结果，进一步降低运算量，提高处理效率。
本发明实施例的视频处理方法，经过发明人的大量工程实验的对比验证，实验结果表明本发明实施例的视频处理方法，发生替换后的标志出现抖动、变形等问题的情况的概率比较低。
<视频处理装置>
图4是本说明书的一个实施例提供的视频处理装置的示意图。
该实施例提供的视频处理装置，包括检测模块11、计算模块12、筛选模块13、消除模块14。
检测模块11，用于获取待消除标志集合，待消除标志集合中包括至少一种标志。在视频中存在含有标志的帧画面的情况下，在视频中划分与该标志对应的帧片段，帧片段包括含有该标志的一个帧画面或者包括含有该标志的多个连续的帧画面。
计算模块12，用于根据预设的K项第一指标，计算得到帧片段的消除指数，帧片段的消除指数是与消除帧片段中的目标标志有关的指数，目标标志是与帧片段对应的标志，K为整数并且K≥1。
筛选模块13，用于根据帧片段的消除指数，从全部帧片段中选取目标帧片段。
消除模块14，用于对视频的目标帧片段进行目标标志的消除处理。
在一个具体的例子中，所述标志为待消除品牌的品牌标志。
在一个具体的例子中，当所述帧片段包括多个帧画面时，任意相邻的两个帧画面的目标区域的交并比均大于预设的阈值，所述目标区域是所述目标标志在帧画面中所占的区域。
在一个具体的例子中，消除模块14，用于采用下列方法任一对所述目标帧片段进行目标标志的消除处理：
对所述目标帧片段中的帧画面的目标区域进行模糊处理；
对所述目标帧片段中的帧画面的目标区域进行遮挡处理；
对所述目标帧片段中的帧画面的目标区域的图像进行替换处理；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
在一个具体的例子中，计算模块12，用于根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分；根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数。
在一个具体的例子中，计算模块12，用于根据第k项第一指标对应的评价机制，计算得到所述帧片段的每个帧画面的第k项第一指标的得分，k为整数并且1≤k≤K；计算得到所述帧片段的所有帧画面的第k项第一指标的得分的平均值，将所述平均值作为所述帧片段的第k项第一指标的得分。
在一个具体的例子中，计算模块12，用于在所述帧片段的K项第一指标中至少存在一项第一指标的得分小于该项第一指标对应的指标阈值的情况下，确定所述帧片段的消除指数为零；在其它情况下，按照每项第一指标的权重，对所述帧片段的K项第一指标的得分进行加权求和得到第一和值，将所述第一和值作为所述帧片段的消除指数。
在一个具体的例子中，在所述视频中划分的所帧片段一共有M个，M为整数并且M≥2；计算模块12，用于在对所述帧片段的K项第一指标的得分进行加权求和之前，对所述帧片段的每项第一指标的得分进行调整；所述对所述帧片段的每项第一指标的得分进行调整，包括：计算得到第一比值，所述第一比值是第m个所述帧片段的第k项第一指标的得分与第一参数的比值，所述第一参数是M个所述帧片段的第k项第一指标的得分中最大的一个得分，k为整数并且1≤k≤K；将所述第一比值作为第m个所述帧片段的第k项第一指标的得分，m为整数并且1≤m≤M。
在一个具体的例子中，所述K项第一指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
所述帧片段的帧数；
所述帧画面与前一帧画面或者后一帧画面的目标区域的面积的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的中心坐标的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的图像的亮度的变换程度；
其中，所述目标区域是所述目标标志在所述帧画面中所占的区域。
在一个具体的例子中，消除模块14，用于在所述目标帧片段包括多个帧画面的情况下，对所述目标帧片段进行目标标志的消除处理，包括：根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，所述帧画面的消除指数是与消除所述帧画面中的目标标志有关的指数，所述P为整数并且P≥1；将所述目标帧片段中消除指数最高的帧画面确定为起始帧画面；对起始帧画面进行目标标志的消除处理；从起始帧的前一帧开始朝向所述目标帧片段的第一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的后一帧的处理结果对当前帧进行处理；从起始帧的后一帧开始朝向所述目标帧片段的最后一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的前一帧的处理结果对当前帧进行处理。
在一个具体的例子中，消除模块14，用于根据每项第二指标对应的评价机制，计算得到所述帧画面的每项第二指标的得分；在所述帧画面的P项第二指标中存在至少一项第二指标的得分小于该项第二指标对应的指标阈值的情况下，确定所述帧画面的消除指数为零；在其它情况下，按照每项第二指标的权重，对所述帧画面的P项第二指标的得分进行加权求和得到第二和值，将所述第二和值作为所述帧画面的消除指数。
在一个具体的例子中，所述目标帧片段一共包括N个帧画面，N为整数并且N≥2；消除模块14，用于在对所述帧画面的P项第二指标的得分进行加权求和之前，对所述帧画面的每项第二指标的得分进行调整；所述对所述帧画面的每项第二指标的得分进行调整，包括：计算得到第二比值，所述第二比值是第n个所述帧画面的第p项第二指标的得分与第二参数的比值，所述第二参数是N个所述帧画面的第p项第二指标的得分中最大的一个得分；将所述第二比值作为第n个所述帧画面的第p项第二指标的得分，n为整数并且1≤n≤N。
在一个具体的例子中，所述P项第二指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
<视频处理装置>
图5是本说明书的一个实施例提供的视频处理装置的示意图。
该实施例提供的视频处理装置20，包括处理器22和存储器21，存储器21中存储有计算机指令，所述计算机指令被处理器22运行时执行前述任一项实施例的视频处理方法。
本发明实施例提供的视频处理装置，可以自动化地从视频中选出需要处理的片段并进行消除处理，节省了人力物力，提升了处理效率。
本发明实施例提供的视频处理装置，在划分帧片段时利用了相邻帧的目标区域的交并比，使得帧片段的任意相邻两帧的目标标志的区域是比较近似的，在对当前帧进行目标标志的消除处理时，可以充分利用相邻帧的处理结果，从而减少运算量，提高处理效率。
本发明实施例提供的视频处理装置，利用一项或者多项第一指标评估每个帧片段的消除指数，帧片段的消除指数可以从整体上表现对该帧片段进行目标标志消除的消除效果和/或消除容易程度，可以只对消除指数比较高的帧片段进行目标标注的消除处理。相比于对视频的每帧都进行消除处理，本发明实施例的这种选择性消除方式的消除效果不会有太大差别，但是能够节省大量的时间，实现了消除效果和运算量、消除时间的平衡。
本发明实施例提供的视频处理装置，利用一项或者多项第二指标评估目标帧片段中的每个帧画面的消除指数，帧画面的消除指数可以从整体上表现对该帧画面进行目标标志消除的消除效果和/或消除容易程度，选取消除指数最高的帧画面作为起始帧，从起始帧开始向前逐帧进行消除处理，以及从起始帧开始向后逐帧进行消除处理，能够充分利用起始帧的处理结果，进一步降低运算量，提高处理效率。
本发明实施例的视频处理装置，经过发明人的大量工程实验的对比验证，实验结果表明本发明实施例的视频处理方法，发生替换后的标志出现抖动、变形等问题的情况的概率比较低。
<计算机可读存储介质>
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行前述任一项实施例的视频处理方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书的实施例可以是***、方法和/或计算机指令产品。计算机指令产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书的实施例操作的计算机指令指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本说明书实施例的各个方面。
这里参照根据本说明书实施例的方法、装置(***)和计算机指令产品的流程图和/或框图描述了本说明书实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的***、方法和计算机指令产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种视频处理方法，其特征在于，包括以下步骤：
获取待消除标志集合，所述待消除标志集合中包括至少一种标志；
对于所述至少一种标志中的任一个标志，在所述视频中存在含有所述标志的帧画面的情况下，在所述视频中划分与所述标志对应的帧片段，所述帧片段包括含有所述标志的一个帧画面或者包括含有所述标志的多个连续的帧画面；
根据预设的K项第一指标，计算得到所述帧片段的消除指数，所述帧片段的消除指数是与消除所述帧片段中的目标标志有关的指数，所述目标标志是与所述帧片段对应的标志，所述目标标志在所述帧画面中所占的区域是目标区域，所述K为整数并且K≥1；
根据所述帧片段的消除指数，从全部帧片段中选取目标帧片段；
对所述视频的所述目标帧片段进行目标标志的消除处理，
其中，所述K项第一指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
所述帧片段的帧数；
所述帧画面与前一帧画面或者后一帧画面的目标区域的面积的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的中心坐标的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的图像的亮度的变换程度。
2.根据权利要求1所述的方法，所述标志为待消除品牌的品牌标志。
3.根据权利要求1所述的方法，当所述帧片段包括多个帧画面时，任意相邻的两个帧画面的目标区域的交并比均大于预设的阈值，所述目标区域是所述目标标志在帧画面中所占的区域。
4.根据权利要求1所述的方法，采用下列方法任一对所述目标帧片段进行目标标志的消除处理：
对所述目标帧片段中的帧画面的目标区域进行模糊处理；
对所述目标帧片段中的帧画面的目标区域进行遮挡处理；
对所述目标帧片段中的帧画面的目标区域的图像进行替换处理；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
5.根据权利要求1所述的方法，所述根据预设的K项第一指标，计算得到所述帧片段的消除指数，包括：
根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分；
根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数。
6.根据权利要求5所述的方法，所述根据每项第一指标对应的评价机制，计算得到所述帧片段的每项第一指标的得分，包括：
根据第k项第一指标对应的评价机制，计算得到所述帧片段的每个帧画面的第k项第一指标的得分，k为整数并且1≤k≤K；
计算得到所述帧片段的所有帧画面的第k项第一指标的得分的平均值，将所述平均值作为所述帧片段的第k项第一指标的得分。
7.根据权利要求5所述的方法，所述根据所述帧片段的K项第一指标的得分，计算得到所述帧片段的消除指数，包括：
在所述帧片段的K项第一指标中至少存在一项第一指标的得分小于该项第一指标对应的指标阈值的情况下，确定所述帧片段的消除指数为零；
在其它情况下，按照每项第一指标的权重，对所述帧片段的K项第一指标的得分进行加权求和得到第一和值，将所述第一和值作为所述帧片段的消除指数。
8.根据权利要求7所述的方法，在所述视频中划分的所述帧片段一共有M个，M为整数并且M≥2；
在对所述帧片段的K项第一指标的得分进行加权求和之前，对所述帧片段的每项第一指标的得分进行调整；
所述对所述帧片段的每项第一指标的得分进行调整，包括：
计算得到第一比值，所述第一比值是第m个所述帧片段的第k项第一指标的得分与第一参数的比值，所述第一参数是M个所述帧片段的第k项第一指标的得分中最大的一个得分，k为整数并且1≤k≤K；
将所述第一比值作为第m个所述帧片段的第k项第一指标的得分，m为整数并且1≤m≤M。
9.根据权利要求1所述的方法，在所述目标帧片段包括多个帧画面的情况下，对所述目标帧片段进行目标标志的消除处理，包括：
根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，所述帧画面的消除指数是与消除所述帧画面中的目标标志有关的指数，所述P为整数并且P≥1；
将所述目标帧片段中消除指数最高的帧画面确定为起始帧画面；
对起始帧画面进行目标标志的消除处理；
从起始帧的前一帧开始朝向所述目标帧片段的第一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的后一帧的处理结果对当前帧进行处理；
从起始帧的后一帧开始朝向所述目标帧片段的最后一帧，逐帧进行目标标志的消除处理，其中，利用当前帧的前一帧的处理结果对当前帧进行处理。
10.根据权利要求9所述的方法，所述根据预设的P项第二指标，计算得到所述目标帧片段中的每个帧画面的消除指数，包括：
根据每项第二指标对应的评价机制，计算得到所述帧画面的每项第二指标的得分；
在所述帧画面的P项第二指标中存在至少一项第二指标的得分小于该项第二指标对应的指标阈值的情况下，确定所述帧画面的消除指数为零；
在其它情况下，按照每项第二指标的权重，对所述帧画面的P项第二指标的得分进行加权求和得到第二和值，将所述第二和值作为所述帧画面的消除指数。
11.根据权利要求10所述的方法，所述目标帧片段一共包括N个帧画面，N为整数并且N≥2；
在对所述帧画面的P项第二指标的得分进行加权求和之前，对所述帧画面的每项第二指标的得分进行调整；
所述对所述帧画面的每项第二指标的得分进行调整，包括：
计算得到第二比值，所述第二比值是第n个所述帧画面的第p项第二指标的得分与第二参数的比值，所述第二参数是N个所述帧画面的第p项第二指标的得分中最大的一个得分；
将所述第二比值作为第n个所述帧画面的第p项第二指标的得分，n为整数并且1≤n≤N。
12.根据权利要求9所述的方法，所述P项第二指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
其中，所述目标区域是所述目标标志在帧画面中所占的区域。
13.一种视频处理装置，包括检测模块、计算模块、筛选模块、消除模块；
所述检测模块，用于获取待消除标志集合，所述待消除标志集合中包括至少一种标志；对于所述至少一种标志中的任一个标志，在所述视频中存在含有所述标志的帧画面的情况下，在所述视频中划分与所述标志对应的帧片段，所述帧片段包括含有所述标志的一个帧画面或者包括含有所述标志的多个连续的帧画面；
所述计算模块，用于根据预设的K项第一指标，计算得到所述帧片段的消除指数，所述帧片段的消除指数是与消除所述帧片段中的目标标志有关的指数，所述目标标志是与所述帧片段对应的标志，所述目标标志在所述帧画面中所占的区域是目标区域，所述K为整数并且K≥1；
所述筛选模块，用于根据所述帧片段的消除指数，从全部帧片段中选取目标帧片段；
所述消除模块，用于对所述视频的所述目标帧片段进行目标标志的消除处理，
其中，所述K项第一指标至少包括从下列指标中选取的一个指标：
所述目标区域的大小；
所述目标区域的中心坐标；
所述目标区域的形状与矩形的近似度；
所述目标区域被前景遮挡的程度；
所述目标区域的图像的模糊程度；
所述目标区域的图像的颜色对比度；
所述目标区域的图像的亮度；
所述帧片段的帧数；
所述帧画面与前一帧画面或者后一帧画面的目标区域的面积的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的中心坐标的变化程度；
所述帧画面与前一帧画面或者后一帧画面的目标区域的图像的亮度的变换程度。
14.一种视频处理装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述计算机指令被所述处理器运行时执行权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行权利要求1-12任一项所述的方法。
CN201911275794.1A 2019-12-12 2019-12-12 视频处理方法和装置 Active CN111010606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911275794.1A CN111010606B (zh) 2019-12-12 2019-12-12 视频处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911275794.1A CN111010606B (zh) 2019-12-12 2019-12-12 视频处理方法和装置

Publications (2)

Publication Number Publication Date
CN111010606A CN111010606A (zh) 2020-04-14
CN111010606B true CN111010606B (zh) 2022-02-15

Family

ID=70115590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911275794.1A Active CN111010606B (zh) 2019-12-12 2019-12-12 视频处理方法和装置

Country Status (1)

Country Link
CN (1) CN111010606B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985419B (zh) * 2020-08-25 2022-10-14 腾讯科技（深圳）有限公司 视频处理方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336954A (zh) * 2013-07-08 2013-10-02 北京捷成世纪科技股份有限公司 一种视频中的台标识别方法和装置
CN103761527A (zh) * 2012-09-17 2014-04-30 汤姆逊许可公司 检测画面中是否存在标志的设备及方法
CN104918107A (zh) * 2015-05-29 2015-09-16 小米科技有限责任公司 视频文件的标识处理方法及装置
CN105025361A (zh) * 2015-07-29 2015-11-04 西安交通大学 一种实时台标消除方法
CN105611373A (zh) * 2015-12-23 2016-05-25 小米科技有限责任公司 视频图像处理方法及装置
CN106792153A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种视频标识处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241135B2 (en) * 2007-08-15 2016-01-19 At&T Intellectual Property I, Lp Method and system for image alteration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761527A (zh) * 2012-09-17 2014-04-30 汤姆逊许可公司 检测画面中是否存在标志的设备及方法
CN103336954A (zh) * 2013-07-08 2013-10-02 北京捷成世纪科技股份有限公司 一种视频中的台标识别方法和装置
CN104918107A (zh) * 2015-05-29 2015-09-16 小米科技有限责任公司 视频文件的标识处理方法及装置
CN105025361A (zh) * 2015-07-29 2015-11-04 西安交通大学 一种实时台标消除方法
CN105611373A (zh) * 2015-12-23 2016-05-25 小米科技有限责任公司 视频图像处理方法及装置
CN106792153A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种视频标识处理方法及装置

Also Published As

Publication number Publication date
CN111010606A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
KR102593020B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN109688463B (zh) 一种剪辑视频生成方法、装置、终端设备及存储介质
US9288458B1 (en) Fast digital image de-hazing methods for real-time video processing
JP6240199B2 (ja) 画像における対象物の識別方法及び装置
CN110177295B (zh) 字幕越界的处理方法、装置和电子设备
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN110363753B (zh) 图像质量评估方法、装置及电子设备
CN108351962B (zh) 具有自适应性通道特征的对象检测
CN111192190B (zh) 消除图像水印的方法、装置及电子设备
CN110543849B (zh) 检测器的配置方法及装置、电子设备和存储介质
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
WO2023160617A1 (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN110796664A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
CN113971828A (zh) 虚拟对象唇形驱动方法、模型训练方法、相关装置及电子设备
CN112752158A (zh) 一种视频展示的方法、装置、电子设备及存储介质
CN111010606B (zh) 视频处理方法和装置
CN114444653A (zh) 一种数据增广对深度学习模型性能影响评估方法及***
CN112036517B (zh) 图像缺陷分类方法、装置及电子设备
CN111126372B (zh) 视频中logo区域的标记方法、装置及电子设备
CN110597432B (zh) 界面控制方法、装置、计算机可读介质及电子设备
CN109859328B (zh) 一种场景切换方法、装置、设备和介质
CN114419322B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN107818584B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影***
CN113691835B (zh) 视频植入方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant