CN107230182A - 一种图像的处理方法、装置以及存储介质 - Google Patents

一种图像的处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN107230182A
CN107230182A CN201710657280.7A CN201710657280A CN107230182A CN 107230182 A CN107230182 A CN 107230182A CN 201710657280 A CN201710657280 A CN 201710657280A CN 107230182 A CN107230182 A CN 107230182A
Authority
CN
China
Prior art keywords
image
pixel
gray value
alpha channel
shade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710657280.7A
Other languages
English (en)
Other versions
CN107230182B (zh
Inventor
周景锦
程培
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710657280.7A priority Critical patent/CN107230182B/zh
Publication of CN107230182A publication Critical patent/CN107230182A/zh
Application granted granted Critical
Publication of CN107230182B publication Critical patent/CN107230182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像的处理方法、装置以及存储介质，用于消除因光照环境变化产生的大面积噪点，可以达到自适应抗噪的效果。本发明实施例提供一种图像的处理方法，包括：对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。

Description

一种图像的处理方法、装置以及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像的处理方法、装置以及存储介质。
背景技术
现有技术中经常基于绿幕背景的图像帧进行抠图处理，然后对图像帧的背景进行替换。在该技术中，需要将视频或图片中的前景信息和背景信息分离开来，并将分离的前景合成到另外一幅背景中，广泛应用于视频编辑与视频分割领域中。
对于背景替换前景的方案，现有技术中采用绿幕背景下的视频抠图技术，也称为绿幕抠图算法，该技术主要是吸取画面中的绿色分量颜色作为透明色，将其他颜色分量从画面中抠去，从而使背景透出来，形成二层画面的叠加合成。这样在普通摄像头拍摄的人物经抠像后与各种背景画面叠加在一起，便可以形成更换背景的效果。
现有技术提供的绿幕抠图算法，对现场的绿幕背景的平坦度、绿幕背景色彩均匀性以及光照环境条件都有很高的要求。这是由于现有的绿幕抠图算法方法在对获取的视频或图片进行处理时，并不会考虑绿幕是否平坦、绿幕背景色彩是否均匀以及光照环境条件是否合适。如果上述这些条件中的一个或多个不满足要求的情况下拍摄画面时，将会造成所抠制出来的图像的抠图边界不够平滑，在抠图过程中，由于光线的原因会使得光照环境不理想，进而导致绿幕抠图算法得到的图像中有噪点，使得在前景边缘部分不够平滑，突变也成不规则性，进一步导致最终的输出图像中含有噪点，使图像显得比较假，不够自然。
综上可知，现有技术提供的绿幕抠图算法受到光照环境变化的影响，会导致最终输出的图像含有噪点。特别的，对于因光照变化产生的大面积噪声无能为力。
发明内容
本发明实施例提供了一种图像的处理方法、装置以及存储介质，用于消除因光照环境变化产生的大面积噪点，可以达到自适应抗噪的效果。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种图像的处理方法，包括：
对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；
根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；
将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。
第二方面，本发明实施例还提供一种图像的处理装置，包括：
绿幕处理模块，用于对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；
阿尔法通道调整模块，用于根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；
背景替换模块，用于将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。
本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，首先对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，第一遮罩图像包括：第一前景目标图像和第一背景幕布图像。然后根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，第二遮罩图像包括：第二前景目标图像和第二背景幕布图像。最后将第二遮罩图像中的第二背景幕布图像替换为预置的背景模板图像，并输出第二前景目标图像和背景模板图像进行融合后的图像结果。本发明实施例中可以使用分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量都进行调整，从而使得每个像素点的阿尔法通道分量都可以按照分位数参量进行调整，因此可以感知光照环境变化，特别的，对于因光照变化产生的大面积噪声，可以达到自适应抗噪的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程方框示意图；
图2为本发明实施例提供的图像处理过程的一种应用场景示意图；
图3为现有技术中图像帧进行背景替换后因光照环境导致的抠图边界不平滑的示意图；
图4为本发明实施例提供的图像处理方法对图3所示的图像帧进行背景替换后生成的图像结果示意图；
图5-a为本发明实施例提供的一种图像处理装置的组成结构示意图；
图5-b为本发明实施例提供的一种阿尔法通道调整模块的组成结构示意图；
图5-c为本发明实施例提供的另一种阿尔法通道调整模块的组成结构示意图；
图5-d为本发明实施例提供的另一种图像处理装置的组成结构示意图；
图5-e为本发明实施例提供的另一种图像处理装置的组成结构示意图；
图5-f为本发明实施例提供的另一种图像处理装置的组成结构示意图；
图6为本发明实施例提供的图像处理方法应用于终端的组成结构示意图。
具体实施方式
本发明实施例提供了一种图像的处理方法、装置以及存储介质，用于消除因光照环境变化产生的大面积噪点，可以达到自适应抗噪的效果。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明图像的处理方法的一个实施例，具体可以应用于单个图片的背景替换，或者可以应用于视频直播场景下的背景实时替换。本发明实施例提供的图像帧可以是RGB图像，RGB即是代表红、绿、蓝三个通道的颜色，所以有3个通道，这3个通道显示的是当前图片三原色的比例。请参阅图1所示，本发明一个实施例提供的图像的处理方法，可以包括如下步骤：
101、对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，第一遮罩图像包括：第一前景目标图像和第一背景幕布图像。
其中，图像帧可以是从单个图片中获取到的一帧图像，也可以是从视频直播中获取到的一帧图像，对于每一个帧图像的处理过程都可以参阅此处实施例中的描述，接下来以获取到的当前图像帧的处理为例，其中，当前图像帧可以是当前获取到的一个或多个图像帧，例如可以通过采集视频直播软件中输出的图像帧得到，或者从移动终端的内存中读取到图像帧。在获取到当前图像帧之后，采用绿幕抠图算法对该图像帧进行处理，则可以得到初始的遮罩(Mask)图像，为区别后续不同场景下对图像进行操作后所得到的遮罩图像，将初始的遮罩图像定义为“第一遮罩图像”，通过绿幕抠图算法可以将原图像分成前景、背景两个图像，前景用来表示前景目标的图像，背景用来表示背景幕布的图像，通过绿幕抠图算法(也可以称为绿幕算法)可以生成第一遮罩图像，该第一遮罩图像中可以分离为第一前景目标图像和第一背景幕布图像这两个部分，其中，第一前景目标图像是包括有当前图像帧中的前景目标的图像，第一背景幕布图像是包括有当前图像帧中的幕布区域的图像。在实际应用中，本发明实施例中可以采用的绿幕抠图算法可以有多种，举例说明如下：原始输入视频或图像经过绿幕算法得到初始Mask，其中绿幕算法可选择多种，如高质量色键(highquality chromakey)算法，seriously算法等等。
在本发明实施例中，图像帧可以包含前景目标以及背景，本实施例中重点关注前景目标，因此本发明实施例中具体可以设定绿幕区域，仅截取视频图像中的与设定绿幕区域对应的图像部分进行处理，由于设定的该绿幕区域中包含前景目标，从而不影响对前景目标的处理，又可以减小对背景的处理负担。
本发明实施例中的图像处理方法，可以适用于视频直播时使用。首先采集当前帧的视频图像进行处理，然后在本发明实施例中图像处理完成后，播放处理完成的视频图像。在播放当前帧视频图像的同时，还可以处理后一帧视频图像，这样不断的对视频中的每帧视频图像进行处理并播放，以完成对整段视频抠像处理后的直播。需要说明的是，由于每帧视频图像的处理是相同的，因此，本实施例中仅以对一个图像帧的处理为例，其他图像帧可以参照该方法进行处理。
在本发明的一些实施例中，前述步骤101对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像之前，本发明实施例提供的图像处理方法除了执行前述步骤101之外，还可以包括如下步骤：
A1、对当前图像帧中每个像素点进行缩小处理，得到缩小后的当前图像帧。
其中，为了提高对图像的处理速度，在对当前图像帧进行绿幕抠图处理之前，还可以看先对该当前图像帧进行缩小处理，从而得到缩小后的当前图像帧，通过对图像帧的缩小处理，可以降低图像处理的时间复杂度，提高图像速度，以适用于视频直播场景下对每个图像帧都需要进行处理的效率。其中本发明实施例采用的图像缩小处理的方式可以有多种，例如可以空间金字塔的方式对每个图像帧进行缩小处理，或者可以采用图像裁剪的方式，将每个图像帧直接缩小到固定尺寸，都可以得到缩小后的每个图像帧。
在前述执行步骤A1的实现场景下，步骤101对获取到的当前图像帧进行绿幕抠图处理，具体可以包括如下步骤：
B1、对缩小后的当前图像帧进行绿幕抠图处理。
其中，在获取到当前图像帧之后，通过对当前图像帧进行缩小处理，得到缩小后的当前图像帧，接下来以对缩小后的当前图像帧进行绿幕抠图处理，通过图像缩小处理可以提高绿幕抠图的处理速度。
102、根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，第二遮罩图像包括：第二前景目标图像和第二背景幕布图像。
在本发明实施例中，通过前述的绿幕抠图处理，可以得到第一遮罩图像，该第一遮罩图像可以包括第一前景目标图像和第一背景幕布图像这两个部分，在前述的抠图过程中，由于光线的原因会使得幕布颜色明暗不均，进而导致绿幕抠图算法得到的第一遮罩图像中有噪点，在光照变化时第一遮罩图像还可能产生大面积噪声，使得在前景边缘部分不够平滑，突变也成不规则性，进一步导致最终的输出图像中含有噪点，使图像显得比较假，不够自然。为解决该技术问题，本发明实施例中需要对第一遮罩图像中的每个像素点的灰度值进行调整，因为由于幕布颜色以及光线环境的不同，前述的绿幕算法得到的第一遮罩图像在前景目标处的灰度值不全为1，在背景幕布处的灰度值不全为0，因此需要按照本发明实施例预先配置的分位数参量对每个像素点进行灰度值调整。其中，分位数参量是用于调整像素点的阿尔法通道分量的参数，使得介于0和1之间的灰度值被调整为0或1，该分位数参量可以根据绿幕算法所生成的第一遮罩图像得到。其中，阿尔法(Alpha)通道是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域，其中黑表示透明，Alpha通道分量的取值为0。白表示不透明，Alpha通道分量的取值为1。灰表示半透明，Alpha通道分量的取值介于0到1。
接下来对本发明实施例中预置的分位数参量进行举例说明，设连续随机变量X的分布函数为F(X)，密度函数为p(x)。那么，对任意0<1的p，称F(X)＝p的X为此分布的分位数，或者下侧分位数。简单的说，分位数指的就是连续分布函数中的一个点，这个点的一侧对应概率p。本发明实施例中配置的分位数参量可以包括上分位数和下分位数，通过该上分位数和下分位数可以得到分位数参量，使用该分位数参量可以对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，使得第一遮罩图像中每个像素点的阿尔法通道分量都可以根据分位数参量进行重新取值，通过分位数参量使得介于0和1之间的灰度值被调整为0或1，第一遮罩图像中所有像素点的阿尔法通道分量都被调整完成后可以得到第二遮罩图像，第二遮罩图像包括：第二前景目标图像和第二背景幕布图像，其中，第一前景目标图像按照前述的分位数参量进行阿尔法通道分量调整之后可以生成第二前景目标图像，同理，第一背景幕布图像按照前述的分位数参量进行阿尔法通道分量调整之后可以生成第二背景幕布图像。
在本发明的一些实施例中，步骤102根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，包括：
C1、对第一遮罩图像分别检测到上分位数和下分位数；
C2、根据上分位数和下分位数确定分位数参量，分位数参量包括：由灰度值上限和灰度值下限组成的灰度区间，灰度值上限为上分位数，灰度值下限为下分位数；
C3、将第一遮罩图像中每个像素点的阿尔法通道分量分别调整到灰度区间内，调整后的所有像素点组成第二遮罩图像。
其中，在获取到第一遮罩图像之后，对于第一遮罩图像，检测其上分位数H和下分位数L。举例说明，假设H对应为90％分位数，则第一遮罩图像中至少90％像素点的灰度值都小于H；同理，假设L对应为10％分位数，则第一遮罩图像中灰色值排在第10％的为L。需要说明的是，上分位数和下分位数可根据不同的图像帧进行设置，例如根据图像帧的幕布颜色、光照情况来合理设置以达到更好的效果，例如90％上分位数和10％下分位数普适效果最好。在得到第一遮罩图像的上分位数和下分位数之后，再根据上分位数和下分位数确定分位数参量，该分位数参量包括：由灰度值上限和灰度值下限组成的灰度区间，灰度值上限为上分位数，灰度值下限为下分位数。最后可以将第一遮罩图像中每个像素点的阿尔法通道分量分别调整到灰度区间内，举例说明，对于第一遮罩图像中原像素点的阿尔法通道分量位于该灰度区间的，可以不做调整，对于第一遮罩图像中原像素点的阿尔法通道分量位于该灰度区间以外的，可以对这些像素点的阿尔法通道分量进行取值缩小或者放大，以使得调整后的阿尔法通道分量位于该灰度区间内，则调整后的所有像素点组成第二遮罩图像。
进一步的，在本发明的一些实施例中，步骤C3将第一遮罩图像中每个像素点的阿尔法通道分量分别调整到灰度区间内，包括：
C31、判断每个像素点的阿尔法通道分量是否大于灰度值上限，以及是否小于灰度值下限；
C32、若调整前的像素点的阿尔法通道分量大于灰度值上限，将调整前的像素点的阿尔法通道分量调整为灰度值上限；或者，
C33、若调整前的像素点的阿尔法通道分量小于灰度值下限，将调整前的像素点的阿尔法通道分量调整为灰度值下限；或者，
C34、若像素点的阿尔法通道向量大于或等于灰度值下限，且小于或等于灰度值上限，保持像素点的阿尔法通道分量的取值不变。
其中，在步骤C31执行判断的步骤之后，根据所得的判断结果确定执行步骤C32、步骤C33和步骤C34中的哪个步骤或者哪些步骤。在步骤C32中当调整前的像素点的阿尔法通道分量大于灰度值上限时，说明像素点的阿尔法通道分量不再灰度值区间内，此时可以缩小阿尔法通道分量的取值为灰度值上限。在步骤C33中像素点的阿尔法通道分量小于灰度值下限时，说明像素点的阿尔法通道分量不再灰度值区间内，此时可以增大阿尔法通道分量的取值为灰度值下限。具体的，前述实施例可以通过如下计算公式对每个像素点的阿尔法通道分量进行调整：
V2＝max(L,min(V1,H))，
其中，V1表示调整前的像素点的阿尔法通道分量，V2表示调整后的像素点的阿尔法通道分量，min表示从两个数值中取值较小的函数，max表示从两个数值中取值较大的函数，H表示灰度值上限，L表示灰度值下限。
举例说明，假设H对应为90％分位数，L对应为10％分位数，V1对应的阿尔法通道分量为0.95，则通过min(V1,H)可以得到0.9，再通过max(L,min(V1,H))可以得到V2对应的阿尔法通道分量为0.9。又如，V1对应的阿尔法通道分量为0.05，则通过min(V1,H)可以得到0.05，再通过max(L,min(V1,H))可以得到V2对应的阿尔法通道分量为0.1。
进一步的，在本发明的另一些实施例中，步骤C3将第一遮罩图像中每个像素点的阿尔法通道分量分别调整到灰度区间内之后，前述的步骤102还包括：
C4、在灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理。
其中，将第一遮罩图像中每个像素点的阿尔法通道分量分别调整到灰度区间内之后，还可以对完整调整后的每个像素点的阿尔法通道分量进行线性拉伸，所得最终输出的阿尔法通道分量在0-1之间，完成上述线性拉伸处理之后可以生成前述的第二遮罩图像。
进一步的，在本发明的一些实施例中，步骤C4在灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理，包括：
C41、根据灰度值上限和灰度值下限获取到灰度区间的区间长度；
C42、根据灰度值区间的区间长度和灰度值下限增大每个像素点的阿尔法通道分量的取值。
其中，通过灰度值上限和灰度值下限进行相减计算得到灰度区间的区间长度。在步骤C42中，灰度值区间的区间长度是线性拉伸处理的拉伸度量参考值，以灰度值下限作为拉伸处理的起始点，即像素点的阿尔法通道分量中超过该灰度值下限的分量部分进行取值放大，从而可以增大每个像素点的阿尔法通道分量的取值。举例说明如下：
通过如下计算公式对每个像素点的阿尔法通道分量进行线性拉伸处理：
V3＝(V2－L)/(H－L)，
其中，V2表示拉伸前的像素点的阿尔法通道分量，V3表示拉伸后的像素点的阿尔法通道分量，H表示灰度值上限，L表示灰度值下限。
举例说明如下，假设H对应为90％分位数，L对应为10％分位数，V1对应的阿尔法通道分量为0.95，则通过min(V1,H)可以得到0.9，再通过max(L,min(V1,H)可以得到V2对应的阿尔法通道分量为0.9，再将该V2的值带入上述公式，可以通过(V2－L)/(H－L)可以计算出V3等于1，因此可以将实现对像素点的线性拉伸处理。
103、将第二遮罩图像中的第二背景幕布图像替换为预置的背景模板图像，并输出第二前景目标图像和背景模板图像进行融合后的图像结果。
在本发明实施例中，通过前述步骤102生成第二遮罩图像之后，该第二遮罩图像中由于阿尔法通道分量基于分位数参量进行调整之后，能够克服光照环境条件产生的噪声影响，基于该第二遮罩图像可以进行背景替换，即可以将第二遮罩图像中的第二背景幕布图像替换为预置的背景模板图像，在第二遮罩图像中第二背景幕布图像被替换为背景模板图像，背景模板图像可以和第二遮罩图像中的第二前景目标图像进行融合，此时可以输出第二前景目标图像和背景模板图像进行融合后的图像结果，该图像结果是根据当前图像帧进行噪声矫正以及背景替换后的图像，该图像结果使用背景模板图像向用户显示，使得用户可以观察到使用背景模板图像的图片或直播视频。
在本发明的一些实施例中，前述步骤102根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，本发明实施例提供的图像处理方法除了执行前述步骤103之外，还可以包括如下步骤：
D1、对第二遮罩图像进行开操作处理，和/或，对第二遮罩图像进行闭操作处理。
其中，在执行步骤103之前，为了进一步的减少图像噪声，可以对第二遮罩图像进行开操作处理，或者对第二遮罩图像进行闭操作处理，或者对第二遮罩图像进行开操作处理和闭操作处理。接下来进行举例说明，对图像的开操作是先腐蚀再膨胀，对图像进行开操作，用以去除背景空洞噪声。对图像的闭操作是先膨胀再腐蚀，对图像进行闭操作，用以去除前景的空洞噪声。其中，腐蚀的具体操作是：用一个结构元素(例如3×3的大小)扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0，中心及领域有一个点不是黑点，该点就被腐蚀成白点，腐蚀操作为在像素的8领域内取最小值。膨胀的具体操作是：用一个结构元素(例如3×3的大小)扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。膨胀操作为在像素的8领域内取最大值。
在本发明的一些实施例中，前述步骤102根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，本发明实施例提供的图像处理方法除了执行前述步骤103之外，还可以包括如下步骤：
E1、使用预置的高斯核对第二遮罩图像进行高斯模糊处理。
其中，可以根据不同的应用场景选择具体的高斯核，使得最终的效果是边缘锯齿不明显同时边缘不过于模糊。
需要说明的是，在执行前述步骤D1和执行步骤E1的实现场景下，对第二遮罩图像完成开操作处理、闭操作处理以及高斯模糊处理之后，再执行步骤103进行背景替换，从而输出的图像结果中图像噪声可以被进一步的削减。
通过以上实施例对本发明实施例的描述可知，首先对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，第一遮罩图像包括：第一前景目标图像和第一背景幕布图像。然后根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，第二遮罩图像包括：第二前景目标图像和第二背景幕布图像。最后将第二遮罩图像中的第二背景幕布图像替换为预置的背景模板图像，并输出第二前景目标图像和背景模板图像进行融合后的图像结果。本发明实施例中可以使用分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量都进行调整，从而使得每个像素点的阿尔法通道分量都可以按照分位数参量进行调整，因此可以感知光照环境变化，特别的，对于因光照变化产生的大面积噪声，可以达到自适应抗噪的效果。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
在本发明实施例提供的绿幕算法中，图像帧经过绿幕算法得到遮罩图像mask，其中，mask某处全白(alpha＝1.0)表示前景，mask某处全黑(alpha＝0.0)表示背景，mask某处灰度(alpha介于0和1之间)代表半透明，根据mask将原始视频帧和背景进行融合得到最终输出。在这个过程中，由于光线的原因会使得幕布颜色明暗不均，进而导致mask中有噪点，本发明实施例中提出了绿幕抗噪的方案，针对每一个图像帧，可以检测到其分位数，算法的时间复杂度与图像大小成正比，在对图像帧进行空间金字塔处理之后，再检测空间金字塔中的mask的分位数，可以降低时间复杂度，根据分位数实时调整mask的值，将接近前景的直接拉为前景，接近背景的直接拉为背景，以此缓解绿幕噪声。由于本发明实施例提供的绿幕算法应用到视频直播时，要求具备实时性，所以希望按比例缩小图像来保障一定精度，同时降低时间复杂度，通过空间金字塔的处理方式，可以用来缩小图像以加速对图像的处理速度。
本发明实施例旨在利用全局信息来做到自适应抗噪。利用全局信息来做到自适应抗噪。本发明实施例中可以对每一帧对应的mask计算上分位数(比如90％)和下分位数(比如10％)，根据这个mask值来动态调整原有mask，可以消除因光照环境变化产生的大面积噪点。本发明实施例具有自适应性强、抗噪能力强、时间复杂度低的特点。
在本发明实施例中，绿幕技术有很多应用场景，比如天气预报，新闻直播，电影特效等，主持人或者演员只需要在纯色幕布(一般为绿幕，蓝幕)前正常活动，幕布支持的颜色与选择的绿幕抠图算法有关。本发明实施例可以配合不同的绿幕算法来实现实时化抗噪。摄影机拍下图片或者视频之后，经过绿幕算法处理提取出前景，就能与各种想要的背景进行融合，从而出现真实的人物在各种虚拟出的场景下活动的画面。此外，在当下比较火爆的视频直播领域，主播只需要在家中布置一块绿幕，通过应用程序选择自己想要的背景场景，就能提升视频直播的视觉效果，提升直播软件的可玩性。
在本发明实施例中，绿幕技术融合结果的好坏，非常依赖于噪点的处理，最终融合的视频中如果有大面积噪点，会严重影响感官。所以绿幕抗噪技术是整个绿幕技术的重中之重。如图2所示，为本发明实施例提供的一种应用场景的流程框图，具体步骤如下：
1、原始输入视频或图像后，可以获取到当前图像帧，经过绿幕算法得到初始mask。其中绿幕算法可选择多中，如high quality chromakey，seriously等等。
2、对于初始mask，检测其上分位数H和下分位数L。假设H对应为90％分位数，则mask中至少90％像素点的灰度值都小于H；同理，假设L对应为10％分位数，则mask中灰色值排在第10％的为L。上分位数和下分位数可根据不同的视频、幕布颜色(绿幕、蓝幕、红幕)、光照情况来合理设置以达到更好的效果。实验中90％上分位数和10％下分位数普适效果最好。分位数的计算与中位数的计算具有相同的时间复杂度为O(MN logK)，其中M、N分别为视频帧或图像的长度和宽度，K为第几大的数，例如10％分位数则K＝0.1*M*N”。如果对视频的帧率要求较高，可以对mask构建空间金字塔(例如，采用opengl中的算法接口，利用缩小版的mask来检测分位数。缩小mask之后，可以更快的计算分位数。
3、有了上分位数H，和下分位数L之后，需要对mask进行调整以达到降噪的目的。调节是逐像素点进行的，假设某像素点的原始灰度值为V1，则调节算法如下：
V2＝max(L,min(V1,H))，
V3＝(V2－L)/(H－L)，
其中，V1表示调整前的像素点的阿尔法通道分量，V2表示调整后的像素点的阿尔法通道分量，min表示从两个数值中取值较小的函数，max表示从两个数值中取值较大的函数，H表示灰度值上限，L表示灰度值下限。V3表示拉伸后的像素点的阿尔法通道分量，H表示灰度值上限，L表示灰度值下限。
本发明实施例中调节的目的是将H设置为灰度上限，L设置为灰度下限，在此区域内对灰度值进行线性拉伸，所得最终输出的灰度值alpha在0-1之间。
4、对mask进行开操作，即先膨胀后腐蚀用以去除背景空洞噪声；以及闭操作，即先腐蚀后膨胀，用以去除前景的空洞噪声。膨胀操作为在像素的8领域内取最大值，腐蚀操作为在像素的8领域内取最小值。其中，可以选择某个像素点周围的3*3一共9个点，除中心像素以外有8个点即为8领域。
5、选择合适的高斯核对mask进行高斯模糊，用以平滑及局部抗噪。其中，可以根据不同的应用场景选择相应的高斯核，使得最终的效果是边缘锯齿不明显同时边缘不过于模糊。
不限定的是，在前述的技术方案中，抗噪技术(开闭操作、高斯模糊等)与实时分位数调节的使用顺序可以交换，即可以先执行步骤4和步骤5，再执行步骤2和步骤3。
6、根据mask将原视频帧和替换的背景进行融合得到最终的视频输出，融合公式如下：
rbg＝foreground*alpha+background*(1-alpha)。
其中，background为背景模板图像，foreground为前景目标图像。
在前述的举例说明中，通过步骤2实时mask分位数计算，以及步骤3根据分位数的mask灰度调节。这两个步骤对于绿幕抗噪是非常有必要的，因为由于幕布颜色以及光线环境的不同，绿幕算法得到的mask在前景人像处的灰度值不全为1，在背景绿幕处的灰度值不全为0，本发明实施例是一种后置处理算法，旨在配合各种不同的绿幕算法达到抗噪的效果。而实际上希望只有在前景和背景的边缘处才会有介于0和1之间的值。如果在非边缘处与0或1的距离较大，就会产生肉眼容易分辨的大面积噪点，如图3所示，为现有技术中图像帧进行背景替换后因光照环境导致的抠图边界不平滑的示意图，由图3可知，在前景目标的抠图边界存在模糊的地方，形成噪声，图3为抠图边界存在模糊的示意说明图例，图3中所示的斜划线部分为背景幕布，在图3中对于抠图边界会存在图像模糊、线条边缘不够平滑的情况，图4为本发明实施例提供的图像处理方法对图3所示的图像帧进行背景替换后生成的图像结果示意图，利用本发明实施例提供的方案，可以根据幕布颜色和光照环境自适应调整，去除因非边缘区域alpha介于0-1而产生的大面积噪点，图4为本发明实施例抠图边界连续平滑的示意说明图例，在图4中的抠图边界线条边缘平滑，不存在抠图边界的图像模糊问题。本发明实施例提供的方案充分考虑了全局像素信息，对幕布颜色以及全局光照环境具有实时感知能力，可以达到自适应抗噪的效果。同时，本发明实施例提供的方案具有时间复杂度低的特点，可以配合各种不同的绿幕算法使用，分位数的除设定好最优值(10％和90％)之外，还可以根据用户的需要来调节，以达到更好的效果。
通过本发明实施例，可以使得绿幕技术的噪声容忍度更大，最终输出的融合视频噪声少，效果好。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图5-a所示，本发明实施例提供的一种图像的处理装置500，可以包括：绿幕处理模块501、阿尔法通道调整模块502、背景替换模块503，其中，
绿幕处理模块501，用于对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；
阿尔法通道调整模块502，用于根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；
背景替换模块503，用于将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。
在本发明的一些实施例中，请参阅图5-b所示，所述阿尔法通道调整模块502，包括：
分位数检测模块5021，用于对所述第一遮罩图像分别检测到上分位数和下分位数；
分位数参量确定模块5022，用于根据所述上分位数和所述下分位数确定分位数参量，所述分位数参量包括：由灰度值上限和灰度值下限组成的灰度区间，所述灰度值上限为所述上分位数，所述灰度值下限为所述下分位数；
灰度值调整模块5023，用于将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内，调整后的所有像素点组成第二遮罩图像。
进一步的，如图5-c所示，所述阿尔法通道调整模块502，还包括：拉伸模块5024，用于所述灰度值调整模块5023将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内之后，在所述灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理。
在本发明的一些实施例中，所述灰度值调整模块5023，具体用于判断所述每个像素点的阿尔法通道分量是否大于所述灰度值上限，以及是否小于所述灰度值下限；若调整前的像素点的阿尔法通道分量大于所述灰度值上限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值上限；或者，若调整前的像素点的阿尔法通道分量小于所述灰度值下限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值下限；或者，若像素点的阿尔法通道向量大于或等于所述灰度值下限，且小于或等于所述灰度值上限，保持像素点的阿尔法通道分量的取值不变。
在本发明的一些实施例中，所述拉伸模块5024，具体用于根据所述灰度值上限和所述灰度值下限获取到所述灰度区间的区间长度；根据所述灰度值区间的区间长度和所述灰度值下限增大所述每个像素点的阿尔法通道分量的取值。
在本发明的一些实施例中，请参阅图5-d所示，所述图像的处理装置500，还包括：缩放模块504，用于所述绿幕处理模块501对获取到的当前图像帧进行绿幕抠图处理之前，对所述当前图像帧中每个像素点进行缩小处理，得到缩小后的当前图像帧；
所述绿幕处理模块501，具体用于对所述缩小后的当前图像帧进行绿幕抠图处理。
在本发明的一些实施例中，请参阅图5-e所示，图像的处理装置500，还可以包括：图像操作模块505，用于所述阿尔法通道调整模块502根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，对所述第二遮罩图像进行开操作处理，和/或，对所述第二遮罩图像进行闭操作处理。
在本发明的一些实施例中，请参阅图5-f所示，图像的处理装置500，还可以包括：高斯模糊处理模块506，用于所述阿尔法通道调整模块502根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，使用预置的高斯核对所述第二遮罩图像进行高斯模糊处理。
通过以上实施例对本发明实施例的描述可知，首先对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，第一遮罩图像包括：第一前景目标图像和第一背景幕布图像。然后根据预置的分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，第二遮罩图像包括：第二前景目标图像和第二背景幕布图像。最后将第二遮罩图像中的第二背景幕布图像替换为预置的背景模板图像，并输出第二前景目标图像和背景模板图像进行融合后的图像结果。本发明实施例中可以使用分位数参量对第一遮罩图像中每个像素点的阿尔法通道分量都进行调整，从而使得每个像素点的阿尔法通道分量都可以按照分位数参量进行调整，因此可以感知光照环境变化，特别的，对于因光照变化产生的大面积噪声，可以达到自适应抗噪的效果。
本发明实施例还提供了另一种终端，如图6所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图6示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图6，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图6中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理***与处理器1080逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器1080还具有控制执行以上由终端执行的图像的处理方法流程。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种图像的处理方法，其特征在于，包括：
对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；
根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；
将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。
2.根据权利要求1所述的方法，其特征在于，所述根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，包括：
对所述第一遮罩图像分别检测到上分位数和下分位数；
根据所述上分位数和所述下分位数确定分位数参量，所述分位数参量包括：由灰度值上限和灰度值下限组成的灰度区间，所述灰度值上限为所述上分位数，所述灰度值下限为所述下分位数；
将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内，调整后的所有像素点组成第二遮罩图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内之后，还包括：
在所述灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理。
4.根据权利要求2所述的方法，其特征在于，所述将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内，包括：
判断所述每个像素点的阿尔法通道分量是否大于所述灰度值上限，以及是否小于所述灰度值下限；
若调整前的像素点的阿尔法通道分量大于所述灰度值上限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值上限；或者，
若调整前的像素点的阿尔法通道分量小于所述灰度值下限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值下限；或者，
若像素点的阿尔法通道向量大于或等于所述灰度值下限，且小于或等于所述灰度值上限，保持像素点的阿尔法通道分量的取值不变。
5.根据权利要求3所述的方法，其特征在于，所述在所述灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理，包括：
根据所述灰度值上限和所述灰度值下限获取到所述灰度区间的区间长度；
根据所述灰度值区间的区间长度和所述灰度值下限增大所述每个像素点的阿尔法通道分量的取值。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，所述方法还包括：
对所述第二遮罩图像进行开操作处理，和/或，对所述第二遮罩图像进行闭操作处理。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像之后，所述方法还包括：
使用预置的高斯核对所述第二遮罩图像进行高斯模糊处理。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像之前，所述方法还包括：
对所述当前图像帧中每个像素点进行缩小处理，得到缩小后的当前图像帧；
所述对获取到的当前图像帧进行绿幕抠图处理，包括：
对所述缩小后的当前图像帧进行绿幕抠图处理。
9.一种图像的处理装置，其特征在于，包括：
绿幕处理模块，用于对获取到的当前图像帧进行绿幕抠图处理，得到第一遮罩图像，所述第一遮罩图像包括：第一前景目标图像和第一背景幕布图像；
阿尔法通道调整模块，用于根据预置的分位数参量对所述第一遮罩图像中每个像素点的阿尔法通道分量进行调整，得到第二遮罩图像，所述第二遮罩图像包括：第二前景目标图像和第二背景幕布图像；
背景替换模块，用于将所述第二遮罩图像中的所述第二背景幕布图像替换为预置的背景模板图像，并输出所述第二前景目标图像和所述背景模板图像进行融合后的图像结果。
10.根据权利要求9所述的装置，其特征在于，所述阿尔法通道调整模块，包括：
分位数检测模块，用于对所述第一遮罩图像分别检测到上分位数和下分位数；
分位数参量确定模块，用于根据所述上分位数和所述下分位数确定分位数参量，所述分位数参量包括：由灰度值上限和灰度值下限组成的灰度区间，所述灰度值上限为所述上分位数，所述灰度值下限为所述下分位数；
灰度值调整模块，用于将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内，调整后的所有像素点组成第二遮罩图像。
11.根据权利要求10所述的装置，其特征在于，所述阿尔法通道调整模块，还包括：拉伸模块，用于所述灰度值调整模块将所述第一遮罩图像中每个像素点的阿尔法通道分量分别调整到所述灰度区间内之后，在所述灰度区间内的所有像素点的阿尔法通道分量进行线性拉伸处理。
12.根据权利要求10所述的装置，其特征在于，所述灰度值调整模块，具体用于判断所述每个像素点的阿尔法通道分量是否大于所述灰度值上限，以及是否小于所述灰度值下限；若调整前的像素点的阿尔法通道分量大于所述灰度值上限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值上限；或者，若调整前的像素点的阿尔法通道分量小于所述灰度值下限，将所述调整前的像素点的阿尔法通道分量调整为所述灰度值下限；或者，若像素点的阿尔法通道向量大于或等于所述灰度值下限，且小于或等于所述灰度值上限，保持像素点的阿尔法通道分量的取值不变。
13.根据权利要求11所述的装置，其特征在于，所述拉伸模块，具体用于根据所述灰度值上限和所述灰度值下限获取到所述灰度区间的区间长度；根据所述灰度值区间的区间长度和所述灰度值下限增大所述每个像素点的阿尔法通道分量的取值。
14.根据权利要求9至13中任一项所述的装置，其特征在于，所述图像的处理装置，还包括：缩放模块，用于所述绿幕处理模块对获取到的当前图像帧进行绿幕抠图处理之前，对所述当前图像帧中每个像素点进行缩小处理，得到缩小后的当前图像帧；
所述绿幕处理模块，具体用于对所述缩小后的当前图像帧进行绿幕抠图处理。
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-8任意一项所述的方法。
CN201710657280.7A 2017-08-03 2017-08-03 一种图像的处理方法、装置以及存储介质 Active CN107230182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710657280.7A CN107230182B (zh) 2017-08-03 2017-08-03 一种图像的处理方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710657280.7A CN107230182B (zh) 2017-08-03 2017-08-03 一种图像的处理方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN107230182A true CN107230182A (zh) 2017-10-03
CN107230182B CN107230182B (zh) 2021-11-09

Family

ID=59958126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710657280.7A Active CN107230182B (zh) 2017-08-03 2017-08-03 一种图像的处理方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN107230182B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124194A (zh) * 2017-12-28 2018-06-05 北京奇艺世纪科技有限公司 一种视频直播方法、装置及电子设备
CN108171677A (zh) * 2017-12-07 2018-06-15 腾讯科技（深圳）有限公司 一种图像处理方法及相关设备
CN109285160A (zh) * 2018-08-29 2019-01-29 成都品果科技有限公司 一种抠像方法与***
CN109413338A (zh) * 2018-09-28 2019-03-01 北京戏精科技有限公司 一种实时图像处理的方法及***
CN109544587A (zh) * 2018-10-31 2019-03-29 深圳变设龙信息科技有限公司 一种抠图处理方法、装置及终端设备
CN110136163A (zh) * 2019-04-29 2019-08-16 中国科学院自动化研究所 手部运动模糊自动抠图及在人体软分割和背景更换的应用
CN110516534A (zh) * 2018-09-26 2019-11-29 惠州学院 一种基于语义分析的视频处理方法及装置
CN110853071A (zh) * 2018-08-21 2020-02-28 Tcl集团股份有限公司 图像编辑方法及终端设备
CN110956592A (zh) * 2019-11-14 2020-04-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN111208521A (zh) * 2020-01-14 2020-05-29 武汉理工大学 一种多波束前视声呐水下障碍物鲁棒检测方法
CN112102219A (zh) * 2020-11-10 2020-12-18 卡莱特（深圳）云科技有限公司 一种图像中图文抠取方法及装置
CN112129345A (zh) * 2020-09-14 2020-12-25 安徽军松现代农业科技有限公司 一种基于数据采集的土壤监测的环境监测***
CN112235520A (zh) * 2020-12-07 2021-01-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112561906A (zh) * 2020-12-24 2021-03-26 百果园技术(新加坡)有限公司 一种图像处理方法、装置、设备及介质
CN112752038A (zh) * 2020-12-28 2021-05-04 广州虎牙科技有限公司 背景替换方法、装置、电子设备及计算机可读存储介质
CN113274729A (zh) * 2021-06-24 2021-08-20 腾讯科技（深圳）有限公司 基于虚拟场景的互动观察方法、装置、设备及介质
CN113382276A (zh) * 2021-06-09 2021-09-10 湖南快乐阳光互动娱乐传媒有限公司 一种图片处理方法及***
WO2022188056A1 (zh) * 2021-03-10 2022-09-15 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN117522717A (zh) * 2024-01-03 2024-02-06 支付宝(杭州)信息技术有限公司 一种图像的合成方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1635294A1 (en) * 2004-09-10 2006-03-15 Avid Technology, Inc. Graphical user interface for a keyer
CN101764914A (zh) * 2008-12-10 2010-06-30 新奥特（北京）视频技术有限公司 一种阿尔法通道边界腐蚀的方法
CN105100646A (zh) * 2015-08-31 2015-11-25 北京奇艺世纪科技有限公司 视频处理方法和装置
CN105120185A (zh) * 2015-08-27 2015-12-02 新奥特（北京）视频技术有限公司 一种视频图像抠像方法与装置
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN105681686A (zh) * 2015-12-31 2016-06-15 北京奇艺世纪科技有限公司 一种图像处理方法和***
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1635294A1 (en) * 2004-09-10 2006-03-15 Avid Technology, Inc. Graphical user interface for a keyer
CN101764914A (zh) * 2008-12-10 2010-06-30 新奥特（北京）视频技术有限公司 一种阿尔法通道边界腐蚀的方法
CN105120185A (zh) * 2015-08-27 2015-12-02 新奥特（北京）视频技术有限公司 一种视频图像抠像方法与装置
CN105100646A (zh) * 2015-08-31 2015-11-25 北京奇艺世纪科技有限公司 视频处理方法和装置
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置
CN105681686A (zh) * 2015-12-31 2016-06-15 北京奇艺世纪科技有限公司 一种图像处理方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROBERTO ROSAS-ROMERO ET AL: "Learning matte extraction in green screen images with MLP classifiers and the back-propagation algorithm", 《 2016 INTERNATIONAL CONFERENCE ON ELECTRONICS, COMMUNICATIONS AND COMPUTERS (CONIELECOMP)》 *
周娟: "影视后期制作中AE抠像技术的教学研究", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171677A (zh) * 2017-12-07 2018-06-15 腾讯科技（深圳）有限公司 一种图像处理方法及相关设备
CN108124194A (zh) * 2017-12-28 2018-06-05 北京奇艺世纪科技有限公司 一种视频直播方法、装置及电子设备
CN110853071A (zh) * 2018-08-21 2020-02-28 Tcl集团股份有限公司 图像编辑方法及终端设备
CN109285160A (zh) * 2018-08-29 2019-01-29 成都品果科技有限公司 一种抠像方法与***
CN110516534A (zh) * 2018-09-26 2019-11-29 惠州学院 一种基于语义分析的视频处理方法及装置
CN110659562A (zh) * 2018-09-26 2020-01-07 惠州学院 一种深度学习(dnn)的课堂学习行为分析方法及装置
CN109413338A (zh) * 2018-09-28 2019-03-01 北京戏精科技有限公司 一种实时图像处理的方法及***
CN109544587A (zh) * 2018-10-31 2019-03-29 深圳变设龙信息科技有限公司 一种抠图处理方法、装置及终端设备
CN110136163A (zh) * 2019-04-29 2019-08-16 中国科学院自动化研究所 手部运动模糊自动抠图及在人体软分割和背景更换的应用
CN110956592A (zh) * 2019-11-14 2020-04-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN110956592B (zh) * 2019-11-14 2023-07-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN111208521A (zh) * 2020-01-14 2020-05-29 武汉理工大学 一种多波束前视声呐水下障碍物鲁棒检测方法
CN112129345A (zh) * 2020-09-14 2020-12-25 安徽军松现代农业科技有限公司 一种基于数据采集的土壤监测的环境监测***
CN112102219A (zh) * 2020-11-10 2020-12-18 卡莱特（深圳）云科技有限公司 一种图像中图文抠取方法及装置
CN112235520A (zh) * 2020-12-07 2021-01-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112561906A (zh) * 2020-12-24 2021-03-26 百果园技术(新加坡)有限公司 一种图像处理方法、装置、设备及介质
CN112752038A (zh) * 2020-12-28 2021-05-04 广州虎牙科技有限公司 背景替换方法、装置、电子设备及计算机可读存储介质
CN112752038B (zh) * 2020-12-28 2024-04-19 广州虎牙科技有限公司 背景替换方法、装置、电子设备及计算机可读存储介质
WO2022188056A1 (zh) * 2021-03-10 2022-09-15 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN113382276A (zh) * 2021-06-09 2021-09-10 湖南快乐阳光互动娱乐传媒有限公司 一种图片处理方法及***
CN113274729A (zh) * 2021-06-24 2021-08-20 腾讯科技（深圳）有限公司 基于虚拟场景的互动观察方法、装置、设备及介质
CN113274729B (zh) * 2021-06-24 2023-08-22 腾讯科技（深圳）有限公司 基于虚拟场景的互动观察方法、装置、设备及介质
CN117522717A (zh) * 2024-01-03 2024-02-06 支付宝(杭州)信息技术有限公司 一种图像的合成方法、装置及设备
CN117522717B (zh) * 2024-01-03 2024-04-19 支付宝(杭州)信息技术有限公司 一种图像的合成方法、装置及设备

Also Published As

Publication number Publication date
CN107230182B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN107230182A (zh) 一种图像的处理方法、装置以及存储介质
CN107230192B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN110136183B (zh) 一种图像处理的方法、装置以及摄像装置
CN106156730B (zh) 一种人脸图像的合成方法和装置
CN108287744A (zh) 文字显示方法、装置及存储介质
CN109919836A (zh) 视频抠像处理方法、视频抠像处理客户端及可读存储介质
CN108230232A (zh) 一种图像处理的方法以及相关装置
CN108198146A (zh) 一种降噪方法、设备和计算机可读存储介质
CN108170817A (zh) 照片主体的演变视频获取方法、装置及可读存储介质
CN107895352A (zh) 一种图像处理方法及移动终端
CN108055463A (zh) 图像处理方法、终端及存储介质
CN107220951A (zh) 人脸图像降噪方法、装置、存储介质及计算机设备
CN106993136A (zh) 移动终端及其基于多摄像头的图像降噪方法和装置
CN107886321A (zh) 一种支付方法及移动终端
CN107909540A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109300099A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN108197206A (zh) 表情包生成方法、移动终端及计算机可读存储介质
CN108182664A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN112188708A (zh) 一种基于移动终端的音乐伴奏方法、装置及终端设备
CN106101810B (zh) 用于智能电视的界面主题变换方法、装置及智能电视
CN107563975A (zh) 图像亮度调节方法、终端及计算机可读存储介质
CN108111691A (zh) 一种控制屏幕的方法、装置及计算机可读存储介质
CN113888447A (zh) 一种图像处理方法、终端及存储介质
CN108320265A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN112598678A (zh) 一种图像处理方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant