CN108171677A - 一种图像处理方法及相关设备 - Google Patents

一种图像处理方法及相关设备 Download PDF

Info

Publication number
CN108171677A
CN108171677A CN201711293350.1A CN201711293350A CN108171677A CN 108171677 A CN108171677 A CN 108171677A CN 201711293350 A CN201711293350 A CN 201711293350A CN 108171677 A CN108171677 A CN 108171677A
Authority
CN
China
Prior art keywords
image
mask
pixel
gray value
grayscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711293350.1A
Other languages
English (en)
Other versions
CN108171677B (zh
Inventor
周景锦
程培
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711293350.1A priority Critical patent/CN108171677B/zh
Publication of CN108171677A publication Critical patent/CN108171677A/zh
Application granted granted Critical
Publication of CN108171677B publication Critical patent/CN108171677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法及相关设备,包括:对第一图像进行处理得到第一灰度掩膜;对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。采用本发明实施例,可以提高图像的显示效果。

Description

一种图像处理方法及相关设备
技术领域
本发明涉及图像处理领域,尤其涉及一种图像处理方法及相关设备。
背景技术
绿幕技术可以应用于很多场景,比如,天气预报、新闻直播或电影特效等,主持人或者演员只需要在纯色幕布(如,绿幕或蓝幕)前活动,摄影机拍下视频图像后,对视频图像进行处理提取出前景图像,最后将前景图像与背景图像进行融合,从而展现出在主持人或者演员在各种虚拟场景下活动的画面。此外,在视频直播领域,主播只需要布置一块绿幕,然后选择自己想要的背景场景,就能提升视频直播的视觉效果。
在现有技术方案中,首先通过绿幕算法对图像进行处理得到初始灰度掩膜,然后对初始灰度掩膜(mask)进行高斯模糊处理产生最终灰度掩膜,将最终灰度掩膜、原始图像和背景图像进行融合处理得到新的图像,从而改善掩膜的边缘锯齿或不连续的问题,但是,这种处理方式只考虑了像素点的局部信息,最后处理得到的图像的显示效果并不理想。
发明内容
本发明实施例提供了一种图像处理方法及相关设备,解决了图像显示效果不佳的问题。
第一方面,本发明实施例提供了一种图像处理方法,包括:
对第一图像进行处理得到第一灰度掩膜;
对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;
根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;
将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;
对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
其中,所述根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘包括:
将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。
其中,所述对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像包括:
对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;
根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
其中,所述根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值包括:
计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;
将所述加权平均值作为所述第二图像中所述像素点的灰度值。
其中,所述前景图像中所述像素点对应的权值为预设透明值。
其中,所述对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜包括:
获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;
选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。
其中,所述对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像之前,还包括:
对所述第二灰度掩膜进行高斯模糊处理。
其中,所述对所述第二灰度掩膜进行高斯模糊处理包括:
获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;
根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;
根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。
第二方面,本发明实施例提供了一种图像处理装置,包括:
处理模块,用于对第一图像进行处理得到第一灰度掩膜;
所述处理模块,还用于对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;
所述处理模块,还用于根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;
融合模块,用于将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;
所述融合模块,还用于对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
其中,所述处理模块,还用于将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。
其中,所述融合模块具体用于:
对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;
根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
其中,所述融合模块,还用于计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;将所述加权平均值作为所述第二图像中所述像素点的灰度值。
其中,所述前景图像中所述像素点对应的权值为预设透明值。
其中,所述处理模块,还用于获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。
其中,所述处理模块,还用于对所述第二灰度掩膜进行高斯模糊处理。
其中,所述处理模块具体用于:
获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;
根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;
根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。
第三方面,本申请提供了一种图像处理设备,包括:处理器、存储器和通信总线,其中,通信总线用于实现处理器和存储器之间连接通信,处理器执行存储器中存储的程序用于实现上述第一方面提供的一种图像处理方法中的步骤。
在一个可能的设计中,本申请提供的图像处理设备可以包含用于执行上述方法中行为相对应的模块。模块可以是软件和/或是硬件。
本发明的又一方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载并执行上述各方面所述的方法。
本发明的又一方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
实施本发明实施例,首先对第一图像进行处理得到第一灰度掩膜;对第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;然后根据第一灰度掩膜和腐蚀后的掩膜,确定第一图像的掩膜边缘;将掩膜边缘叠加到第一灰度掩膜上得到第二灰度掩膜;最后对第二灰度掩膜、第一图像以及背景图像进行融合处理得到第二图像。由于掩膜边缘区域是前景图像和背景图像的过度区域,在对图像进行模糊处理时,通过对掩膜的边缘进行加强,使得该过度区域更加平滑自然,提高了图像的显示效果。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本发明实施例提供的一种图像处理***的结构示意图;
图2是本发明实施例提供的一种图像处理方法的流程示意图;
图3(A)是本发明实施例提供的一种第一图像的示意图;
图3(B)是本发明实施例提供的一种第一灰度掩膜的示意图;
图4是本发明实施例提供的一种像素点的示意图;
图5是本发明实施例提供的一种边缘检测的示意图;
图6是本发明实施例提供的一种图像融合的示意图;
图7是本发明另一实施例提供的一种图像处理方法的流程示意图;
图8是本发明实施例提供的一种图像处理装置的结构示意图;
图9是本发明实施例提出的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种图像处理***的结构示意图,该图像处理***可以包括摄像机101、服务器102以及用户设备103,摄像机101可以用于在纯色幕布(如,绿幕或蓝幕)下拍摄视频图像或照片,并将拍摄的视频图像或照片上传给服务器102。服务器102用于通过绿幕算法对视频图像或照片进行处理提取出前景图像,然后将前景图像与背景图像进行融合,最后将融合后的视频图像或照片发送给用户设备103。用户设备103接收到融合后的视频图像或照片,可以显示各种虚拟场景下活动的画面。
请参见图2,图2是本发明实施例提供的一种图像处理方法的流程示意图,该方法包括但不限于如下步骤:
S201,对第一图像进行处理得到第一灰度掩膜。
具体实现中,可以对第一图像进行分割,判断第一图像中每个像素点的灰度值是否大于预设阈值,如果第一图像中某个像素点的灰度值大于预设阈值,则将该像素点的值确定为1,如果第一图像中某个像素点的灰度值不大于预设阈值,则将该像素点的值确定为0。从而抠出第一图像中纯色背景,保留第一图像中的前景部分,最后分割出来的图像为第一灰度掩膜。其中,该第一灰度掩膜为二值图像,与原图像大小一致,白色部分可以为前景图像,黑色部分为背景部分,灰色部分为前景和背景的边缘。
如图3(A)所示,图3(A)是本发明实施例提供的一种第一图像的示意图。该第一图像包括纯色背景和人物前景,通过绿幕算法对第一图像进行处理。如图3(B)所示,图3(B)是本发明实施例提供的一种第一灰度掩膜的示意图,白色部分为第一图像中的人物前景,黑色部分为第一图像中的背景。
S202,对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜。
具体实现中,可以获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。腐蚀后的掩膜在视觉上比第一灰度掩膜内嵌一圈。
如图4所示,图4中包括9个像素点,其中,中间像素点5的周围的像素点包括像素点1、像素点2、像素点3、像素点4、像素点6、像素点7、像素点8、像素点9。可以分别比较像素点1、像素点2、像素点3、像素点4、像素点6、像素点7、像素点8、像素点9的灰度值的大小,选取其中最小的灰度值作为中间像素点5的灰度值。
可选的,可以使用3x3的结构元素,扫描第一灰度掩膜中的每个像素点,将结构元素与其覆盖的第一灰度掩膜(二值图像)中的9个像素点分别做“与”操作,如果结果都为1,则中间像素点的值为1,否则,中间像素点的值为0。
S203,根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘。其中,该掩膜边缘为前景部分与背景部分之间的边缘。
具体实现中,可以将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。由于腐蚀后的掩膜与第一灰度掩膜相比,仅在掩膜边缘上有所不同,因此将两者作差即可得到掩膜边缘。
S204,将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜。
具体实现中,可以计算掩膜边缘中像素点的灰度值与第一灰度掩膜中所述像素点的灰度值之和作为第二灰度掩膜中像素点的灰度值,从而对第一灰度掩膜的边缘进行了加强,加强后的第一灰度掩膜即为第二灰度掩膜。
如图5所示,图5是本发明实施例提供的一种边缘检测的示意图。如图所示,首先对第一灰度掩膜进行腐蚀得到腐蚀后的掩膜,然后将第一灰度掩膜减去腐蚀后的掩膜得到掩膜边缘,最后将掩膜边缘叠加到第一灰度掩膜上得到第二灰度掩膜。
S205,对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
具体实现中,可以首先选取任意一张背景图像,然后对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;最后根据所述前景图像中像素点的灰度值和选取的所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
进一步的,可以计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;将所述加权平均值作为所述第二图像中所述像素点的灰度值。其中,所述前景图像中所述像素点对应的权值为预设透明值。用户可以将预设透明度设置为0.5,使得合成的图像的边缘达到更加平滑和自然。如下所示:
rbg=foreground*alpha+background*(1-alpha)
其中,foreground为前景图像中像素点的灰度值,alpha为预设透明度,background为背景图像中像素点的灰度值。
如图6所示,图6是本发明实施例提供的一种图像融合的示意图。图中A表示原始图像,B表示边缘加强后的掩膜,C表示背景图像,D为融合后的新的图像。可以首先对原始图像A和边缘加强后的掩膜B进行融合得到前景图像,该前景图像保留人物图像部分,然后对前景图像和背景图像C进行融合,从而将原始图像A中的背景替换为背景图像C得到了新的图像D。
在本发明实施例中,首先对第一图像进行处理得到第一灰度掩膜;对第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;然后根据第一灰度掩膜和腐蚀后的掩膜,确定第一图像的掩膜边缘;将掩膜边缘叠加到第一灰度掩膜上得到第二灰度掩膜;最后对第二灰度掩膜、第一图像以及背景图像进行融合处理得到第二图像。由于掩膜边缘区域是前景图像和背景图像的过度区域,在对图像进行模糊处理时,通过对掩膜的边缘进行加强,使得该过度区域更加平滑自然,提高了图像的显示效果。
请参见图7,图7是本发明另一实施例提供的一种图像处理方法的流程示意图,该方法包括但不限于如下步骤:
S701,对第一图像进行处理得到第一灰度掩膜。与上一实施例的操作步骤相同,本实施例不再赘述。
S702,对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜。与上一实施例的操作步骤相同,本实施例不再赘述。
S703,根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘。与上一实施例的操作步骤相同,本实施例不再赘述。
S704,将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜。与上一实施例的操作步骤相同,本实施例不再赘述。
S705,对所述第二灰度掩膜进行高斯模糊处理。
具体实现中,可以获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。其中,计算各个像素点对应的权值的公式如下所示:
其中,A为常数,x0、y0为目标像素点的坐标,σx、σy为预设的方差,x,y为任意一点的坐标。由公式可知,距离目标像素点的越远的像素点,计算的权值越小;距离目标像素点的越近的像素点,计算的权值越大。各个像素点对应的权值呈正态分布状态。
需要说明的是,在现有技术方案中,在使用高斯模糊进行平滑处理时,由于没有考虑到边缘,简单的高斯模糊虽然使得边缘锯齿有所改善,但是也会造成边缘变的模糊不清,显示不自然。本发明实施例通过腐蚀做差的方式处理得到掩膜边缘,然后将掩膜边缘叠加到灰度掩膜上,对灰度掩膜的边缘进行加强。最后对加强边缘后的掩膜进行高斯模糊处理时,可以达到改善锯齿、同时保持边缘的效果。
S706,对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。与上一实施例的操作步骤相同,本实施例不再赘述。
本发明实施例可以应用于天气预报、新闻直播或电影特效等。例如,在绿幕背景下拍摄演员的武打动作,拍摄的原始视频图像包括绿幕背景和人物前景。首先对原始视频图像进行绿幕处理得到灰度掩膜,灰度掩膜白色部分为人物前景,黑色部分为背景图像,其次对灰度掩膜进行腐蚀,腐蚀后的掩膜在视觉上比腐蚀前的灰度掩膜内嵌一圈。然后将腐蚀前的灰度掩膜减去腐蚀后的灰度掩膜得到掩膜边缘,将掩膜边缘叠加到腐蚀前的灰度掩膜上得到新的灰度掩膜,实现对掩膜边缘进行加强的效果。最后对经过高斯模糊处理的新的掩膜、原始视频图像以及任意选取的背景图像进行合成。当选取的背景图像是玄幻场景时,可以将演员置身于玄幻场景中,向观众展示玄幻效果;当选取的背景图像是山水场景时,可以将演员置身于山水之中,向观众展示不同的美景。由于对背景图像与人物前景之间的掩膜边缘进行加强,在对掩膜进行高斯模糊处理时改善了掩膜边缘的锯齿,使得合成的图像显示更加平滑自然。
上述详细阐述了本发明实施例的方法,下面提供了本发明实施例的装置。
如图8所示,图8是本发明实施例提供的一种图像处理装置的结构示意图。如图所示,本发明实施例中的装置包括:
处理模块801,用于对第一图像进行处理得到第一灰度掩膜。
具体实现中,可以对第一图像进行分割,判断第一图像中每个像素点的灰度值是否大于预设阈值,如果第一图像中某个像素点的灰度值大于预设阈值,则将该像素点的值确定为1,如果第一图像中某个像素点的灰度值不大于预设阈值,则将该像素点的值确定为0。从而抠出第一图像中纯色背景,保留第一图像中的前景部分,最后分割出来的图像为第一灰度掩膜。其中,该第一灰度掩膜为二值图像,与原图像大小一致,白色部分可以为前景图像,黑色部分为背景部分,灰色部分为前景和背景的边缘。
如图3(A)所示,图3(A)是本发明实施例提供的一种第一图像的示意图。该第一图像包括纯色背景和人物前景,通过绿幕算法对第一图像进行处理。如图3(B)所示,图3(B)是本发明实施例提供的一种第一灰度掩膜的示意图,白色部分为第一图像中的人物前景,黑色部分为第一图像中的纯色背景。
处理模块801,还用于对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜。
具体实现中,可以获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。腐蚀后的掩膜在视觉上比第一灰度掩膜内嵌一圈。
如图4所示,图4中包括9个像素点,其中,中间像素点5的周围的像素点包括像素点1、像素点2、像素点3、像素点4、像素点6、像素点7、像素点8、像素点9。可以分别比较像素点1、像素点2、像素点3、像素点4、像素点6、像素点7、像素点8、像素点9的灰度值的大小,选取其中最小的灰度值作为中间像素点5的灰度值。
可选的,可以使用3x3的结构元素,扫描第一灰度掩膜中的每个像素点,将结构元素与其覆盖的第一灰度掩膜(二值图像)中的9个像素点分别做“与”操作,如果结果都为1,则中间像素点的值为1,否则,中间像素点的值为0。
处理模块801,还用于根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘。其中,该掩膜边缘为前景部分与背景部分之间的边缘。
具体实现中,可以将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。由于腐蚀后的掩膜与第一灰度掩膜相比,仅在掩膜边缘上有所不同,因此将两者作差得到掩膜边缘。
可选的,处理模块801,还用于对所述第二灰度掩膜进行高斯模糊处理。
具体的,可以获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。其中,计算各个像素点对应的权值的公式如下所示:
其中,A为常数,x0、y0为目标像素点的坐标,σx、σy为预设的方差,x,y为任意一点的坐标。距离目标像素点的越远的像素点,计算的权值越小;距离目标像素点的越近的像素点,计算的权值越大。像素点对应的权值呈正态分布状态。
需要说明的是,在现有技术方案中,在使用高斯模糊进行平滑处理时,由于没有考虑到边缘,简单的高斯模糊虽然使得边缘锯齿有所改善,但是也会造成边缘变的模糊不清,显示不自然。本发明实施例通过腐蚀做差的方式处理得到掩膜边缘,然后将掩膜边缘叠加到灰度掩膜上,对灰度掩膜的边缘进行加强。最后对加强边缘后的掩膜进行高斯模糊处理时,可以达到改善锯齿、同时保持边缘的效果。
融合模块802,还用于将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜。
具体实现中,可以计算掩膜边缘中像素点的灰度值与第一灰度掩膜中所述像素点的灰度值之和作为第二灰度掩膜中像素点的灰度值,从而对第一灰度掩膜的边缘进行了加强,加强后的第一灰度掩膜即为第二灰度掩膜。
如图5所示,图5是本发明实施例提供的一种边缘检测的示意图。如图所示,首先对第一灰度掩膜进行腐蚀得到腐蚀后的掩膜,然后将第一灰度掩膜减去腐蚀后的掩膜得到掩膜边缘,最后将掩膜边缘叠加到第一灰度掩膜上得到第二灰度掩膜。
融合模块802,还用于对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
具体实现中,可以首先选取任意一张背景图像,然后对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;最后根据所述前景图像中像素点的灰度值和选取的所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
进一步的,可以计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;将所述加权平均值作为所述第二图像中所述像素点的灰度值。其中,所述前景图像中所述像素点对应的权值为预设透明值。用户可以将预设透明度设置为0.5,使得合成的图像的边缘达到更加平滑和自然。如下所示:
rbg=foreground*alpha+background*(1-alpha)
其中,foreground为前景图像中像素点的灰度值,alpha为预设透明度,background为背景图像中像素点的灰度值。
如图6所示,图6是本发明实施例提供的一种图像融合的示意图。图中A表示原始图像,B表示边缘加强后的掩膜,C表示背景图像,D为融合后的新的图像。可以首先对原始图像A和边缘加强后的掩膜B进行融合得到前景图像,该前景图像保留人物图像部分,然后对前景图像和背景图像C进行融合,从而将原始图像A中的背景替换为背景图像C得到了新的图像D。
本发明实施例可以应用于天气预报、新闻直播或电影特效等。例如,在绿幕背景下拍摄演员的武打动作,拍摄的原始视频图像包括绿幕背景和人物前景。首先对原始视频图像进行绿幕处理得到灰度掩膜,灰度掩膜白色部分为人物前景,黑色部分为背景图像,其次对灰度掩膜进行腐蚀,腐蚀后的掩膜在视觉上比腐蚀前的灰度掩膜内嵌一圈。然后将腐蚀前的灰度掩膜减去腐蚀后的灰度掩膜得到掩膜边缘,将掩膜边缘叠加到腐蚀前的灰度掩膜上得到新的灰度掩膜,实现对掩膜边缘进行加强的效果。最后对经过高斯模糊处理的新的掩膜、原始视频图像以及任意选取的背景图像进行合成。当选取的背景图像是玄幻场景时,可以将演员置身于玄幻场景中,向观众展示玄幻效果;当选取的背景图像是山水场景时,可以将演员置身于山水之中,向观众展示不同的美景。由于对背景图像与人物前景之间的掩膜边缘进行加强,在对掩膜进行高斯模糊处理时改善了掩膜边缘的锯齿,使得合成的图像显示更加平滑自然。
在本发明实施例中,首先对第一图像进行处理得到第一灰度掩膜;对第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;然后根据第一灰度掩膜和腐蚀后的掩膜,确定第一图像的掩膜边缘;将掩膜边缘叠加到第一灰度掩膜上得到第二灰度掩膜;最后对第二灰度掩膜、第一图像以及背景图像进行融合处理得到第二图像。由于掩膜边缘区域是前景图像和背景图像的过度区域,在对图像进行模糊处理时,通过对掩膜的边缘进行加强,使得该过度区域更加平滑自然,提高了图像的显示效果。
请继续参考图9,图9是本发明实施例提出的一种图像处理设备的结构示意图。如图所示,该图像处理设备可以包括:至少一个处理器901,至少一个通信接口902,至少一个存储器903和至少一个通信总线904。
其中,处理器901可以是中央处理器单元,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。通信总线904可以是外设部件互连标准PCI总线或扩展工业标准结构EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信总线904用于实现这些组件之间的连接通信。其中,本申请实施例中设备的通信接口902用于与其他节点设备进行信令或数据的通信。存储器903可以包括易失性存储器,例如非挥发性动态随机存取内存(Nonvolatile Random Access Memory,NVRAM)、相变化随机存取内存(PhaseChange RAM,PRAM)、磁阻式随机存取内存(Magetoresistive RAM,MRAM)等,还可以包括非易失性存储器,例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、闪存器件,例如反或闪存(NORflash memory)或是反及闪存(NAND flash memory)、半导体器件,例如固态硬盘(SolidState Disk,SSD)等。存储器903可选的还可以是至少一个位于远离前述处理器901的存储装置。存储器903中存储一组程序代码,且处理器901执行存储器903中的程序。
对第一图像进行处理得到第一灰度掩膜;
对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;
根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;
将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;
对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
可选的,处理器901还用于执行如下操作步骤:
将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。
可选的,处理器901还用于执行如下操作步骤:
对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;
根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
可选的,处理器901还用于执行如下操作步骤:
计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;
将所述加权平均值作为所述第二图像中所述像素点的灰度值。
其中,所述前景图像中所述像素点对应的权值为预设透明值。
可选的,处理器901还用于执行如下操作步骤:
获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;
选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。
可选的,处理器901还用于执行如下操作步骤:
对所述第二灰度掩膜进行高斯模糊处理。
可选的,处理器901还用于执行如下操作步骤:
获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;
根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;
根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。
进一步的,处理器还可以与存储器和通信接口相配合,执行上述发明实施例中图像处理装置的操作。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法,其特征在于,所述方法包括:
对第一图像进行处理得到第一灰度掩膜;
对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;
根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;
将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;
对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘包括:
将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。
3.如权利要求1所述的方法,其特征在于,所述对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像包括:
对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;
根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
4.如权利要求3所述的方法,其特征在于,所述根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值包括:
计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;
将所述加权平均值作为所述第二图像中所述像素点的灰度值。
5.如权利要求4所述的方法,其特征在于,所述前景图像中所述像素点对应的权值为预设透明值。
6.如权利要求1-5任一项所述的方法,其特征在于,所述对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜包括:
获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;
选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。
7.如权利要求1-5任一项所述的方法,其特征在于,所述对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像之前,还包括:
对所述第二灰度掩膜进行高斯模糊处理。
8.如权利要求7所述的方法,其特征在于,所述对所述第二灰度掩膜进行高斯模糊处理包括:
获取所述第二灰度掩膜中目标像素点周围的其他各个像素点与所述目标像素点的距离;
根据所述其他各个像素点与所述目标像素点的距离,确定所述其他各个像素点对应的权值;
根据所述其他各个像素点对应的权值,计算所述其他各个像素点的灰度值的加权平均值作为经过高斯模糊处理后的所述第二灰度掩膜中所述目标像素点的灰度值。
9.一种图像处理装置,其特征在于,所述装置包括:
处理模块,用于对第一图像进行处理得到第一灰度掩膜;
所述处理模块,还用于对所述第一灰度掩膜进行腐蚀处理得到腐蚀后的掩膜;
所述处理模块,还用于根据所述第一灰度掩膜和所述腐蚀后的掩膜,确定所述第一图像的掩膜边缘;
融合模块,用于将所述掩膜边缘叠加到所述第一灰度掩膜上得到第二灰度掩膜;
所述融合模块,还用于对所述第二灰度掩膜、所述第一图像以及背景图像进行融合处理得到第二图像。
10.如权利要求9所述的装置,其特征在于,
所述处理模块,还用于将所述第一灰度掩膜中像素点的灰度值减去所述腐蚀后的掩膜中所述像素点的灰度值,计算得到所述掩膜边缘中所述像素点的灰度值。
11.如权利要求9所述的装置,其特征在于,所述融合模块具体用于:
对所述第二灰度掩膜和所述第一图像进行融合处理得到前景图像;
根据所述前景图像中像素点的灰度值和所述背景图像中所述像素点的灰度值,确定所述第二图像中所述像素点的灰度值。
12.如权利要求11所述的装置,其特征在于,
所述融合模块,还用于计算所述前景图像中所述像素点的灰度值和所述背景图像中所述像素点的灰度值的加权平均值;将所述加权平均值作为所述第二图像中所述像素点的灰度值。
13.如权利要求12所述的装置,其特征在于,所述前景图像中所述像素点对应的权值为预设透明值。
14.如权利要求9-13任一项所述的装置,其特征在于,所述处理模块,还用于获取所述第一灰度掩膜中目标像素点周围的其他各个像素点的灰度值;选取所述其他各个像素点的灰度值中最小的一个作为所述腐蚀后的掩膜中所述目标像素点的灰度值。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-8任一项所述的方法。
CN201711293350.1A 2017-12-07 2017-12-07 一种图像处理方法及相关设备 Active CN108171677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711293350.1A CN108171677B (zh) 2017-12-07 2017-12-07 一种图像处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711293350.1A CN108171677B (zh) 2017-12-07 2017-12-07 一种图像处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN108171677A true CN108171677A (zh) 2018-06-15
CN108171677B CN108171677B (zh) 2023-03-24

Family

ID=62525575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711293350.1A Active CN108171677B (zh) 2017-12-07 2017-12-07 一种图像处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN108171677B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298813A (zh) * 2019-06-28 2019-10-01 北京金山安全软件有限公司 一种处理图片的方法、装置及电子设备
CN110717919A (zh) * 2019-10-15 2020-01-21 阿里巴巴(中国)有限公司 图像处理方法、装置、介质和计算设备
CN111127303A (zh) * 2018-11-01 2020-05-08 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及计算机可读存储介质
CN111179282A (zh) * 2019-12-27 2020-05-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN112381222A (zh) * 2020-11-12 2021-02-19 北京乐学帮网络技术有限公司 一种样本生成方法、装置、计算机设备和存储介质
CN112561847A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN112927144A (zh) * 2019-12-05 2021-06-08 北京迈格威科技有限公司 图像增强方法、图像增强装置、介质和电子设备
CN113965790A (zh) * 2020-07-20 2022-01-21 Tcl科技集团股份有限公司 一种图像显示的处理方法、存储介质及终端设备
CN114816169A (zh) * 2022-06-29 2022-07-29 荣耀终端有限公司 桌面图标的显示方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214355A (zh) * 2011-05-20 2011-10-12 西安工程大学 一种服装展示素材的抠图方法
CN105100646A (zh) * 2015-08-31 2015-11-25 北京奇艺世纪科技有限公司 视频处理方法和装置
CN105450946A (zh) * 2014-06-09 2016-03-30 华为技术有限公司 一种图像处理方法、装置及计算装置
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的***和方法
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN107123088A (zh) * 2017-04-21 2017-09-01 山东大学 一种自动更换证件照背景颜色的方法
CN107230182A (zh) * 2017-08-03 2017-10-03 腾讯科技(深圳)有限公司 一种图像的处理方法、装置以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214355A (zh) * 2011-05-20 2011-10-12 西安工程大学 一种服装展示素材的抠图方法
CN105450946A (zh) * 2014-06-09 2016-03-30 华为技术有限公司 一种图像处理方法、装置及计算装置
CN105100646A (zh) * 2015-08-31 2015-11-25 北京奇艺世纪科技有限公司 视频处理方法和装置
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN106097380A (zh) * 2016-08-03 2016-11-09 中国电力科学研究院 一种基于图像的绝缘子芯棒缺陷在线检测的***和方法
CN107123088A (zh) * 2017-04-21 2017-09-01 山东大学 一种自动更换证件照背景颜色的方法
CN107230182A (zh) * 2017-08-03 2017-10-03 腾讯科技(深圳)有限公司 一种图像的处理方法、装置以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHU XINJUAN ET AL.: "Apparel image matting and applications in e-commerce", 《2011 6TH IEEE JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE》 *
胡媛媛: "基于形态学的图像分割方法的研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127303A (zh) * 2018-11-01 2020-05-08 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及计算机可读存储介质
CN110298813A (zh) * 2019-06-28 2019-10-01 北京金山安全软件有限公司 一种处理图片的方法、装置及电子设备
CN110717919A (zh) * 2019-10-15 2020-01-21 阿里巴巴(中国)有限公司 图像处理方法、装置、介质和计算设备
CN112927144A (zh) * 2019-12-05 2021-06-08 北京迈格威科技有限公司 图像增强方法、图像增强装置、介质和电子设备
CN111179282A (zh) * 2019-12-27 2020-05-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111179282B (zh) * 2019-12-27 2024-04-23 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111598903B (zh) * 2020-05-21 2023-09-29 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN111598903A (zh) * 2020-05-21 2020-08-28 Oppo广东移动通信有限公司 人像分割方法、装置、存储介质和电子设备
CN113965790A (zh) * 2020-07-20 2022-01-21 Tcl科技集团股份有限公司 一种图像显示的处理方法、存储介质及终端设备
CN112381222A (zh) * 2020-11-12 2021-02-19 北京乐学帮网络技术有限公司 一种样本生成方法、装置、计算机设备和存储介质
CN112561847A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN112561847B (zh) * 2020-12-24 2024-04-12 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN114816169A (zh) * 2022-06-29 2022-07-29 荣耀终端有限公司 桌面图标的显示方法、设备及存储介质

Also Published As

Publication number Publication date
CN108171677B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN108171677A (zh) 一种图像处理方法及相关设备
Cui et al. Multitask aet with orthogonal tangent regularity for dark object detection
Wang et al. Gladnet: Low-light enhancement network with global awareness
Yang et al. Image correction via deep reciprocating HDR transformation
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN108335279B (zh) 图像融合和hdr成像
CN108668093B (zh) Hdr图像的生成方法及装置
CN107749062B (zh) 图像处理方法、及装置
US9098534B2 (en) Image display system, image display method, social network service system, and computer-readable medium
CN110889824A (zh) 一种样本生成方法、装置、电子设备及计算机可读存储介质
CN109785264B (zh) 图像增强方法、装置及电子设备
Guo et al. Single image dehazing based on fusion strategy
CN112767281A (zh) 图像鬼影消除方法、装置、电子设备及存储介质
CN107105172B (zh) 一种用于对焦的方法和装置
CN112561777A (zh) 图像添加光斑的方法及装置
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
KR100875780B1 (ko) 화상 처리 장치 및 방법, 및 촬상 장치
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN113487473B (zh) 一种添加图像水印的方法、装置、电子设备及存储介质
JP2009237927A (ja) 画像合成方法及び装置
CN112887639A (zh) 图像处理方法、装置、***、电子设备以及存储介质
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant