CN113538210A - 一种提取局部高光的方法和装置 - Google Patents
一种提取局部高光的方法和装置 Download PDFInfo
- Publication number
- CN113538210A CN113538210A CN202010317136.0A CN202010317136A CN113538210A CN 113538210 A CN113538210 A CN 113538210A CN 202010317136 A CN202010317136 A CN 202010317136A CN 113538210 A CN113538210 A CN 113538210A
- Authority
- CN
- China
- Prior art keywords
- gray
- value
- highlight
- image
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 101
- 230000009467 reduction Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种提取局部高光的方法和装置，涉及计算机视觉技术领域。该方法的一具体实施方式包括：从待处理图像中提取局部图像，将所述局部图像转换成灰度图；计算所述灰度图的平均灰度值；根据所述灰度图和所述平均灰度值，计算所述局部图像的离散高光，对所述离散高光进行高斯模糊处理，从而得到所述局部图像的高光信息。该实施方式能够解决处理速度无法实时、需要较多的人为参与和高光效果不真实的技术问题。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种提取局部高光的 方法和装置。
背景技术
增强局部高光效果利用特定的图像处理算法增强图像中局部区域 的高光质感，在虚拟唇彩或者美颜相机中有重要的应用。目前，增强 局部高光效果的方法主要如下：
1)对静态图像针对性的提取高光：利用专业软件(如photoshop 等)，有针对性地对静态图像进行局部提高光处理，处理效果主要依 赖于操作人员的专业技能。
2)基于深度学习的高光提取方法：提取的特征主要是目标的会灰 度、颜色等信息提取，通过深度学习网络提取高光位置以及置信度， 后续将置信度当作此位置的高光量进行模糊计算。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1)对静态图像针对性的提取高光：处理速度慢，无法实时处理视 频图像；整个过程需要美术人员参与，不同的图像需要针对性的处理； 处理效果主要依赖于美术人员的专业技能水平，差异较大；
2)基于深度学习的高光提取方法：需要执行大量的计算，运行时 间一般达到10ms以上，伴随产生较高的功耗；提取的高光往往是非常 孤立的高光点，很难实现比较真实的高光；需要一个深度学习框架和 对应的深度学习模型，体积较大。
发明内容
有鉴于此，本发明实施例提供一种提取局部高光的方法和装置， 以解决处理速度无法实时、需要较多的人为参与和高光效果不真实的 技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种提 取局部高光的方法，包括：
从待处理图像中提取局部图像，将所述局部图像转换成灰度图；
计算所述灰度图的平均灰度值；
根据所述灰度图和所述平均灰度值，计算所述局部图像的离散高 光，对所述离散高光进行高斯模糊处理，从而得到所述局部图像的高 光信息。
可选地，计算所述灰度图的平均灰度值，包括：
对所述灰度图进行多次降分辨率处理；
计算经过多次降分辨率处理的所述灰度图的平均灰度值。
可选地，对所述灰度图进行多次降分辨率处理，包括：
基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的 各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；
重复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的 分辨率为1*1。
可选地，根据所述灰度图和所述平均灰度值，计算所述局部图像 的离散高光，包括：
对于所述灰度图中的每个像素，判断所述像素的灰度值是否小于 等于所述平均灰度值；
若是，则将所述像素的高光置为零；
若否，则基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值。
可选地，基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值，包括：
计算所述像素的灰度值与所述平均灰度值的差值；
计算所述差值的k次方，得到所述像素的高光值；其中，k为增强 系数。
可选地，计算所述灰度图的平均灰度值之前，还包括：
对于所述灰度图的每个像素，将所述像素的R值置为所述像素的 灰度值，G值和B值均置为零，α值置为一。
可选地，对所述离散高光进行高斯模糊处理之后，还包括：
采用分段函数对经过高斯模糊处理的所述离散高光进行增强处理， 使得各个像素的高光值在[0，1]区间范围内。
可选地，从待处理图像中提取局部图像，包括：
根据局部区域的人脸特征点，从待处理图像中确定感兴趣区域；
从所述感兴趣区域中剔除所述人脸特征点之外的区域，从而得到 局部图像。
另外，根据本发明实施例的另一个方面，提供了一种提取局部高 光的装置，包括：
提取模块，用于从待处理图像中提取局部图像，将所述局部图像 转换成灰度图；
计算模块，用于计算所述灰度图的平均灰度值；
处理模块，用于根据所述灰度图和所述平均灰度值，计算所述局 部图像的离散高光，对所述离散高光进行高斯模糊处理，从而得到所 述局部图像的高光信息。
可选地，所述计算模块还用于：
对所述灰度图进行多次降分辨率处理；
计算经过多次降分辨率处理的所述灰度图的平均灰度值。
可选地，所述计算模块还用于：
基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的 各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；
重复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的 分辨率为1*1。
可选地，所述处理模块还用于：
对于所述灰度图中的每个像素，判断所述像素的灰度值是否小于 等于所述平均灰度值；
若是，则将所述像素的高光置为零；
若否，则基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值。
可选地，所述处理模块还用于：
计算所述像素的灰度值与所述平均灰度值的差值；
计算所述差值的k次方，得到所述像素的高光值；其中，k为增强 系数。
可选地，所述计算模块还用于：
计算所述灰度图的平均灰度值之前，对于所述灰度图的每个像素， 将所述像素的R值置为所述像素的灰度值，G值和B值均置为零，α 值置为一。
可选地，所述处理模块还用于：
对所述离散高光进行高斯模糊处理之后，采用分段函数对经过高 斯模糊处理的所述离散高光进行增强处理，使得各个像素的高光值在[0， 1]区间范围内。
可选地，所述提取模块还用于：
根据局部区域的人脸特征点，从待处理图像中确定感兴趣区域；
从所述感兴趣区域中剔除所述人脸特征点之外的区域，从而得到 局部图像。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一 个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质， 其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施 例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用将 局部图像转换为灰度图并计算平均灰度值，从而根据灰度图和平均灰 度值计算局部图像的离散高光以及高斯模糊的技术手段，所以克服了 现有技术中处理速度无法实时、需要较多的人为参与和高光效果不真 实的技术问题。本发明实施例先根据灰度图和平均灰度值计算局部图 像的离散高光，然后对离散高光进行高斯模糊处理，可以提高处理速 度甚至可以实时处理视频图像，还可以优化孤立高光点，使高光效果 真实自然，而且整个过程不需要人为参与。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具 体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的提取局部高光的方法的主要流程的示 意图；
图2a是根据本发明实施例的唇部特征点的分布图；
图2b是根据本发明实施例的感兴趣区域的示意图；
图2c是根据本发明实施例的局部图像的示意图；
图3是根据本发明一个可参考实施例的提取局部高光的方法的主 要流程的示意图；
图4是根据本发明另一个可参考实施例的提取局部高光的方法的 主要流程的示意图；
图5是根据本发明实施例的提取局部高光的装置的主要模块的示 意图；
图6是本发明实施例可以应用于其中的示例性***架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机 ***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发 明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。 因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做 出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清 楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的提取局部高光的方法的主要流程的示 意图。作为本发明的一个实施例，如图1所示，所述提取局部高光的 方法可以包括：
步骤101，从待处理图像中提取局部图像，将所述局部图像转换成 灰度图。
在该步骤中，首先从待处理图像中提取出局部图像，比如唇部区 域的图像、人脸T区的图像或者眉骨区域的图像等，由实际应用场景 决定。然后对提取出的局部图像进行灰度化，从而将所述局部图像转 换成灰度图。
可选地，从待处理图像中提取局部图像，包括：根据局部区域的 人脸特征点，从待处理图像中确定感兴趣区域；从所述感兴趣区域中 剔除所述人脸特征点之外的区域，从而得到局部图像。在本发明的实 施例中，需要先输入人脸图像和人脸特征点，可以输入106个人脸特 征点、280个人脸特征点或者1000个人脸特征点甚至更多的特征点， 通过人脸特征点可以从待处理的人脸图像中准确地定位出感兴趣区域 (ROI)。待处理图像的来源可以是手机、平板、电脑或者其他职能设 备的相机获取、也可以是视频的每一帧图像，还可以采用OpenGLES、 metal、Vulkan、OpenGL等图形API绘制得到。
以提取唇部图像为例，人脸特征点中包括若干个唇部特征点，唇 部特征点的分布位置如图2a所示。
通过人脸特征点中的唇部特征点可以确定一个矩形的唇部区域， 即唇部ROI。可选地，计算唇部ROI的方法：取唇部特征点的包围盒， 即假设P1、P2…Pn为唇部特征点，那么有唇部矩形ROI左上角点Pup， 右下角点Pdown；左上角点的x、y坐标都是ROI中的最小值，右下角 点的x、y坐标都是ROI中的最大值，即
因此，由Pup和Pdown就可以确定ROI的范围，从而定位出ROI。
但是一般情况下，由上述方法计算出的ROI会非常贴合唇部，容 易产生边界问题，因此可以将Pup和Pdown进行一个偏移，扩大ROI，以 确保唇部以及边界均在ROI内部。具体地，假设offset为偏移量，可 以再进行如下处理：
根据偏移量计算得到的唇部ROI如图2b所示。
需要指出的是，offset可以是一个预设的固定值也可以由唇部宽度 计算出(比如唇部宽度的0.1倍、0.05倍等)。
后续的图像处理可以在ROI上进行，这也是使用ROI的目的：在 较小的图像上做图像处理可以很大程度地提高性能，假设输入图像分 辨率为1280*720，其中唇部ROI区域为600*300，对于GPU等处理单 元来说，需要处理的像素数量减少很多，处理性能会有一个量级的提 升。
此外由图2a可见，ROI中除唇部外还有很多皮肤区域，这部分皮 肤在后续的均值和高光计算上都会形成很大的干扰，因此在进行ROI 截取之前可以对原图做一个预处理，预处理方法如下：根据唇部特征 点构建网格，配合网格各顶点的UV设计唇部区域贴图，在着色器中抛 弃除唇部区域之外的图像。类似方法比较多，这里不再细述。因此， 最终得到的剔除皮肤后的唇部ROI(即局部图像)如图2c所示。
得到局部图像后，将所述局部图像转成灰度图。高光是明暗的特 征，因此本发明实施例可以只从灰度图上计算高光。可选地，RGB局 部图像转灰度图可以采用最常规的做法：著名的心理公式，即
gray＝r*0.229+g*0.587+b*0.114
其中，gray为计算出的灰度值，r、g、b分别对用颜色的RGB三 个通道。
以glsl为例，灰度处理在着色器中处理方法是：
vec3 grayFactor＝vec3(0.229，0.587，0.114)；
float gray＝dot(src,grayFactor)；
gl_FragColor＝vec4(gray,gray,gray,1.0)；
这里输出的灰度图像r、g、b值均为灰度值，α通道为1.0(1.0 表示不透明；0.0表示透明)。
需要指出的是，本发明实施例示例使用glsl着色器语言，实施过 程中也可以采用metal着色语言、Cg语言等其他着色器语言实现，本 发明实施例不再赘述。
步骤102，计算所述灰度图的平均灰度值。
可选地，步骤102之前，还需要对所述灰度图进行预处理，使得 每次的输入图像和输出图像的各个通道的信息是完全对应的，以使图 像更方便地进行平均灰度值计算。可选地，所述预处理步骤包括：对 于所述灰度图的每个像素，将所述像素的R值置为所述像素的灰度值， G值和B值均置为零，α值置为一。如果输入的灰度图本身已经是这 样的设置，可以不进行预处理，直接计算平均灰度值。
可选地，步骤102可以包括：对所述灰度图进行多次降分辨率处 理；计算经过多次降分辨率处理的所述灰度图的平均灰度值。计算一 个m*k的图像的均值一般方法是对m*k个像素求和再求平均，当m、 k非常大时，求均值的过程是一个非常耗时的操作，为了提高计算速度， 本发明实施例先对灰度图进行n次降分辨率处理，然后再计算灰度图 的平均灰度值，从而加快了计算速度。
可选地，对所述灰度图进行多次降分辨率处理，包括：基于预设 窗口大小，计算所述灰度图上的与所述窗口大小相同的各个区域的平 均灰度值，以对所述灰度图进行一次降分辨率处理；重复对所述灰度 图进行降分辨率处理的步骤，直到所述灰度图的分辨率为1*1。
假设一个a*a的窗口，让每个GPU处理单元计算一个窗口内的灰 度均值，输出一个均值结果，那么会有
个窗口同时处理，加快了计 算速度。设
那么经过一次降分辨率操作之后，输出的图 像变为c*d分辨率，这就达到了降分辨率的目的。对于分辨率较大的图 像可以选择经过多次降分辨率操作来达到目的。
例如，对于唇部ROI，假设原分辨为600*300，a＝5，那么经过1 次降分辨率处理后，唇部ROI的分辨率降为120*60，经过2次降分辨 率处理后，唇部ROI的分辨率为24*12，基本可以进行毫无压力的整 个循环累加了。
对于单个窗口内部，则对a*a个像素的灰度值进行累加求均值：
其中I(i,j)是窗口中i、j位置的灰度值。
经过n次降分辨率后，灰度图分辨率变为很小。假设经过n次降 分辨率后的图像分辨率为e*f，其中每个像素都是对应一个(a*a)n窗口 的均值，那么计算出的最终平均灰度值为：
在本发明的实施例中，对于所述局部图像的灰度图，最终只会计 算出一个确定的平均灰度值。本发明实施例先将图像划分成一个个小 区域(即窗口)进行计算平均灰度值，对每个小区域计算出一个平均 灰度值，这个平均灰度值就可以代表这个小区域的信息，这样原来对 整张图像的均值计算，就变成了对所有小区域的均值计算，这样逐步 的降分辨率直到变成1*1像素，这个像素就包含整张图的平均灰度值。
步骤103，根据所述灰度图和所述平均灰度值，计算所述局部图像 的离散高光，对所述离散高光进行高斯模糊处理，从而得到所述局部 图像的高光信息。
通过步骤102计算出所述局部图像的灰度图的平均灰度值后，可 以通过分段函数计算素数局部图像的离散高光。可选地，根据所述灰 度图和所述平均灰度值，计算所述局部图像的离散高光，包括：对于 所述灰度图中的每个像素，判断所述像素的灰度值是否小于等于所述 平均灰度值；若是，则将所述像素的高光置为零；若否，则基于所述 像素的灰度值、所述平均灰度值和增强系数计算所述像素的高光值。 在本发明的实施例中，通过局部图像的平均灰度值可以计算出离散的 高光点。当局部图像中某个像素的灰度值大于平均灰度值时，则认为 该像素有可能是高光像素，所以在后续提取高光时只考虑这些像素，即gray>avg的像素。
可选地，筛选这些像素可以使用下面的分段函数：
可选地，基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值，包括：计算所述像素的灰度值与所述平均灰度 值的差值；计算所述差值的k次方，得到所述像素的高光值；其中，k 为增强系数。筛选出来的像素还需要对其进行增强，比如可以采用线 性增强，设增强系数为k，对于不同的高光增强需求来说可以设计不同 的k。对像素增强后得到就是一个个离散的高光点，但是在分辨率不高 的情况下经常会出现帧间高光点变化很大的情况，表现出提取出来的 高光不稳定的现象，为了避免这个问题，可以采用k＝2进行优化，则：
这样可以弱化阈值附近的像素的影响，当然对应的k也需要进行 调整，并不限于取值2，优化后高光稳定度明显提高。
离散的高光点应用到其他图像上会显的不真实不自然，因此还需 要对离散高光做一次高斯模糊处理，以柔滑高光边缘、融合孤立点。 因此利用高斯模糊可以优化孤立高光点，使高光真实自然。
可选地，对所述离散高光进行高斯模糊处理之后，采用分段函数 对经过高斯模糊处理的所述离散高光进行增强处理，使得各个像素的 高光值在[0，1]区间范围内。离散的高光经过高斯模糊之后会变成相对 聚合的高光，但是高光区域的亮度会有所降低，所以可以对经过高斯 模糊处理的离散高光再次进行亮度增强，使得各个像素的高光值标准 化。具体地，可以采用分段函数再进行一次阈值截断，从而提取出一 个半径较小且边缘锐利的只包含高光信息的图像。
在本发明的实施例中，可以进行两次亮度增强处理，分别在高斯 模糊之前和之后，第一次增强是对大于平均灰度值的灰度进行提亮， 第二次是对高斯模糊之后的高光光斑进行提亮。
根据上面所述的各种实施例，可以看出本发明实施例将局部图像 转换为灰度图并计算平均灰度值，从而根据灰度图和平均灰度值计算 局部图像的离散高光以及高斯模糊的技术手段，解决了现有技术中处 理速度无法实时、需要较多的人为参与和高光效果不真实的技术问题。 本发明实施例先根据灰度图和平均灰度值计算局部图像的离散高光，然后对离散高光进行高斯模糊处理，可以提高处理速度甚至可以实时 处理视频图像，还可以优化孤立高光点，使高光效果真实自然，而且 整个过程不需要人为参与。
图3是根据本发明一个可参考实施例的提取局部高光的方法的主 要流程的示意图。作为本发明的又一个实施例，如图3所示，所述提 取局部高光的方法可以包括：
步骤301，根据局部区域的人脸特征点，从待处理图像中确定感兴 趣区域。
步骤302，从所述感兴趣区域中剔除所述人脸特征点之外的区域， 从而得到局部图像。
步骤303，将所述局部图像转换成灰度图。
步骤304，对所述灰度图进行多次降分辨率处理。
为了提高计算速度，本发明实施例先对灰度图进行n次降分辨率 处理，然后再计算灰度图的平均灰度值，从而加快了计算速度。具体 地，基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的 各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；重 复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的分辨率 为1*1。
步骤305，计算经过多次降分辨率处理的所述灰度图的平均灰度值。
经过n次降分辨率后，灰度图分辨率变为很小。假设经过n次降 分辨率后的图像分辨率为e*f，其中每个像素都是对应一个(a*a)n窗口 的均值，那么计算出最终的平均灰度值。
步骤306，对于所述灰度图中的每个像素，判断所述像素的灰度值 是否小于等于所述平均灰度值；若是，则执行步骤307；若否，则执行 步骤308。
步骤307，将所述像素的高光置为零。
步骤308，基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值。
通过局部图像的平均灰度值可以计算出离散的高光点。当局部图 像中某个像素的灰度值大于平均灰度值时，则认为该像素有可能是高 光像素，所以在后续提取高光时只考虑这些像素，即gray>avg的像素。
例如：
步骤309，对所述离散高光进行高斯模糊处理，从而得到所述局部 图像的高光信息。
离散的高光点应用到其他图像上会显的不真实不自然，因此还需 要对离散高光做一次高斯模糊处理，利用高斯模糊可以优化孤立高光 点，使高光真实自然。
另外，在本发明一个可参考实施例中提取局部高光的方法的具体 实施内容，在上面所述提取局部高光的方法中已经详细说明了，故在 此重复内容不再说明。
图4是根据本发明另一个可参考实施例的提取局部高光的方法的 主要流程的示意图。作为本发明的另一个实施例，如图4所示，所述 提取局部高光的方法可以包括：
步骤401，从待处理图像中提取局部图像。
步骤402，将所述局部图像转换成灰度图。
步骤403，对灰度图进行预处理。具体地，对于所述灰度图的每个 像素，将所述像素的R值置为所述像素的灰度值，G值和B值均置为 零，α值置为一。
步骤404，对预处理后的所述灰度图进行n次降分辨率处理。具体 地，基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的 各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；重 复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的分辨率 为1*1。
步骤405，计算经过n次降分辨率处理的所述灰度图的平均灰度值。
步骤406，对于所述灰度图中的每个像素，判断所述像素的灰度值 是否小于等于所述平均灰度值；若是，则执行步骤407；若否，则执行 步骤408。
步骤407，将所述像素的高光置为零。
步骤408，基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值。
步骤409，对所述离散高光进行高斯模糊处理，从而得到所述局部 图像的高光信息。
步骤410，采用分段函数对经过高斯模糊处理的所述离散高光进行 增强处理，使得各个像素的高光值在[0，1]区间范围内。
另外，在本发明另一个可参考实施例中提取局部高光的方法的具 体实施内容，在上面所述提取局部高光的方法中已经详细说明了，故 在此重复内容不再说明。
图5是根据本发明实施例的提取局部高光的装置的主要模块的示 意图，如图5所示，所述提取局部高光的装置500包括提取模块501、 计算模块502和处理模块503；提取模块501用于从待处理图像中提取 局部图像，将所述局部图像转换成灰度图；计算模块502用于计算所 述灰度图的平均灰度值；处理模块503用于根据所述灰度图和所述平 均灰度值，计算所述局部图像的离散高光，对所述离散高光进行高斯 模糊处理，从而得到所述局部图像的高光信息。
可选地，所述计算模块502还用于：
对所述灰度图进行多次降分辨率处理；
计算经过多次降分辨率处理的所述灰度图的平均灰度值。
可选地，所述计算模块502还用于：
基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的 各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；
重复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的 分辨率为1*1。
可选地，所述处理模块503还用于：
对于所述灰度图中的每个像素，判断所述像素的灰度值是否小于 等于所述平均灰度值；
若是，则将所述像素的高光置为零；
若否，则基于所述像素的灰度值、所述平均灰度值和增强系数计 算所述像素的高光值。
可选地，所述处理模块503还用于：
计算所述像素的灰度值与所述平均灰度值的差值；
计算所述差值的k次方，得到所述像素的高光值；其中，k为增强 系数。
可选地，所述计算模块502还用于：
计算所述灰度图的平均灰度值之前，对于所述灰度图的每个像素， 将所述像素的R值置为所述像素的灰度值，G值和B值均置为零，α 值置为一。
可选地，所述处理模块503还用于：
对所述离散高光进行高斯模糊处理之后，采用分段函数对经过高 斯模糊处理的所述离散高光进行增强处理，使得各个像素的高光值在[0， 1]区间范围内。
可选地，所述提取模块501还用于：
根据局部区域的人脸特征点，从待处理图像中确定感兴趣区域；
从所述感兴趣区域中剔除所述人脸特征点之外的区域，从而得到 局部图像。
根据上面所述的各种实施例，可以看出本发明实施例将局部图像 转换为灰度图并计算平均灰度值，从而根据灰度图和平均灰度值计算 局部图像的离散高光以及高斯模糊的技术手段，解决了现有技术中处 理速度无法实时、需要较多的人为参与和高光效果不真实的技术问题。 本发明实施例先根据灰度图和平均灰度值计算局部图像的离散高光，然后对离散高光进行高斯模糊处理，可以提高处理速度甚至可以实时 处理视频图像，还可以优化孤立高光点，使高光效果真实自然，而且 整个过程不需要人为参与。
需要说明的是，在本发明所述提取局部高光的装置的具体实施内 容，在上面所述提取局部高光的方法中已经详细说明了，故在此重复 内容不再说明。
图6示出了可以应用本发明实施例的提取局部高光的方法或提取 局部高光的装置的示例性***架构600。
如图6所示，***架构600可以包括终端设备601、602、603，网 络604和服务器605。网络604用以在终端设备601、602、603和服务 器605之间提供通信链路的介质。网络604可以包括各种连接类型， 例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605 交互，以接收或发送消息等。终端设备601、602、603上可以安装有 各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应 用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的 各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算 机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端 设备601、602、603所浏览的购物类网站提供支持的后台管理服务器 (仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等 数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息 ——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的提取局部高光的方法一般 由服务器605执行，相应地，所述提取局部高光的装置一般设置在服 务器605中。本发明实施例所提供的提取局部高光的方法也可以由终 端设备601、602、603执行，相应地，所述提取局部高光的装置可以 设置在终端设备601、602、603中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意 性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的 计算机***700的结构示意图。图7示出的终端设备仅仅是一个示例， 不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机***700包括中央处理单元(CPU)701，其 可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708 加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作 和处理。在RAM 703中，还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/ 输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706； 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的 输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因 特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。 可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据 需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要 被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程 可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种 计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算 机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例 中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/ 或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU) 701执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读 信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算 机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红 外线、或半导体的***、装置或器件，或者任意以上的组合。计算机 可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导 线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、 只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、 光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存 储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储 介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行 ***、装置或者器件使用或者与其结合使用。而在本发明中，计算机 可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信 号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采 用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组 合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何 计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由 指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限 于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、 方法和计算机程序的可能实现的体系架构、功能和操作。在这点上， 流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一 部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现 规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现 中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。 例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时 也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可 以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可 以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现， 也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中， 例如，可以描述为：一种处理器包括提取模块、计算模块和处理模块， 其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机 可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独 存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多 个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现 如下方法：从待处理图像中提取局部图像，将所述局部图像转换成灰 度图；计算所述灰度图的平均灰度值；根据所述灰度图和所述平均灰 度值，计算所述局部图像的离散高光，对所述离散高光进行高斯模糊 处理，从而得到所述局部图像的高光信息。
根据本发明实施例的技术方案，因为采用将局部图像转换为灰度 图并计算平均灰度值，从而根据灰度图和平均灰度值计算局部图像的 离散高光以及高斯模糊的技术手段，所以克服了现有技术中处理速度 无法实时、需要较多的人为参与和高光效果不真实的技术问题。本发 明实施例先根据灰度图和平均灰度值计算局部图像的离散高光，然后 对离散高光进行高斯模糊处理，可以提高处理速度甚至可以实时处理 视频图像，还可以优化孤立高光点，使高光效果真实自然，而且整个 过程不需要人为参与。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域 技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种 各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内 所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (13)
1.一种提取局部高光的方法，其特征在于，包括：
从待处理图像中提取局部图像，将所述局部图像转换成灰度图；
计算所述灰度图的平均灰度值；
根据所述灰度图和所述平均灰度值，计算所述局部图像的离散高光，对所述离散高光进行高斯模糊处理，从而得到所述局部图像的高光信息。
2.根据权利要求1所述的方法，其特征在于，计算所述灰度图的平均灰度值，包括：
对所述灰度图进行多次降分辨率处理；
计算经过多次降分辨率处理的所述灰度图的平均灰度值。
3.根据权利要求2所述的方法，其特征在于，对所述灰度图进行多次降分辨率处理，包括：
基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；
重复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的分辨率为1*1。
4.根据权利要求1所述的方法，其特征在于，根据所述灰度图和所述平均灰度值，计算所述局部图像的离散高光，包括：
对于所述灰度图中的每个像素，判断所述像素的灰度值是否小于等于所述平均灰度值；
若是，则将所述像素的高光置为零；
若否，则基于所述像素的灰度值、所述平均灰度值和增强系数计算所述像素的高光值。
5.根据权利要求4所述的方法，其特征在于，基于所述像素的灰度值、所述平均灰度值和增强系数计算所述像素的高光值，包括：
计算所述像素的灰度值与所述平均灰度值的差值；
计算所述差值的k次方，得到所述像素的高光值；其中，k为增强系数。
6.根据权利要求1所述的方法，其特征在于，计算所述灰度图的平均灰度值之前，还包括：
对于所述灰度图的每个像素，将所述像素的R值置为所述像素的灰度值，G值和B值均置为零，α值置为一。
7.根据权利要求1所述的方法，其特征在于，对所述离散高光进行高斯模糊处理之后，还包括：
采用分段函数对经过高斯模糊处理的所述离散高光进行增强处理，使得各个像素的高光值在[0，1]区间范围内。
8.根据权利要求1所述的方法，其特征在于，从待处理图像中提取局部图像，包括：
根据局部区域的人脸特征点，从待处理图像中确定感兴趣区域；
从所述感兴趣区域中剔除所述人脸特征点之外的区域，从而得到局部图像。
9.一种提取局部高光的装置，其特征在于，包括：
提取模块，用于从待处理图像中提取局部图像，将所述局部图像转换成灰度图；
计算模块，用于计算所述灰度图的平均灰度值；
处理模块，用于根据所述灰度图和所述平均灰度值，计算所述局部图像的离散高光，对所述离散高光进行高斯模糊处理，从而得到所述局部图像的高光信息。
10.根据权利要求9所述的装置，其特征在于，所述计算模块还用于：
对所述灰度图进行多次降分辨率处理；
计算经过多次降分辨率处理的所述灰度图的平均灰度值。
11.根据权利要求10所述的装置，其特征在于，所述计算模块还用于：
基于预设窗口大小，计算所述灰度图上的与所述窗口大小相同的各个区域的平均灰度值，以对所述灰度图进行一次降分辨率处理；
重复对所述灰度图进行降分辨率处理的步骤，直到所述灰度图的分辨率为1*1。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317136.0A CN113538210B (zh) | 2020-04-21 | 2020-04-21 | 一种提取局部高光的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010317136.0A CN113538210B (zh) | 2020-04-21 | 2020-04-21 | 一种提取局部高光的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538210A true CN113538210A (zh) | 2021-10-22 |
| CN113538210B CN113538210B (zh) | 2024-07-19 |
Family
ID=78093840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010317136.0A Active CN113538210B (zh) | 2020-04-21 | 2020-04-21 | 一种提取局部高光的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538210B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153591A1 (en) * | 2007-12-12 | 2009-06-18 | Samsung Electronics Co., Ltd. | Display apparatus and control method of the same |
| CN102332086A (zh) * | 2011-06-15 | 2012-01-25 | 夏东 | 一种基于双阈值局部二进制模式的人脸识别方法 |
| CN108122212A (zh) * | 2017-12-21 | 2018-06-05 | 北京小米移动软件有限公司 | 图像修复方法及装置 |
| CN110113510A (zh) * | 2019-05-27 | 2019-08-09 | 杭州国翌科技有限公司 | 一种实时视频图像增强方法和高速相机*** |
| CN110443806A (zh) * | 2019-04-30 | 2019-11-12 | 浙江大学 | 一种基于目标增强处理的水面透明漂浮危化品图像分割方法 |
-
2020
- 2020-04-21 CN CN202010317136.0A patent/CN113538210B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153591A1 (en) * | 2007-12-12 | 2009-06-18 | Samsung Electronics Co., Ltd. | Display apparatus and control method of the same |
| CN102332086A (zh) * | 2011-06-15 | 2012-01-25 | 夏东 | 一种基于双阈值局部二进制模式的人脸识别方法 |
| CN108122212A (zh) * | 2017-12-21 | 2018-06-05 | 北京小米移动软件有限公司 | 图像修复方法及装置 |
| CN110443806A (zh) * | 2019-04-30 | 2019-11-12 | 浙江大学 | 一种基于目标增强处理的水面透明漂浮危化品图像分割方法 |
| CN110113510A (zh) * | 2019-05-27 | 2019-08-09 | 杭州国翌科技有限公司 | 一种实时视频图像增强方法和高速相机*** |
Non-Patent Citations (1)
| Title |
|---|
| 詹翔;周焰;: "一种基于局部方差的雾天图像增强方法", 计算机应用, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538210B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596940B (zh) | 一种视频分割方法和装置 | |
| US8780131B2 (en) | Systems and methods for text-based personalization of images | |
| CN107886552B (zh) | 贴图处理方法和装置 | |
| CN114187633B (zh) | 图像处理方法及装置、图像生成模型的训练方法及装置 | |
| US11776202B2 (en) | Image processing method and apparatus, computer storage medium, and electronic device | |
| CN107622504B (zh) | 用于处理图片的方法和装置 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| CN112330527A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN112802037A (zh) | 人像提取方法、装置、电子设备及存储介质 | |
| CN115620081B (zh) | 一种目标检测模型的训练方法及目标检测方法、装置 | |
| CN111340921A (zh) | 染色方法、装置和计算机***及介质 | |
| CN113657396B (zh) | 训练方法、译文展示方法、装置、电子设备以及存储介质 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN113112422B (zh) | 图像处理方法、装置、电子设备、计算机可读介质 | |
| CN108230332B (zh) | 文字图像的处理方法和装置、电子设备、计算机存储介质 | |
| CN113766117B (zh) | 一种视频去抖动方法和装置 | |
| CN115311403B (zh) | 深度学习网络的训练方法、虚拟形象生成方法及装置 | |
| CN114882313B (zh) | 生成图像标注信息的方法、装置、电子设备及存储介质 | |
| CN113538210B (zh) | 一种提取局部高光的方法和装置 | |
| CN115760578A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113947146A (zh) | 样本数据生成方法、模型训练方法、图像检测方法及装置 | |
| CN113496140A (zh) | 虹膜定位方法以及美瞳虚拟试戴方法和装置 | |
| CN114037630A (zh) | 一种模型训练及图像去雾方法、装置、设备及存储介质 | |
| CN113256694A (zh) | 一种眉笔绘制方法和装置 | |
| CN116363331B (zh) | 图像生成方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |