CN112884689B - 强反射表面图像高光去除方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种强反射表面图像高光去除方法，包括以下步骤：1）以固定相机视角以及多角度光源的方式对待拍摄物体进行图像采集，获取相同视角下的多个光源角度的图像，确定待拍摄物体的中心点位置；所述中心点位置是参考位置；2）根据步骤1）获取得到的参考位置对待拍摄物体采集三张不同光源角度的图像；3）采用融合算法对步骤2）获取的图像进行融合处理，得到融合后的图像；4）将步骤3）获取得到的融合后的图像进行同态滤波处理，调整融合后图像的整体亮度，提高融合后图像的对比度。本发明提供了一种高效且通用的强反射表面图像高光去除方法。

Description

强反射表面图像高光去除方法

技术领域

本发明属于图像处理技术领域，涉及一种图像的高光去除方法，尤其涉及一种强反射表面图像高光去除方法。

背景技术

目前，陶瓷、金属和塑料等材质的产品在使用相机拍摄时，会产生较大面积和较为强烈的镜面反射，造成局部纹理丢失等问题，同时由于有些产品具有较复杂的曲面形状而造成产品成像时光照不均，严重影响物体成像的质量。

为了解决这一问题，很多专家和学者都提出了自己不同的解决方法，其中一类是基于单幅图像的处理方法，不过此类方法对图像的色彩、高光区域的面积和饱和度都有着相对苛刻的要求，不适合区域面积较大且镜面反射强烈的材质；另一类是基于多幅图像的高光处理方法，这里又分为多角度光源方法和多角度相机视角方法两种，在多角度相机视角的方法中，对于陶瓷、金属和塑料等材质来说，由于无纹理甚至是弱纹理的情况，导致特征匹配效果极差，甚至是把不同视角的图像中的高光区域作为纹理而进行错误的匹配，找不到多幅图像之间对应的变换矩阵；在多角度光源的方法中，虽然可以跳过弱纹理和无纹理的材质特征匹配和变换矩阵的问题，但是下一步的高光区域检测和图像融合步骤算法极其复杂，适应性较差。

因此，如何设计一套比较通用的图像高光去除***，不仅能针对普通材质的物体，还能适应高反光和弱纹理材质如陶瓷、金属和塑料等，能够有效的去除几乎所有的高光问题，同时极大缓解光照步不均匀的问题。

发明内容

为了解决背景技术中存在的上述技术问题，本发明提供了一种高效且通用的强反射表面图像高光去除方法。

为了实现上述目的，本发明采用如下技术方案：

一种强反射表面图像高光去除方法，其特征在于：所述强反射表面图像高光去除方法包括以下步骤：

1)以固定相机视角以及多角度光源的方式对待拍摄物体进行图像采集，获取相同视角下的多个光源角度的图像，确定待拍摄物体的中心点位置；所述中心点位置是参考位置；

2)根据步骤1)获取得到的参考位置对待拍摄物体采集三张不同光源角度的图像；

3)采用融合算法对步骤2)获取的图像进行融合处理，得到融合后的图像；

4)将步骤3)获取得到的融合后的图像进行同态滤波处理，调整融合后图像的整体亮度，提高融合后图像的对比度。

作为优选，本发明所采用的步骤1)的具体实现方式是：

1.1)搭建暗室图像采集装置；所述暗室图像采集装置包括第一光源、第二光源、第三光源以及固定视角的拍摄相机；所述第一光源、第二光源以及第三光源呈环形设置且分别与水平方向设置有倾角；所述第一光源、第二光源以及第三光源的高度相同；所述第一光源、第二光源以及第三光源环绕设置在拍摄相机周围且第一光源、第二光源以及第三光源分别相隔120°；

1.2)打开第一光源，调节第一光源的强度和位姿，使得待拍摄物体成像亮度适中，亮度分布均匀，通过拍摄相机采集得到第一张图片，所述第一张图片是参考图像；

1.3)关闭第一光源，打开第二光源，先通过成像的效果来对第二光源强度和位姿进行预调节，通过拍摄相机采集得到第二张图片；所述第二张图片是调参图像；

1.4)针对步骤1.2)获取得到的参考图像以及步骤1.3)得到的调参图像，首先将参考图像和调参图像进行灰度化处理，然后使用阈值将灰度化处理后图片的前景物体从黑色背景中分割出来，随后分别计算它们的灰度均值，灰度中位数、灰度值众数三个指标以及灰度直方图统计占比，并以参考图像的前三个指标为基准，调节第二光源的强度，使相机拍摄图片的灰度均值、灰度中位数以及灰度值众数三个指标与参考图像尽量接近；然后固定第二光源的强度不变，调节第二光源的倾角、第二光源与物体的距离及位姿，使得拍摄得到的调参图像的灰度直方图统计与步骤1.2)所得到的参考图像的灰度直方图统计尽量接近；

1.5)关闭第二光源，打开第三光源，重复步骤1.4)，直至完成所有光源的强度和位姿的调整，此时记录被拍摄物体的中心点位置，做好标记，中心点位置就是后面放置被拍摄物体的参考位置。

作为优选，本发明所采用的步骤1.4)中调节第二光源强度的具体实现方式是：

使用python函数包自动计算前景灰度图像的灰度均值g_mean、灰度中位数g_median以及灰度值众数g_most；

假设参考图像对应的灰度均值，灰度中位数、灰度值众数为

计算调参图像对应的灰度均值，灰度中位数、灰度值众数为

调节第二光源强度的指标M₁为：

作为优选，本发明所采用的步骤1.4)中调节第二光源的倾角、第二光源与物体的距离及位姿的具体实现方式是：

将灰度值0～255分成8个bins，每个区间间隔为256/8＝32，此时它的区间为：

[[0,31],[32,63],[64,95],[96,127],[128,159],[160,191],[192,223],[224,255]]

将前景图像的灰度值的频数按上式进行统计，得到：

[n₀.n₁,n₂,n₃,n₄,n₅,n₆,n₇]，其中n是像素在各个区间出现的频数；

各个区间频数的占比p的计算公式如下：

最后基于每个区间的占比情况为下式所示：

[p₀,p₁,p₂,p₃,p₄,p₅.p₆,p₇]

将总的像素区间占比从大到小进行排序如下：

[P₀,P₁,P₂,P₃,P₄,P₅,P₆,P₇]

将上述排序后的结果进行累加，直到累加到第index总和大于0.8，记下前index对应于排序前的下标位置；假设参考图像对应的前index区间占比为：计算调参图像对应的前index区间占比为：/>调节第二光源的倾角、第二光源与物体的距离及位姿的的指标M₂为：/>

作为优选，本发明所采用的步骤3)的具体实现方式是：

将步骤3)获取得到的不同光源角度的图像进行融合处理时，所述图像融合公式是：

其中，

I_{old_1},I_{old_2},I_{old_3}分别是采集到的三张图像分别在r,g,b三通道对应位置的灰度值；

r,g,b分别为图像的三个通道；

为融合后图像分别在r,g,b三通道对应位置的灰度值的最小值，也就是新图像。

作为优选，本发明所采用的步骤4)中同态滤波处理的传递函数为

其中：

H为高频增益；

L为低频增益；

D₀为截止频率；

k为锐化系数；

D(x,y)为频率(x,y)到中心频率(x₀,y₀)的距离，具体计算公式如下：

本发明的优点是：

本发明提供了一种强反射表面图像高光去除方法，其创新主要体现在两个方面：第一，本发明使用了一种新的多角度光源强度和位姿的调整方法，有效解决了多角度光源拍摄的图像受到客观硬件条件的影响，无法保证不同角度光源拍摄图像之间的亮度差异基本保持不变的要求。首先在打开一个光源调整到合适的角度和亮度，拍摄一张效果较好的图片作为参考图像，然后关闭此光源，打开另外一个角度的光源，调整角度和亮度拍摄第二张图像作为调参图像，无法保证这两张图像的灰度分布比较接近，此时，分别求出参考图像和调参图像的前景目标的灰度分布图，并求出它们的平均值、中位数和众数的值，最后先通过它们的平均值、中位数和众数的值之间的平方差大小，手动调节光源强度的大小，尽可能使差值最小，同时通过它们的灰度分布图之间的平方差大小，手动调节光源的高度、角度及与物体的距离等位姿情况，对第三个光源和图像做同样的调整操作，尽量弥补由于硬件条件导致多角度光源采集的图像亮度差异和分布差异过大的不足，从而导致后续的融合步骤产生较大的亮度差和不连续等情况。第二，本发明使用同态滤波处理融合后的图像，有效的解决了因为前面步骤的融合算法导致的整体亮度和对比度偏低的问题。图像融合后，使用同态滤波算法处理，并根据不同像素大小的前景图像，改变传递函数中的截止频率D₀，得到较好的处理结果，使用本方法可以自适应的解决融合算法产生的亮度和对比度偏低的问题。

附图说明

图1是本发明所采用的暗室图像采集装置的结构示意图；

图2是多角度光源的亮度和位姿的调整流程图；

图3是使用采集装置采集到多种材质的多光源角度图像(分别为陶瓷盘背面、陶瓷盘正面、手机外壳背面、玻璃烧杯和卫生纸包装袋；

图4是算法融合后的图像(分别为陶瓷盘背面、陶瓷盘正面、手机外壳背面、玻璃烧杯和卫生纸包装袋)；

图5为同态滤波处理后的结果(分别为陶瓷盘背面、陶瓷盘正面、手机外壳背面、玻璃烧杯和卫生纸包装袋)。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述，具体步骤如下：

步骤一：如图1所示，是暗室图像采集装置，相机为固定视角，3个环形光源分别相隔接近120度，与水平方向成一定的倾角，且在同一高度位置放置。由于本实验装置是分别采集三个角度光源下的图像，进行融合去高光，但是因为光源的倾角、亮度的控制以及被拍摄的物体与各个光源位置与角度的不同，导致三个不同角度的光源下，拍摄的图像亮度和分布差异过大，从而在图像融合步骤产生较大的亮度差和不连续的结果，严重影响视觉效果和图像质量。

步骤二：如图2所示，是本发明提出的一种较为简单调节光源强度和位姿的流程图，来对同一物体三个光源强度和位姿的动态调整，较为准确的使在不同光源角度拍摄的图像之间亮度适中，差异较小，且分布相似。以下为具体步骤：

(1)先打开暗室装置其中的一个光源，通过观察电脑上的图片，同时调节光源的强度和位姿，使得被拍摄的物体成像亮度适中，亮度分布较为均匀，采集第一张图片作为参考图像。

(2)关闭前面一个光源，打开第二个光源，先通过成像的效果来对光源亮度和位姿进行预调节，调整后采集第二张图片作为调参图像。

(3)针对参考图像和调参图像，首先将两张图片进行灰度化处理，然后使用阈值将图片中的前景物体从黑色背景中分割出来，随后分别计算它们的灰度均值，灰度中位数、灰度值众数三个指标以及灰度直方图统计占比，并以参考图像的前三个指标为基准，调节第二个光源的强度，使它拍摄图片的灰度均值，灰度中位数、灰度值众数三个指标与参考图像尽量接近；然后固定这个光源强度不变，调节光源的倾角、与物体的距离等位姿情况，使得它拍摄的图片的灰度直方图统计与第一张尽量接近。

其中前景图像的参考指标的方法如下：

1)调节光源强度的指标。

使用python函数包自动计算前景灰度图像的灰度均值，灰度中位数、灰度值众数分别为g_mean、g_median、g_most。假设参考图像对应的灰度均值，灰度中位数、灰度值众数为计算调参图像对应的灰度均值，灰度中位数、灰度值众数为

此时调节光源强度的指标为：

2)调节光源的倾角、与物体的距离和位姿等指标。

将灰度值0～255分成8个bins，每个区间间隔为256/8＝32，此时它的区间为：

[[0,31],[32,63],[64,95],[96,127],[128,159],[160,191],[192,223],[224,255]]

将前景图像的灰度值按上式灰度分布区间进行统计，结果如下图所示：

[n₀.n₁,n₂,n₃,n₄,n₅,n₆,n₇]

各个区间频数的占比情况计算公式如下：

最后基于每个区间的频数计算占比情况为下式所示：

[p₀,p₁,p₂,p₃,p₄,p₅.p₆,p₇]

将总的像素区间占比从大到小进行排序如下：

[P₀,P₁,P₂,P₃,P₄,P₅,P₆,P₇]

将上述排序后的结果进行累加，直到累加到第index总和大于0.8，记下前index对应于排序前的下标位置。假设第一张图片对应的前index区间占比为：计算第二张图片对应的前index区间占比为：/>调节光源的倾角、与物体的距离和位姿等指标为：/>

关闭第二个光源，打开第三个光源，此时，第一张图像还是参考图像，采集到的第三张图像是调参图像，把上述步骤重复一次，就完成了三个光源强度和位姿的调整，在保证了图片之间的亮度接近，亮度分布较为类似和均匀，此时记录一下被拍摄物体的中心点位置，做好标记，在拍摄同一类物品时，起到一个放置物体的参考位置作用。

步骤三：如图3所示，使用上一步的图像采集方法和步骤，找到不同物体对应的参考位置，随后对每一种物品采集三张不同角度光源的图像，有陶瓷盘、卫生纸包装袋、玻璃烧杯和手机外壳背面。

步骤四：如图4所示，分别使用融合算法对陶瓷盘、卫生纸包装袋、玻璃烧杯和手机外壳背面，进行图像融合，这里使用的是在三张图像中的对应位置取最小灰度值的方法，公式如下：

其中：

I_{old_1},I_{old_2},I_{old_3}为采集到的三张图像分别在r,g,b通道对应位置的灰度值；

r,g,b分别为图像的三个通道；

为融合后图像分别在r,g,b通道对应位置的灰度值的最小值，也就是新图像。

根据上述融合算法公式就可以对采集的图像进行融合处理，得到融合后的图像就能很好的去除高光区域。

步骤五：如图5所示，上一步融合处理后的到的图像，虽然很好的去除高光区域，但是也带来了其他负面影响，比如，由于融合算法，导致的图像整体亮度偏低，并且对比度也较低，造成图像质量的下降。针对这一问题，使用同态滤波进行处理，同态滤波算法是一种频域内的算法，该算法结合灰度变化和线性比例变换方法的优点，既可以实现图像的灰度调节，又能够采用频率过滤的方法增强图像的对比度。经过同态滤波处理后的图像亮度调整到合适的范围，并且极大的提高图像对比度，显著的提高了图像质量。需要说明的是，图3、图4以及图5中，为了证明本发明的通用性，使用图像采集***分别采集了陶瓷盘背面、陶瓷盘正面、手机外壳背面、玻璃烧杯和卫生纸包装袋的图像，每种材质包含3张不同角度光源拍摄的，然后经过图像融合后，每三张图像就融合成为一张去除高光区域的图像，最后经过同态滤波处理，得到最后的图像。本实例采用的是4种材质，5组图像，每一组都是三张，是不同角度的光源拍摄的，是为了证明本发明的有效性和通用性，所做的对比试验。

同态滤波的具体步骤如下：

根据照射-反射模型，一幅图像f(x,y)可以表示为其照射分量i(x,y)和反射分量r(x,y)的乘积，反射模型为：

f(x,y)＝i(x,y)*r(x,y) (1)

式中，f(x,y)表示原图像；i(x,y)为照射分量；r(x,y)表示反射分量。

这里不能直接用于处理光照的频率分量，因为在傅里叶变换数学表达式中，乘积的变换不等同于变换的乘积。将它们的两边取对数，变成和的形式，可以得到：

f(x,y)＝In[i(x,y)]+In[r(x,y)] (2)

得到和的形式后再对其进行傅里叶变换，转换到频域中：

F(x,y)＝I(x,y)+R(x,y) (3)

用频域增强传递函数H(x,y)处理F(x,y)，得到：

F(x,y)*H(x,y)＝I(x,y)*H(x,y)+R(x,y)*H(x,y) (4)

其中H(x,y)是同态滤波传递函数，这里取高频增强滤波器非常接近与高斯高通滤波器，公式为：

其中H为高频增益，L为低频增益，D₀为截止频率，k为锐化系数，以点(x₀,y₀)为滤波中心的频域距离计算公式为：

D(x,y)＝((x-x₀)²+(y-y₀)²)^1/2 (6)

将频域增强后的图像变换到空域中，得到：

f^*(x,y)＝i^*(x,y)*r^*(x,y) (7)

将上式两边取指数进行还原得：

exp[f^*(x,y)]＝exp[i^*(x,y)]*exp[r^*(x,y)] (8)

令f^**(x,y)＝exp[f^*(x,y)]，i^**(x,y)＝exp[i^*(x,y)]

r^**(x,y)＝exp[r^*(x,y)]，可以得到：

f^**(x,y)＝i^**(x,y)*r^**(x,y) (9)

本文同态滤波系数中，选取H＝2.5，L＝0.5，k＝1，原始图像f(x,y)经过上述步骤同态滤波处理后，得到亮度均衡且对比度较高的高质量增强图像f^**(x,y)。

这里的截止频率不能设定成固定值，因为不同材质、像素大小的融合图像，在同态滤波处理过程中，如果固定同样的截止频率，处理后的效果参差不齐，所以需要找到一个较为通用的截止频率，以便处理不同材质、像素大小的融合图像。

由于陶瓷盘是几乎无纹理图像，且图像之间的相似度较大，因此，陶瓷盘图像的同态滤波处理时，选取的固定截止频率为D₀＝500，而对于其他3种不同材质和形状的物品，形状和纹理差异较大，不同材质和形状的截止频率D₀不能选取一个固定值，所以使用文献中使用的对D(u,v)求均值的方法，即

其中M和N分别为图像的宽和高，D(u,v)为与频率中心的距离，可以根据物体不同形状得到自适应的截止频率。

最后通过上述同态滤波方法分别对陶瓷盘、卫生纸包装袋、玻璃烧杯和手机外壳背面根据给自的截止频率，进行同态滤波处理，得到的处理后的图像如图5所示。

Claims (5)

1.一种强反射表面图像高光去除方法，其特征在于：所述强反射表面图像高光去除方法包括以下步骤：

1)以固定相机视角以及多角度光源的方式对待拍摄物体进行图像采集，获取相同视角下的多个光源角度的图像，确定待拍摄物体的中心点位置；所述中心点位置是参考位置；

2)根据步骤1)获取得到的参考位置对待拍摄物体采集三张不同光源角度的图像；

3)采用融合算法对步骤2)获取的图像进行融合处理，得到融合后的图像；

4)将步骤3)获取得到的融合后的图像进行同态滤波处理，调整融合后图像的整体亮度，提高融合后图像的对比度；

所述步骤1)的具体实现方式是：

1.1)搭建暗室图像采集装置；所述暗室图像采集装置包括第一光源、第二光源、第三光源以及固定视角的拍摄相机；所述第一光源、第二光源以及第三光源呈环形设置且分别与水平方向设置有倾角；所述第一光源、第二光源以及第三光源的高度相同；所述第一光源、第二光源以及第三光源环绕设置在拍摄相机周围且第一光源、第二光源以及第三光源分别相隔120°；

1.2)打开第一光源，调节第一光源的强度和位姿，使得待拍摄物体成像亮度适中，亮度分布均匀，通过拍摄相机采集得到第一张图片，所述第一张图片是参考图像；

1.3)关闭第一光源，打开第二光源，先通过成像的效果来对第二光源强度和位姿进行预调节，通过拍摄相机采集得到第二张图片；所述第二张图片是调参图像；

1.4)针对步骤1.2)获取得到的参考图像以及步骤1.3)获取得到的调参图像，首先将参考图像和调参图像进行灰度化处理，然后使用阈值将灰度化处理后的图片的前景物体从黑色背景中分割出来，随后分别计算它们的灰度均值，灰度中位数、灰度值众数三个指标以及灰度直方图统计占比，并以参考图像的前三个指标为基准，调节第二光源的强度，使相机拍摄图片的灰度均值、灰度中位数以及灰度值众数三个指标与参考图像尽量接近；然后固定第二光源的强度不变，调节第二光源的倾角、第二光源与物体的距离及位姿，使得拍摄得到的调参图像的灰度直方图统计与步骤1.2)所得到的参考图像的灰度直方图统计尽量接近；

1.5)关闭第二光源，打开第三光源，重复步骤1.4)，直至完成所有光源的强度和位姿的调整，此时记录被拍摄物体的中心点位置，做好标记，中心点位置就是后面放置被拍摄物体的参考位置。

2.根据权利要求1所述的强反射表面图像高光去除方法，其特征在于：所述步骤1.4)中调节第二光源强度的具体实现方式是：

使用python函数包自动计算前景灰度图像的灰度均值g_mean、灰度中位数g_median以及灰度值众数g_most；

假设参考图像对应的灰度均值，灰度中位数、灰度值众数为

计算调参图像对应的灰度均值，灰度中位数、灰度值众数为

调节第二光源强度的指标M₁为：

3.根据权利要求2所述的强反射表面图像高光去除方法，其特征在于：所述步骤1.4)中调节第二光源的倾角、第二光源与物体的距离及位姿的具体实现方式是：

将灰度值0～255分成8个bins，每个区间间隔为256/8＝32，此时它的区间为：

[[0,31],[32,63],[64,95],[96,127],[128,159],[160,191],[192,223],[224,255]]

将前景图像的灰度值的频数按上式进行统计，得到：

[n₀.n₁,n₂,n₃,n₄,n₅,n₆,n₇]，其中n是像素在各个区间出现的频数；

各个区间频数的占比p的计算公式如下：

最后基于每个区间的占比情况为下式所示：

[p₀,p₁,p₂,p₃,p₄,p₅.p₆,p₇]

将总的像素区间占比从大到小进行排序如下：

[P₀,P₁,P₂,P₃,P₄,P₅,P₆,P₇]

将上述排序后的结果进行累加，直到累加到第index总和大于0.8，记下前index对应于排序前的下标位置；假设参考图像对应的前index区间占比为：计算调参图像对应的前index区间占比为：/>调节第二光源的倾角、第二光源与物体的距离及位姿的的指标M₂为：/>

4.根据权利要求3所述的强反射表面图像高光去除方法，其特征在于：所述步骤3)的具体实现方式是：

将步骤2)获取得到的不同光源角度的图像进行融合处理时，图像融合公式是：

其中，

I_{old_1},I_{old_2},I_{old_3}分别是采集到的三张图像分别在r,g,b三通道对应位置的灰度值；

r,g,b分别为图像的三个通道；

为融合后图像分别在r,g,b三通道对应位置的灰度值的最小值，也就是新图像。

5.根据权利要求4所述的强反射表面图像高光去除方法，其特征在于：所述步骤4)中同态滤波处理的传递函数为

其中：

H为高频增益；

L为低频增益；

D₀为截止频率；

k为锐化系数；

D(x,y)为频率(x,y)到中心频率(x₀,y₀)的距离，具体计算公式如下：