CN111405177B - 图像处理方法、终端及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法。本申请实施方式的图像处理方法包括：获取多个不同场景的预览图像；检测每个预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及在多个预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头存在脏污的提示信息。本申请还提供了一种终端及计算机可读存储介质。通过检测多个预览图像中的低亮度区域，如果多个预览图像中的低亮度区域的重合度高于预设阈值，则判断低亮度区域的光线是由于脏污的遮挡而形成的，此时生成镜头存在脏污的提示信息，以通知用户。

Description

图像处理方法、终端及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、终端及计算机可读存储介质。

背景技术

在使用摄像头进行拍照时，通常会检测摄像头的功能是不是完好，能不能用于成像，还会检测摄像头是不是被遮挡，是不是能够接收到光线，然而，有时摄像头上会有脏污，摄像头虽然能够接收到光线，但是脏污会对摄像头的成像质量产生负面的影响，而用户对此可能并不知晓。

发明内容

本申请实施方式提供了一种图像处理方法、终端及计算机可读存储介质。

本申请实施方式的图像处理方法包括：获取多个不同场景的预览图像；检测每个所述预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及在多个所述预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头存在脏污的提示信息。

本申请实施方式的终端包括镜头及处理器，所述处理器用于：获取多个不同场景的预览图像；检测每个所述预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及在多个所述预览图像的低亮度区域之间的重合度高于预设阈值时，生成所述镜头存在脏污的提示信息。

本申请实施方式的包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行：获取多个不同场景的预览图像；检测每个所述预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及在多个所述预览图像的低亮度区域之间的重合度高于预设阈值时，生成所述镜头存在脏污的提示信息。

本申请实施方式的图像处理方法、终端及计算机可读存储介质中，通过检测多个预览图像中的低亮度区域，如果多个预览图像中的低亮度区域的重合度高于预设阈值，则判断低亮度区域的光线是由于脏污的遮挡而形成的，此时生成镜头存在脏污的提示信息，以通知用户。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的图像处理方法的流程示意图；

图2是本申请实施方式的终端的结构示意图；

图3a、图3b及图3c是本申请实施方式的处理前的预览图像的示意图；

图4是本申请实施方式的图像处理方法的流程示意图；

图5是本申请实施方式的预览图像的处理效果示意图；

图6是本申请实施方式的图像处理方法的流程示意图；

图7是本申请实施方式的图像处理方法的流程示意图；

图8是本申请实施方式的处理前的预览图像的示意图；

图9是本申请实施方式的图像处理方法的流程示意图；

图10是本申请实施方式的预览图像的处理效果示意图；

图11是本申请实施方式的计算机可读存储介质与处理器的连接示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1及图2，本申请实施方式的图像处理方法包括步骤：

01：获取多个不同场景的预览图像；

02：检测每个预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及

03：在多个预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头10存在脏污的提示信息。

本申请实施方式的图像处理方法可以运用在本申请实施方式的终端100上，其中，终端100包括镜头10及处理器20，处理器20可以用于实施步骤01、步骤02及步骤03，也就是说，处理器20可以用于获取多个不同场景的预览图像；检测每个预览图像中，亮度值低于其他区域且连续分布的低亮度区域；在多个预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头10存在脏污的提示信息。

具体地，终端100可以是手机、平板电脑、单反相机、手提电脑、智能手表、智能眼镜、智能头戴设备等终端100，本申请以图2所示的终端100是手机为例进行示例性说明，可以理解，终端100的具体形式并不限于手机。镜头10可以是终端100上任意用于接收光线以进行成像的设备，例如镜头10可以是前置摄像头、后置摄像头、侧置摄像头、屏下摄像头等，在此不做限制。处理器20可以是终端100的应用处理器、图像处理器等处理器20。

在步骤01中，获取多个不同场景的预览图像。其中，预览图像可以是指用户未进行拍摄确认，镜头10获取的图像以供用户预览的画面，预览图像也可以是用户进行拍摄确认后拍摄得到的画面。多个可以是两个、三个、四个、五个等任意超过一个的数量。不同场景指的是预览图像中的画面不同，包括画面的内容不同、画面的角度不同等。可以理解，多个预览图像可以是在一次开启镜头10时，在不同时刻获得的预览图像，也可以是在多次开启镜头10时分别获得的预览图像。在如图3a、图3b及图3c所示的例子中，多个预览图像分别是预览图像P1、预览图像P2、预览图像P3，多个预览图像的场景不同。

在步骤02中，检测每个预览图像中，亮度值低于其他区域且连续分布的低亮度区域。其中，预览图像可以是以YUV格式保存的图像，预览图像中的每个像素均具有亮度值的信息，处理器20可以获取每个预览图像中所有像素的位置及其亮度值，再进一步判断低亮度区域的分布情况。具体地，低亮度区域指的是亮度值相较于同一个预览图像中的其他区域较低的区域，低亮度区域还是一个连续的区域，即，低亮度区域中的每个像素均至少与同一个低亮度区域内的另一个像素相邻。在如图3a、图3b及图3c所示的例子中，预览图像P1中的低亮度区域为D1、预览图像P2中的低亮度区域为D2、预览图像P3中的低亮度区域为D3。

在步骤03中，在多个预览图像的低亮度区域的重合度高于预设阈值时，生成镜头10存在脏污的提示信息。由于在镜头10存在脏污时，脏污会遮挡部分进入镜头10的光线，导致镜头10的成像中会存在相对于其余区域较暗的区域，且由于脏污的位置通常在短时间内不会发生改变，因此该较暗的区域可能在拍摄不同场景时都会存在，且位置大致不变，其中的脏污可能是油污、颗粒、灰尘、水渍、油渍等，镜头10存在脏污可以是镜头10的透镜组上存在的脏污，也可能位于镜头10的光路上的盖板或者屏幕上存在的脏污。如果多个预览图像的低亮度区域的重合度高于预设阈值，则认为多个预览图像中存在的多个低亮度区域很可能是由于镜头10存在脏污导致的，此时生成镜头10存在脏污的提示信息，便于用户对脏污进行处理。其中，重合度可以是不同预览图像的低亮度区域重合的面积占低亮度区域的面积的比例，当比例大时，重合度大，比例小时，重合度小。预设阈值可以是终端100出厂时设置的，也可以是用户自主调整的，例如预设阈值可以是0.5、0.6、0.8等数值，在此不做限制。生成镜头10存在脏污的提示信息后，终端100可以对脏污的提示信息进行响应，具体可以是在终端100的显示屏上显示提示信息、或者通过终端100的扬声器外放出镜头10存在脏污的提示信息、或者通过终端100发出特定的振动以对用户进行提示等，在此不做限制。

综上，本申请实施方式的图像处理方法及终端100中，通过检测多个预览图像中的低亮度区域，如果多个预览图像中的低亮度区域的重合度高于预设阈值，则判断低亮度区域的光线是由于脏污的遮挡而形成的，此时生成镜头10存在脏污的提示信息，以通知用户。

在某些实施方式中，在实施步骤02之前，图像处理方法还包括步骤：接收用户指令以设置是否响应镜头10脏污的提示信息。用户可以输入指令以设置需要响应脏污提示信息，则在步骤03中生成镜头10存在脏污的提示信息后，终端100响应提示信息，在一个例子中，终端100默认用户设置为需要提示镜头10脏污的提示信息。用户也可以输入指令以设置不需要响应脏污提示信息，例如在某些情况下，用户可能有意在镜头10上涂抹颜料等异物，以求拍摄出具有个性或者特殊效果的图像，则用户可以先设置不响应提示信息，避免后续使用终端100时被脏污提示信息打扰，提高使用体验。

请参阅图4，在某些实施方式中，图像处理方法还包括步骤：

04：依据预设的多个亮度值区间，划分预览图像为多个亮度区，每个亮度值区间关联有对应的调整比例；及

05：以调整比例调整对应的亮度区的亮度值。

请结合图2，在某些实施方式中，处理器20还可用于实施步骤04及步骤05，即，处理器20可用于依据预设的多个亮度值区间，划分预览图像为多个亮度区，每个亮度值区间关联有对应的调整比例；及以调整比例调整对应的亮度区的亮度值。

由于镜头10存在脏污，脏污对预览图像的影响可能并不仅在于低亮度区域，还可能会由于存在脏污导致镜头10自动调节了相应的感光度、光圈等参数，导致预览图像的整体亮度呈现出的效果较差，另外，低亮度区域可能会由于亮度明显较低而比较突出，影响预览图像的美观度，通过步骤04及步骤05对预览图像进行处理，能够对预览图像的亮度重新进行调整，以尽量恢复至没有脏污的拍摄效果。

具体地，在步骤04中，依据预设的多个亮度值区间，划分预览图像为多个亮度区。对于不同的预览图像，亮度值区间可以不同，划分的亮度区的个数也可以不同，在一个例子中，可以依据预览图像的所有像素的亮度值的分布范围，设置三个亮度值区间，划分为三个亮度区，例如，预览图像所有像素的亮度值的分布范围为[80，230]，设置的三个亮度值区间分别可以是[80，130)、[130，180)、[180，230]，划分的三个亮度区分别可以是低亮度区域、中亮度区域及高亮度区域。当然，每个亮度区都可以是一个完整且连续的区域，每个亮度区也可以包括多个离散且间隔的区域，在此不做限制。每个亮度值区间的区间宽度可以相同或者不同，亮度值区间及亮度区的数量也不限于上述三个的讨论，可以是任意大于或等于两个的数量。

在步骤05中，以调整比例调整对应的亮度区的亮度值。其中，调整比例与对应的亮度值区间相关联，不同亮度值区间关联的调整比例可以部分相同也可以完全不同，调整后的每个像素的亮度值可以由公式：调整后亮度值＝调整前亮度值×(1+调整比例)来表示，通过控制调整比例的不同，可以对不同亮度区域由于脏污产生的影响进行补偿。在一个例子中，低亮度区域的调整比例可以是大于零的数或者接近于零的负数，中亮度区域的调整比例可以是等于零或者与零相近的数，高亮度区域的调整比例可以是小于零的数，以对不同亮度区的像素的亮度值进行差异化处理，例如低亮度区域的调整比例、中亮度区域的调整比例及高亮度区域的调整比例分别为0.1、0及-0.1，或者分别为-0.1、-0.2及-0.3，或者分别为0.2、0.1及-0.2等组合。在图5所示的例子中，调整前的预览图像P1中，可能存在比较明显的低亮度区域D1，低亮度区域D1对预览图像P1的整体效果影响较大，通过步骤04及05的处理后得到调整后的预览图像P1’，使得在预览图像P1’中不再存在明显的低亮度区域，补偿了由镜头10脏污对成像效果带来的影响，提高了镜头10的成像质量。

在另外的实施方式中，还可以依据预览图像中的像素与低亮度区域的距离，将预览图像除低亮度区域之外的区域划分为多个调整区域，低亮度区域与多个调整区域分别关联不同的调整系数，通过不同的调整系数分别调整预览图像中不同区域的像素的亮度值。由于低亮度区域可能受到脏污的影响最大，且在其他区域中，越靠近低亮度区域的区域受到脏污的影响可能越大，亮度值失真也就越严重，因此，可以依据与低亮度区域的距离将其他区域进行划分，并分配不同的调整比例，以尽可能地还原在没有脏污时预览图像的亮度分布。

在某些实施方式中，终端100可以同时展示未经过步骤01至步骤05处理的预览图像，以及经过步骤01至步骤05处理后的预览图像，便于用户便于对处理前及处理后的预览图像进行比较及选择，用户可以选择对其中一个进行保存或编辑，也可以选择两个进行保存或编辑，体现用户的意愿。

请参阅图6，在某些实施方式中，图像处理方法还包括步骤：

06：提升预览图像的对比度；及/或

07：提升预览图像的颜色饱和度。

请结合图2，在某些实施方式中，处理器20还可用于实施步骤06及/或步骤07，也就是说，处理器20可用于提升预览图像的对比度；及/或处理器20可用于提升预览图像的颜色饱和度。

通过进一步对预览图像提升对比度及/或颜色饱和度，可以补偿由于镜头10存在脏污而导致的预览图像整体发白、颜色层次缺失等的缺陷，进一步提高预览图像的质量。具体地，处理器20可以生成同时经过提升对比度及提升颜色饱和度处理后的第一预览图像、只经过提升对比度处理后的第二预览图像、以及只经过提升颜色饱和度处理后的第三预览图像，以供用户选择保存第一预览图像、第二预览图像及第三预览图像中哪个或哪些，以为用户提供更多选择，提升用户体验。

请参阅图7，在某些实施方式中，图像处理方法还包括步骤：

08：在预览图像中存在光源时，检测光源的周缘预设范围内的亮度值；及

09：在预设范围内存在与光源相连的带状区域，且带状区域的亮度值大于预设范围内其余区域的亮度值预设亮度阈值时，生成镜头10存在脏污的提示信息。

请结合图2，在某些实施方式中，处理器20可用于实施步骤08及步骤09，即，处理器20可用于在预览图像中存在光源时，检测光源的周缘预设范围内的亮度值；及在预设范围内存在与光源相连的带状区域，且带状区域的亮度值大于预设范围内其余区域的亮度值预设亮度阈值时，生成镜头10存在脏污的提示信息。

由于在预览图像中存在光源时，可能整个预览图像的亮度都会比较大，难以区分出明显的低亮度区域，此时，可以依据脏污对预览图像中的光源的影响判断镜头10是否存在脏污。具体地，由于不存在脏污时，光线穿过透镜组后通常聚焦在镜头10的图像传感器上，而如果镜头10上存在脏污，脏污会影响光线的折射角度，或者使光线发生散射等现象，将导致光线不能很准确地聚焦到图像传感器上，会产生光晕、光斑等现象，特别是对于有光源的场景，光源位置还可能会出现光带等现象。步骤08及步骤09通过检测光源周围亮度值大于其余区域的带状区域，以判断镜头10存在脏污发出提示信息，便于用户提前知晓镜头10的脏污情况。

具体地，在步骤08中，在预览图像中存在光源时，检测光源的周缘预设范围内的亮度值。判断预览图像中是否存在光源，可以通过检测预览图像中是否存在亮度极大的小范围区域，例如在小范围区域内的像素的亮度值达到最大，或者小范围区域内的像素的RGB像素值均接近于255等，在此不做限制。在判断预览图像中存在光源时，检测光源的周缘预设范围内的亮度值，例如以光源所在的位置为中心，检测光源周围预设数量像素范围内像素的亮度值，预设范围可以是由用户设定的，也可以依据用户当前需要拍摄的图像的精度来设定的，当精度要求越高时，预设范围可以越大，当精度要求越低时，预设范围可以越小。当然，在判断预览图像中不存在光源时，则可以利用步骤02及步骤03判断镜头10是否存在脏污。

在步骤09中，在预设范围内存在与光源相连的带状区域，且带状区域的亮度值大于预设范围内其余区域的亮度值预设亮度阈值时，生成镜头10存在脏污的提示信息。具体地，带状区域可以是指大致呈长条状的区域，带状区域与光源相连，带状区域的亮度值大于预设范围内其余区域的亮度值超过亮度阈值，且小于光源的亮度值。例如如图8所示的例子，预览图像P4中，光源L所在的像素的亮度值为255、带状区域D4的像素与光源L所在的像素相连，带状区域D4的像素的亮度值在200至245的范围内，而预设范围的其余区域的像素的亮度值则在100至150范围内，带状区域D4的像素的亮度值与预设范围的其余区域的像素的亮度值的差值超过亮度阈值，则带状区域D4很可能是由于镜头10存在脏污而产生的。因此，此时可以产生镜头10存在脏污的提示信息。

请参阅图9，在某些实施方式中，图像处理方法还包括步骤：

010：依据其余区域的亮度值校准带状区域的亮度值；及/或

011：依据其余区域的颜色校准带状区域的颜色。

诚如上述，带状区域很可能是由于存在脏污而产生的，带状区域的信息很可能是失真的信息，由于预设范围内的其余区域与带状区域的距离较近，依据该其余区域的信息获取带状区域的信息会较准确，以使处理后的预览图像更准确。

步骤010中，依据其余区域的亮度值校准带状区域的亮度值，具体可以是检测该其余区域的所有像素的亮度值的平均值，并将该平均值替代带状区域的像素的亮度值；或者，可以是将该其余区域中与带状区域相接的像素的亮度值替代带状区域的像素的亮度值；或者，可以是计算光源与该其余区域之间的亮度差，并依照远离光源的方向递减的规律计算带状区域的亮度值等，以使带状区域的亮度值较接近于真实的值，而具体如何利用其余区域的亮度值以校准带状区域的亮度值，还可以有其他具体的方式，在此不做限制。

步骤011中，依据其余区域的颜色校准带状区域的颜色，具体可以是将该其余区域中与带状区域相接的像素的颜色替代带状区域的像素的颜色；或者，将该其余区域中取出现最多次数的像素的颜色，并将该像素的颜色替代带状区域的像素的颜色等，以使带状区域的颜色较接近于真实的颜色，例如光源可能是太阳，带状区域可能是蓝天的颜色，该其余区域的颜色也可能是蓝天的颜色，通过该其余区域的颜色可以很好的将带状区域的真实颜色还原，而具体如何利用其余区域的颜色以校准带状区域的颜色，还可以有其他具体的方式，在此不做限制。

如图8及图10所示的例子中，预览图像P4经过图像处理方法处理后得到预览图像P4’，预览图像P4’中，带状区域D4(图10中虚线包围且除去光源L的区域)的亮度及颜色与周围的亮度及颜色更接近，消除了由于脏污对图像质量的影响，提高了体现出来的场景的真实性。

请参阅图11，本申请实施方式还提供一种非易失性计算机可读存储介质200，计算机可读存储介质200包含计算机可执行指令201，当计算机可执行指令201被一个或多个处理器300执行时，使得处理器300执行本申请任一实施方式所述的图像处理方法。

例如，计算机可执行201指令被处理器300执行时，处理器300可用于执行步骤：

01：获取多个不同场景的预览图像；

02：检测每个预览图像中，亮度值低于其他区域且连续分布的低亮度区域；及

03：在多个预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头10存在脏污的提示信息。

又例如，计算机可执行指令201被处理器300执行时，处理器300可用于执行步骤：

08：在预览图像中存在光源时，检测光源的周缘预设范围内的亮度值；及

09：在预设范围内存在与光源相连的带状区域，且带状区域的亮度值大于预设范围内其余区域的亮度值预设亮度阈值时，生成镜头10存在脏污的提示信息。

本申请实施方式的计算机可读存储介质200中，通过检测多个预览图像中的低亮度区域，如果多个预览图像中的低亮度区域的重合度高于预设阈值，则判断低亮度区域的光线是由于脏污的遮挡而形成的，此时生成镜头10存在脏污的提示信息，以通知用户。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (9)

1.一种终端的图像处理方法，其特征在于，包括：

获取多个不同场景的预览图像；

检测每个所述预览图像中，亮度值低于其他区域且连续分布的低亮度区域；

在多个所述预览图像的低亮度区域之间的重合度高于预设阈值时，生成镜头存在脏污的提示信息；

在所述镜头存在脏污时，依据所述预览图像中的像素与所述低亮度区域的距离，将所述预览图像除所述低亮度区域之外的区域划分为多个调整区域，所述低亮度区域与多个所述调整区域分别关联不同的调整系数；及

以所述调整比例调整所述预览图像中对应的所述亮度区的亮度值。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

提升所述预览图像的对比度；及/或

提升所述预览图像的颜色饱和度。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在所述预览图像中存在光源时，检测所述光源的周缘预设范围内的亮度值；及

在所述预设范围内存在与所述光源相连的带状区域，且所述带状区域的亮度值大于所述预设范围内其余区域的亮度值预设亮度阈值时，生成所述镜头存在脏污的提示信息。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：

依据所述其余区域的亮度值校准所述带状区域的亮度值；及/或

依据所述其余区域的颜色校准所述带状区域的颜色。

5.一种终端，其特征在于，所述终端包括镜头及处理器，所述处理器用于：

获取多个不同场景的预览图像；

检测每个所述预览图像中，亮度值低于其他区域且连续分布的低亮度区域；

在多个所述预览图像的低亮度区域之间的重合度高于预设阈值时，生成所述镜头存在脏污的提示信息；

在所述镜头存在脏污时，依据所述预览图像中的像素与所述低亮度区域的距离，将所述预览图像除所述低亮度区域之外的区域划分为多个调整区域，所述低亮度区域与多个所述调整区域分别关联不同的调整比例；及

以所述调整比例调整所述预览图像中对应的所述亮度区的亮度值。

6.根据权利要求5所述的终端，其特征在于，所述处理器还用于：

提升所述预览图像的对比度；及/或

提升所述预览图像的颜色饱和度。

7.根据权利要求5所述的终端，其特征在于，所述处理器还用于：

在所述预览图像中存在光源时，检测所述光源的周缘预设范围内的亮度值；及

在所述预设范围内存在与所述光源相连的带状区域，且所述带状区域的亮度值大于所述预设范围内其余区域的亮度值预设亮度阈值时，生成所述镜头存在脏污的提示信息。

8.根据权利要求7所述的终端，其特征在于，所述处理器还用于：

依据所述其余区域的亮度值校准所述带状区域的亮度值；及/或

依据所述其余区域的颜色校准所述带状区域的颜色。

9.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至4中任意一项所述的图像处理方法。

Images